首先，关于是否应该退还礼金的问题，这通常取决于当地的文化和习俗。一些地方可能认为这是正常的婚礼费用的一部分，并且不会要求退还。 然而，在中国，如果夫妻双方因为感情不和而决定离婚，根据《中华人民共和国民法典》的规定，夫妻之间的财产应当均等分割。因此，如果您的丈夫有婚内出轨行为，您有权要求对方赔偿损失，包括但不限于精神损害赔偿。同时，您也可以要求返还已支付的彩礼或者相关款项。 至于公公的说法，如果您确实希望离婚，您可以向法院提起诉讼，以解除婚姻关系。但请注意，诉讼程序可能会非常复杂和耗时，而且结果也不确定。因此，在做出任何决定之前，建议您与专业的法律顾问进行详细咨询和讨论。