根据您提供的信息，如果双方没有签订书面的合同或者协议，并且在婚约期间没有任何经济往来或财产转移，则通常情况下，除非有明确的证据表明双方已经就金钱事宜达成了一致意见，否则很难证明男方应当退还聘礼。 在这种情况下，建议您与对方协商解决。首先，您可以尝试通过沟通和理解来缓解紧张关系。其次，如果您认为有必要，可以考虑聘请一位专业的法律顾问帮助您处理此事，以确保您的权益得到保护。 请注意，上述解答仅供参考，具体法律问题应寻求专业的法律人士进行咨询和指导。