具体情况还是看男方，或者双方协商的。男方给女方的礼金作用是为了结婚，现在男方提出退婚，那么也就是不能履行结婚这件事，因此女方需要退回礼金。至于男方提出退婚后对女方的精神损害，建议需要酌情给予补偿。建议双方还是看看到底有什么样的问题，是否还可以弥补和改善，不要轻易决定结婚和退婚。