根据我国法律规定，如果双方自愿离婚，并且对子女抚养权和财产分割达成一致意见，那么男方要求退还女方的彩礼是不合理的。但是，如果男方在婚姻期间有重大过错行为，例如家庭暴力等，法院可能会考虑适当减少或免除返还彩礼的责任。 此外，如果彩礼是由一方父母支付的，或者是在婚前签订的婚约中明确约定由一方父母支付的，则彩礼应归还给该方父母。因此，在处理此类案件时，需要具体分析实际情况，以确定最终的解决方案。建议您咨询专业的律师进行详细咨询。