根据我国法律规定，婚姻法第十八条第二款规定。“受赠人的撤销权，自知道或者应当知道撤销事由之日起一年内行使。知道撤销原因后明确表示放弃撤销权的除外。”因此，如果男方的父亲没有在合同中明确规定不可以在双方协议离婚时要求退还彩礼，则该彩礼属于夫妻共同财产，可以依法分割。如果男方的父亲明确表示不可以在协议离婚时要求退还彩礼，则该彩礼不属于夫妻共同财产，且无法主张返还。建议您与对方协商处理此事，并考虑聘请专业律师进行帮助。