根据法律规定，如果双方签订的协议中明确约定房屋的所有权归属，则该协议有效。因此，即使男方的父亲有权利要求返还房子，也需要按照协议约定处理。 但是，需要注意的是，在某些情况下，如房屋买卖、赠与等行为中，可能存在不同的规定和程序。例如，在房屋买卖过程中，卖方可能会将房屋过户给买方，但在此之前，卖方可能需要向原所有人支付一定的补偿金。此外，如果房屋是通过赠与方式获得的，受赠人也有义务返还赠与物。 因此，建议当事人详细阅读协议中的相关条款，并考虑聘请专业的法律顾问帮助解决争议。