根据我国法律规定，离婚协议中关于财产分割的条款应当是双方的真实意思表示，并且不得违反法律法规的规定。在您的情况下，您和对方就房屋归属达成了一致意见，即房产归男方所有，您无需支付抚养费。 然而，如果您认为该协议存在欺诈或者其他不正当行为，则您可以要求法院撤销该协议。不过，您需要证明对方是在胁迫或者欺骗的情况下签订该协议的。 此外，如果您的儿子已经成年并且能够独立生活，那么您不再需要承担抚养义务。但是，即使如此，您也可以要求被告配合办理房屋过户手续，以保障自己的权益不受损害。 总之，在处理此类纠纷时，建议您寻求专业的法律帮助，以便更好地保护自己的合法权益。