你好，我三年前和男方离婚时，有一套按揭房子写的归男方所有，贷款由他负责。离婚三个月后经协商，此套房子归我，并由我还贷，因无法过户，所以未另行协议。办理房产证时双方在场，我占99%的份额，他占1%的份额。现在三年后，他反悔要回房子，应该以协议为准还是房产证为准。