已经离婚了，那个时候不懂，本来结婚的房子只写了男方名字，但非男方购买，后来换房子，依旧男方签名，口头商定女方拿十万，剩余钱男方拿走，房子给女方住，之后房子改为孩子名，现在男方反悔，索要20万才给房子，应该怎么处理