我是女方，老公婚前有一套全款房子，婚后贷款买了一套房，有一个一岁的男孩，我们感情不和离婚了，离婚协议写的是两套房子归女方，孩子抚养权归男方，我们私下商量孩子现在太小，由女方抚养几年，男方拿抚养费，现在男方家反悔，想要回去一套房子，孩子也不想管了。请问下他现在起诉要回房子成立吗，今年9月份办的离婚