离婚时协议房子归孩子,孩子判给男方,离婚后孩子一直跟我住的,但房子一直男方 住着，现在我没有住的地方，找前夫安和孩子回原来的房子住，地同意，但他妻子不同意，只许孩子回那房子住，不许我住，那房子是我在单位集资建房购买的，房证是我的名字，现在前夫已买房不在那住，他妻子有权限制我住吗