和前夫协议离婚，他每月给8000。但是现在不肯给了，理由是我们住在他房子里，房子是他的我和孩子还有我父母是在住，他当初一再跟我们说房子我们可以继续住。房子的问题也没有写在协议里。现在他的意思这房子他可以出租出去现在等于损失了这笔钱。请问这要怎么处理，我们必须搬出去才能拿到孩子的抚养费吗？