自离婚后，孩子抚养权是给他父亲的，房子也归他，可是儿子出生到现在一直都是由我带大，贷款他还，可是儿子出生到现在一直都是由我带大，前夫想要回孩子的抚养权，我不答应，我说看孩子愿不愿，他说按离婚协议书上走，现在他不还房贷和给生活费了（就是当初房子归他他还余款，孩子随他生活，我要付三百每月，现在我要要回孩子和房子，他说也按协议走）可房贷我是主贷人，是我觉得现在随着物价的上涨，三百根本就不够，而且孩子读也需要房子的，他父亲平时每月也出生活费500，学费一人一半，请问我该怎么办？