我和他结婚十年，就因他那个人不顾家，学费交不上，房租交不起，生活都困难，08年我和他商量说自己去打工他不准我去说孩子没人照顾，然后我就在黄平找了一个事做得两天他也不准我去，后面我就出去打工，他现在叫我回家把事情说清楚，孩子两个都不给我，还要我还贷款，我没同意，他现在还经常发信息有威胁我和我妈的意思，我现在该怎么办？