你好，我和前夫由于我的问题，我是过错方，导致离婚的，协议离婚，我每个月要给孩子五百块抚养费，满二十岁。还有一些口头协议，但也是被逼无奈我答应的，按他说的我是过错方，给孩子抚养费，加他的损失费共计十万，第一次先给四万，剩余六万分两次给完。我在二次婚姻前给了他四万，可他用那四万块钱作为他家房屋改造用了，现在他父亲病了，他要我想办法把剩余六万块一次性给他，可是我没有经济能力给，再说了，我也不想给，怕他把剩下的六万块钱用在其他地方。不给孩子用。可是他见我不同意给钱，又是打电话骂我，威胁，恐吓，还来我家闹事，我该怎么办，对了，他从我们离婚前就没在工作至今。