我想咨询一下我离婚三年了，离婚的时候我们有楼写的归我，外债写的无，但是我们离婚前我前夫抬得钱我也签字了当时抬的是四十万，我前夫这两年还了二十万，他现在又成家了有孩子了他现在让我给他到房子，要不就让债权人起诉我让我还剩下的二十万，想咨询一下我该怎么办