我想离婚，我们已经四五年没有在一起了，但是现在男方不要两个小孩，还要我赔十万块钱，我家大宝贝13岁，小宝贝九岁，而且大的还在生病已经花了五六万了，他平时小孩生病，上学的时候没有管过，还威胁我说叫我去告他，我该怎么办，我和他没有共同财产，爸妈有房子，和我们也没有关系，这样的情况该怎么办