我是男方，和妻子离婚一年多了，当时离婚协议上写的债权债务与女方无关，全部归我。两个孩子也归我，女方不付抚养费，男方支付女方五万元人民币，用于偿还在婚续期间向女方家里借的五万块钱，离婚后没有共同财产。负债十七万，由于本人经济条件有限，加上抚养两个孩子压力大，所以无力支付女的五万，请问这五万需要支付么？不支付可以吗？现在女方已经对于这五万起诉到了法院