没有离婚时做生意，借了女方妹妹15000元，没有借据，双方离婚时签订的离婚协议，两个孩子归男方抚养，欠下的15000由男方还，后来女方以探视为由把孩子带走，不知所踪。现在女方妹妹把男方告到法庭让男方还15000元。这是夫妻关系存在期间共同借的钱，当时离婚时协商的就是孩子归男方，钱男方还，现在女方把孩子带走，这钱还是要男方还吗？该怎么处理，法院会怎么判？