我离婚了，但是当时借的小姨子钱付的首付，我付的贷款，后来前妻在外面找了个有钱的人，生了孩子，和我离婚了，她净身出户，借的首付款她还，离婚协议书写着那，可是我再婚了，小姨子让我还钱，说她付的首付，要起诉我，房子目前还是我和前妻的名字，我想咨询，我用还吗