我是男方，因本人征信异常，无法正常贷款，将原个人住房出售后偿还相关债务后，将剩余资金最为首付款，并至民政离婚，购买房产，房用女方名义贷款，办理结束后重新领证，次年因手续未办齐为由，重新至民政离婚，待21年年初提及复婚事宜，告知已怀有他人孩子，分手不在生活。 本月14日两人单独签订协议，因要求女方去公证处公证，拒绝。现是否可以将房屋首付款讨回？