我和已婚男士交往已经4年了，我想买房子的时候，他帮我出了20万首付，房产证上名字也是我个人所有，贷款也是我自己在还，现在我们关系闹得很不愉快，他向我提出把当时帮我付的首付给他，我没有同意，当初如果不是他给钱，我也不会和他处那么久，如果他去法院起诉我，房子属于谁？还有就是我需要还他这比钱吗？当初他直接打定金5万给中介 由中介再打给卖方的，然后剩下15万他直接打在我卡上，由我卡上直接打给卖方当事人，如果官司打下来，我有胜诉的可能吗？