我在处对象时买了一套房子，合同跟我签的，现在分手了，对方要拿走我买房时的首付钱，说钱是从他银行卡打给开发商的，但这里面有我从银行取出的现金给他的。这样该怎么办，我没有转账凭证。他凭银行付款凭证就可以拿回所有首付款吗？