你好！在2016年3月海阳市旅游之际，在别人的簇拥下签了一份购房协议，并现场缴纳了1万元定金。且购房协议上就写的定金1万元。时隔一年后的2017年3月向对方私人的督促下又给对方私人卡号汇款了5万元。对方在2017年5月写了一份6万元的定金收据给我，但此收据本人并不认同这6万元都是定金，故本人现已无买房打算，就算是当方面违约，按照协议对方也应该只扣除定金1万元，请问另外5万元对方应将此款退换给我是吗？谢谢！期待您的解答。