我老婆在南岳买了个二手小套房，房款已付，卖方也把双证给了，现在情况是：卖方说自己在国土局有关系，能代办国土证，要我老婆给了16000，后来，我老婆去国土局房，国土局工作人员说只收了12000，把多余的4000给了房东，后来我老婆找那房东理论，要求退回自己的4000，但那房东说是自己托关系找熟人办的，拒不退回4000，请问，如果双方就此事协商不下来，是不是可以因对方的诈骗行为，要求退还所有房款？