律师你好，我在赣县南塘镇清溪村市场边上买了一块建房的地方，到现有7年了，今年我准备去建，可是那个卖地皮给我主人不让我建，我给说不给我建就把钱退给我，他说不退，但时我付款时都有写合同，价格和面积都写清楚了，付了多少钱也写了，双方都签字和按了手印，请问律师先生我那种情况要到什么部门才能解决，我的钱还能要的回来吗