去年九月份从建筑商那买的顶帐房，我买的时候还没开工，当时口头说今年交工，我就相信了，但到现在也没动工。我交的是全款有收据但沒有合同，只有卖我房的人领我在开发商那签了一个回迁合同，但我不是回迁户，他说先这么写等交楼时再换正式的合同，我也不懂就同意了。现在不开工今年交不了房，我想找卖房人退钱，能行吗？