你好，我咨询下，五年前我家一栋三间两层的房子准备出售，正好有个买家准备买还交了四千元定金，然后我我家想既然家里房子卖了，就打算在另外一个地方重新盖，我们又向卖地基的人下了五千元定金，本来地基也有买家，因为我们人家也没卖成，但买我房的人没买，我也没买地基，时隔五年买我房的人来要定金，咋办，我们违约，卖地基的人也不会退我们钱