我是卖房子的房主，我先收了一份买房定金，之后又收了一份高价的定金，我现在想把第一家的定金退回去，但是第一家要求四倍退回，还要去法院告欺诈，他也不来取钱，我是不是就不能和第二家买主去房产交易？