之前答应把房子买给他，后来临时有原因不能卖，可那个买房子的人把买房子的钱送到我家，我说不卖，也没收他的钱，后来也赔偿了他几千块，现在当时买房子的人就来恐吓威胁说不然房子就卖给他，不然就打人，那个人是劳改犯，现在出来了，我要怎么办