家里卖房子。房子有贷款，买方给还贷款。先付了一万定金（有需要花了），本来去查了没有其他贷款了，过户的时候说房子被冻结了（欠工厂的债工厂给冻结了，银行都收不了），买方说不买了，但我们还不上他给还的贷款钱，他说我们诈骗，又不告我们，每天来我们家催债，屡次出口伤人，还拿走了我的身份证和户口本。请问我构成诈骗行为吗？该怎么做？