首先，根据您提供的信息，您与中介签订了一份关于房屋销售的合同，并且双方同意以一定金额作为购房定金。然而，您突然决定不履行该协议并拒绝出售房屋。 在这种情况下，如果您的行为导致了对方的经济损失（例如，由于未能按约定日期交纳定金），那么您可能需要承担一定的赔偿责任。但是，在这种情况下，您是否有违反合同义务的行为是关键点。 如果您没有违反任何合同条款或规定，那么您不应为此受到惩罚。相反，您可以尝试与中介协商解决这个问题，看看是否可以通过重新谈判或调整价格来达成共识。 如果中介坚持要收取违约金，那么这可能会被视为一种不合理的索赔。因此，建议您寻求专业的法律意见，以便了解您有权要求什么以及如何处理这种情况。