根据法律规定，如果双方已经签署了房屋买卖合同，那么任何一方违约都应当承担相应的法律责任。在这种情况下，您有权要求对方返还您的全部支付的款项，并且如果您认为中介的行为也构成了违约，您也可以向他们提出赔偿请求。 此外，由于您与卖方之间并未签订正式的房屋买卖合同，因此在处理此类纠纷时可能需要通过法律途径来解决。建议您尽快联系专业的法律顾问进行详细咨询和指导，以便更好地维护自己的合法权益。