根据《民法典》的规定，合同当事人有权在协商一致的情况下解除合同。如果您与中介公司签订了居间协议并发现房屋存在安全隐患，您可以要求解除合同，并要求中介公司将已支付的定金返还给您。如果双方无法达成一致，则可以根据具体情况选择向法院提起诉讼或申请仲裁。在任何情况下，建议您尽快与中介公司进行沟通，以避免纠纷扩大化和不必要的经济损失。