您好，根据我国法律规定，如果双方在相互之间存在损害赔偿的义务，那么一方应当向另一方支付适当的赔偿金。如果您认为对方的行为造成了您的损失，您可以要求其承担相应的赔偿责任。然而，在这种情况下，您不应该直接拒绝支付误工费，因为这可能会导致纠纷和不必要的争议。相反，您可以与对方进行协商，看看是否可以就赔偿事宜达成一致意见。如果您对赔偿金额或其他相关问题有疑问，请咨询专业的法律顾问以获得更详细的建议。