在交通事故中，如果责任方是车辆驾驶者，且事故发生在雨天或视线受阻的情况下，那么根据《中华人民共和国道路交通安全法》的规定，应当由车辆驾驶者承担全部责任。因此，即使您认为自己的行为没有过错，但按照法律规定，您的赔偿义务仍然存在。 然而，您是否有权拒绝赔偿呢？这个问题取决于具体的法律条款和当地的相关规定。一些地区可能会有针对特殊情形（如天气恶劣）的例外规定，允许因不可抗力导致的损失部分或全部免除赔偿责任。不过，这种豁免通常需要满足特定条件，例如事故是由不可预见的因素引起的，并且这些因素超出了驾驶者的控制范围。 建议您首先了解当地的交通法规和相关案例，以便判断是否符合上述豁免条件。此外，也可以考虑聘请专业的法律人士帮助分析具体的情况，以确保自己的权益得到充分保护。最后，请记得保留好所有的证据，包括现场照片、监控录像等，作为日后可能需要的证明材料。