首先，根据《中华人民共和国民法典》第6条的规定，“行为人因过错侵害他人民事权益，应当承担侵权责任。”如果您的行为导致他人受到伤害，您有义务承担相应的赔偿责任。 在本案中，对方撞到您并辱骂您，随后又因为您的反应而造成了对方的衣物损坏。这种情况下，您可以考虑是否应该对对方进行赔偿。不过，在决定赔偿之前，建议您先收集证据，如监控录像、证人证言等，以证明您的行为与对方受伤之间的因果关系。此外，如果您认为自己没有过错，也可以向对方提出合理的解释或要求。 最后，无论最终如何处理此事，都需要尊重双方的权利和尊严，避免激化矛盾。希望您能妥善处理这个问题，并保护好自己的合法权益。