我与保安发生纠纷，我当时因为他的服务态度太差生气，临走说了一句你当个保安牛什么？你给我等着吧。对方以我威胁他为由，抓住我的衣服不让我走，我一开始想要挣脱，对方直接把我摔倒，压在我身上，整个过程我没有还手，导致我轻微伤。我和对方应该承担怎样的责任？