您好，在我门店里工人与隔壁店铺的人发生抓扯，双方都有一些轻伤。起因是对方觉得工人工作打扰到对方，于是直接到我门店里丢东西，闹事，然后与工人发生抓扯。现在对方拒绝调解，要大金额赔款。派出所三天两头叫我去调解，但我从头到尾没有与对方抓扯。我有权利不去派出所吗，或者我可以起诉对方到我门店里闹事吗。