我们是群租房。我和隔壁有点矛盾，当天已经解决了，第二天隔壁把事情告诉了房屋中介(小人了有点，不过后来他想明白了)，现在房屋中介要让我们搬出去，或者交违约金给他们，违约金就是两个月的房租。我现在和隔壁一直说我们已经解决了，他们还是让交钱？我们怎么办？