我是石家园回迁业主，3月12号趁中午休班时间往新家送家具，门卫不让进，非要压钱或物。我对象说来的匆忙什么也没有带，好话说尽，门卫就是不给起杆，一怒之下，我对象双手掀了一下杆，也没有掀起，我下去后，把我的手机和身份证都压在那里，还说了切好话，才掀杆放行。当时杆正常使用，下午保安队自己卸了杆，非说是我们弄坏了，他们有监控，可以看见我对象根本没有掀起来，杆子早就是坏的，他们动用110诱导，恐吓我们。最后罚我们500元钱。我觉着他们侵犯了我回家的权利。才因起了我对象的过激行为。他们责任在先。请问老师，我应该怎样维权，请您在百忙之中抽空给予答复，期盼。谢谢