你好，我是一名船员，通过中介公司上船，也没有签订任何合同，在船期间与同公司另外一名船员发生打斗，我将对方打伤，但是双方协商解决了，由我向对方支付一定金额的赔偿金，也签订了协议书，并注明与公司无关！但是公司私自将应该发给我的工资扣下，说是当做赔偿金交给对方了，请问公司有没有权利这样做。