我合租了一套房子，对面的屋子没有人住，突然有一天业务员带人来看房子，有一家三口没有签房屋合同瞒着大家住了下来，并告诉我们她是对面屋子的租客，于是我便把房屋密码告诉她了。现在真正的租客来了，才发现那一家三口是自己住进来的，现在说全是我的责任，因为我告诉了他们密码，并要扣除我所有的房屋押金，这样是对的？？？