最近卖了一个二手房，合同里谢了物业保证金，约定物业交割完毕当天就要归还物业保证金。同时为督促买方尽快过户，还签了一个补充协议，约定如果在12月底前过户，甲方从购房款中退还乙方叁万元。现在过户完毕，物业交割也完了，我想让乙方先归还五万物业保证金，待银行的贷款打给我之后我再给乙方叁万元，但是乙方坚持从物业保证金中扣除叁万后给我，请问我可以起诉乙方吗？