你好，我和A整租了一套房子，将其中的一个房间租给了B，合同上上面写不准带朋友回家，但是我们口头约定了同性朋友可以带回来，频率不高就行，并约定了提前退租不退押金的条约，现在B以我带了朋友回来为由要求退租且归还全部押金，但B自己也有带朋友回来，且我带朋友回来是2个月前的，B是因为公司搬迁的原因才退租的（但是B不承认是这个原因），但是B现在就一直揪着我带朋友回来违约这个点要求退还押金，请问要求合理吗