一、中介不能因其他人扰民而叫所有人搬走，是违约行为。当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
二、法律依据：
《合同法》第一百零七条 【违约责任】当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
第一百零八条 【拒绝履行】当事人一方明确表示或者以自己的行为表明不履行合同义务的，对方可以在履行期限届满之前要求其承担违约责任。
第一百零九条 【金钱债务的违约责任】当事人一方未支付价款或者报酬的，对方可以要求其支付价款或者报酬。
第一百一十条 【非金钱债务的违约责任】当事人一方不履行非金钱债务或者履行非金钱债务不符合约定的，对方可以要求履行，但有下列情形之一的除外：
(一)法律上或者事实上不能履行；
(二)债务的标的不适于强制履行或者履行费用过高；
(三)债权人在合理期限内未要求履行。