根据您描述的情况，您与对方签订了一份协议并搬出了房屋。然而，对方随后声称您的行为构成“扫黑除恶”和“收取保护费”，并且要求您返还剩余款项。 首先，您需要了解的是，“扫黑除恶”的概念并不适用于民事诉讼中，因为这更多地涉及刑事犯罪的问题。其次，即使您确实存在违法行为，也不能以此为由要求赔偿或退款。 在这种情况下，建议您采取以下措施来维护自己的权益。 保留所有相关的书面证据，包括但不限于协议副本、支付记录等。 尽快向当地公安机关报案，以获取相关调查和处理的信息。 如果认为对方的行为违反法律规定，可以考虑寻求法律援助，通过法律途径解决纠纷。 在任何过程中，保持冷静和理智，避免情绪化的言行，以免给案件带来不利影响。 请注意，以上建议仅供参考，具体情况应依据当地的法律法规及实际情况而定。在做出决定前，建议咨询专业的法律顾问。