根据您提供的信息，您的对话中没有明确表示房东会因为您的搬家行为而退还剩余的租金。因此，在这种情况下，责任并不完全由您承担。您可以要求房东确认他们是否愿意按照合同条款处理这一情况，并保留所有相关沟通记录以备不时之需。同时，建议您与房东保持良好的沟通，确保双方的理解一致，避免纠纷的发生。