在婚姻关系中，夫妻双方签订的协议应当是双方的真实意愿表达。如果协议中明确约定将财产归一方所有，另一方不得擅自更改或收回该部分财产。因此，在您所描述的情况下，即使对方声称需要回迁，也应谨慎考虑并寻求法律意见。 首先，建议您与对方沟通了解具体情况和理由，并收集相关证据以支持您的主张。如果您认为对方的行为侵犯了您的合法权益，可以考虑向法院提起诉讼，要求对方遵守协议中的规定。 同时，也可以考虑聘请专业的法律顾问帮助您处理此事。他们可以根据具体情况为您提供专业的法律建议和支持，保护您的权益不受侵害。 最后，无论采取何种方式解决，都应确保自己的行为符合法律规定和道德规范，避免不必要的纠纷和冲突。希望这些建议对您有所帮助。