在离婚协议中，如果双方已经明确约定了房屋产权归男方所有，并且女方有暂住六年的权利，那么这个协议具有法律效力。男方在协议约定的暂住期内要求搬回房屋与女方同住，这可能违反了双方的协议内容。女方可以依据协议拒绝男方搬回同住的要求。 如果男方坚持搬回，女方可以首先尝试与男方协商解决。如果协商无效，女方可以依据离婚协议向法院提起诉讼，要求男方遵守协议约定，维护自己的居住权。同时，如果女方认为离婚协议不公平或者存在欺诈、胁迫等情形，可以在离婚后一年内向法院提起诉讼，请求重新分割财产。但需要注意的是，重新分割财产的请求需要有充分的理由和证据支持，法院会根据具体情况进行判断。 在处理此类问题时，建议咨询专业律师，以获得更准确的法律意见和帮助。