您好！根据法律规定，如果您和您的配偶已经就离婚事宜达成协议，并且在协议中明确了双方应当尽快将户口迁移至对方的户籍所在地，那么您可以依据该协议主张权利。如果对方试图强行赶您离开，这可能违反了您们之间的约定，可能会导致纠纷或诉讼。 建议您保留好相关证据（如协议复印件、通话记录等），并与对方沟通协商解决办法。如果无法达成一致，可以考虑向法院提起民事诉讼，以维护自己的合法权益。同时，也可以寻求法律帮助，了解具体的法律程序和步骤，以便更好地保护自己。