您好！根据您提供的信息，如果双方已经协议离婚或法院判决离婚，并且女方已经搬出，那么您和对方之间的婚姻关系已经终止。然而，关于您的前配偶的出轨行为，这并不影响您与现任伴侣的关系。建议您尽快解决当前的问题，以维护自己的合法权益。如果您需要更详细的法律帮助，请随时联系我。