根据您提供的信息，如果您和您的配偶在离婚时签订了离婚协议，并且双方同意房产归女方所有，并且已经达成了一致意见，那么您应该按照协议约定的条款来处理。如果对方反悔并不同意房产的归属或者要求重新分配财产，您可以考虑向法院提起诉讼，以维护自己的合法权益。 在此情况下，建议您尽快与对方沟通协商解决这一问题，尽可能避免不必要的法律纠纷。同时，也可以考虑聘请专业的律师协助处理，以便更好地保护自己的权益。