根据我国法律规定，婚姻关系存续期间所得的财产原则上应当认定为夫妻共同所有。在您提供的案例中，如果双方已经签订离婚协议并约定将房产归女方所有，并且男方同意按照协议履行还款义务，则房产属于女方的个人财产，男方无权要求返还。不过需要注意的是，具体分割房产时应考虑多种因素，如房产价值、双方经济状况等，以确保双方利益得到公平分配。此外，在办理相关手续时，建议及时咨询专业的房产律师或财务顾问，以确保您的权益得到有效保障。