男女双方拟再婚，目前，女方在前段婚姻存续期间享受过福利房且分割财产时归女方所有，已出售十年；男方在前段婚姻存续期间家庭未享受过福利房，现租住人才住房，请问：现在再婚需要退还人才住房吗？