离婚俩年，孩子扶养权在男方，但是一直都是女方在照顾孩子，并且女方一个人工作上班照顾孩子，离婚时候男方的婚前房子不归女方所有，女方一直住在这个房子里，女方可以要回扶养权，并且要房子的永久居住权么？南方一年最多看望俩次孩子