我是男方，与女方已离婚六年，婚前育有两个女儿，大女儿今年十九岁，小女儿八岁，与女方在婚内盖有一所农村自建房，但女方并未出钱，小女儿一岁开始，两人分居两地，两个孩子均由男方在扶养，离婚后孩子也都由男方扶养，女方偶尔給孩子买些衣服或给大女儿零花钱，但未真正意义上给过抚养费，离婚后女方贷款买了一间房，房子首付以及装修过程中男方出资十万，其他钱以及每月的房贷都由女方在还，男方和孩子住在其中两年多，现在女方要求男方搬离，男方是否有权要求女方偿还房子中出的钱以及之前的抚养费