你好，我想咨询一下，我离婚好几年了，一直没离开这个家，离婚后一样为这个家付出，打工挣钱养两个女儿，离婚前两个女儿和家里的一切我都没要，离婚前后他都没有给过钱来养孩子，现在两个女儿大了出嫁了，他现在要赶我走，说我没有权利住在这个家里，现在房子是离婚后建的，建房子钱是女儿彩礼钱，我没有出钱，建房子砖都是我的，女儿出嫁赔嫁钱也是我的，请问律师我该不该跟他要这个钱