我与王某1994年结婚，与2016年九月份因他的长年家庭暴力和听信别人谣言造成感情破裂离婚，离婚协议所有欠款我还，一套楼房归女儿，女儿今年22岁，刚离婚房子是他住，从他到内地一冬天房子我住着，现在他回来要进房子住我没让住，他就觉的房子写的他的名字他有权住，就以这个理由要住进房子，现在他要把女儿叫到司法办签个协议，可我不甘心让他住这个房子，他打了我二十多年，家里面里里外外都是我操心，从报名要房子到住进来也是我操心，没钱买东西也是我借钱，所以我不甘心就让他白白住进来，请问律师同志我能有什么办法不让他住进来