我公公二级残疾，好赌，有收房租一年两万多，现在我们夫妻不想和他一起过，从2016年至今一直是我婆婆在照顾他，但是他一吵架就会打人，，我婆婆和他十几年前就离婚了，现在我婆婆也离开了，我本人是个全职主妇，有两个宝宝，我老公月工资四千不到，现在在外地租房住，我公公现在威胁我夫妻说，我婆婆不回去照顾她他说要把现有的一栋五层的楼房给别人，该怎么办？