你好律师。我们家是两兄弟合资在农村自建了一栋四层楼的房子，但大部分钱都是我们家出，而且因为奶奶跟我们家为了照顾她我们分楼层分了一四层，中间两层都分了大哥。我们两家一直以来就有很大的矛盾，大哥为人各方面也不太行，近期还放开话说要霸占我们现在住的这两层，说要抵押出去或者卖掉，遇到这种情况怎么办？