以前家里父亲死的早，身为家里的长子，当时写房产的时候把弟弟和妈妈的屋子上面写的都是我的名字，也就是说我弟弟是属于无房户。现在一家四口人就只有一个五十平方的房子，家里有个儿子，一直想要自己批地基下来造房子，但这里必须要我弟弟（无房户签字）。现在他来我这边说要圆我家这边的房子，我们不同意把房子让出来就不签字，说法律上无房户是我弟弟的名字，这个名字就应该属于我弟弟，那这个意思来说房产证上面写的都是我的名字，也就是他们的房子应该是属于我的吗？本来我弟弟家是两个女儿一心也没有想造房子，所有的程序都是我在奔波，地基都已经打了七八年，今年说可以批下来，我弟弟就开始找这些事情，应该怎么解决？困扰