爷爷20年前过世，名下有一处75平的平房，奶奶五年前去世，我爸是这个家的独子，但爷爷有婚外子，我们也知道，不过一直没有跟爷爷，现在要动迁，我们在爷爷房产里并入50平购回迁楼，他的婚外子要60平我们没办法接受，协商给他我们购楼款余下的40平分户给他，他也口头同意，但不去和我们签字公证，一拖再拖，几个月了，还对60平不死心。我们去房产了解即使公证了，两个房子都有我和他的名字，可他信誉不好，我们新房面积大，如何处理？