我想问一下，两兄弟二十年前一起修房子，分别在一楼二楼居住，在5年前，双方发生矛盾，不在来往，现在政府来办理房产证，发生争执，我方是弟弟一方，房子是在弟弟家老婆的地上修建的，我方有权让他给我们付一定的钱，然后写一份协议同意他们可以处置他们的住房吗？还是可以直接将他们赶走