我爸爸，二叔，小叔，三兄弟在很久以前老人给了他们一人一个房地基，不过只是口头协议，没有字据，后来我爸爸的他自己卖掉了，在爸爸修房子的时候用自己另外一块地换了小叔的一块地来修，当时小叔也同意了，就是也没有写一份协议，只是当时的口头协议，当时小叔也同意了，可现在爸爸的房子修好二十年了，现在小叔因为一些小事和爸爸不和就来和我爸爸吵架，还扬言要强拆爸爸的房子说爸爸占用了他的地方，现在我爸爸在修二楼的房子和砌围墙，小叔来了就强行砸了！请问他这样做我爸爸该怎么样维权？到底是谁的错？小叔有权利这样做吗？谢谢！