家里有套老房子。是我爹的但他不回来住，他也同意我们扒了重新盖但是最近突然不让盖了。说他没有说过让我们盖。爷爷去世之前留了遗言说把房子留给了我跟我哥现在我爹要告我们请问该怎么辩护