您好，我公公在20年前去世了，婆婆一个人养大2个儿子。我老公的爷爷在这20多年间和我们一直没有来往，他和他女儿住着，人有一点痴呆。现在我们这里拆迁，房子是按面积分的，没有人头费，现在老公的爷爷在他女儿的唆使下找我们要一套房。房是我们贷款盖的，老公的爷爷没有出过钱也没有出过力，请问我们应该给吗？我们是不同意给的，我们应该怎么办呢？我们已经把拆迁协议签了，但是现在拆迁办压着我们的协议不往上递，让我们处理完这件事再说，请问他们有权利压着我们的协议吗？