三十年前爷爷建两间房，其中有大约六平方的地是同村好朋无偿赠与的，后来分家时分给了我们，我们在2010年的时候，因要重建所以就把那两间房拆掉做院子，现在赠与方说要要回去了，不给我们用了，请问赠与方能要回去吗？