您的情况比较复杂，需要具体分析和判断。以下是一些建议。 首先，根据《中华人民共和国民法典》的规定，不动产的所有权应当以登记为准。因此，如果您的猪舍在您爷爷的土地上，并且该土地属于他所有的永久性建设用地，则该猪舍应视为他的财产。 其次，根据《最高人民法院关于审理涉及农村土地承包纠纷案件适用法律问题的解释》第十六条的规定，对于未经批准或者未按照批准用途使用农村土地的行为，应当认定为违法用地行为。因此，在这种情况下，即使您拥有相关文件证明猪舍的合法所有权，也有可能面临被追究法律责任的风险。 最后，您可以考虑向当地村委会或政府相关部门反映情况，请求他们介入处理。同时，也可以尝试与对方进行协商，争取达成一致意见。在任何情况下，都建议您寻求专业的法律帮助，以便更好地保护自己的权益。