根据我国法律规定，房屋的所有权归属取决于其实际所有权人。如果您父亲在购买该房产时，您父亲是合法拥有该房产的，并且已经取得了相应的产权证书，那么该房产应该属于您父亲所有。 另外，即使您爷爷有权利提出异议，但根据法律规定，如果您的父亲已经在该房产中居住了长达三十年以上，那么该房产应视为您的父亲的财产，因此您可以继续使用该房产。 然而，建议您与您的家人协商解决这个问题，以避免可能产生的纠纷。如果协商不成，可以考虑通过法律途径解决问题。