根据中国婚姻法的规定，直系血亲和旁系血亲的近姻亲之间禁止结婚。您的爷爷与您父亲为同一辈亲属，因此你们之间的婚姻被禁止。如果您们希望在一起生活，请考虑寻找其他方式或途径解决这个问题。