首先，根据法律规定，没有遗嘱的情况下，遗产应按照法定继承的原则进行分配。在您的情况下，您爷爷的遗产应当由其子女和兄弟姐妹平均分配。由于您父亲是老大，他享有优先继承权。 其次，关于是否参与建房的问题，这通常取决于当地的风俗习惯和社会关系。如果您认为参与建房有利于家族团结，并且符合当地的社会习俗，那么您可以考虑与二叔和三叔协商，看能否达成共识。 最后，对于您提到的“我们家只给了钱，生病及丧葬时都参与了”这一情况，在法律上并不构成财产赠予或继承，因此您无需为此感到遗憾或自责。 综上所述，建议您先了解当地的相关法律法规，以及当地的风俗习惯和社会关系，然后再做出决定。同时，也可以尝试与二叔和三叔沟通，看看他们是否有其他的想法或者条件可以满足您的要求。