根据中国《宪法》和相关法律规定，公民有在自己的宗族内建立祭祀场所的权利。然而，如果家族成员之间存在矛盾或纠纷，导致家族内部产生分歧，可能需要通过协商或调解解决。 如果您所在的家族因资金或其他原因无法支付修建祠堂的费用，您可以考虑与家族成员进行沟通，寻求共识并达成解决方案。如果家族成员之间的争议严重到影响到家庭和睦和社会和谐，建议向当地社区组织或者相关部门反映情况，寻求帮助和支持。同时，您也可以考虑聘请专业的调解人员介入，以确保公正、公平地解决问题。