在您的情况下，确实存在一些复杂的情况。首先，您需要确保了解自己的权利和义务，并且遵守相关的法律规定。 如果您是负责给建筑商联系材料的人，那么您可能需要承担一些责任。因为建筑商可能会要求您支付相关费用或者赔偿损失。如果建筑商已经离开了现场，那么您可以考虑向他们追讨款项。 同时，您也需要关注村集体是否应该为建筑商的工程提供质量保证金的问题。这通常涉及到合同法以及建设工程质量管理规定等方面的内容。建议您及时与村集体沟通，以确认其对建筑商的质量保证金是否有权要求返还或进行相应的处理。 此外，您也可以考虑聘请法律顾问协助解决这个问题。他们可以帮助您评估情况，制定最佳策略，并为您提供必要的法律支持。 最后，对于拉材料人将您告上法庭的情况，建议您积极应对，尽快与对方协商解决，避免进一步的诉讼风险。