如果您的承包地是合法取得并已经办理了相关手续的，那么您不需要对他人在承包地上建造工厂的行为负责。但是，如果您发现有人未经许可在您的土地上进行建设活动时，建议及时向当地相关部门报告，并寻求帮助解决纠纷。同时，也可以考虑通过协商或诉讼的方式解决问题。 在处理此类纠纷时，建议您保留好所有相关的证据和沟通记录，以便于日后证明自己的权益。此外，了解当地的法律法规也是非常重要的，可以帮助您更好地维护自己的合法权益。