根据您提供的信息，您的情况比较复杂。首先，您和您的家人有权要求法院对被告进行起诉。其次，您需要确定哪些具体的人或组织是被告。在某些情况下，您可以直接向法院起诉那些曾经遗弃您的亲人；而在其他情况下，可能需要通过法律程序来确认他们是否应被视为被告。建议您咨询专业的法律顾问，以便了解更详细的法律步骤和注意事项。同时，确保所有证据充分，以支持您的主张。