您所描述的情况确实较为复杂。首先，您应该了解，根据《中华人民共和国外国人入境出境管理法》及其实施细则的规定，如果您的弟弟涉嫌非法集资诈骗，这可能会影响到您的出入境。但是，请注意，这并不是一种违法行为，而且在许多情况下，即使是涉及犯罪的行为也可能不会导致强制性限制出境。 其次，如果您认为自己并没有违反任何法律规定，那么您可以寻求法律帮助来解决这个问题。您可以考虑通过外交途径或司法程序来解决问题。此外，您还可以尝试联系中国驻外使领馆或者当地的中国公民权益保护组织，以获取更详细的建议和指导。 最后，关于您提到的“所有损失也不知道去向谁赔偿”，请您详细说明一下您的具体损失情况，包括但不限于经济上的损失、精神上的痛苦等。如果您愿意的话，我可以为您提供一些具体的法律建议和指导，帮助您更好地处理这一问题。