根据您提供的情况，您与合伙人之间的协议约定了您的投资额、亏损无关以及退伙时的退款条款。如果协议中明确了您退伙时可以拿回20万，且您已经退伙，那么合伙人应当按照协议履行退款义务。 在这种情况下，您可以采取以下步骤： 1. 首先，尝试与合伙人进行协商，明确您的权利和他们的义务，看是否能够通过友好的方式解决问题。 2. 如果协商无效，您可以准备起诉材料，包括但不限于合伙协议、投资证明、退伙协议等，以证明您的主张。 3. 向有管辖权的人民法院提起诉讼，要求合伙人按照协议退还剩余的11万投资款。 请注意，起诉前最好咨询专业律师，以确保您的权益得到充分保护，并且了解可能的法律风险和诉讼成本。同时，确保所有证据材料齐全，以便在法庭上支持您的主张。