根据我国《民法典》的规定，合伙人应当按照约定数额向合伙人提供资金或者实物，并且需要遵守合伙人之间的约定。如果合伙人之间未签订书面的合伙协议，则应视为合伙人在平等的基础上自愿合作经营。 在这种情况下，您作为后来加入合伙人的身份，有权要求退还部分或全部投资金额，但必须考虑到您的投资与您的贡献是否相符。此外，您可以考虑聘请专业的法律顾问进行协商谈判，以维护自己的合法权益。 如果您希望了解更详细的法律建议，请咨询一位经验丰富的律师，以便获得针对性的意见和指导。