根据我国《民法典》的规定，合伙人应当按照约定履行义务，如果一方违反合伙协议，另一方可以要求其承担违约责任。因此，在这种情况下，您和您的同伴有权要求对方赔偿损失。 具体来说，您可以向法院提起诉讼，要求被告退还货物并支付相应的赔偿金。同时，您也可以要求被告承担违约责任，包括但不限于赔偿因货物丢失或损坏而产生的经济损失，以及因被告的行为给其他合伙人带来的损害。 请注意，这些建议是基于一般情况下的法律规定，并不适用于所有具体情况。如果您需要具体的法律建议，请咨询专业的法律顾问。