在您的情况下，您应当向A承担责任。根据我国《民法典》的相关规定，如果物品由第三方（如B）保管，并且由于其过错导致该物品丢失或损坏，则应由第三方负责赔偿损失。因此，在这种情况下，您作为借款人和使用人，应当对物品的丢失或者损坏承担责任。如果您想要减轻自己的责任，可以考虑与A协商解决，比如寻求替代物品或者其他方式来补偿损失。