根据您提供的情况，如果小杨在去调货的过程中丢失了该衣服，并且这一行为与小余、小艾无关，那么他们不应该对丢失的衣服承担责任。然而，如果小杨的行为导致了店铺损失或者损害了消费者权益，他可能需要承担相应的赔偿责任。 在这个案例中，由于没有明确说明小杨是否违反了工作职责或有过失，因此无法确定他是否应该对丢失的衣服负责。如果您有更多细节或者证据可以帮助判断情况，建议您进一步咨询专业的法律顾问，以便得到更准确和具体的解答。