在这种情况下，首先要查看双方之间的交易是否有书面合同或者协议，合同中是否有关于退款的条款。如果有明确的退款条款，那么应当按照合同约定来处理。 如果合同中没有明确规定，那么根据《中华人民共和国合同法》的相关规定，如果衣服已经开始制作，且买家单方面要求解除合同，卖家可以要求买家承担一定的违约责任。但具体责任的大小需要根据实际情况来确定，比如衣服的制作进度、材料成本等。 另外，如果衣服还未开始制作，或者制作成本不高，卖家出于维护客户关系和商业信誉的考虑，可能会选择退款。但这并非卖家的法律义务，而是卖家的商业选择。 建议双方友好协商解决，如果协商不成，可以寻求消费者协会或者相关行政部门的帮助，或者通过法律途径解决争议。