您好，根据您描述的情况，如果该人确实使用您的账号在淘宝上购买商品并已确认收货，并且已经成功退款，那么您不需要对这部分钱款负责。通常情况下，退货退款是由买家发起的，如果您没有参与其中或者不是交易的一方，那么您不会承担任何责任。 不过，在处理此类纠纷时，建议您保留好所有的聊天记录和相关证据，以备不时之需。同时，如果您对该人的行为有任何疑问或不满，可以考虑与对方协商解决，或者向有关部门反映情况，以便维护自己的合法权益。希望这些建议能够帮助到您。