如果慈善组织已将一部分款项用于慈善活动，并且这些款项并未违反法律法规，则慈善组织无须退还这部分款项。然而，在处理此类事件时，应确保遵守相关法律法规和道德标准，以防止可能存在的不当行为或欺诈行为。在任何情况下，都应确保所有捐赠者了解他们所支持的项目和使用方式，并尊重他们的意愿。