根据法律规定，如果双方在恋爱关系中存在财产赠与协议，且该协议明确约定一方需向另一方支付一定金额的分手费，则该费用应当由违约方承担。然而，具体到你的情况，由于你没有提供足够的信息来确定是否存在这样的协议以及协议的具体条款，因此我无法判断是否可以要求返还剩余的1万元。 如果你认为自己有理由要求退还剩余的1万元，建议你先与对方进行沟通，并详细说明你的观点和证据。如果你们未能达成一致，你可以考虑通过法律途径解决争议。请注意，任何情况下，你应该确保自己的行为符合当地法律法规和道德标准。