《中华人民共和国个人所得税法》第十六条明确规定。“工资、薪金所得，以每月收入额减除费用三千五百元后的余额，为应纳税所得额。”因此，如果某员工的月工资或年薪低于3500元，则其当月不需缴纳个人所得税。另外，《中华人民共和国个人所得税法实施条例》第十九条也规定，“对扣缴义务人按照实际预扣预缴的应发奖金数额代扣代缴个人所得税。” 因此，在您的情况下，您认为公司老总要求退回部分奖金不合理，因为这是不符合法律规定和实际情况的。建议您可以向相关部门反映这一情况，并保留相关证据，以便在必要时进行维权。同时，也可以考虑通过其他途径解决此事，如与公司管理层沟通协商等。