上个月我买了箱牛奶，发货以后不想要了就申请退货，然后拒收快递，也拿到了退款。前几天快递员打电话说我有个东西在门卫上放很久了让我去拿，我去拿了，是那箱牛奶，应该是他忘记退回或者搞错了。今天这个快递员打电话来要回这箱牛奶，态度很差，请问我可以不给吗？