根据《企业职工奖惩条例》的规定，员工因公出差期间的岗位津贴应当由用人单位支付。因此，如果单位要求您在公出学习归来时扣除岗位津贴是不合理的。建议您与单位进行沟通，明确您的工作职责和待遇，并要求单位按照相关规定为您发放岗位津贴。如需进一步帮助，请提供更多的信息或详细情况。