根据《中华人民共和国劳动法》规定，劳动者因工作需要而加班时，应获得相应的加班补偿。对于您的情况，如果您因公出差并在此期间遇到了五一劳动节法定节假日，那么您有权要求单位按照法律规定支付三倍的工资。 然而，在您返回工作岗位后，单位以“差旅费”为由拒绝支付三倍工资的做法是错误的。根据相关法律法规，加班应当依法支付加班费，并且无论是否安排补休，都应该支付加班费。 建议您与单位沟通，明确说明您的诉求和依据，如果无法协商解决，可以考虑向当地人力资源和社会保障部门投诉或申请劳动仲裁。同时，也可以考虑收集证据，如工作记录、考勤表等，以便在必要时作为证明材料使用。