根据《中华人民共和国劳动法》的规定，国家机关、事业单位、社会团体和与之建立劳动合同关系的劳动者享有社会保险和福利的权利。在本案例中，如果行政机关的工作人员符合相关条件，如在职期间为机关工作满一定年限，并且达到法定退休年龄，那么他们有权继续享受工会会员的相关福利待遇。 然而，需要注意的是，具体规定可能会因不同的法律法规和地区而有所不同。因此，在实际操作过程中，建议咨询相关的劳动和社会保障部门或法律顾问以获取最准确的信息。