您的担心是合理的。根据《中华人民共和国行政处罚法》的规定，行政机关作出行政处罚决定时应当告知当事人作出行政处罚的事实、理由及依据，并听取当事人的陈述和申辩。如果行政机关在未听取你的陈述和申辩的情况下就作出了处罚决定，该行政处罚可能因程序不合法而无效。 此外，《中华人民共和国公务员法》规定，公务员执行公务时，认为上级的决定或者命令有错误的，可以向上级提出改正或者撤销该决定或者命令的意见；上级不改变该决定或者命令，或者要求立即执行的，公务员应当执行该决定或者命令，执行的后果由上级负责，公务员不承担责任。因此，在你的情况中，如果你对被要求在行政案件文书上签署案件核审人表示异议，且认为该行为违反了法定程序或程序不合理，你可以依法向上级机关申请纠正，以保障自己的合法权益。 请注意，以上分析仅基于一般情况下的理解，具体情况需要结合具体案例进行详细分析。建议你及时向相关机构寻求帮助，如向本单位领导反映，或者直接向相关部门投诉，以维护自己的权益。同时，也可以考虑寻求法律顾问的帮助，以便更准确地了解相关的法律规定和程序。