首先，您应该尽快向当地的仲裁机构或法院提起诉讼，要求甲方退还已经领取的10万元补偿款。在提交诉讼请求时，请确保您的主张有充分的证据支持，包括但不限于合同中的约定、相关的支付记录和证明文件等。 此外，如果您发现甲方存在违法行为或者欺诈行为，比如隐瞒事实真相、伪造文件等，您可以考虑采取其他法律手段，如申请司法介入、寻求第三方调解等，来维护自己的合法权益。 在整个过程中，建议您保持冷静，尽量避免情绪激动，以便于收集和整理有效的证据材料。同时，也可以考虑聘请专业的法律顾问进行协助，以提高维权的成功率。