如果行政复议被申请人答复的意见存在违法之处，并且这种违法行为直接导致了被申请人作出的原具体行政行为的结果不合理或不当。在这种情况下，公民或者法人可以通过提起行政诉讼来要求法院撤销该行政行为，并重新做出公正合理的决定。 但是需要注意的是，行政复议是针对具体行政行为的合法性进行审查和裁决的过程，而行政诉讼则是针对行政行为的具体结果进行审查和判断。因此，在某些情形下，即使行政复议被申请人的答复意见存在瑕疵，但如果该瑕疵直接影响到了最终行政行为的合理性与合法性，那么根据相关法律规定，可能还需要通过行政诉讼的方式来解决争议。 总之，是否可以直接起诉取决于具体的情形以及法律法规的规定。在提出任何法律行动之前，建议咨询专业的法律顾问以获得准确的法律建议。