如果在离婚调解书中，双方已经达成了一致的协议并签署了调解协议，那么该协议应当被视为是合法有效的。即使在签署后，被告仍然可以对调解协议提出异议，但必须通过法定程序来实现这一点。通常情况下，这意味着被告需要提起诉讼以请求法院撤销或变更该调解协议。如果您尚未领取调解协议，您应该尽快与您的律师联系，以便了解下一步的步骤和可能的选择。