您好！关于您提到的问题，根据我国法律规定，如果双方在婚姻关系存续期间所负债务是用于家庭生活或者与家庭生活相关的，则可能被视为夫妻共同债务。因此，在离婚协议中明确表示“所有债务由男方承担”，并不意味着该约定对债权人构成有效的内部约定。 在这种情况下，如果您认为自己已经尽到了还款义务，并且债务与您的个人财产无关，那么您可以向法院申请撤销该债务协议中的免责条款。同时，建议您收集相关证据，如转账记录、借款合同等，以便证明自己的主张。 至于对方是否会以夫妻共同债务起诉您，这取决于具体的诉讼请求和事实情况。在进行任何行动前，建议您咨询专业的法律顾问，以便获取最准确的法律意见。