根据中国法律规定，夫妻双方在婚姻关系存续期间发生感情破裂的情况时可以协议离婚。如果您的丈夫有外遇，并且您不想离婚，您可以与他协商，看是否可以通过协议的方式解除婚姻关系。此外，如果您和丈夫之间的感情已经无法修复，您可以考虑通过诉讼方式解决离婚问题。在处理此类案件时，建议聘请专业的律师协助，以确保自己的合法权益得到充分保护。