在婚姻关系存续期间，双方共同财产属于夫妻共有。根据《最高人民法院关于适用<中华人民共和国婚姻法>若干问题的解释（二）》的规定，一方婚前个人财产，在婚后共同生活中自然毁损、消耗、灭失的，离婚时不得作为夫妻共同财产分割。因此，如果男方认为女方违反了双方约定，导致双方感情破裂而提出离婚，则男方可以要求退还彩礼。同时，考虑到女方在外有不正当行为，并且存在证据证明其有过错，男方也可以考虑是否主张损害赔偿。 然而，需要注意的是，具体处理方式需要依据实际情况进行判断，建议男方与女方协商解决，或者通过法院诉讼的方式寻求公正裁决。同时，为了维护自身权益，男方应收集并妥善保管好相关证据，以备日后可能需要使用的场合。