在处理这类案件时，需要综合考虑多种因素。首先，如果男方确实存在证据证明女方出轨，并且确信对方已经与他人发生关系，那么他有权要求离婚并要求损害赔偿。但是，在这种情况下，男方的行为可能违反了社会道德和法律规定。 其次，如果女方承认自己有出轨行为，她应该主动承担责任并向男方道歉。如果男方坚持要将女方家砸毁，这可能会导致更严重的后果，包括人身伤害或财产损失。 因此，建议双方寻求专业的调解机构或法律援助来解决问题。同时，男方也应当考虑自己的行为是否符合法律规定和社会伦理标准。