根据您提供的信息，双方存在两个子女需要抚养，并且男方曾经有过家暴行为和婚外情行为。在处理家庭纠纷时，责任可能会涉及到对孩子的监护义务以及可能涉及的家庭暴力行为。 关于刑事责任方面，如果男方的行为构成犯罪（如家暴或婚外情），则可能面临相应的法律责任。具体而言，家暴行为可能导致刑事指控，而婚外情行为也可能被视为违反婚姻法或道德规范的行为，从而导致相关法律责任。然而，在此情况下，我无法提供具体的法律建议，因为这需要考虑许多细节和法律条款。因此，强烈建议咨询专业的法律顾问以获得准确的法律意见。