我弟弟出轨几年了，但一直都照顾着家里的孩子，并且在市里买了房子让弟妹和孩子住，他和出轨的女人一直没公开过关系，只是和弟妹没有了夫妻之实，现在弟妹要求离婚，并让弟弟净身出户，还要告他重婚罪，请问，我弟弟该怎么样处理