在婚姻关系中，夫妻双方应相互尊重和理解。如果一方有外遇且不愿意离婚或离开共同居住的房子，另一方有权要求法院判决离婚，并要求分割共同财产。然而，在处理此类案件时，应该考虑到家庭成员之间的感情以及对子女的影响，尽量避免不必要的纠纷。 在您的情况下，您可能需要聘请一位专业的家庭法律师来帮助您处理这个问题。律师可以为您提供法律建议，并根据具体情况制定解决方案。同时，律师也可以代表您与对方进行谈判，以达成一个有利于您的协议。 最后，无论采取何种行动，都应当尽可能保持冷静和理性，避免情绪化的决定。希望我的回答能够帮到您。