作为您的法律顾问，我建议您采取以下步骤来处理这个情况。 首先，如果您已经知道对方有不忠行为，并且您与对方之间存在婚姻关系或家庭关系，请考虑离婚。这将有助于您保护自己的利益并确保孩子的最佳利益。 如果您仍然决定保留房子和孩子，那么您需要尽快与对方进行谈判。您可以提出一个公平的协议，以确保双方的利益得到平衡。 在任何情况下，都应避免对对方使用暴力或威胁。这不仅会加剧冲突，而且可能会导致严重的后果。 最后，如果对方拒绝合作，或者您无法达成一致意见，您可能需要寻求专业的法律帮助，如聘请一位离婚律师或家庭法专家。 请注意，以上建议是基于一般原则制定的，并不一定适用于所有具体情况。在做出任何决策之前，强烈建议您咨询专业律师的意见。