在处理涉及未成年人的案件时，特别是涉及到父母双方对孩子的抚养权和探视权等问题时，需要特别谨慎。在这种情况下，建议您寻求专业的法律帮助。 首先，关于孩子一直由母亲（即你）抚养的问题，通常法院会优先考虑孩子的最佳利益。这意味着法院可能会倾向于维持孩子与母亲的关系，并可能要求父亲承担一定的抚养费用或探视时间。 其次，关于父亲是否真的存在出轨行为，这并不是决定抚养权判决的关键因素。然而，如果您能提供确凿的证据证明其确实出轨且对孩子造成了伤害，这可能会成为影响判决的一个重要因素。 最后，考虑到家庭关系中的复杂性以及可能存在的其他争议，最好是在专业法律顾问的帮助下进行详细的分析和讨论。他们可以为您提供更具体的指导和策略建议，以确保您的权益得到保护。