在处理涉及子女抚养权的问题时，双方应当尊重儿童的利益，并考虑他们的最佳利益。根据我国相关法律规定，如果一方存在违法行为或不适宜抚养子女的情况，另一方有权申请法院判决变更抚养权。 在这种情况下，作为父亲，您可能面临一些挑战，因为您的行为可能会对孩子的成长产生负面影响。然而，如果您能够证明自己是更好的抚养人，比如拥有更稳定的工作环境、更多的家庭时间等，法院可能会考虑变更抚养权。 此外，为了保护自己的权益，您可以收集关于对方行为的证据，如电子邮件、短信记录等，这些可以作为法庭裁决的重要依据。同时，考虑到两个孩子的年龄差异，您需要确保与孩子的沟通和互动，以便他们能够理解并接受这一变化。 最后，请记得，在任何决策中都要以孩子的最佳利益为出发点。无论结果如何，重要的是要保持冷静，避免情绪化的行为，这将有助于达成公正的结果。