您所描述的情况确实较为复杂，需要考虑多个因素和法律层面的问题。首先，关于孩子抚养权的归属问题，根据我国《民法典》的相关规定，父母双方都有教育子女的权利和义务，并且应当依法共同承担对子女的抚养、教育和保护等责任。如果双方协商一致，可以就孩子的抚养权达成协议；如果无法达成协议，法院会依据有利于孩子的原则进行判决。在当前情况下，您可以尝试与对方进行沟通，表达您的想法并寻求共识。同时，考虑到孩子可能受到的影响，建议尽可能保持冷静，避免情绪化反应，以便更好地处理问题。如果情况较为棘手，也可以考虑聘请专业的律师介入，以帮助您维护自己的权益。