您的情况比较复杂，涉及多个法律问题。首先，您需要确定孩子的实际居住地和主要监护人是谁，并了解双方的经济状况以及是否有其他家庭成员可以共同照顾孩子。其次，您可以考虑聘请一位专业的家庭法律师来帮助您处理这个问题。 如果双方都无法达成一致意见，您可以寻求法院的帮助，要求法院判决孩子由哪一方抚养。此外，如果您有证据证明对方存在不履行抚养义务的行为，也可以向法院申请强制执行抚养费。 最后，考虑到孩子年龄较小，最好尽量避免将他置于不利环境中，例如长时间离开父母等。建议您与家人或朋友讨论并寻找解决方案，以确保孩子的安全和幸福。