首先，您需要明确的是，在我国，无论是否存在家庭暴力、虐待等其他原因，子女的抚养权都应当根据有利于子女成长的原则进行判决。因此，即使您与对方已经达成协议，但仍然可能面临法院的判决。 其次，关于孩子抚养权的问题，通常情况下会考虑以下几个因素。 孩子的年龄和健康状况； 双方的家庭环境和经济条件； 父母双方的工作情况和稳定性； 是否一方长期照顾孩子； 是否一方有特殊能力或者特长能够更好地照顾孩子； 保护儿童利益的原则等等。 由于您提到的情况比较复杂，建议您尽快聘请专业的律师进行咨询和指导，以便得到更加准确和全面的法律意见。同时，也可以尝试通过调解等方式来解决这个问题，避免长时间拖沓导致对双方不利的影响。最后，如果真的无法协商一致，那么法院将会根据上述原则以及具体情况作出判决，以维护孩子的合法权益为出发点。