根据您提供的信息，如果双方已经达成协议并且有法院的调解书，并且孩子一直在奶奶家由奶奶照顾，那么在这种情况下，法院可能会考虑判决您与您的丈夫离婚并抚养孩子。然而，最终的决定将取决于具体的案件细节、双方的态度以及法院对家庭关系的看法。 为了更好地帮助您，建议您联系一位专业的婚姻法律顾问，以便他们能够评估您的具体情况并提供有关可能的解决方案的建议。同时，确保您了解任何法律程序中的所有规定和要求，并在必要时寻求法律援助以保护自己的权益。