在处理与子女的监护权相关的问题时，重要的是要尊重孩子的最佳利益，并且考虑到双方的利益。首先，建议您和您的伴侣进行深入的沟通，讨论如何解决这个问题。您可以考虑向第三方（如儿童保护服务或法院）寻求帮助，以确保孩子的安全和福祉。此外，您也可以尝试与孩子的奶奶协商，了解她的担忧并寻找共同的解决方案。最终，重要的是保持冷静和理性，避免情绪化的决定。