根据您提供的信息，离婚时关于孩子的抚养权问题需要考虑多个因素，包括但不限于双方的经济状况、家庭关系、子女成长环境等。在决定抚养权时，通常会优先考虑对孩子最好的利益。 首先，从您的描述来看，您的伴侣可能有赌博、酗酒等问题，并且经常怀疑您是否出轨，这表明他可能存在心理和情感上的不稳定。在这种情况下，您的孩子可能会受到更多的影响，因此抚养权方面可能会倾向于非监护方。 其次，考虑到您与伴侣共同生活了五年，并且生下了两个孩子，这对您来说是一个重大的人生转折点。因此，在离婚过程中，您可以提出争取更多抚养权的理由，比如对孩子的照顾、教育等方面的支持，以及您作为母亲的角色和经验。 最后，虽然您提到您的伴侣的父亲残疾，但这些都不是决定性因素。在处理婚姻问题时，重要的是要关注孩子的最佳利益，而不是个人的情感或健康状况。 综上所述，为了保障孩子的最大利益，建议您积极争取更多抚养权，并尽可能地提供对孩子的关爱和支持。同时，也可以寻求专业的心理咨询师的帮助，以便更好地应对当前的家庭情况和挑战。最终，您可以通过协商或者法院诉讼的方式解决这个问题。