在婚姻关系中，夫妻双方都有义务承担家庭责任。如果丈夫在婚前或婚后有遗弃妻子的行为，并且这一行为导致了妻子的精神疾病，那么孩子的监护权可能需要考虑。 根据《中华人民共和国民法典》的规定，离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。但是，在没有特殊情况的情况下，一般情况下，不直接抚养子女的一方应当尽可能地探视子女，以促进亲子关系的发展和维护家庭稳定。 因此，对于丈夫的情况，如果有证据证明他曾经有过遗弃妻子的行为，以及这些行为对妻子的心理健康造成了影响，那么孩子的监护权可能会受到一定的限制，甚至有可能被要求放弃。然而，这需要具体的事实和证据来支持，建议您咨询专业的法律顾问或律师进行详细的分析和指导。