您的问题涉及到婚姻法中的“忠诚义务”，即夫妻双方有责任在婚姻关系中保持相互尊重和忠诚。如果您的丈夫已经因残疾而失去工作能力，并且您选择与他人建立新的关系，这可能被视为对您丈夫的背叛或不忠行为。 然而，请注意，每个案例都是独特的，具体情况需要根据当地法律法规和实际情况来分析。如果您担心自己的行为可能会违反法律规定或者道德标准，建议寻求专业的法律意见。同时，也请考虑与您的伴侣进行深入的沟通，了解他的感受和需求，以找到一个共同解决的方法。