根据我国《中华人民共和国民法典》第一千零七十九条的规定，婚姻家庭中，夫妻双方应当互相忠实，相互尊重，互相关爱。如果一方有遗弃子女的行为，则构成遗弃罪。 遗弃罪是指行为人对年老父母或者未成年子女负有抚养义务而不履行，情节严重的行为。遗弃罪的主体是成年公民，包括自然人和法人；客体是他人的人身权利和生命健康权；客观方面表现为行为人实施了遗弃行为，造成被害人死亡或重伤等严重后果；主观方面是故意。 在实践中，遗弃行为的具体表现形式多种多样，但无论何种形式，只要造成了被害人身体上的伤害或死亡，都可能构成遗弃罪。因此，在处理此类案件时，需要综合考虑各种证据，如证人证言、监控录像等，以确定是否构成遗弃罪，并依法追究其刑事责任。 综上所述，根据法律规定，如果妻子拒绝支付赡养费，且这种行为导致子女生活困难，可能会被认定为遗弃罪。但是，具体判断还需要结合实际情况和法律法规进行分析。如果您有更详细的问题，请咨询专业的法律顾问。