您好，根据我国相关法律规定，遗弃罪是指行为人以抛弃、虐待或者遗弃等手段，严重侵害他人生命健康权的行为。如果您认为您的母亲和您都对他的生活状况不满，并且决定不再让他接受照顾，这可能被视为一种选择性放弃其监护责任的行为。 在这种情况下，您有权拒绝继续支付赡养费并要求解除监护关系。但是，需要注意的是，如果您的行动导致了他的身体或心理健康受到损害，那么这种行为可能会构成遗弃罪。因此，在做出任何决定之前，请考虑清楚自己的权利和义务，并咨询专业的法律顾问进行详细分析和建议。