根据法律规定，如果女方没有过错，有权要求对子女的抚养权。但是，在这种情况下，由于男方父母的身体状况和前夫的行为，可能会增加女方的负担。因此，是否可以要回孩子的抚养权需要具体分析。建议您与律师进行详细咨询，以获取更准确的法律意见。