离婚案件中，法院在考虑孩子的抚养权时会综合考量多个因素，包括但不限于父母的经济条件、双方的教育背景和生活习惯、子女的生活习惯等。在您的情况下，女方要求孩子由自己抚养，且孩子一直由奶奶带，男方经营的小饭店面临困难，这可能会影响他照顾孩子的能力。 然而，具体的判决结果还需要根据具体情况来定，比如男方是否有稳定的收入来源、是否愿意参与孩子的抚养和教育等方面。此外，即使男方经济状况不佳，如果他能够提供良好的家庭环境和情感支持，也可能被法院视为有利于孩子成长的因素之一。 最终，判决结果需要由法官根据具体情况进行综合判断，并考虑各方的利益平衡。建议您与律师进行详细咨询，以获取更专业的意见。