根据法律规定，父母对子女具有优先抚养的权利。如果夫妻双方在离婚时未能就子女的抚养权达成协议，法院会依据有利于孩子健康成长的原则进行判决。在这个案例中，由于你哥哥的身体状况和女方提出的要求，可能存在不利于孩子的因素。因此，在这种情况下，你可能需要考虑寻求专业的法律帮助，以确保你的权益得到保护。此外，你可以考虑与对方协商解决这个问题，并尝试找到一个能够满足你们双方利益的解决方案。