根据我国《民法典》的规定，如果双方在结婚前没有明确告知对方对方一方患有精神病，并且该精神疾病导致了夫妻关系破裂，则离婚时可以要求返还彩礼。因此，你哥哥有权要求对方返还10万元的彩礼。建议尽快与对方协商解决这个问题，以避免产生不必要的纠纷。