根据我国相关法律规定，如果男方在婚姻关系存续期间已经支付了五万元的彩礼，并且双方并未结婚，则男方有权向法院请求返还。此外，对于子女的抚养权问题，应根据实际情况和法律规定来确定，建议您咨询专业的律师以获取更准确的法律意见。