根据中国《民法典》及相关司法解释的规定，父母双方对未成年子女有平等的监护权。如果孩子已被一方抚养，并且另一方没有提出请求或者证据证明自己有能力抚养孩子，那么他有权要求法院判决孩子归其抚养。 但是，在这种情况下，男方是否能直接将孩子带回家取决于孩子的具体状况和对方的情况。如果孩子已经习惯与某一方生活并且在情感上依赖于该一方，那么可能需要考虑更多的因素，如孩子的健康状况、教育需求等。 因此，建议您详细咨询专业的法律顾问或律师，以获取更准确的法律意见。