离婚协议或法院判决中如果明确了房产归孩子所有，那么房产的所有权就属于孩子，父母双方都无权擅自改变房产的使用权。如果抚养权在男方手里，但男方未经您的同意擅自搬入孩子名下的房产，这可能侵犯了您作为孩子法定监护人的权利。 您可以首先与男方进行沟通，明确表达您不希望他住进孩子名下的房产，并要求他搬离。如果沟通无效，您可以依据离婚协议或法院判决，向法院申请执行，要求男方搬离房产。同时，您也可以寻求法律援助，咨询专业律师，了解更具体的法律途径和可能的法律后果，以保护您和孩子的合法权益。