您和前夫已经办理了离婚手续，并且在协议中明确了房产归属以及孩子的抚养权。离婚后，孩子应该由您来抚养。然而，根据法律规定，男性在离婚时有义务协助抚养子女，包括将房屋腾空以便于孩子居住。如果您的前夫拒绝履行这一义务，您可以考虑通过法律途径解决这个问题，以确保孩子的权益得到保障。此外，在处理这类问题时，建议您寻求专业的法律帮助，以便更好地保护自己的合法权益。