在离婚协议中约定将房产留给孩子的做法通常被认为是合理的，并且在某些情况下可能会被法院认可。然而，如果您的丈夫不履行这个协议并试图阻止您回家或获取房屋，则可能存在纠纷和法律挑战。在这种情况下，建议您首先考虑与您的丈夫进行沟通，了解他拒绝让您回家的原因，并尝试找到解决方案。此外，您可以考虑寻求法律援助，以确定您是否有权利要求获得房屋或其他财物，特别是考虑到您目前的住房状况。重要的是要确保任何行动都是基于法律依据，并且遵守当地的法律规定。