在婚姻关系中，双方共同拥有房产的权利和责任应当根据法律规定来确定。如果离婚时未对房产归属作出明确约定，通常情况下，房屋属于夫妻共同财产，一方不得擅自处分。然而，在特殊情形下，比如对方存在违法行为或不履行抚养义务等，法院可能会考虑是否允许另一方住进该房产。 在这种情况下，建议您详细阅读离婚协议中的具体条款，并寻求专业的法律意见。同时，考虑到双方可能存在的其他争议，如孩子抚养权等问题，需要综合考虑并采取适当措施处理纠纷。