法院调解离婚后，女儿的抚养权归前夫，儿子的抚养权归我，我们各管各的孩子，但当时离婚协议上没有约定他过后配合我办理户口迁移事宜。现在我想迁走我和儿子的户口，如果对方不配合，请问我该怎么办？是否就意味着我和孩子的户口永远没法迁移啦？谢谢！