夫妻双方离婚时协议，房子留给孩子，但并没有过户以及写明过户时间，现在孩子归女方，女方唆使孩子要房子，但是在离婚的几年中，孩子对父亲不孝顺，极少看望，现在这种情况，男方能否不把房子给孩子？或是能否以立遗嘱的形式修改房子的所有人？