我的家庭情况是这样的，我们家是招上门女婿，在我这里过了十六年，我们生了两个男孩，孩子都跟我姓，现在房贷小孩的学费。生活费什么都是我的，前几年每年还给我几万块钱，现在他不想跟我这边过了，孩子不跟他姓，意思就是想把这个家扔了，房子一人一半，分钱走人，这算不算遗弃