你好，我老婆是在婚，七年前离婚的，有个男孩，当我老婆要了孩子，法院判给了她，孩子每月给小孩一千元生活费，当时孩子小，孩子爷爷没有让带走，孩子父亲啥都不管，这期间我老婆打工回去也去看过给钱，带他，现在问题就是他爷爷也不管了，让我老婆带走，我和我老婆结婚三年了，现在也有一个小孩，孩子的父亲就是那种打老骂少那种，孩子上学学费都是我们给，现在我意思我们有家庭，我不想要抚养权，因为孩子上三年级，学籍，还有户口都在他父亲那，我纠结孩子监护还有他孩子父亲到时找事，我们愿意出抚养费，就不想与他们家有瓜葛，这样法律程序怎么走，谢谢