我和我的妻子在一起五年了。之前她有过短婚，但是没有结婚证，有一个孩子，当时分开的时候没有走什么法律程序，就是带着孩子就走了，后来我们就在一起了。我们在一起的时候就领了结婚证。孩子也一直和我们在一起，五年来，对方也没有来看过孩子，我们也没有找对方要过抚养费，现在对方提出要孩子的抚养权，请问，如果走法律程序，孩子的抚养权谁会拥有？