我和前夫离婚半年了，之前离婚的时候他说有钱就给一点抚养费，不写合同，我就没有写，直接签字离婚了，儿子跟着我，户口，抚养权都在我这边，我现在就在考虑怕他以后来骚扰我们，因为没有签合同，所以怕以后他来找我扯皮，我儿子现在2岁2个月了，离婚的时候儿子才一岁半左右还在吃奶粉，他没有付抚养费这些，以后我儿子是不是有权利不认他呀？麻烦您们，我真的是不知道怎么办才好