宝宝出生没满月我就和他爸爸分开了，没有结婚证只是办了酒席，从分开后宝宝就一直跟我，他爸爸从来没有花过一分钱也没看过他，我们签了一份协议书现在他不遵守协议书想要回孩子我不想给他我该怎么办