你好我是离异女人，跟前夫有一个儿子，儿子让给了他协议书写着我随时看孩子星期六跟我住一晚，可是前夫各种无理要求不让接，他是有前科的，刚过了取保候审又进一次，学费孩子他奶奶交，其他都是我来管，前夫就是无赖我可以要回抚养权吗