我想咨询一下，已经协议离婚了，之前协议里对方列好了支付小孩抚养费，协议离完婚后来对方又说不给抚养费了，而且经常用各种方式辱骂我及家人，所以我就不让他见孩子，之前协议里说的是两周一次，现在他仍然打电话给小孩，打给小孩告诉小孩不要听我们的话，让孩子和我们对着干，请问这种情况我可以起诉取消协议里的探视权吗