我是女方，两年前因男方出轨离婚，有一子，由男方抚养，当初说好我随时有探视权，孩子放假我也可以带他过来和我生活一段时间，但现在男方只允许我去看孩子，不能带走。这种情况我可以起诉吗？