我在2016年4月28日离婚，有两个孩子，女儿，14岁，儿子6岁，都归前夫。离婚协议写明，在不影响孩子的学习，我随时都可以跟孩子一起吃饭，住，玩。但离婚后半年后，我要求见孩子，但前夫说因我刚离开那个家，孩子未适应，所以让我迟点再见，我为了孩子，只好忍耐，但见了女儿有几次，都是约了吃饭，到2017年我实在忍受不了不见儿子，便打电话要求前夫，但前夫还是这样，我在7月1日打电话要求明天与孩子一起一天，回去吃饭见外婆外公，但前夫不答应，以各种借口推掉，最后我说不让见我就上门，才让女儿问我时间，但第二天又威胁女儿，然后反口了，到现在也没跟儿子吃过饭，只见过儿子2次。现在希望我们能多相处，我该怎么办？