我与男方于2015年5月份协议离婚，生有一子给男方抚养。协议上写在假期我可有探望孩子的权利。孩子跟男方都在江苏，而我在广西，每次我千里迢迢，满怀期待赶来看望孩子，对方要么只带孩子晚上一个多小时就走，要么我去男方看孩子时对方把孩子带走不让我见，我的精神受到严重摧残，因为孩子是我一手带大，孩子也愿意跟我在一起，他们为什么这样做？我该怎么办？