我咨询一下，有两个小孩，夫妻俩因打架，感情不合，大概打了有四次吧，都不厉害。最后一次，女方的弟弟来把女方和其中一个小孩接走了，男方事后去接女方，女方的爸爸当着男方父亲的面一脚把她们的小孩踢过去了，并且说他不是孩子的爷爷，男方想见女方，女方父母以出去散心她们也不知道为由不告诉男方，说当时接走女方的不是她们，男方找到女方的弟弟，也就是接人的当事人问女方在哪里，女方的弟弟以女方打工为由不让见面。现在男方想离婚并且想要两个孩子的扶养权，两个小孩大的两岁九个月，小的一岁三个月。请问这种情况应该怎么办？谢谢