我和老公结婚5年，有个小孩，孩子一直都在外婆家长大，婆婆家从来未管过，在外上班基本没有和老公在一起生活，之前总是吵架闹离婚，结果未离成，我现在遇见对我来说更重要的人，想要离婚，老公不同意，要拖住我，他们家人还打电话威胁我们，小孩子想我自己扶养，我该怎么办