你好，我这边是农村的，我想问一下，家里建了自建房，村委会分的院子，隔壁一家邻居说我们占了他家的地方，一年跟我们吵很多次，村委干部也不敢做声，隔壁一家威胁我们说要把我家房子推掉，强词夺理，本身他家房子就占着我家的院子，我们一让再让，他们还得寸进尺。这种问题该怎么解决？