我们兄妹四个是亲哥扯牵赔了几套房子才四十多就在家啥也不做就是打麻将，他有一儿一女还有一个老爹我们轮流养家产他一个人得现在钱花完了就问我们借张口就是一万不借就找茬向威胁说他没饭吃了他过不好谁也别想过我该怎么办？