我的丈夫，大白天的看到我跟一个男的在房子里，我们并没有干什么，现在闹离婚，每个月要我给孩子的抚养费1000元，还要我净身出户，我自身有乳腺增生中级跟胸痛症的病，如果没有恶化的情况下每月看病吃药几百以上，现在还一直用那种认定我跟别人同居的语言攻击我，心情不好会影响病情，我可以告他吗？