我的妈妈在很多年前一时冲动做了对不起我爸爸的事情，然后对方经常威胁我妈妈，胁迫我妈妈跟他继续维持不正当关系，比如通过网络微信保持联系。近期被我们发现并制止，对方不同意，扬言要散布我妈妈对婚姻不忠的事，请问我该怎么办？他这个属于侵犯隐私权吗？