一个男的总是纠缠我，让我和他保持情人关系，我不同意。他就用言语威胁我，要对我老公怎样怎样，要到我公司怎样怎样。他以前就是一个社会混子，我怕他真的做出什么事来。我该怎么办？请知信回复，谢谢！