你好，我是开门做生意的，我和一个有家庭女人有不正当关系，因为这事女方家庭全知而且男方家人早几天带人来我公司吵闹并对我殴打。我并报警处理了，今天男方与她办完离婚男方跑我公司口头威胁恐吓我，让我写保证书明天送给他。从此不再找离婚女人。我可以不写不去吗？