我和一个已婚女人出轨了被他老公知道了找我谈了一下我说来闹没意思我愿意出3万块钱做补偿他不干要5万我先给了他一万现在要给剩下的4万块钱了我该杂办呢对方说给钱就不来闹我怕我给了钱对方来闹我该杂办