我是男方，因为女方出轨现以离婚，离婚的时候跟女方谈要退五万彩礼，女方就去找出轨对象要了两万块钱，后出轨方反悔又索要，说是我们夫妻诈骗他钱，后来去到当地派出所退钱给他，他又自愿放弃并在派出所签了自愿放弃追回钱的保证书，我于下月离婚，现在那边出轨男方的老婆又起诉我们说骗他钱，要讨要这钱，请问跟我有关系吗