你好律师，因为我以前因为婚姻破裂离婚，没有离婚，双方也不在一起，处了对象，他给我花的钱，我是不是必须要还，他说不还就是诈骗，要去公安局告我！他让我还我也在还，每个月都给他还的呀，这个要怎么处理