我是女方，婚后七年隔离屋的男诱骗跟他去做水泥工，发生了性关系，这个也是诱骗的，现在我自己做生意，不想跟他一起了。当时在一起的时候他给过钱给我用，现在又要我把这些钱给回他，这钱我能给吗？