司老板说追求我，给了我一万块钱，让我跟他发生关系，我刚开始没收这个钱，是他让我收了，我是答应和他在一起，但我说等我从家里面回来，在一起，他说他等不了，如果我不和他发生关系他就退出，钱要退给他吗