我谈了一个男朋友，认识的时候他说他是离婚的单身，后面在一起后他才说他有家庭，一直想分手，他性格比较偏激每次都用威胁恐吓导致一直没有分成，因为他是做生意的在外地，所以一直不准我上班说每个月他给生活费用，这种情况在一起没有未来，这次下定决心分，他要我归还在一起他为我花的所有钱，必须要归还吗？