我跟男方是相亲认识的。相亲完就订婚了！然后我俩是异地恋，联系不多，男方两次叫我去他那里玩，我工作比较忙请不掉假都没去。然后男方就说我什么不喜欢他之类的。然后他就基本不联系我了。前段时间男方提出分手，理由是我俩没感情，我问他原因，他就说没感情！现在男方家里人要求我退还他家当初订婚是给我的一万块订金。我们那边的风俗是男方退婚是不退彩礼的。我没退，他说要起诉我，我应该退这个钱吗？