最近退婚，男方要求归还彩礼钱，这是我方承认的，但男方因为我方提出退婚，认为我方理亏，要求赔付恋爱期间所有用费，连吃喝玩乐也算在内，我方当时没搞清楚法律，便当场还了5万，其余打了欠条，事后了解到这是不应当归还的，彩礼按照习俗是该还的，但用费不应该还，我想问，欠条能作废吗？如果男方不承认收了5万，我方没有证据怎么办？