我想问一下，家里给介绍了一个对象，刚开始觉得不错，所以就确定了男女朋友的关系，确定关系的时候需要男方家给女方家8000多块钱，是换礼的钱(不是彩礼)，结果男方家不干了，拖着我家必须说出来我不愿意，让我家把钱退给他，我家不退的话，他告我们诈骗，那这个罪名成立吗？