我是女方，我和男方同居三年，大概在两年多之前订婚，当时他家办的酒席，从接的礼金中，拿出五万现金，给我父母，是彩礼，然后因为他家多次出尔反尔，不给买房子，拖了一年多，临期跟我说没钱买，，所以我们俩分手了，我想问他家找我要五万彩礼，我能否不退还，因为这期间，我们共同生活，我的工资始终比他高大概一两倍，钱放在一起花的，房租也是我出的，怎么算都是我吃亏，所以这个钱我不想退，如果他告我，我应该怎么处理呢？会判我还钱吗