订婚一年男方不让我上班，让去给他打工，就共同生活了一年，期间矛盾越来越多吵架升级到打架，我受不了那样的生活，就要求退婚，没想到男方就翻脸不认人，列了一大张清单，让我赔偿他家订婚前后所有的开销及损失，我不同意，因为一年间他没有支付我相应的工资，所以我退换了大部分的彩礼，以及他家的东西，可是他们还不依不饶的，请问怎么办