我是女方结婚两年多了，男方打过我一次，他父母也看不起我，孩子也是我和我的父母再带，他没有尽过当父亲的责任，现在是一点都过不下去了，要离婚，但是他和他爸都让我退彩礼和首饰，我退不了怎么办，需要退吗