根据我国相关法律规定，彩礼是基于双方当事人之间的爱情关系而产生的赠与行为，并非法定的债务或财产请求权。因此，在没有其他证据证明存在非法占有或不当得利的情况下，女方有权拒绝返还彩礼。 在本案中，由于女方已经出轨并导致婚姻破裂，男方可以向女方主张损害赔偿。但需要注意的是，损害赔偿应当基于实际损失进行计算和确定，包括但不限于因离婚导致的生活费、抚养费等费用的增加。如果女方确实因离婚等原因遭受了经济损失，那么男方可以根据实际情况合理主张赔偿。但在当前情况下，男方仅能主张其支付给女方家人的彩礼作为损害赔偿的一部分，而非全额要求返还。