尊敬的客户，根据我国婚姻法及相关司法解释的规定，如果双方未办理结婚登记手续或者离婚，彩礼一般不予返还。然而，在您所描述的情况下，由于你们并没有共同生活过，并且男方在支付彩礼时确实面临了经济困难，这可以作为考虑的因素之一。但是，最终能否要求对方归还彩礼还需要结合具体案情和法律规定来判断。建议您与对方协商或通过法律途径解决此问题。