在中国法律中，离婚时彩礼的退还问题并没有统一的规定，通常需要根据具体情况来判定。根据《中华人民共和国婚姻法》及相关司法解释，彩礼属于婚前财产，原则上是不需要退还的。但是，如果双方在婚姻关系存续期间没有共同生活，或者因为彩礼导致男方生活困难，法院可能会根据具体情况判决退还部分或全部彩礼。 在您的情况下，结婚已经4年，如果双方已经共同生活，并且彩礼没有导致男方生活困难，那么男方要求退还彩礼可能没有法律依据。然而，如果彩礼数额较大，且确实对男方造成了经济压力，或者双方在婚姻期间没有共同生活，法院可能会考虑退还部分彩礼。 此外，如果彩礼是作为婚姻的一部分，且婚姻关系已经解除，法院在判决时也会考虑到婚姻持续的时间、双方的过错、以及彩礼的实际使用情况等因素。因此，具体是否需要退还彩礼，以及退还多少，需要根据案件的具体情况由法院来判定。如果双方无法就彩礼问题达成一致，可以向法院提起诉讼，由法院依法作出判决。