关于您所提到的“只有女方说分手才能退还彩礼”的说法，在中国法律中并没有明确的规定。根据《中华人民共和国民法典》及相关司法解释，彩礼是男方在结婚时赠送给女方的财物，通常用于补偿女方因结婚带来的经济负担和精神损失。如果双方在结婚后没有共同生活或者感情破裂，男方可以要求返还彩礼。 如果您小弟与他对象之间存在纠纷或矛盾，建议通过协商或调解解决，以避免进一步的冲突和不必要的纠纷。同时，也可以考虑聘请专业的法律顾问帮助您处理相关事宜，以便更好地维护您的合法权益。