您好！根据我国相关法律规定，如果您和对方在未办理结婚登记手续的情况下发生性行为，则不构成婚姻关系。因此，您没有义务退还彩礼给对方。不过，建议双方协商处理此事，以避免矛盾激化。如果协商不成，可以考虑通过法院诉讼解决。