根据您提供的信息，您和您的丈夫在结婚前并没有结婚的法定程序，因此你们之间的婚姻关系并不成立。在这种情况下，对方要求退还彩礼金的要求是不合理的。建议您保留好所有的证据，并考虑寻求法律援助以保护自己的权益。