您与他人签订的合同中是否约定了违约责任？如果存在约定，您可以根据合同条款要求对方返还保证金并承担相应的违约责任。如果您没有具体的合同条款或约定，建议您收集更多的证据来支持您的主张，并寻求法律专业人士的帮助以维护自己的权益。