我签的房屋买卖居间合同，收对方两万定金，我想解除合同，答应陪付给他双倍违约金，但是对方不同意，他要求陪他二十万才能解除合约，我不同意给他二十万，他就要起诉我，他如果起诉我，法律最多让我陪给他多少，我最多会受到什么赔偿责任，谢谢，尽量给我分析详细点