在您的情况下，如果您是卖方，并且您决定不履行合同，则您需要承担违约责任。根据合同条款，您需要支付买方违约金，具体金额为总房价的20%。这意味着您需要支付110万元作为违约金。 如果您已经支付了定金（通常占总房价的约1%-2%），则剩余的款项应该是通过银行转账或现金支付给买家。因此，在这种情况下，您可以选择退还所有已支付的款项，或者要求买家将余下的款项退回给您。这取决于双方的具体协议和法律规定。