From 34021570fb2a56a63e04c0762bc4bc76a399934d Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Fri, 7 Jun 2024 18:47:57 +0800 Subject: [PATCH] remove redundant lightning command line flags doc (#17484) --- .../tidb-lightning-configuration.md | 54 ------------------- tidb-lightning/tidb-lightning-prechecks.md | 2 +- 2 files changed, 1 insertion(+), 55 deletions(-) diff --git a/tidb-lightning/tidb-lightning-configuration.md b/tidb-lightning/tidb-lightning-configuration.md index ef0f7fc0c5a9..e24813370b7a 100644 --- a/tidb-lightning/tidb-lightning-configuration.md +++ b/tidb-lightning/tidb-lightning-configuration.md @@ -398,7 +398,6 @@ checksum-via-sql = "false" # 此配置的可选配置项与 `checksum` 相同，但默认值为 "optional"。 analyze = "optional" - # 设置周期性后台操作。 # 支持的单位：h（时）、m（分）、s（秒）。 [cron] @@ -410,56 +409,3 @@ log-progress = "5m" # 使用物理导入模式时，检查本地磁盘配额的时间间隔，默认为 60 秒。 # check-disk-quota = "60s" ``` - -## 命令行参数 - -### `tidb-lightning` - -使用 `tidb-lightning` 可以对下列参数进行配置： - -| 参数 | 描述 | 对应配置项 | -|:----|:----|:----| -| --config *file* | 从 *file* 读取全局设置。如果没有指定则使用默认设置。 | | -| -V | 输出程序的版本 | | -| -d *directory* | 读取数据的本地目录或[外部存储服务的 URI](/external-storage-uri.md) | `mydumper.data-source-dir` | -| -L *level* | 日志的等级： debug、info、warn、error 或 fatal (默认为 info) | `lightning.log-level` | -| -f *rule* | [表库过滤的规则](/table-filter.md) (可多次指定) | `mydumper.filter` | -| --backend [*backend*](/tidb-lightning/tidb-lightning-overview.md) | 选择导入的模式：`local` 为物理导入模式，`tidb` 为逻辑导入模式 | `local` | -| --log-file *file* | 日志文件路径（默认值为 `/tmp/lightning.log.{timestamp}`，设置为 '-' 表示日志输出到终端） | `lightning.log-file` | -| --status-addr *ip:port* | TiDB Lightning 服务器的监听地址 | `lightning.status-port` | -| --pd-urls *host:port* | PD endpoint 的地址 | `tidb.pd-addr` | -| --tidb-host *host* | TiDB Server 的 host | `tidb.host` | -| --tidb-port *port* | TiDB Server 的端口（默认为 4000） | `tidb.port` | -| --tidb-status *port* | TiDB Server 的状态端口的（默认为 10080） | `tidb.status-port` | -| --tidb-user *user* | 连接到 TiDB 的用户名 | `tidb.user` | -| --tidb-password *password* | 连接到 TiDB 的密码，可为明文或 Base64 编码 | `tidb.password` | -| --enable-checkpoint *bool* | 是否启用断点 (默认值为 true) | `checkpoint.enable` | -| --analyze *level* | 导入后分析表信息，可选值为 required、optional（默认值）、off | `post-restore.analyze` | -| --checksum *level* | 导入后比较校验和，可选值为 required（默认值）、optional、off | `post-restore.checksum` | -| --check-requirements *bool* | 开始任务之前检查集群版本兼容性，以及运行过程中检查 TiKV 的可用存储空间是否大于 10%（默认值为 true）| `lightning.check-requirements` | -| --ca *file* | TLS 连接的 CA 证书路径 | `security.ca-path` | -| --cert *file* | TLS 连接的证书路径 | `security.cert-path` | -| --key *file* | TLS 连接的私钥路径 | `security.key-path` | -| --server-mode | 在服务器模式下启动 TiDB Lightning | `lightning.server-mode` | - -如果同时对命令行参数和配置文件中的对应参数进行更改，命令行参数将优先生效。例如，在 `cfg.toml` 文件中，不管对日志等级做出什么修改，运行 `tiup tidb-lightning -L debug --config cfg.toml` 命令总是将日志级别设置为 “debug”。 - -### `tidb-lightning-ctl` - -使用 `tidb-lightning-ctl` 可以对下列参数进行配置： - -| 参数 | 描述 | -|:----|:----------| -| --compact | 执行 full compact | -| --switch-mode *mode* | 将每个 TiKV Store 切换到指定模式（normal 或 import） | -| --fetch-mode | 打印每个 TiKV Store 的当前模式 | -| --import-engine *uuid* | 将 TiKV Importer 上关闭的引擎文件导入到 TiKV 集群 | -| --cleanup-engine *uuid* | 删除 TiKV Importer 上的引擎文件 | -| --checkpoint-dump *folder* | 将当前的断点以 CSV 格式存储到文件夹中 | -| --checkpoint-error-destroy *tablename* | 删除断点，如果报错则删除该表 | -| --checkpoint-error-ignore *tablename* | 忽略指定表中断点的报错 | -| --checkpoint-remove *tablename* | 无条件删除表的断点 | - -*tablename* 必须是`` `db`.`tbl` `` 中的限定表名（包括反引号），或关键词 `all`。 - -此外，上表中所有 `tidb-lightning` 的参数也适用于 `tidb-lightning-ctl`。 diff --git a/tidb-lightning/tidb-lightning-prechecks.md b/tidb-lightning/tidb-lightning-prechecks.md index 24c363b4951c..6348059852e1 100644 --- a/tidb-lightning/tidb-lightning-prechecks.md +++ b/tidb-lightning/tidb-lightning-prechecks.md @@ -14,7 +14,7 @@ summary: 本文档介绍了 TiDB Lightning 前置检查功能，确保 TiDB Ligh | 集群版本/状态是否正常| >= 5.3.0 | 检查配置中集群是否可以连接，物理导入模式还会检查 TiKV/PD/TiFlash 版本是否支持。| | 是否有权限读取数据 | >= 5.3.0 | 检查当从云存储（Amazon S3）读取数据的时候，是否有对应的权限，确保不会因权限缺失导致导入中断。| | 导入空间是否足够 | >= 5.3.0 | 检查 TiKV 集群是否有足够空间导入数据。检查时会对数据源进行采样，通过采样结果预估索引大小占比。由于估算中考虑了索引，因此可能会出现尽管数据源大小低于本地盘可用空间，但依然无法通过检测的情况。物理导入模式因为需要在本地进行外部排序，所以还会检查本地存储是否足够。有关 TiKV 集群空间和本地存储（即 `sort-kv-dir` 配置）空间大小的详细说明，参考 [TiDB Lightning 下游数据库所需空间](/tidb-lightning/tidb-lightning-requirements.md#目标数据库所需空间)和 [TiDB Lightning 运行时资源要求](/tidb-lightning/tidb-lightning-physical-import-mode.md#运行环境需求)| -| Region 分布状态 | >= 5.3.0 | 检查 TiKV 集群的 Region 分布是否均匀，以及是否存在大量空 region，如果空 Region 的数量大于 `max(1000, 表的数量 * 3)`，即大于 "1000" 和 "3 倍表数量"二者中的较大者，TiDB Lightning 无法执行导入。 | +| Region 分布状态 | >= 5.3.0 | 检查 TiKV 集群的 Region 分布是否均匀，以及是否存在大量空 Region，如果空 Region 的数量大于 `max(1000, 表的数量 * 3)`，即大于 "1000" 和 "3 倍表数量"二者中的较大者，TiDB Lightning 无法执行导入。 | | 数据文件是否有大 CSV 文件 | >= 5.3.0 | 当备份文件中出现大于 10 GiB 的 CSV 文件且无法进行自动切分 (StrictFormat=false) 的时候，会导致导入性能下降。该检查的目的是提醒用户确保数据格式的情况下，开启自动切分 CSV 功能。 | | 是否可以从断点恢复 | >= 5.3.0 | 该检查是确保断点恢复过程中，不会出现对源文件和数据库中 schema 进行修改，导致导入错误数据的情况。| | 是否可以导入数据到已存在的数据表中 | >= 5.3.0 | 当导入到已创建好的数据表中时，该检查尽可能的检查此次导入的源文件是否和已存在的数据表匹配。检查列数是否匹配，如果源文件存在列名，则检查列名是否匹配。当源文件存在缺省列，则检查缺省列在数据表中是否存在 Default Value，如果存在，则检查通过。|