PyTorch Lightning 生产训练：最佳实践与高级特性
分布式训练、混合精度、梯度累积与实验追踪
PyTorch Lightning 生产训练：最佳实践与高级特性
分布式训练、混合精度、梯度累积与实验追踪
掌握 PyTorch Lightning 在生产级深度学习中的应用，包括多 GPU 训练、混合精度、梯度累积、回调函数以及与实验追踪工具的集成。
PyTorch Lightning 将 PyTorch 代码组织得更加可复现和可扩展。核心结构：包含 training_step、validation_step、configure_optimizers 方法的 LightningModule。LightningDataModule 用于数据加载。Trainer 负责设备管理、混合精度、分布式训练。
混合精度：Trainer(precision="16-mixed") 可减少 50% 内存，在现代 GPU 上加速训练 1.5-2 倍，且精度损失极小。
多 GPU 训练：Trainer(devices=4, strategy="ddp") 使用 DistributedDataParallel 进行 4 GPU 训练。无需修改代码，仅需配置 Trainer。
梯度累积：在不增加内存的情况下扩大有效批量大小。Trainer(accumulate_grad_batches=4) 在优化器步骤前累积 4 个微批次。
回调函数：ModelCheckpoint（保存最佳模型）、EarlyStopping（防止过拟合）、LearningRateMonitor（训练期间跟踪学习率）、RichProgressBar（美观的 CLI 输出）。
日志记录：内置与 TensorBoard、Weights & Biases、MLflow 的集成。Trainer(logger=WandbLogger(project="my-project"))。
性能分析：Trainer(profiler="advanced") 可识别训练瓶颈。
常见问题：num_workers=0 会导致 CPU 瓶颈，应设置为 4-8。pin_memory=True 加速 CPU-GPU 数据传输。persistent_workers=True 避免 epoch 间重启 worker 的开销。
超参数优化：LightningCLI 配合 YAML 配置文件，可实现清晰的超参数管理，并与 Optuna 集成进行优化。