Built with anycoder

TP DP PP 性能可视化分析

通过交互式图表展示张量并行(TP)、数据并行(DP)和流水线并行(PP)的性能指标

参数设置

4
8
2

模型配置

175亿
32

张量并行 (TP)

4

将单个张量操作拆分到多个设备上并行计算

数据并行 (DP)

8

将数据拆分到多个设备上,每个设备有完整的模型副本

流水线并行 (PP)

2

将模型的不同层分配到不同的设备上,形成处理流水线

并行效率对比

85%
92%
78%

内存使用情况

65%
85%
45%

综合性能对比

TP
DP
PP