训练与推理混合负载的计算资源隔离策略，关键不是简单地把任务分进不同容器，而是先确定哪些资源必须保留给在线服务，再决定训练能否共享剩余资源。训练通常更看重持续吞吐，推理则容易受瞬时争用影响，表现为请求排队、尾延迟升高甚至超时。以下五种方法可单独使用，也可组合实施。
先判断争用发生在哪里
同时观察加速卡显存与利用率、主机内存、处理器占用、存储读写和网络流量，并记录推理的平均延迟、P95或P99延迟、错误率，以及训练每步耗时。若推理变慢时显存接近耗尽，重点是显存与设备隔离；若设备利用率不高但请求仍排队，则还要检查数据读取、处理器或网络瓶颈。用同一模型、相近请求规模对照单独运行和混合运行，避免把模型差异误判为资源争用。
5种隔离方法：强度、代价与场景
| 方法 | 适用条件 | 主要代价或限制 |
|---|---|---|
| 专用设备或节点 | 推理有严格服务等级目标（SLO），或训练中断代价高 | 隔离最直接，但闲置时不易共享，硬件投入较大 |
| 硬件分区 | 设备及驱动明确支持将计算与显存划成独立实例 | 分区规格固定，不能假设所有型号都支持；单个分区的容量也可能不适合大任务 |
| 容器配额与设备绑定 | 需要隔离处理器、内存，并限制任务可见的加速设备 | 容器本身不等于算力隔离；共享设备上的计算争用通常仍需其他机制处理 |
| 优先级与抢占 | 训练可暂停或可从检查点恢复，推理请求有明确优先级 | 策略配置和恢复逻辑较复杂；频繁抢占会降低训练效率 |
| 准入控制与流量整形 | 请求或训练任务会突发，资源需求随负载波动 | 能限制过载，却不能创造额外算力；排队过长时仍需扩容或降载 |
1. 专用资源：用成本换确定性
把在线推理固定在一组设备上，训练只使用另一组，是最容易理解的硬隔离方式。适合延迟目标严格、训练作业运行时间长，或混合运行导致服务频繁波动的场景。部署时按服务峰值需求预留设备，并为训练单独指定资源池；缺点是低峰期推理设备可能空闲，整体利用率下降。
2. 硬件分区：一张设备卡划出边界
如果具体加速器支持硬件分区，可为推理分配固定的计算与显存实例，训练使用其余分区。先核实设备型号、驱动和运行时是否支持分区，再用独立实例运行两类负载，最后检查推理内存余量和延迟。它比单纯软件限额更能减少相互影响，但分区大小不一定能灵活调整；不支持此功能的设备不能靠配置模拟出同等隔离。
3. 容器限额：隔离主机资源，不夸大设备效果
可为训练容器设置处理器配额和内存上限，只向容器分配指定设备，并避免训练进程占满主机内存。以 Docker 等容器运行环境为例，设备可见性控制能限制任务使用哪些设备，但不必然限制共享设备上的计算时间或显存占用。应先确认运行时提供的控制项，再在并发压力下验证实际边界。若设备侧没有可靠配额，需叠加硬件分区或调度控制。
4. 优先级与抢占：让训练为在线请求让路
将推理服务设为高优先级，训练设为可暂停的低优先级作业。操作上，先规定推理的延迟和错误率目标；再为训练设置可抢占条件，并确认框架能够定期保存检查点；最后用推理请求突增的测试验证暂停、恢复和资源回收。此法适合训练可恢复、资源池需要复用的环境。若训练无法安全暂停，或抢占频繁，采用固定配额通常更稳妥。
5. 准入控制与流量整形：避免同时放大需求
为在线请求设置并发上限、超时和有界队列；队列过长时可拒绝低优先级请求或做背压，避免无限积压。训练侧则限制同时启动的作业数，并错开大规模数据读取。上线时先从保守并发开始，逐步增加负载，观察P95、P99延迟、队列长度和训练步耗时，再据此调整阈值。具体数值应由模型、请求大小、硬件和SLO决定，不宜照搬其他环境的固定上限。
怎么组合：从低风险到强隔离
- 先建立单独运行的基线，再在混合负载下记录延迟、错误率、资源占用和训练耗时。
- 为推理设定可接受的SLO，并明确训练是否允许暂停、是否有检查点。
- 先配置设备可见性、主机内存与处理器限额，再加并发上限和训练准入规则。
- 若争用仍突破SLO，改用硬件分区或专用设备；上线后持续监测队列和尾延迟，按变化调整资源。
选择训练与推理混合负载的计算资源隔离策略时，可按“先限流、再配额、必要时分区或专用”的顺序评估。软隔离成本较低、弹性更好，但保证边界有限；硬隔离更稳定，却可能牺牲资源利用率。最终方案应以实测混合负载是否满足SLO为准。
常见问题
训练利用率很高，是否一定要停掉训练？
不一定。先看推理延迟、错误率和队列是否超出目标；如果服务稳定，可以保留训练并监控。若持续超标，再降低训练并发或加强隔离。
容器能完全防止显存争用吗？
不能一概而论。容器可控制设备可见性，但共享设备时是否能限制显存和计算资源，取决于设备、驱动与运行时的具体能力。
优先级调度能替代专用设备吗？
不能保证等价。调度有助于在争用时让推理优先，但可能存在响应延迟，也依赖训练可暂停；对严格延迟目标，专用资源或硬件分区通常更可控。
