在上期《DeepSeek-R1服务性能评测网页版》分析中，各平台在用户体验与功能表现方面存在一定差异。本轮评测则采用中国软件评测中心人工智能部自研大模型服务性能工具，选取六家主流平台的API版本，通过多时段多轮次测试开展系统性评估。
评测采用标准化代码题作为测试用例，在多个典型时段进行重复性验证，采用核心性能指标、综合稳定性指标两大评估体系：
1.核心性能指标：涵盖首Token延迟时间、推理过程耗时、回复响应时间、总处理时长等基础指标，以及基于时间计算的推理速度（tokens/sec）、回复速度（tokens/sec）和平均总速度（tokens/sec）等衍生指标；
2.综合稳定性指标：通过上述核心性能指标以及总体标准差和极差两项统计量，系统评估各平台在不同时段的性能波动情况。
一、核心性能指标分析
（一）首Token延迟时间
为分析各平台响应速度，我们采取多时段抽样评测方法，测试各平台首Token延迟时间（从触发请求指令起至模型产生首个有效Token的时间间隔），本次测试结果显示大部分平台表现出良好的稳定性，首Token延迟时间均稳定在2秒以内，用户体验未出现显著延迟感知。其中，硅基流动平台在14:00时段出现明显波动，波动频次较多，首Token延迟时间达到异常峰值，形成与其他平台的显著差异。
表1：首Token延迟时间（单位：秒）
（二）推理过程耗时和全流程总处理时长
鉴于DeepSeek-R1平台深度推理的技术特性，为分析各平台在时间表现上差异性，本次评测对其推理过程耗时和全流程总处理时长分别进行了单独测量。百度智能云、火山引擎、腾讯云、讯飞开放平台等在时间表现上差异较小。硅基流动平台在推理时间和总处理时间耗时均较高，与其他平台存在一定差距；阿里云百炼平台则呈现出明显的时段性波动特征，上午时段各项耗时指标均稳定在基准值范围内，但下午时段整体耗时出现一定幅度的波动。
图1：推理与全流程总处理时间（单位：秒）
（三）推理速度
分析大模型对输入内容进行理解、分析、推理等核心处理环节效率，通过推理速度[ 单位时间内处理的Token量来量化模型处理复杂任务的计算效率]反映其底层架构的优化程度和并行计算能力。在用户体验层面，较快的推理速度能够缩短复杂问题的响应时间，提升交互过程中模型的“即时智能感”，从而增强用户对系统专业性的认知。从评测数据来看，火山引擎平台在该项指标上表现出显著优势，其推理速度均值达到29tokens/s。相较之下，讯飞开放平台的推理速度均值为1.2tokens/s，与领先平台存在一定性能差距。
图2：推理速度（单位：token/s）
（四）回复速度
采用回复速度[ 从接收输入到输出完整回复的时间效率。]衡量模型响应用户请求效率，通过单位时间内生成的Token量来量化交互流畅度。火山引擎平台在该项指标上领先于其他平台，其回复速度均值达到32tokens/s，交互感受自然流畅。在稳定性方面，硅基流动平台的回复速度数据呈现明显波动特征，与其他平台相比存在较大离散度。
图3：回复速度（单位：token/s）
（五）总平均速度
采用总平均速度衡量各平台平均反应速度，火山引擎反应速度最快，百度智能云、阿里云、腾讯云等平均速度差距较小，表现较好，讯飞可能限于算力问题，总平均速度表现较差。
图4：总平均速度（单位：token/s）
二、综合稳定性指标
在综合评估环节，采用熵权法[ 根据各指标数值变化对整体的影响，计算指标的熵值，进而确定权重。]进行指标权重分配，通过计算各指标数据的离散程度确定客观权重，权重分配见表2。
表2：各参数熵权法权重分配
权重分配后的性能综合评估（见图5）及各指标均值统计（见表3）：火山引擎平台在核心性能维度保持行业领先水平，其综合表现呈现全面均衡特征，在深度推理时间与总处理时长两项关键指标上，优势显著，均值水平优于其他平台。硅基流动平台在多时段测试中表现出较高的离散程度，其性能指标波动幅度在稳定性评估中处于相对高位。
图5：各平台API性能图
表3：各指标平均数据图
三、多平台API大模型评测结果分析
综合来看，火山引擎平台凭借在深度推理效率与系统稳定性方面的显著优势，成为本次评测中综合性能最均衡的选择，该平台在权重分配中获得最高综合得分（99.52），在首Token延迟时间、推理过程耗时等基础指标，以及推理速度等衍生指标上，均展现出卓越的表现，其深度推理耗时均值位于行业平均水平的前列，展现出底层架构的高效优化能力。百度智能云（73.21）、腾讯云（72.73）、讯飞开放平台（66.27）等平台在一般性的内容创作、知识问答等场景中，能够较好地满足需求，表现出了稳定的性能。硅基流动可能存在限于用户量大算力不足情况，稳定性欠佳，容易出现响应延迟以及结果波动的情况。
本次测评为企业及开发者应用提供客观参考，分析平台性能优势，帮助用户根据实际需求选择最适配的平台，增强行业竞争力与用户体验，进一步助力技术和行业应用落地。（中国软件评测中心）
来源： 光明网 |
|
