村痞 LV
发表于 2025-4-27 15:54:24
很显然,两者模型的定位不同,就下面的那个按钮,点击“深度思考” ,就是在R1 模型在工作,不点击 “深度思考” :普通模式,V3 模型在工作了
对于R1来说
DeepSeek R1 ,主打推理任务,完全对标OpenAI o1,特点是专门解决较为复杂的任务,对数学题目,问题解答,代码推理等逻辑较深的更适合进行分析
对于V3来说
而DeepSeek V3版,这里可以说是多功能大型语言模型,在未来可进行多模态分析,适合各种语言处理任务。
前几天,DP幻方团队一声不响的在Huggingface上发布了V3的“小版本”迭代“DeepSeek-V3-0324”。国内哇的开发者们人又一次迎来一顿夸赞。
有人说,更新版的V3像是旧版V3与R1的结合体,针对于百科知识GPQA、数学(MATH-500, AIME 2024)和代码任务成绩表现是非常让人吃惊的,更擅长用户的长输出解决能。据说这方面的提升全都落在R1的优势能力范围内。光说不行,我们来看一下实测表现:
看到了没,在数学成维度的测试、编程类与其他大模型集体评测集上取得了很不错的成绩,甚至是超过 GPT-4.5、Claude-Sonnet-3.7的表现
从最近的一次版本的V3能力上来看,准确率上已经接近R1模型,但是其调用token的费用大大的降低下来。
两者的架构,参数也不同
R1版采用的是强化学习的架构,这个是经过幻方团队进行优化过的,有不同规模的版本,14B,32B ,64N等,参数在15亿~700亿。看看下面的一个统计,我们就知道
V3版:用MoE混合专家架构,核心思想是将输入内容分配给不同的专家子模型,然后将所有子模型根据算法进行动态调整,从而输出其内容。V3现在的参数有6710亿,一个token激活的数量将近400姨
核心技术就是模型架构中为每个网络专家都要自己的任务,比如选择合适的专家来处理特定输入,那么DeepSeek究竟是如何做到的呢?
看看下面的一个图解:
这个策略和集成Learn方法相似,监管机制负责将门控网络决定分配给每个专家的权重。在整个过程中,同时让专家和门控网络进行训练,不断的进行自我优化性能和决策处理
当然关于MOE的混合架构的知识还很多,比如MoE混合专家的稀缺性,Token负载均衡、MoE算法设计、蒸馏处理,数据融合等待
这些也是最近最火大模型应用最主流的一些技术,学习了这些基本上可以做很多的岗位,比如大模型应用开发,AI自动化运营,机器人应用开发,Agent智能体应用开发,AI算法,AI全栈工程师等待
有人要问了入局AI这些岗位难不难,我想说的是找对了方法就想学习1+1=2似的,比如知乎知学堂出品的AI大模型应用进阶在线视频,只要你会一点点Python基础,都能学得会,由业界大佬带队,从0到1的带入入局大模型的前生今世,包括主流deepSeek核心算法原理和底层架构,还有常见的大模型商业化项目落地实践,30套大模型项目供你进行运行和调试,直通车我放到下方了,不要犹豫,直接上车领取就行:
你甭说,很多人学习完这个,真的就转型成功了,在面试的时候说的是头头是道,面试官都觉得太专业了
再回来总结一下R1模型,强项就是数理,把gpt4o爆了,据说比o1mini更好,coding还是gpt更强一些,R1的context好像没有r1多,给的文件和prompt多一点就巨卡罢工。与其他模型相比,题面简单实际复杂的数理题R1给其他普通的大模型直接秒了,正确率很高。
训练方式上也有区别
R1的版本:重点训练思维链推理,还加上了强化学习+监督微调。
V3版本则有所不同:虽然DeepSeek的R1是以V3为基础构建冷启动。但是V3使用FP8混合精度训练,对DeepSeek-V3 进行了两次上下文长度扩展,先扩展到32K,再扩展到128K。通过精调试和强化后更接近人类的行为。
性能表现上也是有所不同
R1版,DROP任务F1分数92.2%,AIME 2024通过率79.8%。
V3版在数学、多语言和编码任务成绩可以首屈一指,Cmath得分90.7%
由于v3是作为基础模型,可以说是R1的一个改进版和突破版,使用提示方面有所差异,v3需要从从过程到结果的较为清晰的知识,而R1只要目标清晰就能一气呵成。再看看具体的一个表现示例图
对于一个开放性的任务:
对于一个标准规范类型的任务:
从结果上来看,R1深度思考的更加友好。
应用场景的不同
R1版相当于一个文学家,据说是请了清华的博士生来标注的,更适合学术研究、问题解决应用、诗词歌赋,文学小说,决策支持等场景可以张口就来,当时也可做教育工具。
缺点就是但是长文本摘要总结,文字翻译不适合R1大模型,对简单的问题可能进行过度思考,相对应价格较高
V3版是基础性模行,更适用于日常工作任务:如大型语言任务,如对话式AI、多语言翻译、内容生成等,策划方案,自媒体写作,剧本等
无论怎么,DeepSeek在国内迈出国际第一步,这回也中午让国内大模型雄起了一次,据说幻方大模型V4就快发布了,未来已来,期待V4会再次震惊全世界。。。 |
|