位于旧金山的AI研究初创公司Deep Cogito由前谷歌员工创立,近日发布了四款新的开源大语言模型,这些模型在一个关键方面与众不同:它们能够学会如何更有效地推理,并且能够自主改进。
这四款模型属于Cogito v2系列,参数规模从700亿到6710亿不等,面向AI开发者和企业用户开放使用。具体包括:
- Cogito v2-70B(密集型)
- Cogito v2-109B(专家混合型)
- Cogito v2-405B(密集型)
- Cogito v2-671B(专家混合型)
密集型模型在每次前向传播中激活所有参数,更适合低延迟应用和GPU容量有限的环境。专家混合型(MoE)模型采用稀疏路由机制,每次只激活少数专业化的"专家"子网络,在不成比例增加计算成本的情况下实现更大的模型规模。
所有四款Cogito v2模型都设计为混合推理系统:它们既可以立即响应查询,也可以在需要时进行内部反思后再回答。关键在于,这种反思不仅仅是运行时行为,而是融合到训练过程本身中。
这些模型被训练来内化自己的推理过程。这意味着它们得出答案的路径——可以说是思维步骤——被提炼回模型的权重中。随着时间推移,它们学会识别哪些思路真正重要,哪些不重要。
Deep Cogito的CEO兼联合创始人Drishan Arora此前是谷歌的首席大语言模型工程师,他将公司的长期目标描述为构建能够推理并在每次迭代中改进的模型,类似于AlphaGo通过自我对弈完善策略的方式。
在推理任务中,旗舰版671B MoE模型超越了DeepSeek R1,在使用60%更短推理链的情况下达到或超过其最新0528模型的性能。在MMLU、GSM8K和MGSM等基准测试中,Cogito 671B MoE的表现与Qwen1.5-72B和DeepSeek v3等顶级开源模型相当,接近Claude 4 Opus和o3等闭源模型的性能水平。
尽管模型规模庞大,Deep Cogito声称其训练所有八个Cogito模型(包括较小的v1检查点)的总成本不到350万美元,相比之下,据报道OpenAI一些领先模型的成本超过1亿美元。
这些模型现已在Hugging Face上提供下载,企业用户可通过Together AI、Baseten和RunPod的API接口使用。对于开发者、研究人员和企业团队来说,这些模型提供了一种不同的构建智能的方法:不是更努力地思考,而是学习如何更好地思考。
Q&A
Q1:Deep Cogito的混合推理模型有什么特别之处?
A:Deep Cogito的模型具备自我改进的"直觉"能力,它们将推理过程融合到训练中,能够学会哪些思路重要哪些不重要,从而实现更快、更高效的推理,即使在标准模式下也能提升性能。
Q2:Cogito v2模型的性能表现如何?
A:旗舰版671B MoE模型在推理任务中超越DeepSeek R1,使用60%更短的推理链达到相同性能。在MMLU、GSM8K等基准测试中表现与顶级开源模型相当,接近闭源模型性能水平。
Q3:如何使用这些Cogito v2模型?
A:开发者可以在Hugging Face上下载这些模型,通过Unsloth进行本地使用,或者通过Together AI、Baseten和RunPod的API接口使用。模型支持立即响应和内部反思两种模式。
好文章,需要你的鼓励
面对全球气候挑战,美国NOAA数据显示近年来每年发生至少10起损失超10亿美元的天气灾害。Tomorrow.io公司开发了微波探测卫星星座,采用多光谱成像、高分辨率成像、无线电掩星、合成孔径雷达等五种数据技术,构建首个商业化大气3D研究架构。该项目旨在解决全球覆盖数据不足问题,提供更精确的天气预报和灾害预警能力。
加州大学圣克鲁兹分校研究团队创建了包含150万高质量样本的GPT-IMAGE-EDIT-1.5M图像编辑数据集,通过利用GPT-4o优化现有数据质量,使开源AI模型在多项测试中达到接近GPT-4o的性能水平,在GEdit-EN测试中获得7.24分的突破性成绩,显著缩小了开源与商业模型的差距,为AI图像编辑技术的民主化奠定了基础。
本文深入分析OpenAI新发布的ChatGPT学习模式背后的自定义指令机制。学习模式通过教育专家协作制定的自定义指令,引导AI采用循序渐进的教学方式,而非直接给出答案。文章将自定义指令分为五个部分:总体目标、严格规则、行动指南、语调方法和重点强调。这些指令体现了优秀的提示工程技巧,可应用于其他AI场景。作者强调自定义指令的强大功能,建议用户通过分段结构化方式制定指令,并进行充分测试和调试以确保效果。
这项由清华旗下奇虎科技等机构联合开发的研究,提出了ForCenNet前景中心网络来解决手机拍摄文档变形问题。与传统均匀处理方法不同,该系统重点关注文档中的关键信息区域如文字和表格线条,采用创新的前景分割、掩码引导和曲率一致性优化技术,在四个主流数据集上达到最优性能,为移动文档数字化提供了高效解决方案。
美国绿卡有什么好处hcv9jop1ns0r.cn | 梦见小羊羔是什么意思hcv7jop5ns5r.cn | Zucchini是什么意思hcv8jop6ns3r.cn | 老人吃什么水果好hcv7jop7ns1r.cn | 夏天中暑吃什么药hcv9jop0ns0r.cn |
重返20岁韩国版叫什么hcv8jop5ns7r.cn | 南瓜不能和什么一起吃hcv9jop3ns2r.cn | rads是什么意思hcv8jop0ns9r.cn | 为什么夏天越来越热hcv8jop6ns0r.cn | 哺乳期吃什么奶水多clwhiglsz.com |
香槟是什么hcv7jop4ns7r.cn | 母亲节送母亲什么礼物jiuxinfghf.com | 紫苏什么味道hcv9jop6ns3r.cn | 什么是双高hcv7jop9ns4r.cn | 人为什么要抽烟hcv9jop6ns1r.cn |
hpv阳性有什么症状hcv9jop0ns4r.cn | 口述是什么意思hcv9jop3ns5r.cn | 3月15号是什么星座hcv8jop3ns0r.cn | 三点水一个前读什么hcv8jop0ns0r.cn | 葡萄籽什么牌子效果好hcv9jop1ns1r.cn |