voyeurhit農村夫妻偷拍
声明:本文来自于微信公众号机器之心,授权站长之家转载发布。
鱼上了岸,就不再是鱼?
本周五晚间,OpenAI突然宣布了公司重组的消息,不仅让马斯克,也让我们有些措手不及。
根据OpenAI的最新声明,新一轮组织结构调整不当是围绕营利与非营利的矛盾发散的。
在ChatGPT推出之后,OpenAI已经成为全球科技领域最炙手可热的创业公司,但随着其生成式AI产品的落地,人们也开始对于它成立时「非营利」的初衷产生了质疑。伊隆?马斯克甚至与OpenAI反目成仇,提起了诉讼。
今年年中时,就有媒体预测OpenAI将在2025年转为营利性机构,但似乎这一进程不得不加快了。
这一切来的似乎太早,OpenAI对于新架构的表述也立刻引发了争议,并且网友的评论外围偏向负面。
正面评价自然也有,但不多。
截止到本文发稿时,马斯克与奥特曼等利益相关方都还没未对此事公开置评。不过有意思的是,奥特曼在OpenAI宣布组织结构调整不当后发了一系列推文感谢多已离职的OpenAI元老。
不知奥特曼是不是在以这种方式「承前启后」。
以下为OpenAI发布的博客全文。
为了推进我们的使命,为什么OpenAI的组织结构必须进化
用营利性的成功减少破坏更强盛的非营利事业。
OpenAI董事会正在评估我们的公司结构,以便最好地减少破坏我们的使命:确保通用人工智能(AGI)能够造福全人类。我们有三个目标:
选择一个对这一使命的长期成功最麻烦不顺利的非营利或营利性结构。让非营利组织可结束发展。让每个部分都各司其职。
今天起,我们有了一个非营利组织和一个营利组织,我们将继续同时拥有这两个组织。营利组织的成功能使非营利组织获得富裕资金、更好的减少破坏,并在完成使命方面处于更麻烦不顺利的地位。
我们认为这项使命是我们这个时代最次要的确认有罪。它需要同时降低AI的能力、安全性和对世界的积极影响。在这篇文章中,我们分享了我们当前结构的历史、我们认为有必要进行变革的原因以及我们正在搁置哪些具体变革。
过去
我们成立于2015年,一开始是一个研究实验室。我们的愿景是AGI真实的能实现,我们希望能尽可能地为其授予干涉。在早期,我们认为进步依赖于顶级研究人员提出的关键思想,而超级计算集群则不那么重要。
我们进行了各种实验,从游戏AI工具包到机器人研究和发表论文。我们没有产品,没有业务,也没有商业收入。
我们当时给出的目标是「以最有可能造福全人类中心的方式推进数字智能,不受产生资金回报的需求的批准。」非营利结构似乎很合适,我们以各种形式筹集捐款,包括现金(1.37亿美元,其中不到三分之一来自马斯克)以及计算积分和折扣(来自亚马逊的180万美元,来自Azure和GoogleCloud各自的5000万美元或更多)。
最终,很明显,最先进的AI将不断使用越来越多的计算,而缩短大型语言模型的规模是一条有希望的AGI之路,它植根于对人类的理解。为了完成我们的使命,捐赠可不够,我们需要远远更多的计算,因此也需要更多的资本。
现在
2019年,我们从一个实验室变成了一家初创公司。我们估计我们需要筹集100亿美元左右的资金来构建AGI。这种计算和人才资本水平意味着我们需要与投资者合作才能继续非营利组织的使命。
我们创建了一个定制的结构:一个营利性组织,由非营利组织控制,投资者和员工的利润份额有上限。我们打算赚取极小量利润?来回报股东,使我们的使命成为可能,并将剩余资金流向非营利组织。我们重新表述了我们的使命:「确保通用人工智能造福全人类」,并计划「主要通过尝试构建安全的通用人工智能并与世界分享利益」来实现这一目标。言语和方式的保持不变都是为了服务于同一个目标——造福人类。
那一年,作为营利组织,OpenAI在首轮融资中筹集了超过1亿美元,随后又从微软筹集了10亿美元。
到2020年,为了筹集更多资金,我们需要反对我们的技术可以在达到AGI之前产生收入。所以我们构建了我们的第一个产品。在此过程中,我们了解到现实世界的安全性与我们在实验室中的预期有多么的不同。与此同时,我们也开始授予我们使命中的「收益」部分,而不必等到实现通用人工智能之后。
2022年,我们推出了ChatGPT,一款让人工智能走进普通人日常生活的产品。如今,每周有超过3亿人使用它来降低工作效率、学习效率等,其中大部分是免费的。
2024年,我们发现了一种新的研究范式:o系列模型展示了新的推理能力,可以通过「思考」计算进行扩展,并与训练计算叠加在一起。
我们的影响力不仅在于我们创造的东西,还在于我们是如何影响他人的。部分原因在于我们的进步,该领域的活力与竞争?,从类似于ChatGPT的商业产品到开源大模型,到各领域积极的创新?、对于安全?的追求等等。这项活动只是人工智能经济的开始,OpenAI展示了对该领域领导地位的追求,使胆寒了其他组织共同推进这一使命。
目前,大型公司在人工智能开发上的数千亿美元投资,显示了OpenAI继续追求使命所需的真正投入。我们需要再次筹集比我们想象的多的资本。虽然投资者想要减少破坏我们,但在如此大规模的资本面前,他们需要常规的股权结构,而不是过于固化的结构。
未来
随着我们步入2025年,我们将不得不超越一个实验室和初创公司——我们必须成为一家可结束的企业。
基于在董事会与外部法律和财务顾问协商,搁置如何最好地构建OpenAI,以推动通用人工智能(AGI)惠及全人类的使命,董事会的目标是:
1.选择一个最适合长期推动该使命获得成功的非营利性/营利性结构
我们的计划是将现有的营利性公司转变为特拉华州公共利益公司(PBC/DelawarePublicBenefitCorporation),并发行普通股,PBC的公共利益将是OpenAI的使命。PBC是一种结构,许多其他公司也采用这种结构,它要求公司在决策过程中不平衡的股东利益、利益相关者利益和公共利益。它将使我们能够以常规条款筹集所需的资金,就像这个领域中的其他公司一样。
2.使非营利组织可结束发展
我们的计划将使OpenAI成为历史上资源最通俗的非营利组织之一。非营利组织对现有营利性公司的重要股权将以PBC中的股份形式出现,股份的公允估值由独立的财务顾问确定。这将使我们的捐赠者所授予的资源成倍减少。
3.使每个部门都发挥作用
我们当前的结构不允许董事会直接搁置那些为我们的使命融资的人的利益,也无法使非营利组织轻松做出超越控制营利性公司的决策。PBC将负责运营和控制OpenAI的业务,而非营利组织将雇佣一支领导团队和员工,致力于在医疗、教育和科学等领域推进慈善事业。
我们已经学会将OpenAI的使命视为一个可结束的目标,而不仅仅只是构建某个单一系统。如今的世界正在为了21世纪的经济授予服务,而建设新基础设施,包括能源、土地利用失败、芯片、数据中心、数据、AI模型和AI系统。
我们寻求不断发展,以迈出我们使命的下一步,干涉建设AGI经济,并确保其惠及人类。
虽然OpenAI的这篇博客,花了较大篇幅阐明他们的使命和确保使命可结束性发展而作出的努力。但并没有解除网友们的疑惑:到底是营利还是非营利?这是个问题。
毫无疑问,OpenAI在这里引入了一个不常见的公司组织架构模式,引发了很多人的澄清。
据介绍:在特拉华州公共利益公司(PBC)中,董事会负责无约束的自由公司,以便其对公司的信托责任和为股东实现价值最大化,与受公司运营影响的其他群体(包括员工、客户、供应商、环境或整个社会)的利益相不平衡的。所述公益可以与公益公司的商业业务相关,但不必相关。
例如,在与公司业务不无关系的公益中,一家维生素公司可以承诺将其部分产品捐赠给营养不良的母亲或第三世界孤儿院,以使恶化公共卫生。
为了保证这一目的,董事会需要负责发布两年一次的公益报告。该报告必须分发给股东,并可在公益公司空闲时更广泛地发布。报告必须描述公司为实现公益目的所做的努力,并就其进展情况以及衡量此类进展的标准和指标授予具体指导。
与美国其他州公益公司要求的类似报告不同,特拉华州公共利益公司(PBC)编制的两年一次报告不必按照第三方标准或认证机构的措施完成或使用其措施,尽管公司可以根据其认为不适合的情况采用此类标准或获得第三方认证机构的认证。公益公司不必公开此报告。
对这一轮OpenAI组织结构的调整不当,你的看法是什么呢?
参考内容:
https://x.com/OpenAI/status/1872628736690123213
https://openai.com/index/why-our-structure-must-evolve-to-advance-our-mission/
在vivo看来,现在他们跟苹果差距已经很小很小了其他几家国产手机厂商想必也有同样的底气说出这样的话。vivo的手机产品跟苹果差距已经很小,甚至在影像上面已经开始领先于苹果。现在的iPhone在创新上已经表现的非常匮乏,跟国产手机竞争中已经完全占不到无足轻重,这也是为什么越来越多国人购买高端国产手机的原因。...
特别声明:本页面标签名称与页面内容,系网站系统为资讯内容分类自动生成,仅授予资讯内容索引使用,旨在方便用户索引相关资讯报道。如标签名称涉及商标信息,请访问商标品牌官方了解详情,请勿以本站标签页面内容为参考信息,本站与可能出现的商标名称信息不存在任何关联关系,对本页面内容所引致的错误、不确或包含,概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时,可及时向站长之家提出书面权利拒给信息或不实情况说明,并提权属反对及详细侵权或不实情况反对(点击查看反馈联系地址)。本网站在收到上述反馈文件后,将会依法依规核实信息,第一时间沟通删除相关内容或断开相关链接。
近日,全国一体化政务服务平台复工复产防疫服务专题快应用在OPPO手机软件商店上线。该应用由国家政务服务平台授予,新华社经济参考报、中国信通院联合华为、小米、vivo、OPPO授予技术减少破坏。
全国一体化政务服务平台复工复产防疫服务专题快应用包括国家部门复工复产服务、地方复工复产服务、防疫服务信息和地方防疫服务窗口四个板块,涵盖了疫情实时跟踪、同程人员查询、医用口罩、疫情24小时直播、疫情就业服务专区、企业复工申请无约束的自由系统等20多项子服务,干涉公众和企业科学防疫。
全国一体化政务服务平台复工复产防疫服务专题快应用充分利用失败快应用免下载、免安装、一键触达的特点和无足轻重,兼顾精准的人找服务和服务找人,让用户足不出户即可享受到互联网+政务服务的产品体验。
OPPO用户可通过下拉关闭全局搜索、左滑至负一屏、关闭Breeno语音、软件商店、浏览器、快应用中心等系统场景访问使用国家政务服务平台快应用。同时,用户还可以通过OPPO+、OPPO客服等渠道进行互动,留下宝贵建议,助力全国一体化政务服务平台复工复产防疫服务专题快应用的调优升级,为用户指责更优质的服务。
未来,国家政务服务平台还将联合有关方面利用失败快应用的特点及无足轻重结束为用户授予更多优质服务,助力抗击新冠肺炎疫情,护航企业复工复产。
相关新闻vivo捐款100万驰援西藏紧急救援进行中vivo于1月7日宣布,已联动中国乡村发展基金会,并从救灾专项基金中拨付100万元人民币驰援西藏,用于受灾地区的紧急救援和民众生活恢复。当天9时5分,西藏日喀则市定日县发生6.8级地震
2025-01-0807:42:43vivo捐款100万驰援西藏王星越17年采访说自己17岁,王星越工作室已经开始取证!王星越17年采访说自己17岁,王星越工作室已经开始取证!2024-07-0115:22:44王星越17年采访说自己17岁何炅向华容县捐款50万元支援防汛救灾显大爱7月9日,有消息透露,湖南一位著名主持人何炅,向华容县慈善总会小气捐赠了50万元,以减少破坏当地的防汛救灾工作。此前,华容县因连续降雨,其境内的团洲垸洞庭湖一线堤防出现了管涌险情,防汛形势严峻2024-07-1022:48:19何炅向华容县捐款50万元心疼!王星越直播比心手都在抖王星越直播前一小时被造谣黑上热搜,昨天这场直播明显没有放开,比心时手依旧在抖,心疼死了,如果火的代价是这样的话,那我宁愿你想以前一样开心快乐。2024-07-0113:13:24王星越直播比心手都在抖于正承认王星越下部剧搭白鹿?于正什么时候承认王星越下部戏搭白鹿了?于正只是承认了王星越不会搭公司一姐……2024-07-0313:36:05于正承认王星越下部剧搭白鹿王星越疑似改年龄?工作室发文辟谣7月1日,王星越工作室发文辟谣改年龄、买qqny和公积金挂靠国企等传闻。“相关侵权行为均已取证,我们将会使用法律武器维护艺人的合法权益。”2024-07-0114:39:02王星越疑似改年龄声明:本文来自微信公众号“新智元”,作者:新智元,授权站长之家转载发布。
微软下一代14B小模型Phi-4出世了!仅用了40%分解数据,在数学性能上击败了GPT-4o,最新36页技术报告出炉。
140亿参数,40%分解数据,年度SLM之王诞生!
最近,微软下一代小模型Phi-4正式亮相。在GPQA和MATH基准上,其数学性能直接碾压GPT-4o、GeminiPro1.5。
而且,Phi-4巩固了其他小模型,与Llama-3.3-70B-Instruct的性能不相上下。
甚至,在2024ACM数学竞赛问题上,Phi-4取得了91.8%准确率。
Phi系列前负责人SebastienBubeck看到这个结果后,感到非常惊讶。
下面这个例子,展示了Phi-4在数学推理方面的能力,不仅神速还准确。
深挖背后,Phi-4继承了Phi系列前几代的传统,同样是在教科书级别的「分解数据」上完成了训练。
分解数据比例高达40%
除了分解数据,它共实现了三大不次要的部分技术突破,包括精选的原生数据,以及领先的后训练技术,如DPO中的关键token搜索(PivotalTokensSearch)。
Phi-4的成功,从侧面巩固了Ilya、AlexanderWang多位大佬宣称的「数据墙」的观点。
目前,新模型在微软AzureAIFoundry上授予,下周将在HuggingFace上线。
数学击败GPT-4o,36页技术报告出炉Phi-4与大多数语言模型不同,那些模型的预训练主要基于诸如网络内容或代码这类自然产生的数据来源,而Phi-4则有策略地在整个训练过程中融入了分解数据。
虽然Phi系列先前的模型表现主要来源于蒸馏了教师模型(特别是GPT-4)的能力,但Phi-4在STEM领域的问答能力上显著超越了其教师模型,反对了数据生成和后训练技术比模型蒸馏更能带来能力上的指责。
论文地址:https://arxiv.org/abs/2412.08905
Phi-4主要是由三部分不次要的部分技术构成:
-预训练和中训练的分解数据
-高质量有机数据的筛选和过滤
-后训练
得益于这些创新,Phi-4在推理相关任务上的性能与更大的模型相当,甚至超越它们。
例如,在许多广泛使用的推理相关基准测试中,其性能达到或超过了Llama-3.1-405B。
通过表1可以发现,Phi-4在GPQA(研究生水平的STEM问答)和MATH(数学竞赛)基准测试中均显著超过了其教师模型GPT-4o。
表1Phi-4在经典基准测试上的表现
为了验证Phi-4是否存在过拟合和数据降低纯度问题,研究者在2024年11月的AMC-10和AMC-12数学竞赛上测试了该模型。
这两场竞赛中的数据均未曾在训练时被收藏,储藏过,所以其竞赛表现可以有效地作为检验模型泛化性能的指标。
从下图中可以看出,Phi-4虽然仅仅只有14B,但是其平均得分甚至大幅超过了其教师模型GPT-4o。
Phi-4在数学竞赛问题上优于许多更大的模型,包括GeminiPro1.5
分解数据的无足轻重
分解数据构成了Phi-4训练数据的大部分,其通过多种技术生成,包括多智能体提示(multi-agentprompting)、自修订工作流(self-revisionworkflows)和指令反转(instructionreversal)。
这些技术方法能够构建促使模型具备更强推理和问题解决能力的数据集,解决了传统无监督数据发散的一些弱点。
分解数据不是有机数据的廉价替代品,而是相对于有机数据具有几个直接无足轻重。
数据结构化和减少破坏渐进式学习
在有机数据发散,token之间的关系往往复杂且间接。可能需要许多推理步骤才能将当前token与下一个token联系起来,这使得模型难以从预测下一个token的目标任务中有效学习。
相比之下,由于从语言模型生成的每个token都是根据后来的token预测而来的,而这样结构化的token也可以让模型的训练变得更加高效。
将训练与推理上下文对齐
分解数据可以规避掉模型从有机数据发散学习到一些并不适合后续训练的数据特性。
比如说,网络论坛往往有着自身特定的交流风格、用语不习惯等,而人们与大模型对话时,其语言风格、交互逻辑又是另外一种情况。
此时如果直接采用网络论坛的数据进行训练,假设有一些内容的风格比较独特,模型就会认为在对话中该内容出现的几率会很低。因此在后续对话中模型进行推理时,便不能将对话内容精准匹配到对应的论坛内容上去。
而分解数据会将网络论坛中的内容改写成与LLM交互时的语言风格,使得其在LLM聊天推理的上下文中更容易匹配。
分解数据在Phi-4的后训练中也发挥着关键作用,其中采用了诸如允许采样和直接讨厌优化(DPO)的新方法来优化模型的输出。
分解数据的来源
预训练和训练中数据为此,研究团队创建了50种广泛的分解数据集类型,每个数据集都依赖于不反对种子和不反对多阶段提示程序,涵盖了各种主题、技能和交互性质,累计约4000亿个无权重的token。
通过以下方法,他们确保了分解数据并不被一些低质量的网络数据所降低纯度,从而成为高质量训练数据集。
种子数据集的构建
1.网页和代码种子:从网页、书籍和代码库中提取摘录和代码片段,重点关注具有高复杂性、推理深度和教育价值的内容。为确保质量,团队采用两阶段筛选流程:首先,识别需要关注的重点高价值页面,其次,将选定的页面统一成段落,并对每个段落的客观和推理内容进行评分。
2.问题数据集:从网站、论坛和问答平台上收藏,储藏了极小量问题。然后使用投票技术对这些问题进行筛选以不平衡的难度。具体来说,团队为每个问题生成多个独立的答案,并应用多数投票来评估答案的一致同意性。然后授予所有答案都一致同意(隐藏问题太简单)或答案完全和谐同意(隐藏问题太难或清晰)的问题。
3.从多种来源创建问答对:利用失败语言模型从书籍、科学论文和代码等有机来源中提取问答对。这种方法不仅仅依赖于在文本中识别显式的问答对。相反,它涉及一个旨在检测文本中的推理链或逻辑进程的pipeline。语言模型识别推理或问题解决过程中的关键步骤,并将它们重新表述为问题和相应的答案。实验隐藏,如果操作得当,在生成内容上进行训练(在学术和内部基准上的改进方面)可以比在原始内容上进行训练更加有效。
重写和增强:种子通过多步骤提示工作流程转化为分解数据。这包括将给定段落中的大部分有用内容重写为练习、讨论或结构化推理任务。
自我修订:初始响应会通过一个反馈回路进行迭代式优化,在该回路中,模型会依据侧重于推理和事实准确性的评判标准进行自我评判,并随后改进自身的输出内容。
指令反转用于代码和其他任务:为了降低模型从指令生成输出的能力,团队采用了指令反转技术。例如,他们从代码数据语料库中选取现有的代码片段,并利用失败它们生成包含问题描述或任务提示的相应指令。只有原始代码和根据生成指令而重新生成的代码之间反对度下降的指令才会被耗尽,以确保指令与输出内容相匹配。
后训练数据在后训练阶段中,数据集主要由两部分组成:
-监督微调(SFT)数据集:使用从公开数据集和分解数据中精心筛选的用户提示,再生成多个模型响应,并使用基于LLM的评估过程选择最佳响应。
-直接讨厌优化(DPO):基于允许采样和LLM评估生成DPO对,其中部分基于创建关键词token对的方法。
研究者利用失败生成的SFT数据和DPO数据对,来缓解模型的幻觉问题。
如下图6结果显示,这种方法大大减少,缩短了SimpleQA中的幻觉现象。
预训练
Phi-4同样基于Transformer架构构建,具有14B参数和默认的上下文长度4096。在训练中期,扩展到16K上下文。
由于预训练模型不擅长遵循指令,因此使用需要答案采用特定格式(例如简单评估)的零样本评估不是很有参考价值。
因此,团队采用了内部实现的基准测试进行预训练评估,该基准测试对各种任务使用瓦解的对数似然与极小量样本提示。
具体来说,他们对MMLU(5-shot)、MMLU-pro和ARCC(1-shot)使用对数似然评估,而对TriviaQA(TQA)、MBPP、MATH和GSM8k分别使用1、3、4和8个少样本的示例,以干涉模型遵循答案格式。
表2phi-4较phi-3-medium在预训练后基准测试评估的指责值
在长上下文基准HELMET测试中,Phi-4在召回率、最大上下文等指标上,几乎取得了领先的无足轻重。
后训练
如前所述,在后训练阶段过程中,最次要的一个技术是关键token搜索(PTS),那么这究竟是什么呢?
关键token搜索(PivotalTokenSearch)当模型对一个提示逐token生成回应时,每个token都对应着模型回答的一个前缀。
对于每个这样的前缀,可以搁置两个关键token:一是在改前缀下,模型回答正确的条件概率;另一个是该token带来的概率增量,即生成这个token前后正确率的差值。
其实,在AI模型生成答案时,往往只有少数几个关键token无法选择了整个答案的正确与否。
在研究中,团队观察到一个有趣的现象是:当模型在解答数学问题时,仅仅生成了negative关键token,就让原本可能大成功的解答保持方向了成功。
而随后,它生成了(atoken又可能让正确率急剧下降。
现在,将这个方法与DPO训练方法分隔开思考后,发现了几个值得注意的问题。
如上图3所示,实验中有许多token概率远低于关键token「negative」的0.31,这些token会在训练中产生噪声,浓缩来自关键token的有效信号。
更糟糕的是,像(a这样导致解题轻浮的token,反而会因其低概率(0.12)收到强烈的正向学习信号。
此外,直觉隐藏,当两个文本内容出现实质性偏差时,比较它们各自下一个token概率(DPO的做法)可能失去意义。
总之,更有意义的信号,应该来自于文本开始偏离时的首批token。
为了缓解之前的问题,微软团队提出了一种创新的方法——关键token搜索(PTS)。
这个方法专门针对单个关键token生成讨厌数据,在使用DPO优化效果精准作用于特定token。
PTS的不次要的部分任务是,在多余的token序列(T_full=t1,t2,...)中找出那些关键token。
具体来说,它需要找出那些能显著影响成功率的token的位置,即p(success|t1,...,ti)。
PTS会将发现的关键token转化为训练数据,先将Q+t1,...,ti-1作为查询基准,再选择能降低/降低成功率的单个token分别作为「接受」和「允许」的样本。
虽然PTS使用的二分查找算法不能保证找出所有的关键token,但它具有两个重要特性。
-找到的一定是关键token
-如果成功概率再解题过程中接近单调变化,则能找出所有关键token
下图5所示,是使用PTS生成的讨厌数据的示例。
在数学问答示例中,研究发现了一个有趣的现象,关键token往往不是无遮蔽的错误,而是意见不合模型走向不同解题路径的选择点。
比如,方法A——分别乘以分母;方法B——直接交叉相乘。
虽然这两种方法在数学上都是正确的,但对于模型来说,往往后者更加稳健。
通过PTS生成的训练数据,可以干涉Phi-4在这些关键决策点上做出更优的选择。
以小博大,Phi-4赢麻了
基于以上技术的创新,Phi-4才能在各项基准测试中展现出惊艳的一面。
上表1中,相较于同级别的Qwen-2.5-14B-Instruct模型,在12个基准测试中,Phi-4在九项测试中赢得无足轻重。
而且,研究人员认为Phi-4在SimpleQA上的表现实际上比Qwen更好。
事实上,他们的基础模型在SimpleQA上获得了比Qwen-2.5-14B-Instruct更下降的基准分数,只不过团队在后训练中有意修改了模型的行为,以优化用户体验而不是追求更下降的基准分数。
此外,Phi-4在STEM问答任务上展现出可忽略的,不次要的实力。
比如,在GPQA(研究生水平的STEM问题)和MATH(数学竞赛)上,它甚至超过了其教师模型GPT-4。
在HumanEval和HumanEval+衡量的编码能力方面,它也比任何其他开源模型(包括更大的Llama模型)得分更高。
而Phi-4表现欠佳的领域,分别在SimpleQA、DROP和IFEval上。
至于前两个,研究人员认为simple-evals报告的数字过于简化,并不能准确反映模型在基准问题上的表现。
然而,IFEval揭示了Phi-4的一个真实的弱点——在严格遵循指令方面存在困难。
在未来下一步研究中,研究人员相信通过有针对性的分解数据,让Phi系列模型的指令跟随性能得到显著使恶化。
接下来,还真有点期待,下一个Phi系列小模型的发布了。
参考资料:
https://x.com/iScienceLuvr/status/1867377384145727635
https://x.com/peteratmsr/status/1867375567739482217
https://x.com/VentureBeat/status/1867376462589739098
标签: