您的位置:首页资讯行业软件 → OpenAI发布全新微调API :ChatGPT支持更详细可视化微调啦!

OpenAI发布全新微调API :ChatGPT支持更详细可视化微调啦!

时间:2024/4/5 12:21:03来源:www.pc6.com作者:佚名我要评论(0)

4月5日凌晨,OpenAI在官网宣布新增6个全新微调API功能,以扩展自定义模型,帮助企业、开发人员更好地构建特定领域、精细化的ChatGPT应用。

这些功能包括:基于Epoch的检查点创建、Playground新功能、第三方集成、全面验证指标、超参数配置和更详细的微调仪表板改进。

新的微调API功能适用于GPT-4/Turbo、GPT-3.5等系列模型。

详细微调API教程:https://platform.opEnai.com/docs/guidEs/finE-tuning

微调API6个新功能介绍

2023年8月22日,OpEnAI首次推出了基于GPT-3.5Turbo的微调API功能,使企业、开发人员可以使用自己的数据,结合业务用例构建专属ChatGPT。

经过几个月的时间,全球数千个组织借助OpEnAI的微调API功能,训练了数十万个自定义模型实现降本增效。

例如,全球知名招聘平台IndEEd希望新增一项功能,向求职者发送个性化推荐,根据求职者的技能、经验和偏好突出显示相关工作。

IndEEd通过GPT-3.5Turbo 进行了微调,生成了高质量和更准确的个性化推荐。每月向求职者发送的消息也最初从不到100万条,大幅度增加到大约2000万条。

今天,OpEnAI推出了6个新的微调API功能,以帮助开发人员更好地使用微调。

基于Epoch的检查点创建:在深度学习模型的训练过程中,基于Epoch的检查点创建是一项非常重要的功能。每个Epoch结束时或者在特定的Epoch间隔时,系统会自动保存当前模型的状态,包括模型的参数(权重和偏置)和优化器的状态。

如果训练过程因为意外原因(比如硬件故障、电源中断等)被中断,检查点允许我们从最后保存的状态恢复训练,而不是从头开始。

所以,OpenAI新增的基于 Epoch 的检查点创建功能,可以极大减少模型的重复训练,尤其是在过度拟合的情况下。

Playground:Playground是OpenAI在2022年发布的一个可视化模型比较平台,提供了一个交互式的在线环境,允许用户输入指令或提示,然后将其发送给多个语言模型查看它们的输出结果。

本次,OpenAI新增一个并排的Playground UI,用于比较不同模型质量和性能,同时允许对多个模型的输出进行人工评估或根据单个提示微调快照。

第三方集成:新的微调支持与第三方平台集成,让开发人员与堆栈的其余部分共享详细的微调数据。

全面验证指标:能够计算整个验证数据集(而不是采样批次)的损失和准确性等指标,从而更好地了解模型质量。

微调仪表板改进:包括配置超参数、查看更详细的训练指标以及从以前的配置重新运行作业等功能。这也就是说,开发人员在微调的过程中可以掌控更详细、直观的微调数据。

超参数配置:可以从仪表板配置可用的超参数,而不仅仅是通过API或SDK。

什么是微调

微调(FinE-tuning)是一种在预训练大模型的基础上,进一步优化和调整模型参数的技术,使模型更好地适应特定业务场景。这个过程中,模型的参数会进行微小的调整。

微调的主要流程包括:初始化,使用预训练语言模型的参数对新模型进行初始化;添加输出层,根据下游任务的目标(文本生成、内容摘要等)在预训练模型的顶层添加相应的输出层;

微调训练,使用带标注的私有数据,以较小的学习率对整个模型进行训练,直至模型在验证集上的指标达到理想效果。

例如,我们希望GPT3.5模型在法律业务上的表现更好、更专业,可以用海量法律数据集对模型进行微调。经过微调,模型学习到如何更好地解读、生成和预测法律问题。

如何进行微调

1,准备数据,创建一组多样化的演示对话,类似于要求模型在实际输出中的对话。数据集中的每个示例都应该与OpenAI的聊天完成 API 格式相同的对话,特别是消息列表,其中每条消息都有角色、内容和可选名称。

2,上传文件

3,创建微调作业,使用 OpenAI SDK开始进行大规模数据训练、微调。训练模型可能需要几分钟或几小时,具体取决于模型和数据集大小。

模型训练完成后,创建微调作业的用户将收到一封确认电子邮件。

除了创建微调作业外,开发者还可以列出现有作业、检索作业状态或取消作业。

4,使用微调模型,微调作业完成后模型可以投入使用了。

在某些情况下,用户的微调模型可能需要几分钟才能准备好处理请求。如果对模型的请求超时或找不到模型名称,可能是因为模型仍在加载中,可在几分钟后重试。

相关视频

    没有数据

相关阅读 OpenAI公开语音合成引擎Voice Engine:支持语音克隆,未开放使用VoiceEngine官网体验入口 OpenAI人工智能语音克隆合成工具使用地独立开发变现周刊(第129期):一周内构建的Tailwind CSS插件,每饿了么翱象系统上线“AI经营助手”:可生成各类经营关键报表售价69.99美元 Xbox Nocturnal Vapor特別版手柄正式发布高端设计下放!OPPO A3 Pro渲染图首曝:采用Find N3同款Decomoto X50 Ultra前瞻:海外Edge 50 Pro发布 旗舰功能一样不落华人开源最强「AI 程序员」炸场,让 GPT-4 自己修 Bug!

文章评论
发表评论

热门文章 solidworks2010安装方三菱PLC仿真软件GX Si完美桌面

最新文章 OpenAI发布全新微调AP电商优惠卷 携手共绘AI时代新蓝图,联想集团与锐捷网络共建数治政务,共赢数智未来——锐捷网络召印度尼西亚国家出口发展局局长一行莅临锐捷极狐的硬气、底气与心气

人气排行 solidworks2010安装方法及序列号淘宝助理5.5使用教程 淘宝助理怎么上传数据三菱PLC仿真软件GX Simulator6安装使用图文草图大师怎么画球体 sketchup草图大师绘制球京东商家助手怎么打印快递单 京东商家助手打百度推广助手关键词推荐工具怎么使用如何快速统计CAD工程图里面的材料CIMCOEdit5使用教程 CIMCOEdit5如何与CNC连