开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验
0
开源并行训练系统 ColossalAI 表示，已低成本复现了一个 ChatGPT 训练的基本流程，包括 stage 1 预训练、stage 2 的奖励模型的训练，以及最为复杂的 stage 3 强化学习训练。具体亮点包括：
博客内容还指出，在单机多 GPU 服务器上，即便使用最高端的 A100 80GB 显卡，由于 ChatGPT 的复杂性和内存碎片，PyTorch 最大仅能启动基于 GPT-L（774M）这样的小模型的 ChatGPT。用 PyTorch 原生的 DistributedDataParallel (DDP) 进行多卡并行扩展至 4 卡或 8 卡，性能提升有限。Colossal-AI 不仅在单GPU速度上训练和推理优势明显，随着并行规模扩大还可进一步提升，最高可提升单机训练速度 7.73 倍，单 GPU 推理速度 1.42 倍；并且能够继续扩展至大规模并行，显著降低 ChatGPT 复现成本。
为了最大限度地降低培训成本和易用性，Colossal-AI 提供了可以在单个 GPU 上试用的 ChatGPT 培训流程。与在 14999 美元的 A100 80GB 上最多只能启动 7.8 亿个参数模型的 PyTorch 相比，Colossal-AI 将单个 GPU 的容量提升了 10.3 倍，达到 80 亿个参数。对于基于 1.2 亿参数的小模型的 ChatGPT 训练，至少需要 1.62GB 的 GPU 内存，任意单个消费级 GPU 都可以满足。
此外，Colossal-AI 还在致力于降低基于预训练大型模型的微调任务的成本。以 ChatGPT 可选的开源基础模型 OPT 为例，Colossal-AI 能够在单 GPU 上将微调模型的容量提高到 PyTorch 的 3.7 倍，同时保持高速运行。Colossal-AI 为 Hugging Face 社区的 GPT、OPT 和 BLOOM 等主流预训练模型，提供了开箱即用的 ChatGPT 复现代码。以 GPT 为例，仅需一行代码，指定使用 Colossal-AI 作为系统策略即可快速使用。
-
一个开源完整的基于 PyTorch 的 ChatGPT 等效实现流程，涵盖所有 3 个阶段，可以帮助你构建基于预训练模型的 ChatGPT 式服务。
-
提供了一个迷你演示训练过程供用户试玩，它只需要 1.62GB 的 GPU 显存，并且可能在单个消费级 GPU 上实现，单GPU模型容量最多提升10.3 倍。
-
与原始 PyTorch 相比，单机训练过程最高可提升7.73 倍，单 GPU 推理速度提升 1.42 倍，仅需一行代码即可调用。
-
在微调任务上，同样仅需一行代码，就可以在保持足够高的运行速度的情况下，最多提升单GPU的微调模型容量3.7 倍。
-
提供多个版本的单 GPU 规模、单节点多 GPU 规模和原始 1750 亿参数规模。还支持从 Hugging Face 导入 OPT、GPT-3、BLOOM 和许多其他预训练的大型模型到你的训练过程中。
博客内容还指出，在单机多 GPU 服务器上，即便使用最高端的 A100 80GB 显卡，由于 ChatGPT 的复杂性和内存碎片，PyTorch 最大仅能启动基于 GPT-L（774M）这样的小模型的 ChatGPT。用 PyTorch 原生的 DistributedDataParallel (DDP) 进行多卡并行扩展至 4 卡或 8 卡，性能提升有限。Colossal-AI 不仅在单GPU速度上训练和推理优势明显，随着并行规模扩大还可进一步提升，最高可提升单机训练速度 7.73 倍，单 GPU 推理速度 1.42 倍；并且能够继续扩展至大规模并行，显著降低 ChatGPT 复现成本。为了最大限度地降低培训成本和易用性，Colossal-AI 提供了可以在单个 GPU 上试用的 ChatGPT 培训流程。与在 14999 美元的 A100 80GB 上最多只能启动 7.8 亿个参数模型的 PyTorch 相比，Colossal-AI 将单个 GPU 的容量提升了 10.3 倍，达到 80 亿个参数。对于基于 1.2 亿参数的小模型的 ChatGPT 训练，至少需要 1.62GB 的 GPU 内存，任意单个消费级 GPU 都可以满足。此外，Colossal-AI 还在致力于降低基于预训练大型模型的微调任务的成本。以 ChatGPT 可选的开源基础模型 OPT 为例，Colossal-AI 能够在单 GPU 上将微调模型的容量提高到 PyTorch 的 3.7 倍，同时保持高速运行。Colossal-AI 为 Hugging Face 社区的 GPT、OPT 和 BLOOM 等主流预训练模型，提供了开箱即用的 ChatGPT 复现代码。以 GPT 为例，仅需一行代码，指定使用 Colossal-AI 作为系统策略即可快速使用。
from chatgpt.nn import GPTActor, GPTCritic, RewardModel
from chatgpt.trainer import PPOTrainer
from chatgpt.trainer.strategies import ColossalAIStrategy
strategy = ColossalAIStrategy(stage=3, placement_policy='cuda')
with strategy.model_init_context():
actor = GPTActor().cuda()
critic = GPTCritic().cuda()
initial_model = deepcopy(actor).cuda()
reward_model = RewardModel(deepcopy(critic.model)).cuda()
trainer = PPOTrainer(strategy, actor, critic, reward_model, initial_model,...)
trainer.fit(prompts)
审核编辑 ：李倩-
gpu
+关注
关注
27文章
3301浏览量
124118 -
服务器
+关注
关注
10文章
5808浏览量
81240 -
ChatGPT
+关注
关注
8文章
500浏览量
1494
发布评论请先 登录
相关推荐
使用STM32F10xxx实现低成本现实的应用方案
本文档适用于STM32F1系列微控制器。文档描述了在没有片内LCD驱动硬件的情况下，使用STM32F10xxx微控制器驱动LCD的技术。此技术提供了使用STM32F10xxx实现低成本现实的应用方案，可通过固件控制LCD对比度。
发表于 12-01 06:26
科技大厂竞逐AIGC，中国的ChatGPT在哪？
迭代，需要大量的数据进行训练。2020年发布的GPT-3，其训练参数量已经达到了惊人的1750亿个，“大量的数据被反复‘喂’给ChatGPT。” 而且，ChatGPT的训练成本支出巨大。据Lambda
发表于 03-03 14:28
低成本参展的窍门
数量、重量和体积的地方。仔细地检查一下展台的陈列清单，并找出那些完全是浪费的额外的东西。记住，不要把钱花在那些细枝末节上，我们需要的只是一个大概。合理分配资金合理分配资金是降低成本的一个相当重要的方面。具体
发表于 10-13 15:23
君正100美金低成本3G智能手机解决方案详解
导读：面对业内对低成本智能手机方案全新的需求，君正推出高性能的低成本智能手机解决方案，采用JZ4770芯片和Android 4.0冰激凌三明治系统，CPU主频最高可达1.2GHz，支持3G和
发表于 12-19 11:13
新唐低成本58MM微型打印机方案
新唐推出的低成本 58MM微型打印机方案，可提供代码包，原理图等详细资料！有兴趣可以联系我。方案介绍：（把地址粘贴到浏览器即可）pan.baidu.com/s/1o60Pi2Y车工
发表于 01-02 14:10
低成本蓝牙串口模块解决方案
传统电子产品生产商对价格比较敏感，进口的蓝牙串口模块对厂商的成本控制有很大的压力。针对此种情况，红果电子推出了完整的低成本蓝牙串口模块解决方案，采用RG-BT10-10低成本蓝牙模块，完全兼容进口的蓝牙
发表于 03-21 16:46
低成本DMR数字FM模拟双模式对讲机方案开发
数字对讲模块模组方案开发三防手机数字对讲模块方案开发三防手机对讲楼宇对讲天翼对讲数字对讲机DMR模块方案开发 与MOTO海能达集群互动DMR数字对讲机模块PCBA方案 低成本数字模拟对讲模块整体
发表于 01-27 15:01
一种基于ES9281的低成本工控应用方案
用ES9281资源并提供实际应用方法，英创公司基于ES9281工控主板，设计了以通讯为主的低成本嵌入式工控系统应用方案。这套方案继承了ES9281尺寸紧凑的特点，底板的外形尺寸为102.7mm
发表于 10-26 09:54
追求性能提升 使用8GB HBM2显存
更积极，继Altera之后赛灵思也宣布了集成HBM 2做内存的FPGA新品，而且用了8GB容量。 HBM显存虽然首发于AMD显卡上，不过HBM 2这一代FPGA厂商比GPU厂商更积极 AMD
发表于 12-07 15:54
低成本搭建小区IPTV系统的方案
上千万，这些成本平摊到每个用户的话，都是天文数字，在目前的市场环境下，小区用户是无法接受的。那么对于这种小区，如何构建一套廉价的系统呢？以下的方案可能是一种比较好的选择：首先成本投入较高的是节目来源
发表于 07-25 10:30
低成本传统硬对讲加蓝牙通话方案
低成本传统硬对讲加蓝牙通话方案本BC5_HFP应用协议以HFP协议为基础，蓝牙工作在AG模式。模块上电即开始工作（上电开机），上电开机后进入等待操作指令状态（从机做回连，这个要协商处理）。首次
发表于 11-25 12:11
AV转HDMI新方案 游戏机视频转换方案 单芯片 低成本
`黑狼科技最新研发 低成本 单芯片AV TO HDMI 方案，完美支持游戏机AV输入。支持各类方案的 红白机 500合一600合一方案的游戏机AV输入。采用自主研发工业级SCALER芯片
发表于 12-15 21:50
低输出波纹敏感型负载电源低成本解决方案
描述 此参考设计基于 ZETA 拓扑，具有极低的输出波纹。8V 至 16V 的输入电压可产生 12V 输出电压（负载为 1.5A）。主要特色已构建完成并通过测试低输出波纹低成本解决方案在输出波纹方面的性能优于 SEPIC 转换器由于仅采用两个半导体，因此对于小型负载，性能将优于 2 个降压升压转换器
发表于 11-14 11:29
低成本LCD偏置电源分立式解决方案
描述此参考设计使用升压转换器 IC TPS61085 提供低成本 LCD 偏置电源电路。此解决方案提供薄膜晶体管 (TFT) LCD 显示屏所需的所有四个电压。TPS61085 升压转换器产生
发表于 11-19 14:54
3V升压到50V，找不到合适的boost方案，求推荐
纽扣电池3V升压到50V，有什么低成本芯片方案吗？出口产品，50V只要放电很短时间即可，成本压力大，找不到合适的boost方案
发表于 11-29 18:00
低成本FOC风机控制方案201208MC_FANB
项目名称：低成本FOC风机控制方案 项目介绍：该方案适合应用于DC286V供电环境， 用于风机的控制。 主控MCU采用英飞凌的SAF-XC836M，电机与控制器可按需搭配，力矩大、体积小、噪音低
发表于 12-10 10:05
低成本大容量Skylake平台系统电源解决方案
描述PMP9548A 参考设计提供一个具有 TPS650830 6 通道 PMIC 的完整 Skylake 平台系统电源。主要特色解决方案尺寸小低成本VCCIO 衰减模式支持可扩展分立器件的电源正常和定序电源路径监控板温度监控
发表于 12-18 14:55
功率级低成本高效功率窃取设计方案
和过压保护，以实现高效的功率窃取。主要特色 高效的 24V 交流功率窃取低成本集成解决方案更长的电池寿命快速且精确的电流限制精确过压保护
发表于 12-27 15:22
基于Microchip的BMS低成本高精度电流检测方案设计
的电压，再根据欧姆定律，用测得的电压除以分流器的电阻值，从而得到电路中的电流值。而霍尔传感器检测方式虽然结构简单，但其测量值随温度的变化较大。为此，本文将介绍一款基于Microchip MCU、CAN接口和信号调理平台的低成本高精度的分流器检测方案，供大家参考与使用。
发表于 07-12 08:00
TC7106 ADC低成本，高分辨率指示仪表仅需要显示器
TC7106 ADC用于正温度系数电阻温度传感器的典型应用。低成本，高分辨率指示仪表仅需要显示器，四个电阻器和四个电容器。该器件采用低功耗和9V电池供电，适合便携式应用
发表于 07-25 08:37
什么是Altera系列低成本Cyclone IV FPGA？
日前，Altera发布新系列Cyclone IV FPGA ，延续其收发器技术的领先优势。当前移动视频、语音和数据访问以及高质量3D图像对低成本带宽需求与日俱增，与此同时，终端产品市场，如智能电话等
发表于 07-31 06:59
有低成本12V1A的开关电源设计方案吗？
我想设计个12V1A的开关电源，要低成本！我想用THX203H这个芯片用变压器，但我老板想用个非隔离的更省钱的，大家有没有更好的方案呢？一般非隔离的也有非隔离变压器吧？203这个电路也够简单的，估计想再省钱的方案很少了吧？
发表于 10-09 09:11
MAX6675怎么构建提高重型车辆制动性能的低成本方案？
本文提出的基于LIN总线监测刹车鼓温度、自动控制喷淋系统以及添加安全报警功能的设计是改善现有重型车辆制动性能的一种低成本、便于实施的方案，为大型车辆整体配备ABS过渡提供一种参考方案。
发表于 05-18 06:37
分享一款不错的面向便携式设备的低成本立体声切换方案
本文介绍了一种基於茂升公司MS6335+MS6863晶片组合的低成本立体声切换方案，非常适合MP3播放器、便携式媒体播放器（PMP）、手机、可携式电视、可携式DVD等产品。
发表于 06-07 06:28
复现四模四核振荡器设计的论文求助
复现的论文为：A 18.6-to-40.1GHz 201.7dBc/Hz FoMT Multi-Core Oscillator Using E-M Mixed-Coupling Resonance
发表于 02-18 21:44
基于PRNG的低成本RFID认证协议设计
低成本无线射频识别(RFID)的标签是被动式的，由于受成本和资源限制，系统不能提供公约加密、对称密钥加密、杂凑函数等。EPCglobal Class-1 Gen-2 RFID规范定义一种低成本的标签，仅提
发表于 04-11 09:18
•22次下载
单芯片方案再掀低成本手机浪潮和全新低成本达芬奇处理器详细中文概述
本文的主要内容介绍的是NXP 单芯片方案再掀低成本手机浪潮和TI 推出全新低成本达芬奇处理器
发表于 04-20 10:15
•5次下载
负输出、升压或降压-升压 µModule 转换器仅需 4 个小型无源组件即可提供高达 700mA 电流
负输出、升压或降压-升压 µModule 转换器仅需 4 个小型无源组件即可提供高达 700mA 电流
发表于 03-21 12:56
•1次下载
如何注册ChatGPT 全流程分享
最近ChatGPT话题简直火热，出于体验的目的，写一篇关于在国内如何注册ChatGPT的全流程注册，包教包会。 ChatGPT是什么? 维基百科-ChatGPT 注册ChatGPT 准备注册 注册前
发表于 02-13 10:19
•4次下载
ChatGPT以及相关开源项目体验
本月初，ChatGPT以惊人的速度问世，在技术圈中引起了广泛讨论。在 GitHub 上近期还诞生了多个 ChatGPT相关的开源项目，数量之多令人瞠目结舌，甚至 ChatGPT独霸了大半个
发表于 02-15 09:24
•0次下载
ChatGPT了的七个开源项目
在看到网上给出的一系列chatGPT回答问题的例子和自己亲自体验之后，的确发现它效果非常令人惊艳。 chatGPT的火热程度在开源社区也有很明显的体现，刚推出不久，围绕chatGPT的开源项目
发表于 02-15 09:26
•1次下载
基于ZigBee/IEEE 802.15.4的低成本辅助驾驶
基于ZigBee/IEEE 802.15.4的低成本辅助驾驶系统
引言
本文提出一个完整的基于ZigBee?的驾驶辅助系统解决方案，该方案充分利用了具有低成本
发表于 11-11 17:08
•1084次阅读
计价秤SoC低成本设计方案
计价秤SoC低成本设计方案
本文介绍一个适用于计价秤的SoC方案。计价秤的用途多属商业交易范畴，为使买卖双方的交易更趋公平，其认证规范相当
发表于 11-12 10:48
•673次阅读
999元的1GB显存5770
999元的1GB显存5770
盈通R5770-1024GD5极速版上市以来就颇受消费者关注，特别是优秀的做工和不错的性能得到了玩家的一致称赞。今天我们从盈通得到消
发表于 03-12 10:28
•479次阅读
首个6Gb/s SAS交换机可用作低成本存储网络
首个6Gb/s SAS交换机可用作低成本存储网络
LSI公司日前宣布面向 OEM 客户推出业界首个 6Gb/s SAS 交换机产品系列样机。该款全新的LSI SAS6160 与 SAS6161 交
发表于 03-19 14:00
•563次阅读
基于MAX17014的低成本LCD TV电源解决方案
基于MAX17014的低成本LCD TV电源解决方案
Maxim 公司的MAX17014是低成本多输出的LCD TV电源控制器，能
发表于 03-24 17:53
•700次阅读
iphone 5成本曝光:硬件成本仅需199美元
4G LTE芯片、新的处理器、更大的屏幕共同推高了iPhone 5的成本，16GB版的硬件材料成本价格约为199美元，32GB和64GB版的硬件材料成本分别为209美元和230美元。
发表于 09-21 10:41
•918次阅读
基于赛灵思FPGA的低成本MIPI接口IP
基于FPGA的低成本MIPI接口，专门针对视频显示器和摄像头的。设计嵌入式系统DSI和CSI-2视频接口的用户现在即可采用低成本MIPI接口
发表于 02-10 16:54
•1.6w次阅读
低成本 MiniZed Zynq SoC 开发板
MiniZed Zynq SoC 开发板基于全新 Xilinx Zynq Z-7007S 器件，现可通过安富利订购，仅需 89 美元。该开发板为单核 ARM Cortex-A9 开发人员提供了一个低成本的原型平台。
Redmi Note 8 Pro开启了降价促销活动8+256GB版本仅需1799元
此次Redmi Note 8 Pro各个版本都拥有立减，其中6+64GB立减200元、8+256GB版本直降300元仅需1799。
发表于 12-26 14:37
•999次阅读
坚果Pro 3开启了促销活动最高直降500元8GB+128GB版仅需2399元
为了迎接新年，坚果手机开启新年促销活动。目前购买坚果Pro 3可享直降最高500元的活动，购买8GB+128GB坚果Pro 3仅需2399元；购买8GB+256GB版本仅需2699元。同时，购买坚果Pro 3的用户还可享受6期免息分期的活动。
荣耀V30 PRO在5G网络环境下下载一部1.6GB大小的1080P电影仅需2分钟
笔者定位芍药居北里南门，在5G网络环境下，使用荣耀V30 PRO下载一部1.6GB大小的1080P电影。电影从10:23开始下载，10:25完成下载，耗时也仅2分钟，尽管是在室外下载的，但是就实际使用体验而言，这个下载速度已经相当快了。
发表于 01-07 15:30
•1801次阅读
荣耀20青春版降价 989元即可入手
近日，据网友爆料，天猫荣耀官方旗舰店荣耀20青春版定金促销，4+64GB原价1399元，现价最低仅需989元即可入手。
华为畅享Max降价促销 4+128GB版仅969元
近日，据网友爆料，华为畅享Max降价促销，4+128GB原价1999元，现价仅需969元，性价超群。
华为Mate 20降价促销 6+128GB版仅需2199元
近日，据网友爆料，拼多多华为Mate 20降价促销，6+128GB到手仅需2199元，比首发价便宜2300元。
10GB显存容易在4K等游戏中爆显存，是真的吗
NVIDIA的RTX 30系列显卡中，RTX 3080显卡无疑是最受欢迎的之一，就是10GB显存有点遗憾，大家觉得NV抠门，10GB显存容易在4K等游戏中爆显存，事实真的如此吗？ YT上有网友对比
英伟达正式发布RTX 3060 显卡：12GB 显存
今天，英伟达正式发布了 RTX 3060 显卡，这款显卡拥有比 RTX 3060 Ti 更大的 12GB 显存，售价为 329 美元。 RTX 3060 采用了 3584 CUDA 核心，GPU
NVIDIA推出了RTX 3060显卡 12GB显存超过RTX 3080
上周的CES展会上，NVIDIA推出了RTX 3060显卡，这是RTX 30系列第六款成员，售价只要2499元，但配备了12GB GDDR6显存。 在显存容量上，RTX 3060这次的配置确实罕见
高手将RTX2070自行翻番成16GB 显存跑分倒退30%
高手将RTX 2070爆改成16GB显存 跑分倒退30%,显卡,三星,16gb,芯片,rtx
发表于 02-22 14:00
•512次阅读
RTX 3060 12GB显存版本性能评测
刚出生的小弟RTX 3060 12GB的显存容量都能倒挂老大哥RTX 3080（尽管带宽参数被老黄拿捏得死死的……），似乎更坚定了RTX 3080 20GB显存版本的存在。
低成本卫星和商业卫星用电子器件抗辐射加固保证流程思考
，研制成本与空间辐射环境适应性之间的矛盾是低等级器件和COTS器件在空间应用时需解决的主要问题。在分析低成本卫星和商业卫星空间辐射环境的基础上，结合NASA、ESA对低等级器件提出的评估筛选标准，思考了低成本卫星和商业卫星用电子器件抗辐射加固保证流程，为后续制定
如何去搭建一个低成本的OpenWIFI？
这篇文章就和大家分享一下利用ZYNQ（需ZYNQ010以上芯片）+AD936X搭建一个低成本的OpenWIFI。
project复现过程踩到坑对应的解决方案
最近做的一个 project 需要复现 EMNLP 2020 Findings 的 TinyBERT，本文是对复现过程对踩到坑，以及对应的解决方案和实现加速的一个记录。
LLM风口背后，ChatGPT的成本问题
，有没有可能做出下一个ChatGPT？以及打造这样一个模型所需的研发成本和运营成本究竟是多少。 C hatGPT 背后的成本，以及 GPU 厂商等候多时的增长点 首先，ChatGPT是OpenAI预训练的对话模型，除去训练本身所需的硬件与时间成本外，运营时的推理
浅谈8GB、16GB显存的性能测试差异
同等分辨率、画质下，16GB显存确实带来了比8GB更高的帧率，而且分辨率、画质越高，提升越明显，比如《尘埃5》，1080p下差异幅度为9％，2K下就达到了15％。
发表于 03-13 15:03
•407次阅读
低成本开源聊天机器人Vicuna：可达到ChatGPT/Bard 90%以上水平
根据介绍，通过根据从 ShareGPT.com (一个用户可以分享他们的 ChatGPT 对话的网站) 收集的用户共享对话微调 LLaMA 基础模型，Vicuna-13B 与 Stanford Alpaca 等其他开源模型相比展示了具有竞争力的性能。
低成本、高容量OTP语音IC内存解决方案构想 ！
低成本、高效一直是电子产品的评判标准，九芯电子构想推出高效能、高密度之OTP语音存储解决方案，该解决方案系运用九芯电子开发的OTP嵌入式NVC语音芯片技术，能够同时满足低成本、高容量的市场需求。嵌入
工商网监
评论