> 自媒体 > (AI)人工智能 > 复刻中文chatgpt的难点分析
复刻中文chatgpt的难点分析
来源:三维棱镜
2023-06-29 21:43:17
532
管理
复刻chatGPT的几个难点:

1.资金方面,OpenAI其核心语言模型GPT-3的单次训练成本高达460万美元。如果投资5000万美金,也只够GPT-3进行十次训练。

2.模型方面,OpenAI已经探明道路,也发表了论文,Meta也开源了一个类似的AI大模型,这块相对难度小一些。

3.训练GPU方面,美国已对中国禁售高端GPU,而运行AI大模型需要大量GPU,将影响AI大模型训练。跑通一次100亿以上参数量的GPT模型,至少要1000张GPU卡连续训练一个月。(英伟达A100,价格是五万元一个,GPT-3 参数在1750亿 个参数,chatGPT参数更多)

4.人力方面,训练一个有一两千亿参数的大规模语言模型,需要大量的人工调教和用户数据反馈。

5.语料数据方面,大模型所需的语料。

大量的数据都在互联网上,主要难度在于如何清洗出好数据。清洗数据本是个脏活累活。且中文互联网资料已经孤岛化,数据都在各大互不相通的APP上。如果语料不好,很有可能模型越训练,效果越匪夷所思。

6.中文训练难度更高,中文的语法较英文更松散灵活。

总结

初创公司复刻中文chatgpt成功概率极低。很有可能花了大量资金,最后训练出来的模型与以前的检索模型差不多。

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
梅赛德斯将推“小号”G级越野车,或2027年亮相
【网通社快报】梅赛德斯-奔驰计划推出一款更紧凑的“Baby”G-Class,作为..
定位华为乾崑阿维塔首款全场景运动轿车,阿维塔06T外观公布..
IT之家 2 月 5 日消息,今天上午,阿维塔通过官微公布了“华为乾崑阿维塔..
一汽全新中级轿车将上市,定名为悦意08,车长4920mm,两种动力..
近日,一汽奔腾发布最新消息,旗下的“奔腾悦意”新能源序列升级为独立的..
20-30万闭眼入!5款中大型轿车实测大公开
想买20-30万的中大型轿车,空间大、科技感足,又怕踩坑?今天给大家唠唠5..
2025轿车销量TOP10,自主逆袭合资,大众仍保住3车席位
漫哥又来扒销量榜了,2025年的国内轿车市场势头还是不错滴,全年轿车零售..
新车 | 1.5T插混动力/掀背式轿车,smart精灵#6 EHD官方测试谍照..
文:懂车帝原创 李烁[懂车帝原创 产品] 日前,smart精灵#6 EHD官方测试谍..
超50%部件更新!奔驰新一代S级轿车正式亮相!黄仁勋宣布将与奔驰在L4级自动..
每经记者:董天意 每经编辑:余婷婷1月30日,梅赛德斯-奔驰(以下简称奔..
10万左右新车燃油版轿车,家用这五款最值得买
有粉丝说推荐一下10万左右的新车轿车,不选SUV,不选新能源电车混合动力..
年轻人买轿车不用买太贵,2026有“真香价”的3款轿车,高价低配..
买燃油轿车,不想买太贵的,大多人都想买低价高配的,而且低价位的车还是..
关于作者
吴月(普通会员)
文章
1986
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体106672

1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索