爆红ChatGPT开发商OpenAI拟出售3亿美元股票,估值增长一倍

苹果id购买.png

本文目录一览:

gptchat网络异常

gptchat网络异常 原因如下①网络线路出现故障,数据网络的中断使得用户对软件的访问指令无法传递给软件内部。

②软件在运行过程中涌入大量的用户对服务器造成拥挤现象,导致服务器运行缓慢或者崩塌。

③可能软件在对运行过程中出现的问题进行升级和处理。暂时停止对用户开放。

chatgpt和openai的关系

上下级关系。ChatGPT是由价值200亿美元的人工智能研究机构OpenAI开发的一款人工智能聊天工具,是属于上下级关系的,是一个大型、强大的语言模型,它基于大量文本数据进行了训练,而ChatGPT是该模型的一个变体,它针对以会话方式生成文本进行了优化。

如何评价OpenAI的超级对话模型高性能计算ChatGPT?

蓝海大脑高性能计算液冷服务器研究人员表示:

先从Jason Wei的这条推开始。现如今还有很多old-time NLPers停留在BERT时代,思考BERT训练的LM能做的一些任务,而他自己很少看到新加入的NLPers有这个问题。从我个人的理解,他这里说的new-joiners,大概指的是在GPT3出现之后加入到NLP领域并进行探索的人,当然包括他自己。

而从这个角度,国内的情况更为夸张。首先,GPT3的API需要收费,并且国内IP是没法直接访问的,我个人也和很多国内NLPers进行了交流,大家对于GPT3甚至后GPT3时代语言模型的进展了解寥寥,大家对于GPT3、GPT3.5(davincci001/002)有什么样的能力了解都这么少,更遑论训练出这样的模型了。这确确实实让我强烈的感受到了"卡脖子"的感觉。

近期看到很多人不管是在朋友圈还是知乎回答,一遍又一遍的验证了这条推特的说法。我甚至还看到有人觉得训练出这样的模型“不算太难”,据我了解,在GLM130B出来之前,国内甚至没有一个能对标2020年6月OpenAI发布的GPT3的模型,更别说他们后续远远更强大的GPT3.5(davincci001/002)和近期新闻满天飞的GPT4了,让我自己真实的感觉到信息茧房的可怕。但ChatGPT的火爆让我觉得很幸运,至少在这个时刻,更多的人可以看到他们模型的能力,也就有更多的人可以看到差距,激发更多人去思考。

chatgpt用了多少gpu

谢关于ChatGPT这件事,首先我先帮助大家普及下InstructGPT (Instruct GPT trainning with Human Feed back) 和 Reinforcement Learning,做一个简单的分析。接着,希望通过对英国技术行业,起死回生的故事,给大家关于中国大模型事业带一点点有益的启发。但行胜于言,很多事情原理是清晰的,却不是每一个人都可以做出来。

比如ChatGPT坚持使用开源数据集 TruthfulQA 和 RealToxicity ,比如国内厂商以云计算公司为代表在GPU集群上也早已经有了丰厚的储备,那么做不做,以什么路径做就特别关键。

Before Prompt GPT

我的切入点是大模型训练的数学原理,以及基于Transform, self-attention的基点的历史演变,欢迎其他伙伴来继续补充。

# InstructGPT [Training language models to follow instructions with human feedback, Long Quyang]

* GPT (Generative Pre-trained Transfomer)

Bert开始NLP有一个任务叫做MLM, 即 Masked Language Model 和 NSP,即Next Sentence Prediction 。所以NLR任务开始前先通过这个两个任务对应的脚本工具生成被遮挡的上下文,和答案。因此又称自监督。

这样做有什么问题呢?从过去的实验上看生产的内容包含了大量的,重复,无意义,负面,甚至危险⚠️的回复。这些内容往往在预训练语料里覆盖不足。

由于自监督特性,和生成模型(Generative Models)一样,“Unsupervised Training” 是可以应用的。举个例子,imageNet 有一个 image-1k数据集,为什么会有这个数据集呢?图像在神经网络G里面的表征就是特征向量(feature map),如果你对图片做各种处理,通个训练让这个网络输出的特征向量数值稳定下来,其实说明网络G学到了最本质的图像特征影射 :G(img) ~ G(Transform(img)):

min 

注意在这个过程中,我们并没有用到标注。所以Image-1k的作用就是初始化参数,启发这个无监督训练过程。

GAN loss

即训练的本质是训练随机变量分布M,而如果这个分布一旦被找到,所有的M(img),都是从这个随机分布的一个采样。

当我们将分布M的输入调整为文字,其输出调整为应答,就对应从所有可能的回答中采样一个最好的回答。一旦你接受这个思路走下去,就会越来约认同,DeepMind和OpenAI的通用人工智能,也或许一切就起源于此。

所以生成文字,生产图片并不是仅仅为了好玩,方法上是革命性的。OpenAI的所有作品都可以用一句话来形容:Sample from true data distribution

由于是无监督的,为了让结果更好,类似Teacher - Student模式对抗生成网络开始登场。Ian Fellow火了。OpenAI在很长一段时间致力于GAN,VAE等用于生成模型的工作,如果我们不理解这点,我们是无分理解ChatGPT的。GPT的主角不是Transformer是Generative Models Unsupervised training, 虽然训练好的GPT确实使用了“多头自注意力”(Multi-head Self-Attention Decode + MLP)解码器塔。

在GPT2 (Hugging Face)中我们仔细看下loss:

loss_fct = CrossEntropyLoss() loss = loss_fct(shift_logits.view(-1, shift_logits.size(-1)), shift_labels.view(-1))

当一句话的数字特征表示向量,通过decoder得到,"abcd[e]",和自身的偏移“[a]bcde” 错峰开做CrossEntropy loss,自监督就很形象了。

* InstructGPT : Fine tuning with human feedback [RLHM]

由于MLM限制,Predict next words Loss有没有问题?如果回答是负面的,危险的,重复自身且无意义的怎么办?在训练上引入了一个新的技巧叫做 Prompt 或者 Instruction template.

注意这个技巧是Finetuning,所以是载入训练好的GPT-3参数,然后再通过一组人工标记的数据微调参数,使得模型表现更符合预期:

InstructGPT

由于label是明确人工给出的loss应该就是我们通常的softmax loss. 这个做法有没有问题?评测数据表明InstructGPT在四个任务(TruthfulQA,恶意词汇回答, 客户助手,陪伴)有超凡脱俗的表现。

* Replace self-supervised unsupervised training with RL

强化学习有一个特点和自监督,无监督学习很像:无需label.

像人体分泌多巴胺一样,强化学习通过反馈模型(Reward Model)来模拟基于多巴胺的生物学习机制 -- 不一定是最优解。在关于如何表现的像人一样这个话题,这个目标很合适,因为我们也无法定义什么的目标函数的最优解最合适人类,也许多个目标的中庸解,恰恰就是人类最合适的反应。

ChatGPT通过模型针对一个Prompt作出多种回答的排序,成为了Reward model的关键。排序怎么处理?如果你知道很多年前MSR的Rank from Learning,就不会惊讶,有对应的loss,这是很成熟的技术,总之这不是问题。简单说全排序,由局部排序给出;局部排序,由两两排序给出,也就是相对强弱给出:

如果我们能给出 A B, B C, C D, 我们就能给出全排序 A B C D, 注意在inference阶段这是通过比较特征瞬间给出的,无需Topk机制。

有了Reward model 就开展可以更新参数。在RL更新模块叫做Policy Gradient. 在数学优化方法中有一种叫做Proximal optimization, 即wolf-powell条件进行梯度方向的一维线性搜索。

# British Tech Review from the past

2017 年纽博格林(Nurburging)最快单圈纪录 :6 min 45.90 s

2017 年2月蔚来汽车在德国正式出圈,以6 min 45.90 刷新纽博格林单圈赛道纪录 (Nurburging Lap Record)。这样一样造型超前的蔚来蓝,迅速刷遍全球。当时蔚来的设计团队主要在德国和上海,不知道大家有没有想过:

“为什么NIO已经在汽车王国德国成立设计团队,却单单将超跑EP9的设计, 车辆制造,以及发动机引擎调校放在英国完成?”

这就不得不提及英联邦毕业生经常可以看到的几个符号 RR, RCA, Dyson, Inmos (敲重点), ARM, Lloyd, DeepMind(敲重点) :

劳斯莱斯(罗尔斯-罗伊斯) 简称RR,中文罗罗

碰巧的是历史上还有几个大家所熟悉汽车品牌也是来自英国本土 :

天命不凡的 Rolls-Royce (RR)

1904Rolls制作了劳斯莱斯汽车最初的原型,后来他和Royce于1906年在英国德比共同创立汽车品牌“劳斯莱斯”。这个品牌还包含了“劳斯莱斯”和“宾利”(1930年收购)两个子品牌。随着在发动机技术进步,劳斯莱斯在航空发动机技术领域取得了成功,RR与位于英国南部布里斯托(Bristol)的希得来(Bristol Siddeley Engines Ltd)公司合并达到巅峰。时至今日布里斯托仍然保留了发动机设计方面的精华。沧海桑田,汽车业务在70年代后,分别被大众(Volk wgen)和宝马(BWM)收购,留下了我们现在所了解的汽车拼图。

由于Rolls-Royce的设计和发动机技术,十分独特,使得Rolls-Royce品牌得以在收购后保留。收购的导火索是,70年代由于航空发动机业务(Rolls-Royce Aerospace)业务导致财务困境,劳斯莱斯被国有化为劳斯莱斯有限责任控股(RR Limited)。汽车业务(RR motors)随后被被剥离。

以发动机著称的Rolls-Royce控股将MK202的生产专利权, 以及大名鼎鼎的燃气涡轮发动机RB211技术转让给中国,历史在一个不经意间,推动了中国航空发动机研发进度。

2018年一组全新的的燃气涡轮组项目在北京西北旺地区开始落成,在源源不断地给北京输出动力的同时,代替传统煤炭火电给北京一个绿色的天空。

RB211涡轮发动机叶片

另一方面被拆分出来的劳斯莱斯汽车则保留在英国最关键的生产车间和研发中心 - 克鲁(Crewe)工厂(生产宾利)和古德伍德(Goodwood)工厂,由于实体制造业消退,汽车发动机和主要零部件由宝马供应。

2. 创始人才是最值钱的宾利:

劳斯莱斯包含两个子品牌,一个是劳斯莱斯,一个是宾利。卖掉宾利的创始人,宾利先生(Walter Owen Bentley), 自身一个杰出的工程师和汽车发烧友。他设计的汽车,在和法国品牌布加迪在早期比赛中多次取胜(24 Hours of Le Mans)。

卖掉宾利后,闲不住的宾利先生开始为伦敦其他汽车品牌设计发动机,由于其杰出的工作,被看重的宾利先生,连带公司一起被阿斯顿马丁收购。收购完成后, 阿斯顿马丁迫不及待地为新车更换上宾利先生设计的直列六缸发动机(straight 6 engine):

新的发动机在日后帮助阿斯顿马丁赢得24 Hours of Le Mans赛事冠军 。这些炫酷的伦敦超跑,造型独特,线条优美,动力十足。虽然他们有不同的名字,但他们有一个共同的起源:RCA(皇家艺术学院)

3. RCA :权利和荣誉无处不在

RCA全名 Royal Colledge of Art,现任(2022)校长(Chancellor)是曾经蜚声寰宇,在苹果主导Mac系列设计的英国设计师乔纳森:

RCA的杰出校友包括 Dyson的创始人,工业设计师,发明家Dyson博士:

除了本土汽车品牌RR, 路虎(Land Rover),阿斯顿马丁,Mini品牌,还有一众德系汽车设计师也传承于此:

韩国起亚的首席设计师 Peter Schreyer

回到最开始的问题:

“为什么NIO已经在汽车王国德国成立设计团队,却单单将超跑EP9的设计, 车辆制造,以及发动机引擎调校单独在英国完成?”

似乎答案已经跃跃欲出:英国保留了百年汽车工业设计传承,汽车设计学院不断输出设计人才,让英国在这个领域仍然充满活力;保留下来的发动机和制造车间,像火种 一样,还在在每天不间断生产 -- 虽然进度十分缓慢:

大部分生产车间仍然保留了手工打造的痕迹,即使是劳斯莱斯它那拥有1400人研发中心古德,每天也只能生产20辆 -- 这才是价格昂贵的来源。仅仅诞生不足7年的蔚来,今天已经已经交付了20万辆中高端车型,按照劳斯莱斯的速度,得生产33年!

到底是什么导致了这么高的成本?有经济学家分析,是过度扩张的资本导致的脱实向虚。这里大家可能会疑惑,首先我们有一个问题☝️要解决:

在中国可以看到早早押注中国并获利巨亿的新加坡主权基金淡马锡,也可以看到在教育,软件起早贪黑的日系资本,更有实力强劲出手阔绰的美国资本高盛,黑石,摩根大通等。

英国资本像是大洋上的一艘邮轮 ,它就在那,但你就是看不见。

4. 天才的离岸架构设计

既然有资本,就要有为资本服务的便利,英国有三个地方吸引离岸资本注册,并对外国资本提供税收豁免,分别是:

* 百慕大群岛

* 开曼群岛

* 英属维尔京群岛 (也在加勒比海古巴南端)

三岛功能近似,其中又以开曼最为有名。在《实质经济法案》推出前,伦敦和香港的会计师每年会绞尽脑汁将离岸架构设计下的公司注册在英国开曼这个巴掌大的地方 -- 阿格兰屋:

这个5层小楼登记了超过18000注册公司和经济实体的注册地址。很快欧盟和其他主要大国盯上了这块税外之地,2020年开曼顺应形势推出了《实质经济法案》,以确保“反映经济活动”。

这些注册活动都和审计有关,4大国际审计担保公司四有其三就是英国公司:

四大虽然享誉全球,但毕竟是以劳动换报酬的服务公司,钱生钱才是荷兰人和英国人津津乐道的资本主义:银行,保险,投资和债券。最近几年,更多地可以看到中国对英国的投资公司比如亚投行,国家开发银行,中金等,但是鲜见英国资本。这是因为大部分的英国投资银行主要活动在欧洲, 北非和东南亚市场。

5. 健康环保MG

在撒切尔夫人时期,英国通过海外投资获取了巨大的收益,巨大的海外投资收益带了巨大的消费,但是投资收益和消费并没有反哺到本土生产和技术提高上,这导致英国本土的生产成本不断攀升,以至于什么都比较贵。

和劳斯莱斯同期,1901年MG投资管理公司在伦敦正式成立,后被英国保诚(PRUDENTIAL)收购,主要市场在欧洲, 北非和东南亚,关注新能源市场:

MG是一种共同基金,专业的经理人通过收取一定的手续费,帮助公众打理海外资产投资。获取的巨度收益,一部分分用于本土消费进口商品,一部分继续用于海外投资追加。

6. 非洲大镖客巴莱克

巴莱克是英国仅次于汇丰(HSBC)控股的投资银行。2008年雷曼兄弟破产,巴克莱趁机提出收购雷曼兄弟,以获取在北非的业务,但是第二天雷曼兄弟就提交破产保护,收购无疾而终。其旗下巴克莱投资管理公司(BGI)资管规模巨大,管理着约1.5万亿美元资产,这已经远远超美国黑石。

除了老派的做法,金融创新业从未停止。除了共同基金(Mutual Funds),英国还有一家新兴对冲基金公司(Hedge Funds),打理着约200亿美元资产:。

对冲基金,以其凶猛,冒险的风格,在市场里迅速翻腾,通过其强悍的收益在市场里迅速积累了迷妹迷弟,风光无两。

其他较小规模的银行保险投资机构,比如如渣打(Standard Charter)等,便不再一一细说。虽然英国经济在金融投资上一路高歌,但投资没有服务实体经济,庞大的消费导致英国工业陷入高成本困境,但是随着半导体技术发展,英国避开制造短板,在设计业方面出现了新转机。

7. 南部小硅谷:布里斯托镇

这是一个十分紧凑和优美的城市,整个城市围绕布里斯托大学展开。从火车站(Temple Meads)下来, 过了河,迎面是KMPG大楼,掠过绿地,大教堂,总共约莫30分钟便来到了布里斯托大学。这里除了享誉的精算科学(actuarial science),还是一个有着工业基础,历史悠久的科研密集型大学。一战后航空工业,半导体产业纷纷迁入布里斯托,为布里斯托大学注入新生机:

* 劳斯莱斯控股在当地拥有约5000名员工,以及超过75年的发动机生产历史

* 1980年位于布里斯托的Inmos创新地提出了一种近存芯片,用于并行计算技术:这种芯片有自己独立的片上存储。这一发明极大地影响了后世的芯片设计。意法半导体随后收购了这家公司,主要设计家用视频产品专用芯片。

2011年英伟达收购了Bristol当地的一家手机基带芯片设计半导体企业Icera,于是便有了在Bristol一家办公楼:

由于Inomos,Icera在手机基带芯片设计领域的影响, 2014年huawei在布里斯托启动了设计研发(RD)中心:

8. 大器晚成:手机和服务器芯片新霸主ARM

在个人电脑兴起前,整个电脑市场由大型机,微形机霸主IBM统治,随着苹果 带起个人PC风标,Curry and Hauser 在剑桥创立了剑桥处理器有限责任公司 (Cambridge Processor Unit Ltd., CPU)后,于1978年启用了Acorn Computers品牌正式开展个人电脑业务, 形成了ARM (Acorn RISC Machine)的前身。

个人电脑业务不断发展,IBM在大型机上制造CPU的技术,开始以更低成本被引入到个人电脑。苹果Lisa的成功同时让Acorn工程师觉得,通过现有芯片开发窗口图形操作系统,并不是那么容易。于是,一个大胆的计划诞生了:

受到Berkerly RISC V项目启示,他们开始着手设计新的芯片架构。

ARM在成功开发后,马上就被用到Apple 2系统,从此ARM搭上了苹果的顺风车,在随后的IPhone系列,大展拳脚。

随着苹果和ARM联合开发的推进,ARM架构所展示的低功耗优势愈加明显,不仅仅是在手机市场取得了压倒性的成功,在服务器市场也开始占据一定份额。和Intel有自己fab工厂不一样,ARM芯片生产得益于全球化生产体系,随着台湾半导体在工艺上取得大幅领先,Fabless逐渐取得优势,ARM仿佛如天选之子,又像直勾垂钓的老者,逐渐掌控局势。

9. Imagination Technology : 起源英国落花中国的GPU IP

1993春,Jensen Huang(老黄)穿着皮大衣离开了起源于仙童的LSI ,相比于在AMD短暂2年,老黄在这个中国人并不熟悉的公司里,真正掌控制了ASIC设计。带着新愿景,他和合伙人随后创立了NVIDIA,也带来了NVIDIA新经济学,一路裂变:

The more you buy, the more you save

但是就在老黄下定决心的8年前,英国就已经有一家叫做Imagination的公司嗅到了图形处理器机会。这是一家真正的起源英伦,却花开中国的GPU设计公司,多少年后,为中国GPU崛起立下汗马功劳,中国GPU公司无一例外采用了Imagination的GPU电路板IP授权,开始自主研发之路。

在苹果一路崛起的道路上,有两家英国公司参与了进来,一个是ARM,另一个就是Imigination。和ARM一样,Imigniation也留下了丰厚的遗产,MIPS架构CPU和GPU ASIC电路板设计。

在Fabless模式下,每天都有从英国发订单到台湾进行生产,通过航运将产品运送到英国本土进行最后的测试,软件适配和调校。

中国正式重启丝绸之路,欧洲列车直达连云港前,一个世纪里,远洋运输仍然是大宗商品的主要运输通道。在东亚,中东的石油通过天险马六甲海峡在新加坡卸货,通过当地离岛,石油工业工程完成石油炼化加工,分发到东亚国际。而运往地中海的主要通过亚丁湾走苏伊士运河。

10. 直布罗陀天险:北大西洋上永不沉没的收费站

英国 资本主要在欧洲,北非和东南亚活动,自从开辟了苏伊士运河,直布罗陀作为地中海的西出口,似乎没有那么重要了。但是西非,北欧,以及大西洋洲贸易仍然需要途径英属直布罗陀海峡。

事实上也由于前往西非的便利,英国投资银行持续在非洲下注获取必要的矿石原材料。原材料像养分,而海事就是活跃经济的血液。

作为英国一个关键支柱产业,曾经容纳了大量就业人口。但是随着船舶吨位下降,大量水手移民,造船业和航运有所衰落。苏伊士运河又进一步加剧了这种情况。

但凭借软实力,伦敦港优越条件和配套完善的海事金融服务,大量英国居民开始从事海事经纪服务。最为代表的就是国际船舶协会IACS和英国劳氏(Lloyd's Register Group Limited)解决方案两大机构:

11. 太阳花下的经济血脉:

科技,文化,还有原材料组成了经济。原材料顺着大洋补充到英国经济利益的各个方位。原材料,主要包括高纯度矿石,石油,以及加工品。

由于澳大利亚和英国过于紧密的历史关系,全球铁矿石厂商力拓(Rio Tinto) 和必和必拓同时在伦敦和墨尔本上市,也同时建立实体。在相当长的时间,很多人都分不清这是一家澳洲公司还是一家英国公司。

其实在必和必拓创立之初,英国实体曾贡献高达40%的收益,随着英国影响力下降,英国实体贡献逐步降低,2022年必和必拓正式从伦敦交易所退市,英澳实体分离。力拓同样是英国,澳洲投资者联合创立的公司。英国投资者在两家公司上有非常深厚的利益。

在加工方面,壳牌石油由荷兰皇家石油公司和英国壳牌石油合并而成,总部位于伦敦。壳牌拥有领先的润滑油提炼技术。

除此之外,英国石油(British Petroleum),是世界六大石油公司之一。1908年一群英国地质学家在伊朗发现的一处油田,经伊朗同意,英国人开始开采当地的石油资源。这次地理发现导致了石油工业的发展,是中东第一次开采石油。随后昂格鲁-波斯(Anglo-Persian)石油公司正式成立,在1954年更称现在这个名字。

12. Deep Mind : 人工智能皇冠上的宝石

愿景风投(Horizon Ventures,香港李嘉诚创办),创始人基金(Founder Funds)以及个人投资者Elen Musk等参与到了Deep Mind的创建。

圣经典籍记载,神用希伯来语说要有光,于是就没有了黑暗;接着抓起一把沙子,操着英语说,要有智慧,于是Deep Mind诞生了。

2010年哈萨比斯(Hassabis) 和 勒格(legg)在UCL相遇, 经过不为人知的讨论,他们创立了一家初创公司(start up),随后他们制定了DeepMind的主要方向 - 通用人工智能。

2014 年 AlphaGo发布,16年击败李世石,登顶头条,同年发布WaveNet,大模型首次解决TTS问题,语音助手精度大幅提升。

两年后AlphaFold发布,问鼎CASP从此改变生物制药格局。DeepMind正在沿着通用智能的道路不断探索边界,孕育出新的智慧。

能源,发动机,设计支持着第一代汽车工业的发展,英国赶上了。一战结束后一大波代表性企业在英伦三岛雨后春笋般崛起。

二战结束后,曼哈顿工程遗产开始军转民,个人PC兴起,英国亦步亦趋,留下了ARM, MIPS, RISC V精简指令集, 以及以SRAM著称的Inmos设计。英国以弹丸之地紧追,并没有走远。

这些企业几经波折,无论是专卖也好,还是重组,通过资本的广泛参与,一方面分散了风险,一方面传承了技术和品牌为下一个十年不断蓄力。

时至今日大模型智能日新月异,DeepMind与OpenAI花开两朵,中国的大模型在哪里?

苹果id购买.png

上一篇:OPPOReno8T外观曝光:双圆环镜头配流光彩带,搭载骁龙695
下一篇:蓝天白云绿草,玩家在《魔兽世界:巨龙时代》中“复刻”WinXP经典壁纸Bliss

相关推荐

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。