美国微软内部人士:凡是称要投资几个亿搞ChatGPT的,都是诈骗

0

VIA:Anonymous 萧峰

我去年在西雅图微软,而且就在负责开发Bing后台一部分算法的WebXT组,后来因为个人原因离职了,作为了解ChatGPT和新Bing部分内幕的底层码农,以及GPT-3和 Codex的第一批公测用户,我来谈谈对ChatGPT的看法。

1.ChatGPT 的算法,包括自回归语言模型(OpenAI从2017年的GPT-1搞到现在,迭代了3.5代了),还有强化学习的 PPO 算法(还记得2018年在TI表演赛上击败OG的Dota2 AI吗?就是用这个算法训练的),全都是已经十分成熟的公开算法,本身没有任何秘密可言。但是这种超大规模训练,并不依靠算法本身,硬件和数据才是王道,纯自然语言数据,网上公开的到处都是,也没有什么门槛,但是ChatGPT有一个巨大的先发优势,就是它通过抢先开始公测,收集了大量的用户的使用数据,这是更加宝贵的数据,而这部分数据只有他们家有。只要ChatGPT仍然是最好用的语言AI,这个雪球只会越滚越大,越来越难追上。另外,为了防止ChatGPT输出有害信息,OpenAI 还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本,用来训练模型不要输出有害信息,这部分数据也是 OpenAI 积淀了几年筑起的数据壁垒。

总之,小公司根本做不了ChatGPT这样的工程,凡是声称投资区区几亿就要做ChatGPT这样的AI的,几乎可以认为全是诈骗;真正有可能做出类似产品的,在中国只有BAT这种拥有自主云计算平台 (市场价租机器做这个就等着破产吧)、且掌握大量用户的互联网公司,而且最好是和ChatGPT错位竞争,比如做中国可以正常联网使用的中文模型;并且,其中最困难的部分其实是敏感词屏蔽和有害信息过滤(ChatGPT 的屏蔽程度,在国内恐怕是不够的,因为它仍然可能在用户恶意诱导下说出不该说的东西)。

2. 再来简单聊聊微软。很多华人,都觉得微软低效是因为印度人太多,尤其是因为印度人做了CEO。但是这种言论是错误的。从ChatGPT这件事中就能看出微软现任 CEO Satva Nadella的眼界。首先,当时OpenAI缺钱、且做出来的东西都是Dota2 AI这种不能赚钱的东西,马斯克都甩手不干的时候,微软仍在默默地投钱、给机器。去年我还在WebXT组的时候就听说CEO有意向在Bing用OpenAI的新模型,把我们吓得不轻。后来就听说WebXT组停了好多项目,开了好多人,把几乎所有机器都借给OpenAI了。因为CEO想拨款买新机器给OpenAI用,遭到很多利益相关的反对,尤其是CFO不给批,于是只好绕过CFO抽调微软原本用于研发的机器;这样WebXT人多,机器少,很多研发人员干不了活,正好再裁了这些“多余”的研发人员。后来的事情,大家都知道了:这个OpenAI的“新模型”,它的名字叫做ChatGPT,而且火速上了Bing。虽然我以前所在的WebXT组是这个事件中的最大受害者,但是如果作为旁观者,我的确十分佩服Satya Nadella的眼界。

3.有人说,ChatGPT会面临Google的竞争。Google的搜索引擎仍然是最好用的,Google的用户是全世界最多的,Google的自然语言AI技术也是领先的,所以完全可以等Google出竞品,也能做得很好,所以不必唱衰Google。这里的论据都是对的,但是最后一步论证 “所以不必唱衰 Google”这步,没那么简单。我看了最近一个 Satya Nadella 的访谈他的大概意思是,ChatGPT的技术,头部科技公司迟早都会掌握,包括Google。但是ChatGPT的推断成本高昂,而且消耗的算力与用户体验高度正相关;而搜索引擎用户粘度小,用户永远会去用体验最好的那个;所以这会迫使所有科技公司搞军备竞赛,大幅推高搜索算法的成本,使得 Google赖以生存的搜索广告业务再也无法躺着赚钱;但是微软的营收却更加多元化,因此受到的冲击会更小,却能享受到Edge浏览器、甚至Windows系统市场份额增加的好处。很多人还在想第一层第二层,人家Satya已经想到了第五层了。说的直白一点,现在微软就是开启了大模型军备竞赛,想要卷死Google。当然这并不是“内卷”,毕竟用户的使用体验提升了。

Loading

Leave a Reply