Technology

VIA：Anonymous 萧峰 我去年在西雅图微软，而且就在负责开发Bing后台一部分算法的WebXT组，后来因为个人原因离职了，作为了解ChatGPT和新Bing部分内幕的底层码农,以及GPT-3和 Codex的第一批公测用户，我来谈谈对ChatGPT的看法。 1.ChatGPT 的算法,包括自回归语言模型（OpenAI从2017年的GPT-1搞到现在，迭代了3.5代了），还有强化学习的 PPO 算法（还记得2018年在TI表演赛上击败OG的Dota2 AI吗？就是用这个算法训练的），全都是已经十分成熟的公开算法，本身没有任何秘密可言。但是这种超大规模训练，并不依靠算法本身，硬件和数据才是王道，纯自然语言数据，网上公开的到处都是，也没有什么门槛，但是ChatGPT有一个巨大的先发优势，就是它通过抢先开始公测，收集了大量的用户的使用数据，这是更加宝贵的数据，而这部分数据只有他们家有。只要ChatGPT仍然是最好用的语言AI，这个雪球只会越滚越大，越来越难追上。另外，为了防止ChatGPT输出有害信息，OpenAI 还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本，用来训练模型不要输出有害信息，这部分数据也是 OpenAI 积淀了几年筑起的数据壁垒。 总之，小公司根本做不了ChatGPT这样的工程，凡是声称投资区区几亿就要做ChatGPT这样的AI的，几乎可以认为全是诈骗；真正有可能做出类似产品的，在中国只有BAT这种拥有自主云计算平台 （市场价租机器做这个就等着破产吧）、且掌握大量用户的互联网公司，而且最好是和ChatGPT错位竞争，比如做中国可以正常联网使用的中文模型；并且，其中最困难的部分其实是敏感词屏蔽和有害信息过滤（ChatGPT 的屏蔽程度，在国内恐怕是不够的，因为它仍然可能在用户恶意诱导下说出不该说的东西）。 2. 再来简单聊聊微软。很多华人，都觉得微软低效是因为印度人太多，尤其是因为印度人做了CEO。但是这种言论是错误的。从ChatGPT这件事中就能看出微软现任 CEO Satva Nadella的眼界。首先，当时OpenAI缺钱、且做出来的东西都是Dota2...

引 2022年，ChatGPT问世。 一经出现便掀起滔天巨浪。 如果你跟ChatGPT聊过天，一定会震撼于它所涉猎极广： 既能创造诗歌，也能修改代码。 可以批改作业，还能撰写论文。 写文案易如反掌，给方案不在话下。 ...... 有人兴奋，有人恐慌。 有人说，它会带来一次新的“工业革命”。 有人说，它会引发21世纪的“新卢德运动”。 这其实不是AI第一次向人类展示它的力量。 自动驾驶、MIT主导的人类写字系统、SIRI智能语音助手、AlphaGo...... 但这一次，ChatGPT确实惊吓到了人类。 我们能抵挡来势汹汹的AIGC狂潮吗？ 人类是不是真的会被ChatGPT取代？ 要回答这些问题，让我们先回归数学。 因为ChatGPT背后的核心本质，是“贝叶斯公式”。 1 什么是贝叶斯公式？...

Why Transformers are Slowly Replacing CNNs in Computer Vision? Before getting into Transformers, let’s understand why researchers were interested in...