Month: February 2023

ChatGPT:那些让美国伟大的俄罗斯人

人工智能三次震惊世界。1997年,2016年,2023年。 有意思的是,这三次,都由美国主导,却都和美国最大的对手苏联(俄罗斯)有关。 1997年,IBM的深蓝,打败俄罗斯国际象棋大师卡斯帕罗夫。 2016年,AlphaGo战胜围棋九段李世石。AlphaGo由谷歌旗下的DeepMind开发。谷歌两位创始人中的谢尔盖·布林(Sergey Brin)出生在苏联,是人工智能战略最坚定的推动者。对弈的第三天,比赛进入高潮,布林飞到首尔,代表谷歌享受胜利。 2023年,ChatGPT惊艳登场。它背后最重要的人,不是大家炒作的马斯克和阿尔特曼(Sam Altman),而是OpenAI的联合创始人、首席科学家伊利亚·萨特斯基弗(Ilya Sutskever)。我管他叫“小萨”。小萨和布林一样,出生在苏联。 01 去年,衣公子吹捧了2012年的一场竞赛。那是ImageNet的人工智能识别比赛,AlexNet团队赢得第一。 我说,一场学院里的比赛,改变了整个世界的科技版图。芯片之王,称霸30年的英特尔(Intel)很快就要让位于蛰伏多年的英伟达。 一场比赛而已,是不是吹过了?又过了一年,我发现我的确错了,错在太保守,我吹得不够用力。 ImageNet是最权威的人工智能大赛。AlexNet不仅拿了第一,而且精确度是第二名的两倍。它是一个卷积神经网络,一个模仿人类大脑神经元网络的数学系统。开发者先用CPU训练,发现不给力,要几个月才能完成训练。于是,换成了英伟达给游戏做图形渲染的GPU,一周就完成了。 英伟达给英特尔当了一辈子马仔。毕竟PC时代,CPU是霸道总裁,游戏显卡是可有可无的小弟。智能手机来了,黄仁勋想逆天改命,去搞手机芯片,还专程跑到北京用蹩脚的中文给小米雷军站台。很可惜,英伟达的移动战略失败,老黄眼看着只能继续苟且在英特尔或者高通的阴影里。 谁想到,AlexNet从天而降,在智能时代深度学习的场景里,英伟达GPU大有可为。公司市值已经抵得上三个英特尔。 一场比赛,让三十年硬件江湖换了姓,已经够吊炸天。但是没完,ChatGPT问世,正式宣告,那场比赛掀起的革命不止于芯片江湖,软件、互联网、整个科技界,都要翻江倒海。 AlexNet由三个人开发,计算机老教授辛顿(Geoffrey Hinton),还有他的两个学生,Alex Krizhevsky和小萨。Alex和小萨,都出生在苏联。 △左:Sutskever;中:Krizhevsky;右:Hinton;图源:多伦多大学...

美国微软内部人士:凡是称要投资几个亿搞ChatGPT的,都是诈骗

VIA:Anonymous 萧峰 我去年在西雅图微软,而且就在负责开发Bing后台一部分算法的WebXT组,后来因为个人原因离职了,作为了解ChatGPT和新Bing部分内幕的底层码农,以及GPT-3和 Codex的第一批公测用户,我来谈谈对ChatGPT的看法。 1.ChatGPT 的算法,包括自回归语言模型(OpenAI从2017年的GPT-1搞到现在,迭代了3.5代了),还有强化学习的 PPO 算法(还记得2018年在TI表演赛上击败OG的Dota2 AI吗?就是用这个算法训练的),全都是已经十分成熟的公开算法,本身没有任何秘密可言。但是这种超大规模训练,并不依靠算法本身,硬件和数据才是王道,纯自然语言数据,网上公开的到处都是,也没有什么门槛,但是ChatGPT有一个巨大的先发优势,就是它通过抢先开始公测,收集了大量的用户的使用数据,这是更加宝贵的数据,而这部分数据只有他们家有。只要ChatGPT仍然是最好用的语言AI,这个雪球只会越滚越大,越来越难追上。另外,为了防止ChatGPT输出有害信息,OpenAI 还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本,用来训练模型不要输出有害信息,这部分数据也是 OpenAI 积淀了几年筑起的数据壁垒。 总之,小公司根本做不了ChatGPT这样的工程,凡是声称投资区区几亿就要做ChatGPT这样的AI的,几乎可以认为全是诈骗;真正有可能做出类似产品的,在中国只有BAT这种拥有自主云计算平台 (市场价租机器做这个就等着破产吧)、且掌握大量用户的互联网公司,而且最好是和ChatGPT错位竞争,比如做中国可以正常联网使用的中文模型;并且,其中最困难的部分其实是敏感词屏蔽和有害信息过滤(ChatGPT 的屏蔽程度,在国内恐怕是不够的,因为它仍然可能在用户恶意诱导下说出不该说的东西)。 2. 再来简单聊聊微软。很多华人,都觉得微软低效是因为印度人太多,尤其是因为印度人做了CEO。但是这种言论是错误的。从ChatGPT这件事中就能看出微软现任 CEO Satva Nadella的眼界。首先,当时OpenAI缺钱、且做出来的东西都是Dota2...

封杀这个公式,ChatGPT智商将为零

引 2022年,ChatGPT问世。 一经出现便掀起滔天巨浪。 如果你跟ChatGPT聊过天,一定会震撼于它所涉猎极广: 既能创造诗歌,也能修改代码。 可以批改作业,还能撰写论文。 写文案易如反掌,给方案不在话下。 ...... 有人兴奋,有人恐慌。 有人说,它会带来一次新的“工业革命”。 有人说,它会引发21世纪的“新卢德运动”。 这其实不是AI第一次向人类展示它的力量。 自动驾驶、MIT主导的人类写字系统、SIRI智能语音助手、AlphaGo...... 但这一次,ChatGPT确实惊吓到了人类。 我们能抵挡来势汹汹的AIGC狂潮吗? 人类是不是真的会被ChatGPT取代? 要回答这些问题,让我们先回归数学。 因为ChatGPT背后的核心本质,是“贝叶斯公式”。 1 什么是贝叶斯公式?...