對抗機器學習應用前景（谷歌正在佔領這屆機器學習頂會）

2023-04-21 09:51:37 4

1 新智元報導

第 34 屆國際機器學習會議（ICML）將於 8 月 6 日到 11 日在澳大利亞雪梨召開。今年 ICML 共評審了史無前例的 1676 篇論文，其中 434 篇被接收（也創下了歷史之最），錄取率為 25.89%。所有的論文都會在 Journal of Machine Learning Research（JMLR）發表，屆時又有一大波閱讀可供享用。

ICML 2017 設置了 4 場主旨演講，邀請了 4 位頂級科學家，分別是：牛津大學和 Genomics Plc 的 Peter Donnelly，哈佛大學的 Latanya Sweeney，DeepMind 的 Raia Hadsell，以及馬克思·普朗克智能系統研究所的 Bernhard Schölkopf。我們將在稍後部分詳細介紹他們的主旨演講。

會議開設了 9 場研習會（tutorial），涵蓋機器學習領域的核心課題，包括深度學習、強化學習、分布式學習、可解釋學習、順序學習、交互式學習、魯棒算法、隨機優化，非凸優化，以及醫療保健、自動駕駛等應用領域。

此外，會議還有 22 場研討會（workshop），分兩天舉行。其中，至少有 10 場都至少有一名谷歌、谷歌大腦或 DeepMind 研究人員參與組織。

接收論文：6.3% 的論文有一名作者來自谷歌或 DeepMind

根據新智元粗略統計，在 ICML 2017 接收的 434 篇論文中，有大約 25% 的論文第一作者是華人。

1. 子領域

今年 ICML 子領域的熱度，我們不妨來看 session 的主題。本屆會議共有 10 個 session（不包括 Workshop、Poster 等 session），每個 session 會有 5 篇左右論文 talk。因此，session 的主題從一定程度上可以看出這次接收論文的子領域分布。

其中，深度學習出現了 9 次（幾乎每個 session 都有深度學習），其次是連續優化（7次）、強化學習（6次）和 RNN（4次）、在線學習（4次）。

2. 機構

今年早些時候，特斯拉 AI 和視覺負責人，此前在 OpenAI 擔任研究員的 Andrew Karpathy 對 ICML 2017 接收的論文做了個統計[1]。在全部 1600 多篇論文中，出現了 961 所機構，其中 420 家出現了一次。Karpathy 將「Google」、「Google Inc.」和「Google Brain Research」歸在一起，「Stanford」和「Stanford University」也都歸在一起，得出排名前 30 的機構是：

44 Google

33 Microsoft

32 CMU

25 DeepMind

23 MIT

22 Berkeley

22 Stanford

16 Cambridge

16 Princeton

15 None

14 Georgia Tech

13 Oxford

11 UT Austin

10 Duke

10 Facebook

9 ETH Zurich

9 EPFL

8 Columbia

8 Harvard

8 Michigan

7 UCSD

7 IBM

7 New York

7 Peking

6 Cornell

6 Washington

6 Minnesota

5 Virginia

5 Weizmann Institute of Science

5 Microsoft / Princeton / IAS

其中，排名 15 的「None」指代什麼，Karpathy 本人也不太清楚。此外，Microsoft、Princeton 多次出現，還有「New York」出現了 7 次。不過，上面這個統計還是很能說明問題。

Karpathy 將產業研究院的實驗室（DeepMind、谷歌、微軟、Facebook、IBM、迪士尼、亞馬遜和 Adobe）從全部當中提出來，計算後發現：

ICML 2017 接收的論文中，大約有 20~25% 的論文有產業參與，6.3% 的有一名來自谷歌或 DeepMind 的作者。

雖然 Karpathy 在他統計後指出，仍然有大約 75% 的論文出自學界，但這實際上印證了一個趨勢，那就是在深度學習/機器學習和人工智慧國際頂級學術會議所接受/發表的論文中，產業的參與越來越多。

ICML 2017 主席團隊：谷歌佔比超過 10%，華人不到 10 人

ICML 2017 主席團隊力量強大，人數將近 130 人，均來自世界頂級高校和研究機構，並且產業界氣息濃厚。大會主席 Tony Jebara 就是哥倫比亞大學 & Netflix 產學結合，兩位程序主席 Doina Precup 和 Yee Whye Teh 分別來自麥吉爾大學和牛津大學。

據新智元統計，在近 110 位領域主席（不包括 Tutorial、Workshop、Publicity 等主席）中，

谷歌有 11人，其中谷歌大腦 4 人（Ian Goodfellow 在 PC 手冊上寫的是 OpenAI，新智元在統計時將他歸為谷歌大腦）

DeepMind 7人

微軟研究院 7人

Facebook 4人，包括 FAIR 3 人

OpenAI 2人

騰訊 AI Lab 1人

NEC 實驗室 1人

這些領域主席中有 Rich Sutton、Jürgen Schmidhuber 這樣的老一輩，也有 Ruslan Salakhutdinov（蘋果 AI 負責人、CMU 教授）、Nando de Freitas（牛津大學 & DeepMind）這樣的中堅，還有 Oriol Vinyals（DeepMind）、Ian Goodfellow（谷歌大腦）這樣的新一代。

看看主席團隊裡的華人學者已經成為新智元學術會議報導的慣例。這一次，我們發現了清華大學的朱軍、微軟研究院首席研究員李力鴻、騰訊 AI Lab 主任張潼的身影。

但縱觀整個主席團隊（130 多人），華人不超過 10 人。

4 場主旨演講：AI 政策、機器學習和大數據、現實中的強化學習、因果學習

ICML 2017 共安排了 4 場主旨演講，下面我們一起來看看。

Latanya Sweeney，哈佛大學

Monday August 7th 9:00 AM

Darling Harbour Theater

題目：AI 設計者如何規定未來公民生活?

技術設計者是新的決策者。又有人選舉他們，大多數人不知道他們的名字，但是他們在創造新的小工具和新發明時所做的決策決定了我們日常生活的準則和管理國家的規則。隱私和個人數據的安全性是這個變革的第一波浪潮的一部分。Latanya Sweeney 認為，隨著技術的進步，每個人口統計價值和每一項法律都可能根據技術上能實現或不能實現來重新定義。它們是將全部融合還是全部分開？Sweeney 曾是美國聯邦貿易委員會的首席技術官，一直致力於幫助發現技術不可預見的後果，並思考如何設計未來的方向。

演講人簡介：

作為哈佛大學政府和技術教授，我的工作是創造和運用技術來評估和解決社會問題，政治問題和管理問題，並為其他人提供建議。我的重點研究領域是技術對人類的影響，並且是 Technology Science 的主編。我的另一個重點領域是數據隱私，我是哈佛大學數據隱私實驗室主任。還有其他關注領域。我以前是美國聯邦貿易委員會（FTC）的首席技術官，也被稱為首席技術專家。這是一個夢幻般的體驗！我感謝Ramirez主席任命我這一職位。我的目標之一是讓其他人更容易在技術、政策和業務交叉點上開展創新的解決方案。通常，我會想起我過去的學生，他們主要來自計算機科學或管理學背景，而且他們有很大的動力來改變世界。我很期待社會利用他們的能力，思考創新的解決方案來解決緊迫的問題。在我擔任 FTC 首席技術官期間，我推出了夏季研究員項目（summer research fellows program），並在 Tech @ FTC上發表博客文章，以探索和激發與 FTC 相關的話題的頭腦風暴。

Peter Donnelly

Wellcome Trust Centre 主任、牛津大學教授、Genomics plc CEO

Tuesday August 8th 5:15 PM

Darling Harbour Theater

題目：基因組學、大數據和機器學習：了解人類圖譜並推動醫療革命

我們的每個細胞都攜帶我們的基因組的兩個拷貝，DNA 的 30 億個字母作為其使用手冊。在過去 10~15 年間，測序（閱讀）人類基因組的成本已經下降了超過6個數量級。在全球範圍內，大約有10萬個整個基因組已經被測序，明確的短期路徑達數百萬個。未來 10-15 年，將有十億人類基因組被測序，其中許多序列與個人的大量信息將與他們的病歷和可穿戴設備相關聯。可得到大量個人的健康結果和其他特徵信息相關的遺傳信息的提供很大的機會。將基因組信息與個人生物和健康測量相結合將提高我們評估個人健康風險，預測結果和個性化治療的能力。遺傳學也提供了在其他高度相關特徵之間解開因果關係的可能性。對人類生物學的深刻理解將對藥物發現和醫療保健發展產生重大影響。由於我們擁有共同的進化歷史，來自不同個體的 DNA 序列數據具有複雜的相關性結構。為這些相關性進行建模的推理方法迄今是非常成功的，但可用數據的規模的爆炸性增長將需要新的方法。本演講將通過具體的例子說明將 ML 和其他推理工具應用於基因組數據的機會和挑戰。不要求聽眾具備遺傳學知識。

演講人簡介：

Donnelly 是威康信託人類遺傳學中心主任，牛津大學統計科學教授。他在澳大利亞長大，畢業於昆士蘭大學，作為羅德學者在牛津大學攻讀博士學位。在1996年回到牛津之前，他在倫敦大學和芝加哥大學擔任教授。Donnelly 早期的研究工作涉及人口遺傳學隨機模型的發展，以及遺傳學和基因組數據的統計方法。他的團隊與牛津，IMPUTE的同事合作開發了幾種廣泛使用的統計算法，包括 STRUCTURE 和 PHASE。Donnelly 目前的研究重點是了解人類疾病的遺傳基礎，人類病史以及減數分裂和重組所涉及的機制。Donnelly在HapMap項目中發揮了重要作用，最近他主持了威康信託案例控制聯盟（WTCCC）和接下來的WTCCC2，這是一項大型國際合作，研究了超過 20 種常見人類疾病的遺傳基礎，涉及 6 萬人。他還領導了 WGS500，這是牛津大學與 Illumina 合作的一個項目，對500名具有一系列臨床條件的個體進行測序，以評估臨床醫學中全基因組測序的短期潛力，這是 NHS 100,000基因組計劃的前身。Donnelly 是皇家學會和英國醫學科學院的研究員，並且是精算研究所的榮譽研究員。他的研究已獲得無數獎章和榮譽。

Raia Hadsell，DeepMind

Wednesday August 9th 9:00 AM

Darling Harbour Theater

題目：現實世界的強化學習

深度強化學習已經迅速成為具有很大潛力的人工智慧研究領域。大量的ATARI遊戲已經被用作許多基礎開發的主要基準。隨著這一領域趨於成熟，開發更複雜的學習系統，以解決更複雜的任務變得更重要。我的演講將介紹DeepMind最近的一些研究，這些研究涉及在具有現實世界的多變性和複雜任務結構的挑戰性環境中進行端到端學習。

演講人簡介：

Raia Hadsell 是 DeepMind 高級研究科學家，她在深度學習和機器人問題上的研究經驗已經有10多年。Raia Hadsell 早期的研究開發了使用 Siamese network 進行多學科學習的概念，廣泛應用於不變特徵學習。在 Yann LeCun 門下完成活動機器人自監督的深度學習視覺系統博士學位後，Hadsell 繼續在卡內基梅隆大學機器人研究所和斯裡蘭卡國際研究所（SRI International）進行研究，並於2014年初加入 DeepMind 研究通用人工智慧。Hadsell 目前的研究側重於 AI 智能體和機器人系統持續學習的挑戰。雖然深度 RL 算法能夠在單個任務中實現超越人類水平的表現，但是它們不能將在某一任務的能力轉移到其他任務。Hadsell 提出了政策提取（policy distillation），漸進網絡（progressive nets）和彈性權重固化（elastic weight consolidation）等神經網絡方法來解決災難性遺忘問題，提高遷移學習能力。

Bernhard Schölkopf ，耶魯大學

Wednesday August 9th 5:15 PM

Darling Harbour Theater

題目：因果學習

在機器學習中，我們使用數據來自動尋找依賴關係，目的是預測未來的觀察。大多數機器學習方法建立在統計學的基礎上，但也可以嘗試超越統計學方法，分析統計學依賴關係的因果結構。這樣的因果知識可以幫助機器學習中的預測任務嗎？我們認為答案是肯定的，因為因果模型相對現實世界數據集中發生的變化更加穩定。本演講將討論因果模型對機器學習任務的影響，包括領域適應，遷移學習和半監督學習。

我們還展示了一個消除系統誤差的應用，例如在外行星探測等天文學問題上。

演講人簡介：

Bernhard Schölkopf 的研究興趣在機器學習和因果推理。他將他的方法應用於許多不同的應用領域，從生物醫學問題，計算攝影學到天文學。Bernhard曾在AT＆T貝爾實驗室，柏林的GMD FIRST，以及英國微軟劍橋研究院做研究，2001年成為馬克斯·普朗克（Max Planck）研究所主任。他是德國科學院（Leopoldina）成員，並獲得J.K. 國際模式識別協會的Aggarwal獎，馬克斯普朗克研究獎（與S. Thrun共同獲得），柏林布蘭登堡科學院人文學院學院獎，以及皇家學會米爾納獎。

會議贊助：英偉達獨家「鑽石贊助」，京東躋身「金牌」行列

我們都知道會議贊助是值得玩味的部分，今年的 ICML 的大會贊助商尤其值得一提。在鉑金、金、銀、銅這 4 檔之上，ICML 首次出現了「鑽石贊助商」——英偉達。

而且僅有英偉達這一家。去年贊助的晶片公司 ARM、D Wave、賽靈思，都沒有出現。

機器學習和深度學習的發展，讓英偉達從一家市值 100 億美元的公司成長為 1000 億美元的巨頭。尤其是深度學習，幾乎都會提到 GPU。但是，其他巨頭不會沉默，谷歌研發了自己的晶片 TPU，而收購了 Nervana 的英特爾——也是金牌贊助商——預計今年下半年推出深度學習晶片 Lake Crest。AI 晶片市場在未來幾年的競爭只會更加激烈。

鉑金贊助商，Facebook、谷歌領頭，京東隨後，DeepMind、亞馬遜都有。去年閃耀在鉑金這一級的中國公司是百度——Baidu Research 是 ICML 2016 的兩家鉑金贊助商之一，今年是金牌贊助。

螞蟻金服、騰訊 AI Lab 也是金牌贊助。

國外「AI 巨頭聯盟」中的 IBM 沒有出現。

鑽石贊助商：