一個 OpenAI 華人大牛，最近引發(fā)眾人關(guān)注。

他剛以一作身份發(fā)表的最新生成模型，引爆整個學術(shù)圈，讓不少人驚呼：

有望「終結(jié)擴散模型」，「圖像生成領(lǐng)域，要變天了」。

(資料圖片)

他提出的一致性模型，效果比擴散模型更快更好——只需 3.5 秒就能生成 64 張左右 256 × 256 的圖像。

而在此之前，同樣也是因為他的工作，才有了之后擴散模型的狂潮——

DALL-E 2、Stable Diffusion、Imagen 等的出現(xiàn)。

這位名叫宋飏的機器學習研究員，親身參與著圖像生成領(lǐng)域的關(guān)鍵性變革。

但不為多數(shù)人所知的是，他曾 16 歲裸分上清華，原本是想當一名物理學家。

他曾這樣形容兩者之間的關(guān)系：

有很多技術(shù)最初是由物理學家發(fā)明的，現(xiàn)在在機器學習中非常重要。

OpenAI 華人大牛

從個人網(wǎng)站上顯示， 目前他在 OpenAI 致力于開發(fā)可擴展的方法來建模、分析和生成復(fù)雜的高維數(shù)據(jù)。

主要研究興趣涵蓋多個領(lǐng)域，包括生成建模、表示學習、概率推理、人工智能安全性以及 AI for Science。

而他的最終目標也在網(wǎng)站上提及：

解決具有廣泛意義的問題，開發(fā)既易于理解又有效的方法， 并構(gòu)建可以改善人類生活的智能系統(tǒng)。

他的最新論文一致性模型，在學術(shù)圈引起了巨大的反響。

有網(wǎng)友實測發(fā)現(xiàn)，只需要 3.5 秒左右就能生成 64 張左右 256 × 256 的圖像：

游戲結(jié)束！

這種圖像生成領(lǐng)域的顛覆性，對于宋飏本人來說可能并不陌生。

來到 OpenAI 之前，他曾在斯坦福大學攻讀計算機博士，研究包括基于分數(shù)的生成模型（Score-Based Diffusion models）和擴散模型，師從Stefano Ermon。

Stefano Ermon 是斯坦福計算機系副教授，隸屬于人工智能實驗室，也是伍茲環(huán)境研究所的研究員。（值得一提的是，OpenAI 不少研究員也師出同門，比如負責 ChatGPT 訓練的 Shengjia Zhao，本科同樣畢業(yè)于清華）

其團隊連續(xù)兩年獲得 ICLR 杰出論文獎，其中一次一作正是宋飏。

使用隨機微分方程進行基于分數(shù)的生成建模。

他們提出了一種全新的方式來解決基于分數(shù)生成模型的逆向問題，最終在 CIFAR-10 上實現(xiàn)了破紀錄的無條件圖像生成性能，并首次在這種生成模型中證明了高分辨率（1024 1024）圖像的高保真生成。

而要被視作為 Diffusion Model 提供早期貢獻的，還要屬被 NeurIPS 2019 接收并做口頭報告的工作。

當時，GAN 還在以逼真生成風格席卷全球，但眾多科學家仍受困于很難訓練、無法完整采樣等難題。

斯坦福大學博士后 Sohl-Dickstein 受到物理學啟發(fā)，利用擴散原理開發(fā)了生成建模算法——類似于從一滴墨水變成漫射淡藍色的水，首先將訓練數(shù)據(jù)集中的復(fù)雜圖像轉(zhuǎn)化為簡單的噪聲，然后教系統(tǒng)如何反轉(zhuǎn)這個過程，將噪聲轉(zhuǎn)化為圖像。

雖然可以對整個分布進行采樣，但性能效果仍遠遠落后于 GAN，訓練過程也太慢。

這時候，宋飏和他的導(dǎo)師出現(xiàn)了。他們提出了一種新方法，不估計數(shù)據(jù)的概率分布，而是估計分布的梯度，最終效果實現(xiàn)了對 GAN 的超越。

宋飏坦言：當時根本不知道擴散模型。是在論文發(fā)表之后，收到了 Sohl-Dickstein 的郵件，稱與擴散模型有非常緊密的聯(lián)系。

此后，更多人在此基礎(chǔ)上進行了更新和迭代，才有了擴散模型的驚艷效果。

或許在此之前，宋飏怎么也不會想到，這場 Diffusion Model 風潮竟受到物理啟發(fā)，還會與自己有關(guān)。

16 歲就當理科狀元上清華

早在高中的時候，宋飏就展現(xiàn)了他在物理和信息學方面的天賦。

當時他在江蘇省新海高級中學，就獲得了全國物理奧賽、信息學奧賽的一等獎，并且還成功當選第一年清華大學 " 新百年領(lǐng)軍計劃 " 校長推薦人。

據(jù)稱，這放在連云港市，也是全市第一人。

△圖源：學校官網(wǎng)

當時清華推薦生面試現(xiàn)場，一段" 樸實無華 "的自我介紹就讓當場所有人都記住了他。

我是奧賽宋飏，我獲得了物理以及信息學的全國一等獎；我是標兵宋飏，我的理想是做一名物理學家，現(xiàn)在我已經(jīng)自學了高校里的高等數(shù)學以及普通物理學；我還是文藝宋飏，我已經(jīng)通過了鋼琴十級考試，在班級的羽毛球?qū)官惿希灿形一钴S的身影。

最終全票通過，當上了清華推薦生。但他有一個 flag：裸分上清華。

于是在第二年，以 425 分獲得當年連云港市的理科狀元，順利進入到了清華大學數(shù)理基礎(chǔ)科學班，師從朱軍、Raquel Urtasun、Richard Zemel 等大佬。

對于這個成績，當時他也沒有想到：我覺得也就在 400 分左右吧，完全出乎意料。

據(jù)當時揚子晚報消息，每次考完試時，就經(jīng)常找老師們聊天談心。在學校里考得最差的一次是年級 40 多名。

除了學校和老師的幫助，家庭的氛圍也對他的成長密不可分。年幼時父母晚飯后就不看電視，而是各自拿著一本書在看。在這種氛圍中，宋飏也坐在書桌旁閱讀各類書籍。

現(xiàn)在，他也有了最新動向：

2024 年 1 月開始，他將加入加州理工學院電子系（EE）和計算數(shù)學科學系（CMS）擔任助理教授。

參考鏈接：

[ 1 ] http://www.xhgz.com/show-10-783-1.html

[ 2 ] https://news.sina.com.cn/o/2012-06-25/052524649267.shtml

[ 3 ] https://baike.sogou.com/v63765572.htm

[ 4 ] https://yang-song.net/

[ 5 ] https://tieba.baidu.com/p/1279964102

[ 6 ] https://www.quantamagazine.org/the-physics-principle-that-inspired-modern-ai-art-20230105/

關(guān)鍵詞