【2016年7月4日,北京】卷積神經網絡(同“CNN”)發明人、Facebook人工智能研究院院長、紐約大學終身教授Yann LeCun出席了上海交通大學舉行的“中美人工智能高端論壇”,并發表學術報告 Deep Learning and AI:Past, Present, andFuture。演講之后,第四范式聯合創始人兼首席研究科學家陳雨強、思必馳首席科學家俞凱、今日頭條實驗室總監李磊、360人工智能研究院院長顏水成等中國新銳人工智能科學家代表,與 Yann LeCun教授進行了主題為「對話人工智能未來」的圓桌討論。
Yann LeCun教授是卷積神經網絡之父,被公認為是世界人工智能三巨頭之一。此次到訪中國,Yann LeCun教授與國內人工智能一線的新銳標桿人物,交流了兩國AI技術的發展現狀與未來趨勢,對推動AI學術研究的發展具有權威的指導意義。在對話中,第四范式陳雨強針對于AI模型的發展趨勢,提出了其關于“人工智能模型寬與深“的思考。
陳雨強此前曾在百度鳳巢主持架構了世界上第一個商用的深度學習系統,在今日頭條主持設計了中國用戶量最多的新媒體人工智能推薦系統,在人工智能工業應用領域擁有自己的深入理解。陳雨強表示,近年來,各行各業都逐漸轉向“AI化”,而“VC維”是衡量人工智能工業應用水平的關鍵。VC維理論反映了函數集的學習能力——VC維越大則模型或函數越復雜,學習能力就越強。工業界如何能夠有效地提高機器學習模型的VC維?陳雨強稱,機器學習包含數據、特征、模型三個方面,在數據足夠充足的情況下,可以沿著模型和特征兩條路徑切入,在提升VC維方面做一定功課。
事實上,兩種路徑都有非常成功的應用案例。深度學習依靠在模型表達性與推理方面的天然優勢,在語音、圖像等領域被廣泛應用;寬度學習則在細致刻畫和記憶特征方面優勢明顯,憑借層次化的特征工程,也能獲得非常好的泛化效果,被應用在廣告、推薦等領域,尤其是近期,越來越多的領域開始探索寬度學習技術,此前北京航空航天大學計算機學院副教授童詠昕與陳雨強等人在2017年KDD會議上發表論文,就提出了利用簡單、統一的框架解決打車需求預估的問題。
在談及模型的未來發展趨勢時,陳雨強稱,寬與深的結合已成為研究熱點。2016年6月,Google研究院發表論文稱,正在研發Wide&Deep Model,并表示其在搜索、廣告與推薦等領域均十分有效。同年7月,第四范式發布了新一代的模型算法——深度稀疏網絡DSN(Deep Sparse Network)。Wide&Deep Model利用深度窄網絡刻畫宏觀特征之間的關系,利用寬度淺層網絡記憶微觀特征,但無法刻畫微觀特征之間的復雜關系,由于Wide&Deep Model將“寬”和“深”分離,導致微觀和宏觀特征之間的關系也無法刻畫。與Wide&Deep Model不同,第四范式的DSN將“寬”和“深”做了更全面的融合,算法底層是上千億大小的寬度網絡,上層是一個全連接的網絡,這樣既可以記住更多信息,又能刻畫所有特征(包括宏觀特征和微觀特征)之間更復雜的關系。在參數規模上,Wide&Deep Model支持的參數規模為十億級, DSN支持的參數規模已達到十萬億級,模型“VC維”更高。這意味著隨著數據量的增大,模型效果將有更大的提升空間。
在對話最后陳雨強表示,在通過技術層面提高模型維度的同時,第四范式也在積極降低機器學習的使用門檻,讓更多的技術、業務等非專業建模人員能夠使用機器學習,建立適合各個業務的高維模型。