天然說(shuō)話處置，又稱 NLP（Natural language processing），是今朝和將來(lái) AI 范疇最主要的基本技巧之一，重要是在機(jī)械進(jìn)修的基本上聯(lián)合說(shuō)話學(xué)和統(tǒng)計(jì)學(xué)在主動(dòng)化辦事中對(duì)說(shuō)話停止建模。說(shuō)的直白一點(diǎn)，NLP 就是關(guān)于人和機(jī)械若何相互懂得、機(jī)械若何更懂人類的癥結(jié)。
作為今朝 AI 最重要的兩個(gè)分支范疇，NLP（天然說(shuō)話處置）和 Computer Vision（盤算機(jī)視覺(jué)）分離代表了人類測(cè)驗(yàn)考試讓機(jī)械懂得世界的兩個(gè)緯度，也是今朝人工智能范疇成長(zhǎng)最快的兩個(gè)分支。隨同國(guó)際外各家智能音箱和語(yǔ)音助手的涌現(xiàn)，NLP 一時(shí)光成了浩瀚科技巨子正面比武的 AI 主疆場(chǎng)。
天然說(shuō)話處置究竟若何一路走來(lái)、終究又將會(huì)讓機(jī)械和人之間的關(guān)系走向哪？作為在 NLP 范疇投資最多的公司，Google 也許是最有談話權(quán)的。
清除說(shuō)話妨礙，Google NLP 的第一個(gè)義務(wù)
在 Google 的概念中，說(shuō)話不該該是人類溝通的妨礙，更不該該是應(yīng)用收集的障礙。
Google 研討項(xiàng)目總監(jiān) Linne Ha 告知極客公園，Google 的任務(wù)在于匯總?cè)虻男畔⒉⑹蛊淇梢曰蛟S被廣泛獲得和應(yīng)用，而廢除說(shuō)話妨礙就成了個(gè)中的癥結(jié)。清除說(shuō)話形成的隔膜，這些年來(lái)一直是 Google NLP 團(tuán)隊(duì)的重要義務(wù)之一。這類清除其實(shí)不止逗留在翻譯層面，說(shuō)話處置（文天職析、生成、對(duì)話等）、音頻處置、手寫辨認(rèn)等都是 Google 正在著眼處理的成績(jī)。
今朝世界上有 6000 種說(shuō)話，這個(gè)中跨越 100 萬(wàn)人應(yīng)用的說(shuō)話就有 400 種，還有許多小眾的方言。但如今的互聯(lián)網(wǎng)主導(dǎo)說(shuō)話仍然是英語(yǔ)，全球年夜約 50% 的收集內(nèi)容都是英文的。讓全球的人都能成為互聯(lián)網(wǎng)的受害者，不被說(shuō)話的差別所障礙，這恰是 Google Bringing Everyone online 籌劃的巨大假想。
「同一碼」和「不要豆腐」字體，它們是 Google 完成這件事的第一步。
Unicode（同一碼）是盤算機(jī)的尺度字符編碼，它為每種說(shuō)話中的每一個(gè)字符設(shè)定了同一而且獨(dú)一的二進(jìn)制編碼，以知足跨說(shuō)話、跨平臺(tái)停止文本轉(zhuǎn)換、處置的請(qǐng)求，谷歌一種都在勉勵(lì)更多的國(guó)度和地域廢棄應(yīng)用非 Unicode 的字體。
除此以外，許多時(shí)刻當(dāng)電腦和手機(jī)等裝備在對(duì)文本停止襯著，假如裝備上沒(méi)有響應(yīng)的字體，就會(huì)涌現(xiàn)空白方塊字符，這些方塊看起來(lái)就像豆腐一樣。針對(duì)這類情形，Google 開辟了一款叫做 Noto 的字體（Noto 就是 No Tofu 的縮寫），它簡(jiǎn)直兼容一切說(shuō)話，而且供給同一的作風(fēng)，以此來(lái)清除文字在分歧裝備上襯著涌現(xiàn)的空白方塊（Tofu）。
（圖片起源：techtolead）
當(dāng)出現(xiàn)方法的妨礙清除以后，信息的輸出就成了下一個(gè)須要處理的成績(jī)。而機(jī)械進(jìn)修的參與，開端讓人與機(jī)械之間的信息交互方法產(chǎn)生了變更。
手寫和語(yǔ)音是谷歌在鍵盤以外付與機(jī)械的信息吸收方法，這個(gè)在通俗用戶看起來(lái)天真爛漫的演進(jìn)，面前實(shí)際上是一個(gè)不小的工程。
不論是手寫照樣語(yǔ)音，配合存在的一個(gè)成績(jī)是個(gè)別差別。許多時(shí)刻，就算是統(tǒng)一種文字、統(tǒng)一種說(shuō)話，也會(huì)由于分歧的人而帶上分歧的口音和分歧的字跡。面臨這個(gè)成績(jī)，Google NLP 搜集了年夜量書寫樣本和語(yǔ)音樣本，并應(yīng)用機(jī)械進(jìn)修從這些樣本中進(jìn)修去識(shí)別字跡和口音。
早在十年之前 Google 就有了語(yǔ)音搜刮的假想，而且在 2007 年 Google 想出了經(jīng)由過(guò)程供給 GOOG-411（Google Voice Local Search） 的辦事來(lái)搜集數(shù)據(jù)。這個(gè)全主動(dòng)的語(yǔ)音辨認(rèn)搜刮辦事很受迎接，也很快贊助 Google 依據(jù)這些訊問(wèn)的語(yǔ)音樹立了一個(gè)年夜型數(shù)據(jù)庫(kù)。經(jīng)由這些高質(zhì)量的語(yǔ)音搜刮數(shù)據(jù)練習(xí)，一年以后，語(yǔ)音搜刮就足以在智妙手機(jī)上啟動(dòng)了。
以后 Google 又經(jīng)由過(guò)程活著界各地的年夜量收集，擴(kuò)大了 50 種其他說(shuō)話的語(yǔ)音搜刮才能，讓全球數(shù)百萬(wàn)人可以以更低的門坎應(yīng)用上互聯(lián)網(wǎng)。
神經(jīng)收集，NLP 的躍遷籌馬
DNN（深度神經(jīng)收集）的參加，讓 Google 的語(yǔ)音交互技巧上升到了一個(gè)全新的高度。
2012 年 Google 正式開端應(yīng)用深度神經(jīng)收集，這項(xiàng)技巧在一開端就讓語(yǔ)音辨認(rèn)才能進(jìn)步了約 25％，且以后 Google 賡續(xù)在優(yōu)化算法，讓這類辨認(rèn)率的晉升后果一直堅(jiān)持著微弱的增加。同時(shí)，機(jī)械進(jìn)修的才能晉升也讓 Google NLP 的才能有了年夜幅度的晉升，可以或許更好的懂得人類的句子。
今朝，Google 經(jīng)由過(guò)程這些技巧供給了 30 多種說(shuō)話的語(yǔ)音輸出支撐，涵蓋跨越十億人。個(gè)中個(gè)一典范的應(yīng)用場(chǎng)景就是的 Gboard 輸出法和 Google 語(yǔ)音搜刮，這些 App 供給了 119 種說(shuō)話的支撐，包含 11 種印度語(yǔ)，3 種印度尼西亞語(yǔ)，乃至包括了 2 種非洲最主要的說(shuō)話——斯瓦希里語(yǔ)和阿姆哈拉語(yǔ)。
Google 的團(tuán)隊(duì)從多年的數(shù)據(jù)搜集中得出了一套高效低本錢的計(jì)劃，經(jīng)由過(guò)程和統(tǒng)一處所的人用多說(shuō)話停止溝通，用更少的數(shù)據(jù)樹立了更好的說(shuō)話模子。
在處理了根本的溝通成績(jī)以后，Google NLP 也開端在更多范疇釋放本身價(jià)值，個(gè)中最典范的兩個(gè)場(chǎng)景就是翻譯和 AI 語(yǔ)音助手。
谷歌在 2016 年 9 月正式推出了整合神經(jīng)收集的翻譯對(duì)象——GNMT（Google Neural Machine Translation）谷歌神經(jīng)機(jī)械翻譯體系，這一翻譯技巧的應(yīng)用恰是 Google 在 NLP 范疇技巧演進(jìn)的一次直不雅表現(xiàn)。這類將全部句子視作翻譯單位的方法，對(duì)句子中的每部門停止帶有邏輯的聯(lián)系關(guān)系翻譯，翻譯每個(gè)字或單詞時(shí)都包括著整句話的邏輯。
在專訪中 Linne Ha 也告知極客公園，NMT 關(guān)于 SMT 更多是一種互補(bǔ)的關(guān)系，并沒(méi)有相對(duì)的好壞之分，他們各安閑分歧的情形下有著各自的優(yōu)勢(shì)。NMT 的涌現(xiàn)填補(bǔ)了之前 SMT 才能沒(méi)法籠罩的長(zhǎng)句翻譯和龐雜邏輯翻譯等成績(jī)。
智能語(yǔ)音助手 Google Assistant 則是 Google NLP 技巧今朝最焦點(diǎn)主要的應(yīng)用。早在 2012 年的安卓 4.1 和 Nexus 手機(jī)上谷歌的智能語(yǔ)音助手就以 Google Now 的情勢(shì)和用戶見(jiàn)過(guò)面了。
其時(shí)的 Google Now 恰是應(yīng)用 NLP 技巧完成與用戶交互，爾后經(jīng)由過(guò)程 Web 辦事來(lái)停止問(wèn)答、供給建議、完成辦事等舉措。而從 2016 年開端，具有更壯大 NLP 處置才能的 Google Assistant 就開端慢慢代替 Google Now，贊助用戶在手機(jī)上完成更龐雜的語(yǔ)音交互指令。
Google NLP 技巧程度直接影響著 Google Assistant 的才能規(guī)模，所以當(dāng) NLP 技巧經(jīng)由過(guò)程機(jī)械進(jìn)修在歷久的語(yǔ)音輸出、語(yǔ)音搜刮練習(xí)和積聚后，逐步可以或許控制對(duì)話才能，而不再只是純真的簡(jiǎn)略指令處置才能。
這時(shí)候的 Google Assistant 也開端變得愈來(lái)愈萬(wàn)能，它可以或許從對(duì)話中進(jìn)修積聚對(duì)天然說(shuō)話的語(yǔ)意、邏輯的懂得才能，其實(shí)不斷優(yōu)化。
NLP 的機(jī)會(huì)和挑釁
NLP 也許不會(huì)有一個(gè)確實(shí)的止境，由于天然說(shuō)話一直都在演化，而天然說(shuō)話處置技巧須要賡續(xù)去順應(yīng)這類變更。
固然今朝的 NLP 技巧不管是在算法照樣數(shù)據(jù)構(gòu)造上都還沒(méi)有到達(dá)極限，但限制它的能夠其實(shí)不是只是算法和數(shù)據(jù)，而是沒(méi)法猜測(cè)的說(shuō)話習(xí)氣的變遷，和賡續(xù)涌現(xiàn)的新辭匯，和舊辭匯的新用法。在專訪中 Linne Ha 也告知極客公園，今朝的 NLP 最年夜的挑釁在于若何應(yīng)用應(yīng)用算法，更快的從無(wú)限數(shù)據(jù)中進(jìn)修和順應(yīng)說(shuō)話習(xí)氣的新變更，并實(shí)時(shí)做出調(diào)劑。
異樣的，機(jī)械翻譯也毫不會(huì)完整代替人類，由于除說(shuō)話靜態(tài)變更的影響，數(shù)據(jù)量和算法異樣是須要處理的成績(jī)。今朝可以或許被應(yīng)用的數(shù)據(jù)的范圍相較于全部人類文明的說(shuō)話貯備來(lái)講其實(shí)太小，即便是 Google 也照舊面對(duì)雷同的成績(jī)；同時(shí)，即便有朝一日真的具有了全部人類文明的說(shuō)話常識(shí)庫(kù)，現(xiàn)有的算法和盤算才能也難以完成如斯宏大的數(shù)據(jù)練習(xí)。
所以，未來(lái) NLP 能夠其實(shí)不必定可以或許想一個(gè)真實(shí)的人一樣和我們停止對(duì)話，終究它也許更能夠飾演一種高等幫助的腳色，成為我們說(shuō)話系統(tǒng)的一部門。
不外，NLP 在將來(lái)卻有能夠也會(huì)對(duì)人類的說(shuō)話習(xí)氣發(fā)生一些影響，好比多說(shuō)話的應(yīng)用習(xí)氣，一小我能夠會(huì)具有正式和非正式兩種說(shuō)話習(xí)氣。
而當(dāng)極客公園問(wèn)到現(xiàn)在的新興創(chuàng)業(yè)公司在 NLP 范疇還有哪些機(jī)遇時(shí)，Linne 絕不遲疑的說(shuō)出了「Assistant」，在她看來(lái)，如今語(yǔ)音智能助手的市場(chǎng)有太多太多未被彌補(bǔ)的空白場(chǎng)景。
另外一個(gè)機(jī)遇則隱蔽在像廣東話如許的特別說(shuō)話中，這些說(shuō)話中存在許多沒(méi)法被轉(zhuǎn)化為書面文字的行動(dòng)語(yǔ)，這類行動(dòng)語(yǔ)關(guān)于須要先將語(yǔ)音轉(zhuǎn)化為文字，從而進(jìn)修并懂得的 NLP 技巧來(lái)講是一個(gè)亟待處理的癥結(jié)成績(jī)。所以，NLP 將來(lái)的機(jī)遇極可能就隱蔽在「beyond text」（超出文本）的說(shuō)話進(jìn)修技巧上。
整體而言，說(shuō)話是使互聯(lián)網(wǎng)更具包涵性的癥結(jié)地點(diǎn)。而說(shuō)話關(guān)于下一個(gè)無(wú)所不在的盤算時(shí)期是相當(dāng)主要，為了讓我們真正處于將來(lái)時(shí)期的數(shù)據(jù)情況中，我們須要可以或許天然地與盤算機(jī)攀談，讓盤算機(jī)懂得我們。而這不該該只是應(yīng)用英語(yǔ)的多數(shù)人的特權(quán)，而是一切人都應(yīng)當(dāng)享有的人工智能時(shí)期的福利。
而讓機(jī)械更好的做到這一點(diǎn)，恰是 Google NLP 的目的和任務(wù)。
