人工智能和人類完整分歧。羅德島布朗年夜學的克里斯·格里姆說，即便是最好的圖象辨認算法，也會受愚，好比會將白噪圖象辨認成知更鳥或是獵豹，這是一個年夜成績。他說，假如我們不睬解為何這些體系會犯愚昧的毛病，那末我們把生命交付給人工智能時，就應該三思爾后行，好比謹慎斟酌能否成長無人駕駛汽車。

　　是以，格里姆和他的同事們創立了一個體系，剖析一小我工智能在辨認圖象進程中，及時監測它在存眷圖象的哪一部門。相似地，關于一種文檔分類算法來講，該體系顯示了算法應用哪些單詞來決議一種特定文檔應當屬于哪一個種別。

　　窺測內涵

　　谷歌的研討人員杜密魯特·埃爾汗說，這是一種異常有效的辦法，可以進一步懂得人工智能并研討它是若何進修的。格里姆的對象為人們供給了一種便利的方法，讓人可以檢討出一種算法能否準確地給出了準確的謎底，他如許說道。

　　為了創立他的留意力跟蹤對象，格里姆在他想要測試的人工智能上裝置了第二小我工智能。這個“外包AI”調換了一張帶有白噪的圖象，來看看這能否對原始軟件的斷定發生了影響。

　　假如調換部門圖象轉變了卻果，那末這個圖象的區域極可能是辨認進程中的一個主要區域。這類辦法異樣實用于說話。假如在文檔中轉變一個詞令人工智能對文檔停止了分歧的分類，那末它就注解這個詞對人工智能的決議相當主要。

　　格里姆在人工智能上測試了他的技巧，該人工智能經進修可將圖象分類為10個種別，包含飛機、鳥類、鹿和馬等。他的體系映照出了人工智能在停止分類時的視野途徑。成果顯示，人工智能曾經學會了把物體分化成分歧的元素，然后在圖象中搜刮每個元素，以確認其辨認成果。

　　辨認馬頭

　　例如，當看到馬的圖象時，格里姆的剖析顯示，人工智能起首對腿停止了親密存眷，然后在圖象中搜刮了它以為能夠是頭的處所——它事后其實不能曉得這匹馬的頭涌現的處所。關于包括了鹿的圖象，人工智能也采用了相似的辦法，但在這些情形下，它專門搜刮了鹿角。人工智能簡直完整疏忽了一個圖象中的很多部門，這些部門其實不包括有助于分類的信息。

　　格林和他的同事們也剖析了一個練習后可以玩“Pong”（某電子游戲）的人工智能。他們發明，它簡直疏忽了屏幕上一切的器械，只是親密存眷著兩根纖細的挪動小柱。人工智能對一些區域簡直沒有存眷，以致于把小柱從它預期的處所移開后，它就誤認為它是在看球而不是小柱。

　　格里姆以為，他的對象可以贊助人們斷定出人工智能是若何做出決議的。例如，它可以用來檢討在肺部掃描中檢測癌細胞的算法，確保它們不會經由過程不雅察圖象毛病的部門，卻正好找到準確的謎底。“你可以看看它能否沒有留意到準確的器械，”他說，但起首，格里姆想用他的對象來贊助人工智能進修。

　　假如人工智能沒有留意到時，它就會讓人工智能培訓師把他們的軟件直接引誘到到相干的信息上去。