國外媒體Slate刊文指出，“年夜數(shù)據(jù)（Big Data）”一詞曾經(jīng)變得沒有以往那末紅火了，為何會如許呢？“年夜數(shù)據(jù)”的成績其實不在于數(shù)據(jù)或許年夜數(shù)據(jù)自己很蹩腳，而是在于自覺留戀數(shù)據(jù)，不加批評地應(yīng)用，那會激發(fā)災(zāi)害。數(shù)據(jù)也紛歧定完整反應(yīng)你想要懂得的工作的現(xiàn)實情形。

　　以下是文章重要內(nèi)容：

　　5年前——2012年2月——《紐約時報》刊文高呼人類的一個新紀元的到來：“年夜數(shù)據(jù)時期”。

　　該文章告知我們，社會將開端產(chǎn)生一場反動，在這場反動中，海量數(shù)據(jù)的搜集與剖析將會轉(zhuǎn)變?nèi)藗兩牡暮喼泵總€方面。

　　數(shù)據(jù)剖析不再局限于電子數(shù)據(jù)表和回歸剖析：超等盤算的到來，隨同著可連續(xù)記載數(shù)據(jù)并將數(shù)據(jù)傳送到云真?zhèn)€聯(lián)網(wǎng)傳感器的賡續(xù)普及，意味著邁克爾·劉易斯（Michael Lewis）2003年的棒球書本《Moneyball》所描寫的那種先輩數(shù)據(jù)剖析無望被運用于各行各業(yè)，從貿(mào)易到學(xué)術(shù)，再到醫(yī)療和兩性關(guān)系。

　　不只如斯，高真?zhèn)€數(shù)據(jù)剖析軟件還有助于判定完整意想不到的相干性，好比存款方用盡額度和他債權(quán)背約的能夠性之間的關(guān)系。這必將將會催生會轉(zhuǎn)變我們思慮簡直一切事物的新鮮看法。

　　《紐約時報》其實不是第一個得出這一結(jié)論的企業(yè)機構(gòu)：它的文章援用了麥肯錫征詢公司2011年的一份嚴重申報，其不雅點也獲得了2012年瑞士達沃斯世界經(jīng)濟服裝論壇t.vhao.net題為“年夜數(shù)據(jù)，年夜影響”的官方申報的支撐。但這類宣言似乎就是標記年夜數(shù)據(jù)時期開啟的里程碑。

　　在以后的一個月里，巴拉克·奧巴馬（Barack Obama）的白宮成了一個2億美元的國度年夜數(shù)據(jù)項目，猖狂高潮隨即襲來：學(xué)術(shù)機構(gòu)、非盈利組織、當局和企業(yè)都爭相去探討“年夜數(shù)據(jù)”畢竟是甚么，他們可以若何好好應(yīng)用它。

　　現(xiàn)實證實，這類猖狂沒有連續(xù)很長時光。5年后，數(shù)據(jù)在我們的平常生涯中飾演主要許多的腳色，但年夜數(shù)據(jù)一詞曾經(jīng)不再風(fēng)行——乃至讓人認為有些憎惡。我們被承諾的那場反動畢竟產(chǎn)生了甚么呢？數(shù)據(jù)、剖析技巧和算法如今又在往甚么偏向成長呢？這些成績值得回頭去思慮。

　　科技征詢公司Gartner在它2015年相當著名的“技巧成熟度曲線”申報中不再應(yīng)用“年夜數(shù)據(jù)”一次，以后該詞再也沒有回歸。該公司廓清道，這其實不是由于企業(yè)廢棄發(fā)掘巨量數(shù)據(jù)集取得洞見的概念。而是由于那種做法曾經(jīng)變得廣為風(fēng)行，以致于它不再相符“新興技巧”的界說。

　　年夜數(shù)據(jù)贊助驅(qū)動我們的靜態(tài)新聞、Netflix視頻推舉、主動化股票生意業(yè)務(wù)、主動校訂功效、安康跟蹤裝備等不可勝數(shù)的對象面前的算法。但我們?nèi)缃癫荒暌箲?yīng)用年夜數(shù)據(jù)一詞了——我們只是將它稱作數(shù)據(jù)。我們開端將數(shù)據(jù)集可以或許包括有數(shù)的不雅察成果，先輩軟件可以或許檢測傍邊的趨向當作天經(jīng)地義的工作。

　　年夜數(shù)據(jù)激發(fā)的嚴重毛病

　　固然該詞仍有被應(yīng)用，但它更多地帶有一種欠好的意味，好比凱茜·奧尼爾（Cathy O’Neil）2016年的著作《數(shù)學(xué)殺傷性兵器》（Weapons of Math Destruction）或許弗蘭克·帕斯夸里（Frank Pasquale）2015年的《黑箱社會》（The Black Box Society）。急忙履行和運用年夜數(shù)據(jù)，即停止所謂的“數(shù)據(jù)驅(qū)動型決議計劃”，帶來了嚴重的毛病。

　　有的毛病相當引人注視：塔吉特（Target）曾向一名沒跟任何人說過本身懷孕的少女的家庭派送嬰兒用品優(yōu)惠券；Pinterest曾祝賀一名獨身只身女性行將娶親；谷歌照片（Google Photos）也曾激發(fā)軒然年夜波，該公司被年夜肆吹噓的AI將黑人誤認為是年夜猩猩，緣由是它的練習(xí)數(shù)據(jù)不敷多元化。（值得指出的是，至多在該事宜中，“年夜數(shù)據(jù)”還不敷年夜。）

　　其它的毛病更加奧妙，也許也加倍陰險。傍邊包含奧尼爾在她的主要著作中記載的那些不通明的數(shù)據(jù)驅(qū)動式軌制性模子：被法庭用來判決罪犯的、帶有種族成見的累犯模子，或許那些基于可疑的考試分數(shù)數(shù)據(jù)辭退備受敬愛的教員的模子。年夜數(shù)據(jù)失足的新案例可謂層見疊出——好比Facebook算法顯著贊助俄羅斯經(jīng)由過程針對性的假消息影響美國總統(tǒng)年夜選的成果。

　　自覺留戀數(shù)據(jù)與誤用

　　“年夜數(shù)據(jù)”的成績其實不在于數(shù)據(jù)自己很蹩腳，也不在于年夜數(shù)據(jù)自己很蹩腳：謹嚴運用的話，年夜型數(shù)據(jù)集照樣可以或許提醒其它門路發(fā)明不了的主要趨向。正如茱莉婭·羅斯·韋斯特（Julia Rose West）在比來給Slate撰寫的文章里所說的，自覺留戀數(shù)據(jù)，不加批評地應(yīng)用，常常招致災(zāi)害的產(chǎn)生。

　　從實質(zhì)來看，年夜數(shù)據(jù)不輕易解讀。當你搜集數(shù)十億個數(shù)據(jù)點的時刻——一個網(wǎng)站上的點擊或許光標地位數(shù)據(jù)；年夜型公共空間十字轉(zhuǎn)門的遷移轉(zhuǎn)變次數(shù)；對世界各地每一個小時的風(fēng)速不雅察；推文——任何給定的數(shù)據(jù)點的起源會變得隱約。這反過去意味著，看似高等其余趨向能夠只是數(shù)據(jù)成績或許辦法形成的產(chǎn)品。但或許更嚴重的成績是，你所具有的數(shù)據(jù)平日只是你真正想要曉得的器械的一個目標。年夜數(shù)據(jù)不克不及處理誰人成績——它反而縮小了誰人成績。

　　例如，平易近意查詢拜訪被普遍用作權(quán)衡人們在選舉中的投票意向的目標。但是，從湯姆·布拉德利（Tom Bradley）1982年在加州州長競選中戰(zhàn)敗，到英國脫歐公投，再到特朗普確當選，數(shù)十年來成果出人意料的選舉幾回再三提示我們，平易近意考試和人們現(xiàn)實的投票意向之間其實不老是完整分歧。Facebook以往重要經(jīng)由過程用戶有無點贊來估計他們對特定的帖子能否有興致。但跟著經(jīng)由算法優(yōu)化的靜態(tài)信息開端年夜量涌現(xiàn)題目釣餌、點贊釣餌和嬰兒照片——招致用戶滿足度顯著降低——該公司的高層逐步認識到，“點贊”這事其實不必定意味著用戶真的愛好特定的內(nèi)容。

　　目標和你現(xiàn)實上要估計的器械之間的差異越年夜，過于倚重它就越風(fēng)險。以來自奧尼爾的著作的前述例子為例：學(xué)區(qū)應(yīng)用數(shù)學(xué)模子來讓教員的表示評價與先生的考試分數(shù)掛鉤。先生考試分數(shù)與不在教員掌握規(guī)模內(nèi)的有數(shù)主要身分有關(guān)。年夜數(shù)據(jù)的個中一個優(yōu)勢在于，即使是在異常喧鬧的數(shù)據(jù)集里，你也能夠發(fā)明成心義的聯(lián)系關(guān)系性，這重要得益于數(shù)據(jù)量年夜和實際上可以或許掌握混淆變量的壯大軟件算法。

　　例如，奧尼爾描寫的誰人模子，應(yīng)用來自多個學(xué)區(qū)和系統(tǒng)的先生的浩瀚生齒構(gòu)造方面的相干性，來生成考試分數(shù)的“預(yù)期”數(shù)據(jù)集，再拿它們與先生的現(xiàn)實成就停止比擬。（因為這個緣由，奧尼爾以為它是“年夜數(shù)據(jù)”例子，雖然誰人數(shù)據(jù)集其實不夠年夜，沒到達該詞的一些技巧界說的門坎。）

　　試想一下，如許的體系被運用在統(tǒng)一所黌舍外面——拿每一個年級的教員與其它年級的教員比擬。要不是年夜數(shù)據(jù)的魔法，先生特定學(xué)年異常的考試分數(shù)會異常惹眼。任何評價那些考試的聰慧人，都不會以為它們可以或許很好地反應(yīng)先生的才能，更不消說教他們的先生了。

　　而前華盛頓特區(qū)教導(dǎo)局長李洋姬（Michelle Rhee）實施的體系比擬之下更不通明。由于數(shù)據(jù)集比擬年夜，而不是小，它必需要由第三方的征詢公司應(yīng)用專門的數(shù)學(xué)模子來停止剖析解讀。這可帶來一種客不雅性，但它也消除失落了周密質(zhì)問任何給定的信息輸入，來看看該模子詳細若何得出它的結(jié)論的能夠性。

　　例如，奧尼爾剖析道，有的教員獲得低評分，能夠不是由于他們的先生表示蹩腳，而是由于那些先生之前一年表示得出奇地好——能夠由于上面誰人年級的教員謊稱那些先生表示很好，以晉升他本身的教授教養(yǎng)評分。但關(guān)于那種能夠性，黌舍高層并沒甚么興致去深究那種模子的機制來予以證明。

　　參加更多目標

　　其實不是說先生考試分數(shù)、平易近意查詢拜訪、內(nèi)容排名算法或許累犯猜測模子一切都須要疏忽。除停用數(shù)據(jù)和回歸到奇聞軼事和直覺斷定之外，至多有兩種可行的辦法來處置數(shù)據(jù)集和你想要估計或許估計的實際世界成果之間不完整相干帶來的成績。

　　個中一種辦法是參加更多的目標數(shù)據(jù)。Facebook采取這類做法已有很長一段時光。在懂得到用戶點贊不克不及完整反應(yīng)他們在靜態(tài)新聞傍邊現(xiàn)實想要看到的器械今后，該公司給它的模子參加了更多的目標。它開端丈量其它的器械，好比用戶看一篇帖子的時長，他們閱讀其點擊的文章的時光，他們是在看內(nèi)容之前照樣以后點贊。

　　Facebook的工程師盡量地去衡量和優(yōu)化那些目標，但他們發(fā)明用戶年夜體上照樣對靜態(tài)新聞里出現(xiàn)的內(nèi)容不滿足。是以，該公司進一步增長丈量目標：它開端睜開年夜規(guī)模的用戶查詢拜訪，增長新的反響臉色讓用戶可以轉(zhuǎn)達加倍纖細的感觸感染，并開端應(yīng)用AI來按頁面和按出書者檢測帖子的題目黨說話。該社交收集曉得這些目標沒有一個是完善的。然則，經(jīng)由過程增長更多的目標，它實際上可以或許加倍接近于構(gòu)成可給用戶展現(xiàn)他們最想要看到的帖子的算法。

　　這類做法的一個弊病在于，它難度年夜，本錢昂揚。另外一個弊病在于，你的模子參加的變量越多，它的辦法就會變得越撲朔迷離，越不通明，越難以懂得。這是帕斯夸里在《黑箱社會》里論述的成績的一部門。算法再先輩，所應(yīng)用的數(shù)據(jù)集再好，它也有能夠會失足——而它失足的時刻，診斷成績幾無能夠。“過度擬合”和自覺信任也會帶來風(fēng)險：你的模子越先輩，它看上去與你過往一切的不雅察越吻合，你對它越有信念，它終究讓你狼奔豕突的風(fēng)險就越年夜。（想一想次貸危機、選舉猜測模子和Zynga吧。）

　　小數(shù)據(jù)

　　關(guān)于源自信數(shù)據(jù)集成見的成績，另外一個潛伏的應(yīng)對辦法是部門人所說的“小數(shù)據(jù)”。小數(shù)據(jù)是指，數(shù)據(jù)集足夠簡略到可以直接由人來剖析息爭讀，不須要乞助于超等盤算機或許Hadoop功課。跟“慢餐”一樣，該詞也是由于其相不和的風(fēng)行而發(fā)生。

　　丹麥作家、營銷參謀馬丁·林德斯特羅姆（Martin Lindstrom）在他2016年的著作《小數(shù)據(jù)：提醒年夜趨向的渺小線索》中談到了那種做法。例如，丹麥著名玩具廠商樂高（Lego）根據(jù)年夜量宣稱千禧一代須要即時知足，更輕易被比擬輕松的項目吸引的研討，轉(zhuǎn)向供給更年夜的積木，還在1990年月末和2000年月初打造主題公園和視頻游戲。這類轉(zhuǎn)型沒有見效。

　　那種由數(shù)據(jù)驅(qū)動的范式最初被它的營銷者2004年停止的一項規(guī)模小很多的人類學(xué)查詢拜訪推翻。它的營銷者逐一訊問小孩他們最珍重甚么物品，發(fā)明他們最愛好也最忠于可以讓顯示出其苦苦練就的才能的產(chǎn)物——好比一雙因數(shù)百個小時的滑板演習(xí)而磨損的舊活動鞋。據(jù)林德斯特羅姆（他曾擔(dān)負樂高的參謀，本身也很愛好玩樂高積木）說，樂高從新專注于供給它本來的小積木，由此完成中興。

　　在許多方面，亞馬遜是可充足解釋年夜數(shù)據(jù)威力的典范例子。它關(guān)于其數(shù)以億計的顧客的購置和商品閱讀習(xí)氣的數(shù)據(jù)，贊助它成為全球最勝利的批發(fā)商之一。不外，布拉德·斯通（Brad Stone）在他的書《萬貨市肆》（Everything Store）中稱，該公司的CEO杰夫·貝索斯（Jeff Bezos）有個很風(fēng)趣（關(guān)于他的員工來講則很恐怖）的方法來均衡一切的那些客不雅數(shù)據(jù)剖析。他時不時會將顧客發(fā)來的贊揚郵件轉(zhuǎn)發(fā)給他的高層團隊，請求他們不只僅要處理贊揚的成績，還要完全查詢拜訪清晰它產(chǎn)生的緣由，并撰寫一份說明申報。

　　這解釋，貝索斯不只僅懂得年夜數(shù)據(jù)晉升各個體系運轉(zhuǎn)效力的威力，還曉得年夜數(shù)據(jù)也要能夠會掩飾沒有獲得有用估計的特定成績的產(chǎn)生緣由和機制。在依據(jù)你曉得該若何丈量的工作做出決議計劃的時刻，平安的做法是確保也無機制讓你可以或許曉得你不曉得該若何估計的工作。“成績老是，你沒有搜集甚么數(shù)據(jù)？”奧尼爾在接收德律風(fēng)采訪時表現(xiàn)，“甚么數(shù)據(jù)是你看不到的？”

　　將來瞻望

　　跟著“年夜數(shù)據(jù)”不再被當作熱詞，我們有愿望逐步對數(shù)據(jù)的威力和圈套構(gòu)成加倍過細入微的懂得。回頭來看，搜集數(shù)據(jù)的傳感器和剖析數(shù)據(jù)的超等盤算機一會兒年夜量出現(xiàn)，激發(fā)一股淘金熱，和許多時刻錯掉這一切的恐怖會壓過你的謹慎情感，都是可以懂得的。與此同時，必定會有沉思熟慮的人開端惹起我們對這些情形的留意，年夜數(shù)據(jù)也弗成防止地會帶來反后果。

　　不外，年夜數(shù)據(jù)誤用帶來的威逼，不會僅僅由于我們不再用畏敬的口氣來講誰人詞而消逝。看看Gartner 2017年技巧成熟度曲線的巔峰，你會看到像機械進修和深度進修如許的詞，和代表這些盤算技巧的實際運用的無人駕駛汽車、虛擬助手等相干的詞。這些是基于與年夜數(shù)據(jù)一樣的基本的新“棚架層”，它們?nèi)家栏接谀暌箶?shù)據(jù)。它們曾經(jīng)走在通向真實的沖破的途徑上——但可以確定的是，它們也會招致嚴重的毛病。