2013年1月，維(wei)克托(tuo)的《大數(shu)據時代》出版，由于正逢互聯網(wang)思(si)維(wei)、大數(shu)據、云(yun)計算、移(yi)動(dong)互聯網(wang)等新概念的風(feng)起(qi)云(yun)涌，這(zhe)件(jian)遠涉重(zhong)洋來(lai)到中國的舶來(lai)品，一時引得洛陽(yang)紙(zhi)貴。
從維克(ke)托(tuo)界(jie)定(ding)的(de)大(da)數(shu)據(ju)(ju)使用的(de)三(san)個原(yuan)則來(lai)看（要整(zheng)體(ti)不要抽(chou)樣；要效(xiao)率(lv)不要**；要相關不要因果），大(da)數(shu)據(ju)(ju)的(de)界(jie)定(ding)似乎正是針對小數(shu)據(ju)(ju)使用缺(que)陷來(lai)界(jie)定(ding)的(de)，而這些所謂的(de)缺(que)陷正是我(wo)們線下(xia)傳統數(shu)據(ju)(ju)收集(ji)和處理的(de)基(ji)本原(yuan)則。
在大數據大行其道(dao)之時，我們積累了幾十年、上百年的(de)小數據處理方法(fa)是否就意味著過(guo)時了呢？
要(yao)回答這(zhe)個(ge)問題，我們還是要(yao)先從小(xiao)數(shu)據的定(ding)義(yi)入手。
目前網(wang)絡和(he)行業都缺(que)乏對小(xiao)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)的(de)(de)標(biao)準定(ding)義，在美國(guo)、乃至(zhi)臺灣(wan)有(you)一種關(guan)于小(xiao)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)的(de)(de)定(ding)義，認為(wei)(wei)相對于服務(wu)趨勢和(he)戰略的(de)(de)大數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)而(er)(er)言，那些服務(wu)于個體而(er)(er)形成(cheng)的(de)(de)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)指標(biao)，應(ying)該稱之為(wei)(wei)小(xiao)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)。舉例來說，谷歌根據(ju)(ju)(ju)(ju)(ju)人(ren)們在搜索引擎使用的(de)(de)關(guan)鍵詞的(de)(de)相關(guan)性，判斷H1N1流感(gan)趨勢，為(wei)(wei)衛生(sheng)防(fang)疫部(bu)門(men)提供預防(fang)決策屬(shu)于大數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)的(de)(de)典(dian)型(xing)應(ying)用；而(er)(er)耐(nai)克和(he)蘋果合作(zuo)開發的(de)(de)“Nike+”軟件，為(wei)(wei)個人(ren)的(de)(de)健康和(he)鍛(duan)煉提供的(de)(de)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)指標(biao)和(he)參考，就(jiu)屬(shu)于小(xiao)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)(ju)的(de)(de)典(dian)型(xing)范疇(chou)。
我(wo)想說的(de)是(shi)，如果從(cong)維(wei)克托的(de)大(da)數(shu)(shu)(shu)據(ju)(ju)使用(yong)的(de)三個原則和(he)標(biao)準，我(wo)們可(ke)以(yi)清楚的(de)看到(dao)，他所意指的(de)小數(shu)(shu)(shu)據(ju)(ju)更多的(de)是(shi)我(wo)們沿用(yong)傳統方法收(shou)集和(he)整理的(de)數(shu)(shu)(shu)據(ju)(ju)。而這(zhe)本書的(de)序作者之一的(de)謝(xie)文(wen)也明(ming)(ming)確表示，在互聯網技術席(xi)卷(juan)的(de)今天，整個世界會明(ming)(ming)顯(xian)地劃分為大(da)數(shu)(shu)(shu)據(ju)(ju)時代(dai)(dai)、小數(shu)(shu)(shu)據(ju)(ju)時代(dai)(dai)、無數(shu)(shu)(shu)據(ju)(ju)時代(dai)(dai)，小數(shu)(shu)(shu)據(ju)(ju)的(de)時代(dai)(dai)指向(xiang)更加明(ming)(ming)顯(xian)。
所以，我們定義(yi)的小數(shu)據(ju)，應該是在(zai)信(xin)息和(he)數(shu)據(ju)不完整(zheng)的情(qing)況下，通過科(ke)學抽樣和(he)技(ji)術調整(zheng)，為個體(ti)或某類具體(ti)問題提供數(shu)據(ju)參考的數(shu)據(ju)包。
弄清楚(chu)了(le)小數(shu)據(ju)的定義，我們來看看小數(shu)據(ju)相對于大數(shu)據(ju)，是不是真的已經out了(le)？
一、整體數據是(shi)不是(shi)一定優(you)于抽樣(yang)數據？
互聯網技(ji)術的(de)發展，為收集(ji)整體數(shu)(shu)(shu)(shu)(shu)據(ju)而產(chan)生的(de)成(cheng)(cheng)本下降(jiang)直至(zhi)忽略不計(ji)提供了可(ke)能，而傳(chuan)統數(shu)(shu)(shu)(shu)(shu)據(ju)的(de)收集(ji)方(fang)法是(shi)在平(ping)衡成(cheng)(cheng)本和*之下，選擇規范的(de)抽樣方(fang)法，兩者在數(shu)(shu)(shu)(shu)(shu)量(liang)級的(de)比較上就不在一個體量(liang)級。從統計(ji)的(de)*度(du)上來說，數(shu)(shu)(shu)(shu)(shu)據(ju)越大(da)(da)，*度(du)越高，結(jie)果也會更加逼近于真(zhen)相。當年傳(chuan)統的(de)數(shu)(shu)(shu)(shu)(shu)據(ju)處理，正是(shi)受制(zhi)于數(shu)(shu)(shu)(shu)(shu)據(ju)越多成(cheng)(cheng)本越大(da)(da)，或者某些現實條(tiao)件，無法窮盡數(shu)(shu)(shu)(shu)(shu)據(ju)，才不得已采取了抽樣分析的(de)折(zhe)中辦法。從數(shu)(shu)(shu)(shu)(shu)量(liang)的(de)角(jiao)度(du)講，大(da)(da)數(shu)(shu)(shu)(shu)(shu)據(ju)確實要(yao)優于小數(shu)(shu)(shu)(shu)(shu)據(ju)。
但是(shi)(shi)，小(xiao)(xiao)(xiao)數(shu)據(ju)(ju)分析(xi)方(fang)法，比如樣(yang)本(ben)(ben)方(fang)差，盡可能用(yong)各(ge)(ge)類參數(shu)將樣(yang)本(ben)(ben)與(yu)整體(ti)之(zhi)間的(de)差異縮小(xiao)(xiao)(xiao)，讓結果無(wu)(wu)限逼近真實(shi)，在趨勢和策(ce)略判(pan)斷(duan)上，抽樣(yang)判(pan)斷(duan)和整體(ti)判(pan)斷(duan)，其實(shi)很(hen)多(duo)時候都是(shi)(shi)五十(shi)步和一百步的(de)區別(bie)；另一方(fang)面，小(xiao)(xiao)(xiao)數(shu)據(ju)(ju)時代積累的(de)各(ge)(ge)類數(shu)據(ju)(ju)處理方(fang)法，也仍然是(shi)(shi)大(da)數(shu)據(ju)(ju)時代數(shu)據(ju)(ju)處理的(de)基礎和原則，拋棄小(xiao)(xiao)(xiao)數(shu)據(ju)(ju)來談(tan)大(da)數(shu)據(ju)(ju)，大(da)數(shu)據(ju)(ju)也將是(shi)(shi)無(wu)(wu)源(yuan)之(zhi)水、無(wu)(wu)本(ben)(ben)之(zhi)木。
二、小數(shu)據處理數(shu)據的原則是效率優(you)先、*為輔。
大數據使用的第二個原則追求效率而不是**，需要重點提到的是，小數據處理體系的存在，正是建立在追求效率而不是**之上。小數據營銷From EMKT.com.cn一般(ban)是針(zhen)對(dui)某類(lei)具體問題，在特定的時間(jian)段(duan)里，需要開展數據(ju)的收集(ji)、整(zheng)(zheng)(zheng)理和分析(xi)，并(bing)得出結論(lun)以做行動參考(kao)。小(xiao)數據(ju)營(ying)銷(xiao)更(geng)符合實(shi)(shi)戰營(ying)銷(xiao)中，不可能在信(xin)(xin)(xin)息(xi)完整(zheng)(zheng)(zheng)情(qing)(qing)況下再進行判斷的現實(shi)(shi)。今天乃至以后很長(chang)一段(duan)時間(jian)的營(ying)銷(xiao)現實(shi)(shi)是：我們必須(xu)在競爭對(dui)手信(xin)(xin)(xin)息(xi)不完整(zheng)(zheng)(zheng)、消費者信(xin)(xin)(xin)息(xi)不完整(zheng)(zheng)(zheng)、市場信(xin)(xin)(xin)息(xi)不完整(zheng)(zheng)(zheng)等(deng)(deng)諸(zhu)(zhu)多現實(shi)(shi)情(qing)(qing)況下，在指定的時間(jian)前，做出判斷和決策，并(bing)付諸(zhu)(zhu)于行動。時機就(jiu)是戰機，等(deng)(deng)到所(suo)(suo)有信(xin)(xin)(xin)息(xi)都完整(zheng)(zheng)(zheng)了(le)，黃(huang)花菜也涼了(le)。所(suo)(suo)以，小(xiao)數據(ju)才會(hui)有用抽樣代替整(zheng)(zheng)(zheng)體的選(xuan)擇。
另一個現(xian)實(shi)情況是，在現(xian)階段甚至很長的(de)(de)(de)一段時間(jian)里(li)，靠互聯網(wang)(wang)自動采集(ji)所(suo)有(you)數(shu)(shu)據(ju)(ju)(ju)還不現(xian)實(shi)，技術的(de)(de)(de)發展和(he)普(pu)及需要(yao)時間(jian)，很多數(shu)(shu)據(ju)(ju)(ju)還無法(fa)實(shi)現(xian)網(wang)(wang)絡化，比如因為現(xian)實(shi)的(de)(de)(de)財務、稅務問題，采集(ji)經銷商(shang)的(de)(de)(de)數(shu)(shu)據(ju)(ju)(ju)就(jiu)一直(zhi)是個難點(dian)，ERP喊了(le)多少年，進銷存喊了(le)多少年，在上了(le)系統的(de)(de)(de)企業(ye)里(li)面，經銷商(shang)的(de)(de)(de)相關數(shu)(shu)據(ju)(ju)(ju)有(you)多少水(shui)分，每個企業(ye)都心知肚明。
三、小數據(ju)具體問題的個(ge)性化處理，更偏重于因果關系而不(bu)是相關關系。
維克托提到大(da)數據的(de)第三個原(yuan)則，就是(shi)大(da)數據更注重相關(guan)關(guan)系而不是(shi)因(yin)果(guo)關(guan)系，即兩組數據的(de)相關(guan)性(xing)是(shi)數據處(chu)理的(de)第一要務，至于為什么相關(guan)，這個問題交給計(ji)算(suan)機自己處(chu)理。相關(guan)性(xing)和(he)因(yin)果(guo)性(xing)，孰輕孰重，《大(da)數據時(shi)代》的(de)譯者(zhe)周濤也曾表達了不同觀點。我們常說某人讀(du)書不求甚(shen)解(jie)，通常是(shi)指其知(zhi)其然，而不知(zhi)其所以然。今天大(da)數據將“所以然”的(de)東西交給計(ji)算(suan)機，使用者(zhe)只對“然”負責，我和(he)朋友調侃(kan)說，這也許是(shi)機器統治人類的(de)第一步(bu)。
在(zai)高度繁榮的(de)(de)(de)信息社會，你要確(que)保計(ji)算機“所以然”是(shi)可控的(de)(de)(de)，得(de)有(you)兩(liang)個(ge)(ge)前提：一(yi)個(ge)(ge)是(shi)計(ji)算編程的(de)(de)(de)邏(luo)輯在(zai)開(kai)始設定(ding)時就是(shi)正確(que)的(de)(de)(de)；一(yi)個(ge)(ge)是(shi)機器進行海量(liang)數據(ju)處(chu)理時，自身不會因為“疲勞(lao)”等因素(su)造(zao)成計(ji)算錯(cuo)誤，而(er)這(zhe)正是(shi)大數據(ju)面臨的(de)(de)(de)問題(ti)。
小(xiao)數(shu)據由于是針對特定問題(ti)開展的(de)數(shu)據收集、處(chu)理和分析，人(ren)的(de)因素比較大(da)，大(da)數(shu)據的(de)短處(chu)正好成為了TA的(de)長(chang)處(chu)，在數(shu)據的(de)處(chu)理過程當中，目的(de)的(de)指(zhi)向性和人(ren)與數(shu)據的(de)互動會更加(jia)有效。
關(guan)(guan)于大數(shu)據相關(guan)(guan)性的(de)(de)(de)問題，我曾看(kan)到(dao)一個(ge)網上的(de)(de)(de)段子，問影響人壽命長(chang)短(duan)(duan)的(de)(de)(de)因素有(you)哪些，有(you)人通過相關(guan)(guan)分析得出，一個(ge)人慶祝生日(ri)(ri)的(de)(de)(de)次(ci)數(shu)與壽命的(de)(de)(de)長(chang)短(duan)(duan)成正比，換句(ju)話說，一個(ge)人要長(chang)壽就要多慶祝生日(ri)(ri)。稍有(you)常(chang)識(shi)的(de)(de)(de)人，都知道這是一個(ge)逗比的(de)(de)(de)笑話，但是當(dang)計算機給(gei)出其他的(de)(de)(de)錯誤相關(guan)(guan)結(jie)果(guo)時，我們有(you)多少人能夠用常(chang)識(shi)判斷出，這是否是又(you)一個(ge)逗比的(de)(de)(de)結(jie)果(guo)？
用小數據(ju)抵制甚(shen)至漠視大數據(ju)時代的(de)到來(lai)，是(shi)逆潮流而(er)動(dong)的(de)掩耳盜鈴(ling)；但用大數據(ju)時代來(lai)否認小數據(ju)的(de)價值，是(shi)將大數據(ju)的(de)歷(li)史和未來(lai)進行割裂，依然停留在偽數據(ju)時代。
轉載：//bamboo-vinegar.cn/zixun_detail/4954.html
