2014年11月8日 星期六

Big Data海量資料

一般人可能對海量資料這樣的名詞無感,但其實現代人每天都生活在「資料之海」中。 1.海量資料有多巨大? 海量資料所指的資料,通常是可儲存的數位資料,由於超級龐大,儲存的單位從常見的MB、GB,進化到TB、PB等,早已超過一台桌上型電腦能處理的範圍。 海量資料開始備受關注,是全球知名諮詢公司麥肯錫於2011年,發布了《海量資料:創新、競爭和生產力的下一個新領域》報告,宣布「大數據時代」來臨。 美國總統歐巴馬的科學技術顧問,則指出了另一個重點:「過去3年裡全世界產生的資料量,比以往4萬年的總和還要多。」 由世界第一大儲存設備廠EMC贊助市調單位IDC所做的「數位宇宙研究」(Digital Universe)中發現,2009年地球上所有的資料總共0.8ZB,而地球上所有的沙加起來相當於1ZB。 但驚人的是,有研究報告預測,兩年之後,也就是2011年,全球創造與複製的資料量已經暴增到1.8ZB,所有的資料,得用575億部32GB的iPad才能裝完。 這也相當於全台灣所有的人連續36萬246年,每人每分鐘在噗浪發表3篇文章。 這等於一個人每天24小時不停觀看現今世上超過2千億部的2小時HD電影,必須花上4700萬年才能看完。 2.海量資料從哪裡來? 海量資料的暴增,主要來自近年崛起的社群媒體如臉書、推特的po文與照片、影片分享,還有大量鋪設的感測器、監視器,加上GPS、醫療成像、智慧電網等等,「無處非資料」的結果,造成數位資料的爆炸性成長。 隨著大數據被越來越多的提及,有些人驚呼大數據時代已經到來了,2012年《紐約時報》的一篇專欄中寫到,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於資料和分析而作出,而並非基於經驗和直覺。但是並不是所有人都對big data感興趣,有些人甚至認為這是商學院或諮詢公司用來嘩眾取寵的buzzword,看起來很新穎,但只是把傳統重新包裝,之前在學術研究或者政策決策中也有海量資料的支撐,大數據並不是一件新興事物。 大數據時代的來臨帶來了無數的機遇,但是與此同時個人或機構的隱私權也極有可能受到衝擊,大數據包含了各種個人資訊資料,現有的隱私保護法律或政策無力解決這些新出現的問題。有人提出,大數據時代,個人是否擁有「被遺忘權」,被遺忘權即是否有權利要求資料商不保留自己的某些資訊,大數據時代資訊為某些網際網路巨頭所控制,但是資料商收集任何資料未必都獲得用戶的許可,其對資料的控制權不具有合法性。2014年5月13日歐盟法院就「被遺忘權」(right to be forgotten)一案作出裁定,判決谷歌應根據用戶請求刪除不充足的,無關緊要的,不相關的資料,以保證資料不出現在搜尋結果中。這說明在大數據時代,加強對用戶個人權利的尊重才是時勢所趨的潮流。