寫在前面的話
首先，很高興能在“行之道”創刊的時候，受南京城交院的邀請成為第一批撰稿人，也很樂意通過這個平臺和大家交流關于交通，關于交通行業，關于交通事業的點點滴滴和心得體會。我深知我資歷和見識都尚淺，更多是抱著一顆交流學習的心態向大家討教。
大數據現在已然不再是一個新鮮的詞匯，從金融到醫療，從城市管理到治污減排，大數據多帶來的巨大影響已經越來越深刻的影響著我們的社會形態甚至思想意識形態。
2010年，美國總統科學技術顧問委員會在《規劃數字化的未來》中建議：“聯邦政府的每一個機構和部門，都需要制定一個應對‘大數據’的戰略”，這標志著大數據進入政府管理的時代已經正式到來。
2012年，奧巴馬政府頒布了《大數據的研究和發展計劃》，通過提高從大型復雜的數字數據集中提取知識和觀點的能力，進而加快美國在科學與工程中的步伐，加強國家安全，并改變教學研究。這是一個數額高達2億美元的投資計劃，涉及多個聯邦部門和機構，包括白宮科學技術政策辦公室、美國國家自然基金會、美國國立衛生研究院、美國國防部、美國能源部、美國衛生與公眾服務部、美國地質調查局等機構。這個投資項目的主要目的是提高大數據核心技術的發展水平，加速科學和工程開發，加強國家安全，轉換大數據教育和學習方式，擴展開發和使用大數據技術的工作力量。
在中國，雖然我們尚沒有見到國家層面的關于大數據的一攬子實在的項目和計劃，但是衣食住行中的“行”，交通，已然熱烈甚至是激烈的投入到了大數據的浪潮中，從去年上海將首次開放十大領域、總容量達上千GB的交通大數據，包括城市道路交通指數、地鐵運行數據、一卡通乘客刷卡數據、浦東公交車實時數據、強生出租車行車數據、空氣質量狀況、氣象數據、道路事故數據等，面向全球征集改善城市交通、便利市民出行、創新商業模式的應用程序和解決方案。再到越來越多的高校以及傳統交通規劃、工程設計單位開始嘗試設立專門應對大數據的專業機構和部門，這一切無不熱火朝天的為交通人描繪了一幅美好的藍圖，但是在我們展開這幅美好畫卷的時候問問自己以下個問題，我們了解么？我們有把握應對么？
大數據，數據不是越大越好
要了解任何事情，你需要跟蹤它。這是因為你知道你在做什么，不管我們在討論利用公交IC卡追蹤出行，還是研究共享經濟UBER或者滴滴的出行形態，了解，是能做的更好的第一步。但是，很不幸，簡單的跟蹤數據不會讓你走的更遠，而要讓數據變的有價值，我們必須從中挖掘我們所需要的信息。
我現在看到業內大量的單位，大量的從業人員比拼的是數據容量，數據種類，這是誤區，我們要知道收集數據是很容易的，但是當你面臨更大量的數據來臨的時候，也同時以為著你花費在切除數據噪聲和甄別數據質量上的精力遠大于你投入到收集數據上的精力，因為除噪和降維才是挑戰。這也是為什么，很多時候我看到交通數據并沒有讓我們的事業更蓬勃或者提高我們的生產力，相反的時候，很多情況下，數據實際上只是創造了更多清理工作。我們永遠要知道數據的時效性有多重要，尤其是在我們面臨著發展如此迅猛的中國城市交通系統，日新月異的交通行為讓這些數據很快就變成了硬盤垃圾，問問自己，那些磁盤矩陣中夸張的代表數據體量的數字中，我們真正挖掘和應用了有多少？有10%么？所以更多的時候，數據不是越大越好，交通數據人要有一雙甄別和結合自己實際需求的眼睛。
分布式數據庫時代下的危機
不得不承認，無論是Hadoop還是Spark, 分布式數據出庫出現讓我們有了應對交通大數據的利器，也正是這些分布式數據庫讓我們有了應對無序數據或者無結構數據或者說實現多源數據融合的可能。相較于傳統SQL形態結構化查詢語言數據庫，新型的分布式數據庫似乎更能應對當前無結構數據類型的沖擊和挑戰，但是，相較已經發展的相當成熟的SQL數據庫形態，分布式數據庫的路，尤其是應用在企業或者成熟形態數據挖掘中的路依然是很充滿了挑戰和危險的：
選擇，其實架構分布式數據庫對傳統交通背景的從業人員來說并不是輕松的事情，想想讓一些從本科就開始面對道路，軌道，公交這些實體模式的人需要重新去適應Linux，和那么多看不見的各類通信協議打交道，這著實不是一件容易的事情，可是我們還是得選擇，目前主流的分布式數據主要有Hadoop和Spark兩家主導，盡管Spark已經有足夠強大的APIs可以兼容所有的Hadoop的數據格式和形式，但是對于基礎框架的選擇，我們依然要做好判斷，高度概括的說Spark有著卓越的內存數據處理能力，所以在Spark內還兼顧機器語言學習和圖像處理插件；而Hadoop就更為顯的是為大數據而生一些，已經衍生了包括Hive, Hbase等在內的的多項支撐項目和云服務功能；
如何適應企業或者單位的應用模式，實際上最初分布式計算的出現并不是為了應對企業級的應用，更多的是為了儲存開放和公共數據，例如Google一直是Hadoop的忠實用戶，顯然現在各個城市，各個單位的大數據應用機構和部門都有自己的應用范圍和目的，也并不都是公共開放數據，所以如何設計自身適用的分布式系統尤其重要；
保護數據，傳統的數據庫保護模式并不能針對現在分布式計算的cluster 或者nodes的模式，事實上，也正是因為大量的節點計算機的加入，分布式系統才有了威力，可是不幸的是，無論是現有的備份，還是應急恢復，再到數據保護系統都沒有很好的針對分布式系統有任何突破，所以數據的保護和維護顯得至關重要；
預算，沒錯，該怎么去預估分布式系統的預算頗為挑戰，土豪單位自動忽略;
引智，聯眾
其實我一直的觀點是，術業有專攻，我們作為交通的從業單位，我們不應該也不需要去做專業IT人員的工作，我們做不好，也會有很多風險。交通人就應該做和交通有關的事情，即使是在大數據的環境下，我們要做的也更多是思考在交通中的應用。構建和管理數據系統需要專業的團隊，人員，作為職能管理機構很難具有較強的專業性和技術性團隊管理多數據源的大數據系統，在這種情況下，應該采用眾包的模式，通過引智，進入市場，控制需求的方式打造包括政府機構，高校科研機構，市場IT公司在內三方共同體，政府機構作為頂層管理者，在自身管理職能需求內，也充分聽取高校科研機構的應用建議，將需求建議傳遞給負責建庫的技術執行單位，在建庫過程中，要充分遵循以下幾點原則：1. 可持續，可拓展；即能適應現有數據體系的增量的同時，要具備容納將來會進庫的數據體系系統；2. 定向開發管理系統；即面向政府部門使用人員定向開發易于理解，容易上手的管理系統；3. 重安全，防后門；數據管理最重要的是安全可靠，防止網絡系統的后門侵入程序；4. 備份系統與垃圾清理系統并重；5. 合法化；在使用大數據時，政府必須解決相關的法律、安全和許可要求等問題。在搜集和使用大數據用于預測分析與保障公民隱私權之間，應該有一條清晰的界限。
我們該做什么，我們能做什么？
接下來最重要的就是前景，要找到一條適合的發展道路，大數據在交通業的發展不是共享經濟依靠燒錢運營手段所能持續的，大數據要落地，而且必須落地，才能讓大數據在交通行業可持續的發展，否則很快大數據和從事大數據的人就會落到尷尬的境地。
告訴大家一個殘酷的現實，3年前的美國TRB會議上有專門的手機數據研討的session, 但是到了今年，連像樣的文章都沒有幾篇了，這個話題凋謝了。交通行業是應用科學，落不了地的產品最終就是曇花一現。當然要做到產品落地，不僅要有眾多智力單位努力，政府也需要敞開自己的懷抱，來擁抱新的概念和新的理念，要做到挖掘，應用：在政府各個部門內充分挖掘數據的潛在意義，充分應用大數據于日常行政管理中，精細化管理手段
2014年年末，2015年新年，上海外灘廣場踩踏事件，深深的刺激著每一個城市管理者的神經，在事件之后，百度大數據研究中心的眾多研究者利用當時外灘即周邊的地鐵，道路系統的手機和熱點數據做了深入的分析，得出的結構是，如果政府能早點意識到大數據在城市危機管理中的應用，這次慘劇或許就可以被避免。而實時大數據的基本分析就可以預警群體集聚事件的潛在踩踏或者擁擠危險。
讓我們根據現在國內外關于交通大數據的研究，總結一下近期，或者短期內交通行業可以落地的大數據應用方向：
運用大數據進行城市危機管理：我國人口眾多，重大文體活動、節假日集會等活動中，容易出現因人群過度擁擠而引發的危險乃至事故。那么是否可以提前預測，做到事前預警呢？答案是肯定的，運用包括手機信令數據，地圖搜索數據等多源數據就可以提前幾十分鐘預測時間影響區域內的人流高峰和最密集區域，管理者們可以據此發出相應警示，做好應急預案，不至于事件發生時束手無策；
運用大數據指導城市交通基礎設施選址和建設時序規劃：大數據在交通設施選址中的應用將有助于我們將傳統的“規劃在哪兒”變成“往哪兒規劃”，變被動規劃為主動迎合市民出行需求的主動規劃，有助于提高交通設施的利用率，避免規劃決策失敗；同樣在編制基礎設施修建時序時，也可以充分借助城市居民出行產生的大量數據，分析需求，找出交通系統的薄弱環節，做到有的放矢，蓄力而為；
運用大數據精細化城市規劃編制手段：城市的無序擴張和人口的無序增長都對城市的可持續性帶來了負面的沖擊，包括能源的損耗，公共資源的過度利用等，越來越的大數據被應用于城市定界和人口蔓延的研究中，其產生的多項成果已經具備被政府利用的基本條件，包括定制城市邊界，人口分布方案測試，各類用地比例的確定，以及包括變電站，污水處理廠布局等專項規劃方案的應用，這些都將讓我們的規劃更準確，更規之以本，劃之為民；
運用大數據精細化交通管理措施手段，引導民眾出現，降低擁堵成本：充分利用交通大數據分析，向出民眾發布出行誘導信息，例如擁堵指數，擁堵路段，建議出行時間，建議繞行距離等，以均衡和引導交通量；
基于大數據和開源地圖數據的公共交通設計：傳統的公交設計都是基于需求未知和感官設計的，對需求的未知性往往使得既有公交系統的效率低下，但是在大數據的幫助下，優化公交設計將會有機會使得現有公交體系更為親民和便民；
當然以上都是非常提綱挈領的例舉了部分內容，讓我們根據發展區域也列舉幾個在未來中期內的大數據交通應用暢想：
人工智能語言在交通安全大數據中的模式識別應用：出行時間可以預測，擁堵可以預測，近期滬蓉高速的連環相撞再一次把交通安全的預警提上了一個高度，那么對全路網，多數據源的模式識別事故預警判斷，將是人工智能在交通安全，尤其是分類模型在事故預警中應用的重要應用內容，而人工智能語言對數據體量的快速反應，對相關關系的迅速判斷，和完整的驗證與矯正環節，使得事故預警，尤其是針對實時數據的快速處理預警變得有了可能；
車路協同技術對全路網出行狀態監控的應用：其實在美國交通部FHWA的一份比較新的報告里，已經明確了利用公眾車輛中部分已經較為成熟的車路協同技術實現對路網的運行狀態的監控和預判，成功實施后可大幅降低包括線圈，攝像頭，RFID等在內的既有道路狀態采集系統的投入，且樣本量和覆蓋率遠遠高于既有設備；
個體出行者在互聯網+狀態下的信息提供實現定制出行服務的應用：定制服務不是新的概念，定制公交，包括共享經濟都或多或少的占有定制的概念，可是這遠遠不夠，相信不久的將來，定制多模式聯乘，涵蓋海陸空的多維度定制服務都會在大眾中普及，而這樣的定制服務也將在海量數據的幫助下，實現全方面和全方式的模式識別和追蹤，并進一步實現全網絡的平衡服務，比如根據網絡內容量狀態，定制出行模式等；
總結的話
無論是大數據還是互聯網+都是概念化的產物，真正找到適合自身的發展出路，注重產品，找到一條生態平衡發展道路才是對交通行業的負責，對待任何的新事物，都不能操之過急，Google默默做了十幾年的無人駕駛之后，才逐步開始對外開放一些測試信息，而我們更是要有一顆理性和包容的心態對待大數據時代下的人，事和發展。
微信公眾號：MobilitySolution