遙感大數據十問十答

2016-10-14 來源:千人雜志

提要:我們應結合國家未來戰略規劃,做好遙感大數據與行業應用交叉融合創新,共同探索新商業化模式、新產業鏈格局,并結合“一帶一路”等走出國門相關政策,拓寬商業衛星的產業市場,促進地球時空大數據時代和“太空經濟”的來臨

——專訪清華大學遙感大數據中心主任 洪陽教授

文/洪陽 編輯/本刊記者饒粲

近年來,我國大數據產業快速發展,據貴陽大數據交易所發布的《2016年中國大數據交易產業白皮書》數據顯示,2014年,中國大數據產業規模大約為1038億元,2015年產業整體規模達到1692億元。當前,隨著數據技術的快速發展,大數據觀念和應用已不再只限于政府、金融、通信等領域。其中,自1957年第一顆人造衛星發射以來,人類對地球和人居環境的綜合觀測能力達到空前水平,尤其最近10年,地球觀測與導航技術向全球尺度、定量分析、動態信息觀測發展。美國已構建了最先進的陸地、海洋、大氣對地觀測系統EOS和最為完備的GPS導航定位系統,亞米級的高分衛星實現全面商業化,分米級的軍事監測衛星和厘米級的全球精準定位已實現全天候服務。目前美歐日等國已基本實現全方位全天候遙感衛星觀測。我國也在大力提升對地觀測能力,包括風云氣象衛星系列、資源衛星系列、海洋衛星、環境衛星等;更引人注目的是中國啟動了“高分辨率對地觀測系統”、“北斗衛星導航系統”兩個重大專項。到2020年,中國將完全可能成為國際上衛星最多的國家。與航天科技、傳感器技術等相結合的地球遙感數據已呈現出明顯的大數據特征,其價值也受到越來越高的重視。全球遙感大數據資源,正在和即將為科研及行業應用提供充足的數據支撐。如何充分使用這些高附加值的數據資源,實現從“數據”到“價值”的轉化,切實關系到國家科技創新及行業應用的跨越式發展。

本期大數據專刊,我們邀請清華大學遙感大數據中心主任洪陽教授接受本刊專訪,請他給我們介紹遙感大數據中心的建設情況,并深入探討遙感大數據及其相關應用的發展現狀和前景。洪陽教授提出:“我們應結合國家未來戰略規劃,做好遙感大數據與行業應用交叉融合創新,共同探索新商業化模式、新產業鏈格局,并結合“一帶一路”等走出國門相關政策,拓寬商業衛星的產業市場,促進地球時空大數據時代和“太空經濟”的來臨。”

1、清華大學遙感大數據研究中心成立的緣起和過程是怎樣的?其主要使命是什么?

隨著航空航天科技、傳感器和信息技術等高速發展,對地觀測遙感呈現出典型的四維時空大數據特征。“遙感大數據”是順應大數據時代發展的一個必然,是在大數據的理論指導及技術支撐下的遙感科學的實踐(Utilization),是大數據在遙感相關領域的價值實現(Value)。而國際上針對遙感大數據的研究仍處于起步階段,缺乏針對遙感大數據的科研創新及產學研創業研究,這對我國而言是很好的機會。清華大學遙感大數據研究中心,由清華大學數據科學研究院、土木水利學院、水沙科學與水利水電工程國家重點實驗室、清華大學3S中心等院系聯合發起,于2015年10月23日成立,該中心與清華大學土木水利學院、計算機系、電子系、建筑學院、交叉信息學院、軟件學院、經管學院、醫學院等組建成跨院系機構。該中心瞄準國內外重大對地觀測計劃,全方位促進學科交叉發展,發展以四維遙感數據鏈和物聯網為基礎的產學研用,服務現代水文水利、海洋、國土、農業、氣象、城市、環境、交通、防災減災、規劃等,從科學研究、學科建設、人才培養、產學研協同創新等,提升國內國際影響力。

遙感大數據領域與遙感機理、圖像處理、信號分析、計算機等多類學科存在緊密聯系與學科交叉,是應用性極強的一類科學技術。遙感大數據研究中心以應用需求為導向,交叉創新建設項目包括:高分數據產品、北斗數據產品、全球水循環產品、全球陸地陸表產品、無人機遙感產品、全球海洋產品。已搭建的平臺包括:海洋大數據平臺、水利大數據平臺、農業遙感大數據平臺、水文氣象地質災害大數據、GNSS-R、智慧城市、太空經濟、醫療金融大數據。目前,遙感大數據領域在國內外都處于高速發展初期,正在形成“科研攻關—技術集成—應用推廣”的良性產學研協同創新模式。

2、遙感數據在經濟中目前已有的典型應用包括哪些?基于遙感大數據的經濟分析與研究未來發展前景如何?

2016年六月《Science》期刊首次刊出用衛星遙感信息來評估少地面資料的非洲各國經濟發展程度。因為在傳統的經濟研究中,一般采用調查統計方法獲取數據,成本高、耗時長、不全面。衛星遙感被稱為“Hard Evidence”,能對全球進行實時監測,時間空間分辨率以及光譜分辨率越來越高,能夠很好地克服傳統經濟數據的缺陷,使其非常適用于經濟相關地物的大范圍識別與提取。

遙感大數據在經濟分析中已逐漸開展的應用包括:(1)基于高分辨率遙感數據分析土地利用覆蓋變化,如建筑物、植被、水體等的時空變化;(2)基于夜光遙感數據分析GDP、人口密度、水電量消耗和全球貧困區專題圖;(3)基于高光譜遙感數據對農作物長勢進行監測和產量評估。此外,遙感大數據中心的最新應用還包括:(1)鬼城指數,即通過高分影像、夜間燈光等多源遙感數據來分析城市入住率,反映建筑資源利用情況及其變化;(2)“一帶一路”經濟發展指標,即通過Landsat、MODIS、夜間燈光以及高分辨率影像等多源遙感數據來計算農業、工業及服務業的發展指數,能夠表征經濟在廣泛的時空維度上的發展水平,以反映我國經濟政策在國際上的影響力與帶動作用。

當前遙感大數據在經濟中的應用剛起步,未來結合深度學習的人工智能方法,能夠進行實時、可靠的經濟發展分析,為國際經濟政策的制定提供有力的支持,并將在投資金融領域的行業應用中起到無可替代的作用。

3、硬件和數據庫處理技術是大數據的基礎,與國外相比,我國技術的積累及產業應用水準如何?優勢與劣勢表現在哪些方面?

目前很多開源的大數據處理軟件給新型產業應用提供高效而低成本的開發研究。在大數據的存儲硬件方面,出于成本的考慮,人們不再一味追逐單一硬件性能的提高,通過普通計算機集群的方式構建分布式系統,同樣可以支撐大規模數據的存儲與管理。因此,在大數據硬件基礎上國內外差異表現得不明顯,著重來談一下數據庫等基礎軟件技術。

國外在數據庫處理技術方面一直處于領先的地位。過去30年里,傳統關系型數據庫占主導地位,全球數據庫市場被相關巨頭壟斷,包括Oracle、Microsoft、IBM,這些公司的關系型數據庫能夠有效處理結構化數據。近幾年在大數據時代的背景之下,半結構化和非結構化數據急速增長,傳統數據庫技術在處理這些數據上遇到了瓶頸,一些新興數據庫技術隨之涌現,其中起源最早的是Google用于處理非結構化數據的k-v型數據庫Big Table, 新型科技企業大力推廣開源的軟件,這些軟件可以讓高校、企業等可以快速的產業化。在非結構化數據存儲處理方面,比較著名的有Cassandra這樣的NoSQL。除了數據庫,一些分布式系統架構,如著名的Hadoop和Spark,也有效應對了大數據環境下大規模異構數據處理、分析的壓力。反觀國內,本土數據庫發展起步晚,技術積累不足,既面臨行業寡頭的壟斷,又受到國外大批創新開源軟件的沖擊,產業應用水平自然很低。但在大數據時代下,國產數據庫的發展引來了歷史性的機遇。目前,大數據已經上升到國家戰略的層面,國家部門、政府機關、企業單位、高校研究院等各方在對大數據核心技術的迫切需求下,正積極協作制定戰略計劃,共同營造良好的大數據生態環境。本土數據庫技術的發展應抓住這樣的契機,攻堅克難,有所作為。目前,清華大學遙感大數據研究中心在將NoSQL和Spark相結合建設空天地海遙感多源大數據平臺,這些新的嘗試將來可能會成為商業領域重要的產品研發基礎平臺。

4、您提出的水利大數據的定義是什么,它有什么核心和外延?水利大數據的重點研究領域及未來發展方向是什么?

我國水資源分布存在著嚴重的時空分布不均特性,旱澇災害易發多發。作為農業和水電大國,水利工程在中國歷史、經濟、生態、社會等方面都扮演著重要角色,未來10年水利投入高達4萬億。水利大數據是在大數據的理論指導及技術支撐下的水利科學和工程的重要實踐,是指產生于各種水利設施、水文監測網絡、用水單位和水利相關的經濟活動,并通過現代信息技術快速傳輸并分布存儲于各子流域系統、但又可以快速讀取集中于云端、實現深度數據挖掘并可視化的海量多源數據的總和。水利大數據存在以下特性:1)交叉性,由于水利和其它領域具有交叉性,因此水利大數據和遙感大數據、氣象大數據、海洋大數據等交叉;2)高度時空分布性,需要依賴先進大數據技術進行處理分析,包括分布式大數據存儲框架、機器學習等數據挖掘方法;3)多元循環性,由水的多元循環決定的水利大數據在自然生態、經濟、社會等領域的價值循環,需要全面深入挖掘它們之間的相關性價值。

由于水利大數據存在多樣性、真實性、海量、快速獲取并具有多元價值等特征,水利大數據在水文氣象地質以及洪澇災害預測、水利設施安全監測、農作物估產、水資源調度等方面具有巨大的應用價值。我們團隊潛心在這些方面進行了多年研究,部份科研成果正在市場化推進。我覺得水利大數據在未來的發展方向主要有以下幾個方面:第一是在水利大數據的多元多維度信息化程度還有待加強;第二是分布于各部門之間的水利大數據的源數據共享及協作還有待提高;第三關于非結構化的水利大數據的處理能力有待加強;第四因為水利大數據的海量特性,需要進一步結合先進的數據挖掘方法以及人工智能技術研究,這也是當前研究的熱點;第五是水利大數據關系國計民生,在推進水利大數據與相關行業以及環境生態社會領域的交叉研究和應用方面還有很多工作要做。總體來講,水利大數據是一個金礦,需要包括我們團隊在內的相關科研機構、業務部門和市場應用的交叉協作才能真正發揮其應有的社會經濟價值。

5、海洋大數據的內涵、數據類型及潛在產業應用?海洋大數據平臺建設的關鍵技術和挑戰?

信息技術的快速發展,帶動約占地表總面積70%的海洋資料快速積累,進入海洋大數據時代。海洋大數據即是在當前時代背景下,大數據技術在海洋領域的科學實踐,具有大體量(Volume)、多樣性(Variety)、快速流轉(Velocity)和價值挖掘(Value)的“4V”特征,是在大數據的理論指導和技術支撐下的海洋價值實現,也是實施海洋強國戰略、開發海洋資源、拉動海洋經濟、維護國家海洋權益的重要基礎。依數據類型海洋大數據分為兩大類:海洋自然科學類大數據和海洋社會經濟類大數據。前者包括海洋實測數據、海洋遙感數據、海洋模式數據和海洋再分析產品數據;而海洋社會經濟數據包括海洋經濟產業數據、海洋政治輿情數據以及海洋社會文化數據。未來,藍色海洋經濟將作為中國陸地經濟的延伸和重要補充,目前海洋大數據搜集和管理更多偏重于海洋自然科學類數據,海洋社會經濟輿情類數據的整合尚未引起足夠重視;兩類數據的嚴重分散,使得目前的海洋決策體系呈現出較為明顯的跛腳狀態,在海洋強國戰略實施和國際關系實踐領域中屢遭尷尬。

如何利用大數據相關技術,結合海洋應用特點,對海量、多源、異構的海洋觀測和模擬數據進行快速、及時地分析和處理,開發和挖掘海洋大數據的應用服務,是海洋大數據平臺建設的核心問題。這些應用服務包括海洋信息咨詢、海洋目標監測、海洋資源開發、漁場漁情預報、海洋維權指揮、海洋防災減災,海洋航運保障、海洋生態環境保護等。

清華大學海洋大數據平臺依托清華遙感大數據研究中心、清華大學海洋技術中心、清華海峽研究院、以及清華國觀智庫公司,與相關單位在技術研發、軟硬件設備和人才交流進行合作,對包含海洋自然科學類和海洋社會經濟類各類數據庫進行整合,構建海洋自然科學、社會經濟數據庫網絡、海洋政策輿情,建設海洋大數據共享與綜合應用服務平臺。該平臺建設主要包括五個層面:數據獲取平臺、數據存儲與計算平臺、數據分析與應用平臺、海洋信息可視化平臺、海洋決策與發布平臺。人類歷史和國際關系的發展,已經證明海洋在國家發展中的重要性,未來海洋事業的發展會貫穿多個決策系統、影響多個戰略環境、連接多個產業系統,它對中國政治、經濟、文化、社會的影響必將是全方位、深層次的。發展海洋大數據可以為建設海洋強國提供重要支撐,海洋大數據以及相應的海洋大數據平臺建設也將對中國產生廣泛而深遠的影響。

6、農業遙感大數據平臺解決什么問題?主要優勢是什么?

我國糧食安全形勢依然嚴峻。影響因素復雜多變。基于遙感的大尺度作物生長環境、生長狀況的動態監測顯得尤為必要。通過遙感,我們可以從提取農業遙感要素,全方位分析作物生長狀況。

農業與遙感、水文、氣象密切相關,是遙感大數據研究中心成立之后的重點研發領域。農業遙感大數據平臺基于多源數據,通過數據數據分析和模型預測,可以將農業及其相關產業鏈聯動起來并結果可視化。清華農業遙感數據中心的核心優勢包括多源數據庫和模型算法。中心已收集整理了幾十年的全球降水、水庫灌溉、葉面積指數、地表溫度、土壤濕度、作物高度、生物量、地表覆蓋類型、作物覆蓋度、葉綠素含量、作物健康狀況、水文氣象資料等。同時研發了作物生長、遙感農業估產模型和旱澇災害風險動態算法等。農業遙感大數據的應用有非常廣泛的現實意義,我們稱之為“農業遙感大數據+”,即把農業遙感大數據與行業需求相結合,解決實際應用中的問題。例如:“農業遙感大數據+政府服務”,我們通過農業遙感大數據平臺提取糧食產量、長勢的預測、氣象災害預警相關的數據,輸出個性化可視化報告,以此為政府的政策制定提供決策依據,優化公共資源配置;“農業遙感大數據+企業服務”,基于農業遙感大數據平臺,我們可以為第一產業相關的企業提供種植區域內的土壤濕度、作物覆蓋度等數據報告,以此幫助企業制定及優化市場及銷售策略;“農業遙感大數據+金融服務”也是我們在推進的一個方向,即充分利用農業遙感大數據平臺的優勢,在農業保險、農產品期貨交易等方面為相關金融機構提供服務。

7、今年我國極端天氣頻繁,在全國引發了罕見的洪澇災害,請問遙感大數據對預測洪澇災害有哪些幫助和作用?面臨的挑戰以及你們開展的工作有哪些?

關于遙感大數據在水文氣象地質災害預測預報中的作用,我認為這主要解決了大范圍全天候的觀測數據源問題。我國歷來十分重視災害預報工作,但傳統的水文、氣象預報服務工作所依據的原始信息,不論是信息深度、廣度,還是準確性、時效性方面均有一定的制約,這是硬傷。近年來計算機、網絡通訊、衛星遙感等高新技術快速發展,加之物聯網時代的到來,大數據、云計算為水文、氣象、地質災害的預測預報帶來了前所未有的機遇。因為只有高質量、高可靠性、更全面、更快速的輸入信息才有可能快速對相關自然災害進行更準確的預測預報。

基于遙感大數據的水文氣象地質災害預測預報也面臨新挑戰,具體體現在三個方面:一方面,水文氣象地質災害的預報對源數據的實時性要求相對較高,這對數據共享共建以及隨之而來的信息安全保障提出了更高要求;第二方面,對所需要的多源海量、多時相的非結構化數據、半結構化數據的存儲和處理提出了新的挑戰;第三方面,對基于海量數據的災害預測預報的機器學習、人工智能提出了新的挑戰。關于數據共享問題,我們呼吁相關部門盡快實現數據共享,國家相關政策也要逐漸放開。關于遙感大數據的應用,我們專門成立了校企聯合的“產學研用”科研成果轉換平臺,并在這一平臺下面專門成立了“水文氣象地質災害大數據項目組”專門負責將基于遙感大數據的相關科研成果在水文、氣象、地質災害預測預報領域的具體應用方面進行開發和推廣工作。其目的就是希望實驗室的科研成果能服務社會,發揮它應有的社會價值,讓我們中心的科研、平臺、數據模型優勢的溢出效應最大化。在具體市場化應用上,我們已與投資公司簽訂了合作,正在與美國硅谷從事機器學習與人工智能的專家們進一步完善災害預測預報的模型與算法,搭建基于阿里云的災害大數據平臺,基于核心模型對時空大數據進行整合,并開發前端應用,實現水文、氣象、地質災害的準確快速預警預報。

8、我國的北斗導航衛星及其他衛星在遙感大數據中起到什么作用?此外,構建未來的系統還需要做哪些努力?

國家投入巨資建立北斗衛星導航系統,無論是從經濟,政治,文化,國防,國家地位等等方面,都有著重要的戰略意義。國務院發布《中國北斗衛星導航系統》白皮書發布“中國的北斗,世界的北斗”的發展理念,北斗導航產業將成為“一帶一路”空間基礎設施建設的遙感先導軍。導航衛星應用分兩大部分:一是傳統的定位、導航、授時;二是利用導航衛星信號本身做遙感、監測應用。第二部分內容是對傳統導航產業鏈的新興拓展應用——GNSS-R。我們團隊一直在做這方面的科研攻關及產學研探索,從硬件、軟件的智能制造到細分行業應用,例如在建筑交通、海洋水利、環境氣象、農業生態等領域。我們現在有多種專利技術,例如北斗GPS雙模算法、土壤墑情算法、積雪深度算法、水體監測算法等等。如何實現軟件成果工程化、商業化,完成軟硬件結合、嵌入式開發等任務,深度挖掘用戶需求,實現技術成果轉化,是該項目的主要研發目標。

對于未來構建的GNSS-R大系統來說,仍有許多任務要做。首先,從技術層面,要實現GNSS-R樣機的軟硬件結合、嵌入式開發。在此基礎上,還要與我們的大數據平臺前端的細分行業整合。其次,GNSS-R該項目商業化有著獨特的優勢,它既能做小,也能做大。無論是政府企業還是個人,它都可為目標用戶提供精準的泛地理信息服務,創建解決方案。大的方面,可以在全國逐步鋪設站網,實現全國實時測量,數據聯網,挖掘數據價值。這樣,不僅可以在目前三維地理信息技術上站穩腳跟,還可以延伸到第四個維度--時間,通過海量的數據積累并基于大數據的4V特性(數據真實可靠性、快速的數據流轉、海量的數據規模、多樣的數據類型),挖掘對各行業追加價值的數據產品服務,促進政府企業部門的工作模式轉型,更加信息化、透明化,使個人生活出行更便利,加快社會更高效運行和加速度發展。

9、有效運用時空大數據有利于推動經濟發展、完善城市管理、提升政府監管和服務能力,請您介紹一下智慧城市時空大數據資源池的作用?

城市的建設運行管理都是在時間、空間交織的四維空間中進行的,遙感測繪地理信息是提供時空大數據最有效的手段。云計算將所有可以參與計算的、與時空位置相關的數據資源充分調動起來,形成一個動態的時空大數據資源池,包括按照統一時空基準序化的三維一體、室內外地上地下一體、動靜一體的結構化與非結構化數據,及其四維實景一體化管理系統。其中,通過傾斜攝影、街景技術等獲取的地理位置信息,是時空大數據集成共享的基礎,可為智慧城市、國土、規劃、經濟、測繪、災害應急、旅游、水利、農業、文物保護等多種行業提供四維一體化的數據支撐,通過GIS平臺軟件對其進行深度應用開發,可為各類行業用戶提供系統的、完整的解決方案與服務。

智慧城市時空大數據資源池即包含實景地理信息數據庫、人口庫、法人庫等空間信息,又能體現歷史性和實時動態性,同時,還能豐富地上、地表、地下和室內、室外要素,基于此,實現建立四維一體化的城市地理信息綜合管理應用平臺,展示城市形象及特色空間,綜合提升城市空間綜合分析能力,為精品規劃、科學管理及智慧城市建設提供有力的技術支持,有效促進城市管理的精細化,提高規劃管理水平和效率。

10、 在討論如火如荼的“太空經濟”時代,國際上商業航天格局是什么樣,而我國航天衛星應用產業發展進程如何,又面臨著什么樣的挑戰和機遇呢?

傳統的航天產業包括:衛星通信、衛星遙感、載人航天、衛星導航四大方面。而隨著航天產業的發展,以美國為首的商業航天創造的產品和技術正為人類在地球上的生活帶來諸多好處和便利,緊密關聯的衛星應用等產業規模也急劇擴大,逐步衍生出了“太空經濟”,其規模在50多年時間里增長了上千倍,是迄今為止增長最快的經濟形態之一(類似的有互聯網經濟、移動通信、生物工程等)。如今,太空經濟覆蓋了宇航產品的開發與建造,衛星應用,空間環境應用,空間科學,太空能源,太空資源利用,太空旅游,航天文化產業,支援與保障服務,太空垃圾清理等十大產業服務。尤其在美國,已經形成了一條完整的在衛星應用產業服務鏈,包括衛星通信、衛星導航、衛星遙感三大主要領域,包含相應的地面設備制造和運營服務等。衛星通信業在美歐等發達國家已實現了產業化、商業化和國際化。衛星導航業和衛星遙感業也已開始步入產業化軌道。據預測,隨著航天技術和信息科學技術的發展,衛星應用產業逐步產業化和商業化,并朝著個性化、多樣化方向發展,例如SpaceKnow公司創設了機遇多遙感影像的中國衛星制造業指數(SMI),試圖用這個指數來觀察中國制造業經濟發展狀況;Orbital Insight公司利用深度學習技術識別衛星影像中的汽車,通過汽車的密集程度評估經濟發展,以及停車場的汽車數據估計商場營業額等等。未來衛星產業與其他產業趨向融合,將保持較高的增長速度。

而在我國,“太空經濟”有了一定基礎。中國已經擁有了多顆通信衛星所組成的空間通信基礎設施,高分辨率對地觀測衛星系統,北斗衛星導航系統已經初步形成了運行能力。但衛星應用產業發展仍有極大缺陷,無論在技術基礎,市場投資、人力資源,政策環境等方面都有著先天不足。主要體現在產業結構單一,產業鏈不完整,高層次專業人才緊缺。因此在中國推動商業衛星的發展,困難更大,但意義也更加重大。在過去相當長的時間里,航天科技集團下屬的中國空間技術研究院是國內唯一的衛星研制單位,但隨著清華大學、上海微小衛星工程中心、長春光機所等諸多科研單位加入衛星研制行列,國內小衛星制造領域技術取得突破。2002年,中國航天科工集團和清華大學合作研制的“航天清華一號”小衛星發射。2015年10月7日,首顆國產商業遙感衛星吉林一號的發射,標志著商業航天新的開端。

清華在衛星遙感產業應用創新方面有學科優勢,我們可以結合物理模型、地理信息數據、人工智能、大數據挖掘可視化等方面的信息與技術,實現衛星遙感產業的創新應用。迎接中國商業航天“太空經濟”,需要做到以下幾點:(1)深度整合航天太空+傳統行業:航天產業本質上是信息技術和信息服務,與傳統行業深度相加,必然推進后者尋求結構優化,來適應高時效性信息、高精度時空基準和透明化的運營理念。這與互聯網改變傳統零售業的先例是有相似性的。(2)發展商業航天的產業鏈及商業化模式:吸引民營資本的進入,打通航天產業上下游產業鏈,關注追加值應用。我們日常討論最多的就是直接應用,而二次應用所受的關注則很少,如何應用現有的技術成果,培養扶持下游企業是商業航天所面臨的重大問題。下游企業對航天技術應用的越廣泛,上游企業得到的回報就會越多,就可以形成完整的產業鏈以及產業聯盟。當前智能制造、物聯網、大數據技術等都為延伸航天產業鏈,拓寬商業衛星的消費市場,迎接衛星應用的“太空經濟”時代的來臨提供了基礎。

足球盘口水位分析技巧