基于大數據的宏觀經濟現時預測理論與方法研究中期檢查報告

一、 研究進展情況

1、研究計劃總體執行情況及各子課題進展情況；

自課題立項以來，課題組已經在根據課題總體設計和各個子課題的研究任務開

展研究工作。主要進展情況如下：

（一）基于大數據的宏觀經濟預測體系優化與指標生成與應用研究。

課題總體設計中，圍繞基于大數據的宏觀經濟預測體系優化，主要開展四個專題的研究。專題一：基于大數據對勞動力市場指標優化研究；專題二：基于大數據對金融市場指標優化研究；專題三：基于大數據對商品市場指標優化研究；專題四：基于大數據對國際貿易指標優化研究。目前已經針對專題一、專題二、專題三進行了研究。具體研究內容包括：

(1) 基于大數據對勞動力市場指標優化研究

勞動就業狀況的短期趨勢在現有的統計體系下無法得到精確的反映，而人群移動的特征是挖掘其就業特征的有效途徑。課題組運用中國電信上海市的移動信令數據，初步實現了對人群移動軌跡的數據挖掘分析。能夠有效識別不同類型的群移動軌跡特征，從而作為預測勞動就業狀況的輔助指標。

傳統理論中普遍使用“隨機游走理論”來刻畫個人行動規律，隨機游走模型以Levy Flight 模型為基礎不斷拓展。而近幾年的文獻利用大數據，發現隨機游走模型對個人行動規律的刻畫能力存在不足，認為個人行動半徑更符合“冪律分布”模型。基于現有文獻研究，本課題探索通過數據變換、將個人行動的“冪律分布”模型轉化為線性模型，并編寫適用于超大用戶群的并行聚類算法來實現對個人行動規律的分析。本研究主要采用個體電信手機用戶每個月出現在不同基站頻次的統計數據，并按照頻次大小進行排序，該頻次排序數據基本符合“冪律分布”，在對該數據取對數化后，可以得到變換后的線性模型，從而實現簡化數據分析難度。

目前所采用的電信手機數據包含2016 年6 月至2016 年11 月的共計16295554名用戶，用戶行為數據總容量達到150GB，主要采用有限混合模型（Finite mixed５model）來對用戶的行動規律進行聚類分析。

必須編寫全新分布式多線程算法，應對海量用戶數據的分析。即使在簡化的線性模型假設條件下，面對如此大規模的數據集也存在著許多技術上的難點，主要包括：1、在大數據情境下，觀測數據量大大超出傳統模型應用范圍（本課題每個月涉及觀測用戶量約為700 至800 萬，是傳統研究的上千倍之多，對計算資源的要求提高）；2、現有軟件包（Python、R 語言等）中的現成計算模塊均采用單線程計算，效率低（經前期測試，對一個包含10 萬觀測用戶量的模型進行聚類分析，需耗時10 小時，而觀測用戶量的增長將帶來指數級別的計算耗時增長）。目前的成果主要是深入研究了現有混合有限模型算法，將其中的若干關鍵步驟全部進行分布式計算改寫，同時所有計算模塊均充分利用Python 語言現有的高效率數學計算模塊，大大提高了大數據情境下的用戶聚類分析。初步研究結果表明，對于上海電信手機用戶而言，其用戶行動規律可以分為5 個大類，且分類情況隨時間推移呈現出較為穩定的特征。通過研究可以看到用戶行為類型可以分為5 類，這對于用于下一步細分勞動力市場特征而言并不足夠，要想實現研究目標，需要計算獲得更為細分、具體的聚類結果。下一步計劃是進一步改進聚類算法，將用戶行動特征直線分解為“固定趨勢”與“移動趨勢”兩類，分開進行用戶聚類分析；使用基站的地理位置以及周邊建筑屬性（利用百度地圖API），進行第三個維度的聚類分析；結合上述聚類分析結果，得到高維度、高精度的用戶行動規律分類結果，進一步對勞動力市場關鍵指標進行分析。

(2) 基于大數據對金融市場指數進行優化研究

宏觀經濟環境變化、金融體系自身演化積累，投資者群體性行為、市場監管管理政策調整、國際資本流動和市場環境變化、內幕交易等都有可能引發金融市場全系統風險。金融大數據的獲取使得系統性風險的潛在影響因子更容易被識別和跟蹤。本課題主要從兩個方面對該問題進行了研究。第一，基于P2P 數據對互聯網金融的風險進行度量。從“網貸之家”上選取了469 家P2P 平臺作為研究對象，通過網絡爬蟲獲取平臺全部貸款的數據，選取若干相應的基礎變量，通過模糊數學、無量綱處理得到每個平臺的相應的基礎變量得分，通過因子分析與層次分析法得到每個平臺的風險指數。第二，基于事件驅動和復雜網絡的證券市場風險監控。結合大數據和人工智能技術，構建機構投資者的社交網絡，通過機器學習，挖掘各類可能導致金融市場波動的事件與股價之間的關聯關系，觀察機構投資者在事件發生后的投資行為變化，從而對金融市場的風險予以預判。

（3) 利用大數據對商品市場指數進行優化研究

根據課題研究計劃，主要是兩個方面的工作。第一，基于電商平臺的商品交易和價格數據，對商品價格的短期波動進行跟蹤，用于CPI 指數的補充和完善。目前已經利用網絡爬蟲技術，獲取了淘寶、天貓、京東等電商平臺將近1 億種商品的價格、屬性以及評價等交易數據，正在進行數據清洗、整理等工作。第二，基于高頻用電數據，構建工商業景氣指數，進行行業景氣度之間的復雜動態關系的分析并進行預測。目前已經針對上海市全部工商業用戶的96 點數據進行了分析，構建了基于工商業高頻用電數據的復雜網絡，利用馬爾科夫狀態轉移模型，對工商業景氣程度的樣本外預測能力大大提升。

（二）基于大數據的宏觀經濟預測理論和建模研究

子課題二為本課題的理論研究，側重于從宏觀經濟預測的基礎理論和模型比較

出發，對基于大數據的預測理論創新和模型構建進行研究。目前主要是對下列專

題進行了系統調研、梳理清楚理論研究的主要著眼點。

（1）傳統宏觀經濟預測體系研究

傳統的宏觀經濟預測體系建立在各國政府所發布的經濟景氣指標的基礎上，其背后的理論支撐是經濟周期理論。通過基于統計指標構建景氣指數與各類信心指數，通過合理分類，從而對經濟未來走勢進行預測，例如：Stock-Waston 型景氣指數、企業景氣指數、企業家信心指數、經濟學家信心指數、CCI、宏觀經濟景氣指數、PMI 和國服景氣指數等。對于這類指標而言，往往會設定某一閾值，當真實指標超過該閾值時，就判斷經濟未來向好，反之則經濟將步入下滑階段。此外，抽樣調研方法也常常被用于對行業、整體經濟走勢的判斷，例如在景氣調查法中，企業景氣調查（Business Survey）又被稱為是商情調查，采取抽樣調查調研方法對企業乃至整個行業的走勢進行判斷。

（2）基于大數據對宏觀經濟預測的應用研究

現有的基于大數據對宏觀經濟預測進行應用的研究主要從兩方面展開，第一，從數據量上進行完善，第二，從方法上使用大數據分析方法逐步對計量分析進行完善。

從數據量角度而言，目前的研究傾向于納入更高頻率的時間序列變量（如季

度、月度、日度甚至是小時級別數據）、建立超大型面板數據集（如微觀企業和個

體層級數據、金融數據）以及考慮新的數據類型（如社交媒體文本數據、搜索引擎搜索行為數據和衛星圖像數據等）。

從方法角度而言，現有的研究也逐漸涵蓋更多的模型領域，如對傳統計量方法的改進方面，主要包含動態多因子模型、擴展VAR 模型和X-GARCH 模型等；針對海量數據、高頻數據方面，采用貝葉斯回歸模型、混頻回歸模型和主成分分析等；在引入機器學習模型方面，則會采用支持向量機、隨機森林樹和神經網絡模型等。

（3）基于大數據的宏觀經濟預測理論和方法研究

宏觀經濟預測方法主要被劃分兩大類：以經濟學家主導的經濟預測模型和以計算機學家主導的機器學習預測模型。

經濟預測模型有著成熟的經濟理論作為支撐，能夠很好的解釋經濟運行的關鍵影響因素。這一類模型主要分為三類：結構化計量預測模型、非結構化時間序列預測模型以及動態隨機一般均衡預測模型。

對結構化計量預測模型而言，一旦當理論和現實情況產生偏差時，模型的預

測能力就會大大降低。而非結構化預測模型通常需要較大的數據集來進行分析，因此通常應用在金融市場的預測，對于數據頻度較低的宏觀經濟預測，非結構化預測模型通常表現欠佳。均衡預測模型（DSGE）則結合了兩類模型的優點，使得對模型系數進行估計存在很大的困難，從而限制了模型維數的增長，進而降低了模型的預測能力。

機器學習模型從數據本身為起點，讓計算機模擬人類對現實經驗總結的能力，訓練出一套具有擬合和預測能力的模型。機器學習模型主要可以分為有監督學習，算法（有具體預測目標）和無監督學習算法（沒有具體預測目標）兩類。監督學

習算法可以有效的將預測目標進行結果分類，部分研究機構業已將機器學習運用

到對宏觀經濟部分指標進行預測上，這些應用結果顯示這類監督學習算法的預測

能力較好。

（4）現有宏觀經濟預測模型研究存在的主要問題

在國外的機構中，例如國際貨幣基金組織（IMF）、歐洲中央銀行（ECB）和

美聯儲（Fed）等政府機構均有自己的宏觀預測模型，高盛、摩根斯丹利、摩根大

通和美林等國際投行也擁有自己的宏觀預測模型。這些宏觀經濟模型具有較好的

短期趨勢預測能力，但是面對一些突發事件時，往往存在著預測能力不足的缺陷。

中國目前急需構建針對短期經濟波動及長期經濟走勢進行預測的宏觀經濟預測模型，來填補這一塊的空缺。

（5）基于大數據的宏觀經濟預測指標生成與應用研究

早期大數據在宏觀經濟領域的運用主要集中于提高傳統方法下預測數據的精度，例如Bernd Brandl et al.（2005）利用德國159 個經濟指標變量，通過數據挖掘方法GA（Genetic Algorithm）預測工業產值、政府長期債券、失業率和通貨膨脹率四個變量。由麻省理工大學發起的百萬價格項目（Billion Price Project，BPP），則通過收集全球各個國家的各類在線零售價格數據，形成一系列實時價格指數，以期對現有的CPI 價格體系以及匯率體系進行一定程度的修正和完善。

隨著數據采集能力的提升，能夠獲得的數據類型和數量都大大提升，因此現在的大數據應用逐漸向構建新型指標方向發展。Hyunyoung Choi（2010）將市場趨勢分析工具Google Trends 應用于提高傳統ARIMA 時間序列模型對經濟指標預測的準確性，將傳統計量方法的預測結果與改進后的預測方法相比較，發現后者對申請失業救濟人數的預測比前者更為準確，長期和短期模型的樣本外絕對平均誤差分別下降了12.9%和15.7%。Toole 等（2015）則利用手機通信數據生成勞動力市場變化預警指標，通過與官方的失業率數據進行回歸分析，發現這一新生成的指標能夠對勞動力市場具有提前預測的能力，當期失業率預測準確率為95%，提前一季度的預測準確率也高達85%。從官方應用而言，美聯儲每月會發布Aruoba-Diebold-Scotti business conditions index，該指數綜合了每日期限利率溢價、每周首次申請失業救濟金人數、每月新增就業人口、每月的工業產出、個人可支配收入、貿易商品銷售額、每季度實際GDP 這幾類頻度不同的數據，從而可以高頻、精準地反應經濟狀況。國內將大數據運用于宏觀經濟分析最為成熟的指數應屬克強指數，經過近幾

年國內電商、IT 行業的發展，基于大數據來預測經濟景氣程度和價格指數的機構

主要包括百度、阿里、大宗商品數據等。

2、調查研究及學術交流情況

（1） 文獻與數據調研收集情況

針對現有數據，通過對統計資料電子化、電子數據整合等方式，采用結構化數據庫進行存儲。目前已對現有數據進行梳理，除上述統計年鑒外，本課題組還以MySQL 數據庫、HBase 數據庫以及分布式文件等形式收集了大量社會經濟數據、能源使用數據、污染物數據以及衛星數據。

除此之外，宏觀經濟的重要指標就是能源使用情況，在能源使用中，一方面需要使用一次能源如煤炭以及原油，但是這樣的使用情況往往只能代表經濟的生產側，在需求側，往往是多種能源的相互組合。為了更充分的進行宏觀經濟運行情況的描述，課題組收集了上海市居民煤氣、天然氣使用數據，每月電費以及付款方式，工商業園區細分用電數據，商業樓宇的分項計量數據，并結合中國移動提供的樓宇人群數據以及高頻氣象數據，通過上述數據的關聯、配合，進一步加強宏觀經濟現時預測的研究。依托復旦大學已初步建設完成的大數據工場平臺，能夠更好的實現對現有數據的整合，能夠利用更先進的數據管理手段與硬件計算資源，為本研究提供技術支撐。目前大數據工場主要采用NVidia 顯卡來搭建高性能科學計算平臺，能夠為本研究的機器學習任務提供高性能加速支持

在2016 年9 月，課題組就上海市居民需求側基本信息、用能情況、環保意識、物價認知等進行了入戶調研，其主要規模為3000 人，最終有效問卷為2976 份。調研數據在能源數據以及氣象數據的基礎上，為我們的研究補充了有效的微觀個體社會經濟與人口數據，這能進一步讓我們了解不同人群特征、社會特征對于用戶用能以及宏觀經濟運行的影響。目前結合調研數據，課題組已經完成了需求側綠色能源使用潛力研究，用戶能源與社會商品需求異質性研究等分析。

文獻收集主要圍繞上述研究內容展開，除上述關于宏觀經濟預測的相關文獻

外，課題組已經收集有關能源使用、生產以及需求，經濟運行用能情況以及環境

污染等方面的論文300 余篇，課題組成員已經精讀100 余篇，其主要發表在

《American Economic Review》、《Review of Economics Studies》、《Econometrica》、

《Quarterly Journal of Economics》、《The RAND Journal of Economics》、《Journal of Public Economics 》、《Journal of Environmental Economics and Management 》、

《Applied Economics》、《經濟研究》、《管理世界》等國內外頂尖期刊。課題組相關研究人員已經根據精讀文獻撰寫了文獻綜述，總結其中創新方法并將其應用于

課題有關能源以及公關經濟運行的領域中。

課題組同時根據研究內容，收集有關金融以及復雜網絡的相關文獻50 余篇，

其主要發表于《Journal of Political Economy》、《Journal of Financial Economics》、《Journal of Finance》、《Journal of Banking and Finance》以及《管理世界》等頂級期刊。同時精讀多本有關金融市場以及社會網絡相關書籍，并已經制作講解視頻。

（2）學術交流情況

2016 至2017，課題組多次參加由知名機構舉辦的國際學術會議，包括2015至2017 的三次EAERE（歐洲能源與環境年會），首屆smart grid 研討會等，在會上課題組報告了目前主要研究成果，并與多國學者進行了交流。

2016 至2017，復旦大學與美國杜克大學曾多次互派人員進行學術交流，并在

期間進行了多次學術研討以及學術會議，主要針對我國能源使用、宏觀經濟發展

狀況等方向的學術研究進行了交流。目前已經確定的研究方向及成果包括，使用

數據驅動的能源使用研究，我國需求側新型能源使用潛力研究等三篇文章。

同時，課題組也和美國斯坦福大學、伯克利大學建立了學術合作，通過互派人員進行了充分的學術交流，并根據各自研究方向以及數據特點進行了中美比較，目前已經確定的研究方向包括基于高頻數據的用能情況分析等。

2017 年6 月，課題組成員在北京共同參加我國電力體制改革與能源環境情況改進國際學術會議，并對我國目前電力市場建設與可再生能源發展進行了報告，計劃于2017 年10 月在上海進行需求側能源大數據使用與分析國際研討會，主要邀請美國斯坦福大學、杜克大學等知名高校學者參加。

3、成果宣傳推介情況

項目啟動以來，本項目的數據準備和收集工作耗時很長。且大數據的收集、整理涉及到較多的數據安全方面的障礙，經過一年半左右時間基本達到預期目標。今年上半年以來已經形成多篇工作論文和投稿論文。基于大數據的工商業景氣預測指數在2017 年貴陽數博會展出，獲得媒體的關注。文匯報、新民晚報、新華社等都進行了報道。后期將加強成果發布、簡報報送、專刊投稿等工作。

二、 研究成果情況

1. 基于工商業用電數據的景氣指數研究

（1）主要內容

a.研究了傳統的經濟景氣指數構建和相關模型已經解決的問題和存在的缺陷；

b.為解決傳統模型的問題，設計利用大數據技術研究微觀行業和整體產業結構的關系的模型，研究反映產業結構的高頻經濟景氣指數構建方法，研究短期預測方法；

c.基于最能反映經濟運行狀況的克強指數中行業用電量數據，利用復雜網絡模型研究了行業間生產和發展的相互聯系、引導演化關系，并研究了產業結構網絡的性質，包括行業間先導滯后關系、某個行業生產運行發生變化對整個網絡的影響、每個行業在整個網絡中的重要性程度、每個行業重要性滿足的概率分布、網絡的穩定性及隨時間演化等。

e.在充分了解產業結構及演化發展狀況的基礎上，構建了包含產業結構的綜合經濟景氣指數，該指數由各個行業的景氣狀況和行業間相關關系綜合而成。隨著時間推移，各個行業景氣發生變化，產業結構發生調整，行業間關聯關系變化等，都會在景氣指數中及時反映出來。

f.研究經濟景氣指數的動態網絡預測方法，由于真實世界中的行業發展和產業結構隨時都在發生改變，動態貝葉斯網絡模型可以捕捉這些變化并反映在經濟景氣指數中。通過產業結構的復雜網絡圖構建動態貝葉斯網絡模型進行景氣的預測。

（2）主要觀點

基于工商業行業高頻用電數據研究了行業間關聯關系，在考慮產業結構的基礎上構建了日度綜合經濟景氣指數，實現對宏觀經濟現狀的精確描述和短期趨勢預測，為宏觀調控和經濟政策制定提供理論依據，為投資和工商業生產發展提供決策依據。

（3）學術價值

國際上流行的衡量經濟景氣情況的方法為合成指數法(Composite Index)，即以一個國家的工業增長水平作為參考，選取一些宏觀統計數據，劃分為先行指標組、一致指標組和滯后指標組，以構建經濟景氣分析指標體系，分析和預測經濟周期波動和景氣變動的轉折點。但是這些指標往往是月度或季度數據，且非常宏觀，無法反映經濟景氣指數變動背后的原因，也無法反映產業結構調整帶來的變化，更不能進行短期及時的預測。基于工商業電力大數據的宏觀經濟景氣指數研究，結合反映經濟變動的最直觀的高頻電力大數據，構建新的反映宏觀經濟狀況的高頻景氣指數，從微觀行業著手，從局部出發進行整體經濟產業結構的研究，可以充分挖掘影響宏觀經濟景氣的各種不同因素以及產業結構特征和變化的影響。除此之外，利用動態貝葉斯網絡的方法，實現對宏觀經濟現狀的精確仿真和短期趨勢預測，相比于傳統的預測模型精度和性能均較優。

其中，復雜網絡的局部和全局特性能夠清晰地刻畫組成復雜系統的不同元素之間的相互關系和信息流動過程，利用復雜網絡的方法研究不同行業之間以及行業和宏觀經濟的關系，使得研究人員可以通過純數據的分析得到與以往基于經濟學理論和行業生產特性分析相同甚至更重要的結果，而不需要進行長期的經濟學理論知識的學習和訓練，降低了研究分析的門檻。

（4）社會影響

景氣指數是反映各行業運行狀況的定量指標，用來反映行業的經濟景氣變化狀況。準確預測行業景氣指數對生產活動的開展以及宏觀經濟調控有著重要的意義。隨著信息化的發展，社交網絡的影響日益擴大，非結構化數據的大量涌現，過去低頻數據中的因果關系發生了一些變化，不同過程之間的相互作用變得越來越復雜，同時隨著中國經濟進入新常態，產業結構調整變得越發頻繁，對預測的時效性和準確性提出了新的要求，傳統的經濟研究和經濟景氣指數滿足不了現時預測的要求。基于工商業電力大數據的高頻宏觀經濟景氣指數構建和預測，可以充分挖掘影響宏觀經濟景氣的各種不同因素以及產業結構特征和變化的影響，實現了對宏觀經濟現狀的精確描述和短期趨勢預測，為宏觀調控和經濟政策制定提供理論依據，為投資和工商業生產發展提供決策依據。

2. 基于電信數據的勞動力就業市場預測。

（1）基本內容

傳統理論中普遍使用“隨機游走理論”來刻畫個人行動規律，隨機游走模型以Levy Flight 模型為基礎不斷拓展。而近幾年的文獻利用大數據，發現隨機游走模型對人行動規律的刻畫能力存在不足，認為個人行動半徑更符合“冪律分布”模型。基于現有文獻研究，本課題探索通過數據變換、將個人行動的“冪律分布”模型轉化為線性模型，并編寫適用于超大用戶群的并行聚類算法來實現對個人行動規律的分析。本研究主要采用個體電信手機用戶每個月出現在不同基站頻次的統計數據，并按照頻次大小進行排序，該頻次排序數據基本符合“冪律分布”，在對該數據取對數化后，可以得到變換后的線性模型，從而實現簡化數據分析難度。目前所采用的電信手機數據包含2016 年6 月至2016 年11 月的共計16295554名用戶，用戶行為數據總容量達到150GB，主要采用有限混合模型（Finite mixed model）來對用戶的行動規律進行聚類分析。

目前的成果主要是深入研究了現有混合有限模型算法，將其中的若干關鍵步驟全部進行分布式計算改寫，同時所有計算模塊均充分利用Python 語言現有的高效率數學計算模塊，大大提高了大數據情境下的用戶聚類分析。

（2）主要觀點

初步研究結果表明，對于上海電信手機用戶而言，其用戶行動規律可以分為5個大類，且分類情況隨時間推移呈現出較為穩定的特征。每一類用戶行動規律中的行為參數有較大差異，表明不同類型的用戶在行為規律中存在著較大的差異。

通過研究可以看到用戶行為類型可以分為5 類，這對于用于下一步細分勞動力市場特征而言并不足夠，要想實現研究目標，需要計算獲得更為細分、具體的聚類結果。下一步計劃是進一步改進聚類算法，將用戶行動特征直線分解為“固定趨勢”與“移動趨勢”兩類，分開進行用戶聚類分析；使用基站的地理位置以及周邊建筑屬性（利用百度地圖API），進行第三個維度的聚類分析；結合上述聚類分析結果，得到高維度、高精度的用戶行動規律分類結果，進一步對勞動力市場關鍵指標進行分析。

（3）學術價值

第一，在研究方法方面，本研究通過利用電信數據提出了一個用于對個體行為規律進行聚類的分析框架，本研究認為所有個體行為人隸屬于具有不同行為規律的群體，因而不同群體的行為參數是不同的，需要使用聚類方法來進行有效識別。而現有國內外研究將所有個體視作是同質群體，因此其移動規律全部服從相同的概率分布函數。實證結果則印證了本研究所提出的觀點。

第二，在分析技術方面，本研究對現有的有限混合模型進行重新編程，實現了在分布式多線程模式下的高性能計算，大大縮短了計算時間、極大提升了分析效率。且這種計算能力可以進行無縫拓展，適應未來更大尺度和更大數據量的模型計算。

（4）社會影響力

本研究的初步成果在2017 年貴陽大數據展上進行展示，收獲了廣泛的關注與好評。其中有包括北京聯通等在內的多家運營商均表示出了強烈的合作研究意愿，希望能夠通過將本研究的分析方法運用到不同地區、不同類型的數據之上，來對不同地區的勞動力市場進行細致分析。

課題組供稿