“云計算環境下的信息資源集成與服務研究”中期檢查情況

一、研究進展情況

自2013以來，國家社會科學基金重大項目“云計算環境下的信息資源集成與服務研究”在首席專家、咨詢專家、各子課題負責人及全體項目組成員的共同努力下，按項目計劃順利完成了預期研究任務和項目管理目標。

1.科學研究工作

1.1云計算環境下的信息資源集成與服務的系統框架（子課題1）

完成了理論梳理和需求分析的調研。對于信息存儲模塊，基本完成了基于Hadoop和NoSQL數據庫的信息資源集成與服務平臺的構架設計和搭建，主要包括平臺基礎架構的建設。對于信息集成模塊，完成了數據表示格式和元數據標準文檔的制定、使用信息檢索、數據集成等方法進行數據導入、整合等工作。基本設計完成了API調用標準。主要進展如下：

（1）提出了一種基于云計算環境下的Hadoop的索引創建方法及其索引方法，其分別建立了基于文件的索引、基于數據塊的索引以及基于記錄的索引的三級索引機制，在進行數據讀取時，根據所述索引信息，對所訴輸入分片進行逐層過濾，使得最終查詢結果可以直接跳過無用的數據而執行讀取動作，本發明避免了Hadoop讀取無用數據，提高了海量數據的處理效率。該成果已提交專利申請。基于Hadoop的索引創建方式及其索引方法（申請號：201310302669.1）

（2）設計了基于云計算環境下的海量文本數據的一種相似度衡量系統，系統利用基于語義規則的擴展框架來衡量文本信息的相似度。具體的，本系統包括一個基于語義規則的擴展框架。在此框架內，又提出了兩種具體的擴展模塊：全擴展和選擇擴展。前者將全部可用語義規則用于擴展字符串，后者結合了全擴展和貪心策略，給出了一種更加有效的擴展方法。該成果已提交專利申請。一種基于海量文本數據的相似度衡量辦法（申請號：201310335123.6）

（3）從基于云計算環境下的數據管理的角度上回顧了大數據時代所面臨的挑戰，重點討論了大數據的多樣性，大數據的壓縮，大數據的集成與清洗，大數據的索引與查詢，以及大數據分析和挖掘。該調查與研究給出了一個以大數據為導向的研究和問題的簡要概述。研究成果已被2013 Frontiers of Computer Science收錄 (Jinchuan Chen, Yueguo Chen, Xiaoyong Du, Cuiping Li, Jiaheng Lu, Suyun Zhao, Xuan Zhou). Big data challenge: a data management perspective.Frontiers of Computer Science. p157-164 (SCI indexing)

1.2云計算環境下的信息資源存儲和組織模式研究（子課題2）

為了應對大數據時代信息資源過載的問題，經常采用推薦的手段將信息資源進行有效過濾和組織，進而為其上的知識服務提供支持。目前通常使用協同過濾的方法計算用戶或項目之間的相似度，這種方法存在一定的缺陷：比如評分矩陣稀疏、冷啟動等問題。為此，本項目使用帶權重的、基于Map-Reduce框架的Simrank并行方法計算對象之間的相似度。在此基礎上，提出了兩種并行實現算法，一種是初始的迭代方法的并行化，另一種是基于矩陣乘法的并行化。實驗證明了新的推薦算法比已有協同過濾具有更好的效果。代表性成果為：Lina Li, Cuiping Li, Hong Chen, Xiaoyong Du.MapReduce-Based SimRank Computation and Its Application in Social Recommender System.IEEE Bigdata Congress。

1.3 云計算環境下的信息資源集成方法研究（子課題3）

主要以知識和電子文件為典型信息資源類型，重點進行了對信息資源集成基礎理論，包括基本理念、主要需求和基本策略的研究，為進一步提出云計算環境下的信息資源集成方法奠定了較好的基礎。主要進展如下：

（1）提出了一種支持協同創新體能力構建的知識管理策略，探討了協同創新體能力構建（Collaborative Innovation Community Capacity Building ，CICCB）所需的知識集成方法，明確了知識集成的模式與策略。相關研究成果在第10屆智力資本、知識管理和學習型組織國際會議，2013歐亞經濟論壇、2013中國知識管理論壇，第四屆全國知識組織與知識鏈接學術交流會及等學術會議進行了交流，并被CPCI刊源論文集收錄（An, X., Deng, H., Cao, L. (2013).Knowledge Management in Support of Collaborative Innovation Community Capacity Building, Proceedings of the 10th International Conference on Intellectual Capital , Knowledge Management and Organizational Learning. The George Washington University, Washing, DC, USA. 24-25 October 2013: 19-25. ( ISI Web of Science CPCI刊源)

（2）以電子文件作為一種典型的信息資源，重點研究了電子文件的集成管理的技術特征及管理系統的研發重點與難點，明確了電子文件類信息資源的集成管理需求，為下一步提出信息資源集成方法奠定了基礎。相關研究成果已在《檔案學通訊》、《現代圖書情報技術》等國內相關領域的重要刊物上發表。

（3）重點研究了信息資源管理基礎理論和方法，深入研究信息資源管理理論的奠基人——F.W.Horton等國內外專家學者的代表性成果，梳理了信息資源管理思想起源、核心觀點及研究方法，為本課題的進一步研究奠定了基礎。在此方面，代表性研究成果課題組織翻譯了F.W.Horton的名著《Information Resources Management: Concept and Cases》。該成果已由南京大學出版社出版，成果名稱為《信息資源管理：概念與案例》。

1.4云計算環境下的信息資源服務模式研究（子課題4）

調研和分析了當前知識組織和服務模式的新需求，研究了開放環境下信息資源組織策略和服務的體系架構，研究了以知識為主體的服務內容和服務方式，研究了開放環境下同義術語的獲取方法和歸并方法，研究了云計算環境下語義搜索技術。作為實證研究，開發實現了基于漢語主題詞表（工程技術版）的術語服務原型系統。比較有代表性的成果有：

? 曾建勛. 開放式知識鏈接服務體系研究[J]. 情報理論與實踐, 2013, 36(1): 48-52.

? 曾建勛. 基于海量數字資源的科研關系網絡構建探究[J]. 情報學報, 2013, 32(9): 929-935.

? 常春. 基于詞頻信息確定敘詞表概念屬性[J]. 圖書情報工作, 2013, 57(16): 11-14, 24.

? 劉偉. 互聯網同義詞搜索中的詞義聚類問題研究[J]. 圖書情報工作, 2013, 57(16): 15-19.

1.5．云計算環境中的學科知識信息資源集成與服務平臺架構與評估（子課題5）

重點對學科資源云平臺構建、學科資源獲取與集成、學科知識展示與服務的理論、方法與系統進行了研究。主要進展如下：

（1）研究從互聯網中自動構建知識庫以實現簡化用戶搜索工作的方法。重點研究了如何從描述實體的大規模互聯網中自動獲取資源并通過構建知識庫進行集成的問題。我們提出了一個高效無監督信息獲取方法，并借鑒分而治之的策略使該方法將一個困難的模板歸約問題切分成多個較容易的子模板歸約問題；對于自動獲取得到的數據，我們提出了一種基于實例的模式匹配方法，利用屬性實例之間的相似度來對屬性進行匹配，獲得較好的資源集成效果。這一工作發表在Decision Support Systems上。（Jun He, Y. Gu, H. Liu, J. Yan, H. Chen. Scalable and noise tolerant web knowledge extraction for search task simplification. Decision Support Systems. Volume 56, Pages 156-167. December 2013. (SCI)

(2) 研究了利用社交網絡媒體這類數據資源進行知識服務的方法。我們以微博媒體大數據集為研究對象，研究對用戶特征進行預測的方法，并利用互信息對相關性進行評估；為解決該類資源存在的高維和數據稀疏性的問題，提出了聚集微博特征的方法，并采用多種分類算法對聚集特征做分類，最終設計的模型獲得較高的預測精度。這項工作發表在WISE 2013國際會議上，并獲得會議的最佳挑戰論文獎。（Y. Li, T. Liu, H. Liu, Jun He and X. Du. Predicting Microblog User's Age based on Text Information. The 14th International Conference on Web Information System Engineering (WISE 2013), Nanjing, China, 2013, Pages 510-515. (EI) (Best Challenge Paper Award)）

（3）學科資源云平臺構建。構建了EventTeller系統，該系統能夠實時抓取相關Web頁面數據，并自動過濾不相關網頁，利用網頁標題、摘要、發布時間更好的計算新聞網頁相似度，該系統實現了在線事件偵測和展示。系統主要包括如下功能：在線事件偵測，計算新聞網頁相似度，并設計了實時計算詞語權重算法，建立倒排索引以及使用新聞標題索引來過濾不相關網頁；融入更多類型的資源，實時抓取事件相關圖片，微博等；話題追蹤，設計了基于鄰域更新的算法來解決事件頁面集合更新；利用分布式系統進行數據存儲及信息抽取，利用Hadoop的HDFS文件系統，存儲實時抓取的數據。

2.項目管理工作

為了做好課題研究的服務和保障工作，課題組專門成立項目管理小組（圖1），負責監督課題研究的范圍、進度、人員、資源、質量和成本，并協調不同子課題之間的研究工作，提高課題研究的整體性和系統性。課題項目管理在首席專家杜小勇教授和盧小賓教授的直接領導下由課題管理辦公室（課題總體組）負責實施。課題管理辦公室（課題總體組）主要由首席專家（杜小勇教授和盧小賓教授）、咨詢專家（馮惠玲教授、黃長著研究員、王珊教授、李廣建教授）、各子課題負責人（李翠萍教授、陸嘉恒教授、安小米教授、曾建勛教授和何軍副教授）共同組成，課題秘書為朝樂門博士。

圖1 課題項目管理

（1）聘請了四位咨詢專家。為了更好地指導課題研究工作，解決課題研究中各種疑難問題，課題組于2013年年初聘請了中國人民大學原常務副校長馮惠玲教授、中國社會科學院學部委員黃長著研究員、中國人民大學信息學院王珊教授、北京大學信息管理系李廣建教授為課題咨詢專家。

（2）召開了項目開題報告會。2013年4月16日在中國人民大學信息樓209會議室舉行了項目開題報告會。中國人民大學常務副校長馮惠玲教授、中國社會科學院學部委員黃長著研究員、中國人民大學信息學院王珊教授、北京大學信息管理系李廣建教授、課題組成員和來自校內外的相關領域專家學者出席了會議，會議由盧小賓教授主持。課題組首席專家杜小勇教授介紹了選題背景與動機、研究目標與預期成果、研究思路與方法、子課題劃分與任務分解、項目管理和總體進度計劃等。接著，五個子課題負責人或其代表陸嘉恒教授、李翠平教授、朝樂門博士、曾建勛研究員和何軍副教授先后介紹了各子課題的研究內容與研究重點、研究思路與研究方法、預期成果和擬解決的關鍵問題等。在討論交流環節，王珊教授、李廣建教授等咨詢專家就課題研究定位、方法和預期成果等方面提出了意見和建議。最后，盧小賓教授代表課題組做總結性發言，并對國家社科基金委、評審專家、與會專家對此課題的大力支持表示感謝。他說，課題組凝聚中國人民大學信息資源管理學院、信息學院、數據工程與知識工程教育部重點實驗室、中國科學技術信息研究所在信息資源管理和云計算研究方面的優勢力量，將理論突破和實踐應用有機結合，力爭高水平、高質量地完成課題任務。

圖2 開題報告會

（3）開發課題專用網頁。為了方便項目組內部交流和資源共享，課題組開發了國家社會科學基金重大項目“云計算環境下的信息資源集成與服務研究”專用網頁。該網站不僅提供了研究目標、研究內容、關鍵問題等基本信息，而且還設有資源共享、項目動態等欄目，較好地支持了項目組內部交流和資源共享的需求。網頁訪問地址：http://deke.ruc.edu.cn/static/icloud/index.html。

圖3 課題網站

（4）加強內部溝通與交流。根據課題研究需要，項目組采取了子課題內部交流和跨子課題交流相結合的方式。其中，子課題內部交流主要由子課題負責人主持完成，一般限于特定子課題或部分子課題的范圍之內進行。總體組十分重視跨子課題的交流與合作，先后3次召集各子課題負責人和部分代表交流各自的研究進展、存在問題和解決思路，確保了項目研究的整體性。此外，課題組還編制了項目研究手冊（圖4），統一提供了項目研究所需的相關規章制度、期刊目錄和成果標注方法。

圖4 項目研究手冊

（5）規范財務報銷與管理工作。為了規范財務報銷工作，課題組專設了項目秘書的崗位，負責項目組的財務報銷工作。項目組采取集中報銷和實時報銷相結合的方法，較好地滿足了全體研究人員的財務報銷需求。2013年度共安排了3次集中報銷，并由課題秘書朝樂門博士負責統一收集和整理全體研究人員的報銷憑證，并經首席專家杜小勇教授和盧小賓教授簽字批準后交給財務部門報銷，較好地解決的財務報銷工作的規范性。

（6）重視人員變動管理。根據項目研究需要，現聘請中國人民公安大學公安情報系周西平副教授、中國人民大學宋姬芳、張蘇、王濤博士以及中國科技信息研究所劉偉、趙雪芹博士參與子課題《云計算環境下的信息資源服務模式》的研究工作；聘請中國人民大學牛力博士參與子課題《云計算環境下的信息資源集成方法》的研究工作。

(7)重視國內外學術交流

1）2013年9月26-28日出席在中國西安召開的2013歐亞經濟論壇,并在其第三界國際環境大會:生態與可持續發展論壇上作"Meta-synthetic Strategies for Reuse of Public Sector Information Resources for Smart City: Case Analysis of Smart Travelling Projects"的報告.

2）October 24 to 25, speaker for “ Knowledge Management in Support of Collaborative Innovation Community Capacity Building” at the International Conference on 10th International Conference on Intellectual Capital, Knowledge Management & Organizational Learning held in George Washington University at Washington D.C., US.

3）2013年12月3日到4日在第四屆全國知識組織與知識鏈接學術交流會作“支持協同創新能力構建的知識管理研究”特邀報告.

4）2013年12月14日在中國知識管理論壇作“支持協同創新體能力構建的知識管理研究”特邀報告.

5）May 4 to May 10, 2014， ISO/TC46/SC11 meeting, Washington D.C., US。此次會議上安小米教授完成并提交了有關ISO/TC46/SC11系列標準產品的術語表。會議決議任命安小米教授承擔以下ISO/TC46/SC11標準工作:

6)領導ISO/TC46/SC11特別工作組3 (Ad Hoc Group 3)關于ISO/TC46/SC11術語表的建立及術語的規范性制修訂,未來工作包括（1）完成《ISO 30300系列標準與其他ISO/TC46/SC11產品的關系：術語》更新； （2）建立ISO/TC46/SC11詞匯表和術語表使用規則；（3）對術語的更新、修訂和增刪提出建議；（4）對術語及定義的連貫性和一致性規范使用提出建議；（5）識別影響ISO/TC46/SC11工作的核心概念，建立概念關系圖。

7)參與ISO/TC46/SC11特別工作組4 (Ad Hoc Group 4)開放數據與文件管理的關系研究工作。

8) 作為編輯組成員，參與解決各國針對《ISOCD30302 文件管理體系實施指南》提出的意見，作出意見處理的反饋。

9)作為新標準起草準備工作組成員,參與關于文件管理體系標準實施的監管和評測或治理的新產品起草。

10)負責《ISO 30300系列標準與其他ISO/TC46/SC11產品的關系：術語》更新。

11）2013年12月組織舉辦了“第四屆全國知識組織和知識鏈接學術交流會”。來自北京大學、中國人民大學、武漢大學、天津大學、南京大學等高校圖書館和國家科學技術圖書館、中國醫學科學院醫學信息研究所、中國農業科學院農業信息研究所等科研機構的圖書情報、計算機領域的專家、學者等270余人參加了此次會議。

注：2010年立項的重大項目主要填寫2012年6月以來的研究進展情況。

二、研究成果情況

（1）出版了《分布式系統與云計算概論》第二版。詳細介紹了分布式系統與云計算技術，包括Google、Yahoo等公司的云平臺技術介紹、MapReduce和Hadoop生態系統中典型系統的介紹和相關云計算程序的開發，較第一版有較大改進。

（2）在Frontiers of Computer Science上發表了論文《Big data challenge: a data management perspective》。論文討論了大數據的多樣性特點、大數據的集成與清洗、大數據約簡、大數據索引與查詢、大數據分析與挖掘等方面的挑戰與解決方法。其中提出的解決方案對本課題有一定參考和指導意義。

（3）開發了術語服務原型系統，以此為研究平臺，開展了本子課題相關的研究，包括信息資源組織策略、服務體系架構內容及方式、同義術語獲取與歸并、語義搜索等方面。該平臺獲得了軟件著作權，開展了研究內容大部分已發表在國內核心期刊上。通過理論研究與實踐結合，基本驗證了所提出的服務模式在云計算環境下的可行性，部分的研究結果在服務系統上得到了實際應用，并進一步深化了下一階段的研究內容。

（4）構建了EventTeller系統，該系統能夠實時抓取相關Web頁面數據，并自動過濾不相關網頁，利用網頁標題、摘要、發布時間更好的計算新聞網頁相似度，該系統實現了在線事件偵測和展示。系統主要包括如下功能：在線事件偵測，計算新聞網頁相似度，并設計了實時計算詞語權重算法，建立倒排索引以及使用新聞標題索引來過濾不相關網頁；融入更多類型的資源，實時抓取事件相關圖片，微博等；話題追蹤，設計了基于鄰域更新的算法來解決事件頁面集合更新；利用分布式系統進行數據存儲及信息抽取，利用Hadoop的HDFS文件系統，存儲實時抓取的數據。

（5）提出了一種支持協同創新體能力構建的知識管理策略，探討了協同創新體能力構建（Collaborative Innovation Community Capacity Building ，CICCB）所需的知識集成方法，明確了知識集成的模式與策略。相關研究成果在第10屆智力資本、知識管理和學習型組織國際會議，2013歐亞經濟論壇、2013中國知識管理論壇，第四屆全國知識組織與知識鏈接學術交流會及等學術會議進行了交流，并被CPCI刊源論文集收錄

（6）以電子文件作為一種典型的信息資源，重點研究了電子文件的集成管理的技術特征及管理系統的研發重點與難點，明確了電子文件類信息資源的集成管理需求，為下一步提出信息資源集成方法奠定了基礎。相關研究成果已在《檔案學通訊》、《現代圖書情報技術》等國內相關領域的重要刊物上發表。

（7）重點研究了信息資源管理基礎理論和方法，深入研究信息資源管理理論的奠基人——F.W.Horton等國內外專家學者的代表性成果，梳理了信息資源管理思想起源、核心觀點及研究方法，為本課題的進一步研究奠定了基礎。在此方面，代表性研究成果課題組織翻譯了F.W.Horton的名著《Information Resources Management: Concept and Cases》。該成果已由南京大學出版社出版，成果名稱為《信息資源管理：概念與案例》。

注：2010年立項的重大項目主要填寫2012年6月以來的研究成果情況。

序號	成果名稱	作者	成果形式	刊物名或出版社、刊發或出版時間	字數	轉載、引用、獲獎等情況
1.	MapReduce-Based SimRank Computation and Its Application in Social Recommender System	Lina Li, Cuiping Li, Hong Chen, Xiaoyong Du	論文	IEEE Bigdata Congress, 2013	0.9萬
2.	On Perspective Aware Top-k Similarity Search in Multi-Relational Networks	Yinglong Zhang, Cuiping Li, Hong Chen	論文	DASFAA 2014.	0.8萬
3.	SuperSimRank：信息網絡中一個有效的結點相似度度量	張應龍，李翠平，陳紅	論文	2014，軟件學報. 已錄用	0.8萬
4.	Accuracy Estimation of Link-based Similarity Measures and Its Application	Yinglong Zhang, Cuiping Li, Hong Chen	論文	WAIM 2014	0.9萬
5.	《分布式系統與云計算概論》（第二版）	陸嘉恒	教材	清華大學出版社 2013年12月	48.6萬	“十一五”國家級規劃教材
6.	Big data challenge: a data management perspective	陸嘉恒	論文	Frontiers of Computer Science	0.9萬
7.	Knowledge Management in Support of Collaborative Innovation Community Capacity Building, Proceedings of the	An, X., Deng, H., Cao, L.	會議論文	10th International Conference on Intellectual Capital , Knowledge Management and Organizational Learning. The George Washington University, Washing, DC, USA. 24-25 October 2013.	0.6萬
8.	國外智慧城市知識中心構建機制及其借鑒研究	安小米	論文	情報資料工作, 34(4), 2013.	0.7萬	中文核心期刊
9.	面向智慧城市發展的信息資源管理協同創新策略構想	安小米	論文	情報資料工作, 2014（3）	0.8萬	中文核心期刊
10.	詞語位置加權TextRank的關鍵詞抽取研究	夏天	論文	現代圖書情報技術2013(9)	0.5萬	中文核心期刊
11.	融合LDA 與TextRank 的關鍵詞抽取研究	夏天等	論文	現代圖書情報技術（已錄用）	0.8萬	中文核心期刊
12.	云計算環境下電子文件管理的關鍵技術研究	薛四新,朝樂門,田雷	論文	北京檔案,2013,01	0.8萬	中文核心期刊
13.	電子文件管理系統的技術特征	朝樂門	論文	現代圖書情報技術, 2013,4	0.8萬	中文核心期刊
14.	電子文件管理系統研發的重點與難點分析	朝樂門	論文	檔案學通訊,2014,01	0.8萬	中文核心期刊
15.	基于海量數字資源的科研關系網絡構建探究	曾建勛	論文	情報學報 2013（9）	0.8萬	中文核心期刊
16.	基于詞頻信息確定敘詞表概念屬性	常春	論文	圖書情報工作，2013（8）	1.1萬	中文核心期刊
17.	互聯網同義詞搜索中的詞義聚類問題研究	劉偉	論文	圖書情報工作，2013（8）	1.0萬	中文核心期刊
18.	國家工程技術圖書館科研工作體系構建	曾建勛	論文	數字圖書館論壇，2013（10）	0.7萬	中文核心期刊
19.	國家工程技術數字圖書館服務體系建設	劉華	論文	數字圖書館論壇，2013（10）	0.6萬	中文核心期刊
20.	基于RDA的標簽與書目數據關聯方法初探	魏來	論文	圖書情報工作，2014（4）	0.6萬	中文核心期刊
21.	基于引文的中文學術文獻自動標引方法研究	劉偉	論文	圖書情報工作，2014（2）	0.8萬	中文核心期刊
22.	同義術語歸并中縮略語的處理方法研究	常春	論文	圖書情報工作，2014（1）	0.8萬	中文核心期刊
23.	一種電子文件管理系統的自動化測試方法	杜小勇、朝樂門等	發明專利	201410045487.5	1.3萬
24.	基于Hadoop的索引創建方法及其索引方法	陸嘉恒	發明專利	201310302669.1 2013.07.17	1.2萬
25.	一種基于海量文本數據的相似度衡量方法	陸嘉恒	發明專利	201310335123.6 2013.08.02	1.5萬
26.	分布式海量Web數據爬取共享系統	陸嘉恒	發明專利	201310471593.5 2013.10.11	1.3萬
27.	友好的XML圖形化搜索系統軟件V1.0	陸嘉恒，林春彬	軟件著作權	2013SR035944 2013.04.22	1.5萬
28.	海量Web數據信息自動爬取與半自動化抽取系統軟件V1.0	陸嘉恒	軟件著作權	2013SR116778 2013.10.31	1.3萬
29.	海量非結構化數據管理系統測試軟件[簡稱：NSRunner] V1.0	陸嘉恒，蔡曉華	軟件著作權	2013SR131745 2013.11.25	1.5萬
30.	云計算環境下的信息資源的集成與服務研究	盧小賓等	論文	《中國信息年鑒》特約論文	0.7萬

課題組供稿