bhwangustc的个人博客分享 http://blog.sciencenet.cn/u/bhwangustc

博文

推荐系统、信息挖掘及基于互联网的信息物理

已有 6805 次阅读 2010-9-13 23:38 |个人分类:生活点滴|系统分类:论文交流| 信息挖掘, 推荐系统, 基于互联网的信息物理

此文拟送《复杂系统与复杂性科学》发表

   

 

推荐系统、信息挖掘及基于互联网的

信息物理研究*

汪秉宏1, 2 , 周涛1, 3, 4, 刘建国2, 4

1:中国科学技术大学近代物理系,合肥;

2:上海理工大学复杂系统科学研究中心,上海

3:电子科学技术大学互联网研究中心,成都

4:瑞士弗里堡大学物理系,瑞士)

 

摘要:本文主要介绍由中国科学技术大学统计物理复杂系统研究组、上海理工大学复杂系统科学研究中心、电子科技大学互联网研究中心和瑞士弗里堡大学物理系所组成的研究团队在国家自然科学基金项目:基于复杂网络的复杂系统动力学及统计行为的研究(重点项目 2007-2010);动态评价网络的统计分析与信息挖掘(信息科学部主任基金2008-2009);人类行为的动力学和统计力学研究(2010-2012) ;及重大研究计划非常规突发事件应急管理研究(重点项目2011-2013 支持下所完成的关于推荐系统、信息挖掘及基于互联网的信息物理研究方面的工作和研究进展概述。

 

---------------------------------------------

*本文研究受国家自然科学基金(1063504010975126,  910240261090505270901010)、国家重点基础研究计划(973项目,2006CB705500)、高校博士点基金(20093402110032, 上海市重点学科项目(S30501), 上海市科研创新基金(11ZZ135, 11YZ110). 上海市智能信息处理重点实验室开放基金(IIPL-2010-006. 等资助。

 

汪秉宏(1944-),男,江西人,教授,博士生导师,主要研究方向为统计物理、复杂系统与复杂网络理论。

周涛(1982- ),男,四川人,教授。主要研究方向:复杂网络,互联网,信息物理

刘建国(1979-  ), 男,山西人,副教授。主要研究方向:复杂网络,个性化推荐,知识管理。

---------------------------------------------

 

 

 

 1)在PNAS107, 2010:4511-4515】上发表论文,首次指出传统意义上的信息推荐算法具有“过度强调精确性而忽略多样性”的缺点,而信息提供者的价值“往往更多地源于提供多样和新颖的信息”。第一次系统研究了仅知道网络拓扑结构的情况下如何考量推荐算法的多样性和新颖性,这对于该方向的研究起到了基础性的作用。开创性地提出了一种专门推荐“不太流行的冷门资源”的基于热传导的算法,该算法与所有已知的倾向于发掘“流行资源”的算法大异其趣。通过大量基于真实数据的分析,显示了此算法与基于物质扩散的算法结合后,可以同时明显提高推荐系统的准确度、多样性和新颖性。这一发现有望推动甚至最终解决推荐系统中精确性与多样性鱼和熊掌不可兼得之难题。这一重要成果已经获得Nature News Published online 22 February 2010 | Nature | doi:10.1038 / news.2010.86)的专门新闻报道【1: http://www.nature.com/news/2010/100222/full/news.2010.86.html

2)自2008Clauset等人在Nature发表基于网络结构的链路预测的论文之后,基于网络的链路预测成为复杂网络与信息挖掘方面研究的共同热点。动态评价网络的信息挖掘本质上是二部分网络上的链路预测。我们提出了两种基于局部信息的相似性指标——资源扩散指数、局域路径指数,通过和9种广为人知的局部相似性指标在6种不同真实网络中进行比较,我们指出新提出的两种指标明显具有更好地刻画节点相似及相近程度的能力。提出后立刻受到了广泛的关注,国际上已经有其他三个研究团队跟踪讨论了资源扩散参数在信息推荐、有向网络链路预测和社区结构挖掘方面的应用。这些结果均证明了我们提出的指数具有明显优于已知局部参数的性质【2】。

3)最近的一些大规模实证研究显示,信息推荐中社会关系往往比推荐内容与用户喜好的匹配程度更加重要。事实上,用户更喜欢来自朋友而非来自系统的推荐。因此,社会过滤(social filtering)被认为极有可能成为下一代信息过滤器(搜索引擎、推荐系统等)的核心之一。我们以Web 2.0系统中新闻共享和推荐为例,提出了基于适应性网络的一种社会过滤机制,该机制能够明显提高用户体验。LAtelier对本项目成员周涛进行了专访,并在LAtelier Report中对于Europhysics Letters 88 (2009) 38005 一文进行了专题报道【3

4)通过考虑基于物质扩散的信息推荐算法中初始物质分布的精细结构,我们提出一种改进算法[4],此算法相比原始算法,能够将精确性提高10%左右。这一算法的真正重要价值在于首次明确提出基于用户-资源的二部分网络结构,如何对推荐的多样性和新颖性进行度量。尽管相应的度量指标尚较粗糙,但却是以后关于信息多样性的一系列研究的初始。

5)协同标签系统最近几年非常流行,其基本思想是允许用户自由添加一些关键词(标签)来描述自己收藏的各种资源。这些标签一方面反映了用户的个人喜好,另外一方面可以看作对所标记资源的一种非常精简的内容描述。我们首次尝试将这些信息整合到基于物质扩散的推荐算法中,并且在精确性和多样性方面均取得非常明显的提高。这一工作推动了一系列后续的基于标签的信息挖掘研究【5】。

6)尽管复杂网络中的链路预测问题不乏讨论,但是对于含权网络的讨论较少。一种直观的想法是权重较大的链路在预测中起到决定性的作用,该观点也被最近基于一个问答系统的实际分析所验证。但是我们恰恰与此观点相反,我们发现大部分网络中权重较小的链路反而起到了更关键的作用。我们通过“模块统计分析”给出了如何预先判断该网络中权重大小与链路预测能力强弱关系的方法。尽管“弱连接理论”声称在维持网络连通能力和稳定性方面权重较小的链路更加重要,但是在信息挖掘领域,我们第一次强调了弱链接的重要性,从而从根本上质疑了含权网络链路预测的直观理念和已知结果。因此我们发表了一篇本项目迄今为止最为有趣的一篇论文【6】!

7)我们提出一种自洽的迭代框架【7】。只要一种推荐算法能够表达为一个矩阵算子对于用户-资源关联矩阵上的操作,该算法就可以通过迭代寻优的方式提高原算法的精确性。这个方法已经被证明对于协同过滤和矩阵分解是适用的。

8)从不同渠道得到的对于同一个对象的推荐信息有可能包含着严重的冗余!如何去除这种可能存在但又无法直接检验的冗余信息是一个新的挑战。我们设计了一种利用二阶关联的方式,能够简单快速的去除可能的冗余信息。在基于物质扩散的推荐算法框架下,我们提出的方法能够将精确性提高20%30%,所得到的结果是目前本项目所有工作中最为精确的,甚至超过了名噪一时的LDA算法。见论文【8

9)推荐系统的研究受到了信息科学、计算数学、统计物理学、认知科学等多学科的关注,它与管理科学、消费行为等研究也密切相关。根据推荐算法的不同,我们在自然科学进展[9]中分别介绍了协同过滤系统,基于内容的推荐系统,混合推荐系统,以及最近兴起的基于用户—产品二部图网络结构的推荐系统.并结合这些推荐系统的特点以及存在的缺陷,提出了改进的方法和未来可能的若干研究方向。此文能够为不同学科领域的科研工作者研究推荐系统提供借鉴,有助于我国学者了解该领域的主要进展,也是本项目最重要的一篇总结性论文【910】。

10)根据推荐系统任务的不同, 文献[10]介绍了不同的准确性度量指标以及各自的优缺点;介绍了准确度之外的其它指标,例如推荐多样性、覆盖率等;指出了目前评价指标存在的缺陷,以及未来可能的改进方向。本文是本项目研究中重要而比较通俗的的总结性论文【11.

(11)信息物理项目的其他研究方面:我们的研究发现,在基于网络扩散的推荐算法中,放置在对象上的初始待扩散资源对于推荐结果有很大影响。研究人员设计了一种可以调节对象初始资源的方法,针对MovieLens的数据实验表明,适度降低流行对象的影响力可以明显提高推荐的精确度【12】,并且提高推荐的多样性。文章发表在2008年的《欧洲物理快报》上【13,14】。

提出了一种普适的方法,可以把基于矩阵算子的一切推荐算法转化为一种迭代寻优的方式。数值实验显示,这种方法可以快速收敛,并且算法精确度比经典的协同过滤和SVD分解提高很多,分别是7%10%。文章发表在《欧洲物理快报》上【15】。

针对基于网络的扩散算法,提出了一种新的含权推荐算法,可以把原算法的精确度提高10%左右。文章发表在《荷兰物理A》上【16,17】。

标签,或者关键词,是对象文本信息的总结和抽象,可以应用于推荐算法并获得很好的结果。本文实证研究了多个国际期刊上关键词的统计特性,为开展基于关键词的推荐算法研究奠定了基础。文章发表在《欧洲物理学杂志B》上。

提出了一种新的度量用户之间和对象之间的相似度的计算方法,把这个方法应用到基于用户和对象的协同过滤算法中,可以明显提高推荐的精确度,提高程度分别是14%12%。文章发表在《荷兰物理A》上。

 

参考文献

 

[1].   Tao Zhou, Zoltan Kuscsik, Jian-Guo Liu, Matus Medo, Joseph Wakeling, Yi-Cheng Zhang, Solving the apparent diversity-accuracy dilemma of recommender systemsPNAS, 107 (2010) 4511-4515.

[2].   Tao Zhou, Linyuan Lü, Yi-Cheng Zha, Predicting missing links via local information. European Physical Journal B 71 (2009) 623–630.

[3].   Matus Medo, Yi-Cheng Zhang, Tao ZhouAdaptive model for recommendation of news. Europhysics Letters 88 (2009) 38005.

[4].   Tao Zhou, Luo-Luo Jiang, Ri-Qi Su, Yi-Cheng ZhangEffect of initial configuration on network-based Recommendation.Europhysics Letters 81 (2008) 58004.

[5].   Zi-Ke Zhang, Tao Zhou, Yi-Cheng ZhangPersonalized recommendation via integrated diffusion on user-item-tag tripartite graoh.Physica A 389 (2010) 179.

[6].   Linyuan Lü, Tao ZhouLink Prediction in weighted networks: The role of weak ties. Europhysics Letters 89 (2010) 18001

[7].   Jie Ren, Tao Zhou, Yi-Cheng ZhangInformation filtering via self-consistent refinement. Europhysics Letters 82 (2008) 58007.

[8].   Tao Zhou, Ri-Qi Su, Run-Ran Liu, Luo-Luo Jiang, Bing-Hong Wang, Yi-Cheng Zhang. Accurate and diverse recommendations via eliminating redundant correlationsNew Journal of Physics 11 (2009) 123008.

[9].   刘建国,周涛,汪秉宏,个性化推荐系统的研究进展,自然科学进展,20091月,第19卷,1-15.

[10].Jian-Guo Liu, Michael Zhi-Qiang Chen, Jian-Chi Chen, Fei Deng, Hai-Tao Zhang,       Zi-Ke Zhang, Tao Zhou.  Recent Advances in Personal Recommneder Systems. International Journal of Information and Systems Sciences 5 (2009) 230–247

[11].刘建国,周涛,郭强,汪秉宏,个性化推荐系统评价方法综述,复杂系统与复杂性科学,20099月,第6卷,1-10.

[12].Tao Zhou, Jie Ren, Matus Medo, Yi-Cheng Zhang. Bipartite network projection and personal recommendation. Phys. Rev. E, 76 (2007) 046115

[13].Zi-Ke Zhang, Linyuan Lü, Jian-Guo Liu, Tao Zhou. Empirical analysis on a keyword-based semantic system. European Physical Journal B 66 (2008) 557

[14].Tao Zhou, Luo-Luo Jiang, Ri-Qi Su, Yi-Cheng Zhang. Effect of initial configuration on network-based recommendation. Europhysics Letters 81 (2008) 58004.

[15].Duo Sun, Tao Zhou, Jian-Guo Liu, Run-Ran Liu, Chun-Xiao Jia, Bing-Hong Wang. Information filting based on transferring similarity. Physical Review E 80 (2009) 017101.

[16].Chun-Xia Jia, Run-Ran Liu, Duo Sun, Bing-Hong Wang. A new weighting method in network-based recommendation. Physica A 387 (2008) 5887.

[17].Run-Ran Liu, Chun-Xiao Jia, Tao Zhou, Duo Sun, Bing-Hong Wang. Personal recommendation via modified collaborative filtering.Physica A 388 (2009) 462.

[18].Linyuan Lü, Ci-Hang Jin, Tao Zhou. Similarity index based on local paths for link prediction of complex networks.Physical Review E 80 (2009) 046122

[19].Ming-Sheng Shang, Linyuan Lü, Wei Zeng, Yi-Cheng Zhang, Tao Zhou. Relevance is more significant than correlation: Information filtering on sparse data.Europhysics Letters 88 (2009) 68008

[20].Ming-Sheng Shang, Ci-Hang Jin, Tao Zhou, Yi-Cheng Zhang.Collaborative filtering based on multi-channel diffusion.       Physica A 388 (2009) 4867-4871

[21].Jian-Guo Liu, Tao Zhou, Bing-Hong Wang, Yi-Cheng Zhang. Effects of User’s Tastes on Personalized Recommendation, International Journal of Modern Physics C 20 (2009) 1925

[22].Jian-Guo Liu, Tao Zhou, Bing-Hong Wang, Yi-Cheng Zhang, Qiang Guo. Degree Correlation of Bipartite Network on Personalized Recommendation. International Journal of Modern Physics C 21 (2010) 137

[23].Jian-Guo Liu, Tao Zhou, Hong-An Che, Bing-Hong Wang, Yi-Cheng Zhang. Effects of high-order correlations on personalized recommendation for bipartite networks. Physica A 389 (2010) 881

[24].Ming-Sheng Shang, Zi-Ke Zhang, Tao Zhou, Yi-Cheng Zhang. Collaborative filtering with diffusion-based similarity on tripartite graphs. Physica A 389 (2010) 1259

[25].Jian-Guo Liu, Bing-Hong Wang, Qiang Guo, Improved Collaborative Filtering Algorithm Via Information Transformation,International Journal of Modern Physics C 20(2) (2009) 285.

 

 

Recommendation Systems, Information Filtering and Internet-Based Information-Physics*

Bing-Hong Wang 1, 2 , Tao Zhou1, 3, 4, Jian-Guo Liu 2, 4

1,Department of Modern Physics, University of Science and Technology of China, Hefei 230026, PR China

2 Research Center of Complex Systems Science, University of Shanghai for Science and Technology, Shanghai 200093, PR China;

3: Web Science Center, University of Electronic Science and Technology of China, chengdu 610054, PR China;

4Department of Physics, University of Fribourg, CH-1700 Fribourg, Switzerland

 

Abstract: This paper presents some published works and recent progresses in recommendation systems, information filtering and Internet-based information physics developed by the following four affiliations, including Complex Systems research group of Department of Modern Physics, University of Science and Technology of China, Research Center of Complex Systems Science, University of Shanghai for Science and Technology, Web Science Center, University of Electronic Science and Technology of China and Department of Physics, University of Fribourg. These works are supported by the following NSFC foundations: The complex system dynamics and statistical behaviors studies based on complex networks (Key project 2007-2010); Statistical analysis of the dynamic evolution networks and information filtering( Director foundation of Information department of NSFC 2008-2009), Human Behavior, Dynamics and Statistics Mechanics (2010-2012); and the key project of Important research plan for non-conventional incident emergency management (2011-2013).

 



https://wap.sciencenet.cn/blog-4673-362783.html

上一篇:教师节有感
下一篇:人类行为动力学研究
收藏 IP: .*| 热度|

5 章成志 贾春晓 闫小勇 杨华磊 windward

发表评论 评论 (3 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-28 17:08

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部