多策略融合的微博数据获取技术研究

王培名¹(),陈兴蜀^1,2,王海舟²,王文贤^3,*()

1. 四川大学计算机(软件)学院，四川 成都 610065
2. 四川大学网络空间安全学院，四川 成都 610065
3. 四川大学网络空间安全研究院，四川 成都 610065

收稿日期:2018-10-17出版日期:2019-05-20发布日期:2019-05-09
通讯作者:王文贤E-mail:resolvewang@foxmail.com;catean@scu.edu.cn
作者简介:王培名(1993—),男,硕士研究生,研究方向为社交网络和信息安全. E-mail:resolvewang@foxmail.com
基金资助:国家自然科学基金资助项目(61802270);国家自然科学基金资助项目(61802271);国家“双创”示范基地之变革性技术国际研发转化平台资助项目(C700011);四川省重点研发资助项目(2018G20100);四川省科技支撑计划项目(2016GZ0038);中央高校基本科研业务费专项资金资助(2017SCU11065)

Research on microblog data collection based on multiple hybrid strategy

Pei-ming WANG¹(),Xing-shu CHEN^1,2,Hai-zhou WANG²,Wen-xian WANG^3,*()

1. College of Computer Science, Sichuan University, Chengdu 610065, Sichuan, China
2. College of Cybersecurity, Sichuan University, Chengdu 610065, Sichuan, China
3. Cybersecurity Research Institute, Sichuan University, Chengdu 610065, Sichuan, China

Received:2018-10-17Online:2019-05-20Published:2019-05-09
Contact:Wen-xian WANG E-mail:resolvewang@foxmail.com;catean@scu.edu.cn

Supported by:国家自然科学基金资助项目(61802270);国家自然科学基金资助项目(61802271);国家“双创”示范基地之变革性技术国际研发转化平台资助项目(C700011);四川省重点研发资助项目(2018G20100);四川省科技支撑计划项目(2016GZ0038);中央高校基本科研业务费专项资金资助(2017SCU11065)

摘要/Abstract

摘要： 微博正逐步成为公共信息传播的主要社交媒体，高效地获取微博数据对于网络舆情分析具有重要意义。以新浪微博为研究对象，研究了通过微博API、模拟登录和构造访客Cookie进行数据采集的3种方案，提出了一种多策略融合的微博数据采集方案。针对模拟登录的方案设计实现了自适应的并发采集算法，使数据采集较为稳定高效；针对构造访客Cookie的方案设计实现了高可用代理池模块，进一步提高了数据采集效率。实验结果表明，基于模拟登录的自适应并发采集策略和构造访客Cookie融合的方案能够高效、全面、稳定地获取微博数据。


PDF全文下载地址:

http://lxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3076