GDELT到底是啥?

sw

基于全球事件、国际关系等研究的诉求,借助于3S及大数据技术的应用,一种全新的数据库应运而生,这就是GDELT。与传统的CNKI、SCI、EI、AGU、SSCI、CSSCI、Nature、Medalink、Elsevier、ScienceDirect、Geoscience、ASCE、EBSCO、ACS、GeoRef等数掘库不同,GDELT具有复杂性、及时性、立体性、时空性、全域性、全球性等特点。GDELT的诞生,不仅为全人类的生活、学习、工作提供了不一样的理念,为全球各种全球复杂性研究提供了全新的思想、方法和技术手段。尤其是对数据科学、大数据、时空数据挖掘、大数据分析,乃至空间交互网络、时空大数据分析、复杂网络、国际关系、全球事件分布研究等,成为不可或缺的崭新的研究思路方法和技术手段。


GDELT是什么?

GDELT即GlobalDatabaseofEvents,Language,andTone的缩写,翻译过来就是全球事件、语言和语气数据库。GDELT项目是全球人类社会开放研究的实时网络图和数据库(TheGDELTProjectisarealtimenetworkdiagramanddatabaseofglobalhumansocietyforopenresearch,GDELT项目)。

GDELT是由GoogleJigsaw支持,美国乔治城大学教授KalevLeetaru于2013年创建并发布的一个新闻数据库。GDELT实时监测世界上印刷、广播、网络媒体中的新闻,对其进行分析,提取出人物、地点、组织和事件类型等关键信息,涵盖了从1979年至今的新闻媒体数据并每15min进行更新。在国内也有人叫疙瘩汤。

GDELT是国外一个大数据存储项目,它提供了自1979年至今的全球广播、印刷和网络新闻媒体报道的事件,并按时间和位置索引。具体可以通过GDELT项目网站寻求服务。


GDELT项目背景

由于全球事件、国际关系等研究,具有复杂性、及时性、时空性、全球性等特点,迫切需要时空大数据分析技术为其提供新的思路方法和技术手段。大众媒体如报纸、广播、电视、新媒体等记录着世界上发生的各种各样的事件,蕴含着各种各样丰富的信息,非常有助于对人全球类社会进行大规模和长时间的分析。

GDELT是一个免费开放的新闻数据库,它实时监测世界上印刷、广播、网络媒体中的新闻,对其进行文本分析可提取出各种各样人物、地点、组织和事件等关键信息。


GDELT工作原理与数据库特征

每隔15分钟提供全球事件数据。每时每刻监控着每个国家的几乎每个角落的100多种语言的新闻媒体–印刷的、广播的和web形式的,识别人员、位置、组织、数量、主题、数据源、情绪、报价、图片和每秒都在推动全球社会的事件,GDELT为全球提供了一个自由开放的计算平台。这些事件从1979年1月1日开始一直到今日。迄今,GDELT目前的事件库约有3.5亿条事件数据。


GDELT数据库框架

GDELT为免费开放的数据库,它将提取出来的信息导出为CSV格式的表格,可以直接免费下载。

GDELT提供了多种数据集,其中事件库(EventDatabase)和全球知识图(GlobalKnowledgeGraph,GKG)为2个主要的数据集,会稳定进行发布和更新。

事件库(EventDatabase)提取了新闻中包含的2个参与者、发生在二者之间的事件、参与者位置及事件发生位置等信息,根据事件信息对新闻进行聚合,每一条数据代表一个事件。


GDELT提供的服务范围

具体可以通过网站进一步了解,并获取相应的服务。除了提供大众生活、学习相关数据服务外,对数据科学、大数据、时空数据挖掘、大数据分析,乃至空间交互网络、时空大数据分析、复杂网络、国际关系、全球事件分布研究等,成为不可或缺的崭新的思路方法和技术手段。

GDELT第一项服务就是免费的数据下载。同时GDELT还在谷歌的BigQuery上提供了数据API,这样您可以使用谷歌的分析工具进行分析。GDELT的数据除了事件数据外,还提供了GKG数据,也就是全球知识图(GlobalKnowledgeGraph)的数据。在国内您也可以到疙瘩汤()上下载数据。


GDELT数据每条记录有58个字段,通过上文链接可下载zip类型的gdelt数据压缩包,解压后为csv格式,每个csv文件内的数据均有58个字段(2013年3月以前的数据仅有57个字段,4月之后为58个字段,即多了url字段),这58个字段分为EVENTIDANDDATEATTRIBUTES,ACTORATTRIBUTES,EVENTACTIONATTRIBUTES,EVENTGEOGRAPHY,DATAMANAGEMENTFIELDS这五部分(谷歌GDELT数据说明。MoonBreeze_Ma,2017)。


GDELT提供了分析服务,您需要的查询条件输入到页面。选择好需要的服务即可在10分钟内收到含有您需要的数据。利用这些数据即可对其进行分析。主要的分析形式有:事件浏览器、事件网络、事件时间线、事件热力图、GKG网络、GKG时间线、GKG热力图、GKG浏览等等。

GDELT还提供了四个解决方案,分别为态势感知、影响着网络、风险评估与全球趋势、政策反响和人权与危机处理等。


新发现之旅:GDELT:一种全人类社会开放研究的实时网络图和数据库

GDELT相关参考文献

TheGDELTProject[EB/OL][2018-12-27].

LeetaruK,:Globaldataonevents,lo-cation,andtone,1979–2012[C]//,2(4):1-49.

LazerD,PentlandA,AdamicL,[J].Science,2014,323(1):721-723.

KangC,ization[J].ComputersEnvironmentUrbanSystems,2016,60:79-88.

EagleN,PentlandAS,[J].ProceedingtheNationalAcademyofSciencesoftheUnitedStatesofAmerica,2009,106(36):15274-15278.

MazzitelloKI,CandiaJ,[J].Inter-nationalJournalofModernPhysicsC,2007,18(9):1475-1482.

TheGDELTProject[EB/OL][2018-12-27].

LeetaruK,:Globaldataonevents,lo-cation,andtone,1979–2012[C]//,2(4):1-49.

KwakH,t[C]//InternationalConfer-enceonSocialInformatics,Cham:Springer,2014:300-308.

SuY,LanZ,LinYR,hquake[C]//IEEE,InternationalConferenceonCollaborationandIn-ternetComputing,IEEE,2016:495-499.

DegtyarevD,BadrutdinovaK,,RussiaandChina:DoesKissinger’sAmericanleadershipformulaapply?[J].Inter-nationalOrganizationsResearchJournal,2017,12(1):81-109.

BiS,GaoJ,WangY,,USA,China,andRussia:Insightsfrommediareports[C]//InternationalConferenceonBehavioral,,2015:38-42.

SagiDJB,gypolicy[J].InternationalJournalofInteractiveMultimediaandArtificialIntelligence,2016,3(6):38-43.

:Socialunrestpredictionusingtextualanalysisofnews[M].NewYork:StateUniversityofNewYorkatBinghamton,2014.

lt[EB/OL][2018-12-27].

.

QiaoF,LiP,ZhangX,[J].Dis-creteDynamicsinNatureandSociety,2017,2017:1-13.

KeneshlooY,CadenaJ,KorkmazG,:Agraph-basedap-proach[C]//ACMConference,ACM,2014:192-196.

QiaoF,s[C]//InternationalCon-ferenceonIdentification,Information,andKnowledgeintheInternetofThings,IEEE,2015:94-97.

ElshyM,:Hintstoforecastmacroeconomicindica-tors[J].InternationalJournalofEngineeringBusinessManagement,2017,9:1-12.

PhuaC,FengY,JiJ,:ExperimentsonGDELT,Wikipedia,23and^STI[EB/OL][2018-12-27]..

ElshyM,ColladonAF,BattistoniE,[J].JournalofInformationScience,2018,44(3):408-421.

SharmaK,SehgalG,GuptaB,s[J].ScientificReports,2017,7(1):8283.

YuanY,LiuY,:AcasestudyofChina[J].ComputersEnvi-ronmentUrbanSystems,2017,62:86-96.

:Atime-seriesanalysis[C]//,Cham,2017:183-190.

BoccalettiS,LatoraV,MorenoY,:Structureanddynamics[J].PhysicsReports,2006,424(4):175-308.

DueñasM,:Agravityapproach[J].JournalofEconomicIn-teractionCoordination,2013,8(1):155-178.

DavisKF,D'OdoricoP,LaioF,:Acomplexnetworkper-spective[J].PlosOne,2013,8(1):e53723.

AllGDELTEventFiles[EB/OL][2018-12-27]..

AllgdeltGKGFiles[EB/OL][2018-12-27]..

GernerDJ,SchrodtPA,YilmazO,(ConflictandMediationEventObservations):Aneventdataframeworkforapostcoldwarworld[C]//annualmeetingoftheAmericanPoliticalScienceAssoci-ation,2002:29.

BarabásiAL,[J].science,1999,286(5439):509-512.

[J].Language,1933,9(1):89-92.

[M].NewYork:Springer,2008.

ClausetA,ShaliziCR,[J].SIAMreview,2009,51(4):661-703.

龚为纲,朱萌.社会情绪的结构性分布特征及其逻辑——基于互联网大数据GDELT的分析[J].政治学研究,2018(4):90-102.

沈石等.GDELT:感知全球社会动态的事件大数据.世界地理研究,2020(1):71-76.

龚为纲等.2018.社会情绪的结构性分布特征及其逻辑——基于互联网大数据GDELT的分析.政治学研究.2018(4):15-20.

秦昆,2019.GDELT数据网络化挖掘与国际关系分析..


新发现之旅:GDELT——全人类社会开放研究的实时网络图和数据库

文章版权声明:除非注明,否则均为纵投光影网原创文章,转载或复制请以超链接形式并注明出处。

上一个 徐静蕾促成《风犬》与张一白合作,中二风格有争议但改不了

下一个 深圳首个!古树保护与社区治理融合微改造项目在光明启用