数据资源获取方式汇总一下?在哪找数据/数据交易平台/数据api接口?

最近写了篇文章,正好回答你的问题

补充两句放在这里和大家交流,也欢迎引用

首先说一下,大数据这个概念不出意外的话会逐渐落地,找数据也应该会越来越容易,我汇总一下目前常用的手段,有更新之后抽空再补充。

总体来说英文数据(西方世界为主)还是更容易找,一方面是几个世界性组织提供大量的公开源数据,下面会提到,另一方面大数据这个领域还是要比国内领先几年,相对也更开放一点。但就目前来看,不管国内国外,大量获取数据还是没有特别理想的渠道。否则也用不着总结了。

下面说说,以国内为主,关注国外的可以quora和google再找找

统计数据

1.国家统计局(主要在“国家数据”网站上)

数据范围涵盖各行各业,时间跨度也较大,可下载为各种常见格式 csv,xls,xml,pdf等等

以统计数据为主,但在国内极具说服力,是根红苗正的官方数据

2.政府各部门

政府网站通常有统计数据,但不同部门数据量有多有少,目前为止数据并不算深入,但随着数据开放政策的深入,相信政府网站会成为很好的数据源。部门列表可以在中国政府网找

3.咨询公司

新浪的股票查询接口_新浪财经股票数据接口_sina财经股票 接口

咨询公司其实和大数据血缘很近,一直以来积累的可观的数据。咨询、金融、市场调研公司,尤其是业内顶尖的,通常有自己的数据库,部分数据可直接联系对方购买

4.行业协会

行业协会拥有大量的数据,但一般不公开,需要申请或购买

5.年鉴

大部分主要行业都有自己的年鉴,数据比较宝贵,只是给机器用之前还需要处理;价值高的年鉴通常需要付费获取;这里推荐一下人大经济论坛,氛围较好

各行业数据

* 由于工作需要到处搜罗数据,总结了以下的渠道,但毕竟个人精力有限,不能深入每一个领域,希望其他同志补充和批评

* 行业数据均可以在相应的政府主管部门网站上找,大多有统计数据,量大量少不一定

【财经数据】

1.经济数据库:CEIC、国泰安、锐思、资讯行(均需付费,部分数据提供下载)

sina财经股票 接口_新浪财经股票数据接口_新浪的股票查询接口

2.监管部门网站:证监会、银监会、上交所、深交所、巨潮、股转系统、大商所、郑商所(有免费数据)

3.金融市场网站:中国货币网、中国债券信息网、上海期货交易所、上海黄金交易所

4.财经终端:不少免费版的财经/股票终端都可以导出数据,属优质数据源;这类企业都有优质数据,但是否出售不一定,且价格不菲

5.门户网站:如新浪财经可以下载大量的证券数据(免费)

6.通联:提供大量财经api接口,覆盖面较广

7.量化交易平台:近几年新兴的技术产品,可以在这类平台上获取大量历史数据

8.投融资:IT桔子、清科数据库

9.国外资源:WITS,WORLD BANK,IMF,YAHOO,Quandl(大量财经api接口,可导出各种格式)等,这类国际性机构(除最后两个)数据免费公开

【第一第二产业】

1.农业数据:目前以统计数据为主,行业门户网站和细分领域网站的数据通常无法直接调用,只能在线浏览(其中,中华粮网较有代表性)

2.农业数据提供商:如艾格农业、布瑞克,但目前数据的总体质量达不到预期(至少表面是这样,由于没有购买过人家的数据,不敢妄下定论)

3.工业数据:类似农业数据,也只有少数数据商,典型如钢联、煤炭资源网等

新浪的股票查询接口_新浪财经股票数据接口_sina财经股票 接口

* 总而言之,传统领域的数据,随着物联网技术的发展,获取难度会降低、应用价值将提高,预计在未来会有不错的上升空间,采集和获取都会更容易

【贸易数据】

1.海关总署以及相关/下属网站(包括但不限于:海关统计资讯网、海关信息网)都有不少数据,部分免费、部分可下载(商务部网站的大量数据目前不能下载,有点可惜,但估计也快松口了)

2.综合性网站:慧聪、卓创资讯,免费浏览,付费没试过,但以他们的资讯量来说数据也少不了

3.数据商:可以在百度和上面提到的数据平台上找到不少这类的数据撮合商(经验是,高质量的数据需要付费获取)

4.国外数据:WTO,UN COMTRADE有大量高质量的数据可免费使用(英文)

【其他传统行业】

1.地产数据:CRIC、中指是主要信息商,有少数的门户网站有可下载的地产数据

2.物流运输:快递行业得益于电商的带动,有不少API接口,百度上一搜一片,但大部分属于业务性质的应用,并非典型的数据资源;不过目前包括交通运输部、海事局在内的网站,都找不到太有价值的交通、物流数据

3.地图/地理数据:网上可以找到很多地图api接口(知名的如百度、高德、腾讯),但地图信息商并不多(典型如四维图新、中科宇图等)

新浪的股票查询接口_sina财经股票 接口_新浪财经股票数据接口

4.吃穿住行:此类数据主要出现在上面提到的api接口平台(旅游、天气、交通、住宿等);UGC数据是其中的亮点,但出于商业原因此类数据很难直接购买(爬虫另说)

【互联网企业】

由于行业的天然属性,IT企业都较重视自身的数据,因此在公开源很难找到相关的数据源,大部分知名企业选择以api接口的形式(或营销行业的DMP)供外部合作伙伴调用自身的数据,例如淘宝api、携程api、豆瓣api等

【科研数据】

这部分内容会在未来再单写一篇;目前相对活跃的数据有:遥感数据(已经有中国资源卫星应用中心、遥感集市、地理空间数据云等平台撮合交易)、地理数据(上面提到过),其他的科研数据笔者关注过的并不多,没有见到相关的数据集散地(作者的水平还够不着科学圈,勿喷)

数据交易平台

这部分内容参考了“北京秋”的文章“走马观花:国内各路大数据交易平台现状,已和作者联系,在此鸣谢,内容上不做过多发挥

【政府牵头】

1.地区性数据交易平台:贵州、上海、北京、江苏、武汉、哈尔滨、海南等

2.模式:部分采用会员制,提供交易的场所以及必要的技术支持,收取交易费;部分仅提供在线交易平台

3.特点:享有庞大的政府数据资源,并且联合各行业的龙头企业

【API平台】

1.列表:apistore、京东万象、聚合、阿凡达、showapi、haoservice、极速数据、apix、通联数据商城

2.模式:按调用量收费

3.特点:即时性很好,质量相对有保障,并且可以更大程度保护数据所有者的权益

【淘宝模式】

1.列表:数粮、数据宝

2.模式:数据商入驻,创造良好的交易环境、鼓励交易

3.特点:数据范围较广、态度开放,比起到处搜罗数据方便很多,有潜力进一步发展

【数据包定制/下载】

1.列表:数多多、大海洋、发源地

2.模式:以数据下载和定制为主

3.特点:有一定的固定用户不断提供新鲜数据,可以定制采集

【其他】

1.列表:数据堂、优易数据、数据淘

2.特点:目前的数据平台(包括未列举的和不断出现的新兴平台)都比较有自己的特点,希望这些平台能够共同推动数据市场的成熟

未经允许不得转载:原子财经网 » 数据资源获取方式汇总一下?在哪找数据/数据交易平台/数据api接口?

赞 (0) 打赏

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏