有哪些网站用爬虫爬取能得到很有价值的数据？

题主是个web程序员，最近想转去做数据分析，先练习的爬虫（python），各种爬取技巧以及多网站爬取等已经掌握，但发现转方向最无奈的是方向（要抓什么数据来干什么）比较迷茫，希望有前辈给予指导，哪些网站的数据抓取下来能获得有分析价值的数据，或者前辈的经验。
更新神器：
1.下面提到的Quandl网站有一个他们自己的Python库，叫Quandl，可惜也是收费的。

pip install Quandl

2.TuShare -财经数据接口包 国内好心人做的开源财经数据接口（觉得好的可以捐助一下）。这里几乎可以获取到A股的所有信息了，还包括一些经济数据。重点是他不仅免费，还提供了一个Python库tushare。

pip install tushare

import tushare as ts

这样一来你便可以通过这个库方便地获取大量A股信息了。

——————————————以下为原答案——————————————
一大波数据来袭！

题主问了有什么网站，能用来做什么。我给出几个API网站吧，做APP用的可能比较多，不过也可以用在日常生活中。

一、生活服务

1.手机话费充值。手机话费充值数据服务
2.天气查询。天气查询数据服务
3.快递查询。快递查询服务数据服务
4.健康食谱。健康食谱数据服务
5.查医院。医院大全数据服务
6.水电煤缴费。水电煤缴费数据服务
7.电影大全。电影大全数据服务
8.谜语、歇后语、脑筋急转弯。猜一猜数据服务
9.音乐搜索。音乐搜索接口数据服务
10.健康知识。健康知识数据服务
11.百度糯米、团购等信息。糯米开放api数据服务
12.彩票开奖。彩票开奖查询数据服务

以上接口都来自网站：
APIX_国内领先的云数据服务平台_API接口服务平台

细心 的人会发现，这些功能简直是遍地都是啊，支付宝、微信什么的一大堆，哪用那么麻烦！

是的，但我相信这些可能为一些不太了解相关信息的人提供了帮助。不过，虽然这些功能很多APP都有，如果自己有空闲时间又懂得编程，不喜欢别人的UI设计，自己做一做也是挺好玩的。比如：

生活枯燥了，把这些谜语歇后语等根据个人喜好定时推送到自己的手机，放松身心；
把一些健康小知识在空闲时间推送给自己，提醒自己；
……

国内类似的网站还有：
API数据接口_开发者数据定制
API Store_为开发者提供最全面的API服务
API数据接口_免费数据调用-91查|91cha.com

除此之外还有一些门户网站提供了一些API接口，比如豆瓣、新浪、百度等等。

二、金融数据
1.股票
①新浪财经
最多人用的就是新浪财经了，因为它是免费的，并且使用起来也不难。以下是网上找的教程：
获取历史和实时股票数据接口

②东方财富网
网站提供了大量信息，也是基本面投资者的好去处。可以查看财务指标或者根据财务指标选股（如净资产收益率）：选股器 _ 数据中心。这些都是很好的投资参考，当然还有其它功能有对应的API，可以自己分析一下。

③中财网
http://data.cfi.cn/cfidata.aspx提供各种产品的数据

（国内很多功能类似网站，如和讯、网易财经、雪球等等，具体的我没有一一试验就不放上来了，各位可以自己去试试，下同。）

2.大宗商品
①黄金头条——用资讯帮你赚钱！炒黄金，看黄金头条！黄金价格
这里提供了各种大宗商品的行情，也可以分析获取。包括技术分析方面。

②当然还有外国网站：Investing.com

3.美股等综合类（其实新浪财经和东方财富等也算是国内综合的了，就不一一列举了）
①Wind资讯。很多机构用的都是这里的数据，当然普通个人是拿不到的，不过如果你是财经院校的学生，他们会提供免费的数据。详见官网。

②Market Data Feed and API
外国网站，提供了大量数据，付费。有试用期。

③Quandl Financial and Economic Data
同上。部分免费。

④96 Stocks APIs: Bloomberg, NASDAQ and E*TRADE
外国网站整合的96个股票API合集，可以看看。

⑤雅虎财经
http://www.finance.yahoo.com/
https://hk.finance.yahoo.com/
香港版

三、其它

撇去上面的API不说，如果单单爬取网页上的内容下来，那就太多可以爬的了。如：

1.爬取网站上的图片。包括贴吧、知乎、Tumblr、轮子哥、XXX（你懂的）。

2.爬取影评、电影资讯、图书等等。比如豆瓣电影。轻轻松松掌握好书好电影。

3.爬取社交网络。比如新浪微博，Twitter。（Twitter提供了API，可以提交关键字等信息爬取搜索结果中的每一条内容。）爬完可以对整个社交网络群体做个分析，情绪、作息、区域……

4.一些网站有你喜欢的文章或者帖子，但是他们没有APP或者是APP做得不友好，你可以直接爬取页面信息推送到手机上。

5.做一个微信公众号。有了上面那么多数据，还怕公众号没东西？生活服务、选股器、行情分析、文章推送等等等。

……

转载请注明：数据分析 » 有哪些网站用爬虫爬取能得到很有价值的数据？