什么是大数据？什么是数据挖掘：数据沉淀、数据挖掘和数据呈现的概念

关键词：数据挖掘是什么,大数据和数据挖掘的区别

大数据咱听的够多了，百度一下，就“为您找到相关结果约7,150,000个”，可它到底是个什么东西，解读甚多，眼花缭乱的没个准。本文整理修改自知乎的一个问答，作者是大数据解决方案公司一面数据的创始人何明科，他尝试用大白话解释了数据沉淀、挖掘、呈现三个概念，从中我们也能看到整个行业的大致状况。如有补充，欢迎评论互动～

对于国内数据分析市场，我们感觉如下：

市场巨大，许多企业(无论是互联网的新锐还是传统的企业)都在讨论这个，也有实际的需求并愿意为此付钱，但是比较零碎尚不系统化。目前对数据需求最强烈的行业依此是：金融机构(从基金到银行到保险公司到P2P公司)，以广告投放及电商为代表的互联网企业等。

尚没出现平台级公司的模式(这或许往往是大市场或者大机会出现之前的混沌期)。

To B服务的氛围在国内尚没完全形成，对于一些有能力的技术公司，如果数据需求强烈的话，考虑到自身能力的健全以及数据安全性，往往不会外包或者采用外部模块，而倾向于自建这块业务。

未来BAT及京东、58和滴滴打车等企业，凭借其自身产生的海量数据，必然是数据领域的大玩家。但是整个行业很大而且需求旺盛，即使没有留给创业公司出现平台级巨型企业的机会，也将留出各种各样的细分市场机会让大家可以获得自己的领地。

对于数据业务，按照我们的理解，简单将其分为三块：数据沉淀、挖掘和可视化，每一块分别对应不同的模式及产品或服务。(数据挖掘业务又被细分为分析、理解及存储。)下面会进行简单介绍，其实从我们的业务也可以看到一些整个行业的大致状况。

用大白话说就是数据抓取。目前有四大方式获取数据 ：

网络爬虫，用Python及Go等开发自己的爬虫平台，对几十个网站进行每日抓取获得相关信息(详见：能利用爬虫技术做到哪些很酷很有趣很有用的事情? – 何明科的回答)

Wi-Fi接入方案，比如我们自己就开发了一套完整的软硬件方案，优势是高ROI(投资回报比)，且免费提供给物业管理者，帮助其实现靠网费赚钱以及推广费赚钱。在与其协商的基础上，获得用户数据。这主要是OpenWRT的开发以及一些智能硬件和客户端的开发。

提供一些图像方面的API，进行图片搜索及人脸搜索，满足客户在图像处理和图像识别方面的一些需求，同时获取相关的图像数据。涉及到一些Machine Learning和Deep Learning的算法，使用C++/Open CV/Matlab等工具或模块。

数据服务需求方自行提供。

这部分是按照数据销售的方式向客户收费。

　　 数据挖掘

用大白话说，就是利用数据分析产生深层次有价值的理解。

基于以上各种方式获得的数据，我们可以做最简单的统计分析、用户及品牌理解、用户画像、各品牌或各产品型号之间的关系等等，了解现在和历史并争取预测未来。

常用的工具是Python/R/SPSS等，算法包括最简单的统计、稍微复杂一些的Machine Learning、现在被捧上天的Deep Learning以及Collaborative Filtering等等，也需要使用到Hive等大数据处理平台。

　　数据呈现

用大白话说，就是把分析结果用最美观和最容易理解的方式(图标或者图形)展现出来。

目前，行业大概有几种玩法：

网站(兼容PC端和移动端)：提供给付费的B端客户，不对外公开，大致形式如下：

提供一个SaaS的公有云平台，方便大家把自己的数据制作成为便于在网上特别是移动端传播的图文报表。产品的逻辑很简单：读数读图的需求越来越强烈，但是却缺乏这样的工具或者平台来制作图文并茂的内容，即使是Excel，也不能制作出适合于网络传播的图文内容。

这部分主要是赚吆喝和汇集流量，怎么赚钱目前尚不清楚。

大数据和数据挖掘的区别：

数据挖掘需要人工智能、数据库、机器语言和统计分析知识等很多跨学科的知识。
数据挖掘的出现需要条件:
1、 海量的数据。
2、 计算机技术大数据量的处理能力。
3、计算机的存储与运算能力。
4、 交叉学科的发展。
大数据是包含数据挖掘的，两者是息息相关的。

大数据就是文字，图片，音乐，视频
数据挖据就是：如果你想要图片你就搜图片而不是搜视频就这么简单

通个人观点，最通俗的讲就是：现在的市场模式是商场一般是在人居住最多的附近开，这样大家会集中去一个地方购物消费，类似于淘宝建立了一个商店，大家都集中在一个地方购物。
而大数据是恰恰相反的市场模式，通过互联网大家之间没有什么距离了，剩下的就是靠商家搜集大家平时的搜索关键词，对产品的不满意，以及想法搜集整理，然后做出产品在满足市场需求的一个模式，这个包含了市场调研的工作。大大节省开发成本和人们需求的判断。

以前公司是自己去调研，然后开发产品，再通过销售中用户的意见进一步改进
而大叔据的来临，我们可以通过互联网非常方便的搜集信息，然后进行调研，问答然后做出更加完善的产品，就是产品的更新周期将大大压缩，凡是一成不变的公司将全部死掉

大数据时代是人人创业的时代，谁发现需求，谁去满足需求就可以盈利
所以也算是一个乱世，群雄四起。也是细分化市场的年代

大数据说到底就是人们的行为习惯而已，商人利用的只是数据中的需求数据部分

转载请注明：数据分析 » 什么是大数据？什么是数据挖掘：数据沉淀、数据挖掘和数据呈现的概念