1、离线搜集工具：ETL

在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集工具：Flume/Kafka

实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。

3、互联网搜集工具：Crawler, DPI等

Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。

除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。

1.开源大数据生态圈

Hadoop HDFS、Hadoop MapReduce, HBase、Hive渐次诞生，早期Hadoop生态圈逐步形成。

开源生态圈活跃，并免费，但Hadoop对技术要求高，实时性稍差。

2.商用大数据分析工具

一体机数据库/数据仓库（费用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

数据仓库（费用较高）

Teradata AsterData, EMC GreenPlum, HP Vertica等等。

数据集市（费用一般）

QlikView、 Tableau、国内永洪科技Yonghong Data Mart等等。

前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau、国内永洪科技Yonghong Z-Suite等等。

我推荐一些常用的大数据分析工具

1.专业的大数据分析工具

2.各种Python数据可视化第三方库

3.其它语言的数据可视化框架

一、专业的大数据分析工具

1、FineReport

FineReport是一款纯Java编写的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。

2、FineBI

FineBI是新一代自助大数据分析的商业智能产品，提供了从数据准备、自助数据处理、数据分析与挖掘、数据可视化于一体的完整解决方案，也是我比较推崇的可视化工具之一。

FineBI的使用感同Tableau类似，都主张可视化的探索性分析，有点像加强版的数据透视表。上手简单，可视化库丰富。可以充当数据报表的门户，也可以充当各业务分析的平台。

二、Python的数据可视化第三方库

Python正慢慢地成为数据分析、数据挖掘领域的主流语言之一。在Python的生态里，很多开发者们提供了非常丰富的、用于各种场景的数据可视化第三方库。这些第三方库可以让我们结合Python语言绘制出漂亮的图表。

1、pyecharts

Echarts(下面会提到)是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。当Python遇上了Echarts，pyecharts便诞生了，它是由chenjiandongx等一群开发者维护的Echarts Python接口，让我们可以通过Python语言绘制出各种Echarts图表。

2、Bokeh

Bokeh是一款基于Python的交互式数据可视化工具，它提供了优雅简洁的方法来绘制各种各样的图形，可以高性能的可视化大型数据集以及流数据，帮助我们制作交互式图表、可视化仪表板等。

三、其他数据可视化工具

1、Echarts

前面说过了，Echarts是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。

大家都知道去年春节以及近期央视大规划报道的百度大数据产品，如百度迁徙、百度司南、百度大数据预测等等，这些产品的数据可视化均是通过ECharts来实现的。

2、D3

D3（Data Driven Documents）是支持SVG渲染的另一种JavaScript库。但是D3能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。

大数据处理的技术栈共有四个层次，分别是数据采集和传输层、数据存储层、数据处理和分析层、数据应用层。

1、数据采集和传输层：这一层主要负责从各种数据源收集数据，并将数据传输到数据中心。常用的技术包括Flume、Logstash、Sqoop等。Flume和Logstash主要用于日志数据的采集，Sqoop则用于从关系型数据库中导入导出数据。

2、数据存储层：这一层主要负责数据的持久化存储。常用的技术包括HDFS、HBase、Cassandra等。HDFS是一个分布式文件系统，适合存储大量非结构化数据。HBase是一个分布式列存储数据库，适合存储大量结构化数据。

3、数据处理和分析层：这一层主要负责对存储在数据中心的数据进行加工和处理，以提取有价值的信息。常用的技术包括MapReduce、Spark、Flink等。MapReduce是一个分布式计算框架，适合处理大量批处理任务。

4、数据应用层：这一层主要负责将处理后的数据应用于各种业务场景，如数据分析、数据挖掘、机器学习等。常用的技术包括Hive、Pig、Drill等。Hive是一个基于Hadoop的数据仓库工具，支持SQL查询。Pig是一个高级数据流语言，用于描述数据的转换和映射。

大数据处理的作用：

1、商业智能与决策支持：大数据处理能够从海量、多源、异构的数据中提取有价值的信息和洞察。通过高级分析和数据挖掘技术，企业可以揭示隐藏的市场趋势、消费者行为模式和业务性能指标，从而做出数据驱动的决策，优化战略规划和业务运营。

2、实时监控与风险预警：大数据处理能够实现实时或近乎实时的数据分析，帮助企业监控关键业务指标和异常情况。通过对大量数据的持续监测和模式识别，系统可以及时发出风险预警，帮助企业预防潜在的问题，如供应链中断、金融欺诈或医疗紧急情况。

3、个性化服务与用户体验提升：大数据处理能够深度了解用户的需求、偏好和行为特征。基于这些信息，企业可以提供个性化的产品推荐、营销策略和服务体验，提高用户满意度和忠诚度。例如，电子商务平台利用大数据分析来实现精准营销和个性化购物推荐。

以上内容参考：百度百科-大数据