1、离线搜集工具：ETL

在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集工具：Flume/Kafka

实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。

3、互联网搜集工具：Crawler, DPI等

Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。

除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。

月球车主要收集地形地貌数据和物质成分数据。

月球车是一项技术复杂、要求严格的研究开发任务，开发者除了要突破、掌握同机器人相关的轻型机械、机构、遥操作、自主导航和机械臂等技术外，更重要的是要在按航天器的规范与标准研制管理上多下工夫。

月球车主要收集地形地貌数据和物质成分数据。地形地貌数据是通过激光雷达进行探测，获取月面地形地貌信息。这些信息可以生成地形地貌图，为后续登月任务提供基础数据。物质成分数据则是通过搭载的粒子检测与分析设备，对月球表面元素及矿物成分进行分析，以了解月球表面的组成成分。这些数据有助于科研人员研究月球地质演化、形成原因等。

月球车的基本功能

从某种意义上说，月球车属于机器人技术。月球车无论是轮式的还是腿式的，都应具有前进、后退、转弯、爬坡、取物、采样和翻转（跌倒后能翻身）等基本功能，甚至具有初级人工智能（例如，识别、爬越或绕过障碍物等）。这些都与现代机器人所具有的功能相似。

月球车是一个可移动的平台，它要携带若干有效载荷，如探测仪器或挖掘采样器等。这些设备和装置必须小型化、轻型化。月球车通常作为月球轨道器的有效载荷，轨道器又作为运载火箭的有效载荷安装在火箭顶端直径狭小的整流罩里。月球车应制成可折叠式，以尽可能缩小发射体积。

月球车的电源来之不易，用太阳电池发电，其面积和质量与功耗大小成正比；若用一次性电池，质量与使用时间成正比，为了减轻质量，也必须降低功耗。因此，月球车的设计必须充分采用微电子器件、微型机械和轻型材料，在开发应用微机电系统（mems）。

1、腾讯兔小巢腾讯轻量级用户意见反馈服务平台。几行代码将兔小巢放入任何地方，包括公众号、app、h5、网站等，就能拥有和腾讯网一样的互动社区。2、集搜客免费网页数据抓取工具3、八抓鱼功能强大的数据采集器，不懂爬虫技术，也可以轻松采集数据。4、火车采集器网页采集软件5、后裔采集器基于人工智能技术研发网页采集软件。

数据（data）是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据；也可以是离散的，如符号、文字，称为数字数据。在计算机系统中，数据以二进制信息单元0、1的形式表示。

数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。

大数据采集平台有Flume、Kafka、Logstash、Fluentd、Sqoop等。

1、Flume

Apache Flume是一个分布式、可靠和高可用的系统，用于高效地收集、聚合和移动大量日志数据。Flume支持多种数据源，包括Avro、Thrift、JMS、Netcat等。同时，它还提供了多种输出方式，如HDFS、HBase、Elasticsearch等。

2、Kafka

Apache Kafka是一个分布式的流处理平台，具有高吞吐量、低延迟以及可扩展性等特点。适用于海量实时流数据的处理场景，例如日志收集、监控指标收集等。

3、Logstash

Logstash是一个用于收集、过滤和转发日志和事件的工具，它支持多种输入源、过滤器和输出插件，可以灵活地适应不同场景的需求。Logstash还提供了Kibana等可视化工具，方便用户对数据进行分析和展示。

4、Fluentd

Fluentd是一个开源的数据收集器，支持多种数据源和输出方式。设计目标是实现简单、轻量级、高性能和可扩展性，Fluentd还提供了插件机制，可以方便地扩展其功能。

5、Sqoop

Apache Sqoop是一个用于在Apache Hadoop和关系型数据库之间传输数据的工具，它支持多种关系型数据库，如MySQL、Oracle、PostgreSQL等，Sqoop可以将关系型数据库中的数据导入到Hadoop中进行分析处理。