查询语言不同：hive是hql语言，mysql是sql语言;数据存储位置不同：hive是把数据存储在hdfs上，mysql数据是存储在自己的系统中;数据格式：h...

1、读：客户端发起RPC请求访问NameNodeNameNode查询元数据，找到这个文件的存储位置对应数据块的信息NameNode将文件对应的数据块的节点地址的...

1、列族的数量及列族的势将HBase列族的数量设置的越少越好。当强，对于两个或两个以上的列族HBase并不能处理的很好。这是由于HBase的Flushing和压...

ZooKeeper 是一个开源的分布式协调服务，是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper   实现诸如数据发布/订...

① 由客户端 向 NameNode节点节点 发出请求;②NameNode 向Client返回可以可以存数据的 DataNode 这里遵循机架感应原则;③客户端 ...

生产者决定数据产生到集群的哪个partition中。每一条消息都是以（key，value）格式。Key是由生产者发送数据传入。所以生产者（key）决定了数据产生...

副本因子不能大于 Broker 的个数；第一个分区（编号为0）的第一个副本放置位置是随机从 brokerList 选择的；其他分区的第一个副本放置位置相对于第0...

(1).Kafka 持久化日志，这些日志可以被重复读取和无限期保留；(2).Kafka 是一个分布式系统：它以集群的方式运行，可以灵活伸缩，在内部通过复制数据提...

消息由一个固定长度的头部和可变长度的字节数组组成。头部包含了一个版本号和CRC32校验码。消息长度: 4 bytes (value: 1+4+n)版本号: ...

数据传输的事务定义通常有以下三种级别：（1）最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。（2）最少一次: 消息不会被漏发送，最少被传输...

Kafka将消息以topic为单位进行归纳将向Kafka topic发布消息的程序成为producers。将预订topics并消费消息的程序成为consumer...

###### producer端： 宏观上保证数据的可靠安全性，依据分区数做好数据备份，设立副本数。###### broker端： topic设置多分区，分...

Kafka核心思想是使用磁盘，而不是内存，都认为，内存的速度比磁盘快。事实上，磁盘的顺序读写速度和内存持平。Linux对于磁盘的读写优化也比较多，包括read-...

**Receiver-base**：使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Execu...

**reduceByKey：**reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce中...

读：1、跟namenode通信查询元数据，找到文件块所在的datanode服务器2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流...

Map端shuffle　　Map端会处理输入数据并产生中间结果，中间结果会写到本地磁盘，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达到设...

Mapreduce数据倾斜是指我们在分片的时候导不同分片上的数据不均，导致这些分片在并行处理的时候，有的分片执行事件过长，有的执行时间过短，导致总的执行时间过长...

弹性分布式数据集（RDD，Resilient Distributed Datasets），具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型...

采集层 主要可以使用Flume, Kafka两种技术。Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API.Kafka：...

1、根据业务需要选择合适的数据类型，并为不同的应用场景设置相应的紧凑存储参数。2、当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能以及最大的...

开源的应用软件数不胜数，开源软件仓库 https://sourceforge.net/ 和 http://www.apache.org/index.html#p...

互联网企业拥有大量的线上数据，而且数据量还在快速增长，除了利用

经过近几年的发展，

大数据预测是大数...

随着互联网时代的发展和

主要描述了基于 Apriori 算法的关联分析方法。为了克服 Apriori 算法在复杂度和效率方面的缺陷，还进一步的介绍了基于 FP-Tre...