MapReduce中的数据类型

Hadoop MapReduce 提供了一组官方的数据类型，这些类型被设计为可序列化（实现了 Hadoop 的 Writable 接口）并可用于分布式环境。以下是 Hadoop MapReduce 中的主要官方数据类型分类及说明：

1. 基本数据类型

数据类型 描述 对应的 Java 类型
IntWritable 表示一个可序列化的整数 int
LongWritable 表示一个可序列化的长整数 long
FloatWritable 表示一个可序列化的浮点数 float
DoubleWritable 表示一个可序列化的双精度浮点数 double
BooleanWritable 表示一个可序列化的布尔值 boolean
ByteWritable 表示一个可序列化的字节 byte
Text 表示一个可序列化的字符串（替代 String 类型） String
NullWritable 表示空值，通常用于不需要值的场景 无（空值）

2. 集合数据类型

数据类型 描述 对应的 Java 类型
ArrayWritable 表示一个可序列化的数组，元素类型需是 Writable Writable[]
MapWritable 表示一个可序列化的键值对映射，键和值需是 Writable Map<Writable, Writable>
SortedMapWritable 表示一个有序的键值对映射，键和值需是 Writable SortedMap<Writable, Writable>

3. 复合数据类型

数据类型 描述 对应的 Java 类型
BytesWritable 表示一个可序列化的字节数组 byte[]
GenericWritable 支持多种数据类型的通用序列化，继承后可自定义支持的类型 任何 Writable 类型
TupleWritable 表示一个可序列化的多字段元组，字段类型需是 Writable Writable[]

4. 特殊数据类型

数据类型 描述 对应的 Java 类型
NullWritable 表示空值，通常用于不需要输出值或输入值的场景 无（表示空值）

特点与使用场景

  1. 轻量级设计：Hadoop 的数据类型是轻量级的，可通过实现 Writable 接口高效进行序列化和反序列化。
  2. 网络传输优化：这些类型是 Hadoop 原生支持的，经过优化以适应分布式系统中大量数据的网络传输需求。
  3. 灵活组合：集合类如 ArrayWritable 和 MapWritable 允许用户灵活表示复杂的数据结构。

实际应用示例

  • 单词计数任务：
    • 使用 Text 作为 Mapper 的输出键类型（单词）。
    • 使用 IntWritable 作为 Mapper 的输出值类型（计数）。
  • 组合键任务：
    • 使用 MapWritable 或 ArrayWritable 来存储多个字段信息。

Hadoop 的这些官方数据类型覆盖了大多数 MapReduce 应用场景，可以根据具体需求进行选择和扩展。