当前位置: 代码迷 >> 综合 >> Hadoop集群手动小文件存档
  详细解决方案

Hadoop集群手动小文件存档

热度:79   发布时间:2023-09-14 15:50:24.0

1、HDFS存储小文件弊端
每个文件均按块存储,每个块的元数据存储在NameNode的内存中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如,一个1MB的文件设置为128MB的块存储,实际使用的是1MB的磁盘空间,而不是128MB。
2、解决存储小文件办法之一
HDFS存档文件或HAR文件,是一个更高效的文件存档工具,它将文件存入HDFS块,在成少NameNode内存使用的同时,允许对文件进行透明的访问。具体说来,HDFS存档文件对内还是一个一个独立文件,对NameNodeu言却是一个整体,减少了NameNode的内存。
3、实例
(1)需要启动YARN进程
[root@hadoop102 hadoop-2.7.2]$ start-yarn.sh
(2)归档文件
把/user/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/output路径下。

$ bin/hadoop archive -archiveName input.har –p  /user/input   /user/output

(3)查看归档

$ hadoop fs -lsr /user/atguigu/output/input.har
$ hadoop fs -lsr har:///user/atguigu/output/input.har

(4)解归档文件

$ hadoop fs -cp har:/// user/atguigu/output/input.har/* /user/
  相关解决方案