Hadoop集群常用命令
hdfs dfs #可以查看帮助文档
hdfs dfsadmin -safemode get
#查看安全模式状态
hdfs dfsadmin -safemode open
#打开安全模式
hdfs dfsadmin -safemode leave
#关闭安全模式
针对于集群命令操作
(1) hdfs dfs -参数 命令
(2) hadoop fs -参数 命令
(3) -copyFromLocal 从本地复制一个文件到集群
(4) -moveFromLocal 从本地移动一个文件到集群
例:
hdfs dfs -copyFromLocal [文件名] [集群的位置]
hdfs dfs -moveFromLocal [文件名] [集群的位置]
查看上传到集群的文件
#当前路径为:/opt/software/hadoop-3.1.4
[root@master hadoop-3.1.4]# cd data/
[root@master data]# ls
dfs nm-local-dir
[root@master data]# cd dfs/data/
[root@master data]# cd current/
[root@master current]# ls
BP-1368359784-192.168.200.5-1710748664850 VERSION
[root@master current]# hdfs dfs -copyFromLocal /opt/software/jdk-8u212-linux-x64.tar.gz ./
copyFromLocal: `./': No such file or directory: `hdfs://master:8020/user/root'
[root@master current]# hdfs dfs -copyFromLocal /opt/software/jdk-8u212-linux-x64.tar.gz /
[root@master current]# ls
BP-1368359784-192.168.200.5-1710748664850 VERSION
[root@master current]# cd BP-1368359784-192.168.200.5-1710748664850/
[root@master BP-1368359784-192.168.200.5-1710748664850]# ls
current scanner.cursor tmp
[root@master BP-1368359784-192.168.200.5-1710748664850]# cd current/
[root@master current]# ls
finalized rbw VERSION
[root@master current]# cat VERSION
#Mon Apr 01 13:46:22 CST 2024
namespaceID=1504046362
cTime=1710748664850
blockpoolID=BP-1368359784-192.168.200.5-1710748664850
layoutVersion=-57
[root@master current]#
[root@master current]# hdfs dfs -ls /
Found 1 items
-rw-r--r-- 3 root supergroup 195013152 2024-04-01 14:41 /jdk-8u212-linux-x64.tar.gz #这个就是上传的文件
[root@master current]#
执行jar包模块:
cd /opt/software/hadoop-3.1.4/share/hadoop/mapreduce
hadoop jar [jar包名字(红色的)] wordcount /file_name /output(将执行结果输出到这个目录下)
例如:
hadoop jar hadoop-mapreduce-examples-3.1.4.jar wordcount /email_log.txt /output
评论区