linux下hadoop集群常用命令

 2023-12-21  阅读 2  评论 0

摘要:linux下hadoop集群常用命令有哪些?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 上传文件 1)hadoop fs -put words.txt /path/to/input/ 2)hdfs dfs -put wor

linux下hadoop集群常用命令

linux下hadoop集群常用命令有哪些?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

上传文件

1)hadoop fs -put words.txt /path/to/input/  2)hdfs dfs -put words.txt /path/wc/input/

查看某目录下所含文件

1)hadoop fs -ls /path/wc/input/  2)hadoop fs -ls hdfs://node1:9000/path/wc/input/

与linux文件系统中的用法一样,对文件所属权限

1)hadoop fs -chmod 666 /hello.txt  2)hadoop fs -chown someuser:somegrp /hello.txt

du统计文件大小

hadoop fs -du -h / # 统计文件夹下每个文件的大小  hadoop fs -du -s -h / #统计这个文件夹总大小,返回的数据是,文件夹大小,备份总大小  hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径

杀死yarn任务

yarn application -kill application_id

查看yarn日志

yarn logs -applicationId application_id > logs.txt

产品是通过技术,在集群主机上部署实现,拥有上万Linux镜像,功能强大、简单易用,可轻松构建集群服务。

高性价比的容器云产品链接

提示:现在腾讯云新人点击注册然后实名认证后,可以点此一键领取2860元代金券,然后点此进入腾讯云活动页面参加优惠力度非常大的腾讯云3年和5年时长服务器活动,一次性买多年,免得续费贵,这样就可以获得最大的优惠折扣,省钱。

版权声明:xxxxxxxxx;

原文链接:https://lecms.nxtedu.cn/yunzhuji/89681.html

发表评论:

验证码

管理员

  • 内容1196554
  • 积分0
  • 金币0
关于我们
lecms主程序为免费提供使用,使用者不得将本系统应用于任何形式的非法用途,由此产生的一切法律风险,需由使用者自行承担,与本站和开发者无关。一旦使用lecms,表示您即承认您已阅读、理解并同意受此条款的约束,并遵守所有相应法律和法规。
联系方式
电话:
地址:广东省中山市
Email:admin@qq.com
注册登录
注册帐号
登录帐号

Copyright © 2022 LECMS Inc. 保留所有权利。 Powered by LECMS 3.0.3

页面耗时0.0120秒, 内存占用334.47 KB, 访问数据库18次

  • 我要关灯
    我要开灯
  • 客户电话
    lecms

    工作时间:8:00-18:00

    客服电话

    电子邮件

    admin@qq.com

  • 官方微信

    扫码二维码

    获取最新动态

  • 返回顶部