
1.查看端口号占用
lsof -i:端口号
lsof-i:8060sudonetstat-nlp|grep8060
2.查看CPU、核数、磁盘信息
[hadoop@master1 ~]$ cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)[hadoop@master2 software]$ uname-a
Linux master2 3.10.0-1160.76.1.el7.x86_64 #1 SMP Wed Aug 10 16:21:17 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux[hadoop@master2 software]$ arch
x86_64
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo|grep"physical id"|sort|uniq|wc-l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo|grep"cpu cores"|uniq# 查看逻辑CPU的个数cat /proc/cpuinfo|grep"processor"|wc-l
查看CPU信息(型号)
cat /proc/cpuinfo |grep name |cut-f2 -d: |uniq-c
lsblk -d-o name,rota
#如果返回1则表示磁盘可旋转,可以判断是HDD;反之,如果返回0,则表示磁盘不可以旋转,就有可能是SSD。#腾讯高性能云硬盘为HHD类型
3.用户管理
#linux查看所有用户cat /etc/passwd
cat /etc/passwd |cut-f1-d:useradd 注:添加用户
adduser 注:添加用户
passwd 注:为用户设置密码
usermod 注:修改用户命令,可以通过usermod 来修改登录名、用户的家目录等等;
pwcov 注:同步用户从/etc/passwd 到/etc/shadow
pwck 注:pwck是校验用户配置文件/etc/passwd 和/etc/shadow 文件内容是否合法或完整;
pwunconv 注:是pwcov 的立逆向操作,是从/etc/shadow和 /etc/passwd 创建/etc/passwd ,然后会删除 /etc/shadow 文件;
finger 注:查看用户信息工具
id 注:查看用户的UID、GID及所归属的用户组
chfn 注:更改用户信息工具
su 注:用户切换工具
sudo 注:sudo 是通过另一个用户来执行命令(execute a command as another user),su 是用来切换用户,然后通过切换到的用户来完成相应的任务,但sudo 能后面直接执行命令,比如sudo 不需要root 密码就可以执行root 赋与的执行只有root才能执行相应的命令;但得通过visudo 来编辑/etc/sudoers来实现;
visudo 注:visodo 是编辑 /etc/sudoers 的命令;也可以不用这个命令,直接用vi 来编辑 /etc/sudoers 的效果是一样的;
sudoedit 注:和sudo 功能差不多;#用户文件和文件夹所有人更改chmod-R hadoop:hadop /data/module
#管理用户组(group)的工具或命令groupadd 注:添加用户组;groupdel 注:删除用户组;groupmod 注:修改用户组信息
groups 注:显示用户所属的用户组
grpck
grpconv 注:通过/etc/group和/etc/gshadow 的文件内容来同步或创建/etc/gshadow ,如果/etc/gshadow 不存在则创建;
grpunconv 注:通过/etc/group 和/etc/gshadow 文件内容来同步或创建/etc/group ,然后删除gshadow文件
4.scp数据传输
#将其他机器数据拉取到本机 -P 端口号,默认是22如有修改可添加scp-P xxx [email protected]:/data/test.txt /Users/cece/Job/Doc
#发送数据到另一台机器 -r是所有文件包括文件夹scp-r-P12898 /Users/cece/Job/Doc/test.txt [email protected]:/data/
5.文件编辑
#vim 显示行号#显示所有行号
:set number
#显示当前行号
:number
#要筛选出data文件夹中文件大小小于100KBfind /data -type f -size-100k#取第24行内容awk'NR==24' /tmp/test.txt
sed-n'24p' /tmp/test.txt
#awk命令中 NR表示行号,直译 取20-30行的内容awk'NR==20,NR==30' ett.txt
sed-n'20,30p'file#删除第N行:sed-i'24d' test.txt
#显示整个文件(只需将范围设置为1到最后于一行) $代表最后一行sed-n'1,$p'filesed-n'1d'file#将换行符替换成逗号sed':a;N;$!ba;s/\n/,/g' filename.txt > newfilename.txt
#mac将换行符替换成逗号sed's/\t/,/g' test.txt >test.csv
#将tab符替换成逗号head#批量删除命令kill-9`ps-ef|grep run_command |awk'{print $2}'`#文件后带格式插入数据echo-e"lishitama">> xinlishi8_after.txt
#复制多个文件到多个目录#xargs -n 1 每次只取一个参数# cp -v 复制的详情echo /data1 /data2 |xargs-n1cp-v /data3/software/hadoop-cos-8.3.1.jar /data/software/cos_api-bundle-5.6.137.2.jar
#结果#'/data/software/hadoop-cos-8.3.1.jar' -> '/data1/hadoop-cos-8.3.1.jar'#'/data/software/cos_api-bundle-5.6.137.2.jar' -> '/data1/cos_api-bundle-5.6.137.2.jar'#'/data/software/hadoop-cos-8.3.1.jar' -> '/data2/hadoop-cos-8.3.1.jar'#'/data/software/cos_api-bundle-5.6.137.2.jar' -> '/data2/cos_api-bundle-5.6.137.2.jar'#使用ln命令建立软链接ln-s 被链接的文件或目录名称 链接名称
ln-s /usr/local/tomcat/ tomcat_latest
ln-s /usr/bin/python3 python
#如果使用cp -L命令,cp会复制软链接指向的文件,而不是软链接本身。这个选项强制cp遵循软链接指向的路径,而不是复制软链接。#如果使用cp -P命令,cp会复制软链接本身,而不是软链接指向的文件。这个选项使cp复制软链接,而不是软链接指向的文件。
6.文件管理
#查看本文件夹所占存储du-sh# 查看本机所有的文件书数量lsof|wc-llsof-p29884sudovim /etc/profile.d/my_env.sh
cat /proc/sys/fs/file-max
7.查看网络状态
#ip概略情况ifconfig#ip详细情况ip addr
ip addr show eth0
#关闭网卡:ifconfig docker0 down
8.crontab 任务不小心删除
#查看临时文件中中任务sudocat /var/log/cron |grep-i"hadoop"|grep"CMD"|awk-F'(''{print $3}'|awk-F')''{print $1}'|sort-ucat /var/log/cron |grep-i"root"|grep"CMD"|awk-F'(''{print $3}'|awk-F')''{print $1}'|sort-u#找到任务,复制
*/5 * * * * . /etc/profile.d/my_env.sh;bash /data/test.sh >> /data/test.log 2>&1001 * * . /etc/profile.d/my_env.sh;rm /data/test.log
#查看临时文件中中任务cat /var/log/cron |grep “test.sh”
9.jstat命令
8.1 jstat命令简介
jstat(Java Virtual Machine Statistics Monitoring Tool)是JDK提供的一个可以监控Java虚拟机各种运行状态信息的命令行工具。它可以显示Java虚拟机中的类加载、内存、垃圾收集、即时编译等运行状态的信息。
8.2 jstat命令参数 generalOptions
jstat generalOptions
jstat outputOptions [-t][-h<lines>]<vmid>[<interval>[<count>]]
- generalOptions:通用选项,如果指定一个通用选项,就不能指定任何其他选项或参数。它包括如下两个选项:
- -help:显示帮助信息。
- -options:显示outputOptions参数的列表。
- outputOptions:输出选项,指定显示某一种Java虚拟机信息。
- -t:把时间戳列显示为输出的第一列。这个时间戳是从Java虚拟机的开始运行到现在的秒数。
- -h n:每显示n行显示一次表头,其中n为正整数。默认值为 0,即仅在第一行数据显示一次表头。
- vmid:虚拟机唯一ID(LVMID,Local Virtual Machine Identifier),如果查看本机就是Java进程的进程ID。
- interval:显示信息的时间间隔,单位默认毫秒。也可以指定秒为单位,比如:1s。如果指定了该参数,jstat命令将每个这段时间显示一次统计信息。
- count:显示数据的次数,默认值是无穷大,这将导致jstat命令一直显示统计信息,直到目标JVM终止或jstat命令终止。
8.2 jstat命令参数 outputOptions
如果不指定通用选项(generalOptions),则可以指定输出选项(outputOptions)。输出选项决定jstat命令显示的内容和格式,具体如下:
- -class:显示类加载、卸载数量、总空间和装载耗时的统计信息。 > 注:小段落代表执行该参数产生的结果表头- Loaded:加载的类的数量。- Bytes:加载的类所占用的字节数。- Unloaded:卸载的类的数量。- Bytes:卸载的类所占用的字节数。- Time:执行类加载和卸载操作所花费的时间。
#jps结果:1846180 RunJar2723168 JobHistoryServer3608572 ResourceManager2709074 AlertServer#执行:jstat -compiler 1846180Compiled Failed Invalid Time FailedType FailedMethod132721028.621 sun/misc/URLClassPath$JarLoader getResource - -compiler:显示即时编译的方法、耗时等信息。 - Compiled:执行的编译任务的数量。- Failed:执行编译任务失败的数量。- Invalid:执行编译任务失效的数量。- Time:执行编译任务所花费的时间。- FailedType:上次编译失败的编译类型。- FailedMethod:上次编译失败的类名和方法。
- -gc:显示堆各个区域内存使用和垃圾回收的统计信息。 - S0C:年轻代中第一个Survivor区的容量,单位为KB。- S1C:年轻代中第二个Survivor区的容量,单位为KB。- S0U:年轻代中第一个Survivor区已使用大小,单位为KB。- S1U:年轻代中第二个Survivor区已使用大小,单位为KB。- EC:年轻代中Eden区的容量,单位为KB。- EU:年轻代中Eden区已使用大小,单位为KB。- OC:老年代的容量,单位为KB。- OU:老年代已使用大小,单位为KB。- MC:元空间的容量,单位为KB。- MU:元空间已使用大小,单位为KB。- CCSC:压缩类的容量,单位为KB。- CCSU:压缩类已使用大小,单位为KB。- YGC:Young GC的次数。- YGCT:Young GC所用的时间。- FGC:Full GC的次数。- FGCT:Full GC的所用的时间。- GCT:GC的所用的总时间。
- -gccapacity:显示堆各个区域的容量及其对应的空间的统计信息。 - NGCMN:年轻代最小的容量,单位为KB。- NGCMX:年轻代最大的容量,单位为KB。- NGC:当前年轻代的容量,单位为KB。- S0C:年轻代中第一个Survivor区的容量,单位为KB。- S1C:年轻代中第二个Survivor区的容量,单位为KB。- EC:年轻代中Eden区的容量,单位为KB。- OGCMN:老年代最小的容量,单位为KB。- OGCMX:老年代最大的容量,单位为KB。- OGC:当前老年代的容量,单位为KB。- OC:当前老年代的容量,单位为KB。- MCMN:元空间最小的容量,单位为KB。- MCMX:元空间最大的容量,单位为KB。- MC:当前元空间的容量,单位为KB。- CCSMN:压缩类最小的容量,单位为KB。- CCSMX:压缩类最大的容量,单位为KB。- CCSC:当前压缩类的容量,单位为KB。- YGC:Young GC的次数。- FGC:Full GC的次数。
- -gcutil:显示有关垃圾收集统计信息的摘要。 - S0:年轻代中第一个Survivor区使用大小占当前容量的百分比。- S1:年轻代中第二个Survivor区使用大小占当前容量的百分比。- E:Eden区使用大小占当前容量的百分比。- O:老年代使用大小占当前容量的百分比。- M:元空间使用大小占当前容量的百分比。- CCS:压缩类使用大小占当前容量的百分比。- YGC:Young GC的次数。- YGCT:Young GC所用的时间。- FGC:Full GC的次数。- FGCT:Full GC的所用的时间。- GCT:GC的所用的总时间。
- -gccause:显示关于垃圾收集统计信息的摘要(与-gcutil相同),以及最近和当前垃圾回收的原因。 - S0:年轻代中第一个Survivor区使用大小占当前容量的百分比。- S1:年轻代中第二个Survivor区使用大小占当前容量的百分比。- E:Eden区使用大小占当前容量的百分比。- O:老年代使用大小占当前容量的百分比。- M:元空间使用大小占当前容量的百分比。- CCS:压缩类使用大小占当前容量的百分比。- YGC:Young GC的次数。- YGCT:Young GC所用的时间。- FGC:Full GC的次数。- FGCT:Full GC的所用的时间。- GCT:GC的所用的总时间。- LGCC:上次垃圾回收的原因。- GCC:当前垃圾回收的原因。
- -gcnew:显示新生代的垃圾回收统计信息。 - S0C:年轻代中第一个Survivor区的容量,单位为KB。- S1C:年轻代中第二个Survivor区的容量,单位为KB。- S0U:年轻代中第一个Survivor区已使用大小,单位为KB。- S1U:年轻代中第二个Survivor区已使用大小,单位为KB。- TT:对象在年轻代存活的次数。- MTT:对象在年轻代存活的最大次数- DSS:期望的Survivor区大小,单位为KB。- EC:年轻代中Eden区的容量,单位为KB。- EU:年轻代中Eden区已使用大小,单位为KB。- YGC:Young GC的次数。- YGCT:Young GC所用的时间。
- -gcnewcapacity:显示新生代的大小及其对应的空间的统计信息。 - NGCMN:年轻代最小的容量,单位为KB。- NGCMX:年轻代最大的容量,单位为KB。- NGC:当前年轻代的容量,单位为KB。- S0CMX:年轻代中第一个Survivor区最大的容量,单位为KB。- S0C:年轻代中第一个Survivor区的容量,单位为KB。- S1CMX:年轻代中第二个Survivor区最大的容量,单位为KB。- S1C:年轻代中第二个Survivor区的容量,单位为KB。- ECMX:年轻代中Eden区最大的容量,单位为KB。- EC:年轻代中Eden区的容量,单位为KB。- YGC:Young GC的次数。- FGC:Full GC的次数。
- -gcold: 显示老年代和元空间的垃圾回收统计信息。 - MC:元空间的容量,单位为KB。- MU:元空间已使用大小,单位为KB。- CCSC:压缩类的容量,单位为KB。- CCSU:压缩类已使用大小,单位为KB。- OC:老年代的容量,单位为KB。- OU:老年代已使用大小,单位为KB。- YGC:Young GC的次数。- FGC:Full GC的次数。- FGCT:Full GC的所用的时间。- GCT:GC的所用的总时间。
- -gcoldcapacity:显示老年代的大小统计信息。 - OGCMN:老年代最小的容量,单位为KB。- OGCMX:老年代最大的容量,单位为KB。- OGC:当前老年代的容量,单位为KB。- OC:当前老年代的容量,单位为KB。- YGC:Young GC的次数。- FGC:Full GC的次数。- FGCT:Full GC的所用的时间。- GCT:GC的所用的总时间。
- -gcmetacapacity:显示元空间的大小的统计信息。 - MCMN:元空间最小的容量,单位为KB。- MCMX:元空间最大的容量,单位为KB。- MC:当前元空间的容量,单位为KB。- CCSMN:压缩类最小的容量,单位为KB。- CCSMX:压缩类最大的容量,单位为KB。- YGC:Young GC的次数。- FGC:Full GC的次数。- FGCT:Full GC的所用的时间。- GCT:GC的所用的总时间。
- -printcompilation:显示即时编译方法的统计信息。 - Compiled:最近编译方法执行的编译任务的数量。- Size:最近编译方法的字节码的字节数。- Type:最近编译方法的编译类型。- Method:最近编译方法的类名和方法名。
版权归原作者 tuoluzhe8521 所有, 如有侵权,请联系我们删除。