首页 技术 正文
技术 2022年11月10日
0 收藏 905 点赞 2,302 浏览 6371 个字

转自:https://www.cnblogs.com/itech/archive/2012/05/15/2502284.html

一、inode是什么?

理解inode,要从文件储存说起。文件储存在硬盘上,硬盘的最小存储单位叫做”扇区”(Sector)。每个扇区储存512字节(相当于0.5KB)。 操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个”块”(block)。这种由多个扇区组成的”块”,是文件存取的最小单位。”块”的大小,最常见的是4KB,即连续八个 sector组成一个 block。文件数据都储存在”块”中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为”索引节点”。 二、inode包含的内容inode包含文件的元信息,具体来说有以下内容:  * 文件的字节数  * 文件拥有者的User ID  * 文件的Group ID  * 文件的读、写、执行权限  * 文件的时间戳,共有三个:ctime指inode上一次变动的时间,mtime指文件内容上一次变动的时间,atime指文件上一次打开的时间。  * 链接数,即有多少文件名指向这个inode  * 文件数据block的位置可以用stat命令,查看某个文件的inode信息:stat example.txt 总之,除了文件名以外的所有文件信息,都存在inode之中。至于为什么没有文件名,下文会有详细解释。三、inode的大小inode也会消耗硬盘空间,所以硬盘格式化的时候,操作系统自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。每个inode节点的大小,一般是128字节或256字节。inode节点的总数,在格式化时就给定,一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中,每个inode节点的大小为128字节,每1KB就设置一个inode,那么inode table的大小就会达到128MB,占整块硬盘的12.8%。查看每个硬盘分区的inode总数和已经使用的数量,可以使用df命令。df -i 查看每个inode节点的大小,可以用如下命令:sudo dumpe2fs -h /dev/hda | grep “Inode size” 由于每个文件都必须有一个inode,因此有可能发生inode已经用光,但是硬盘还未存满的情况。这时,就无法在硬盘上创建新文件。四、inode号码每个inode都有一个号码,操作系统用inode号码来识别不同的文件。这里值得重复一遍,Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。表面上,用户通过文件名,打开文件。实际上,系统内部这个过程分成三步:首先,系统找到这个文件名对应的inode号码;其次,通过inode号码,获取inode信息;最后,根据inode信息,找到文件数据所在的block,读出数据。 

使用ls -i命令,可以看到文件名对应的inode号码:

ls -i example.txt 五、目录文件Unix/Linux系统中,目录(directory)也是一种文件。打开目录,实际上就是打开目录文件。目录文件的结构非常简单,就是一系列目录项(dirent)的列表。每个目录项,由两部分组成:所包含文件的文件名,以及该文件名对应的inode号码。ls命令只列出目录文件中的所有文件名:ls /etc ls -i命令列出整个目录文件,即文件名和inode号码:ls -i /etc 如果要查看文件的详细信息,就必须根据inode号码,访问inode节点,读取信息。ls -l命令列出文件的详细信息。ls -l /etc 六、硬链接一般情况下,文件名和inode号码是”一一对应”关系,每个inode号码对应一个文件名。但是,Unix/Linux系统允许,多个文件名指向同一个inode号码。这意味着,可以用不同的文件名访问同样的内容;对文件内容进行修改,会影响到所有文件名;但是,删除一个文件名,不影响另一个文件名的访问。这种情况就被称为”硬链接”(hard link)。 

ln命令可以创建硬链接:

ln 源文件 目标文件 运行上面这条命令以后,源文件与目标文件的inode号码相同,都指向同一个inode。inode信息中有一项叫做”链接数”,记录指向该inode的文件名总数,这时就会增加1。反过来,删除一个文件名,就会使得inode节点中的”链接数”减1。当这个值减到0,表明没有文件名指向这个inode,系统就会回收这个inode号码,以及其所对应block区域。这里顺便说一下目录文件的”链接数”。创建目录时,默认会生成两个目录项:”.”和”..”。前者的inode号码就是当前目录的inode号码,等同于当前目录的”硬链接”;后者的inode号码就是当前目录的父目录的inode号码,等同于父目录的”硬链接”。所以,任何一个目录的”硬链接”总数,总是等于2加上它的子目录总数(含隐藏目录),这里的2是父目录对其的“硬链接”和当前目录下的”.硬链接“。七、软链接除了硬链接以外,还有一种特殊情况。文件A和文件B的inode号码虽然不一样,但是文件A的内容是文件B的路径。读取文件A时,系统会自动将访问者导向文件B。因此,无论打开哪一个文件,最终读取的都是文件B。这时,文件A就称为文件B的”软链接”(soft link)或者”符号链接(symbolic link)。这意味着,文件A依赖于文件B而存在,如果删除了文件B,打开文件A就会报错:”No such file or directory”。这是软链接与硬链接最大的不同:文件A指向文件B的文件名,而不是文件B的inode号码,文件B的inode”链接数”不会因此发生变化。ln -s命令可以创建软链接。ln -s 源文文件或目录 目标文件或目录 八、inode的特殊作用由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象。  1. 有时,文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用。  2. 移动文件或重命名文件,只是改变文件名,不影响inode号码。  3. 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名。      第3点使得软件更新变得简单,可以在不关闭软件的情况下进行更新,不需要重启。因为系统通过inode号码,识别运行中的文件,不通过文件名。更新的时候,新版文件以同样的文件名,生成一个新的inode,不会影响到运行中的文件。等到下一次运行这个软件的时候,文件名就自动指向新版文件,旧版文件的inode则被回收。

九 实际问题

在一台配置较低的Linux服务器(内存、硬盘比较小)的/data分区内创建文件时,系统提示磁盘空间不足,用df -h命令查看了一下磁盘使用情况,发现/data分区只使用了66%,还有12G的剩余空间,按理说不会出现这种问题。 后来用df -i查看了一下/data分区的索引节点(inode),发现已经用满(IUsed=100%),导致系统无法创建新目录和文件。

查找原因:

  /data/cache目录中存在数量非常多的小字节缓存文件,占用的Block不多,但是占用了大量的inode。

解决方案:
  1、删除/data/cache目录中的部分文件,释放出/data分区的一部分inode。
  2、用软连接将空闲分区/opt中的newcache目录连接到/data/cache,使用/opt分区的inode来缓解/data分区inode不足的问题:
  ln -s /opt/newcache /data/cache

关于磁盘空间中索引节点爆满的问题还是挺多的,借此跟大家分享几个情况:

情况一

在公司一台配置较低的Linux服务器(内存、硬盘比较小)的/data分区内创建文件时,系统提示磁盘空间不足,用df -h命令查看了一下磁盘使用情况,发现/data分区只使用了66%,还有12G的剩余空间,按理说不会出现这种问题。
 
后来用df -i查看了一下/data分区的索引节点(inode),发现已经用满(IUsed=100%),导致系统无法创建新目录和文件。
[root@bastion-IDC ~]# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
…….
…….
/dev/mapper/VolGroup-lv_home
53452800 53452800 0 100% /data
 
inode译成中文就是索引节点,每个存储设备(例如硬盘)或存储设备的分区被格式化为文件系统后,应该有两部份,一部份是inode,另一部份是Block,Block是用来存储数据用的。而inode呢,就是用来存储这些数据的信息,这些信息包括文件大小、属主、归属的用户组、读写权限等。inode为每个文件进行信息索引,所以就有了inode的数值。操作系统根据指令,能通过inode值最快的找到相对应的文件。
 
这台服务器的Block虽然还有剩余,但inode已经用满,因此在创建新目录或文件时,系统提示磁盘空间不足。
 
排查是由于/data/cache目录中存在数量非常多的小字节缓存文件,占用的Block不多,但是占用了大量的inode。
 
解决方案:
1)删除/data/cache目录中的部分文件,释放出/data分区的一部分inode,特别要留意那些spool出来的文件,这种文件一般会占用比较多的节点,因为比较小而且零碎,同时要多留意日志文件信息等
 
2)用软连接将空闲分区/opt中的newcache目录连接到/data/cache,使用/opt分区的inode来缓解/data分区inode不足的问题:
# ln -s /opt/newcache /data/cache
 
3)更换服务器,用高配置的服务器替换低配置的服务器。
情况二

问题:使用”df -h”命令发现磁盘使用率没有占满,但是无法写入文件,提示”no space left on device”!
原因:磁盘的inode节点使用爆满了!(”df -i”命令查看/var空间的inode爆满)。
 
——————————————————————————-
可能原因1:
crontab里面定时执行的句子里没有加 > /dev/null 2>&1,系统中cron执行的程序有输出内容,
输出内容会以邮件形式发给cron的用户,而sendmail没有启动所以就产生了很大零碎的文件:
crontab的job有问题,造成/var/spool/clientmqueue中产生许多的零碎文件。
 
处理方法:
用”rm -rf *”会不能删除,并会有相应的提示,大意是参数太多。
 
正确方法:
在/var/spool/clientmqueue/下执行命令:
# lsattr ./|awk -F”/” ‘{print $3}’|xargs -i rm -rf {}
 
表示用lsattr列出./下面的文件名的属性,用awk取出名字,然后rm -rf
 
还有一个比较靠谱的方法:
# find /var/spool/clientmqueue/ -type f -exec rm {} \;
 
或者在/var/spool/clientmqueue/目录下
# cd /var/spool/clientmqueue/
# find ./ -exec rm {} \;
 
将crontab中没有定向输出的行都在最后加上”> /dev/null 2>&1″,在删除的过程中操作。
或者先停止crontab,加上重定向。
——————————————————————————–
可能原因2
可以看下日志文件是否太多,如果是日志文件占用大量的inodes可以临时释放清理下过期的日志。
也可以根据较大目录的文件占用情况,临时转移部分文件到占用磁盘较小的目录中。
其他总结

===================================================
当发现某个分区下的inode使用率过大时,需要找到该分区下的某些目录里有哪些文件可以清理。
查找某个目录下一个月或两个月之前的文件,然后删除
# find . -type f -mtime +30 |wc -l
# find . -type f -mtime +60 |wc -l
# find . -type f -mtime +30 -exec rm -f {} \;
# find . -type f -mtime +60 -exec rm -f {} \;
 
释放inode缓存
# sync
# echo 3 > /proc/sys/vm/drop_caches
 
再次检查下磁盘inode使用情况
# df -i
===================================================
 
1)删除无用的临时文件,释放inode。比如/tmp下有很多临时文件
# ls -lt /tmp | wc -l
# find /tmp -type f -exec rm {} \;
   
如果使用rm *,有可能因为文件数量太多而出现Argument list too long错误
——————————————————————————————
是在linux下,试图传太多参数给一个系统命令(ls *; cp *; rm *; cat *; etc..)时,就会出现 Argument list too long错误。
   
解决方法:使用find -exec 遍历,然后执行删除便可。
# find /tmp -type f -exec rm {} \;
——————————————————————————————
   
2)除了的临时文件外,0字节的文件也会占用inode,应该也释放。
# find /home -type f -size 0 -exec rm {} \;
   
3)inode爆满,也可能是某些目录下存在大量的小文件导致。
大量小文件分布有两种可能:
a)一是只有一个或少量目录下存在大量小文件,这种情况可以使用如下命令来找出这个异常目录:
# find / -type d -size +10M 
即找出大小大于10M的目录(目录大小越大,表示目录下的文件越多)。
   
b)大量的小文件分布在大量的目录下,这时候上面的命令可能找不出异常的目录,需要以下命令:
# cd /
# find */ ! -type l | cut -d / -f 1 | uniq -c
此命令作用是找出目录下文件总数,可能需要执行多次,直到找出具体的目录。比如上面的命令找出了/data目录下存在大量的小文件,
但/data/目录还有很多目录,这时候我们还需要继续执行:
# cd /data
# find */ ! -type l | cut -d / -f 1 | uniq -c
直到找出具体的目录。
   
如果可以直接删除节点满的文件夹:
# find . -type f -exec rm {} \;
   
还可以按照文件的inode节点删除文件
# find . -inum 342137 -exec rm -i {} \;

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,088
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,564
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,412
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,185
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,822
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,905