今天利用shell脚本处理园区bucket信息时,发现在脚本中使用while read line循环逐行读取文件时总是无法处理到最后一行,脚本大致执行流程源码如下,通过while循环逐行读取命令行第一个参数指定的文件,并对数据进行处理后输出。
经过简单的查询学习后,将该问题的背景、原因、解决方案整理如下第二章节。
1、背景
在计算机出现之前,使用的电传打字机(Teletype Model)每秒可以打10个字符。但是它的问题是打完一行后换行要用去0.2秒,正好可以打两个字符。若在这0.2秒内又有新的字符传过来,那么这个字符将丢失。
于是研发人员想了个办法,就是在每行后面加两个表示结束的字符。一个叫做”回车”(Carriage Return),告诉打字机把打印头定位在左边界;另一个叫做”换行”(Linefeed),告诉打字机把纸向下移一行。这就是”换行”和”回车”的来历。
计算机发明后这两个概念也就被采用,但那时存储器很贵,部分研究人员认为在每行结尾加两个字符太浪费了,加一个就可以,于是就出现了分歧。
Unix及Unix系统里,每行结尾只有”<换行>“,即” “;Windows系统里面,每行结尾是”<回车><换行>“,即” “。一个直接后果是,Unix系统下的文件在Windows里打开的话,所有文字会变成一行;而Windows里的文件在Unix下打开的话,在每行的结尾可能会多出一个^M符号。
Windows下新建文件,最后一行不会添加回车符或换行符;而linux新建的文件,最后一行还会添加1个换行符。
2、原因:
因为我的目标文件是在windows下创建然后传到服务器上的,这样在利用while read line读取文件时,如果文件最后一行之后没有换行符 ,则read读取最后一行时遇到文件结束符EOF时循环即终止。上面代码中,虽然此时\(line内存有最后一行的内容,但程序已经没有机会再处理此行内容,因此导致了最后一行无法读取。</p><h4 id="h4">3、方案一:</h4><p>修改while循环,增加<strong> [[ -n \){line} ]],这样当文件没有到最后一行时不会测试-n \(line,当遇到文件结束(最后一行)时,仍然可以通过测试\)line是否有内容来进行继续处理。
4、方案二:
通过分析原因可知,本质原因是因为文件格式不是unix导致的,可以直接通过设置文件格式来处理,该方式则脚本代码不需改动。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/163111.html