Linux下将UTF8编码批量转换成GB2312编码的方法

UTF8编码和GB2312编码是有区别的,在sqlplus中导入UTF8编码的sql脚本就会出现乱码错误,这时就需要将UTF8编码转换成GB2312编码,可是一个个的转换十分麻烦,下面小编就教你如何在Linux下将UTF8编码批量转换成GB2312编码。

背景

本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时,由于不了解如何设置让sqlplus识别UTF8格式,导致出现乱码、错行等错误,而使工作无法继续,在google无果的情况下只好想办法转换编码。

由于文件较多,手动转换太麻烦,于是想到用脚本批量转换,幸好网上相关脚本比较多,实现起来唯一的麻烦是UTF8的BOM标记。

内容:

代码如下:

#!/bin/bash

for loop in `find 。 -type f -name “*.sql” -print`do

echo $loop

mv -f $loop $loop.tmp

dos2unix $loop.tmp

file_check_utf8=‘file_check_utf8.log’

sed -n ‘1l’ $loop.tmp 》$file_check_utf810. if grep ‘^//357//273//277’ $file_check_utf8 》/dev/null 2》&111. then

echo ‘UTF-8 BOM’

sed -n -e ‘1s/^.。。//’ -e ‘w intermediate.txt’ $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt

rm -rf $loop.tmp

elif iconv -f UTF-8 -t GB2312 $loop.tmp 》/dev/null 2》&118. then

echo ‘UTF-8’

iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp

else

echo ‘ANSI’

mv -f $loop.tmp $loop

fi

rm -rf $file_check_utf8

#模拟unix2dos,要求文本文件最后一行必须有换行符28. sed -n -e ‘s/$//r/g’ -e ‘w ’$loop.tmp $loop29. mv -f $loop.tmp $loop

done

#!/bin/bash

for loop in `find 。 -type f -name “*.sql” -print`do

echo $loop

mv -f $loop $loop.tmp

dos2unix $loop.tmp

file_check_utf8=‘file_check_utf8.log’

sed -n ‘1l’ $loop.tmp 》$file_check_utf810. if grep ‘^//357//273//277’ $file_check_utf8 》/dev/null 2》&111. then

echo ‘UTF-8 BOM’

sed -n -e ‘1s/^.。。//’ -e ‘w intermediate.txt’ $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt

rm -rf $loop.tmp

elif iconv -f UTF-8 -t GB2312 $loop.tmp 》/dev/null 2》&118. then

echo ‘UTF-8’

iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp

else

echo ‘ANSI’

mv -f $loop.tmp $loop

fi

rm -rf $file_check_utf8

#模拟unix2dos,要求文本文件最后一行必须有换行符28. sed -n -e ‘s/$//r/g’ -e ‘w ’$loop.tmp $loop29. mv -f $loop.tmp $loop

done

解释

1.处理UTF8的BOM,本人没有找到好的办法,最后用sed+grep判断了一下,如果前三个字节是//357//273//277,则文件必定是UTF8,用sed去掉这三个字节再转换

2.为了避免重复或者遗漏,脚本中用iconv对没有BOM的文件尝试转换了一把,转换成功说明文件是UTF8,否则说明是ANSI也就是GB2312

3.关于最后的sed命令,那是因为本人的系统上没有unix2dos命令,所以进行了模拟,目的是为了方便自己在windows下查看和编辑

以上就是Linux下将UTF8编码批量转换成GB2312编码的方法介绍了,转换后就能解决乱码等问题,可使用命令镜像批量转换,你学会了吗?

(0)

相关推荐

  • 怎么把cad图纸批量转化为pdf(cad图纸批量转换成pdf)

    怎么把多个CAD图纸批量转成PDF文件呢?CAD图纸是建筑行业常用的一种文档格式,因为需要拿来设计建筑规格.施工详情等情况,绘制好的图纸拿给甲方或者是其他人浏览,为了不会出现打不开文件的情况,可以把C ...

  • Word文档批量转换成TXT格式的技巧

    使用Word编辑文档的时候,不仅可以保存成Word格式,也可以保存为其它格式。但有的时候需要将大批的已经编辑完成的Word文档转换成文本格式或其他格式文档,怎么办?如果通过“另存为”将是一件十分费时费 ...

  • Linux不用使用软件把纯文本文档转换成PDF文件的方法

    现在有很多软件能够将文本文件转换成PDF文件,其实在Linux系统中,不用使用软件也能将文本文本转换成PDF,只需轻松两步,下面小编就给大家介绍下Linux将文本文件转换成PDF文件的方法。 问题:我 ...

  • Word文档批量转换成TXT文本

    使用word编辑文档的时候,不仅可以保存成Word格式,也可以保存为其它格式.但有的时候需要将大批的已经编辑完成的Word文档转换成文本格式或其他格式文档,怎么办?如果通过"另存为" ...

  • 手机PDF如何批量转换成JPG图片格式

    PDF是我们非常常用的一款软件,但是在手机上怎么将做好的PDF批量转换成JPG图片格式呢?这时就需要一款PDF转换器的APP了.我们需要在手机上下载好PDF转换器.然后再接着往下操作.2. 2:打开P ...

  • 怎么将Word文档中的尾注批量转换成脚注

    今天给大家介绍一下怎么将Word文档中的尾注批量转换成脚注的具体操作步骤.1. 首先打开电脑上想要编辑的Word文档,进入编辑页面后,如图,可以看到添加的尾注2. 如果想要转换成脚注的话,则点击上方的 ...

  • 将Word文档格式批量转换成TXT文本格式

    使用word编辑文档的时候,不仅可以保存成Word格式,也可以保存为其它格式.但有的时候需要将大批的已经编辑完成的Word文档转换成文本格式或其他格式文档,怎么办?如果通过"另存为" ...

  • .CR2格式文件怎么批量转换成JPG等格式

    在我们工作时,我们假如是从事设计行业,那么格式转换是经常要做的,我们来学习下:.CR2格式文件怎么批量转换成JPG等格式,一起来学习下! 操作方法 01 我们准备好一些.CR2格式的文件,如图. 02 ...

  • 【Excel技巧】如何将正数批量转换成负数

    看过小编之前写的"如何制作Excel左右对比条形图"指南的朋友可能知道,做Excel左右对比条形图有一步是添加一列辅助列,在辅助列中填上某数据列的负值.今天小编分享一种能比较快捷地 ...