在SAS中如何解决中文乱码问题
在日常的数据分析处理工作中,不可避免的经常会和中文字符串打交道。如果数据中有乱码,该如何处理?...
在日常工作中,使用SAS进行数据处理是很正常的事情,不可避免的经常会和中文字符串打交道。不知道各位在使用EG的过程中,打开数据集查看数据的时候,有没有遇到过以下问题?
(虽然我也只是偶尔遇到,但已经被折磨好几年!)
SAS Enterprise Guide 5.1
SAS Enterprise Guide 6.1
SAS Enterprise Guide 7.1
不同的版本提示的错误形式不完全一样,但出现的原因却是一模一样的(下面有情景再现的过程)。仔细查看,不难发现真正的错误信息都是一样的,主要是:
“Failed to transcode data from U_EUC_CN_CE to U_UTF8_CE encoding because it contained characters wihch are not supported by your SAS session encoding. Please review your encoding= and locale= SAS system options to ensure that they can accommodate tje data that you want to process.”
这段话是什么意思呢?其实就是上面EG 7.1版本的错误提示的中文描述。简而言之,就是告诉你数据中有无法处理的编码数据。
出现这个问题,仅仅是不能打开查看数据吗?不是!如果出现这个问题,意味着你基本不能用这个数据进行后续的分析了。只要进行的处理或者分析涉及到该有问题的字段就会提示上面的这个错误信息,阴魂不散,挥之不去。
最简单粗暴的办法就是不用图形化的工具EG,用最经典的Base工具就没有这个问题了,一劳永逸。而有时候没法不用EG的时候怎么办?比如我是用EG连着SAS服务器进行处理的,该怎么办?
至于为什么EG会出现这个问题,而Base界面没有这个问题呢?主要是因为软件的底层设计而导致的,这个编码问题说大不大,说小不小;忽略了就可以正常使用,如果不忽略,那么它就是一个问题。下面会对这个问题进行再现,剖析其原因,你就明白了。
当我第一次遇到这个问题的时候,想不明白,就去google搜索错误信息,找到的文档资料基本都是说编码或者地区的设置问题。意思就是说数据的编码跟现有的SAS环境的编码不一致,也就是上面错误信息当中提示的。要你通过option encoding= locale=; 修改到正确的编码及地区,就可以解决问题了。可是我的环境是没有任何问题的,数据也是同样的环境生成的。经过了几次的研究,最后搞清楚了,这个问题是由于中文被截断而导致的。
(下文需要有一定的IT基础知识,不懂的童鞋,可度娘有关数据存储、数据编码方面的知识;只要大概明白数据是怎么在计算机中存储及还原的就OK了)
具体来说:在GBK编码中(SAS中文的默认编码方式),一个汉字是占两个字节。由于各种原因,在存储数据的时候某个汉字只存储了其中的一个字节,另一个字节丢失了。那么就导致这个字节没法还原,不知道是什么东西(因为少一个字节的信息)。所以才会有上面的错误提示:数据中包含当前SAS会话编码不支持的编码数据。
我们可以用下面简单的程序来再现这个问题(在EG中运行这段程序,在Base中是可以正常查看数据的,但只显示“你好”。)
data test;
length str $ 5;
str="你好啊";
run;
当运行完这段程序,打开test数据集查看的时候,就出现上面的错误信息:
“你好啊”三个汉字需要6个字节去存储,而str事先定义了长度为5个字节,这就导致只存储了2.5个汉字;而存储的这0.5个汉字信息由于没法显示,所以才导致上面提示的编码问题。
进一步来看看底层的信息(十六进制编码):
data _null_;
length str1 $ 5 str2 $ 6;
str1="你好啊";
str2="你好啊";
put str1 $hex12.;
put str2 $hex12.;
run;
日志信息:
从上面的日志信息可以看到,就是因为少存储了“A1”这个字节信息,导致“B0”这个字节无法解码,无法正常显示。
额外补充(懂的人就此略过):
汉字“你”的GBK编码,十进制为50403,十六进制为C4E3
汉字“好”的GBK编码,十进制为47811,十六进制为BAC3
汉字“啊”的GBK编码,十进制为45217,十六进制为B0A1有人可能会想:英文字符就是一个字节存储的,一个字节也能显示出来;为什么这里的一个字节就出问题了?
这就涉及到编码范围的问题了,英文字符是ASCII编码。通过查看标准的ASCII码表就可发现,最大的编码十进制为127,十六进制为7F;而B0是远大于7F的,超出了ASCII的编码范围,因此无法显示。
如果你够仔细,你就会发现,其实在EG的错误提示中,就包含了这段出问题的十六进制编码信息:c4 e3 ba c3 b0。
问题的原因既然搞清楚了,那么如何解决的思路就很清晰了。说白了就是找出字符串中有中文截断的地方,然后将这半个汉字的信息直接删除就没问题了。
以前面生成的test数据为例,str的最后一个字节包含了半个汉字信息,只要将最后一个字节删掉就OK了。
data test2;
set test;
code_before=put(str,$hex10.);
str=substr(str,1,4);
code_after=put(str,$hex10.);
run;
如上所示,经过处理后,可以正常的显示数据了。
(注:code_after中最后一个字节“20”是空格的十六进制编码。字符变量中多余的字节,SAS默认用空格来填充。因此“你好”两个汉字占4个字节,剩余一个字节就是空格。)
虽然解决方法很清晰,想起来也很简单,但要实现起来还不是那么容易。上面的情况是特例,我们明显知道在哪个地方有问题,直接处理就OK。
但通常情况下,我们是不知道在字符串的具体哪个地方有截断,也不知道是哪些观测有截断的问题;而且每条观测中被截断的位置也不一定都一样,甚至也不知道截断的数据后面有没有其他字符数据。面对这么多不确定,该如何解决?
下面,提供一种思路,有兴趣的童鞋可以自由发挥,去解决这个问题。
首先,GBK编码方案中,总体的编码是有范围的,从8140~FEFE。其中首字节在81~FE之间,尾字节在40~FE之间,剔除xx7F一条线;总计23940个码位,共收入21886个汉字和图形符号,其中汉字21003个,图形符号883个。
其次,ASCII编码的范围是从00~7F,共计128个码位,收入大小写英文字母、数字、符号、及特殊控制字符。其中可显示的编码范围为20~7E。
基于上面的这些信息,就可以从十六进制编码入手,逐个去判断识别,进而找到存在截断的位置,然后将其处理掉。记得要考虑以下多种情况:数据分析师培训
截断情况出现在字符串末尾
截断情况出现在字符串中间,且后面紧跟英文字母
截断情况出现在字符串中间,且后面紧跟完整的汉字
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14