作者:小伍哥
来源:AI入门学习
一、应用概述
最近做一个项目,发现很多场景,把汉字转换成拼音,然后进行深度学习分类,能够取得非常不错的效果,在做内容识别,特别是涉及到同音字的时候,转换成拼音就显得特别重要。比如垃圾广告识别:公众号、工仲号、躬总号,公众號、微信、威信、维伈.........,pypinyin是我用的一个比较好用的Python包,给大家分享下,当然,在其他很多场景也是可以使用的,排序、检索等等场合。
二、有关文档
GitHub: https://github.com/mozillazg/python-pinyin
文 档:https://pypinyin.readthedocs.io/zh_CN/master/
PyPi :https://pypi.org/project/pypinyin/
三、关于安装
#可以使用 pip 进行安装 pip install pypinyin #easy_install 安装 easy_install pypinyin #源码安装 python setup.py install
四、核心函数
1、pypinyin.pinyin
语法:pypinyin.pinyin(hans, style=Style.TONE, heteronym=False, errors='default', strict=True)
功能:将汉字转换为拼音,返回汉字的拼音列表。
参数:
from pypinyin import pinyin, Style import pypinyin #普通模式 pinyin('中心') [['zhōng'], ['xīn']] pinyin('公众号') [['gōng'], ['zhòng'], ['hào']] # 启用多音字模式 pinyin('中心', heteronym=True) [['zhōng', 'zhòng'], ['xīn']] # 设置拼音风格 pinyin('中心', style=Style.NORMAL ) #普通风格 [['zhong'], ['xin']] pinyin('中心', style=Style.FIRST_LETTER) [['z'], ['x']] pinyin('中心', style=Style.TONE2) [['zho1ng'], ['xi1n']] pinyin('中心', style=Style.TONE3) [['zhong1'], ['xin1']] pinyin('中心', style=Style.CYRILLIC) #汉语拼音与俄语字母对照风格 [['чжун1'], ['синь1']]
2、pypinyin.lazy_pinyin
语法:pypinyin.lazy_pinyin(hans, style=Style, errors='default', strict=True)
功能:将汉字转换为拼音,返回不包含多音字结果的拼音列表,与 pinyin() 的区别是返回的拼音是个字符串, 并且每个字只包含一个读音
参数:
from pypinyin import lazy_pinyin, Style import pypinyin lazy_pinyin('中心') ['zhong', 'xin']lazy_pinyin('微信公众号')['wei', 'xin', 'gong', 'zhong', 'hao'] lazy_pinyin('中心', style=Style.TONE) ['zhōng', 'xīn'] lazy_pinyin('中心', style=Style.FIRST_LETTER) ['z', 'x'] lazy_pinyin('中心', style=Style.TONE2) ['zho1ng', 'xi1n'] lazy_pinyin('中心', style=Style.CYRILLIC) ['чжун1', 'синь1']
3、pypinyin.slug
功能:将汉字转换为拼音,然后生成 slug 字符串,简单说就是自定义分隔符
语法:pypinyin.slug(hans , style=Style, heteronym=False, separator='-', errors='default', strict=True)
import pypinyin from pypinyin import Style pypinyin.slug('我是中国人') 'wo-shi-zhong-guo-ren' pypinyin.slug('我是中国人', separator=' ') 'wo shi zhong guo ren' pypinyin.slug('中国人2020雄起', separator=' ') #遇到数字等非汉字不注音'zhong guo ren 2020 xiong qi' pypinyin.slug('中国人2020雄起', style=Style.FIRST_LETTER) 'z-g-r-2020-x-q' pypinyin.slug('我是中国人', style=Style.CYRILLIC) 'во3-ши4-чжун1-го2-жэнь'
4、 pypinyin.load_single_dict
功能:载入用户自定义的单字拼音库
语法: pypinyin.load_single_dict(pinyin_dict, style='default')
参数:
5、 pypinyin.load_phrases_dict
功能:载入用户自定义的词语拼音库
语法: pypinyin.load_phrases_dict(phrases_dict, style='default')
参数:
五、一个案例
假如需要找出一个垃圾评价的相似样本,用汉语相似性远远小于拼音,这个时候,拼音就能发挥很大的优势。
当然转换成拼音后,把每个音节当一个词,进行深度学习,效果也是非常好的。
S1 = '加公众号:小优惠,领券,便宜购买'
S2 = '伽工仲号:小优惠,伶绻,便宜购买'
#汉语相似
simi_1 = len(set(S1).intersection(set(S2)))/len(set(S1).union(set(S2)))#相似不懂的可以看我前面集合的文章
simi_1
0.5
#转换成拼音后显示
S1 = lazy_pinyin(S1)
S2 = lazy_pinyin(S2)
simi_2 = len(set(S1).intersection(set(S2)))/len(set(S1).union(set(S2)))
simi_2
0.875
数据分析咨询请扫描二维码
数据分析在当今市场营销领域扮演着至关重要的角色,为企业提供洞察力和决策支持。通过Python作为强大的数据分析工具,我们可以利 ...
2024-12-11学历与实践经验 数据架构师的职业道路既需要坚实的学术基础,也需要丰富的实践经验。通常,相关要求包括: 本科及以上学历:大 ...
2024-12-11数据分析师是当今数字化时代的关键角色之一,他们的工作范围涵盖了政府机关、企业、研究机构、医疗保健行业、教育机构、咨询公司 ...
2024-12-11数据分析这门技术,看似“高大上”,但真正懂得其原理的人却不多。很多人以为掌握了几种软件工具就算会数据分析了,但事实上,数 ...
2024-12-11数据分析在当今商业决策中扮演着至关重要的角色,而有效的数据可视化是沟通洞见和启发行动的关键。从中级数据分析师的职责出发, ...
2024-12-10在当今世界,我们看到许多行业呈现出令人兴奋的增长和发展态势。这些领域不仅满足了当下的需求,更是塑造着未来的经济格局。让我 ...
2024-12-10中国数字经济的崛起与影响力 多份报告和研究显示,中国的数字经济正以惊人的速度增长,并在经济各个层面产生广泛影响。让我们一 ...
2024-12-10中国数字经济的蓬勃发展 中国的数字经济在过去几年呈现出了惊人的增长势头,成为国民经济中不可或缺的引擎。截至2023年,中国数 ...
2024-12-10数据科学作为一门跨学科的领域,结合了统计学、计算机科学和专业知识,旨在从大量复杂数据中提取有意义的信息,为决策提供支持。 ...
2024-12-10数据分析专员在企业中扮演着至关重要的角色,通过专业的数据分析技能帮助企业从数据中提取价值,支持业务决策和增长。他们的工作 ...
2024-12-10欢迎走进数据分析的精彩世界!随着信息时代的到来,数据成为无处不在的宝贵资源。想要掌握数据分析的精髓,不仅需要扎实的基础知 ...
2024-12-10数据分析作为一门跨学科的领域,需要学习和掌握多方面的基础知识和技能。以下是数据分析所需的基础知识: 统计学和概率论 统计学 ...
2024-12-10数据分析的关键要素 数据分析作为一门跨学科的领域,涵盖广泛的基础知识和技能,是探索数据背后价值的重要工具。让我们深入了解 ...
2024-12-10在当今大数据时代,数据分析技能变得愈发重要。教育机构和在线平台提供了多样化的数据分析课程,覆盖各层次学习者需求。选择适合 ...
2024-12-10重要技能概览 作为现代商业和科学领域中不可或缺的角色,数据分析师需要掌握一系列关键技能和知识。这些技能涵盖了技术和软技能 ...
2024-12-10数据分析师的职业发展是一个持续演进的旅程,从掌握基础技能到拓展高级分析能力,贯穿于各个行业的实际应用。这篇文章将深入探讨 ...
2024-12-10在当今数字化时代,数据分析师扮演着至关重要的角色,他们不仅需要具备坚实的技术基础,还需具备业务洞察力和沟通技巧。让我们一 ...
2024-12-10数据分析师在当今就业市场中拥有广泛的职业发展机会,尤其是在大数据和人工智能迅速发展的背景下。让我们深入探讨数据分析模型的 ...
2024-12-10就业前景展望 统计与大数据分析专业的发展在数码化时代蓬勃发展,为热门领域之一。这个领域吸引着越来越多的专业人才,满足不断 ...
2024-12-10制作漂亮的数据分析图表不仅需要一定的数据分析技巧,还需要了解如何直观、易于理解地呈现数据。选择合适的图表类型、讲究色彩搭 ...
2024-12-10