使用 Python 进行词嵌入:Wordc
来源:dev.to
时间:2024-12-08 21:39:40 322浏览 收藏
一分耕耘,一分收获!既然打开了这篇文章《使用 Python 进行词嵌入:Wordc》,就坚持看下去吧!文中内容包含等等知识点...希望你能在阅读本文后,能真真实实学到知识或者帮你解决心中的疑惑,也欢迎大佬或者新人朋友们多留言评论,多给建议!谢谢!
使用 python(和 gensim)实现 word2vec
注意:此代码是用 python 3.6.1 (+gensim 2.3.0) 编写的
word2vec与gensim的python实现及应用
1 2 3 4 5 6 7 | import re import numpy as np from gensim.models import word2vec from nltk.corpus import gutenberg from multiprocessing import pool from scipy import spatial |
- 导入训练数据集
- 从nltk库导入莎士比亚的哈姆雷特语料库
1 2 3 4 | sentences = list(gutenberg.sents( 'shakespeare-hamlet.txt' )) # import the corpus and convert into a list print ( 'type of corpus: ' , type(sentences)) print ( 'length of corpus: ' , len(sentences)) |
语料库类型:类“list”
语料库长度:3106
1 2 3 | print (sentences[0]) # title, author, and year print (sentences[1]) print (sentences[10]) |
['[', 'the', '悲剧', 'of', '哈姆雷特', 'by', '威廉', '莎士比亚', '1599', ']']
['actus', 'primus', '.']
['弗兰', '.']
预处理数据
- 使用re模块预处理数据
- 将所有字母转换为小写
- 删除标点符号、数字等。
1 2 3 4 5 | for i in range(len(sentences)): sentences[i] = [word.lower() for word in sentences[i] if re.match( '^[a-za-z]+' , word)] print (sentences[0]) # title, author, and year print (sentences[1]) print (sentences[10]) |
['the'、'悲剧'、'of'、'哈姆雷特'、'by'、'威廉'、'莎士比亚']
['actus', 'primus']
['弗兰']
创建和训练模型
- 创建 word2vec 模型并使用 hamlet 语料库对其进行训练
- 关键参数说明(https://radimrehurek.com/gensim/models/word2vec.html)
- 句子:训练数据(必须是带有标记化句子的列表)
- size:嵌入空间的尺寸
- sg: cbow 如果为 0,skip-gram 如果为 1
- 窗口:每个上下文所占的单词数(如果窗口
- 大小为3,考虑左邻域中的3个单词和右邻域中的3个单词)
- min_count:词汇表中包含的最小单词数
- iter:训练迭代次数
- workers:要训练的工作线程数量
1 2 3 | model = word2vec(sentences = sentences, size = 100, sg = 1, window = 3, min_count = 1, iter = 10, workers = pool()._processes) model.init_sims(replace = true) |
保存和加载模型
- word2vec模型可以本地保存和加载
- 这样做可以减少再次训练模型的时间
1 2 | model.save( 'word2vec_model' ) model = word2vec.load( 'word2vec_model' ) |
相似度计算
- 嵌入单词(即向量)之间的相似度可以使用余弦相似度等指标来计算
1 | model.most_similar( 'hamlet' ) |
[('horatio', 0.9978846311569214),
('女王', 0.9971947073936462),
('莱尔特斯', 0.9971820116043091),
('国王', 0.9968599081039429),
('妈妈', 0.9966716170310974),
('哪里', 0.9966292381286621),
('迪尔', 0.9965540170669556),
('奥菲莉亚', 0.9964221715927124),
('非常', 0.9963752627372742),
('哦', 0.9963476657867432)]
1 2 3 4 5 6 7 8 | v1 = model[ 'king' ] v2 = model[ 'queen' ] # define a function that computes cosine similarity between two words def cosine_similarity(v1, v2): return 1 - spatial.distance.cosine(v1, v2) cosine_similarity(v1, v2) |
0.99437165260314941
参考文献:
- 原始论文:mikolov, t.、chen, k.、corrado, g. 和 dean, j. (2013)。向量空间中单词表示的有效估计。 arxiv 预印本 arxiv:1301.3781.
本篇关于《使用 Python 进行词嵌入:Wordc》的介绍就到此结束啦,但是学无止境,想要了解学习更多关于文章的相关知识,请关注golang学习网公众号!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
339 收藏
-
184 收藏
-
197 收藏
-
343 收藏
-
324 收藏
-
479 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习