分类
nlp

Go语言的词干还原器库GoLem

英语的屈折形态

英语中的屈折变化是对英语单词的变形,以表示语法关系或词义的不同细节。这种变化主要包括名词, 动词 和 形容词的词态改变。

1. 名词的屈折变化里,最常见的主要是单复数形式。比如,“cat” 的复数形式是 “cats”,或者”child”的复数形式是”children”;另外还有所有格,如 “John” 改变为 “John’s” 表示John的东西或所有物。

2. 动词的屈折变化包括了进行时态 (“is doing”), 完成时态 (“has done”), 过去时态 (“did”), 过去分词 (“done”) 等。这种改变不仅表示了动作的时间,而且还体现了动作的完成度,主语与动词是否一致等。

3. 形容词的屈折变化主要体现在比较级和最高级上,比如 “big”, “bigger”, “biggest” 分别表示”大”、“更大”和”最大”。

词干还原/屈折还原

在进行字典查询的时候,我们有需要把单词的屈折变化还原,得到词干,这样才能更方便的去查询字典。

比如,字典只有cat这个词,但是我们有时候看文章的时候遇到的可能是cats这个复数形式。或者,我们看到的是doing、has done、did或者done,但是字典中只有do这个词条。

Golem

GoLem 是一个托管在 GitHub 上的开源项目,设计为用 Go 编程语言实现的基于字典的词形还原器。 词形还原器是自然语言处理中使用的一种工具,用于将单词还原为其基本形式或词根形式。 例如,它将单词“aligning”转换为“align”。

该项目位于 GitHub 存储库“aaaton/golem”下,因其支持多种语言的多功能性而特别引人注目。 目前,它支持英语、瑞典语、法语、西班牙语、意大利语和德语。 GoLem 的灵活性允许添加更多语言,前提是这些语言有必要的词典可用。 用户可以针对他们想要使用的每种语言单独获取这些词典。

分类
AI nlp

伊隆马斯克等1000多名精英签名呼吁暂停AI的发展,到底是怎么回事儿?

最近有一个新闻,是说有1000多名精英,包括马斯克美国精英签名呼吁所有的人工智能实验室立即暂停比GPT-4更强大的人工智能的系统的训练至少6个月。这是怎么回事儿?

分类
AI nlp

ChatGPT 历史记录没了,怎么办?

这两天推特那边很多朋友在问我,chatgpt 历史记录没了,该怎么办。

分类
AI nlp

ChatGPT即将到来的AI新时代以及对我们的改变

我的油管频道“Tinyfool的胡说八道”,已经做了很多几期跟ChatGPT有关的节目。未来可能我会有大量的时间做AI的节目。公众号其实也发了一些文章:

其实未来我还会发很多很多。

分类
AI nlp

OpenAI GPT API 初探:价格,成本、模型选择以及中英文文本摘要篇

注意:本文介绍的是GPT-3 API的价格,目前OpenAI已经推出ChatGPT API,简而言之,新API价格是GPT-3最好模型的1/10,速度也将近快了10倍。强烈建议迁移你的代码到ChatGPT API。需要做的改动并不大,而且效果也会更好。

ChatGPT 最近非常火爆,甚至完全出圈。早在 GPT-3 发布的时候,我就非常关注。但是当时没进行具体的开发,只是看了看 API 做了一些实验。现在 ChatGPT 这么火爆,而且功能这么强大,我觉得我以前想做的很多产品,都可以利用这样的 AI 能力去实现。所以我决定开始写一些产品,用 ChatGPT 和其他 AI 模型的能力去打造产品。

分类
AI nlp seo

SEO:用ChatGPT来做搜索关键词聚类分析,方法和实例

截止到目前为止,我的Blog有194篇文章已经发布了,然而,如果你用Google分析去看2022年的内容分析。你会发现,马太效应很明显,真正带来主要流量的是少数的文章,前10名就可以看到阅读量的锐减。马太效应,28原则是我们在很多数据分析中都会常常看到的现象。

分类
AI nlp

Standford CS224N-深度学习下的NLP学习笔记(不定期更新)

课程视频地址 https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ

什么是NLP?

NLP就是自然语言处理natural language processing,基本上解决的就是计算机怎么理解人类语言的问题,实际应用中包括文本胜场,文本分类,机器翻译,甚至最近很火的ChatGPT等等需求都是由NLP完成的。