NLP学习
名词
Transformer
是一个利用注意力机制来提高模型训练速度的模型。
LDA
（Latent Dirichlet Allocation）是一种文档主题生成模型。
RNN
（Recurrent Neural Network）递归神经网络，处理序列数据的神经网络。
CNN
（Convolutional Neural Network）卷积神经网络，模仿生物的神经网络。
LLM
（Large language model）大语言模型。
NLP
（Nature language procsssing）自然语言学习。
NLU
（Nature language understand）自然语言理解。
RAG
（Retrieval Augmented Generation）检索增强生成。
tokenization
（word segmentation）分词
natural language
自然语言
formal language
形式语言
stemming
词干提取
lemmatization
词干还原
模型
ELmo
是AllenNLP团队的。
ULMFit
GPT
（Generative Pre-trained Transformer）是Open AI团队的。自回归预训练模型Prompting（指令/提示）。
训练时候，预测下一个词来学习。微调时候，指定输入输出的任务。
应用在自然语言生产场景。
文本生成：GPT可以用来生成文本。
文本自动完成：GPT可以用来自动完成用户输入的文本。
语言翻译：GPT可以用来生成翻译后的文本。
对话生成: GPT可以用来生成对话
摘要生成: GPT可以用来生成文章摘要
Few short leaning
In-context learning
BERT
（Bidirectional Encoder Representations from Transformers）是Google AI Language团队的。双向预训练模型fine-tuning（微调）。
训练时候，预测缺失的词来学习。微调时候，应用于多种任务。
应用在自然语言理解场景。
问答系统：BERT可以在问答系统中用来理解问题并生成答案。
句子相似度比较：BERT可以用来比较两个句子之间的相似程度。
文本分类：BERT可以用来对文本进行分类。
情感分析：BERT可以用来对文本进行情感分析。
命名实体识别：BERT可以用来识别文本中的命名实体。
MLM（Masked language model）
Masking input
CLS
Embedding
Softmax
Liner transform
fine-turning
Wikepedia & BooksCorpus
相关文章推荐
- SpringBoot的Restful的请求路径参数@PathVariable注解的使用技巧【20211110】 阅读：268
- 为Apache配置FileBeat安装笔记 阅读：69
- 做个web框架（16）——日志对象TFLog（二）日志模块的实现【20201112】 阅读：58
- Python使用selenium的execute_script方法获取数据 阅读：23
- 做个java框架（6）——SHA1编码和URL编码【20210104】 阅读：61
- tfphp\model\tfmodel模型类的使用技巧 阅读：0
- 使用jenkins/jenkins:2.401.1镜像安装Jenkins服务 阅读：94
- 做个用户管理系统（13）——用户模块user之安全问题功能的实现【20201129】 阅读：86
- SpringBoot项目打包成jar库包文件给其他项目使用的方法 阅读：704
- 在 Maven 里通过指定 application.properties 打包 SpringBoot 项目 阅读：167