Hello World
自然语言处理——语言模型 自然语言处理——语言模型
语音识别系统的目的,是把语音转换成文字。具体来说,是输入一段语音信号,要找一个文字序列(由词或字组成),使得它与语音信号的匹配程度最高。这个匹配程度,一般是用概率表示的。用$X$表示语音信号,$W$表示文字序列,则要求解的是下面这个问题:
2023-02-22
Tokenization for NLP Tokenization for NLP
Tokenization的目地是将输入文本分割成一个个token,和词典配合以让机器认识文本。它的难点在于如何获得理想的切分,使文本中所有的token都具有正确的表义,并且不会存在OOV问题。 词粒度词粒度的切分就跟人类平时理解文本原理一
2022-11-05
梯度下降算法 梯度下降算法
梯度下降法作为机器学习中较常使用的优化算法,其有着3种不同的形式:批量梯度下降(Batch Gradient Descent)、随机梯度下降(Stochastic Gradient Descent)、小批量梯度下降(Mini-Batch G
2022-08-10
Bert Bert
BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为Decoder是不能获要预测的信息的。 模型的主要创新点都在pr
2022-07-29
Transformer Transformer
Why Transformer?在谷歌2007年提出《Attention Is All You Need》后,基于Attention思想的Transformer模型开始越来越多地出现在大众眼中。Transformer模型基于encoder-
2022-02-08
NER学习整理 NER学习整理
什么是NER命名体识别(Named Entity Recognition, NER),旨在识别文本中感兴趣的实体,如位置、组织和时间。已识别的实体可以在各种下游应用程序中使用,如根据患者记录去识别和信息提取系统,也可以作为机器学习系统的特性
2021-12-31
ASR错误自动识别与纠正 ASR错误自动识别与纠正
背景随着科技的发展,越来越多种类的智能语音产品出现。虽然智能语音产品种类,但是他们依赖着有着像汽车发动机一样重要的内核——语音对话系统(Spoken dialogue systems)。一个好的语音对话系统可以帮助用户高效的解决一些问题,或
2021-12-31