transformers
【transformers】TFBertForNextSentencePrediction
transformers的TFBertForNextSentencePrediction TFBertForNextSentencePrediction 下一个句子预测。 首先查看源码 源码 init 阅读更多…
transformers
【transformers】TFBertForMaskedLM
transformers的TFBertForMaskedLM。 TFBertForMaskedLM 这个类一样属于一个基类，主要是做Mask预测的，也就是说你可以对句子随机进行遮蔽（Mask），当然， 阅读更多…
transformers
【transformers】TFBertForPreTraining
transformers的TFBertForPreTraining 这个类暂时还没找到什么可以应用的具体任务，应该属于一个基类，下游任务调用的，等看到能用的下游任务回来补全。 暂时看一下源码。 这个库 阅读更多…
transformers
【transformers】TFBertModel
说明：本页所有链接均正确无误，如果发生404或者反应缓慢，是由于众所周知的原因，自行解决。 本章将用transformers的TFBertModel来实现文本分类。 首先介绍transformers（ 阅读更多…
深度学习笔记
【深度学习笔记】手写Transformer以及思考
最近在手写Transformer，有了一些理解，之前虽然感觉自己理论（Transformer理论图解）都理解了，但是写出来依然发现有很多地方不太明白，弄明白之后写出来记录一下。 先记录一下手写的一些细 阅读更多…
自然语言处理基础
【自然语言处理】机器翻译
机器翻译 机器翻译解决的是输入是一串在某种语言中的一句话，输出是目标语言相对应的话的问题，如将德语中的一段话翻译成合适的英语。 神经机器翻译 Neural Machine Translation(一下 阅读更多…
深度学习基础 深度学习笔记
【深度学习笔记】Attention和self Attention的联系和区别
什么是注意力？ 当人类观察一张图片或者一段文字时，可以将重点放到某一部分，从而可以更好的处理图中或文字中的信息。 如果我们在神经网络中也使用类似机制，可以让网络更好的获取上下文信息，从而获得更好的效果 阅读更多…
自然语言处理基础
【自然语言处理】文本生成
在自然语言处理中，一个重要的应用领域，就是文本的自动撰写。 关键词抽取、关键短语抽取、自动摘要提取都属于文本生成领域的一种应用。 不过这些应用，都是由多到少的生成。 文本生成主要技术： 基于同义词的改 阅读更多…
自然语言处理基础
【自然语言处理】命名实体识别
命名实体识别 命名实体识别（Named Entity Recognition，NER），它是自然语言处理中的一项基础任务，应用范围非常广泛。 命名实体一般是文中具有特定意义或者指代性强的实体，通常包括 阅读更多…
Python
【Python】codecs.open 和 open的区别
啊，这，写了这么多年python，都是with open 。今天看别人代码看到了codecs.open打开文件。查了半天，以后就也把这些细小的差别笔记写下来吧。 总的来说，就是，无脑codecs.op 阅读更多…