transformers
【transformers】TFBertForMultipleChoice
transformers的TFBertForMultipleChoice。 Multiple Choice，多选，主要用来进行 RocStories任务或者SWAG任务，也就是 给出一个陈述句子和4个 阅读更多…
transformers
【transformers】TFBertForSequenceClassification
transformers（懒的打这么长了，以后简称tmrs） 的 TFBertForSequenceClassification 首先说一下，batch_encode_plus的速度感觉并没有比enc 阅读更多…
transformers
【transformers】TFBertForNextSentencePrediction
transformers的TFBertForNextSentencePrediction TFBertForNextSentencePrediction 下一个句子预测。 首先查看源码 源码 init 阅读更多…
transformers
【transformers】TFBertForMaskedLM
transformers的TFBertForMaskedLM。 TFBertForMaskedLM 这个类一样属于一个基类，主要是做Mask预测的，也就是说你可以对句子随机进行遮蔽（Mask），当然， 阅读更多…
transformers
【transformers】TFBertForPreTraining
transformers的TFBertForPreTraining 这个类暂时还没找到什么可以应用的具体任务，应该属于一个基类，下游任务调用的，等看到能用的下游任务回来补全。 暂时看一下源码。 这个库 阅读更多…
transformers
【transformers】TFBertModel
说明：本页所有链接均正确无误，如果发生404或者反应缓慢，是由于众所周知的原因，自行解决。 本章将用transformers的TFBertModel来实现文本分类。 首先介绍transformers（ 阅读更多…
深度学习笔记
【深度学习笔记】手写Transformer以及思考
最近在手写Transformer，有了一些理解，之前虽然感觉自己理论（Transformer理论图解）都理解了，但是写出来依然发现有很多地方不太明白，弄明白之后写出来记录一下。 先记录一下手写的一些细 阅读更多…
自然语言处理基础
【自然语言处理】机器翻译
机器翻译 机器翻译解决的是输入是一串在某种语言中的一句话，输出是目标语言相对应的话的问题，如将德语中的一段话翻译成合适的英语。 神经机器翻译 Neural Machine Translation(一下 阅读更多…
深度学习基础 深度学习笔记
【深度学习笔记】Attention和self Attention的联系和区别
什么是注意力？ 当人类观察一张图片或者一段文字时，可以将重点放到某一部分，从而可以更好的处理图中或文字中的信息。 如果我们在神经网络中也使用类似机制，可以让网络更好的获取上下文信息，从而获得更好的效果 阅读更多…
自然语言处理基础
【自然语言处理】文本生成
在自然语言处理中，一个重要的应用领域，就是文本的自动撰写。 关键词抽取、关键短语抽取、自动摘要提取都属于文本生成领域的一种应用。 不过这些应用，都是由多到少的生成。 文本生成主要技术： 基于同义词的改 阅读更多…