Bert 深度学习基础 深度学习笔记
【深度学习笔记】Bert的参数分析
本篇文章我们将拆分Bert，细究Bert的结构以及每一层的参数个数 我们以bert-base为例（768维）： 普通bert： bert的模型如下（省略多层）： 下面我们简单剖析一下各部分参数： 首先 阅读更多…
深度学习笔记
【深度学习笔记】Bert和其变种之间的区别
汇总用过或者见过的一些比较新奇的bert变种。 roberta xxx wwm albert nezha WoBert(WoNEZHA) ELECTRA xxx ext MacBert RoForme 阅读更多…
Python
【python】一些好玩又有用的库合集
1.handcalcs：通过简单的 Python 代码，生成复杂公式的工具。展示为 LaTeX 格式。 2.gopup： 所采集的数据皆来自公开的数据源，不涉及任何个人隐私数据和非公开数据。 支持微博 阅读更多…
深度学习笔记
【深度学习笔记】对抗训练
当说到对抗训练时，我们一般想到的是对抗生成网络（GAN）和对抗攻击、对抗样本等。 这里我们主要讲对抗攻击、对抗样本。它主要关心模型在小扰动下的稳健性。 比如，在cv领域，我们可以通过在原图像中加入噪点 阅读更多…
深度学习笔记
【深度学习笔记】DGCNN
最近在学习苏神法研杯摘要赛道的时候学习到一个DGCNN（ Dilate Gated Convolutional Neural Network ）网络。 这个网络可以有效的抽取出词向量中的信息，也就是一 阅读更多…
网络爬虫实战
【网络爬虫实战】大众点评评论页面字体加密与位置偏移
评论页有特殊的字体加密方式（或者说。。应该叫字体加密吧？），刚开始我还没发现 emm github链接。 观察评论html页面，有一个很奇怪的地方，之前字体加密无非是编码加密，还能看到编码，这里就直接 阅读更多…
网络爬虫实战
【网络爬虫实战】大众点评搜索页面字体加密
最近在写一个针对大众点评的爬虫框架。 github链接。 本篇讨论大众点评搜索页的字体加密，相关代码也可以在github中找到。 首先查看加密： 请求回来后发现html源码为乱码。 所以我们的目标就是 阅读更多…
transformers
【transformers】TFBertForTokenClassification
transformers的TFBertForTokenClassification。 对Token进行分类，比如NER任务（虽然经过测试后发现，没有CRF即使强大如Bert也不太行）。 发现token 阅读更多…
transformers
【transformers】TFBertForMultipleChoice
transformers的TFBertForMultipleChoice。 Multiple Choice，多选，主要用来进行 RocStories任务或者SWAG任务，也就是 给出一个陈述句子和4个 阅读更多…
transformers
【transformers】TFBertForSequenceClassification
transformers（懒的打这么长了，以后简称tmrs） 的 TFBertForSequenceClassification 首先说一下，batch_encode_plus的速度感觉并没有比enc 阅读更多…