当前位置: 首页 > news >正文

做网站图片教程/企业网站seo点击软件

做网站图片教程,企业网站seo点击软件,北京律师网站建设平台,wordpress 试听深度学习基本原理:梯度下降公式,将损失函数越来越小,最终预测值和实际值误差比较小。 交叉熵:-p(x)logq(x),p(x)是one-hot形式。如果不使用softmax计算交叉熵,是不行的。损失函数可能会非常大,…

深度学习基本原理:梯度下降公式,将损失函数越来越小,最终预测值和实际值误差比较小。

交叉熵:-p(x)logq(x),p(x)是one-hot形式。如果不使用softmax计算交叉熵,是不行的。损失函数可能会非常大,或者预测的概率是[-0.1,0.3,0.5],log不接收负值。pytorch默认给你加softmax。

如果softmax改成sigmoid也不行,如sigmoid过完以后,[0.9,0.99,0.99],计算以后0.99的影响会被忽略,得到的结果是不正确。

adam和sgd区别:adam会考虑之前的计算,自动调节学习率,在通过梯度平方控制学习率的调节,让训练可以比较平稳又可以加速。

transformer和rnn区别:长距离依赖问题,rnn越远影响越弱。

调参经验:batch_size,max_length,学习率增大batch_size应该怎么调整,加数据量,打乱数据顺序。

训练词向量:将one-hot乘以一个矩阵进行训练,cbow,skip-gram,共现矩阵,keans聚类。

语言模型:PPL评价语言模型,不能成句也可能PPL比较低,所以PPL评价不太好。

传统方法和预训练方法:

Transformer里的dk是hidden_size/ head_num,是实验结果。

数据稀疏问题:标注更多数据,大模型生成更多数据,换模型,调整阈值,召回率换准确率。重新定义类别,减少类别,增加规则弥补。

文本匹配:表示型,直接计算,交互型,速度慢,更准确。文本向量化:文本和句子分别过一个模型,优化模型,使文本和句子相似,如果是句子和句子可以用相同模型,最后得到的参数作为向量数据库。表示型:一个句子直接向量化,交互型:必须进入两个句子算得分。

向量数据库查找:KD树。

序列标注:crf会用维特比解码,bean search在大模型里使用,n * D *B,复杂度小很多

ner:加标点任务。

序列标注重复:多个模型,生成式任务,输出两个标记。

自回归语言模型:下三角mask,预测下一个词。

teacher-forcing,使用真实标签预测,提高效率。

采样策略:topk,topp,bean-size,temperature(大模型)。

bert变体:albert减少参数,roberta(动态mask,去掉nsp任务)

stf用于大模型问答,相当于encoder-decoder,bert是encoder,通过mask可以实现decoder自回归语言模型(文本生成)。

moe专家模型(一个MLP层就是一个专家),deepseek使用共享专家。deepseek在qkv计算的过程中,q和k拆成两部分,其中一部分注入rope位置信息,另一部分不处理。减少运算量。

bbpe:解决多语种,不用统计词,既不是中文词表也不是英文词表,具有跨语种的优点。bpe是基于字符,bbpe是转化为unicode编码,然后合并,是基于字节的。

知识图谱:方法一是基于模板+文本匹配,类似于faq库问答,相似度可以用bm25,jaccard距离,或者余弦距离。方法二:拆解成多个分类或抽取问题处理。方法三:利用大语言LLM的生成能力

推荐系统:基于相似用户、相似物品的推荐。

http://www.whsansanxincailiao.cn/news/30725184.html

相关文章:

  • 烟台专业做网站/推广普通话的意义30字
  • 网站顶级栏目403/腾讯云服务器
  • 做ppt找图片在哪个网站/成全高清免费观看mv
  • 河南洛阳霞光网络/seo代码优化
  • 苏州网站建设外贸/百度指数分析报告
  • 金华婺城建设局网站/鞍山做网站的公司
  • 小程序appsecret在哪里看/广州seo顾问seocnm
  • 营销网站和展示型网站/聊石家庄seo
  • 莒县城阳网站建设/长尾关键词挖掘词工具
  • 我自己的网站怎么做关键词优化/合肥今日头条新闻
  • 丰县住房与城乡建设部网站/网站seo思路
  • 中国建设银行贵州分行网站/口碑营销渠道
  • 做科研找论文的网站/外贸营销网站建设介绍
  • 海南省住房城乡建设厅网站/ios微信上的pdf乱码
  • 内力网站建设/宁波外贸网站推广优化
  • 做推送用什么网站/免费推广网站大全集合
  • 一个网站做数据维护需要多久/色盲
  • 贵阳建设公司网站/互联网公司有哪些
  • 橙色网站欣赏/太原互联网推广公司
  • 计算网站制作教程/网络优化包括
  • wordpress 发布时间/网站seo诊断报告怎么写
  • 专门做国外网站/电子商务主要学什么就业方向
  • 杭州做网站哪家好/青岛关键词排名哪家好
  • 恶搞网站怎么做/淘宝自动推广软件
  • 赤水网站建设/新seo排名点击软件
  • 商业网站怎么做/优化关键词排名推广
  • 著名网站用什么语言做后台/不花钱网站推广
  • 酒店网站的开发及其设计方案/百度推广区域代理
  • 网站实名认证功能怎么做/做网站哪家公司比较好而且不贵
  • 比较好的做网站的公司/广告投放怎么做