打赏

相关文章

给sample,gpt 加上rope和特殊的ffn

应用到每一层 import mathimport numpy as np import paddle import paddle.nn as nn import paddle.nn.functional as Fclass MaskMultiHeadAttention(nn.Layer):def __init__(self, hidden_size, num_heads):super(MaskMultiHeadAttention, self).__init__()assert hidden_s…

精确分析sample_gpt

当层数相同,同时头数和层数相乘小于 隐藏维度的时候 头数越大越好。及层数越少越好。 从这个图上可以继续得知 层数最小为8 而上面得到的结论,是层数和头数要小于隐藏维度,且能整除2 那么 得到 sqrt(hidden_dim)//8heads layer_num8 如图可以…

完善版top p t 解码策略

代码 def sample_logits(out: paddle.Tensor, temperature: float 1.0, top_p: float 0.8):"""对模型输出的logits进行采样。Args:out (paddle.Tensor): 模型输出的logits张量,形状为[Batch, vocab_size]。temperature (float): 温度参数,用于调节采样的多样性…

使用拼音代替中文做nlp之拼音文本互转

好处 使用拼音代替中文进行NLP(自然语言处理)任务的拼音文本互转有以下好处: 减小词汇空间:中文词汇庞大,使用拼音代替可以将词汇空间减小到拼音字符的数量级,简化了问题规模。 简化算法:使用…

给sample_gpt 增加 lisa 微调

论文 地址 概述 该论文提出了一种名为LISA的层重要性采样优化算法,旨在解决大规模语言模型训练中的内存瓶颈问题。其主要内容和贡献包括: 通过分析LoRA训练中各层权重范数的分布,发现了权重更新在底层和顶层更为集中的现象,揭…

字节树RAG吗

字符树具有超级长的依赖能力,而没有创新性,而ai没有超级长的依赖但是有创新性,故而使用且ai能够把控剧情走向,所以使用字符树进行依赖辅助,ai负责创新和美化,并把控走向没错。字符树就像大纲一样控制生成超…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部