【[23星]nGPT：开源复现NVIDIA的nGPT模型，大幅提升Transfo

爱生活爱珂珂 2025-03-08 11:26:04

【[23星]nGPT：开源复现NVIDIA的nGPT模型，大幅提升Transformer训练效率。亮点：1. 相比传统Transformer，训练速度提升4-20倍；2. 使用LLaMA分词器，优化模型性能；3. 在1k和4k上下文中分别实现1.5-2倍和4倍的加速效果】

'nGPT: an open source reproduction of NVIDIA's nGPT (Normalized Transformer with Representation Learning on the Hypersphere)'

GitHub: github.com/JoeLi12345/nGPT

开源复现 Transformer优化 高效训练 AI创造营

0 阅读：0
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注

作者最新文章

1
早！[太阳] 早安 ​​​
2
【[25星]Simplechat：一个为AI模型打造的聊天界面，让对话更有记忆和
3
【[47星]LLaMA-Omni：复现LLaMA-Omni训练代码，助力端到端语
4
【[192星]World-Simulator：一站式多模态生成模型资源库，助力A
5
【DeepSeek开源周总结】DeepSeek 在其 “开源一周” 活动中，发布
6
【Probability Theory Notes：一份深入浅出的概率论课程笔记
7
【针对软件工程师阅读研究论文的系统方法论，强调通过多次阅读和深入研究背景知识来提
8
【[23星]nGPT：开源复现NVIDIA的nGPT模型，大幅提升Transfo
9
【Mistral 的新 OCR API 能够以 $1 的价格解析 1000-20
10
【兼听则明：冷眼旁观Manus】一、支持与认可观点1、技术突破与产品定位Manu

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
华为nova14惊艳亮相啦，真是让人看一眼就倾心呀！你们期待吗？
2
iPhone17系列将采用LTPO屏幕也就是说，标准版iPhone终于要放弃6
3
雷军到底投了多少家企业，看看这个版图，不比马斯克小了。
4
小米YU9要来了[doge]
5
各品牌手机状态栏对比你觉得谁更顺眼(图源网络)
6
小米15系列手机参数大起底，你选哪一款？
7
在座谈会上，任正非刚开口，现场顿时就安静了。任正非说：“咱们这些年可是啥难处都遇
8
华为非凡大师这质量是真没的说，冲床干了一下只有一个口子，还没有散架。
9
可以这么说：如果不在乎灵动岛的话，iPhoneSE4甚至可以做iPhone16
10
选华为还是荣耀从参数对比来看华为的优势在于拍照，USB速度，全系北斗卫星

科技最新文章

1
6000元以上手机的国补政策也来了！某宝的国补页面显示，针对指定手机（
2
中国团队搞出大事情了！全球首个通用AI智能体Manus炸裂登场，内测资格码被炒到
3
6000以上国补真来了🙌🙌目前只针对手机，北京地区viv
4
雷军传奇的一生，寝室6人，一人不落：1、林斌现任小米集团副董事长、执行董事，
5
雷军为啥这么多年没绯闻？
6
我简直要被雷军后面的这个海尔老总笑死了不是因为他的表情特别严肃而是因为拍
7
还是给雷总留了点体面的！看在官方镜头前的雷总发言，落落大方，自信满满的，结果
8
雷军的女儿，那真是个不简单的角色。作为小米集团的‘小公主’，她打小就在聚光灯下长
9
小米15系列手机参数大起底，你选哪一款？
10
好消息！荣耀数字系列要彻底支棱起来了，荣耀400相比荣耀300将迎来全方位升级。