会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快!

奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快

时间:2025-01-05 09:45:00 来源:悲歌慷慨网 作者:时尚 阅读:784次

12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。

这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。

奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快

EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。

因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。

EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。

将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。

编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。

利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。

使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。

(责任编辑:热点)

相关内容
  • [流言板]巴特勒谈交易流言:这一切都在我的控制范围外
  • 意媒:考虑到最后两场关键的欧冠比赛,尤文目前无意出售达尼洛
  • 三镇外援门德斯:我希望一直在中国踢球,我对回巴西真的不感兴趣
  • 中国汽研:智驾不宜过度宣传、不能完全代替人驾
  • 韩媒:辽宁铁人外援邦本宜裕拖欠韩国保险费用3130万韩元
  • [流言板]博主:湖人认为詹姆斯会再留一年,否则不会做这笔交易
  • 倒扣1000万镑!曼联联赛第13,恐继续无缘欧冠+被阿迪扣合同钱
  • 记者:雷恩就引进塞科福法纳与利雅得胜利达成最终协议
推荐内容
  • [流言板]小波特:球队说不交易我,我也明白若交易也不会告诉我的
  • 女大学生宿舍充电宝炸了:平板电脑等被炸坏 损失5000元
  • 巴斯滕:丰塞卡手下没有当年我们那样的巨星,想获得成绩并不容易
  • 飞腾CPU 10年销量1000万颗!九译二进制翻译能跑2+万软件
  • 马洛塔:担任国米主席让我倍感自豪小因扎吉是最出色的教练之一
  • 洛佩特吉:不后悔更换首发阵容,目前还不知道鲍文具体的伤情