加速替代CUDA！摩尔线程开源vLLM
我要评论11月5日消息，加速近日，替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示，加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台，线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架，支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等，替代可显著提高大语言模型（LLM）的线程推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。
同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址：
https://github.com/MooreThreads/vLLM_musa
相关文章
12月23日讯 据巴西记者Gabriel Sá，奥斯卡已接受圣保罗体检，即将官宣签约3年。该记者表示：“奥斯卡是圣保罗2025年的第一名新援！这位33岁的巴西中场在离开中国足坛后是自由身，他与圣保罗签2024-12-26
加入爱奇艺体育 点击蓝字关注我们上周周中亚冠赛事，内马尔迎来复出，随即便传出关于其转会传闻。内马尔与利雅得新月的合同将在明年夏天到期，不过，已有沙特媒体爆料，迈阿密国际向新月提供了转会报价，这意味着梅2024-12-26
[流言板]选秀小年！本赛季至今2024届新秀还无球员单场砍下过20+得分
[流言板]选秀小年！本赛季至今2024届新秀还无球员单场砍下过20+得分由篮球资讯发表在篮球资讯 50211月03日讯 今日NBA常规赛热火对阵奇才的比赛已经结束。全场比赛，热火118-98战胜奇才。2024-12-26
2024赛季中国足球联赛总排名（男足）（2024.11.3）
2024赛季中国足球联赛总排名男足）2024.11.3）中超、中甲、中乙、中冠四级联赛已落幕。仅剩U21联赛还未完结，将诞生最后两个下赛季中乙的参赛名额。 2024-12-26
12月23日讯 谢菲联官方宣布，母公司United World Group将俱乐部所有权完全出售至COH Sports Limited。2013年，United World Group开始成为谢菲联股2024-12-26
中新社北京11月3日电 当地时间2日，2024年女子网球选手协会(WTA)年终总决赛在沙特阿拉伯利雅得启幕。单打比赛方面，在率先开打的紫组小组循环赛中，中国选手郑钦文首战以0:2负于世界第一萨巴伦卡，2024-12-26
最新评论