需求提交
产品介绍
产品介绍:
1. 采用算力卡搭配飞腾 D2000 主控芯片,打造用于大模型应用场景的一体化、便携式产品,可将 AI 大语言模型在边缘侧和端侧进行部署,并提供本地或离线的计算和存储能力。大模型一体机单机即可部署署通义千问 Qwen-72B 大模型,整机功耗为 120W,在针对 AI 大语言模型的部署中具备高性能、低功耗等优势,整机小巧便捷,开箱即用;
产品参数
2 产品外观和尺寸
2.1 产品外观
产品外观如下图所示
产品优势:
◼支持SIMT主流并行计算编程模型
◼ 编译器支持CUDA C、Open CL源代码
◼ 图编译优化工具,高效支持 AI1.0/AI2.0模型高效部署
◼ 支持PyTorch框架:推理&训练
◼ 提供语言级、算子级、模型级通用部署工具
◼ 智能视频分析框架 --- DeepWeave(deep stream/triton),插件开发
方式,快速搭建算法pipeline
◼ 支持TGI框架,统一的算法推理服务,方便用户集成
◼ 支持RAG+LLM推理方案,可提供参考设计
支持各种深度神经网络
已适配模型列表