IOEHM大模型推理一体机（数字人款）

产品介绍：

1. 采用算力卡搭配飞腾D2000主控芯片，打造用于大模型应用场景的一体化、 便携式产品，可将AI大语言模型在边缘侧和端侧进行部署，并提供本地或离线 的计算和存储能力。大模型一体机单机即可部署署通义千问Qwen-72B大模型 ，整机功耗为120W，在针对AI大语言模型的部署中具备高性能、低功耗等优 势，整机小巧便捷，开箱即用。

产品参数

2.机械尺寸：

产品外形尺寸为300（长）×150（宽）×200（高）单位：mm，机械接口示意图如下图 所示。

3．外部接口描述

4. 产品优势：

◼支持SIMT主流并行计算编程模型

◼ 编译器支持CUDA C、Open CL源代码

◼ 图编译优化工具，高效支持 AI1.0/AI2.0模型高效部署

◼ 支持PyTorch框架：推理&训练

◼ 提供语言级、算子级、模型级通用部署工具

◼ 智能视频分析框架 --- DeepWeave（deep stream/triton），插件开发 方式，快速搭建算法pipeline

◼ 支持TGI框架，统一的算法推理服务，方便用户集成

◼ 支持RAG+LLM推理方案，可提供参考设计

5. 支持各种深度神经网络
6. 

6.已适配模型列表

7.核心技术

多模态大模型语义/图像驱动引擎

视频结构化与行人识别技术

跨镜头行人ReID识别

困难场景人脸识别

8.大模型优势

（1）算力消耗小

大模型处理单图而非视频

• 多重算力优化
• 一级：视频抽帧
• 二级：目标检测
• 三级：时域重复
• …
• 

（2）一次分析，多次匹配

9.建设方案——云边结合

10.交通管理应用场景多模态大模型应用展示

以文本定义算法，一句话定义一个算法

• 交通场景
• 发生交通事故
• 车辆抛洒
• 车辆燃烧
• 道路施工
• 道路护栏倾倒
• 行人翻阅护栏
• …
•