IOEHM大模型推理一体机（数字人款）

产品介绍：

1. 采用算力卡搭配飞腾D2000主控芯片，打造用于大模型应用场景的一体化、 便携式产品，可将AI大语言模型在边缘侧和端侧进行部署，并提供本地或离线 的计算和存储能力。大模型一体机单机即可部署署通义千问Qwen-72B大模型 ，整机功耗为120W，在针对AI大语言模型的部署中具备高性能、低功耗等优 势，整机小巧便捷，开箱即用。

产品参数

2.机械尺寸：

产品外形尺寸为300（长）×150（宽）×200（高）单位：mm，机械接口示意图如下图 所示。

3．外部接口描述

4. 产品优势：

◼支持SIMT主流并行计算编程模型

◼ 编译器支持CUDA C、Open CL源代码

◼ 图编译优化工具，高效支持 AI1.0/AI2.0模型高效部署

◼ 支持PyTorch框架：推理&训练

◼ 提供语言级、算子级、模型级通用部署工具

◼ 智能视频分析框架 --- DeepWeave（deep stream/triton），插件开发 方式，快速搭建算法pipeline

◼ 支持TGI框架，统一的算法推理服务，方便用户集成

◼ 支持RAG+LLM推理方案，可提供参考设计

5. 支持各种深度神经网络
6. 

6.已适配模型列表

7.数字人客服应用特色

可实现功能：

• 数字人客服可成功处理80%的日常咨询， 显著减轻了人工客服的工作负担
• 客户满意度调查显示，超过90%的用户对数字人客服的服务表示满意或非常满意
• 转接至人工服务的案例中，复杂问题的解决率可提高15%