首页 > 智能数码 > 工具软件 >四川优质EC-A1688JD4可适用于智能NVR

四川优质EC-A1688JD4可适用于智能NVR

作者:19617g 时间:2024-07-04 18:15:52

Firefly推出大语言模型本地部署的产品:AIBOX-1684X,目前已适配主流的大语言模型,包括 ChatGLM3-6B,以下是 ChatGLM3 在 AIBOX-1684X 上的实机演示:

ChatGLM3-6B 采用更多元的训练数据和策略,在不同角度的数据集,采用了全新设计的 Prompt 格式,支持工具调用 (Function Call) 、代码执行 (Code Interpreter) 和 Agent 任务等复杂场景。

性能实测结果

更强大的基础模型

ChatGLM3-6B (Base) 在选取的8个中英文典型数据集中进行性能测试:


  • 更强大的基础模型


除了对话模型ChatGLM3-6B外,还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench评测集上对模型进行测试:



把大模型“装”进小盒子

——AIBOX-1684X 大模型人工智能盒子

算力高达32 TOPS!支持主流大模型私有化部署,

把AI的能力私有化,一个盒子就能满足个性化的AI部署!

算法丰富,全面的人工智能私有化部署。

搭载SOPHON算能AI处理器BM1684X,拥有八核ARM Cortex-A53,主频2.3GHz,采用12nm工艺制程;拥有高达32Tops(INT8)算力,

或16TFLOPS(FP16/BF16)算力、或2Tops(FP32)高精度算力,支持主流编程框架,可广泛应用于云端及边缘应用的人工智能推理。


Core-3588L 8K人工智能核心板

采用Rockchip新旗舰级RK3588系列处理器,八核64位ARM架构,可配32GB大内存;支持8K视频编解码;采用了LGA封装接口,传输能力更强;拥有丰富的接口,支持多硬盘、千兆网、WiFi6、5G/4G扩展和多种视频输入输出;支持多种操作系统;可适用于ARMPC、边缘计算、云终端、云服务器、工业控制、智能汽车等领域。