Firefly推出大语言模型本地部署的产品:AIBOX-1684X,目前已适配主流的大语言模型,包括 ChatGLM3-6B,以下是 ChatGLM3 在 AIBOX-1684X 上的实机演示:
ChatGLM3-6B 采用更多元的训练数据和策略,在不同角度的数据集,采用了全新设计的 Prompt 格式,支持工具调用 (Function Call) 、代码执行 (Code Interpreter) 和 Agent 任务等复杂场景。
性能实测结果
更强大的基础模型
ChatGLM3-6B (Base) 在选取的8个中英文典型数据集中进行性能测试:
- 更强大的基础模型
除了对话模型ChatGLM3-6B外,还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench评测集上对模型进行测试:
虚拟硬件技术
Firefly虚拟硬件技术可通过软件的方式,在操作系统中虚拟出指定的硬件设备,让需要指定硬件设备才能运行的APP正常工作。目前已支持虚拟摄像头,虚拟声卡,虚拟触摸屏。
一、虚拟摄像头
Firefly的虚拟摄像头技术案例可在Firefly集群服务器上虚拟出多个摄像头,通过虚拟摄像头,用户可把准备好的视频文件/图片等加载进去,让这些虚拟摄像头输出这些图像信息。
二、虚拟声卡
当设备没有物理声卡但是又需要处理语音流时,可以使用虚拟声卡,例如可实现声音的播放、录制或混音等功能,也可以处理客户端到服务器的语音流。
三、虚拟触摸屏
如果设备没有触摸屏,但是又需要对系统执行触摸指令的时候,则可使用虚拟触摸屏;用户可以通过虚拟触摸模拟触摸事件上报给系统,以此来实现相应的触摸指令。
Firefly为您提供全面的解决方案,融合先进的技术和创新设计,为您打造智能硬件产品,助您在竞争激烈的市场中脱颖而出。
热门行业方案
1、服务器
自主可控、成熟、稳定的服务器解决方案,含括基于算力服务器,云手机服务器,视频处理服务器的,全套解决方案,我们拥有强大的技术团队,保证项目能应需而变,顺利落地
2、智能工业
将工业制造与科技有机融合,实现智能化生产与自动化流程。通过先进的数据分析与A技术,提生产效率与质量,优化资源配置,降低能耗与成本。我们致力于推动工业进步与创新,为客户打造高效、智能的生产体系
3、智能网关
集成多种通信协议,实现设备间的高效互联,实时监测与控制。具备强大的数据处理与存储能力,支持工业大数据分析与智能决策。可靠的安全机制保障数据传输的稳定与保密
4、智能显示
打破界限商业显示技术,通过高品质显示画面与智能的交互系统,生动展示产品与服务。多样尺寸与形态,适用于各种商业场景。智能交互与触控,提升用户体验。可靠稳定,持久运行,确保商业活动高效进行
把大模型“装”进小盒子
——AIBOX-1684X 大模型人工智能盒子
算力高达32 TOPS!支持主流大模型私有化部署,
把AI的能力私有化,一个盒子就能满足个性化的AI部署!
算法丰富,全面的人工智能私有化部署。
搭载SOPHON算能AI处理器BM1684X,拥有八核ARM Cortex-A53,主频2.3GHz,采用12nm工艺制程;拥有高达32Tops(INT8)算力,
或16TFLOPS(FP16/BF16)算力、或2Tops(FP32)高精度算力,支持主流编程框架,可广泛应用于云端及边缘应用的人工智能推理。