Firefly推出大语言模型本地部署的产品：AIBOX-1684X，目前已适配主流的大语言模型，包括 ChatGLM3-6B，以下是 ChatGLM3 在 AIBOX-1684X 上的实机演示：
ChatGLM3-6B 采用更多元的训练数据和策略，在不同角度的数据集，采用了全新设计的 Prompt 格式，支持工具调用 (Function Call) 、代码执行 (Code Interpreter) 和 Agent 任务等复杂场景。
性能实测结果
更强大的基础模型
ChatGLM3-6B (Base) 在选取的8个中英文典型数据集中进行性能测试：
- 更强大的基础模型
除了对话模型ChatGLM3-6B外，还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench评测集上对模型进行测试：
虚拟硬件技术
Firefly虚拟硬件技术可通过软件的方式，在操作系统中虚拟出指定的硬件设备，让需要指定硬件设备才能运行的APP正常工作。目前已支持虚拟摄像头，虚拟声卡，虚拟触摸屏。
一、虚拟摄像头
Firefly的虚拟摄像头技术案例可在Firefly集群服务器上虚拟出多个摄像头，通过虚拟摄像头，用户可把准备好的视频文件/图片等加载进去，让这些虚拟摄像头输出这些图像信息。
二、虚拟声卡
当设备没有物理声卡但是又需要处理语音流时，可以使用虚拟声卡，例如可实现声音的播放、录制或混音等功能，也可以处理客户端到服务器的语音流。
三、虚拟触摸屏
如果设备没有触摸屏，但是又需要对系统执行触摸指令的时候，则可使用虚拟触摸屏；用户可以通过虚拟触摸模拟触摸事件上报给系统，以此来实现相应的触摸指令。
中山市天启智能科技有限公司专注于开源智能硬件，人工智能，物联网，数字音频产品的研发设计、生产和销售，同时提供了智能软硬件产品的整体解决方案。天启是福州瑞芯微电子(RockChip)正式授权的IDH（独立设计公司），同时也是瑞芯微Rockchip的战略合作伙伴，与瑞芯微电子有超过10年的紧密合作关系。
天启智能科技有限公司是一家专注软硬件技术服务的创新科技公司，致力于降低企业科技创新的技术门槛，加快智能科技与生活的融合。在2014年初成立了Firefly开源团队，为企业、团队和创客提供创新、开放、简易的高性能产品平台。现在我们已发布了10多款开源平台，客户覆盖全球38个国家，并吸引了超过20万全球开发者。
把大模型“装”进小盒子
——AIBOX-1684X 大模型人工智能盒子
算力高达32 TOPS！支持主流大模型私有化部署，
把AI的能力私有化，一个盒子就能满足个性化的AI部署！
算法丰富，全面的人工智能私有化部署。
搭载SOPHON算能AI处理器BM1684X，拥有八核ARM Cortex-A53，主频2.3GHz，采用12nm工艺制程；拥有高达32Tops（INT8）算力，
或16TFLOPS（FP16/BF16）算力、或2Tops（FP32）高精度算力，支持主流编程框架，可广泛应用于云端及边缘应用的人工智能推理。