天启智能科技有限公司,成立于2005年,拥有超过十年科技产品的研发经验,专注于开源智能硬件,人工智能,物联网,数字音频产品的研发设计、生产和销售,同时提供了智能软硬件产品的整体解决方案。天启是福州瑞芯微电子(RockChip)正式授权的IDH(独立设计公司),同时也是瑞芯微Rockchip的战略合作伙伴,与瑞芯微电子有超过10年的紧密合作关系。
Firefly推出大语言模型本地部署的产品:AIBOX-1684X,目前已适配主流的大语言模型,包括 ChatGLM3-6B,以下是 ChatGLM3 在 AIBOX-1684X 上的实机演示:
ChatGLM3-6B 采用更多元的训练数据和策略,在不同角度的数据集,采用了全新设计的 Prompt 格式,支持工具调用 (Function Call) 、代码执行 (Code Interpreter) 和 Agent 任务等复杂场景。
性能实测结果
更强大的基础模型
ChatGLM3-6B (Base) 在选取的8个中英文典型数据集中进行性能测试:
- 更强大的基础模型
除了对话模型ChatGLM3-6B外,还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench评测集上对模型进行测试:
虚拟硬件技术
Firefly虚拟硬件技术可通过软件的方式,在操作系统中虚拟出指定的硬件设备,让需要指定硬件设备才能运行的APP正常工作。目前已支持虚拟摄像头,虚拟声卡,虚拟触摸屏。
一、虚拟摄像头
Firefly的虚拟摄像头技术案例可在Firefly集群服务器上虚拟出多个摄像头,通过虚拟摄像头,用户可把准备好的视频文件/图片等加载进去,让这些虚拟摄像头输出这些图像信息。
二、虚拟声卡
当设备没有物理声卡但是又需要处理语音流时,可以使用虚拟声卡,例如可实现声音的播放、录制或混音等功能,也可以处理客户端到服务器的语音流。
三、虚拟触摸屏
如果设备没有触摸屏,但是又需要对系统执行触摸指令的时候,则可使用虚拟触摸屏;用户可以通过虚拟触摸模拟触摸事件上报给系统,以此来实现相应的触摸指令。
采用SOPHON算能八核AI处理器BM1688,INT8算力高达16 TOPS,支持16路H.265/H.264 1080p@30fps视频解码,支持主流编程框架,提供一站式深度学习开发工具包 SOPHON SDK,工具链完备易用度高,算法轻松部署,算法迁移代价小。适用于智算服务器、边缘智算盒、工控机、智能网络摄像机、AIOT、智能安防等类型产品和领域,为各行业进行AI赋能,算法丰富,全面的人工智能私有化部署