ASTRA AI整体介绍

一、ASTRA AI是什么

ASTRA AI芯片是一种集成了多种计算单元（包括 NPU/uNPU、GPU、CPU、DSP 等）的异构计算系统级芯片（SOC），专为处理复杂的人工智能（AI）任务而设计。这种设计使得ASTRA AI芯片能够在单个芯片上高效地执行多种不同类型的计算任务，从而满足各种AI应用场景的需求。

二、主要组成部分解析

1. NPU/uNPU（Neural Processing Unit/micro Neural Processing Unit）
NPU是专门用于神经网络加速的处理器，能够高效执行深度学习算法中的矩阵运算和卷积操作。

uNPU指的是微型的NPU，设计用于处理较小规模的神经网络或嵌入式系统中的AI任务，以节省功耗和成本。

2. GPU（Graphics Processing Unit）
GPU原本用于图形渲染，但因其强大的并行处理能力，现在也被广泛用于AI计算，特别是加速大规模矩阵运算和图像处理。

3. CPU（Central Processing Unit）
CPU是系统的主控中心，负责执行各种指令，包括操作系统、应用程序以及AI任务的调度和管理。

4. DSP（Digital Signal Processor）
DSP专门设计用于处理数字信号，如音频和视频数据。在AI应用中，DSP可以加速信号处理和特征提取等任务。

三、多模态AI算法支持

ASTRA AI芯片支持多模态AI算法，意味着它能够同时处理来自不同来源和类型的数据，如图像、语音、文本等。这种多模态处理能力对于构建复杂、全面的AI系统至关重要，因为它可以整合来自多个传感器的信息，从而做出更准确的决策。

1. 视觉算法 ：
用于图像识别、物体检测、场景理解等任务。

2. 语音算法 ：
支持语音识别、语音合成、情感分析等语音处理任务。

3. 大模型支持 ：
能够接入并高效运行各种大型AI模型，如深度学习模型、自然语言处理模型等，从而满足复杂应用场景的需求。

四、本地AI算力平台五大特点

为了满足构建新一代智能物联网设备的客户需求，深蕾半导体推出了可扩展的智能边缘处理器产品组合Astra系列。全新的Astra本地AI算力平台产品具备五大特点助力客户构建新一代智能物联网产品：

差异化计算解决方案

提供一系列节能多模的AI MPU芯片，以及高性能AI及MCU，为家庭自动化、智能家电、过程控制、可穿戴设备、安全、数字标牌、流媒体和企业会议等市场应用提供可扩展的、差异化的计算解决方案。

自适应AI框架

通过开放、跨平台、工具化、建模和优化的自适应AI框架，从 “让人工智能发挥作用” 变为 “与人工智能合作”。

统一的软件体验

全面的板级支持包（支持Linux，Android和领先的RTOS）提供开放、一致的跨平台体验。它基于标准的操作系统接口、安全架构和加速方法构建。用户可以基于熟悉的开发环境缩短评估和决策周期

广泛的合作伙伴解决方案生态系统

客户可以与行业领先的合作伙伴公司（从ODM和ISV到服务提供商和系统集成商）一起构建市场就绪的系统和解决方案堆栈。从用于企业和消费市场的单板计算机、流媒体、平板电脑、显示器和用于教育和商业的交互式 A/V 会议系统，到支持计算的连接模块， ASTRA产品系列使各种物联网平台成为可能。

优秀的无线连接性能

业界一流、行业认可的无线连接性能，支持Wi-Fi、蓝牙、BLE、802.15.4和GPS/GNSS等，并通过标准的 Linux 和 RTOS 软件框架和协议（如 Matter）实现。

五、支持多种方式接入AI推理

1. HDMI RX ：
通过HDMI接收接口，ASTRA可以接入高清视频信号，进行视频内容的实时分析和处理。这种方式适用于需要处理高清视频输入的场景，如安防监控、视频会议等。

2. MIPI/USB摄像头 ：
MIPI和USB是两种常见的摄像头接口标准。ASTRA支持通过这两种接口接入摄像头，获取实时视频流，并应用AI算法进行图像识别、目标跟踪等任务。这种方式在自动售卖机、智慧零售等领域有广泛应用。

3. RTSP/RTMP流 ：
RTSP（Real Time Streaming Protocol）和RTMP（Real Time Messaging Protocol）是两种常用的流媒体传输协议。ASTRA支持通过这两种协议接入网络视频流，进行远程视频内容的分析和处理。这种方式适用于需要处理网络视频内容的场景，如远程监控、在线教育等。

4. 本地视频播放 ：
ASTRA支持对存储在本地设备上的视频文件进行播放和分析。这种方式适用于需要处理本地视频文件的场景，如视频编辑、视频内容审核等。

5. 静态图像 ：
ASTRA还支持对静态图像进行分析和处理。这可以用于图像识别、图像分类、图像增强等多种应用场景。

6. 麦克风 ：
通过麦克风接入，ASTRA可以接收音频信号，进行语音识别、语音合成等任务。这在智慧客服、智能家居等领域有重要应用。

六、芯片系列以及典型应用场景

ASTRA AI芯片系列中，包含了SL1680型号、SL1640型号、SL1620型号、SR110型号。应用场景有：

1. 自动售卖 ：
通过接入摄像头和麦克风，ASTRA可以实时分析顾客的行为和需求，优化商品陈列和售卖策略。

2. 智慧显示牌 ：
结合视频流和静态图像的处理能力，ASTRA可以根据环境变化和观众需求动态调整显示内容，提升用户体验。

3. 安检设备 ：
通过对行李、人员等物品进行图像识别和分析，ASTRA可以帮助安检人员快速发现潜在威胁，提高安检效率。

4. 缺陷检测 ：
在工业生产线上，ASTRA可以对产品进行实时图像检测，发现缺陷并及时报警，确保产品质量。

5. 事件预警 ：
结合视频流和音频信号的分析能力，ASTRA可以实时监测环境中的异常情况，并及时发出预警信号。

6. 自动化运维 ：
ASTRA可以通过对系统日志、监控视频等数据的分析，帮助运维人员快速定位和解决问题，提高运维效率。

7. 多媒体交互 ：
通过语音识别和合成技术，ASTRA可以实现与用户的自然语言交互，提供更加便捷和智能的服务体验。

8. 视频内容分析 ：
ASTRA可以对视频内容进行深度分析，提取关键信息并生成分析报告，为决策提供有力支持。

综上所述，ASTRA凭借其强大的AI推理能力和多样化的接入方式，在多个领域都有着广泛的应用前景。