文档中心
智能摄像头
Agora.io 社区
中文
search-icon
场景介绍
更新时间 2021/06/15 07:52:40

声网提供智能摄像头全场景解决方案，包括适用于设备端的 SDK 和客户端 SDK，提供实时音视频和可靠信令的全场景服务。其中设备端 SDK 适用于网络摄像机（IP Camera）、可视门铃、行车记录仪等轻量级嵌入式设备；客户端 SDK 适用于移动端（Android/iOS）、桌面端（macOS/Windows）或 Web 端应用。通过接入 Agora 的 SD-RTN™，可以实现设备端和客户端应用的实时互动。

例如，在使用网络摄像机的场景中，用户可以在手机上查看摄像机的视频画面，手机客户端和摄像机设备端可以语音双向对讲，如下图所示：

智能摄像头场景示意图

功能列表

主要功能 功能描述
实时监控
  • 用户通过客户端 app 或网页查看摄像头的视频画面。
  • 一个摄像头场景能同时被多个手机查看。
  • 一个手机能同时查看多个摄像头场景。
    		•
    双向对讲 用户通过客户端 app 或网页和设备端进行语音通话。
    控制信令 通过云信令（RTM）SDK 实现可靠信令交互，用户可通过客户端 app 或网页远程控制设备。
    云端录制 通过声网云端录制服务录制实时音视频、录制完成后进行回放。

    技术方案

    Agora 提供 Agora RTSA Lite SDK、RTC 视频 SDK、云信令（RTM）SDK 和云端录制服务共同搭建智能摄像头场景。

    智能摄像头技术方案图

    图中红色部分需要你自行实现。

    各 SDK 或服务实现的功能如下：

    SDK 或服务 实现功能
    Agora RTSA Lite SDK 设备端加入 RTC 频道，发送摄像头视频，和客户端语音双向对讲，通过内置实时信令功能和客户端进行实时信令交互。
    Agora RTC 视频 SDK 客户端加入 RTC 频道，观看设备端的视频，和设备端语音双向对讲。
    Agora 云信令（RTM）SDK 客户端登录 RTM 系统并加入 RTM 频道，和设备端进行实时信令交互，远程控制设备。
    Agora 云端录制服务 录制 RTC 频道的实时音视频，录制完成后进行回放。

    此外，你可以在自己的业务后台实现以下功能：

    • 设备注册、控制
    • 连接建立
    • AI 功能
    • 回看录制内容

    传输架构

    下图展示了智能摄像头场景中，设备端向客户端发送音视频，并且通过实时信令控制设备的数据传输架构。

    图中最左列自研部分需要你自行实现。

    智能摄像头传输架构图

    图中视频编码支持 H.264 格式；音频编码方面，你可以选择自研的音频编码器，RTSA Lite SDK 支持传输编码后的 AAC 或 Opus 格式。如果没有自研音频编码能力，可以直接传输 PCM 格式，RTSA Lite SDK 会使用内置的 Opus 编码器完成音频编码。

    如果客户端使用 RTC Web SDK，有以下限制：
  • 音频不支持 AAC 编码格式。
  • 视频仅支持单向传输：即仅支持客户端接收设备端的视频，不支持客户端向设备端发送视频。

    • 平台兼容

    设备端

    平台 支持版本
    Linux
    • X86 / X86_64架构：gcc 内核 2.6.35 及以上
    • ARM 架构：
      • arm-linux-gnueabi 4.4.x 及以上
      • arm-linux-gnueabihf 4.8.x 及以上
      • aarch64-linux-gnu 4.8.x 及以上
      • arm-linux-musleabihf 5.2.x 及以上
      • arm-linux-musleabi 5.5.x 及以上
      • aarch64-linux-musl 5.5.x 及以上
      • arm-linux-uclibceabi 4.4.x 及以上
      • arm-linux-uclibceabihf 4.8.x 及以上
    • MIPS 架构：mips-linux-uclibceabihf 4.7.x 及以上
    LiteOS LiteOS 1.0
    HarmonyOS ARM 架构：arm-liteos-eabi 内核 liteOS 2.0
    Android Android 5.0 及以上
    • 如有其他平台需求，请填写问卷。
    • 对于设备端 Android 平台，在符合以下条件时使用 RTSA Lite SDK，否则可以使用 RTC SDK。
      • 功耗、SDK 包体积以及内存受限
      • 硬件编码能力强，自研能力高

    客户端

    平台 支持版本
    Android

    4.1+

    Android SDK 支持如下 ABI：

    • armeabi-v7a
    • arm64-v8a
    • x86
    • x86-64
    iOS 8.0+
    macOS

    10.0+

    macOS SDK 支持 x86 架构
    Windows

    Windows 7+

    Windows SDK 支持如下架构：

    • x86
    • x86-64
    Web
    • Chrome 58+
    • Chrome 49（仅 Windows XP）
    • Firefox 56+
    • Safari 11+
    • Opera 45+
    • QQ 浏览器 10.5+
    • 360 安全浏览器 9.1+
    • Edge 浏览器 80+

    Web 平台的支持情况还与设备型号及系统版本等有关，详见 Agora Web SDK 支持哪些浏览器？

    方案优势

    全场景解决方案

    提供实时媒体 + 信令控制的全场景一站式实时互动和互联互通解决方案。

    支持视频传输编码码流，音频灵活传输编码前/后格式，支持发送可靠控制消息和任意格式 generic codec 。

    轻量级设备端 SDK

    极小包体、超低功耗，帮助 IoT 设备开发者实现极佳的实时互动级体验，节省设备成本和资源开销。

    兼容性强

    设备端 ARM/MIPS/X86 等 Linux 全平台、Android，支持 LiteOS、Harmony 等主流 RTOS 平台，覆盖了主流设备端平台和系统，支持设备定制。

    依托 SD-RTN™，设备端可和客户端全平台实时音视频互通。

    易用性佳

    简单、易用、稳定，良好的可扩展性，灵活应对更丰富的 IoT 实时互动场景需求变化。

    超低延时

    Agora SD-RTN™ 网络节点覆盖全球 200 多个国家和地区，通过就近接入、智能路由等控制策略，保证全球平均端到端延时 < 400 ms。

    稳定可靠

    提供 SLA 质量保证，登录成功率 > 99%，全年可用时间高达 99.99%。

    极致弱网对抗能力

    业界领先的弱网对抗算法，保证在 70% 丢包情况下，音视频通话流畅；70% 丢包情况下，音频通话流畅，真正做到低卡顿、不掉线。

    质量透明

    通过 Agora 水晶球工具，显示端到端全链路的质量监控数据，帮助排查定位问题。