产品介绍
Endless — 开源智能网络摄像头解决方案
版本 1.0 · 2026 年 3 月
产品概述
Endless 是一套生产级、完全开源的智能 IP 摄像头系统，基于嵌入式 Linux 构建。提供从 SoC 硬件抽象到云端 AI 集成的完整软件栈，覆盖视频采集、多协议流媒体分发、本地 AI 推理、多模态 AI Agent 服务及 Web 管理界面全链路。
项目面向需要可定制固件基础，而非依赖黑盒 SDK 的技术团队，并可根据项目需求提供硬件选型、板级适配、外设集成与软件功能定制。
目标用户：
| 用户类型 | 使用场景 |
|---|---|
| OEM / ODM 厂商 | 可提供软硬件定制，支持多平台 HAL 与板级适配 |
| 系统集成商 | ONVIF / GB28181 即插即用兼容，支持接口与功能定制 |
| 开发者 & 研究机构 | 边缘 AI、WebRTC、RESTful API、QEMU 开发环境 |
| 企业用户 | 私有化视频智能、基于 Agent 的监控分析与定制部署 |
硬件定制介绍
Endless 不只是提供通用固件能力，也支持围绕客户产品形态做硬件定制。对于需要快速落地摄像头产品的项目，可以在现有平台基础上，继续完成板级适配、外设扩展与产品化配置。
可定制范围
| 方向 | 可提供内容 |
|---|---|
| SoC / 平台 | 基于海思现有平台快速交付，也可扩展新的 SoC / BSP 适配 |
| 板级设计适配 | 按客户主板、传感器、音频链路与接口定义调整板级配置 |
| 外设集成 | GPIO、USB 音频、IR-CUT、RTC、看门狗等外设驱动与控制逻辑适配 |
| 产品规格 | 按目标型号组合分辨率、编解码、AI 能力、协议与存储方案 |
交付方式
- 可基于现有参考平台进行裁剪，缩短硬件导入周期
- 可配合不同产品定位输出商用型、入门型、高端 AI 型等版本
- 硬件定制与软件模块裁剪可同步推进，减少联调成本
核心能力
视频管线
| 能力 | 规格 |
|---|---|
| 编码格式 | H.264、H.265、MJPEG |
| 分辨率 | 最高 1080P @ 25fps |
| 图像增强 | 宽动态（WDR）、3D 降噪、数字锐化 |
| 抓图 | 通过 API 或 Web 界面抓取 JPEG |
多协议流媒体分发
| 协议 | 说明 |
|---|---|
| RTSP / RTP | 标准协议，支持多客户端并发 |
| WebRTC | 延迟 < 500ms，基于 GStreamer，浏览器原生支持 |
| RTMP / RTMPS | 推流至 CDN 或直播平台，支持多目标配置 |
| HTTP API | 抓图、状态查询、设备控制 |
AI 智能功能
| 层级 | 技术 | 能力 |
|---|---|---|
| 本地推理 | YOLOv8 + NPU | 人形、车形、人脸检测 |
| 云端视觉 | 阿里云通义千问 VL | 场景理解、图像问答 |
| 语音 AI | 小智 AI / Qwen3-Omni | 实时多模态语音对话 |
| AI Agent | 工具调用型 Agent | 上下文推理、工具调度 |
Qwen3-Omni 集成支持实时音视频交互——用户可以对摄像头提问（"门口有人吗？"），摄像头基于实时视频分析并给出语音回答。
软硬件定制支持
- 可基于项目需求选择海思/QEMU 等平台，并扩展新的 SoC 与板级配置
- 可定制 GPIO、USB 音频、IR-CUT、看门狗等外设接入与驱动适配
- 可按产品形态裁剪 Web、RESTful API、AI、存储、协议等软件模块
- 可扩展品牌化 Web 界面、业务流程、协议对接与云端集成
行业协议支持
- ONVIF：设备发现、媒体服务、设备管理服务
- GB28181：SIP 信令、PS 流封装、平台注册
- RESTful API：覆盖认证、配置、媒体、存储、升级的完整 HTTP/HTTPS 接口
- WebSocket：实时事件推送（AI 检测结果、系统告警、遥测数据）
存储管理
- microSD 卡存储，支持热插拔与文件系统监控
- 连续录像，带时间戳索引
- 可配置循环覆盖策略，支持存储空间告警
- Web 界面时间轴浏览与录像检索
- 支持 API 或 Web 界面下载
安全机制
- 全 Web 访问通过 HTTPS + TLS 加密
- 挑战-响应认证，防暴力破解
- JWT Token 会话管理，支持自动刷新
- 敏感配置数据加密存储
- 支持固件签名验证与安全启动（依赖硬件平台）
系统架构
┌─────────────────────────────────────────────────────────────────┐
│ 应用层 │
│ Web UI (Vue 3) · RESTful API · ONVIF · GB28181 · AI Agent UI │
├─────────────────────────────────────────────────────────────────┤
│ 高级服务层 │
│ 流媒体服务 (RTSP/WebRTC/RTMP) · Agent · Qwen · Xiaozhi │
├─────────────────────────────────────────────────────────────────┤
│ 基础业务层 │
│ 媒体 · 录像 · 存储 · 文件管理 · 升级 · 规则引擎 │
├─────────────────────────────────────────────────────────────────┤
│ 基础软件层 │
│ 配置管理 · 事件总线 · GStreamer · FFmpeg · SQLite · OpenSSL │
├─────────────────────────────────────────────────────────────────┤
│ 硬件抽象层（HAL）— 纯 C 接口 │
│ 视频 · 音频 · AI 加速 · 外设 · USB │
├─────────────────────────────────────────────────────────────────┤
│ 内核层：Linux 5.10 + SoC 设备驱动 │
├─────────────────────────────────────────────────────────────────┤
│ 硬件：海思 3516CV610 · 3516CV608 · 3519DV500 · QEMU │
└─────────────────────────────────────────────────────────────────┘
详见 架构文档。
硬件平台支持
| 平台 | 定位 | 状态 |
|---|---|---|
| 海思 3516CV610 | 商用 IP 摄像头（产品 PA） | ✅ 已支持 |
| 海思 3516CV608 | 入门级 IP 摄像头 | ✅ 已支持 |
| 海思 3519DV500 | 高端 AI 摄像头 | ✅ 已支持 |
| QEMU aarch64 | 开发 & CI 测试环境（产品 PB） | ✅ 已支持 |
交叉编译工具链位于 device/soc/hisilicon/ 各平台目录。QEMU 平台支持无硬件的全栈开发与回归测试，也便于定制软件模块的快速验证。
技术栈
后端
| 组件 | 技术 |
|---|---|
| 核心语言 | C++17（服务层），C（HAL） |
| 构建系统 | CMake 3.x + Buildroot |
| 媒体框架 | GStreamer 1.18 |
| 编解码 | FFmpeg 4.x |
| 数据库 | SQLite 3.x |
| 网络 | libcurl 7.x，OpenSSL 1.1.1 |
| 日志 | spdlog |
| JSON | nlohmann/json |
前端
| 组件 | 技术 |
|---|---|
| 框架 | Vue.js 3.4 + Pinia + Vue Router 4 |
| UI 组件库 | Ant Design Vue 4.x |
| 构建工具 | Vite 5.x |
| WebRTC | 浏览器 WebRTC API + GStreamer 后端 |
| 终端 | xterm.js（WebGL 渲染） |
| 国际化 | Vue I18n 11.x（zh_CN、en_US） |
AI 服务
| 服务 | 提供方 | 集成位置 |
|---|---|---|
| 本地目标检测 | YOLOv8 + 海思 NPU | HAL AI 加速器 |
| 云端视觉 | 阿里云通义千问 VL | foundation/aliyun |
| 实时多模态 | Qwen3-Omni SDK | foundation/qwen |
| 语音对话 | 小智 AI | foundation/xiaozhi |
| Agent 框架 | 自研工具调用型 Agent | foundation/agent |
典型使用场景
家庭 & 中小企业安防
部署于海思 3516CV610 硬件，浏览器通过 WebRTC 访问（实时延迟 < 500ms）。本地 AI 检测人形、车辆，事件写入 SD 卡。用户可通过 AI Agent 语音界面向摄像头提问。
企业级视频智能
通过 ONVIF 或 GB28181 将摄像头接入现有视频管理系统（VMS）。通过 RESTful API 对接自定义看板或安全运营平台。启用云端千问 VL 进行高级场景描述与异常分析。
OEM / ODM 产品开发
以 Endless 为固件基础，HAL 层隔离硬件差异，便于 SoC 移植、板级适配与外设扩展。C++ 服务模块独立编译，按需裁剪；Web、协议与 AI 能力也可按产品需求定制。自定义 AI 流水线可作为独立模块添加至 foundation/ 目录。
边缘 AI 研发
QEMU aarch64 平台（产品 PB）提供完整的功能环境，支持算法开发、CI 测试与集成验证，无需实体硬件。Web 界面支持 YOLO 模型上传与热加载。
集成参考
API 接口（节选）
| 方法 | 路径 | 说明 |
|---|---|---|
| POST | /v1/auth/login | 挑战-响应登录，返回 JWT |
| GET | /v1/config/{module} | 读取模块配置 |
| PUT | /v1/config/{module} | 写入模块配置 |
| GET | /v1/device/info | 设备信息、固件版本 |
| POST | /v1/upgrade/upload | 上传固件包 |
| GET | /v1/record/list | 按时间段查询录像 |
WebSocket 事件
| 事件 | 数据 |
|---|---|
| AI 检测结果 | 边界框、类别、置信度、时间戳 |
| 存储告警 | 剩余空间、状态 |
| 系统状态 | CPU、内存、运行时长 |
RTSP 流地址格式
rtsp://<设备IP>:<端口>/stream/<通道号>
默认端口：554。最多支持 5 路 RTSP 并发连接。
路线图
近期目标
- WebRTC 端到端加密
- 扩展 AI 检测场景与自定义模型管理
- AI 推理性能优化（量化、NPU 调度）
中期目标
- 云端 APP 对接
- 移动端 APP（iOS / Android）
- 开发者 SDK 与文档门户
长期规划
- 更多硬件平台与定制参考设计
- 边缘 AI 模型优化（INT8、剪枝）
- 多摄像头协同