- Linux服务器，且开发环境满足Python 3.8及以上版本。
- 乐鑫 ESP32-S3-Korvo-2 或 AtomS3R 开发板。
- 参考如下流程开通硬件服务。
服务端示例仅供开发者快速体验和演示，请勿在生产环境中使用。生产环境的服务端需要你自行开发。
- PC服务器（Linux 建议使用 ubuntu18.04 及以上版本， 服务端示例程序在 Windows 11 python 3.12, MacOs python 3.9, Ubuntu 24.04 python 3.12实测可以正常运行）
pip install requests-
克隆实时对话式 AI 硬件 Demo 示例
git clone https://github.com/volcengine/rtc-aigc-embedded-demo.git
-
进入服务端 Demo 目录
cd rtc-aigc-embedded-demo/server/src -
设置配置文件
进入服务端配置文件
rtc-aigc-embedded-demo/server/src/RtcAigcConfig.py，设置如下参数# 鉴权 AK/SK。前往 https://console.volcengine.com/iam/keymanage 获取 SK = "WmpCbVl6Y3hOR1JrT************1tTTRZalF4WW1FeE56WQ==" AK = "AKLTNWQyODQ1MDM5Y***********WRmM2Y2NTJlMTQyZjI" # 实时音视频 App ID。前往 https://console.volcengine.com/rtc/listRTC 获取或创建 CONFIG_RTC_APPID = "67582ac8******0174410bd1" # 实时音视频 APP KEY。前往 https://console.volcengine.com/rtc/listRTC 获取 RTC_APP_KEY = "1a6a03723c******222ada877ee13b" # 大模型推理接入点 EndPointId 前往 https://console.volcengine.com/ark/region:ark+cn-beijing/endpoint?config=%7B%7D 创建 DEFAULT_END_POINT_ID = "ep-2025******160517-hlnzt" # 音频生成-语音合成 Voice_type，前往 https://console.volcengine.com/speech/service/8 获取 DEFAULT_VOICE_TYPE = "BV007_******ming" # 语音识别-流式语音识别 APPID 前往 https://console.volcengine.com/speech/service/16 获取 ASR_APP_ID = "884***621" # 语音识别-流式语音识别 ACCESS TOKEN 前往 https://console.volcengine.com/speech/service/16 获取 ASR_ACCESS_TOKEN = "M_X6X***BeXa1" # 音频生成-语音合成 APPID，前往 https://console.volcengine.com/speech/service/8 获取 TTS_APP_ID = "884***9621" # 音频生成-语音合成 ACCESS TOKEN，前往 https://console.volcengine.com/speech/service/8 获取 TTS_ACCESS_TOKEN = "M_X6X***BeXa1" # 服务端监听端口号,你可以根据实际业务需求设置端口号 PORT = 8080
在 rtc-aigc-embedded-demo/server/src目录下运行服务
python3 RtcAigcService.py本文以 Mac 操作系统为例。
-
乐鑫 ESP32-S3-Korvo-2 开发板。
-
USB数据线（两条 A 转Micro-B 数据线，一条作为电源线，一条作为串口线）。
-
PC（Windows、Linux 或者 macOS）。
详见开发环境配置文档
-
安装 CMake 和 Ninja 编译工具
brew install cmake ninja dfu-util
-
将 乐鑫 ADF 框架克隆到本地，并同步各子仓（submodule）代码
注意： demo 中使用的 ADF 版本为 [eca11f20e56f9b5321b714da4305e123672d92a9], 对应 IDF 版本为 [v5.4], 请确保 ADF 版本与 IDF 版本匹配。 1. clone 乐鑫ADF 框架
```shell
git clone https://github.com/espressif/esp-adf.git // cloneADF框架
```
2. 进入esp-adf目录
```shell
cd esp-adf
```
3. 切换到乐鑫ADF指定版本
```shell
git reset --hard eca11f20e56f9b5321b714da4305e123672d92a9
```
4. 同步各子仓代码
```shell
git submodule update --init --recursive
```
-
安装乐鑫 esp32s3 开发环境相关依赖
./install.sh esp32s3
成功安装所有依赖后，命令行会出现如下提示
All done! You can now run: . ./export.sh
对于 macOS 用户，如在上述任何步骤中遇到以下错误:
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:xxx)可前往访达->应用程序->Python 文件夹，点击
Install Certificates.command安装证书。了解更多信息，请参考 安装 ESP-IDF 工具时出现的下载错误。 -
设置环境变量
每次打开命令行窗口均需要运行该命令进行设置
. ./export.sh
-
将实时对话式 AI 硬件示例工程 clone 到 乐鑫 ADF examples 目录下
- 进入 esp-adf/examples 目录
cd $ADF_PATH/examples
- clone 实时对话式 AI 硬件示例工程
git clone https://github.com/volcengine/rtc-aigc-embedded-demo.git
-
禁用乐鑫工程中的火山组件
- 进入 esp-adf 目录
cd $ADF_PATH
- 禁用乐鑫工程中的火山组件
git apply $ADF_PATH/examples/rtc-aigc-embedded-demo/0001-feat-disable-volc-esp-libs.patch
-
进入
esp-adf/examples/rtc-aigc-embedded-demo/client/espressif/esp32s3_demo目录下编译固件- 进入 esp32s3_demo 目录
cd $ADF_PATH/examples/rtc-aigc-embedded-demo/client/espressif/esp32s3_demo
- 设置编译目标平台
idf.py set-target esp32s3
- 设置WIFI账号密码、RTC APPID、服务端地址和端口号
idf.py menuconfig
进入
Example Configuration菜单，在WiFi SSID及WiFi Password中填入你的 WIFI 账号和密码，在RTC APPID中填入你的 RTC APPID (前往 https://console.volcengine.com/rtc/listRTC 获取)，在AIGENT Server Host中填入你的服务端地址和端口号，并保存。- 设置开发板型号
idf.py menuconfig
进入
Audio HAL菜单，在Audio board中选择你的开发板型号。(例如: 方舟开发板选择M5STACK-ATOMS3R)，并保存。- 编译固件
idf.py build
-
打开乐鑫开发板电源开关
-
烧录固件
idf.py flash
-
运行示例 Demo 并查看串口日志输出
idf.py monitor
欢迎加入我们的技术交流群或提出Issue，一起探讨技术，一起学习进步。
