时下智能语音交互市场火热，越来越多的设备都开始支持远场AI语音交互。 例如:智能音箱，智能电视等等。但这类产品的识别率和误唤醒率还需再不断的优化提升，以至于日常生活中人们还是离不开各式各样的遥控器。而蓝牙语音遥控器这一产品，作为远场语音交互的一个近场配件，也搭上了这趟语音交互的快速列车，成长速度令人惊讶。基于Actions炬芯的ATB1103芯片的语音遥控器，打造了一个AIoT时代的高性价比精品。 一、遥控器应用总体架构 遥控器总体架构分四层，从上到下依次为应用层、应用框架层、硬件抽象层、底层驱动层 1.1、应用层 • 应用状态机– 事件触发让遥控器应用处理不同的状态 • 应用定时器– 定时触发不同的事件，驱动遥控器正常运行 • 应用输入处理– 处理底层来的不同按键消息 • 应用音频输入处理– 将底层的音频处理消息，进行编码，然后通过蓝牙发送给对端设备 • BLE profile – HID profile，提供按键输入输出接口服务 – BAS service，提供电池服务 – DIS service，提供读取设备基本信息的接口服务 – ota profile，提供OTA 升级服务 1.2、应用框架层 • 输入管理– 按键映射处理、按键过滤机制 • 消息管理– 消息分配和释放、 消息发送和接收 • 内存管理– 动态内存管理 • 闪灯管理– 灯资源分配和释放 • 电池管理– 电量读取、电量管理策略 1.3、硬件抽象层 将应用层和驱动层剥离开的中间件层 1.4、底层驱动层 底层硬件操作接口 二、遥控器模块流程概述 2.1、系统启动 系统相关初始化、板级相关外设初始化、蓝牙协议栈相关初始化、HidApp 应用初始化，并进入Main 主循环，等待消息处理 2.2、遥控器状态机 遥控器在运行过程中，主要靠如下3 种状态维持他的正常运行。 2.2.1. 触发遥控器进去空闲状态的事件: > 广播状态，没有连接成功，出现超时事件，进入idle > 连接状态，断开连接，如无操作主动断开连接，然后进入idle 2.2.2. 触发遥控器进入激活状态的事件: > 空闲状态，有按键、首次上电，进入激活状态 > 连接状态，出现异常断开，需要回连，进入激活状态 2.2.3. 触发遥控器进入工作状态的事件: > 激活状态下，配对成功或者回连成功，进入工作状态。 2.3、按键处理 由于遥控器的键值较多，通常用矩阵键盘方式以节省pin 的使用。当使能Key 模块后，Key 控制器就会处于矩阵扫描状态，当检测到外部按键有值时，就会产生中断，中断就将按键信息上报给应用。 2.4、红外处理 • 在非连接状态下，按下按键，就会发射红外码，进而通过红外操作对端设备，如使用红外进行配对. • IRC 协议上，最短的红外码重发时间为108 ms，而按键的重复上报时间，可能小于108ms，也可能大于108ms，因此按键输入和红外发送模块时间上存在三种可能: 2.4.1. 慢速点按 慢速点按动作特征是在大于Trpc 时间后有多次的按键输入。在Ta 时刻，发出初次按键值，在Tb 时刻，不做任何响应，在Tc 时刻，继续发送检测到的按键值，不会发送重复码. 2.4.2. 快速点按 快速点按的动作特征是用户在Trpc 时间内有两次或者以上的按键按下弹起的动作. 在Ta 时刻，将发送出初次按键，而Tb 时刻并不发送按键值，在Tc 时刻，如果按键仍然是按下状态，将发出按键值，否则将丢掉按键值. 2.4.3. 长按 长按的动作特征是按键按下后，一直不放开。此时CPU 检测到按键的持续按下，则在Ta 时刻发送出初次按键，发送出此时按键对应的红外键码，而在Trpc 时间内没有检测到按键的松开，则在Tb 时间输出重复码，直至检测到按键弹起为止. 2.5、语音采集 • 当启动Voice Key 后，ADC 开始采集 • 采集的数据通过DMA 搬运到应用的循环buffer 中，同时发送消息给Main 线程，让其处理语音数据。 • 如果Main 线程处理速度不够快，audioin 驱动就会因为分不到buffer，而将采集的语音数据丢弃。 2.6、BLE数据传送 • 将audioin 驱动发送上来的数据进行编码压缩。 • 然后将编码后的压缩数据切成几个20byte 的数据包 • 最后通过hid profile notify 接口发送给BLE 协议栈 2.7、应用软件Timer管理模块 2.8、LED管理模块 遥控器定义了几种LED 指示灯，用于指示遥控器的一些状态，如下表所示 通常遥控器只有一个物理的LED 灯用于各种场景的指示，这就需要软件上让其分时复用，如果同时需要显示两种状态，状态需要定义优先级，优先级高的状态先指示。如在配对模式下，处于闪灯状态下，这时候按下按键，那么灯还是处于快闪状态。 2.9、O

小米蓝牙语音遥控器原理图，带红外学习功能，带蜂鸣器，支持一键查找遥控器功能

bt_test.exe

ble audio补丁原理是利用hidraw节点捕捉协议栈发送的语音数据，目前Android Blueroid将ble语音数据和按键信息通过hid发送出去，通过建立hidraw节点，可以从中捕捉到语音数据。目前通过ble hal实现从hidraw中读取遥控器语音数据，在Android框架层上就通过配置文件将ble hal导入到音频框架中，并通过绑定Android原生已有的耳麦设备来完成audio音频策略选择，通过apk检测ble连接状态，通知audio服务耳麦设备的状态就可以使得录音通路切换至ble hal，实现从ble获取录音数据功能。 打补丁前最好使用干净的环境，不要有别家方案ble补丁，否则可能会有不兼容问题。 补丁如若不能使用首先检查节点是否存在和其权限，正常节点权限如下： ls -l /dev/hidraw* crw-rw---- 1 system audio 241, 0 2018-12-18 13:42 /dev/hidraw0 audio用户组有读写权限。 2、如果selinux模式为Enforcing，可以通过logcat搜索avc关键字。有如下类似提示则为异常，提示进程没有权限，检查sepolicy是否设置正常： avc: denied { read } for name="/" dev="tmpfs" ino=6145 scontext=u:r:mediaserver:s0 tcontext=u:object_r:device:s0 tclass=dir permissive=0 //Android 5.0和6.0版本，audio hal被mediaserver进程加载 avc: denied { read } for name="/" dev="tmpfs" ino=8125 scontext=u:r:audioserver:s0 tcontext=u:object_r:device:s0 tclass=dir permissive=0 //Android 7.0版本，audio hal被audioserver进程加载 avc: denied { read } for name="hidraw" dev="sysfs" ino=16332 scontext=u:r:hal_audio_default:s0 tcontext=u:object_r:sysfs:s0 tclass=dir permissive=0 //Android 8.0和9.0版本，audio hal被android.hardware.audio@2.0-service进程加载 3、检查audio的配置，打上patch后，首先确认小机上文件是否有修改到，目前文件可能位于/vendor/etc或/system/etc目录下，其中/vendor/etc下的配置文件是优先解析的。确保文件无误后，通过dumpsys media.audio_policy查看ble hal是否正常加载。 以下是相关说明： AudioPolicyManager: 0xf20c5200 Command Thread: 0xf20af140 Tones Thread: 0xf20af020 ... - Available input devices: Device 1: - id: 3 - type: AUDIO_DEVICE_IN_BUILTIN_MIC - Profiles: Profile 0: - format: AUDIO_FORMAT_PCM_16_BIT - sampling rates:8000, 11025, 12000, 16000, 22050, 24000, 32000, 44100, 48000 - channel masks:0x000c, 0x0010 Device 2: - id: 20 - type: AUDIO_DEVICE_IN_WIRED_HEADSET //对应的数值是0x80000010 - name: RemoteDM1204 - Profiles: Available input devices指示当前可用设备，目前ble hal是和AUDIO_DEVICE_IN_WIRED_HEADSET设备绑定，如果需要录音走ble hal，AUDIO_DEVICE_IN_WIRED_HEADSET设备必须出现在可用设备中，如果没有，就可能是补丁中hidaudio.apk的问题。 HW Modules dump: ... - H

12-CM201-2-CH长虹代工MV300H芯片蓝牙语音免拆.rar

时下智能语音交互市场火热，越来越多的设备都开始支持远场AI语音交互。 例如:智能音箱，智能电视等等。但这类产品的识别率和误唤醒率还需再不断的优化提升，以至于日常生活中人们还是离不开各式各样的遥控器。而蓝牙语音遥控器这一产品，作为远场语音交互的一个近场配件，也搭上了这趟语音交互的快速列车，成长速度令人惊讶。基于Actions炬芯的ATB1103芯片的语音遥控器，打造了一个AIoT时代的高性价比精品。 遥控器总体架构分四层，从上到下依次为应用层、应用框架层、硬件抽象层、底层驱动层: 场景应用图产品实体图展示板照片方案来源于大大通

基于stm32采集语音并传输，采用adc