资料介绍
描述
队员:
陈玉婷 (yc119)
王帮举 (bw27)
唤醒词检测技术已广泛应用于各种语音助手,如 Apple Siri、Microsoft Cortana、Google Assistant。为了更好地理解这项技术,我们在我们的项目Arduino中构建了这个项目,以在资源有限的物联网设备中开发唤醒词检测应用程序。
该模型将音频数据作为输入。正如我们将看到的,这需要大量处理才能将其输入模型。该模型是一个分类器,输出类别概率。我们必须解析并理解这个输出。
使用该模型可以识别包括“是”和“否”在内的词,其他词可以被检测为“未知”。需要说明的是,在板检测到“是”一词后,灯将亮起 3 秒。同时,识别结果会显示在屏幕上。检测到“否”后,指示灯不变,识别结果显示在屏幕上。此外,当检测到其他词时,灯仍然不会改变,屏幕上会显示“未知”。
我们将使用现有数据集,使用 Tensorflow 训练我们的模型,将其转换为 TensorFlow Lite 模型并将模型部署到 Arduino 中。然后我们将观察 LED 灯并查看 Arduino IDE 消息以获取 Arduino 的输出信息。
如图所示,该程序包含以下组件:
主循环
与“hello world”示例一样,我们的应用程序在连续循环中运行。所有后续进程都包含在其中,并且它们会持续执行,只要微控制器能够以每秒多次的速度运行它们即可。
音频供应商
该组件从麦克风捕获原始音频数据。由于捕获音频的方法因设备而异,因此可以覆盖和自定义此组件。
特征提供者
功能提供者将原始音频数据转换为我们的模型所需的频谱图格式。它作为主循环的一部分在滚动的基础上这样做,为解释器提供一系列重叠的一秒窗口。
TF Lite 解释器
解释器运行 TensorFlow Lite 模型,将输入的频谱图转换为一组概率。
模型
该模型作为数据数组包含在内,并由解释器运行。该数组位于 tiny_conv_micro_features_model_data.cc 中。
识别命令
由于推理每秒运行多次,因此识别命令类会聚合结果并确定平均而言是否听到了一个已知单词。
命令响应器
如果听到命令,命令响应器会使用设备的输出功能让用户知道。根据设备的不同,这可能意味着 LED 闪烁,或在 LCD 显示屏上显示数据。可以针对不同的设备类型覆盖它。
- Arduino Nano唤醒词检测 0次下载
- 使用Blynk应用程序的物联网气象站 0次下载
- 基于Arduino板开发的唤醒词检测实现 0次下载
- 唤醒词检测开源设计 0次下载
- 使用Arduino、Sigfox和Ubidot构建物联网应用程序 0次下载
- Tiny ML唤醒词检测开源分享 0次下载
- 带有RT-Thread的Arduino应用程序 2次下载
- 唤醒词检测开源分享 0次下载
- COMP 554唤醒词检测 0次下载
- Arduino唤醒词检测 0次下载
- 使用Arduino和TensorFlow进行唤醒词检测 0次下载
- 使用Blynk应用程序的物联网温度和湿度监控器 0次下载
- 如何使用DTK开发应用程序? 1次下载
- 一种面向物联网服务的Web攻击向量检测方法 7次下载
- matlab应用程序及源代码下载 30次下载
- 基于AMD SOC的QT应用程序开发 118次阅读
- PreEmptiveProtection:全面的移动应用程序保护 90次阅读
- 聊聊PHP的web应用程序开发框架存在的漏洞有哪些 562次阅读
- 混合IoT平台为物联网提供简单性、灵活性和快速上市时间 512次阅读
- 基于AWTK开发应用程序需要遵循的规范和方法 807次阅读
- 浅谈RAM 执行应用程序 2350次阅读
- 如何成功实现物联网用户体验设计 1444次阅读
- 开发者必备的七大工具,提升应用程序开发工作效率 2444次阅读
- 什么是物联网开发套件?如何挑选物联网开发套件 4243次阅读
- LPWAN在物联网有什么独特的优势 843次阅读
- 微雪电子人工智能物联网开发套件介绍 1982次阅读
- 物联网软件开发的主要挑战是什么 1076次阅读
- 物联网低功耗无线唤醒性系统探讨 2160次阅读
- 什么是雾计算?与物联网有何关系? 1356次阅读
- 两种开发 RFID 应用程序的方法分析 657次阅读
下载排行
本周
- 1IP5332电源管理SOC中文手册
- 2.94 MB | 3次下载 | 免费
- 2RGB SMD LED打造壮观的灯光秀
- 3.39 MB | 2次下载 | 免费
- 3SD8224C触摸检测IC中文手册
- 13.73 MB | 1次下载 | 2 积分
- 4PG-FP5 Flash Memory Programmer Setup 手册
- 150.83KB | 1次下载 | 免费
- 5ZSPM9015数据表
- 601.74KB | 1次下载 | 免费
- 6通过WIFI修改配置
- 0.71 MB | 1次下载 | 免费
- 7LabVIEW调康耐视VisionPro
- 12.47 MB | 1次下载 | 10 积分
- 8M16C/63 组 数据表
- 1016.09KB | 1次下载 | 免费
本月
- 1传感器基础知识讲座
- 9.21 MB | 37次下载 | 免费
- 2ASUS主板图纸
- 1.49 MB | 21次下载 | 免费
- 3中科昊芯Start_DSC28034PNT开发板试用手册
- 2.98 MB | 15次下载 | 免费
- 4Labview的9点标定计算
- 0.22 MB | 8次下载 | 5 积分
- 5实现高效率、无LDO、低损耗电源的低噪声和低纹波技术
- 2.20 MB | 8次下载 | 免费
- 6STM32F10xxx参考手册(中文)
- 15.19 MB | 7次下载 | 1 积分
- 7智能电源板开源分享
- 0.00 MB | 7次下载 | 免费
- 8STM32F10xxx闪存编程参考手册(中文)
- 0.45 MB | 6次下载 | 1 积分
总榜
- 1matlab软件下载入口
- 未知 | 935037次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537765次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420007次下载 | 免费
- 4OrCAD10.5下载,OrCAD10.5中文版软件
- 817182 | 234275次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233031次下载 | 免费
- 6数据采集系统基础知识视频
- 16.3 MB | 192989次下载 | 免费
- 7电路仿真软件multisim 10.0免费下载
- 340992 | 191158次下载 | 免费
- 8十天学会AVR单片机与C语言视频教程 下载
- 158M | 183248次下载 | 免费
评论
查看更多