Sonic IoT

Keywords: IoT, Context-Awareness, Speculative Design, Design Fiction, Tangible Interaction

Tools: Python, Machine Learning, Neural network, Arduino, TensorFlow

Role: Personal Project (2020)

Overview :

如今当我们在讨论IoT和云计算的时候，我们实际上是在想象和期待一个万物互联，具备情景感知的智能系统。然而我们每天接触到的很多东西实际上都不是“智能设备”，甚至是非电子化的，我把他们统称为Dumb Object，这些东西不具备感知能力，更没有办法成为万物互联的一部分，比如：我喝水的杯子、药瓶、床、沙发、会议室的门等等。除非，我们把他们全都替换成：智能杯子、智能药瓶、智能床、智能沙发……

Sonic IoT 项目针对这一问题提出了一种低成本的解决方案。在该方案中，我设计了一个基于声音、具备情景感知能力的通用型感知设备，该设备通过一个我预训练的RNN神经网络模型处理声音数据，识别周边正在发生的事以及所处的场景。基于这样的能力，该设备可以低成本地将Dumb Objects转化成具备情景感知能力的“智能设备”，既能低成本补充现有智能设备的情景感知能力，还能通过与现有智能设备的联动，产生非常多的应用场景。

当下的形态：

图片显示了该设备是如何通过当前的技术逐步构建的，设备中有6个主要的元件，通过笔记本电脑供能。

视频显示了如何通过预训练的RNN神经网络模型处理声音数据，让设备具有情景感知的能力。

未来的形态：

图片从左到右显示了我如何基于现有的RF-Power Supply、Passive WI-FI技术，推演该设备的未来形态。该设备的未来形态可以是一个基于射频主动供能、被动式Wi-Fi通信和云端大模型计算的一个低成本低功耗sticker，可以被广泛部署到各种场景中实现情景感知。

应用场景：

运动健康：床记录你睡眠过程的“动静”，睡眠过程发生呼吸中止时发起警报；药瓶预测到你应该吃药的时间提醒你，并通过计次的方式统计用量和损耗；

设备互联互动：椅子听到你坐下，显示器自动点亮；油烟机听到你在做饭，自动打开；

Predictive Maintenance：工业领域监听关键零部件的状态，设备会上报自己的异常（如：电机）；

行为预测和主动服务：构建更完整的情景感知系统，设备更能理解你在什么场景下，会做什么，做完后还想要做什么；

除此之外，Sonic IoT还可以被应用到：基于场景的内容推送，低成本智能化设备（如：路灯监听交通拥堵状况），安防（如：门窗监听破碎）等等场景。