西北大学Rogers团队：首款可穿戴传感器，可感知声音疲劳

【导读】：歌手、政治家、教师、教练、直播人等需要大量说或唱的人员可以从新的智能技术中受益。

西北大学的研究人员开发了第一款智能可穿戴设备，可以持续跟踪人们使用声音的程度，提醒他们在声音疲劳和潜在伤害开始之前过度使用。

这种首创的电池供电无线设备和随附的算法可能会改变专业歌手、教师、政治家、呼叫中心工作人员、教练以及任何依靠声音进行有效沟通和谋生的人的游戏规则。它还可以帮助临床医生在整个治疗过程中远程和持续监测患有语音障碍的患者。

由材料科学家，生物医学工程师，歌剧歌手和言语语言病理学家组成的跨学科团队开发，新技术背后的研究将发表在《美国国家科学院院刊》上。

整个平台操作图示，包括传感器、用户界面和触觉反馈与振动执行器

柔软、灵活、邮票大小的设备舒适地粘附在上胸部，以感知与说话和唱歌相关的细微振动。捕获的数据通过蓝牙即时流式传输到用户的智能手机或平板电脑，因此他们可以全天实时监控他们的语音活动并测量累积的总声音使用情况。自定义机器学习算法区分说话和唱歌之间的区别，使歌手能够单独跟踪每个活动。

使用该应用程序，用户可以设置他们的个性化声音阈值。当他们接近该阈值时，他们的智能手机、智能手表或位于手腕上的随附设备会提供实时触觉反馈作为警报。然后，他们可以在及时休息，保护嗓子。

“该设备精确测量说话和唱歌的振幅和频率，”西北大学的约翰·A·罗杰斯（John A. Rogers）说，他是领导该设备开发的生物电子学先驱。“这两个参数对于确定声带上发生的整体负荷是最重要的。意识到这些参数，无论是在给定的时刻还是随着时间的推移累积，对于管理健康的发声模式至关重要。

“人们很容易忘记他们使用声音的程度，”西北大学的特蕾莎·布兰卡乔（Theresa Brancaccio）说，他是共同领导这项研究的语音专家。“经验丰富的古典歌手往往更了解自己的声音使用，因为他们已经生活和学习过。但有些人——尤其是那些训练较少的歌手，或者像教师、政治家和体育教练这样的人，他们必须为自己的工作做很多话——往往没有意识到他们正在推动它。我们希望让他们提高意识，以帮助防止伤害。

声音疲劳

对于美国数以百万计靠说话或唱歌谋生的人来说，声音疲劳是一个持续不断的、迫在眉睫的威胁。常见的情况发生在过度使用的声带肿胀时，使声音听起来刺耳并失去耐力。声音疲劳会对歌手产生负面影响，特别是改变他们清晰唱歌或击中与健康声音相同的音符的能力。充其量，短暂的嗓音疲劳可以短暂打断歌手的计划。在最坏的情况下，它可能导致足够的损害，使职业生涯脱轨。

缺乏意识是根本问题。人们很少将发声活动与这些活动如何影响他们的声音联系起来。尽管每13个美国成年人中就有一个经历过声音疲劳，但大多数人直到声音嘶哑开始之前都没有注意到他们过度使用自己的声音。

“导致人们陷入麻烦的是当事件叠加时，”布兰卡乔说。“他们可能会排练，教课，在课堂讨论中交谈，然后去参加一个大声的聚会，在那里他们不得不在背景噪音中大喊大叫。然后，将感冒或疾病放入混合物中。人们不知道他们咳嗽或清嗓子的程度。当这些事件持续数天时，可能会给声音带来巨大压力。

纽约大学朗格尼语音中心联合负责人约翰逊表示，这种小型无线设备可以帮助跟踪患者在现实世界中的声音 - 在临床环境之外。“语音治疗的一个关键部分是帮助人们改变他们使用声音的方式和程度，”纽约大学格罗斯曼医学院耳鼻喉科的研究合著者和副教授约翰逊说。“该设备将使患者及其临床医生能够了解语音使用模式并调整声音需求，以减少声音疲劳并加快语音障碍的恢复。将嗓音技巧和练习从治疗推广到日常生活中是语音治疗最具挑战性的方面之一，这种设备可以大大增强这一过程。

歌手训练的声音识别算法

该团队修改了罗杰斯现有的设备，以精确测量随时间推移的声音负荷。这包括频率、音量、振幅、持续时间和一天中的时间。与罗杰斯之前用于COVID-19和中风患者的设备一样，新设备也可以感应振动而不是录制音频。这使设备能够精确地检测用户的声音活动，而不是周围的环境噪音。

最大的挑战是开发能够区分说话和唱歌的算法。为了克服这一挑战，Brancaccio招募了声乐和歌剧专业的学生进行各种歌唱练习，以训练机器学习算法。一组具有不同音域的古典歌手 - 从低音到女高音 - 在哼唱，唱断断续续的音阶和歌曲，阅读等时佩戴这些设备。每位歌手产生了2，500个一秒钟长的歌唱窗口和2，500个一秒钟长的演讲窗口。

由此产生的算法可以将唱歌与说话分开，准确率超过 95%。而且，当在合唱团环境中使用时，该设备仅捕获佩戴者的数据，而不会捕获附近歌手的噪音。

“对于正在训练成为专业歌手的人来说，长时间的谈话是最令人疲惫的活动之一，”布兰卡乔说。“通过将唱歌和说话分开，它可以帮助人们更多地意识到他们说了多少话。有证据表明，即使是短暂的15到20分钟的完全沉默，也可以很容易地帮助声带组织恢复和修复。

如何使用它

要使用该设备，佩戴者只需将其粘附在颈部下方的胸骨上，然后将设备与随附的应用程序同步即可。罗杰斯的团队目前正在研究一种方法，为每个用户个性化声音模式。在这里，如果用户在一天中的任何时候遇到声音不适，他们将按下应用程序中的按钮，有效地捕获当时的瞬时和累积声音负荷。这些数据可以作为声音疲劳的个性化阈值。当用户接近或超过其个性化阈值时，触觉设备将振动作为警报。

这种触觉设备在尺寸和形式上与手表相似，包括多个电机，可以以不同的模式和不同的强度激活，以传达不同的信息。用户还可以监控应用程序内的图形显示，将信息分为说话和唱歌类别。

“它使用蓝牙，因此它可以与任何嵌入触觉电机的设备交谈，”罗杰斯说。“所以，你不必使用我们的腕带。你可以利用标准的智能手表进行触觉反馈。“

尽管确实存在其他声音监测设备，但这些设备使用大项圈，系留线和笨重的设备。有些人还使用嵌入式麦克风来捕获可听见的人声数据，从而导致隐私问题。

下一步进展

由于罗杰斯以前的设备可以捕获体温，心率和呼吸活动，因此研究人员将这些功能包含在声音监测设备中。他们认为这些额外的数据将有助于探索有关声音疲劳的基础研究问题。

与此同时，Brancaccio很高兴她的学生能够拥有一种可以帮助防止受伤的工具。她希望其他人 - 包括非歌手 - 能够看到保持声带健康的好处。

“你的声音是你身份的一部分 - 无论你是否是歌手，”她说。“它是日常生活中不可或缺的一部分，值得保护。“