Timeline of a hearing aid: from concept to completion
Contributed by Debbie Clason, staff writer, Healthy Hearing
February 24, 2016
Many hearing aids fit almost invisibly in the ear canal. Can you spot the narrow tubing in this picture?

Hearing aids have come a long way from the ear trumpets and large, box-shaped instruments previous generations used to amplify sound in their environment. Today, hearing devices are small enough to fit almost invisibly inside the ear canal while still containing technology so advanced it can distinguish speech from background noise and work compatibly with other technology you use on a daily basis.
How long does it take to make hearing aid? From concept to completion, the process can take more than ten years and involve as many as 500 engineers, consumers, hearing healthcare professionals and retailers – all of whom are focused on creating usable instruments which will enhance quality of life for those who wear them.
1. Research and development
Developing a new, high-end product can involve 200-300 people over a period of three to four years, especially when the manufacturer is introducing a new platform and design but all hearing devices begin as an idea. Many of them come from people just like you – individuals with hearing loss who want to hear well in every listening situation. You tell your hearing healthcare professional what your hearing challenges are and they relay that information back to the hearing aid companies.
Ideas for new hearing aid designs also come from hearing health professionals and retailers, as well as from the latest technology. Once hearing aid companies understand what challenges users are facing, they begin the process of manufacturing a solution.
“Technology is changing all the time. So is the concept of aging,” Mandy Mroz, Digital Director for Healthy Hearing said. “Today’s 65 year-olds don’t consider themselves old. Consumers are very engaged in health and hearing health and have high expectations. That’s a new type of patient for the hearing health professional.”
For example, cell phone technology prompted companies to develop devices which can be controlled with smart phone applications. The goal was to develop user-friendly devices which are easy for the young – and the young at heart – to use on a daily basis.
If the technology doesn’t exist, development is the most time consuming part of the process. For example, one of the biggest complaints current hearing aid users have is the ability to distinguish voices from other background noise. In 2013, researchers at Ohio State University found a way to break sound into units of either speech or noise, then discard the noise. Dr. Eric Healy, a professor of Speech and Hearing Science at OSU who worked on the new technology, said he hopes the technology will be on the market within the next 10 years.
2. Testing
Prototypes with new technology must undergo clinical testing in order to gauge its effectiveness. Companies give their data to the Food and Drug Administration (FDA) in order to secure permission to market it to consumers. That’s because hearing aids are classified as medical devices and must meet strict guidelines.
For example, the FDA recently allowed marketing of a new hearing aid that uses a laser diode and direct vibration of the eardrum to amplify sound. The EarLens Contact Hearing Device (CHD), manufactured by EarLens Corporation of Menlo Park, California, is designed for use by adults with mild to severe sensorineural hearing impairment. The CHD uses the user’s own eardrum as a speaker and enables amplification over a wider range of frequencies.
Another example of new technology currently in the testing phase comes from researchers at the University of Stirling in Scotland who are currently working on a hearing device that will contain a miniaturized camera that can lip-read, process the visual information in real time, and help the user seamlessly switch between audio and visual cues. The researchers expect the new software will enhance communication for users in difficult listening environments, such as noisy restaurants or public transportation venues like airports and train stations.
The concept is one that Gerald Kidd, a professor of speech, language and hearing sciences and specialist in psychoacoustics at Sargent College at Boston University, has been working on since 2011.
A prototype of Kidd’s VGHA device has been in the testing phase since late 2014. He’s hoping hearing aid manufacturers will become interested enough in the device’s potential to make it wearable.
3. Design and manufacturing
Once the technology has been tested and approved by the FDA, engineers must collaborate on design and manufacturing. Although the components themselves may not be expensive, making them fit into attractive, wearable devices can be tricky. Today’s consumer prefers inconspicuous devices which work unobtrusively in the background and won’t interfere with their active lifestyles.
Some manufactures have their own production facilities because the devices require such specific skills and equipment to make that it’s difficult to outsource them. Large production facilities can produce as many as several thousand instruments every week.
4. Education
It’s no secret that hearing aid technology has changed dramatically in the last 50 years. Not long ago, hearing healthcare professionals used screw drivers to manually adjust their patient’s hearing devices. Today, digital hearing aids are accurately programmed from a computer and customized to each patient’s specific hearing loss and lifestyle.
That’s exciting for consumers with hearing loss, but it means hearing healthcare professionals must be constantly learning about new devices are on the market to understand how to fit them for the best possible results.
5. Distribution
Finally, the device is ready to offer to the general public. Many of the big companies, such as Oticon, Starkey, and Widex, only supply their products to hearing healthcare professionals who directly fit and sell to patients they see in person. That’s because research indicates individuals will have more success wearing their hearing aids if hearing loss has been correctly diagnosed, patients have been carefully counseled and the hearing aid has been properly fit and adjusted.
What does all of this mean? Although making a hearing device is a time-consuming process, the consumer can be assured the hearing devices they receive from qualified, licensed hearing healthcare professionals have been thoroughly researched, manufactured, tested and FDA approved. Although the process may take as many as ten years, the successful result it provides for those with hearing loss is worth the wait. 






Orignal article from:

https://www.healthyhearing.com/report/52...completion

Debbie Clason, staff writer, Healthy Hearing

Debbie Clason holds a master's degree from Indiana University. Her impressive client list includes financial institutions, real estate developers, physicians, pharmacists and nonprofit organizations. Read more about Debbie.

Hearing aids have come a long way since the weird and wonderful vacuum tube contraptions of the 1800s, but it’s only within the last few decades that a truly transformative wave of fashionable, functional devices have started to appear. But how did this happen? Medical Technology takes a look back at the history of digital hearing aids, from the first devices of the 1990s to the innovative AI-powered technologies of the present day.






1995 – Oticon develops the first digital hearing aid
Oticon introduced the JUMP-1 digital hearing aid platform, the world’s first digital hearing aid device. The devices were offered to 14 approved audiological centres worldwide, to enable them to develop their own digital solutions for hearing impaired patients. The behind the ear (BTE) device supported software which allowed reprogramming, and attempted to utilise different signal-processing systems over extended periods of time, to allow for normal daily use. The dame technology was used in Oticon’s first commercially available hearing aid, the DigiFocus, which was brought to the market the next year.
1996 – Widex makes the first digital hearing aid for commercial use
Widex’s Senso was the first digital hearing aid to be fully commercialised. The Senso boasted fully-automatic digital adjustment, with the user needing only to choose whether to activate the microphone or telecoil input. Everything else was adjusted automatically, meaning unwanted noise could be efficiently filtered out. Senso was fitted to the needs of an individual user by their clinician, and had its own built-in audiometer.
Widex sold 100,000 of the Senso just six months after their launch. A survey by Bergen University Hospital established that Senso users found it easier to understand speech in noisy surroundings than users of other devices, a problem many manufactures had struggled with for years. The survey also found that Senso users kept their aids in for more hours of the day than users of other hearing aids.
2001 – Oticon employs voice-targeting technology
Oticon began to use the VoiceFinder speech processing system in its Adapto hearing aid. VoiceFinder allowed fully prescribed amplification when speech was present, but dialled down to ‘comfort mode’ when no one was talking. This meant Adapto was able to optimise a user’s understanding of speech without simply increasing volume and leaving them overwhelmed with other sounds, as well as decreasing feedback and distortion when listening to their own voice.
2004 – Oticon Syncro becomes the first aid to utilise AI for processing
Artificial intelligence (AI) reached hearing aid technology in 2004, when the Oticon Syncro began to use AI to in its voice priority processing (VPP) system. This system was able to take the aid’s Multi-band Adaptive Directionality, Tri-State Noise Reduction and Voice Aligned Compression to the next level.
Prior to Syncro, features such as directional microphones, noise reduction and feedback cancellation could struggle to function in unpredictable sound environments such as busy streets, office settings and crowded restaurants. However, using the AI VPP, Syncro was able to process different combinations of its unique features in parallel to select the specific combination that gave the clearest signal at a given point in time.
2005 – Bluetooth wireless technology is introduced to hearing aids
Starkey Laboratories introduced the ELI device, enabling hearing aids to be compatible with Bluetooth-enabled mobile phones for the first time. Named by Time magazine as one of the best inventions of the year
The device was designed to plug into the bottom of behind-the-ear hearing aids and route calls directly from the phone through ELI and into the aid. For users of other type of hearing aid, the ELI device could be work on a necklace and linked to the hearing aid via analog wireless.
2010 – Widex releases the first hearing aid designed for babies
Widex released the BABY 440 hearing aid, the first digital aid specifically designed for babies. Set up to provide high quality sound to infants with minimal to moderate-severe hearing loss, the aid’s miniature size and light but tough materials meant it fit comfortably and securely in small ears.
2014 – GN ReSound launches the first Made-for-iPhone hearing aids
The ReSound LiNX and corresponding Beltone First were the world’s first Made-for-iPhone (MFi) hearing aids. As well as being powerful enough to address 90% of hearing losses, the devices’ MFi connectivity allowed direct streaming of sounds from iPhone, iPad and iPod products, allowing users to treat their aids are wireless headphones or to talk on the phone without the need for an intermediary device.
The ReSound Smart app designed to accompany the devices allowed users to set preferred volume levels and treble/bass settings for the audio streamed into their hearing aids, as well as use geotagging to adjust the aids’ settings to the acoustics of frequently-visited places like home, work and favourite restaurants. The app also featured a geotagging function to help users locate their hearing aids if misplaced.
2016 – IoT enabled hearing aids reach consumers
The Oticon Opn is the first Internet of Things (IoT) enabled hearing aid, which could be programmed to communicate directly with a range of connected devices such as doorbells, smoke detectors and baby alarms through its If This Then That (IFTTT) technology. This enables a sound such as a spoken notification or chime to be delivered through the hearing aids when these devices are triggered, ensuring the users’ hearing loss doesn’t mean they miss vital notifications from the devices.
The Opn does this using a patented dual communication system called TwinLink that combines binaural processing with streamer-free internet connectivity, without compromising battery life or physical size.
2019 – Starkey launches sophisticated AI-powered health monitoring aid
The Livio AI hearing aid is the first ever to use integrated sensors and AI to monitor the user’s health. Through the accompanying Thrive app, Livio AI hearing aids use accelerometers and gyroscopes to track the wearer’s physical and mental health for an overall daily wellness score.
Ideal for elderly and frail aid users, these sensors can detect when a fall occurs and send a text message to up to three emergency contacts, using AI to detect what is an isn’t within the normal range of motion for the user to avoid any false alarms.













the original link : https://www.medicaldevice-network.com/fe...d-history/

助听器(Hearing Aid)是一种供聋人使用的、补偿听力损失的小型扩音设备，其发展历史可以分为以下七个时代:手掌集音时代、炭精时代、真空管、晶体管、集成电路、微处理器和数字助听器时代。


人类最早、最实用的“助听器”可能是聋人自己的手掌。将手掌放在耳朵边形成半圆形喇叭状，可以很好地收集声音。虽然这种方法的增益效果仅为3dB左右，而且也不是现代意义上的助听器，但是，这是最自然的助听方法。直到现在仍然可以看到一些老年人在倾听别人讲话时用手掌来集音的情况。许多哺乳动物都有硕大的耳朵，所以它们的听力比人要好得多。

受到手掌集音的启发，一些有心人先后发明了各种形状的、简单的机械装置，如象嗽叭或螺号一样的“耳喇叭”，木制的“听板”、“听管”，象帽子和瓶子一样的“听帽”、“听瓶”，象扇子和动物翅膀一样的“耳扇翼”，以及很长的象听诊器一样的“讲话管”，等等。由于人们认为听管越长集音效果越好，所以有的听管竟长达几十厘米，甚至一米多。听别人讲话时用手拿着听管伸到别人的嘴边，样子滑稽可笑，但却使聋人提高了听力。同时，也提醒讲话者尽量大声讲话。这种简单的机械助听装置一直使用了几百年，直到十九世纪，才逐渐被炭精电话式助听器取代。

1878年，美国科学家Bell发明了第一台炭精式助听器。这种助听器是由炭精传声器、耳机、电池、电线等部件组装而成。

1890年，奥地利科学家Ferdinant Alt制备出了第一代电子管助听器。

1904年，丹麦人Hans Demant与美国人Resse Hutchison共同投资批量生产助听器。到二十世纪40年代，已经有气导和骨导两种类型的助听器了。这个时期的助听器在技术上已经有了较大的发展和提高，虽然能够满足一些聋人的需要，但是，还有许多缺点，如噪声太大，体积笨重如17寸电视机，不易携带，等。

1920年，热离子真空管(热阴极电子管)问世不久，就出现了真空管助听器。随着真空管技术的不断发展，助听器体积逐渐变小，实现了主机和电池的分离。1921年，英国生产了第一台商业性电子管助听器。由于电子管需要两个电源供电(一是加热电子管中的灯丝，使之发放电子;二是驱动电子通过电栅到达阳极)，因此这种助听器体积大而笨重，虽然增益和清晰度较好，但几乎无法携带。随着时间的推移，汞电池代替了锌电池，使电池的体积显著减小，电池与助听器终于可以合为一体了。第二次世界大战时，出现了如印刷电路和陶瓷电容等新技术材料，使得一体式助听器的体积显著缩小，这样，助听器就可以随身携带了。逐渐地，助听器也采用了削峰(peak clipping, PC)和压缩( automatic gain control, AGC)等技术。

1943年，开始研制集成式助听器，将电源、传声器和放大器装在一个小盒子内，为现代盒式助听器的雏形。同年，丹麦建立了两家工厂批量生产助听器，一家是Oticon，一家是Danavox。助听器的体积也越来越小，最后，竞能象香烟盒一样大，携带已非常方便。

1948年，半导体问世，电子工程师们立即将半导体技术应用于助听器，获得较好效果。采用一部分半导体元件，可以使助听器的体积进一步缩小，如果全部采用半导体元件，声反馈将不可避免。

1953年，晶体管助听器问世，使助听器向微型化发展提供了可能性。1954年，出现了眼镜式助听器。为了避免声反馈，设计者将接受器和麦克风分别装在两边的眼镜腿上，但未能实现双耳配戴。1955年，推出了整个机身都在单个镜腿上的眼镜式助听器，使双耳同时配戴助听器成为可能。

1956年，制成了耳背式助听器，不仅体积进一步减小，优越性也超过了眼镜式和盒式助听器，成为全球销售量最大的助听器。

1957年，耳内式助听器问世。新的陶瓷传声器频率响宽阔平坦，克服了以往压电晶体的不足。钽电容的出现，使电容体积进一步减小，晶体管电路向集成电路这一小型化方向快速发展。

随着大规模集成电路的出现，助听器的体积进一步减小，耳内式助听器出现以后不久，半耳甲腔式、耳道式、完全耳道式助听器相继出现，在很大程度上满足了患者心理和美观上的需要。

1958年，我国开始生产盒式助听器，目前已能生产耳内式、耳背式助听器。

1988年出现的可编程助听器，利用遥控器变换多个聆听程序，以达到最舒适的听觉感受。可编程助听器采用广角麦克风和指向性麦克风助听器，可在日常生活中和嘈杂环境中运用不同的聆听模式，使听到的声音更为清晰。配带指向性助听器的人虽然目光未投向您，但是，他在专心收听您的讲话，故似乎有监听的特殊用途。据传，美国前总统克林顿就配戴这样的助听器。

近年来又推出了“数码”助听器，数字信号处理能力极强，为选配提供更大的灵活性。

经历了一百多年的风风雨雨，今天的助听器已经有了耳内式、耳背式、盒式、眼镜式、发卡式、钢笔式、无线式等多种形状，助听效果明显提高。我们相信，在不久的将来，助听器的体积会越来越小，功能会越来越强大，并能造福所有的聋人

1. 验配算法： fitting algorithm

2. 手机App: mobile phone App

3. 验配软件: Fitting software

4.音频语音核心算法: audio algorithm like Noise reduction, Feedback, Compression etc.

5.PC端验配算法: PC Fitting algrorithm

6.无线验配方法: wireless Fitting Algorithm

7音频传输: Audio streaming

Audiology Focus Area

Hearing loss is a silent problem that often goes untreated for years. Recent studies have shown that adults with untreated hearing loss have significantly higher rates for psychosocial disorders such as depression and anxiety, are at higher risk of developing dementia, and incur higher medical bills compared to those without hearing loss.
Today’s hearing solutions include removable and implantable hearing aids such as advanced digital hearing aids and cochlear implants for those with severe hearing loss, respectively. A wide range of assistive listening devices (ALDs) are also available for a variety of situations and listening environments.
Patient expectations of hearing solutions vary depending on age, hearing loss magnitude and first-time use, and hearing aid manufacturers are responding to patient demands and competitive pressures with ever-improving designs. However, challenges remain, especially in striking a balance between increased functionality and long battery life.
ON Semiconductor has been the leader in ultra-low power consumption solutions for hearing aid manufacturers for decades. Our ongoing R&D efforts align with your design challenges to deliver the widest selection of products in the industry from preconfigured to fully-customized solutions.
You can now design hearing aids with the best performance, functionality, and secure wireless connections combined with the lowest power consumption in the industry and ultra-miniature size.
Learn more about our Ezairo products that are used by top hearing aid manufacturers around the world.

引用:

• Ezairo 5900 (dual core)
  
• Ezairo 7100 (quad core)
  
• Ezairo 7150 SL (quad core with wireless connectivity)
  
• Ezairo 7111
  
• Development Tools
  • Open-Programmable
    
  • Ezairo Preconfigured Suite
    

引用:

• Ongoing research and development in digital signal processing and wireless technologies
  
• Unparalleled manufacturing flexibility
  
• Dedication to customer service
  
• Best-in-class development tools
  

About SDT:

     






sDT is a leading designer and manufacturer of ultra-low-power semiconductor solutions for hearing aids and portable, battery-powered DSP applications, and a leading provider of advanced high density interconnect technologies used in custom miniaturized packages. Based in Burlington, Ontario, Canada, SDT has a 37-year history of innovation in developing miniaturized audio processors. The hearing instrument products and manufacturing operations of Gennum Corporation were acquired in 2007 to form SDT. For more information,

37年的助听设备历史，从事超低功耗助听器，便携，电池供电的DSP应用


2010年安森美收购SDT: $22M

PHOENIX, Ariz. – June 9, 2010 – ON Semiconductor (Nasdaq: ONNN), a premier supplier of high performance, energy efficient silicon solutions for green electronics, today announced it has acquired privately held Sound Design Technologies, Ltd. (SDT) from an affiliate of Global Equity Capital, LLC, in an all cash transaction for initial consideration of approximately $22 million.
Under the terms of the acquisition, the seller will also have the ability to receive additional earn-out proceeds of up to $10 million if, among other things, SDT is able to meet certain revenue thresholds in 2010, 2011 and 2012. The initial consideration value represents approximately one times SDT’s first quarter 2010 annualized sales levels. SDT will now become an integrated part of ON Semiconductor’s Medical Division, based in Waterloo, Ontario, Canada.

“The acquisition of Sound Design Technologies solidifies our position as a leading supplier of ultra-low-power digital signal processing (DSP) technology for hearing aids and audio processing applications,” said Robert Tong, vice president of ON Semiconductor’s Medical Division. “In addition, the acquisition strengthens the company’s talent base and adds an experienced design and applications engineering team for the audiology segment. SDT’s advanced manufacturing expertise in chip-scale capacitors and high density packaging will also expand our capabilities in delivering advanced, highly miniaturized packaging technology, crucial for hearing aid and similarly size-constrained applications that demand medical-grade quality.”
Michael Hirano, executive vice president, operations of Global Equity Capital, stated, “Matching SDT’s cutting edge technology with ON Semiconductor’s worldwide presence and industry expertise is a natural next step in the evolution of the business, also benefiting SDT customers building sophisticated hearing products.

目前助听器市场还是以国外为主，但是核心芯片DSP供应商还是美国安森美半导体独家技术供应

助听器芯片DSP发展的历程：

SDT:这家公司主要是做整体方案，就是DSP芯片里面已经包含了助听器算法，比如降噪，通道，压缩，抑制等，也是中国大部分公司比较熟悉的产品，lisound, newsound, Austar, Huier 等

Intricon：这家公司以做助听器出家，然后因为在市场上积累的经验比较足，同时在软件算法方面比较有自己的x想法，所以结合市场的需求，通过购买第三方DSP内核硬件，从而生产出助听器芯片方案，目前主要市场在中国，但是由于各种原因，其市场正在萎缩，而他们自己的主攻方向也是他们自己的助听器产品

DSP Factory:这家公司成立于加拿大，其DSP的特点在于低功耗，功能q强大， 在国际六大品牌里面有很多在用其芯片，然后加上自己的算法，做到独特的特点

AMI: 这家公司是美国比较擅长做芯片定制的公司，可以提供高集成，低功耗技术，其生产的DSP 音频消费类产品目前开始在助听器低端市场发展

安森美现在是业界唯一一家提供专业助听器芯片方案，具备自有专利，在整合SDT, DSP Factory, AMI，所以助听器业界只要做助听器就会和安森美打交道，而安森美在以前产品的基础上，通过革新，把平台统一化，同时增加技术支持能力，方案简单化，同时提出了定制和非定制两种方案模式，客户根据自己的要求灵活选择，而且软件升级提供免费服务，这对整个助听器行业都是福音，按照安森美的说法：他们是硬件公司，所以所有软件都会免费，而且很清晰的指导助听器从前期概念到产品生产都有完整的指导方案

目前国外对助听器研究发展的一个热点则是集中在中国，确切地讲是基于对汉语语言和语音研究，开发相关的语音识别技术和产品。为中心的中文听力学也不例外。我们已经知道听觉科学是一门发展迅速、知识更新很快的一门学科，它所研究的对象以人的听觉为中心，现在我们将介绍和讨论科学家和听力学家更关心的是怎样将听觉科学运用到中国人的听觉和言语实际中去。
 
　　汉语是具有特征化的音调性语言，与其他以拼音字母为主的语系，如斯拉夫语系等具有很明显的语音学差别。这种差别不仅仅在语言特征上非常明确，在具体使用时，区别也很大。是否不同语系的不同语音特征会影响听觉受损患者对言语的理解，尤其是在使用基于不同语系研究成果制作成的助听器时，这种语音的差异是否起到重要作用，最近已成为学术和科研的一个热门课题。比如国内研制的人工耳蜗的一个特点便是在设计其算法时考虑到中文语音特点。国外助听器厂商将在近期推出以中文语音为特征算法的助听器。加拿大在中国的一语音实验室通过多年的研究和实验，早在 2000 年运用领先的数字信号处理 (DSP) 技术，在其数字助听器中加入中文语音算法，并同时申请了相关专利。目前他们率先推出的以中文语音处理技术为核心的全新数字助听器 —Intelligia ，在临床试验中得到受试者的认可，初步证明这种新型助听器对说以中文为母语的患者有益处。
 
　　目前研究的结果表明，不同的语系，如汉语和英语有各自特点，在听觉感知过程中有很大差别。英文和汉语在语音和口语上有重要区别， Ming-Xi Tsai el al （ 2000 ）认为汉语和英文语音在结构上特征区别很大。汉语的词、字、音节和声、韵母分节含有不同层次的信息，并保持复杂的关系。在口语中，汉语发音差异也很大，在不同会话条件下，受到这些结构中不同层次信息的影响。
 
　　对中文语音识别和中文语音音调的研究表现在人工耳蜗的算法上面。言语处理策略是人工耳蜗帮助患者理解语言核心技术，已有大量研究。但对于言语声尤其是声调、语调的研究，比如对以语调为基础的汉语研究还是很少。在最近的一个试验中，他们用澳大利亚人工耳蜗来观察对汉语语音理解的影响。结果表明在某些言语处理策略中汉语的使用的理解度要高于其他时间策略。如果能提高刺激率，加强对语音和音调的理解，他们也认为不同的言语处理策略对汉语说法也有理解。研究再次证明，汉语应该有一定的语音系统处理自己的语言，尤其是对听障人士尤为重要。
 
　　美国麻省理工学院研究者 Michael Qin 在其《在噪音背景发音和音调的辨认》的试验中，对汉语普通话音调的辨认和噪音的关系进行了研究。他认为不同的语言利用不同类型的声调使我们口语富于不同的意义，在噪音环境下这些有意义的声调会受到影响，因此他需要发现说普通话的中国人怎样在噪音环境里辨认不同的声调。在试验中他使用 6 个辅元音的音位，同时使用 4 个声调：阴阳上去。其结果表明在信噪比降低的情况下，对汉语声调和元音的识别受到很大影响，从而影响降低言语的理解能力。因此信噪比影响理解中文很重要的因素。这个试验对听觉康复和设计有针对性的助听器具有重要意义。
 
　　同时，最近美国成立了一个综合性专家研究小组，开始研制适合中文语音的助听器。该小组成员包括世界闻名的豪斯耳研究院、香港中文大学耳鼻喉科等。与上述研究类似。他们认为在聆听以声调作为识别语音和语义的语言时，如普通话、广东话和泰国语等，可能听觉更重要的是依靠基频相关的信息来理解语言，这是与别的语言不同的。因此，在研制助听器时，我们应该考虑到这些患者的语言特点。
 
　　当然，笔者最感兴趣的是最近由威耳康研究基金 (Wellcome Trust) 赞助的一项题为《中文普通话会话者在理解语言时比英文会话者用脑更多》的试验，其目的是使用影像技术来观察和研究中文母语和英文母语说话者大脑出现的不同活动。主持该项研究的心理学家索菲斯高特博士发现，当英语的受试者听到英文时，其左颞叶变得异常活跃，研究者认为这个区是把言语声组合在一起形成独立的字词。但是当中文受试者听到普通话时，其左右颞叶同时活跃起来。显然，由于说不同语言的受试者用他们大脑的不同区域对不同语言的刺激进行解码。这对我们理解这些理论产生了很大的影响。他们进一步认为中文受试者的左颞叶处理语音信号，而他们的右颞叶则处理声调，同时产生意义。言语声是非常复杂的声音，而正确理解言语传递的意思，在这种情况下，大脑会充分利用说话者抑扬顿挫的声调来对其言语进行解码，从而将口语变成有意义的信号。
 
　　大脑听觉区域很容易受外部影响，而改变对声音的分辩能力。一旦听觉受到损伤，必需进行康复，大脑需要重新连接和编码。大脑的可塑性是很强的。了解大脑对不同语言的反应，可以有效地帮助听觉患者重新恢复对语言的理解。重要的是基于这些研究，我们可以清楚地看到研制出具有中文语音特征的听力康复设备。记得在 2002 年北京大学和中国残联成立言语听觉中心的开幕式上，邓朴方先生在发言中专门谈到：他第一次听说中文语音处理特征对助听器使用者的影响，他认为这是一个重要课题，需做大量工作，而研制出以中文语音为特征的听觉康复设备将会有重要的意义。根据国际确认的听损发病率，中国有 10 ％的人口，即一亿三千万人有不同程度听力损失，因此，利用中文语音处理技术更有效地帮助听残患者具有非常重要的作用。
 
　　一．中文语音技术处理原理
 
　　中文语音处理策略的英文词有 “Chinese speech processing strategy” 或 “Chinese speech recognition”, （ 中文语音识别 ） 和 “hearing aid algorithm” （ 助听器算法 ） 等。其中， algorithm ，即 “ 算法 ” 一词使用较多，尤其涉及到数字助听器的开发， “ 算法 ” 代表了某一特殊技术的核心。 “ 算法 ” 可以被简单地看作为实现某些特定信号处理功能的指令序列。中文语音特征可以通过算法研究来形成的。数字信号处理器和算法构成了数字助听器的 DSP 线路。包含多通道动态范围压缩、噪音衰减等处理，设计助听器的算法的主要目标是利用中文语音处理技术，即使在不同的听音环境中，须确保言语被听见并聆听舒适。同时，利用数字助听器改善汉语可懂度，使有听力损失的中国患者能更容易地理解汉语。
 
　　汉语是声调单字语言，声调是汉语的重要语音特征之一。声调特征主要体现在嗓音基频随时间变化的模式上。 Eady 技术 (1982) 曾考察过声调语言 — 汉语的基频模式与重音语言 — 英语有什么不同。汉语的声调在词语中具有辩意作用，在生活实践当中，大家也都能体会到声调有助于我们听懂别人的话，而 “ 南腔北调 ” 常表示不易听懂和不大好懂和不大好听的意思。
 
　　对于连续言语来说，长时间平均的正、负颤动因数，各种语言和男女发音人是差不多的。只是负颤动总是比正颤动大，而且出现频率也较高。 Eady 的测量结果表明，汉语的说话速度要比英语慢一些。这可能是由于说汉语时，说话人要花更大的努力在每一个音节上来控制声带运动，也就是说声调语言的音节喉运动控制有较大的语言学负荷，因而花的时间就多一些。结果就表现为说话慢一些。
 
　　因此，声调信息主要存在于基频随时间的变化中，强度变化对声调信息有补偿作用，以及清辅音的存在与否对声调清晰度是有一定的影响的。
 
　　•  原理 (Principles)
 
　　本文介绍一种可应用于数字助听器的提高汉语可懂度的语音处理方法，其目标是使以汉语为母语的听残人士能更容易地理解语言。增强言语可懂度的思路来源于人们的实践经验。回想一下，当你为使一个有听力障碍的人更容易听懂自己说话时所采用的方法：你不仅仅要提高音量，而且还要改变发音方式，说得更慢和更清晰。一些研究表明清楚地读无意义的语句，比在日常会话句子，大约能提高 17% 的单词可懂度。这里所谓说得更清晰是指强调言语信号中的某些暗示，这些暗示有许多不同的形式，如特定音段的持续时间，元音的共振峰位置或者音素之间的过渡等。
 
　　不是所有人都会简单地、方便地对听力损失患者 “ 清楚地 ” 讲话。因此，我们要采用言语增强的方法就是在说话人和听话人中间构造一个处理模型，该模型能强调并突出语句中的特定成分，使语句听起来更清晰。
 
　　一切语音之所以能够表达意义，是由于各个音之间存在区别。这些区别产生于声腔内部的器官和肌肉等活动决定的发音方法和发音部位的差异，同时又表现为语音的声学特征的差异。本文提出的言语增强的方法正是通过对语音信号的重构来强化这些差异。所谓重构是指对语音信号中不同性质的信号进行识别并有针对性地予以处理，强调其中对人的感知起作用的特征，从而达到提高言语清晰度的目的。该方法可以简单地概括为：放大辅音、强调重音和突出声调 .
 
　　汉语语音信号的感知特点
 
　　声调
 
•  声调的调类
 
•  声调的感知
 
•  主要依据基频的变化
 
•  声调音高的变化对音长和音强都可能产生影响
 
　　重音
 
•  轻重音的声学特性
 
•  与实际音强有密切关系，但并不相等
 
•  还要受音色、音高和音长的制约
 
•  感知特点：分辨轻重音时，音强往往并不是决定性因素
 
　　1 ）辅音放大 (Consonant Amplification)
 
　　言语知觉的心理实验证实了如下特点：人在言语感知过程中，对语音信号载荷的关于发音方法和发音部位的分辨信息的知觉能力存在强弱差别。总体上说，人对发音方法比对发音部位有更好的分辨能力。而方法清晰度与辅音清晰度的关系很相近。在汉语辅音的发音方法的知觉重要性中，存在清与浊、送气与不送气、摩擦与非摩擦的从强到弱的位次关系。研究表明，相对加强辅音有助于改善语音清晰度。
 
　　Kates 描述了放大辅音的方法，图1是其中被广为采用的一种模型。该系统把信号分解成几个波段，在每个波段检测短时谱形，根据谱形识别元音和辅音，对辅音则给予放大。需要指出的是，杜利民等提出了汉语语音导引特征的概念，从声学信息计算检测的角度为为汉语自动语音识别系统提供了一种辅助匹配结构。
 
 






 
 
 
图 1 辅音增强系统
 
　　2) 重音 (Stress)
 
　　组成一段语流的各音节声音响亮程度并不完全相等。有的音节在语流中听起来声音比其他音节响亮，这就是重音音节。有的重音和语义、语法有密切关系，如汉语普通话中的词重音。词重音出现在词中，是由于词的含义不同，重读音节的位置也不同。如 “ 技术 ” 和 “ 计数 ” ，重音分别在第一音节和第二音节。这种语意的区别是通过 “ 超音段特征 ” 来表达的。
 
　　在汉语中，重音对韵律特征参数的影响倍受关注。语流中 “ 韵律特征 ” （ prosodic feature ）是通过音高、音长和音强的变化，即 “ 超音段特征 ” 表现出来。从语图上观察，音域明显扩张重音的特点。高明明对普通话语句汇总强调重音的声学表现进行了研究，指出：（ 1 ） “ 音高升高是普通话语句中强调重音的重要韵律特征 ” 。（ 2 ）音高和时长对于强调重音的实现具有同样重要的作用。它们之间的关系是对立互补的。
 
　　语音合成的经验告诉我们，音高是调节重音最有效的手段，所以强化重音的方法主要是提高音高。
 
　　3) 声调 (Tone and Internation)
 
　　一个音节除了包括由元音和辅音按时间顺序排列成系列的音质单位以外，还必须包括一定的音高、音强和音长。在一些语言里，音高在音节中起的作用可以说是和元音、辅音同样重要，这种能区别音节的意义的音高就是 “ 声调 ” 。根据声调的有无可以把世界上的语言分为声调语言和非声调语言两大类。汉、藏语系语言最突出的一个特点就是有声调。
 
　　汉语普通话的声调起着构词辩意的作用。对于具有相同拼音的一个音节，由于声调不同，可以具有不同的含义。普通话单音节的声调变化共有四种模式，不同的声调反映在语音参数上是基音频率轨迹的变化不同。根据实验观察所定义的一些规则，可以认为基音频率轨迹的某一参数超越某一预先确定的门限时，则可判为某一声调类型。在此基础上，黄泽镇、杨行峻提出的识别模式采用基音轨迹曲线的一、二次斜率、谷点和平坦度对四种声调有很强的区别性，实验表明，这一算法的结果识别率可达到 99% 。
 
　　林茂灿指出声调信息主要存在于主要元音（及其声学过渡）上。考虑到声调音高的变化，对音长和音强都可能产生影响，即：去声最短、最强，上声最长，最弱，阴平和阳平举重，阳平又往往比阴平略长一些。声调的增强不能简单地对主要元音进行放大，而应该不同的声调在音高和音强上有不同的处理。实际应用中我们采取如下策略：（ 1 ）对去声增强音强（ 2 ）对上声加大音长（ 3 ）对阴平和阳平不改变。 图 3 展示的 4 条声学曲线分别描述了四声在不同时间里的频率特征。
 
 
 
 



 
 
 
图 3 汉语四声的声调声学特征
 
　　2. 方法 (Methodology)
 
　　数字助听器的核心部分是增益计算，基于频域的处理过程，它建立了各频率段的输入瞬时能量与增益的函数关系，如图3所示，对每个频段的瞬时能量进行短时能量累计和长时间慢速平均可获得信号识别和分类所必要的数据。其中：
 
　　（ 1 ） E j (n)= a E j (n-1) 式中： a 是时间常数
 
　　（ 2 ）使用倒谱算法提取基频， 512 个点 FFT ， 40ms 汉明窗，窗移为 10ms
 
　　（ 3 ）用一个简单的滑动平均算法对每个音节测到的基频进行平滑处理，剔除那些平滑段内偏离均值过大的值。
 
　　（ 4 ）音高和音长分别进行归一化
 
　　（ 5 ）采用一个二次曲线在最小均方误差的意义下逼近基音轨迹。并计算曲线的一次斜率、二次斜率、谷点和平坦度。
 
　　上述算法采用基于 TOCCATA 指令系统的汇编语言实现。 14 位 A/D ，采样率设为 32KHz 。
 
 
 
图3 . 汉语言语增强系统处理结构图
 
　　1). 语音的切分 (Classifications of Phonemes)
 
　　声波由音质（即音色）、音高、音强和音长四部分组成，这四部分在语音中起着不同的作用，但在时间上又是同时并存的。
 
•  音质成分 —— 按音节划分，如元音、辅音
 
•  超音质成分 —— 由音高、音强和音长三部分组成，附着于一个音节或音段上。
 
　　从声波特性上看，可以由基频确定音高，根据振幅确定音强，根据时间确定音长。
 
 
 
　　2). 处理原理 (Algorithm Principles)
 
 
 
　　中文语音处理主要体现在
 
•  验配过程中
 
　　在验配过程的中，考虑中文语音长时间频谱覆盖的频率作加权处理，抬高目标曲线中言语频率的部分，可以达到加强语音理解的作用。
 
•  助听器处理中
 
　　在助听器的信号处理程序中，对压缩控制器做特别的设置，使对高频的信号压缩的启动时间和释放时间很短 , 做到使辅音清晰化的效果，增强使用者对言语的理解度。
 
•  在降噪处理的策略中
 
　　在降噪处理中，根据中文语音在噪音环境中的采样分析，得出了为中文语音优化的降噪策略。实验证实，该策略最高可以提高信噪比 18dB 。
 
　　二．中文语音处理技术在涉及助听器的应用
 
　　下面是将中文语音技术应用到设计助听器的具体实例。这项技术采用了目前世界上最先进的 DSP 数字技术，包括低功耗的数字芯片。
 
　　1. TOCCATA 数字信号处理系统
 
　　Toccata TM 系统是微型、超低功耗、高效率的数字信号处理系统。它包括一个高保真加权叠加滤波器组（ WOLA filter bank ）、一个 16 位 DSP 核心、两个 14 位 A/D 转换器、一个 14 位 D/A 转换器和其它外围设备。 Toccata TM 技术提供标准的软件可编程的 DSP 开发平台和采用 0.18 μ 工艺制造的微型超大规模集成电路。它不但为音频处理系统制造商也为其它基于 DSP 的微型、低功耗产品的开发提供了便利。 [4]
 
　　a. 硬件结构 (Hardware Structure)
 
　　图4 硬件系统结构图
 
 
 
 
 



 
 
 
 
　　TOCCATA 系统由三块芯片组成，一个 “ 模拟 ” 芯片（ ALPHA ），一个 “ 数字 ” 芯片（ DELTA ），和一个用于无电存储的 E 2 PROM 芯片。
 
　　ALPHA 芯片
 
　　ALPHA 芯片包括输入和输出放大器，二个 A/D 转换器，一个 D/A 转换器，以及主时钟及供电系统。
 
　　DELTA 芯片
 
　　DELTA 芯片包括了 16 位软件可编程 DSP 核心，一个 WOLA 滤波器组协处理器，一个 DMA 控制器（输入输出处理器或 IOP ）和存储器（ RAM 和 ROM ）。可编程核心和灵活的滤波器的组合允许通过软件改变信号的处理方式。因而，该结构可以执行传统的音频处理系统处理方案（例如双通道压缩），当然通过 DSP 核心，也可以执行更强大的处理方案（例如 16 通道乃至更多通道的压缩，降噪，抑制反馈等）。
 
　　DSP 核心和指令系统 (DSP Core)
 
　　RCORE 是一个灵活的 DSP 核心，采用带单周期连乘累加操作和 40 位累加器的双哈佛结构。外围组件通过一个由扩展寄存器、存储器映象寄存器和共享存储器组成的复合体提供。
 
　　信号路径
 
　　图5 . Toccata 系统提供的信号路径：
  
 
 



 
 
 
•  Intelligia 数字助听器结构
 
　　Intelligia 全数字助听器是基于上述介绍的芯片的技术特点设计的，其结构可由图 6 表明。尽管同模拟助听器一样，数字助听器也使用麦克风和接收器作为能量转换器，但在数字信号处理器中经 A/D 采样后，电平信号已被转化为数字编码。数字编码能够非常灵活地被加以利用来提供增益、改善频响，或按患者听力的要求作其它处理。当 DSP 算法完成后，数字编码又被 D/A 转换为电平信号，并经由接收器转换为声音。
 
　　数字助听器的关键在于具有信息处理系统，这里以一款基于现进数字信号处理系统 Toccata TM ，开发出的全数字助听器 Intelligia ，具有独特的中文语音处理功能。 Intelligia 助听器在设计中将信号分解成 16 个波段滤波处理，再将 16 个波段的信号组成 10 组通道，每个通道独立使用输入自动增益控制方法 (AGCi) ，对信号进行压缩处理，每个通道使用快慢两个时间侦测器，快速时间侦测器用以监视信号较快的变化，而慢速时间侦测器侦测较慢的信号变化，也就是音节的变化，并且选用与中文语音变化相匹配的压缩、释放时间常数，达到更好的听觉效果。
 
　　Intelligia™ 全数码助听器技术特点
 
•  中文语音信号处理 深入研究中文和其他声调语言的发声特征后，我们把独创的中文语音处理的技术置入 Intelligia™ ，使它能大大提高在中文语言环境中听音的可懂度。
 
•  更快 Intelligia™ 采用专为数字助听器设计的第 3 代数字助听器处理系统 TOCCATA ，它强大的运算能力使 Intelligia™ 能快速处理各种语音信号。
 
•  更省电 Intelligia™ 的工作电流不足 1 毫安，并且它能在无信号输入时自动进入省电模式，如此低的能耗免去配戴者经常更换电池之苦。
 
•  完全可编程 Intelligia™ 通过其可编程的优点为听障者配置最适合的听力补偿程序和参数，从而保证配戴者可以获得最佳的听音效果。
 
•  多通道独立压缩 Intelligia™ 把外界的声音按频率细分成多个波段和通道，并对每个波段和通道的信号进行不同的处理，从而保证配戴者听到更清晰、更逼真的声音。
 
•  降噪处理 Intelligia™ 能有效地抑制环境噪音，提高辨别语言的能力，从而保证配戴者无论是在嘈杂的大街还是在喧闹的超市都能听到清晰的声音。
 
•  方向性处理 Intelligia™ 可配置一个方向性麦克风系统和相应的软件，能使降噪的效果更好，从而保证配戴者听到更清晰、更自然的声音。
 
•  声反馈抑制 助听器在使用过程中容易引起啸叫，这种现象即声反馈。 Intelligia™ 采用了声反馈抑制技术，能有效地抑制声反馈的出现，使配戴者听到更为舒适的声音。
 
•  可轻松升级 由于 Intelligia™ 采用全开放的数字信号处理（ DSP ）平台 TOCCATA 技术，提供了可编程的能力，具有充分的适应性以及升级能力，因此，配戴者只要采用我们的软件，就可以立刻享受到最新的功能。下面是这款中文语音处理的技术指标对比 :
 
 



 
表 1 Intelligia™ 中文语音技术处理助听器和其它助听器的技术比较
 
 
　　在实验室中，具有中文言语增强方法的数字助听器 Intelligia ，初步实验的结果表明，中文语音处理技术的运用，可帮助以汉语为母语的患者更好地理解语言，提高康复水平。在临床使用中，佩带 Intelligia 助听器的病人感觉效果很好，尤其在噪声环境中，增强了语音清晰度。从某种意义上讲，病人感到理解语言的能力得到提高。当然，我们必须意识到中文语音处理技术在全数码助听器中的运用仍处在早期研究阶段。笔者认为听力学科学家和助听器专家应从下列几方面作更深入的研究：
 
•  应对以英文和汉语为基础的语音处理技术作深入的对比研究，尤其是在噪音环境中，观察两种技术分别对两种语音不同处理的效果。最理想的实验条件应是利用有双语能力的受试者参加。
 
•  将中文语音处理技术和目前使用的非线性助听器验配法结合研究，观察以英文为基础制定的验配方法，是否在中文语音处理技术支持下，更有效地帮助以汉语为母语的患者在日常生活中提高言语理解能力。
 
•  中文语音处理技术目前是人机对话的研究热门之一，其算法复杂多样，我们应该更深入地研究具有中文特色的助听器技术算法，充分发挥数码芯片的巨大潜力。
 
　　将中文语音处理技术运用到听力器设备中去才刚刚开始，这是一项非常复杂、涉及许多尚未解决的技术问题的课题。但是，笔者认为只有开发出具有汉语语音特色的助听器，才能更有效地帮助众多的以汉语为母语的听残者。
 
　　参考文献
 
　　Picheny, M., Durlach, N., and Braida, L. (1985). Speaking clearly for the hard of hearing. I: Intelligibility differences between clear and conversational speech. Journal of Speech and Hearing Research 28:96-103.
 
　　张家录，言语知觉反映论，中国科学， 1978 ； 5 ： 519-530
 
　　张家录、齐士钤、吕士楠，汉语辅音知觉结构初探，心理学报， 1981 ； 1 ： 76-85
 
　　Kates, J.M. (1984). Speech intelligibility enhancement. U.S. Patent 4,454,609.
 
　　杜利民、候自强，“汉语塞音选择性特征自动萃取的小波变换方法”， 声学学报。第 21 卷第 6 期
 
　　许洁萍、初敏、贺琳、吕士楠，“汉语语句重音对音高和音长的影响”，声学学报。第 25 卷第 4 期
 
　　赵开江，杨行峻，“汉语普通话孤立字的四声识别”，第三届语音、通信与图象处理论文集。
 
　　黄泽镇、杨行峻，“普通话孤立字四声的一种模式识别方法”，声学学报。第 15 卷第 1 期
 
　　林茂灿，“北京话声调分布区的知觉研究”，声学学报，第 20 卷第 6 期
 
　　10. Wang, Chao, Prosodic Modeling for Improved Speech Recognition and Understanding (2000), Doctoral dissertation,
 
　　11. Tsai, Ming-yi, Chou, Fu-chiang, Lee, Lin-shan, Pronunciation Variation Analysis with respect to Various Linguistic Levels and Contextual Conditions for Mandarin Chinese (2000)
 
　　12. Bo Xu Bing , Ma Shuwu Zhang, Fei Qu and Taiyi Huang, Speaker-independent Dictation of Chinese Speech with 32K Vocabulary (2000)
 
      转自: http://zou200904.spaces.eepw.com.cn/arti...item/49280#