知財求人 - 知財ポータルサイト「IP Force」
特開2024-59525聴覚支援装置、聴覚支援システム、及び聴覚支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024059525
(43)【公開日】2024-05-01
(54)【発明の名称】聴覚支援装置、聴覚支援システム、及び聴覚支援プログラム
(51)【国際特許分類】
H04R 25/00 20060101AFI20240423BHJP
【ＦＩ】
H04R25/00 M
【審査請求】未請求
【請求項の数】3
【出願形態】書面
(21)【出願番号】P 2022177688
(22)【出願日】2022-10-18
(71)【出願人】
【識別番号】522431254
【氏名又は名称】中村 則雄
(72)【発明者】
【氏名】中村 則雄
(57)【要約】
【課題】難聴者に対して、聞こえを改善するために、聞き手にとって聴き取り易い発話や情報を提示する事ができるようにすることである。
【解決手段】発話者の発した発話を入力し、聴覚情報データを出力するための聴覚情報入力部と、聴覚情報入力部からの発話信号を受信し、処理するための演算部と、演算部で処理された情報を出力するための聴覚情報出力部とを備え、演算部は、聴覚情報入力部から出力された聴覚情報データを処理し、聴覚情報出力部にフィードバックすることを特徴とする。
【選択図】図１
【解決手段】発話者の発した発話を入力し、聴覚情報データを出力するための聴覚情報入力部と、聴覚情報入力部からの発話信号を受信し、処理するための演算部と、演算部で処理された情報を出力するための聴覚情報出力部とを備え、演算部は、聴覚情報入力部から出力された聴覚情報データを処理し、聴覚情報出力部にフィードバックすることを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
発話者の発話を制御するための聴覚支援装置であって、
発話者の発した発話を入力し、聴覚情報データを出力するための聴覚情報入力部と、
前記聴覚情報入力部からの発話信号を受信し、処理するための演算部と、
前記演算部で処理された情報を出力するための聴覚情報出力部と、を備え、
前記演算部は、前記聴覚情報入力部から出力された前記聴覚情報データを処理し、
前記聴覚情報出力部にフィードバックすることを特徴とする聴覚支援装置。
発話者の発した発話を入力し、聴覚情報データを出力するための聴覚情報入力部と、
前記聴覚情報入力部からの発話信号を受信し、処理するための演算部と、
前記演算部で処理された情報を出力するための聴覚情報出力部と、を備え、
前記演算部は、前記聴覚情報入力部から出力された前記聴覚情報データを処理し、
前記聴覚情報出力部にフィードバックすることを特徴とする聴覚支援装置。
【請求項2】
聴覚支援装置の演算部及び／または記憶部から発話者及び／または聴取者の基本データを読み込むデータ読込ステップと、
発話者の発話を含む第１聴覚情報を前記聴覚支援装置の聴覚情報入力部に入力する聴覚情報入力ステップと、
前記演算部により前記第１聴覚情報を処理し、処理した前記第１聴覚情報から聴覚制御情報を生成し、前記聴覚支援装置の聴覚情報出力部及び／または視覚情報出力部に出力する聴覚情報制御ステップと、
前記聴覚制御情報を用いて、第２聴覚情報を生成し、前記聴覚情報入力ステップにおいて、前記第１聴覚情報とともに前記第２聴覚情報を前記聴覚情報入力部に入力する聴覚情報評価ステップと、
前記聴覚情報出力部から出力される処理された聴覚情報を知覚情報に変換し、聴覚情報出力装置を介して発話者に提示する聴覚情報出力ステップと、を備えたことを特徴とする聴覚支援システム。
発話者の発話を含む第１聴覚情報を前記聴覚支援装置の聴覚情報入力部に入力する聴覚情報入力ステップと、
前記演算部により前記第１聴覚情報を処理し、処理した前記第１聴覚情報から聴覚制御情報を生成し、前記聴覚支援装置の聴覚情報出力部及び／または視覚情報出力部に出力する聴覚情報制御ステップと、
前記聴覚制御情報を用いて、第２聴覚情報を生成し、前記聴覚情報入力ステップにおいて、前記第１聴覚情報とともに前記第２聴覚情報を前記聴覚情報入力部に入力する聴覚情報評価ステップと、
前記聴覚情報出力部から出力される処理された聴覚情報を知覚情報に変換し、聴覚情報出力装置を介して発話者に提示する聴覚情報出力ステップと、を備えたことを特徴とする聴覚支援システム。
【請求項3】
聴覚支援装置の演算部及び／または記憶部から発話者及び／または聴取者の基本データを読み込むデータ読込ステップと、
発話者の発話を含む第１聴覚情報を前記聴覚支援装置の聴覚情報入力部に入力する聴覚情報入力ステップと、
前記演算部により前記第１聴覚情報を処理し、処理した前記第１聴覚情報から聴覚制御情報を生成し、前記聴覚支援装置の聴覚情報出力部及び／または視覚情報出力部に出力する聴覚情報制御ステップと、
前記聴覚制御情報を用いて、第２聴覚情報を生成し、前記聴覚情報入力ステップにおいて、前記第１聴覚情報とともに前記第２聴覚情報を前記聴覚情報入力部に入力する聴覚情報評価ステップと、
前記聴覚情報出力部から出力される処理された聴覚情報を知覚情報に変換し、聴覚情報出力装置を介して発話者に提示する聴覚情報出力ステップと、を備えたことを特徴とする聴覚支援プログラム。
発話者の発話を含む第１聴覚情報を前記聴覚支援装置の聴覚情報入力部に入力する聴覚情報入力ステップと、
前記演算部により前記第１聴覚情報を処理し、処理した前記第１聴覚情報から聴覚制御情報を生成し、前記聴覚支援装置の聴覚情報出力部及び／または視覚情報出力部に出力する聴覚情報制御ステップと、
前記聴覚制御情報を用いて、第２聴覚情報を生成し、前記聴覚情報入力ステップにおいて、前記第１聴覚情報とともに前記第２聴覚情報を前記聴覚情報入力部に入力する聴覚情報評価ステップと、
前記聴覚情報出力部から出力される処理された聴覚情報を知覚情報に変換し、聴覚情報出力装置を介して発話者に提示する聴覚情報出力ステップと、を備えたことを特徴とする聴覚支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明に係る聴覚支援装置、聴覚支援システム、及び聴覚支援プログラムに関するものである。
【背景技術】
【0002】
例えば聴覚障害者や高齢者などの聴覚に障害や支障がある人が、聴取を改善するための装置としては、補聴器などの日常生活の音を補う機器が用いられている。従来の補聴器は、聴力特性や聴き取り具合の計測に従って、聴力特性や聞こえ具合を鑑みて調整され、音を補う補償機能を利用している。特許文献１には、クリアな補聴音声を提供する機能を有する補聴器が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２１３００１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された補聴器を含め、補聴器では、発話者と聴取者の対話状態に合わせた補聴については、全くといってよいほど行われていなかった。従って、発話と聴取の両面から発話・聴取状態をもとに制御する手法は存在しなかった。
【0005】
よって本発明の目的は、上述の点に鑑み、加齢難聴者などの、聴力や聴き取り能力が低下した人、低下してきた人などに対して、聞こえを改善するために、補聴器などによる補聴にとどまらず、聞き手にとって聴き取り易い発話・音や情報を提示する事ができるようにすることである。
【課題を解決するための手段】
【0006】
本発明に係る聴覚支援装置は、発話者の発話を制御するための聴覚支援装置であって、発話者の発した発話を入力し、聴覚情報データを出力するための聴覚情報入力部と、前記聴覚情報入力部からの発話信号を受信し、処理するための演算部と、前記演算部で処理された情報を出力するための聴覚情報出力部とを備える。前記演算部は、前記聴覚情報入力部から出力された前記聴覚情報データを処理し、前記聴覚情報出力部にフィードバックすることを特徴とする。
【0007】
本発明に係る聴覚支援装置において、演算部が、聴覚情報入力部から出力された聴覚情報データを処理し、聴覚情報出力部にフィードバックすることにより、発話者が聴取者の聴取状態を理解するので、発話及び／または聴取者の聞こえを制御することができる。
【0008】
また、本発明に係る聴覚支援システムは、聴覚支援装置の演算部及び／または記憶部から発話者及び／または聴取者の基本データを読み込むデータ読込ステップと、発話者の発話を含む第１聴覚情報を前記聴覚支援装置の聴覚情報入力部に入力する聴覚情報入力ステップと、前記演算部により、前記第１聴覚情報を処理し、聴覚制御情報を生成し、前記聴覚支援装置の聴覚情報出力部及び／または視覚情報出力部に出力する聴覚情報制御ステップと、前記聴覚制御情報を用いて、第２聴覚情報を生成し、前記聴覚情報入力ステップにおいて、前記第１聴覚情報とともに前記第２聴覚情報を前記聴覚情報入力部に入力する聴覚情報評価ステップと、前記聴覚情報出力部から出力される処理された聴覚情報を知覚情報に変換し、聴覚情報出力装置を介して発話者に提示する聴覚情報出力ステップと、を備えたことを特徴とする。
【0009】
また、本発明に係る聴覚支援プログラムは、聴覚支援装置の演算部及び／または記憶部から発話者及び／または聴取者の基本データを読み込むデータ読込ステップと、発話者の発話を含む第１聴覚情報を前記聴覚支援装置の聴覚情報入力部に入力する聴覚情報入力ステップと、前記演算部により、前記第１聴覚情報を処理し、聴覚制御情報を生成し、前記聴覚支援装置の聴覚情報出力部及び／または視覚情報出力部に出力する聴覚情報制御ステップと、前記聴覚制御情報を用いて、第２聴覚情報を生成し、前記聴覚情報入力ステップにおいて、前記第１聴覚情報とともに前記第２聴覚情報を前記聴覚情報入力部に入力する聴覚情報評価ステップと、前記聴覚情報出力部から出力される処理された聴覚情報を知覚情報に変換し、聴覚情報出力装置を介して発話者に提示する聴覚情報出力ステップと、を備えたことを特徴とする。
【発明の効果】
【0010】
本発明に係る聴覚支援装置において、演算部が、聴覚情報入力部から出力された聴覚情報データを処理し、聴覚情報出力部にフィードバックすることにより、発話者が聴取者の聴取状態を理解するので、発話及び／または聴取者の聞こえを制御することができる。
【0011】
また、聴覚支援装置を用いることにより、聞き取り難さを理解したり、もしくは共感による当事者意識を育んだり、もしくは聞き取り易い発話に気遣うように、行動変容が促される。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
いくつかの実施形態に係る装置、システム、プログラムを、以下に図面を参照しつつ説明する。以下の説明では、図面の説明において同一の要素には同一の符号を付する。
【0014】
【0015】
聴覚支援装置１は、発話者の発話（例えば、発せられた音、発せられた音声）を計測、情報処理して、難聴者の聞こえを発話者に体験させる、もしくは、体験させて聴き取り易い発話（例えば、発せられた音、発せられた音声）に誘導する機能を有することができる。
【0016】
図１に、本実施形態における聴覚支援装置１の基本的な構成を示すブロック図を示す。図１に示したように、聴覚支援装置１は、演算部１０５、演算部１０５に接続され、視覚情報、及び聴覚情報を出力するための視覚情報出力部１０２、及び聴覚情報出力部１０３を備えることができる。また、演算部１０５には、操作部１０１、視覚情報入力部１０７、聴覚情報入力部１０８、及び生体情報入力部１０９が接続されている。
【0017】
操作部１０１は発話者または聴取者が聴覚支援装置１を操作する際に用いるボタンまたはキーなどの操作部である。
【0018】
視覚情報出力部１０２は、発話・聴取状態を計測するための指標や計測手順を説明するための案内表示、或いは計測結果についての視覚情報を表示するためのものである。
【0019】
聴覚情報出力部１０３、は発話・聴取状態を計測するための音刺激や計測手順を説明するための案内音声、計測結果についての音声による情報を提示するための聴覚情報を提示する。
【0020】
一方、聴覚情報入力部１０８は発話・聴取状態を計測するための発話（例えば、発せられた音、発せられた音声）や動作音、環境音などの音情報を測定し、演算部１０５に入力することができる。視覚情報入力部１０７は、発話・聴取状態を計測するための表情、口の動き、などの視覚的情報を測定し、演算部１０５に入力することができる。また、生体情報入力部１０９は、活動状態を計測するための動作、呼吸、心理状態などの生体情報を測定し、演算部１０５に入力することができる。
【0021】
また、通信部１０４は、インターネットや他の機器・情報家電に接続する際に利用される。演算部１０５は、以上の構成部分を統括し、全体として発話・聴取状態の計測・演算・制御の装置としての機能を維持し、また、聴覚支援装置１を小型で軽量とするために寄与する演算部１０５である。
【0022】
また、演算部１０５は、記憶部１０６に含まれるメモリ（記憶素子）に記憶された情報、或いはプログラムを読み込んで種々に処理を行うことができる。
【0023】
なお、視覚情報出力部１０２関連の機能は、聴覚情報出力部１０３で代用することが可能な場合は、視覚情報出力部１０２は、なくても良い。
【0024】
図１、及び図２に示したように、操作部１０１は、ボタン等の操作キー１１１により計測者または被計測者の応答を入力する手段である。聴覚支援装置１において、操作キー１１１を操作することで、計測の進行を可能とすることができる。
【0025】
また、通信部１０４の機能によりアンテナ１１０やケーブルを通じて、ネットワークや、例えばサービスプロバイダを介してインターネットに接続し、計測データ及び／または計測データに基づく情報などが、送信或いは受信される。なお、これらの動作は、操作キー１１１への応答なしに、自動で行われることもある。
【0026】
操作キー１１１は、本実施形態では、操作をおこなうためのボタンまたはキーなどを備えることができるが、これに限らず、操作キー１１１としては、クロスリアリティ（ＸＲ）の情報端末やスマートフォンにおけるタッチパネル上や空中におけるバーチャルな操作キーでも良い。ＸＲとは、「ＶＲ（仮想現実）」「ＡＲ（拡張現実）」「ＭＲ（複合現実）」といった先端技術の総称である。
【0027】
次に、聴覚支援装置１を用いて実行される聴覚支援システム２００について、詳細に説明する。
【0028】
図３に、聴覚支援装置１を用いて実行される聴覚支援システム２００を説明するためのフローチャートを示す。図３に示したように、聴覚支援システム２００は、データ読込ステップＳ１０１、聴覚情報入力ステップＳ１０２、聴覚情報制御ステップＳ１０３、及び聴覚情報出力ステップＳ１０４を含むことができる。本実施形態では、これらのデータ読込ステップＳ１０１、聴覚情報入力ステップＳ１０２、聴覚情報制御ステップＳ１０３、及び聴覚情報出力ステップＳ１０４は、この順に実行することができる。
【0029】
まず、データ読込ステップＳ１０１において、第１のステップとして、過去の聴取者及び／または発話者の聴覚特性の測定データ及び当該測定データから得られた測定結果などの基本データが、演算部１０５や記憶部１０６などから、読み込まれる。
【0030】
なお、聴取者の聴覚特性は、新たに測定されて読み込まれても良い。
【0031】
次に、第２のステップとして、聴覚情報入力ステップＳ１０２において、聴覚情報入力部１０８に含まれるマイクロフォン１１４などの聴覚情報入力装置１２１によって、発話者の発話（例えば、発せられた音、発せられた音声）などが計測されて、演算部１０５に出力され、演算部１０５により処理される。
【0032】
次に、第３のステップとして、聴覚情報制御ステップＳ１０３において、演算部１０５で、聴覚情報が分析、加工、編集、又は制御などの処理が実行されて、聴覚情報出力部１０３や視覚情報出力部１０２へ処理される。
【0033】
次に、聴覚情報制御ステップＳ１０３の後に、第４のステップとして、聴覚情報評価ステップＳ１０５が実行される。聴覚情報評価ステップＳ１０５において、演算部１０５で、発話（例えば、発せられた音、発せられた音声）、およびそれらの変化が、物理量（例えば、周波数特性や強度、ケプストラム、歪度、表情の特徴量）、知覚量（例えば、明瞭度、聴き取り易さ）、心理量（例えば、心地よさ、不快感）、および生理量（例えば、呼吸、心拍、脈拍）として、およびその変化として、さらに変化の変化として、処理（例えば、演算・比較・分析・評価・制御）される。これらの情報が、聴覚情報として、聴覚情報入力部１０８へ処理される。図３に示したように、この演算部１０５で、分析・評価されて処理された聴覚情報は、データ読込ステップＳ１０１で読み込まれる聴覚情報とともに、聴覚情報入力ステップＳ１０２において入力される。
【0034】
聴覚情報評価ステップＳ１０５では、上記で述べたように、様々な情報である聴覚制御情報によって、処理（例えば、演算・比較・分析・評価・制御などの処理）が実行される。ここで、聴覚制御情報には、例えば、物理用、知覚量、心理量、および生理量、或いは、これらの変化量、および、これらの変化量の変化量が含まれる。この聴覚情報評価ステップＳ１０５により、聴取者の聞こえを、適切に或いは効果・効率的に、表現することができる。
【0035】
なお、分析・評価は、脳科学や知覚・認知に関する知見にもとづいて行なわれても良く、機械学習などによって、知見がない方法で行われても良い。知見は、聴覚情報評価ステップＳ１０５で得られた知見でも良いし、事前の知見でも良いし、外部からの知見でも良い。
【0036】
次に、第５のステップとして、聴覚情報出力ステップＳ１０４において、聴覚情報出力部１０３で、聴覚情報が知覚情報（例えば、発話、音声、音、振動、変形、動き、動作、形、模様、流れ、光、映像）に変換・加工されて、例えばイヤホン１１３やスピーカ１１６などの聴覚情報出力装置１２２から発話者に提示される。また、視覚情報出力部１０２で文字や映像などに変換・加工されて、例えば、液晶ディスプレイ１１２から提示される。
【0037】
次に、第６のステップとして、データ書出ステップＳ１０６において、聴覚情報や変換・分析・加工・編集・制御・処理に関する情報、および、その他の情報が、記憶部１０６へ出力される。データ書出ステップＳ１０６は、上記で説明した聴覚支援システム２００に含まれるステップ（Ｓ１０２～Ｓ１０５）の後に、都度、逐次的に行われてもよい。
【0038】
次に、上記で説明した聴覚支援システム２００に含まれるステップ（Ｓ１０１～Ｓ１０６）について、詳細に説明する。
【0039】
再び、図３を参照すると、データ読込ステップＳ１０１では、データの読込部において、演算部１０５や記憶部１０６などから、聴取者の聴覚特性の測定値（聴覚特性データ）を読み込むことができる。或いは、事前に測定された特性データや、補聴器および補聴器フィッティングシステムに保存された特性データを、メモリなどの記憶装置や、インターネット回線を介してインターネットに接続された記憶装置から読み込むようにしてもよい。
【0040】
なお、データ読込のステップＳ１０１に示したように、聴覚情報入力部１０８へ読み込まれるデータ（聴覚特性データおよび聴覚情報データなど）は、聴覚情報出力部１０３のデータ、および演算部１０５の評価後の聴覚情報のデータの両方、或いはいずれか一方を用いても良い。
【0041】
また、聴覚情報入力ステップＳ１０２では、聴覚情報入力部１０８において、発話者の発話（例えば、発せられた音、発せられた音声）などの聴覚情報を入力する。次に、聴覚情報制御ステップＳ１０３では、演算部１０５においては、読み込まれた聴覚特性に関する情報（聴覚特性データ）と入力された発話（例えば、発せられた音、発せられた音声）などの聴覚情報データが、分析、加工、編集、又は制御などの処理が実行されて、聴覚情報出力部１０３に出力される。
【0042】
聴覚情報出力部１０３において、入力された聴覚情報データにもとづいた、難聴を体験するため、および発話を誘導するために生成された聴覚情報データが出力される。聴覚情報出力部１０３では、上記の聴覚情報データが発話者および聴取者に提示される。出力された聴覚情報データは、例えば、スピーカ、イヤホン、ヘッドホン、ヘッドセット、周辺機器などの聴覚情報出力装置１２２によって、発話者および聴取者などの関係者に提示される。
【0043】
また、聴覚情報制御ステップＳ１０３において、演算部１０５における加工・編集・制御は、聴覚情報入力部１０８の聴覚情報データに対して、聴覚情報データを加工（例えば、振幅の減衰、波形を歪ませること、基本周波数の変換、ノイズによるマスキング効果の付与）することで、聴取者、特に難聴者などの聞こえをシミュレーションすることが含まれる。これらを実行することで、発話者に、難聴者の聞こえ方を、リアルもしくは疑似的に、体験させることができる。
【0044】
また、聴覚情報評価ステップＳ１０５では、聴覚情報出力部１０３の聴覚情報データ、およびスピーカ、イヤホン、ヘッドホン、周辺機器などの聴覚情報出力装置１２２によって提示された発話（例えば、発せられた音、発せられた音声）は、演算部１０５において、物理量（例えば、周波数成分や強度、ケプストラム、歪度、表情の特徴量）、知覚量（例えば、明瞭度、聴き取り易さ）、心理量（例えば、心地よさ、不快感）、および生理量（例えば、呼吸、心拍、脈拍）が、およびこれらの変化が、さらに変化の変化が、分析・評価される。
【0045】
聴覚情報評価ステップＳ１０５において、聴覚情報入力部１０８の発話データと、演算部１０５の評価後の聴覚情報データとが、演算部１０５において、比較・分析・演算されて、聴取が向上する編集・制御が行われる。
【0046】
比較・分析・演算の方法としては、数値情報空間である聴覚制御情報（例えば、物理量、知覚量、心理量、生理量）の特徴量（例えば、周波数成分、強度）において、発せられた発話（例えば、発せられた音、発せられた音声）と聴取可能な発話（例えば、発せられた音、発せられた音声）の関係が、範囲内にある、許容範囲内にある、許容範囲外にある、などとレベル分け・数値化されて、分析・比較される。この分析および比較の後に、発話者に提示する聴覚情報に、ある変化（例えば、ランダムな変位、擾乱）を加えて、その時の数値情報空間である聴覚制御情報の変化を分析・評価（例えば、増加した、減少した、変わらない）して、変化の加え方を調整・制御する。
【0047】
この調整・制御を、高速に繰り返す事により、聴取向上の性能・精度・効率を向上させる。この向上の変化を記憶・学習して、分析・評価のアルゴリズム性能を向上させる。
【0048】
以上のアルゴリズムの計算要素（例えば、演算・比較・分析・評価・制御）は、脳科学や知覚・認知に関する知見にもとづいて行なわれても良く、機械学習などによって、知見がない方法で行われても良い。知見は、聴覚情報評価ステップＳ１０５で得られた知見でも良いし、事前の知見でも良いし、外部からの知見でも良い。
【0049】
事前の知見は、聴覚情報入力部１０８において、マニュアルで入力されても良く、周辺機器などから自動で取得されても良く、ネットワークからダウンロードされても良い。
【0050】
次に、聴覚支援システム２００により実行される聴覚支援システム２００の動作及び機能について、以下に詳細に説明する。
【0051】
図４に、第１の実施形態に係る聴覚支援装置１の技術を用いた聴覚支援システム２００のシステム図を示す。図４に示したように、聴覚支援システム２００は、読み込まれた聴覚特性に関する情報（聴覚特性データ）と入力された発話（例えば、発せられた音、発せられた音声）などの聴覚情報データが、分析、加工、編集、又は制御などの処理が実行される演算部１０５を備えることができる。演算部１０５は、発話（例えば、発せられた音、発せられた音声）を分析するための音声分析部２１１、聴力を分析するための聴力分析部２１２、発話者の身体的、生理的、及び心理的状態などを分析するための状態分析部２１３、及び環境の音響を分析するための音響分析部２１４を有することができる。これらの音声分析部２１１、聴力分析部２１２、状態分析部２１３、及び音響分析部２１４は、バス２１８を介して、他の分析部、或いは制御部２０１と、それぞれ接続されている。
【0052】
図４を参照すると、音声分析部２１１は、聴覚支援装置１の聴覚情報入力部１０８からの聴覚情報を受信し、入力された発話者の発話（例えば、発せられた音、発せられた音声）などの聴覚情報を計測し、その周波数成分や強度、子音・母音の特性、明瞭度などを分析することができる。また、音声分析部２１１は、バス２１８を介して、他の分析部、或いは制御部２０１と接続されており、例えば記憶部１０６に保存された聴取者や発話者の聴覚機能を呼び出し、比較したりすることで、聴き取り易さや発話者の理解しやすさ、心理的な状態などを分析することができる。この分析結果をもとに、聴き取り易さが向上するように、発話（例えば、発せられた音、発せられた音声）を加工・編集・制御して、バスを介して聴覚情報出力部１０３から外部に出力し、例えばスピーカ、イヤホン、ヘッドホン、周辺機器などの聴覚情報出力装置１２２を通して、発話者に提示される。
【0053】
なお、比較・分析などのアルゴリズムの計算要素、および加工・編集・制御は、脳科学や知覚・認知に関する知見にもとづいて行なわれても良く、機械学習などによって、知見がない方法で行われても良い。知見は、聴覚情報評価ステップＳ１０５で得られた知見でも良いし、事前の知見でも良いし、外部からの知見でも良い。
【0054】
また、聴力分析部２１２において、聴覚支援装置１の聴覚情報出力部１０３から、聴覚機能を測定するための音刺激を提示して、操作キー１１１などによって聴取者の反応を計測することで、聴覚機能としての閾値や知覚量を測定する。
【0055】
また、状態分析部２１３において、聴覚機能に関する測定値（例えば、絶対閾値や絶対閾上の弁別閾値や知覚量の計測値）に基づいて、状態（例えば、聴取状態）の推定・評価を行う。
【0056】
また、状態分析部２１３において、聴覚制御情報（例えば、物理用、知覚量、心理量、および生理量。および、これらの変化量。および、それら変化量の変化量）に基づいて、状態（例えば、聴取状態）の推定・評価が、適切、或いは効果・効率的に、行うことができる。
【0057】
また、音響分析部２１４において、聴覚支援装置１の聴覚情報入力部１０８から入力された、環境音などを計測し、その周波数成分や強度、歪、などを分析したりすることで、マスキング効果などの、聴き取り易さや発話者の理解しやすさへの影響を分析する。
【0058】
また、Ｄ／Ａコンバータ２０４を含む聴覚情報出力部１０３において、状態分析部２１３にて、音声情報からの心理的な状態などを分析し、これらの分析結果などから、総合的に判断して、聴き取り易さが向上するように、発話（例えば、発せられた音、発せられた音声）を加工・編集した聴覚情報データを聴覚情報出力部１０３から出力し、スピーカ、イヤホン、ヘッドホン、周辺機器などの聴覚情報出力装置１２２を通して、発話者に提示される。
【0059】
次に、聴覚支援装置１から、発話者２に行われる、所謂バイオフィードバックについて、説明する。図４を参照すると、本実施形態では、例えば、バイオフィードバックとして、聴覚フィードバックが行われる。この聴覚フィードバックでは、マイクロフォンなどの聴覚情報入力装置１２１から聴覚支援装置１に入力された自分の発話（例えば、発せられた音、発せられた音声）を、演算部１０５で処理して、側音としてイヤホンなどの聴覚情報出力装置１２２に戻すことができる。発話者２が、この側音を聞くことで発話（例えば、発せられた音、発せられた音声）の音量、声の高さ（声のピッチ、基本周波数など）、或いは声質（声の質）などを所定の値や発話状態となるように、発話者２を誘導したり或いは変化させることができる。聴覚情報出力装置１２２として、イヤホンの代わりに、スピーカ、ヘッドホン、周辺機器などもよい。
【0060】
聴覚情報出力装置１２２は、聴覚支援装置１の聴覚情報出力部１０３からの聴覚情報データを受信し、発話（例えば、発せられた音、発せられた音声）や合成音などの聴覚情報である音刺激として、提示することが可能である。
【0061】
側音は、自分の声の音量を換えたり、基本周波数を変換したり、ノイズによってマスキング効果を付与するなど、加工・編集・制御することで、聴覚特性や環境音の影響などにもとづいた聴取者の聞え方を反映して、発話者の発話音量、基本周波数、発話スピード、明瞭さ、などの話し方・発話・しぐさ・動作を変化させる。
【0062】
聴覚フィードバックは、聴取者の聞え方を模した発話者への側音と、発話者の発話音量および基本周波数などの変化との関係から、提示する聴覚情報を制御することで、発話者の発話（例えば、発せられた音、発せられた音声）および発話状態が制御される。聴覚フィードバックによって制御された聴覚制御情報（例えば、物理量、知覚量、心理量、生理量）の値により、制御に係わる関係式、発話誘導方法を推定することができる。
【0063】
以上の処理が、連続的もしくは非連続的に、リアルタイムもしくは非リアルタイムに行われる。
【0064】
本実施形態は、聴覚支援装置１は、単独の装置として構成されているが、小型化・軽量化に寄与する演算部１０５により、これに限定されず、補聴器、スマートフォン、家電、医療機器などの、各種端末や、各種機器に組込・内蔵させることができる。また、聴覚情報出力装置１２２としては、小型化・軽量化に寄与する演算部１０５により、スピーカ、イヤホン、ヘッドホン、周辺機器に加えて、ヘッドマウントディスプレイや眼鏡に組込・内蔵もしくは装着させることができる。
【0065】
本実施形態は、補聴器の技術や部品を参考・利用・応用することで、聴覚支援装置１の機能を、スマートフォンなどの情報端末上に難聴体験シミュレーターとして実現することができる。これにより、聴取者の聞こえを、普段利用している情報端末で、発話者が難聴者の聞こえを体験する事ができるようになる。これにより、発話者や聴取者以外の人が、聞き取り難さ、情報ロス、耳障り不快感を理解し、その体験をもって、共感による当事者意識が育まれ、聞き取り易い、明瞭な発話・声の大きさ・スピードを気遣うように、難聴などで困っている聴取者以外の人の行動変容を促すことができる。
【0066】
本実施形態は、発話者が、どう発話を変化させれば、どう聴取者に聞こえるのか、どう聞こえが変化するかを自分の耳・聴取をもって、体験・理解させることができるため、発話者が、柔軟で最適な発話および発話方法を、意識的或いは無意識的に、習得・学習することができる。このように、聴取者の聞こえを体験する事で、発話者などの聴取者以外の人の気遣いと話し方が変わる行動変容を誘導することができる。
【0067】
本実施形態は、マイクで測定した発話者の発話（例えば、発せられた音、発せられた音声）を、聴取者の聞こえ方に変換して、イヤホンなどを通して、発話者にリアルタイム或いは非リアルタイムにフィードバックすることができるため、聴取者に聴き取り易い発話（例えば、発せられた音、発せられた音声）に関して、柔軟に、発話者を誘導することができる。
【0068】
本実施形態は、バイオフィードバックを利用した発話誘導システムであり、聴き取り易い発話、および発話の仕方を無意識に習得する学習システムが実現できる。
【0069】
本実施形態は、聴覚的なフィードバックを、リアルタイムにフィードバックすることができるし、発話が終わった後にフィードバックすることができる。また、その時のフィードバックは、聴取者の聞え方を反映することもできるし、発話者の発話（例えば、発せられた音、発せられた音声）そのままにすることもできる。これにより、柔軟な発話の制御ができる。
【0070】
本実施形態は、聴覚情報制御Ｓ１０３に、マルチモーダル効果やクロスモーダル効果を用いることができるので、発話（例えば、発せられた音、発せられた音声）を文字に変換したり、自動音声認識機能によって発話（例えば、発せられた音、発せられた音声）を文字に変換したり、視覚的にフィードバックすることができるようになっており、聴取や学習効果を向上させることができる。
【0071】
本実施形態は、演算部１０５及び／または通信部１０４を有するため、聴取、および聴取内容の理解を促進させるために、人工知能やネット検索機能を用いることにより、発話内容に関連したイラストや映像を視覚的に提示することが可能になっており、視覚的な補助を、聴取者に提示することができる。
【0072】
本実施形態は、自身の発話（例えば、発せられた音、発せられた音声）が骨導音として聞こえる場合と聞こえない場合において、ヘッドホンなどにおけるノイズキャンセリング機能と同様な処理・制御を加えることにより、骨導音を和らげる・打ち消す目的で、スピーカ、イヤホン、ヘッドホン、周辺機器などの聴覚情報出力装置１２２などにおいて、聴覚特性データ、聴覚情報データにもとづいて、加工・編集・制御を行うことができ、聞こえを向上させることができる。
【0073】
次に、聴覚支援装置１により実行される聴覚支援プログラム３００について、説明する。聴覚支援プログラム３００は、図３に示された聴覚支援システム２００の各ステップを、ソフトウェアで実装する方法、手順である。そのため、聴覚支援プログラム３００の各ステップは、聴覚支援システム２００の各ステップと、同一、もしくは含む、もしくはその一部、もしくは改変したものとなる。
【0074】
聴覚支援プログラム３００は、データ読込ステップＳ１０１、聴覚情報入力ステップＳ１０２、聴覚情報制御ステップＳ１０３、及び聴覚情報出力ステップＳ１０４を含むことができる。本実施形態では、これらのデータ読込ステップＳ１０１、聴覚情報入力ステップＳ１０２、聴覚情報制御ステップＳ１０３、及び聴覚情報出力ステップＳ１０４は、この順に実行することができる。
【0075】
まず、データ読込ステップＳ１０１において、第１のステップとして、過去の聴取者及び／または発話者の聴覚特性の測定データ及び当該測定データから得られた測定結果などの基本データが、演算部１０５や記憶部１０６などから、読み込まれる。
【0076】
なお、聴取者の聴覚特性は、新たに測定されて読み込まれても良い。
【0077】
次に、第２のステップとして、聴覚情報入力ステップＳ１０２において、聴覚情報入力部１０８に含まれるマイクロフォン１１４などの聴覚情報入力装置１２１によって、発話者の発話（例えば、発せられた音、発せられた音声）などが計測されて、演算部１０５に出力され、演算部１０５により処理される。
【0078】
次に、第３のステップとして、聴覚情報制御ステップＳ１０３において、演算部１０５で、聴覚情報が分析、加工、編集、又は制御などの処理が実行されて、聴覚情報出力部１０３や視覚情報出力部１０２へ処理される。
【0079】
次に、聴覚情報制御ステップＳ１０３の後に、第４のステップとして、聴覚情報評価ステップＳ１０５が実行される。聴覚情報評価ステップＳ１０５において、演算部１０５で、発話（例えば、発せられた音、発せられた音声）、およびそれらの変化が、物理量（例えば、周波数特性や強度、ケプストラム、歪度、表情の特徴量）、知覚量（例えば、明瞭度、聴き取り易さ）、心理量（例えば、心地よさ、不快感）、および生理量（例えば、呼吸、心拍、脈拍）として、およびその変化として、さらに変化の変化として、処理（例えば、演算・比較・分析・評価・制御）される。これらの情報が、聴覚情報として、聴覚情報入力部１０８へ処理される。図３に示したように、この演算部１０５で、分析・評価されて処理された聴覚情報は、データ読込ステップＳ１０１で読み込まれる聴覚情報とともに、聴覚情報入力ステップＳ１０２において入力される。
【0080】
聴覚情報評価ステップＳ１０５では、上記で述べたように、様々な情報である聴覚制御情報によって、処理（例えば、演算・比較・分析・評価・制御などの処理）が実行される。ここで、聴覚制御情報には、例えば、物理用、知覚量、心理量、および生理量、或いは、これらの変化量、および、これらの変化量の変化量が含まれる。この聴覚情報評価ステップＳ１０５により、聴取者の聞こえを、適切に或いは効果・効率的に、表現することができる。
【0081】
なお、分析・評価は、脳科学や知覚・認知に関する知見にもとづいて行なわれても良く、機械学習などによって、知見がない方法で行われても良い。知見は、聴覚情報評価ステップＳ１０５で得られた知見でも良いし、事前の知見でも良いし、外部からの知見でも良い。
【0082】
次に、第５のステップとして、聴覚情報出力ステップＳ１０４において、聴覚情報出力部１０３で、聴覚情報が知覚情報（例えば、発話、音声、音、振動、変形、動き、動作、形、模様、流れ、光、映像）に変換・加工されて、例えばイヤホン１１３やスピーカ１１６などの聴覚情報出力装置１２２から発話者に提示される。また、視覚情報出力部１０２で文字や映像などに変換・加工されて、例えば、液晶ディスプレイ１１２から提示される。
【0083】
次に、第６のステップとして、データ書出ステップＳ１０６において、聴覚情報や変換・分析・加工・編集・制御・処理に関する情報、および、その他の情報が、記憶部１０６へ出力される。データ書出ステップＳ１０６は、上記で説明した聴覚支援システム２００に含まれるステップ（Ｓ１０２～Ｓ１０５）の後に、都度、逐次的に行われてもよい。
【0084】
次に、上記で説明した聴覚支援システム２００に含まれるステップ（Ｓ１０１～Ｓ１０６）について、詳細に説明する。
【0085】
再び、図３を参照すると、データ読込ステップＳ１０１では、データの読込部において、演算部１０５や記憶部１０６などから、聴取者の聴覚特性の測定値（聴覚特性データ）を読み込むことができる。或いは、事前に測定された特性データや、補聴器および補聴器フィッティングシステムに保存された特性データを、メモリなどの記憶装置や、インターネット回線を介してインターネットに接続された記憶装置から読み込むようにしてもよい。
【0086】
なお、データ読込のステップＳ１０１に示したように、聴覚情報入力部１０８へ読み込まれるデータ（聴覚特性データおよび聴覚情報データなど）は、聴覚情報出力部１０３のデータ、および演算部１０５の評価後の聴覚情報のデータの両方、或いはいずれか一方を用いても良い。
【0087】
また、聴覚情報入力ステップＳ１０２では、聴覚情報入力部１０８において、発話者の発話（例えば、発せられた音、発せられた音声）などの聴覚情報を入力する。次に、聴覚情報制御ステップＳ１０３では、演算部１０５においては、読み込まれた聴覚特性に関する情報（聴覚特性データ）と入力された発話（例えば、発せられた音、発せられた音声）などの聴覚情報データが、分析、加工、編集、又は制御などの処理が実行されて、聴覚情報出力部１０３に出力される。
【0088】
聴覚情報出力部１０３において、入力された聴覚情報データにもとづいた、難聴を体験するため、および発話を誘導するために生成された聴覚情報データが出力される。聴覚情報出力部１０３では、上記の聴覚情報データが発話者および聴取者に提示される。出力された聴覚情報データは、例えば、スピーカ、イヤホン、ヘッドホン、ヘッドセット、周辺機器などの聴覚情報出力装置１２２によって、発話者および聴取者などの関係者に提示される。
【0089】
また、聴覚情報制御ステップＳ１０３において、演算部１０５における加工・編集・制御は、聴覚情報入力部１０８の聴覚情報データに対して、聴覚情報データを加工（例えば、振幅の減衰、波形を歪ませること、基本周波数の変換、ノイズによるマスキング効果の付与）することで、聴取者、特に難聴者などの聞こえをシミュレーションすることが含まれる。これらを実行することで、発話者に、難聴者の聞こえ方を、リアルもしくは疑似的に、体験させることができる。
【0090】
また、聴覚情報評価ステップＳ１０５では、聴覚情報出力部１０３の聴覚情報データ、およびスピーカ、イヤホン、ヘッドホン、周辺機器などの聴覚情報出力装置１２２によって提示された発話（例えば、発せられた音、発せられた音声）は、演算部１０５において、物理量（例えば、周波数成分や強度、ケプストラム、歪度、表情の特徴量）、知覚量（例えば、明瞭度、聴き取り易さ）、心理量（例えば、心地よさ、不快感）、および生理量（例えば、呼吸、心拍、脈拍）が、およびこれらの変化が、さらに変化の変化が、分析・評価される。
【0091】
聴覚情報評価ステップＳ１０５において、聴覚情報入力部１０８の発話データと、演算部１０５の評価後の聴覚情報データとが、演算部１０５において、比較・分析・演算されて、聴取が向上する編集・制御が行われる。
【0092】
比較・分析・演算の方法としては、数値情報空間である聴覚制御情報（例えば、物理量、知覚量、心理量、生理量）の特徴量（例えば、周波数成分、強度）において、発せられた発話（例えば、発せられた音、発せられた音声）と聴取可能な発話（例えば、発せられた音、発せられた音声）の関係が、範囲内にある、許容範囲内にある、許容範囲外にある、などとレベル分け・数値化されて、分析・比較される。この分析および比較の後に、発話者に提示する聴覚情報に、ある変化（例えば、ランダムな変位、擾乱）を加えて、その時の数値情報空間である聴覚制御情報の変化を分析・評価（例えば、増加した、減少した、変わらない）して、変化の加え方を調整・制御する。
【0093】
この調整・制御を、高速に繰り返す事により、聴取向上の性能・精度・効率を向上させる。この向上の変化を記憶・学習して、分析・評価のアルゴリズム性能を向上させる。
【0094】
以上のアルゴリズムの計算要素（例えば、演算・比較・分析・評価・制御）は、脳科学や知覚・認知に関する知見にもとづいて行なわれても良く、機械学習などによって、知見がない方法で行われても良い。知見は、聴覚情報評価ステップＳ１０５で得られた知見でも良いし、事前の知見でも良いし、外部からの知見でも良い。
【0095】
事前の知見は、聴覚情報入力部１０８において、マニュアルで入力されても良く、周辺機器などから自動で取得されても良く、ネットワークからダウンロードされても良い。
【0096】
次に、聴覚支援装置１、聴覚支援システム２００、および聴覚支援プログラム３００によって、実現される特徴について、説明する。
【0097】
本実施形態では、発話者の聴覚情報（例えば、マイクで測定した発話者の発話）を、聴取者（例えば、難聴者、加齢難聴者、若年難聴者）の聞こえに変換した聴覚情報を、時間的な制御（例えば、リアルタイム制御、或いは非リアルタイム制御）を通して、発話者への聴覚フィードバックとして提示することによって、聴取者にとって聴き取り易い聴覚情報（例えば、発話）の生成に発話者を誘導することによって、聴取者だけに身体的および心理的な負担を掛けないような発話者（例えば、家族や職場の同僚などの周囲の人達）の行動に、無意識或いは意識的に、誘導することができる。
【0098】
本実施形態では、音響に関する信号変換（例えば、補聴器で用いられている信号変換の機能を応用した変換方法）或いはバイオフィードバック手法によって、聴取者（例えば、難聴者、加齢難聴者、若年難聴者）の聞こえを、発話者（例えば、家族や職場の同僚などの周囲の人達）に体験させる事により、聴取者が経験している苦労（例えば、聞き取り難さ、情報ロス、耳障り不快感）を聴取者以外が理解し、その苦労に対する共感によって、聴取困難の当事者意識を育む事で、聴取者が聞き取り易くなるように、聴取者以外の人の行動変容（例えば、明瞭な発話・声の大きさ・スピードを気遣うような発話、ジェスチャー、表情や表現に関する行動）を促進させることができる。
【0099】
これにより、聴取者以外の人（例えば、発話者、聴取者の家族、職場の同僚などの聴取者の周囲の人）が、聴取者の負担（例えば、身体的な負担、精神的な負担）を、社会全体の問題として共有し、共感力を引き出すことによって、聴取者だけに負担を集中させない行動や、聴取者の負担を軽減させる行動で溢れた社会に変容させて、社会全体が幸せで溢れた社会を実現させることができる。
【0100】
本実施形態の一例として、バイオフィードバックとして聴覚フィードバックを用いたが、所望の目的（例えば、発話の制御、発話誘導、および発話者と聴取者の心理的な関係性の向上）を実現できる実施形態ならば、いかなる情報（例えば、生体情報）のフィードバックを用いてもよいので、所望の目的の実現を、容易にすることができる。
【0101】
本実施形態は、スマートフォンへのアプリのダウンロードや、電子回路に所望の機能を内蔵させたイヤホンにより、実装が可能である。そのため、高額な補聴を助ける装置（たとえば、補聴器）よりも、安価に、容易に、世界中へ普及を促進させることが可能である。所望の機能を、補聴器或いは補聴器の周辺機器に実装することも可能である。これにより、従来の装置や技術を用いることができ、従来の販路を用いて、新しい製品を容易に開発・販売することができるため、製品の価格を抑えることができる。
【0102】
以上述べた本実施形態における聴覚支援装置は、聴覚支援プログラムがインターネット上のサーバから情報端末（例えば、携帯電話やスマートフォン）にダウンロードされるだけで実現される。なお、本聴覚支援装置は、これらの情報端末に限らず、聴覚情報出力部を制御する機能を有する情報端末（例えば、パソコン、ＰＤＡ、モバイル機器、情報家電、ユビキタスコンピュータ、スピーカ、スマート・スピーカ、イヤホン、スマート・イヤホン）で実装および実現することができる。
【0103】
好適な実施の形態において実施形態の原理を図示し説明してきたが、本実施形態は、そのような原理から逸脱することなく配置および詳細において変更され得ることは、当業者によって認識される。本実施形態は、本実施形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。
【符号の説明】
【0104】
１ 聴覚支援装置
２ 発話者
１０１ 操作部
１０２ 視覚情報出力部
１０３ 聴覚情報出力部
１０４ 通信部
１０５ 演算部
１０７ 視覚情報入力部
１０８ 聴覚情報入力部
１０９ 生体情報入力部
１１０ アンテナ
１１１ 操作キー
１１２ 液晶ディスプレイ
１１３ イヤホン
１１４ マイクロフォン
１１５ 騒音モニタ用マイクロフォン
１１６ スピーカ
１１７ ヘッドセット
１２１ 聴覚情報入力装置
１２２ 聴覚情報出力装置
１２３ 音響情報入力装置
２００ 聴覚支援システム
３００ 聴覚支援プログラム
Ｓ１０１ データ読込
Ｓ１０２ 聴覚情報入力
Ｓ１０３ 聴覚情報制御
Ｓ１０４ 聴覚情報出力
Ｓ１０５ 聴覚情報評価
Ｓ１０６ データ書出
２ 発話者
１０１ 操作部
１０２ 視覚情報出力部
１０３ 聴覚情報出力部
１０４ 通信部
１０５ 演算部
１０７ 視覚情報入力部
１０８ 聴覚情報入力部
１０９ 生体情報入力部
１１０ アンテナ
１１１ 操作キー
１１２ 液晶ディスプレイ
１１３ イヤホン
１１４ マイクロフォン
１１５ 騒音モニタ用マイクロフォン
１１６ スピーカ
１１７ ヘッドセット
１２１ 聴覚情報入力装置
１２２ 聴覚情報出力装置
１２３ 音響情報入力装置
２００ 聴覚支援システム
３００ 聴覚支援プログラム
Ｓ１０１ データ読込
Ｓ１０２ 聴覚情報入力
Ｓ１０３ 聴覚情報制御
Ｓ１０４ 聴覚情報出力
Ｓ１０５ 聴覚情報評価
Ｓ１０６ データ書出
【図1】
【図2】
【図3】
【図4】