特許 7203775 コミュニケーションサポートシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-04

(45)【発行日】2023-01-13

(54)【発明の名称】コミュニケーションサポートシステム

(51)【国際特許分類】

   H04R 25/00 20060101AFI20230105BHJP

   H04R 3/00 20060101ALI20230105BHJP

   H04R 1/40 20060101ALI20230105BHJP

   H04R 1/00 20060101ALI20230105BHJP

   H04R 25/02 20060101ALI20230105BHJP

   G10L 15/00 20130101ALI20230105BHJP

   G10L 15/26 20060101ALI20230105BHJP

   G06F 3/16 20060101ALI20230105BHJP

【ＦＩ】

H04R25/00 Z

H04R3/00 320

H04R1/40 320A

H04R1/00 328Z

H04R25/02 A

G10L15/00 200B

G10L15/26

G06F3/16 650

G06F3/16 620

【請求項の数】 6

(21)【出願番号】P 2020001124

(22)【出願日】2020-01-08

(65)【公開番号】P2020113982

(43)【公開日】2020-07-27

【審査請求日】2021-08-17

(31)【優先権主張番号】108200532

(32)【優先日】2019-01-11

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】514135155

【氏名又は名称】チェン シアオ ハン

【氏名又は名称原語表記】Ｈｓｉａｏ－Ｈａｎ ＣＨＥＮ

【住所又は居所原語表記】Ｎｏ．２１， Ｌｎ． ２４， Ｊｈｏｎｇｙｉ ３ｒｄ Ｓｔ．， Ｒｅｎｄｅ Ｄｉｓｔ．， Ｔａｉｎａｎ Ｃｉｔｙ， Ｔａｉｗａｎ Ｐｏｓｔａｌ ｃｏｄｅ ７１７５３

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】チェン シアオ ハン

【審査官】大石 剛

(56)【参考文献】

【文献】特表２０１７－５２１９０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ ２５／００

Ｈ０４Ｒ ３／００

Ｈ０４Ｒ １／４０

Ｈ０４Ｒ １／００

Ｈ０４Ｒ ２５／０２

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／２６

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

それぞれ独立して周囲の音を収集してデジタルサウンドデータに変換する複数のマイクロフォンユニット及び該複数のマイクロフォンユニットを制御し、且つ、該複数のマイクロフォンユニットからそれぞれ受信した各前記デジタルサウンドデータを変換して分析用サウンドデータとして作成して出力する集音制御手段を有する集音装置と、
前記集音装置に信号的に接続して前記集音装置により出力される前記分析用サウンドデータを分析し、人間の話し声を検出すると、文字列に変換して出力する音声認識手段及び前記音声認識手段から出力される前記文字列を表示するディスプレイ手段を有する表示装置と、を備えており、
前記集音制御手段は、人間の話し声を検出する音声検知モジュールと、全方位集音モード及び指向性集音モードを実行できる集音制御モジュールと、を有するように構成されており、
前記集音制御モジュールは前記全方位集音モードにおいて、１つの前記マイクロフォンユニットを起動して集音を行い、前記音声検知モジュールにより人間の話し声が検出されると、前記集音制御モジュールは前記指向性集音モードに切り替わって２つの前記マイクロフォンユニットを起動して集音を行うと共に、起動中の全ての前記マイクロフォンユニットからそれぞれ受信した各前記デジタルサウンドデータを変換して分析用サウンドデータとして作成して出力するように構成されていることを特徴とするコミュニケーションサポートシステム。

【請求項2】

前記集音制御手段の前記集音制御モジュールは、異なる方向にそれぞれ対応する複数の前記指向性集音モードを実行できるように構成されており、
前記集音制御モジュールは、前記音声検知モジュールの検知結果に基づいて、最良の信号対雑音比率が得られるよう、各前記指向性集音モードの間に切り替わりながら作動するように構成されていることを特徴とする請求項１に記載のコミュニケーションサポートシステム。

【請求項3】

装着者の前方の視野を撮影してデジタルイメージデータに変換するイメージキャプチャーを更に備え、
前記集音制御手段の前記集音制御モジュールは、更に方向指定集音モードを実行できるように構成されており、
前記表示装置は、リモートコントローラーとタッチパネルユニットとを有しており、
前記リモートコントローラーを操作することにより前記方向指定集音モードが起動されると、前記集音装置の制御により前記イメージキャプチャーからの画像がリアルタイムで前記タッチパネルユニットに表示されるように転送され、装着者が前記タッチパネルユニットに表示される画像にあるいずれかの１箇所をタッチすると、前記集音制御手段は、該１箇所に対応する方角に向けて集音するように起動する前記マイクロフォンユニットの数量を制御すると共に、集音した前記デジタルサウンドデータに対してビームフォーミングによるフィルタリング処理を実行して前記分析用サウンドデータを作成することを特徴とする請求項１または請求項２に記載のコミュニケーションサポートシステム。

【請求項4】

装着者が装着可能な装身具を更に備え、前記イメージキャプチャー及び前記複数のマイクロフォンユニットは該装身具に取り付けられていることを特徴とする請求項３に記載のコミュニケーションサポートシステム。

【請求項5】

前記装身具は眼鏡であり、前記ディスプレイ手段は、前記眼鏡のレンズに画像を投写表示するプロジェクターを有し、前記眼鏡のレンズに前記音声認識手段から出力される前記文字列を表示できることを特徴とする請求項４に記載のコミュニケーションサポートシステム。

【請求項6】

前記装身具は眼鏡であり、前記ディスプレイ手段は、前記眼鏡のレンズに設置される透明液晶パネルを有し、前記眼鏡のレンズに前記音声認識手段から出力される前記文字列を表示できることを特徴とする請求項４に記載のコミュニケーションサポートシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はコミュニケーションサポートシステムに関し、特に高度難聴者のためのコミュニケーションサポートシステムに関する。

【背景技術】

【0002】

聴覚神経に重大な異常がある高度難聴者は、たとえ、一般の補聴器を装用しても聞き取りが極度に困難である。

【0003】

従来の補聴器は、例えば特許文献１に記載されるものが挙げられ、装用者が聞き取れない周波数の音波を可聴周波数に変調して聴覚のサポートを提供するが、高度難聴者が変調処理された音声信号を不快に感じることもあり、聞き慣れるまで時間を要する。

【0004】

また、他の聴覚を補助する器具には人工内耳があり、人工内耳は音声信号を増幅させる方法ではなく、音声信号を分析し電気信号に変換して、正常な内耳の蝸牛の聴覚神経に刺激をあたえ、高度難聴者に音声を感知させる。しかし、人工内耳によって得られた音声は本来の音声とまったく違うため、基本言語能力がある大人に適応するのは難しい。

【0005】

つまり、基本言語能力がある高度難聴者に関しては、上述した聴覚を補助する器具のどちらかを装用しても、長い時間を掛けて適応する必要があり、他の人と会話する上でも不便な点が多々発生する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１８－９８７９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、本発明の目的は、上記従来技術の欠点を改善できるコミュニケーションサポートシステムを提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成すべく、本発明のコミュニケーションサポートシステムは、それぞれ独立して周囲の音を収集してデジタルサウンドデータに変換する複数のマイクロフォンユニット及び該複数のマイクロフォンユニットを制御し、且つ、該複数のマイクロフォンユニットからそれぞれ受信した各前記デジタルサウンドデータを変換して分析用サウンドデータとして作成して出力する集音制御手段を有する集音装置と、前記集音装置に信号的に接続して前記集音装置により出力される前記分析用サウンドデータを分析し、人間の話し声を検出すると、文字列に変換して出力する音声認識手段及び前記音声認識手段から出力される前記文字列を表示するディスプレイ手段を有する表示装置と、を備える。

【発明の効果】

【0009】

上記構成により、本発明のコミュニケーションサポートシステムは、集音装置と表示装置の構成によって、話し相手の話の内容を文字列に変換し表示でき、高度難聴者が補聴器や人工内耳を装用しなくても、話し相手の話の内容を視覚により認識することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施例に係るコミュニケーションサポートシステムの構造を模式的に示す斜視図である。

【図2】当該実施例の構成が示されるブロック図である。

【図3】当該実施例の表示装置が装着者の視野を表示し、装着者が１箇所を選んでいる際の模式図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本発明の補聴器システムについて詳しく説明する。

【0012】

図１は本発明の一実施例に係るコミュニケーションサポートシステム２００の構造を模式的に示す斜視図であり、図２は該実施例の構成が示されるブロック図である。

【0013】

図示されているように、コミュニケーションサポートシステム２００は、装着者９００が装着可能な装身具３と、装身具３に設置されたイメージキャプチャー５と、装身具３に設置され、且つ、イメージキャプチャー５と信号的に接続されている集音装置４と、集音装置４と信号的に接続されていて、且つ、装着者９００が所持する表示装置６と、を備えている。

【0014】

本実施例の装身具３は、眼鏡タイプに構成され、装着者９００の頭部に装着することができる。装身具３は、一対のレンズ３３を保持しているフロントサポーター３１と、装着者の耳に掛けるためにフロントサポーター３１の左右両端にそれぞれ連結されているサイドサポーター３２と、を有している。

【0015】

表示装置６は、所持して使うモバイル端末やタブレットコンピューターとして設計可能で、且つ、有線通信技術や無線通信技術によって、集音装置４と信号的に接続される。本実施例では、表示装置６と集音装置４は、無線通信で接続されることを例として説明する。更に、本発明の他の実施形態では、表示装置６を、例えば、体に身に付けるリストバンド，腕時計，ネックレス状に変えることもできる。

【0016】

イメージキャプチャー５は、フロントサポーター３１の真ん中、即ち本実施例では一対のレンズ３３の間に設置されており、装着者９００の前方の視野を撮影してデジタルイメージデータに変換することができる。

【0017】

イメージキャプチャー５と信号的に接続されている集音装置４は、それぞれ独立して周囲の音を収集してデジタルサウンドデータに変換する複数のマイクロフォンユニット４１、及び、複数のマイクロフォンユニット４１を制御し、且つ、複数のマイクロフォンユニット４１からそれぞれ受信した各前記デジタルサウンドデータを変換して分析用サウンドデータとして作成して出力する集音制御手段４２を有する。集音制御手段４２はサイドサポーター３２に配置され、複数のマイクロフォンユニット５１はフロントサポーター３１とサイドサポーター３２に取り付けられている。

【0018】

集音制御手段４２は、人間の話し声を検出する音声検知モジュール４２２と、集音制御モジュール４２１と、を有するように構成されている。集音制御モジュール４２１は、全方位集音モードと、異なる方向に対応するためのそれぞれ異なる指向係数（DI、directivity index）の複数の指向性集音モードと、方向指定集音モードと、を実行できるように構成されている。

【0019】

集音制御モジュール４２１は、全方位集音モードで起動されている際、１つのマイクロフォンユニット４１を起動及び制御して集音を行い、音声検知モジュール４２２により人間の話し声が検出されると、集音制御モジュール４２１は指向性集音モードに切り替わって２つのマイクロフォンユニット４１を起動して集音を行うと共に、起動中の全てのマイクロフォンユニット４１からそれぞれ受信した各デジタルサウンドデータを分析用サウンドデータとして作成して出力する。

【0020】

また、集音制御モジュール４２１が方向指定集音モードに切り替えられ、下述するように表示装置６のタッチパネルユニットに表示されたイメージキャプチャー５から転送されたリアルタイムの画像のある１箇所がタッチされて発生した信号を受け取ると、タッチされた画像の中の方角にあわせ特定の位置と数のマイクロフォンユニット４１を起動し、互いに連携させマイクロフォンのアレイによる集音をし、集音したデジタルサウンドデータに対してビームフォーミングによるフィルタリング処理を実行して、分析用サウンドデータとして作成して出力する。

【0021】

本実施例では、集音制御モジュール４２１は全方位集音により得られた音声信号に対して、主にアナログ／デジタル変換やノイズリダクションなどによって、信号対雑音比率がよいサウンドデータを得ることができる。そして、指向性集音モードと方向指定集音モードにおいては、主に音声信号から話し声を抽出するのに必要なサウンド処理技術、例えば、アナログ／デジタル変換、ノイズリダクション、音声信号増幅処理などによって、信号対雑音比率がよいサウンドデータを得ることができる。

【0022】

音声検知モジュール４２２は、集音制御モジュール４２１が全方位集音モードで作動している際、得られたサウンドデータに人間の話し声が存在するかどうか分析し、話し声が検出されると、集音制御モジュール４２１を、音声検知モジュール４２２の検知結果に基づいて、最良の信号対雑音比率が得られるよう、各指向性集音モードの間に切替ながら、ノイズ源方向の感度を最小化し、作動するように構成されている。

【0023】

図２と図３に示されているように、表示装置６は、ディスプレイ手段６１と、リモートコントローラー６２と、タッチパネルユニット（本実施例ではディスプレイ手段６１に含まれる）と、音声認識手段６３と、を有する。

【0024】

リモートコントローラー６２を操作することにより方向指定集音モードが起動されると、集音装置４の制御によりイメージキャプチャー５からの画像がリアルタイムでタッチパネルユニットに表示されるように転送され、装着者９００はタッチパネルユニットに表示されている画像の中から、聞き取りたい話の内容を話している話し手９０１の位置に対応する箇所をタッチすると、集音制御手段４２は、該１箇所に対応する方角に向けて集音するように起動するマイクロフォンユニットの数量を制御すると共に、集音したデジタルサウンドデータに対してビームフォーミングによるフィルタリング処理を実行して分析用サウンドデータを作成する。

【0025】

音声認識手段６３は、集音装置４に信号的に接続して集音装置４により出力される分析用サウンドデータを分析し、人間の話し声を検出すると、文字列に変換してディスプレイ手段６１に出力し、ディスプレイ手段６１は音声認識手段６３から出力される前記文字列を表示する。これによって、装着者９００は、話し相手の話の内容を視覚により認識することができる。

【0026】

本発明のコミュニケーションサポートシステム２００を使用する際、装着者９００は装身具３を頭部に装着し、表示装置６を所持する。集音装置４は、まず先に全方位集音モードを起動し、１つのマイクロフォンユニット４１を起動及び制御して集音を行い、かつ、得られたサウンドデータの中から人間の話し声が検出されると、最良の信号対雑音比率が得られるよう、各指向性集音モードの間に切り替えながら集音をする。同時に、表示装置６は集音装置４により出力される分析用サウンドデータを分析し、人間の話し声を文字列に変換して表示することによって、装着者９００は周りの話し手の話の内容を直接見ることにより知ることができる。

【0027】

更に、装着者９００が特定の位置にいる話し手９０１の話の内容を聞き取りたい場合、表示装置６のリモートコントローラー６２を操作し、方向指定集音モードを起動して、タッチパネルユニットに表示されているイメージキャプチャー５からの画像の中から、話し手９０１に対応する位置をタッチし、タッチ位置に対応する信号によって、集音制御手段４２は、該位置に対応する方角にあわせ特定の位置と数のマイクロフォンユニット４１を起動及び制御し、互いに連携させマイクロフォンのアレイによる集音を行なうと共に、集音したデジタルサウンドデータに対してビームフォーミングによるフィルタリング処理を実行して分析用サウンドデータを作成する。そして、表示装置６は、分析用サウンドデータを分析し、人の話し声を文字列に変換して表示することによって、装着者９００は話し手９０１の話の内容を視覚により知ることができる。

【0028】

本実施例では、表示装置６は、装着者９００が所持して使用する。しかし、本発明の別の実施形態では、表示装置６のディスプレイ手段６１を装身具３のレンズ３３に画像を投写表示するプロジェクターに変え、装身具３のレンズ３３に音声認識手段６３から出力される文字列を表示できる。また、イメージキャプチャー５からの画像をプロジェクターの投写表示によって、レンズ３３に表示し、装着者９００が視線入力または他の入力手段によって、イメージキャプチャー５からの画像の１箇所を選ぶことができる。

【0029】

また、本発明のさらに別の実施形態では、表示装置６のディスプレイ手段６１を装身具３のレンズ３３に設置する透明液晶パネルに変え、装身具３のレンズに音声認識手段６３から出力される文字列を表示できる。また、イメージキャプチャー５からの画像を透明液晶パネルによって、レンズ３３に表示し、同様に、装着者９００が視線入力または他の入力手段によって、イメージキャプチャー５からの画像の１箇所を選ぶことができる。

【0030】

以上により、本発明のコミュニケーションサポートシステムは、集音装置４と表示装置６の構成により、話し手の話の内容を文字列に変換して表示することによって、装着者９００は、補聴器や人工内耳を装用しなくても、話し相手の話の内容を視覚により知ることができる。さらに、イメージキャプチャー５からの画像がリアルタイムで転送され、表示装置６に表示される画像にあるいずれかの１箇所をタッチすると、集音装置４は対応する方角の集音を行うことにより、装着者９００は自ら聞き取りたい話し手を選ぶことができ、装着者９００が他の人とコミュニケーションする際の利便性が大幅に向上する。

【0031】

以上、本発明の好ましい実施形態を説明したが、本発明はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。

【産業上の利用可能性】

【0032】

上記構成により、本発明のコミュニケーションサポートシステムは、話し相手の話の内容を文字列に変換して表示することができるため、補聴器を装用しても聞き取りが困難な高度難聴者には特に適用するコミュニケーションサポートシステムを提供することができる。

【符号の説明】

【0033】

２００ コミュニケーションサポートシステム
３ 装身具
３１ フロントサポーター
３２ サイドサポーター
３３ レンズ
４ 集音装置
４１ マイクロフォンユニット
４２ 集音制御手段
４２１ 集音制御モジュール
４２２ 音声検知モジュール
５ イメージキャプチャー
６ 表示装置
６１ ディスプレイ手段
６２ リモートコントローラ
６３ 音声認識手段
９００ 装着者
９０１ 話し手

【図1】

【図2】

【図3】