特表 2023-514462 眼鏡フレーム内に一体化可能な補聴システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-05

(54)【発明の名称】眼鏡フレーム内に一体化可能な補聴システム

(51)【国際特許分類】

   H04R 25/02 20060101AFI20230329BHJP

   H04R 25/00 20060101ALI20230329BHJP

   H04R 3/00 20060101ALI20230329BHJP

   H04R 1/40 20060101ALI20230329BHJP

【ＦＩ】

H04R25/02 A

H04R25/00 M

H04R3/00 320

H04R1/40 320Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022574849

(86)(22)【出願日】2021-02-16

(85)【翻訳文提出日】2022-10-12

(86)【国際出願番号】 EP2021053731

(87)【国際公開番号】W WO2021165238

(87)【国際公開日】2021-08-26

(31)【優先権主張番号】20200205

(32)【優先日】2020-02-17

(33)【優先権主張国・地域又は機関】NO

(31)【優先権主張番号】20200878

(32)【優先日】2020-08-05

(33)【優先権主張国・地域又は機関】NO

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｌｉｎｕｘ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】522327212

【氏名又は名称】ティーケーアンドエイチ ホールディング エーエス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】オスタッド，トム

(72)【発明者】

【氏名】ズワルト，ハンズ

【テーマコード（参考）】

5D220

【Ｆターム（参考）】

5D220BA06

(57)【要約】

本開示は、適応されたイヤホンと無線通信する少なくとも２つのマイクロホンを含む眼鏡フレームシステムに関する。補聴システムは、顔輪郭検出プロセスと通信するビデオカメラを有して構成され、顔輪郭検出プロセスは、音声処理システムと共に、それぞれのマイクロホンのビーム形成を行い、それにより識別された顔輪郭の方向からの音声の受信を改善する。

【特許請求の範囲】

【請求項1】

眼鏡フレーム内に一体化可能な補聴システムであって、前記眼鏡フレームの前側表面上の少なくとも１つのマイクロホンアレイ、測距センサ、ジャイロセンサを含み、構成されたシステムオンチップ（ＳｏＣ）によって制御されるデジタル信号プロセッサ（ＤＳＰ）は、それぞれのセンサ出力信号に依存する少なくともビーム形成ローブを提供し、
音源へのビーム形成ローブ方向は、前記構成されたマイクロホンアレイに対して定義され、
ビーム形成ローブ幅は、前記音源までの距離に基づいて定義され、
前記ビームローブの前記定義された方向において前記ジャイロセンサによって検出される相対的角度変化は、前記検出された角度変化に従って前記ビーム形成幅を修正する、前記ＤＳＰ内のパラメータの変化をアップロードするために、前記ＳｏＣシステムをトリガするか、又は
前記測距センサによって検出される、前記音源までの前記測定された距離の相対変化は、音源までの前記距離が変化するときの前記音源のサイズの遠近による増加又は減少に従って前記ビーム形成幅を修正するパラメータの変化をアップロードするために、前記ＳｏＣシステムをトリガする、補聴システム。

【請求項2】

ビーム形成ローブ方向は、ユーザにより、前記ユーザにとって関心のある音源の方向を見るときに設定される、請求項１に記載のシステム。

【請求項3】

定義されたビーム形成ローブのビーム幅を、眼鏡フレーム配向のジャイロセンサで検出された第１の変化に関係する方向に前記ビーム形成ローブのそれぞれの側曲線の１つを移動させることによって修正する、請求項１に記載のシステム。

【請求項4】

前記眼鏡フレーム配向の第２の変化が前記第１の検出された変化の反対であると検出される場合、前記ビーム幅を、前記眼鏡フレーム配向の前記第１の変化が検出される前に元々設定された前記ビーム形成ローブ幅に修正して戻す、請求項３に記載のシステム。

【請求項5】

それぞれの検出された相対的距離変化は、前記眼鏡フレームが面している音源の輪郭サイズの遠近による増加又は減少と相関する、請求項１に記載のシステム。

【請求項6】

少なくとも１つのマイクロホンの増幅率を調整し、前記増幅率の上方向又は下方向の調整は、音源までの測定された距離の増加又は減少に比例する、請求項１に記載のシステム。

【請求項7】

前記音源が、会話している人間、モータ、列車又は別のタイプの音源である場合、確率係数を計算するために、ビーム形成が向く音源からの可聴音を使用するための構成された補聴システムである、請求項１に記載のシステム。

【請求項8】

前記眼鏡フレームは、前記眼鏡フレームの前部内に埋め込まれたビデオカメラを含む、請求項１に記載のシステム。

【請求項9】

前記ビデオカメラと通信する構成された埋め込み型ビデオプロセッサは、前記ビデオプロセッサが検出した音源輪郭であって、前記眼鏡フレームの前記前部に面している音源輪郭の垂直及び水平方向高さを測定し、前記音源の前記垂直又は水平方向高さは、ビーム形成ローブ幅を定義するときに使用される、請求項８に記載のシステム。

【請求項10】

前記構成された埋め込み型ビデオプロセッサは、輪郭像が、人間の眼であると識別される少なくとも２つの物体を含む場合にのみ、視界内に位置する人間の顔の輪郭を検出する、請求項９に記載のシステム。

【請求項11】

前記ビデオプロセッサは、前記カメラの視界内に位置する人間の顔の数を識別するように構成され、前記ＳｏＣシステムは、識別される前記数の人間の顔をカバーするビーム形成ローブを構成する、請求項９に記載のシステム。

【請求項12】

２つの人間の眼が前記人間の顔の前記検出された輪郭の内部に識別され、及び前記検出された人間の顔までの測定された距離が規定の距離未満である場合にのみ、ビーム形成を行う、請求項１０に記載のシステム。

【請求項13】

複数のマイクロホンは、デジタル全指向性マイクロホンであり、及び
－ 前記複数のデジタル全指向性マイクロホンの第１の組は、前記眼鏡フレームの前部上の線形マイクロホンアレイとして配置され、及び／又は
－ 前記複数のデジタル全指向性マイクロホンの第２の組は、前記眼鏡フレームの右側眼鏡アーム上の線形マイクロホンアレイとして配置され、及び／又は
－ 前記複数のデジタル全指向性マイクロホンの第３の組は、前記眼鏡フレームの左側眼鏡アーム上の線形マイクロホンアレイとして配置され、
－ 前記補聴システムは、全指向性マイクロホンの第１の組、及び／又は前記全指向性マイクロホンの第２の組、及び／又は前記全指向性マイクロホンの第３の組又は前記全指向性マイクロホンの第１、第２及び第３の組からの全指向性マイクロホンの任意の他の組み合わせによって形成されるそれぞれのマイクロホンアレイに基づいてビーム形成を提供するように構成される、請求項１に記載のシステム。

【請求項14】

前記マイクロホンの第１の組、前記マイクロホンの第２の組及び前記マイクロホンの第３の組からのそれぞれのマイクロホンアレイに基づくビーム形成は、互いに独立して定義される、請求項１３に記載のシステム。

【請求項15】

前記マイクロホンの組の少なくとも２つからの少なくともいくつかのマイクロホンは、１つのマイクロホンアレイを形成するために使用される、請求項１４に記載のシステム。

【請求項16】

前記全指向性マイクロホンの第１、第２及び第３の組は、ブロードサイドアレイとして配置される、請求項１３に記載のシステム。

【請求項17】

前記全指向性マイクロホンの第１の組からの全指向性マイクロホンは、前記全指向性マイクロホンの第２の組及び／又は前記全指向性マイクロホンの第３の組からの選択された数の全指向性マイクロホンと組み合わされ、及び前記マイクロホンは、エンドファイアアレイとして構成される、請求項１３に記載のシステム。

【請求項18】

前記眼鏡フレームの少なくとも１つのアームは、ジェスチャ検出センサを含む、請求項１に記載のシステム。

【請求項19】

予め計算されたビーム形成ローブの組は、前記ＳｏＣシステム内に格納され、及び前記予め計算されたビーム形成ローブのそれぞれの１つを定義するパラメータ設定は、前記構成されたＳＯＣシステムの制御下で前記ＤＳＰにダウンロードされる、請求項１に記載のシステム。

【請求項20】

前記構成された埋め込み型ビデオプロセッサは、それぞれの人のダウンロードされたピクチャに基づいて異なる人の組の顔認識を提供し、前記システムは、それぞれの認識された人の名前を含む音声メッセージを無線イヤホンに送信するように構成される、請求項９に記載のシステム。

【請求項21】

前記眼鏡フレームの装着者に情報及び／又は指示を提供する予め記録された音声メッセージを挿入可能イヤホンに送信するように構成される、請求項１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本発明は、補聴システムを含む眼鏡フレームであって、少なくとも一体化されたマイクロホンと、マイクロホンビーム形成を提供するデジタル信号プロセッサとを含み、補聴システムは、人間の耳内に挿入可能なイヤホンと無線通信する、眼鏡フレームに関する。

【背景技術】

【0002】

背景
本発明は、補聴システムにとって有益な機能性及びデータを提供する異なるセンサを支持する支持フレームとしての役割を果たす眼鏡フレームに関する。現代の集積回路技術は、それぞれの回路の小サイズウェハ上に増加された複雑性及び機能性を提供し、いくつかのセンサと、本発明による眼鏡フレーム内の少なくとも１つのＳＯＣ（システムオンチップ）及び少なくとも１つのＤＳＰ（デジタル信号プロセッサ）を含む埋め込み型コンピュータシステムとの一体化を可能にする。多くのＳＯＣシステムは、LINUXオペレーティングシステムにより支援され、様々なタイプのセンサ及びＤＳＰ回路を支援するLINUXデバイスドライバが同様に利用可能である。

【0003】

本発明の一態様は、例えば、マイクロホンビーム形成のような様々な補聴機能を行う補聴システムのコンピュータ制御デバイスを構成するソフトウェアアプリケーションである。

【0004】

このようなビーム形成は、埋め込み型ＳＯＣシステム内で動作するプログラムの制御下で埋め込み型ＤＳＰにおいて行われ得、ビーム形成は、例えば、眼鏡フレームの前側に対して様々な方向となるように構成され得る。ビーム形成のこのような変更は、ビーム形成ローブの幅を変更することも含み得る。方向及び／又はビーム幅に関してビーム形成ローブを変更することは、例えば、ＳＯＣシステムの制御下において、眼鏡フレーム内に埋め込まれた例えばジャイロスコープデバイスからのセンサ出力に依存して自動的に発生するように構成され得る。ビーム形成ローブを変更することは、眼鏡フレームの内部にも埋め込まれた埋め込み型ジェスチャ検出システムによって検出可能なジェスチャを介して、本発明に従って眼鏡フレームのユーザによってもなされ得る。

【0005】

他のタイプのセンサ（例えば、いくつかの軸を有するジャイロセンサ、測距センサなど）が眼鏡フレーム内に埋め込まれ得、このようなセンサ出力は、例えば、マイクロホンビーム形成が行われるべきであるときに常にＳＯＣシステムが行うように構成され得る判断ループの一部であり得る。

【0006】

従来技術では、補聴システムの様々な解決策のいくつかの例が存在する。例えば、日本特許第６５１４５９９Ｂ２号は、眼鏡フレームの前側に位置する指向性マイクロホンを支持する眼鏡フレームを開示している。全指向性マイクロホンがそれぞれの左及び右側眼鏡アーム上に設けられる。ラウドスピーカも左及び右側眼鏡アーム上に設けられる。

【0007】

加えて、左側眼鏡アーム上に接触感知センサが存在する。接触センサが接触されると、指向性マイクロホンは、活性化され、音声信号がラウドスピーカに送信される。

【0008】

中国特許第２５５９８４４Ｃ号は、音波通信を提供するシステム及び方法を開示している。この特許文献の教示によると、眼鏡フレーム（１０）は、ユーザ（２１）の音声信号を検出するための少なくとも１つの指向性マイクロホン（１３、１５、１６）と、少なくとも１つのマイクロホン（１３、１５、１６）の方向依存性がユーザに従って適応され得るように信号を電子デバイス（３０）に送信するための通信手段（１２）とを含む。指向性マイクロホンは、特にマイクロホンアレイとして及び／又はＭＥＭＳ技術に従って具現化され得る。

【0009】

米国特許第６６９０８０７Ｂ１号は、眼鏡フレーム（２）のアームの両端上に搭載された聴覚モジュール（３）を含む聴取支援デバイス（１）を開示しており、前記モジュールは、ユーザの耳上の眼鏡フレームを支持するように設計される。聴覚モジュールは、外耳道を閉鎖することなく外耳道内に延伸すると共に、聴覚モジュールの音声出口穴（６）を含む成形部品（５）も有する。聴覚モジュールは、発話了解度を改善するために発話スペクトル周波数応答及び線形動力学を含む。これは、軽度聴力損失を補償する聴取支援デバイスであって、容易に及び経済的に製造され得、使用するのがより快適であり、一見して観察者により補聴器と見なされない聴取支援デバイスを提供することを可能にする。

【0010】

欧州特許第３４９６４１７号は、ナビゲーションシステムのために適応された聴覚システム及びナビゲーションを行う方法を開示している。測距センサ、磁界センサなどの複数の様々なセンサを有する眼鏡フレームは、ユーザの周囲の現在の環境を表すデータを時間と共に生成するために、ナビゲーションシステムにより使用される。このシステムは、１つ又は複数の音源に対してシステムのユーザを定位するようにさらに構成される。例えば、定位された無線場及び磁気擾乱のマップは、ナビゲーションシステと通信するモバイルフォン内に視覚化されたマップの形式で提供され得る。マイクロホンのビーム形成は、マップ内で定位され、選択された音源に向かって可能である。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的
特に、音源、例えば人々の群の方向、及び音源に向かう距離、及び音源の幅に依存してビーム形成を提供する音声処理能力を有する眼鏡フレームを含む補聴システムを提供することが本発明の目的と見なされ得る。

【0012】

本発明のさらなる目的は、従来技術に対する代替物を提供することである。

【課題を解決するための手段】

【0013】

概要
したがって、上述の目的及びいくつかの他の目的は、眼鏡フレーム内に一体化可能な補聴システムであって、眼鏡フレームの前側表面上の少なくとも１つのマイクロホンアレイ、測距センサ、ジャイロセンサを含む補聴システムを提供することにより、本発明の第１の態様において取得されるように意図され、構成されたシステムオンチップ（ＳｏＣ）によって制御されるデジタル信号プロセッサ（ＤＳＰ）は、それぞれのセンサ出力信号に依存する少なくともビーム形成ローブを提供し、
－ 音源へのビーム形成ローブ方向は、構成されたマイクロホンアレイに対して定義され、
－ ビーム形成ローブ幅は、音源までの距離に基づいて定義され、
－ ビームローブの定義された方向においてジャイロセンサによって検出される相対的角度変化は、検出された角度変化に従ってビーム形成幅を修正する、ＤＳＰ内のパラメータの変化をアップロードするために、ＳｏＣシステムをトリガするか、又は
－ 測距センサによって検出される、音源までの測定された距離の相対変化は、音源までの距離が変化するときの音源のサイズの遠近による増加又は減少に従ってビーム形成幅を修正するパラメータの変化をアップロードするために、ＳｏＣシステムをトリガする。

【0014】

図
ここで、本発明による補聴システムを、添付図面を参照してより詳細に説明する。添付図面は、本発明の実施形態のいくつかの例を示すが、添付の特許請求の範囲に入る他の可能な実施形態を限定すると解釈されてはならない。さらに、実施形態のそれぞれの例は、それぞれ実施形態の他の例の任意のものと組み合わされ得る。

【図面の簡単な説明】

【0015】

【図1】本発明による補聴システムの例を示す。

【図2】本発明の実施形態の一例の正面図を示す。

【図3】図２に示す実施形態の一例のさらなる詳細を示す。

【図4】本発明によるマイクロホンビーム形成の一例を示す。

【図5】本発明によるマイクロホンビーム形成アルゴリズムの一例を示す。

【図6】本発明によるユーザインターフェースの一例を示す。

【図7】本発明によるユーザインターフェースの別の例を示す。

【図8】本発明によるマイクロホンビーム形成の一例を示す。

【図9】本発明によるマイクロホンビーム形成の一例のさらなる詳細を示す。

【図10】本発明によるマイクロホンビーム形成の別の例を示す。

【図11】映像フレームの一例を示す。

【図12】本発明による顔検出の一例を示す。

【図13】本発明による顔検出のさらなる詳細を示す。

【図14】ビデオカメラ記録に対する様々な人間の頭位置を示す。

【図15】本発明によるハードウェア構成の一例を示す。

【発明を実施するための形態】

【0016】

詳細な説明
本発明は、規定された実施形態に関連して説明されているが、決して本例に限定されると解釈されるべきでない。本発明の範囲は、添付の特許請求の範囲により設定される。特許請求の範囲に関連して、用語「含んでいる」又は「含む」は、他の可能な要素又は工程を排除しない。また、「１つの（a）」又は「１つの（an）」などの参照子の言及は、複数のものを排除すると解釈されるべきでない。添付図面において指示される要素に関する、特許請求の範囲における参照符号の使用も本発明の範囲を限定すると解釈されないものとする。さらに、異なる請求項において言及される個々の特徴は、場合により有利に組み合わされ得、異なる請求項におけるこれらの特徴の言及は、特徴の組み合わせが可能ではなく、有利ではないことを排除しない。

【0017】

本発明による眼鏡フレームは、部分的聴力損失を有するが、眼に関する追加的な問題を必ずしも有しない人により使用され得る。このような場合、眼鏡フレームは、例えば、眼鏡フレーム内に埋め込まれるマイクロホンのビーム形成を単純化し得る単に支持構造である。本発明の一態様によると、挿入可能イヤホンは、眼鏡フレームと無線通信し得る。

【0018】

音響信号のビーム形成は、１つ又は複数の方向からの音響信号を強化する一方、他方向からの音響雑音及び音響干渉を抑制するための信号処理技術である。したがって、ビーム形成は、知られている。アレイ構造（例えば、線形アレイ）で配置された全指向性マイクロホン又は方向性マイクロホンを使用することは、一般的である。様々なマイクロホンアレイ構成並びに全指向性マイクロホン及び方向性マイクロホン又は両方のタイプのマイクロホンの組み合わせを使用することは、本発明の範囲内である。

【0019】

このようなビーム形成は、埋め込み型ＳＯＣシステム内で動作するプログラムの制御下で埋め込み型ＤＳＰによりに行われる。

【0020】

他のタイプのセンサ（例えば、ジャイロセンサ、測距センサなど）が眼鏡フレーム内に埋め込まれ得、このようなセンサ出力は、例えば、マイクロホンビーム形成が行われるべきであるときに常にＳＯＣシステムが行うように構成され得る判断ループの一部であり得る。

【0021】

部分的聴力損失を有する人が加えて視力問題を有する場合、本発明による眼鏡フレームは、眼鏡フレームの装着者の視覚を強化するように構成され得る埋め込み型ビデオカメラを含み得る。埋め込み型ビデオシステム及びマイクロホンは、街路上のごみ箱、接近する車、さえずる鳥などの一般的な物体の輪郭を検出するように構成され得、ＳＯＣシステムは、それぞれの物体を指示する可聴音声メッセージを眼鏡フレームの装着者の外耳道内の挿入可能イヤホンを介して眼鏡フレームの装着者に伝えるように構成され得る。様々な物体を認識するこの可能性は、例えば、鳥の鳴き声及び鳥に対する方向から鳥を識別するためのいくつかのビーム形成シナリオでも利用され得る。この場合、ビーム形成は、例えば、眼鏡フレームが、例えば、鳥の方向に向かって調整される際に識別されるジャイロセンサ読み出し値に基づいて、又は方向を識別するためにマイクロホンアレイを使用することにより、その方向においてなされ得る。

【0022】

本発明の実施形態の一例では、眼鏡フレームは、例えば、WIFI通信を介してスマートフォンとの通信を提供するように構成される。本発明による眼鏡フレームの強化された機能性を提供し得るアプリケーションプログラムのいくつかの例が存在する。例えば、鳥の記録された鳴き声に基づいて鳥の名前を識別し得る、「WHATBIRD」と呼ばれるアプリが存在する。さらなる情報は、www.whatbird.noにある。これは、視力問題に対する解決策が潜在的聴力問題に対する解決策を提供する（逆も同様である）状況の一例である。

【0023】

本発明は、眼鏡フレーム内の選択された数の埋め込み型マイクロホンから音声信号を受信する少なくとも１つの埋め込み型デジタル信号プロセッサ（ＤＳＰ）を有する眼鏡フレームを含む補聴システムを提供し、ＤＳＰは、マイクロホンビーム形成のような様々な音声信号処理工程と、埋め込み型マイクロホンのマイクロホン増幅率などを調整することのような一般的制御とを提供するように構成される。眼鏡フレームは、ＤＳＰから眼鏡フレームの装着者の耳道内に挿入可能な適応されたイヤホンに音声信号を無線で伝達するように構成される。

【0024】

マイクロホンビーム形成は、構成されたマイクロホンアレイに対する特定の位置（又は音源方向）からの音声信号を増幅する一方、他の方向又は隣接する音源からの音声信号は、ミュート、すなわち減衰される。この可能性は、本発明の実施形態の一例を使用することにより、装着者が、装着者にとって興味のない競合音源をフィルタリングすることを促進する。これは、部分的聴力損失を有する人が、例えば、競合音源が減衰された場合に他の人の発話をはるかに明瞭に聞くことを補助し得る。

【0025】

本発明の実施形態の一例では、眼鏡フレームは、眼鏡フレームの前側に位置するマイクロホンの第１の組、眼鏡フレームの２つのアームの第１のアーム上に位置するマイクロホンの第２の組及び眼鏡フレームの２つのアームの第２のアーム上に位置するマイクロホンの第３の組を含み得る。

【0026】

マイクロホンの各組は、マイクロホンビーム形成の理論から知られるブロードサイドアレイ若しくはマイクロホンの第１の組及び第２の組からの選択された数のマイクロホンとなるように構成され得るか、又はマイクロホンの第１の組及び第３の組からの選択された数のマイクロホンは、例えば、エンドファイアアレイとして配置され得る。

【0027】

しかし、ビーム形成は、部分的聴力損失を有する人がその一部であるシナリオのタイプにも依存する。上記のビーム形成の例は、例えば、会話が２人の間又は一１と一羽の鳥との間のものであるような状況を示す。別のタイプのシナリオは、部分的聴力損失を有する人が、例えば、少なくとも２人の他の人と共に会議に参加している場合のものであり得る。

【0028】

したがって、存在し得る問題は、例えば、２つ以上の音源をカバーするためにビーム形成ローブ幅をどのように増加させるかである（すなわち会議のこの例におけるように）。

【0029】

別のシナリオは、部分的聴力損失を有する人に何かを言おうとする他の人からの発話をマスクし得る多くの雑音のある街路を、部分的聴力損失を有する人が歩いていることであり得る。

【0030】

しかし、例えば、部分的聴力損失を有する人に接近する車から来る雑音をフィルタリングすることは、接近する車に関係する潜在的危険をフィルタリングがマスクし得るため、危険である可能性がある。したがって、存在し得る潜在的問題は、どのように音源を区別し、いくつかの他の音源を排除することなくビーム形成を特定の音源の方向に提供するかである。例えば、車、自転車、電動自転車などの接近する物体を検出し得る他のタイプのセンサが本発明の眼鏡フレームの内部に埋め込まれ得る。

【0031】

同様のシナリオは、郊外の村のような景観の中を歩く（山々又は森林内の散歩など）際に存在する。

【0032】

したがって、２つ以上の空間的ビーム形成ローブが様々なグループの埋め込み型マイクロホン間に配置されることが必要であり得る。加えて、音の潜在的源の検出が必要であり得る。

【0033】

別のシナリオは、列車に乗り、前に座っている人物に話しかける場合のものであり得る。本発明によるビーム形成は、正確であり得、これにより前の人との良好な可聴的接触を可能にする。このような鋭角的ビーム形成は、不利な面も有する。例えば、何らかの紙を見つける（手から落ちた切符などを探す）ために屈む必要がある場合、この行為は、いくらかの時間がかかり得る。この期間中、鋭角的ビーム形成は、床に下向きになり、可聴的接触が失われるか又は甚だしく緩和されることになる。

【0034】

したがって、マイクロホンビーム形成は、本発明による眼鏡フレームシステムを装着する頭の運動に依存し得る。埋め込み型ジャイロセンサがこのような運動を検出するために使用され得、本システムは、このような移動が検出される場合、前に座っている人及び床に腰を下ろした人の両方をカバーするようにマイクロホンビーム形成ローブを修正するように適応され得る。頭が上方に動くことが検出されると、元のビーム形成ローブは、再び活性化され得る。マイクロホンビーム形成は、本発明に従って眼鏡フレーム配向の変化を考慮すべきである。

【0035】

図１は、本発明による補聴システムの典型的な構成を示す。眼鏡フレーム１０は、眼鏡アームのカバーが除去されて示されている。眼鏡アームの内部には、ＤＳＰ回路、Bluetooth通信インターフェース、ＳＯＣチップ（システムオンチップ）のようなコントローラ等のプログラム可能エレクトロニクスが配置される。電池及び他の必要な論理／エレクトロニクスも、眼鏡アーム内及びまた場合により眼鏡を保持する眼鏡フレームの前部の内部に埋め込まれる。眼鏡フレームの内部に埋め込まれるＤＳＰ回路は、両方の眼鏡アーム（すなわち左及び右側眼鏡フレーム）の内部に埋め込まれ得、これにより２つのＤＳＰ回路が使用され得る。このような状況では、２つのＤＳＰ回路の１つは、通常、マスタデバイスとして構成され、他のＤＳＰ回路は、スレーブデバイス（すなわちマスタデバイスによって制御される）として構成される。マスタＤＳＰデバイスは、人の耳道内に挿入され得るイヤホン５５（又は耳内ヘッドホン）と無線で通信する。

【0036】

イヤホン５５が左耳の耳道内に挿入され、別のイヤホン５５が右耳内に挿入されると、左側眼鏡アーム内のＤＳＰは、右側眼鏡アーム内のＤＳＰが右耳内のイヤホン５５と通信している間に左耳道の内側のイヤホンと無線で通信し得る。この通信は、マスタＤＳＰデバイスの制御下にあるが、この構成は、異なる音が両耳に同時に送信されることを可能にする。この特徴は、ユーザの左側及び右側のそれぞれの音源を表すユーザの音環境を提供することになる。左側眼鏡アーム及び右側眼鏡フレーム上のマイクロホンアレイは、この目的のために使用され得る。

【0037】

部分的聴力損失を有する人が加えて視力問題を有する場合、本発明による眼鏡フレームは、眼鏡フレームの装着者の視覚を強化するように構成され得る埋め込み型ビデオカメラを含み得る。埋め込み型ビデオシステム及びマイクロホンは、街路上のごみ箱、接近する車、さえずる鳥などの一般的な物体の輪郭を検出するように構成され得、ＳＯＣシステムは、それぞれの対象物を指示する可聴音声メッセージを眼鏡フレームの装着者の外耳道内の挿入可能イヤホンを介して眼鏡フレームの装着者に伝えるように構成され得る。様々な物体を認識するこの可能性は、例えば、鳥の鳴き声から鳥を、及び例えば眼鏡フレームの前側に対する鳥の方向を識別するいくつかのビーム形成シナリオにおいて利用され得る。次に、ビーム形成は、例えば、ジャイロセンサ読み出し値に基づいてその方向において行われ得る。

【0038】

本発明の実施形態の一例では、眼鏡フレームは、例えば、WIFI通信を介してスマートフォンとの通信を提供するように構成される。本発明による眼鏡フレームの強化機能を提供し得るアプリケーションプログラムのいくつかの例がある。例えば、鳥の記録された鳴き声に基づいて鳥の名前を識別し得る、「WHATBIRD」と呼ばれるアプリがある。さらなる情報は、www.whatbird.noにある。これは、視覚問題に対する解決策が潜在的聴力問題に対する解決策を提供する状況の一例であり、逆も同様である。

【0039】

モバイルフォン５６は、上に論述したような補聴システムの一部でもあり得る。図１及び図６では、イコライザとしての役割を果たすモバイルフォン内のアプリケーションプログラムであって、ユーザ規定設定を眼鏡フレーム１０に伝達するアプリケーションプログラムが示されており、例えば、ＳＯＣ回路は、イヤホン５５に提出される音声信号に対する要求周波数変更を採用するようにＤＳＰ回路に指示するか、又はＤＳＰ回路を再プログラムする。

【0040】

図２を参照すると、眼鏡フレーム１０の前面１２が示されている。眼鏡前部１２の上部上には、眼鏡フレームの前部に対して前方向に向く４つのデジタル全指向性マイクロホン１３ａ、１３ｂ、１３ｃ、１３ｄが構成される。これらのマイクロホンは、ブロードサイドマイクロホンアレイとして配置され得る。加えて、鼻梁の真上に位置する眼鏡フレームの前部内に埋め込まれたビデオカメラ１５がある。眼鏡アームが接続される場所に隣接する眼鏡フレームの前部の各角部において、一方の角にマイクロ波トランスデューサ１１が、及び反対側に位置する角にマイクロ波マイクロホン１４がある。マイクロ波トランスデューサ１１により発射されたマイクロ波は、例えば、人間の顔により反射され、マイクロ波マイクロホン１４により受信され得る。マイクロ波の発射から検出までの経過時間を測定することにより、眼鏡フレームが面する例えば人間の顔までの距離が計算され得る。

【0041】

図２に示された例で使用されるデジタル全指向性マイクロホンは、例えば、どのようにＤＳＰ回路のマイクロホン入力が設計されたか、デジタルであるか又はアナログであるか等に依存して、他のタイプのマイクロホンにより置換され得る。さらに、全指向性マイクロホンは、方向性マイクロホンにより置換され得るか、又はマイクロホンは、全指向性マイクロホンと方向性マイクロホンとの混合物である。マイクロホンの選択は、ＤＳＰ回路にアップロードされるそれぞれのパラメータを計算するためにシステムが使用し得るビーム形成アルゴリズムであって、設計されたビーム形成ローブに従ってそれぞれのマイクロホン出力をＤＳＰが操作することを可能にするビーム形成アルゴリズムに影響を与える。本開示に示す例では、全指向性マイクロホンが使用される。

【0042】

図３は、眼鏡アーム１９の構成の一例を示す。図３の例では、マイクロホンブロードサイドアレイとして配置され得る６つの全指向性マイクロホン１３ｅ、１３ｆ、１３ｇ、１３ｈ、１３ｉ、１３ｊが配置される。加えて、接近する物体又は人までの距離又は眼鏡アームが面する側の眼鏡フレームの装着者のごく近傍にある物体又は人までの距離を測定するために使用され得るマイクロ波トランスデューサ１１ａ及びマイクロ波マイクロホン１４ａがある。６つのマイクロホン１３ｅ、１３ｆ、１３ｇ、１３ｈ、１３ｉ、１３ｊのマイクロホンビーム形成の一部であることに加えて、距離測定は、本発明による眼鏡フレームの内部に埋め込まれるソーシャルディスタンスブザーアプリケーションの一部でもあり得る。

【0043】

眼鏡フレームの前部及び眼鏡フレームのアーム上のそれぞれのマイクロホンは、ビーム形成アルゴリズムにおいて使用される際に様々な特性を有する様々なマイクロホンアレイ内に構成され得る。眼鏡フレーム周囲のマイクロホンの少なくともいくつかは、互いに独立した様々なビーム形成ローブを支援するために使用され得る様々なアレイ内にグループ化され得るか、又はそれぞれのアレイ内のいくつかのグループのマイクロホンは、協働するように構成され得る。

【0044】

眼鏡アーム１９の端には、本発明による眼鏡フレームの内側のエレクトロニクスのための電池を支持するように構成された着脱可能部１６がある。例えば、着脱可能部１６内に位置決めされ得る小型レーダシステム（又はドップラーシフト検出器）のような他のタイプのセンサの支援を提供することも本発明の範囲内であり、このレーダは、本発明による眼鏡フレームの装着者の背後から来る車のような接近する物体に関して警告するように構成され得る。

【0045】

図３は、本発明による眼鏡フレームの装着者が眼鏡フレームの構成されたシステムと相互作用する（例えば、様々な検出可能運動パターンでセンサ表面を横断する指を使用することにより）ことを可能にするジェスチャ検出センサを含み得る眼鏡アーム表面の領域１８も示す。

【0046】

加えて、他のタイプのセンサを支援するために使用され得る任意選択的な領域１７もある。

【0047】

眼鏡アーム１９が本発明による眼鏡フレーム１０内で交換され得ることは、本発明の範囲内である。これは、例えば、眼鏡フレームがアップグレードを必要とする場合、例えば他のタイプのセンサの必要性がある場合又はシステムの新しいバージョンが入手可能な場合に行われ得る。

【0048】

眼鏡フレームの前部の内側の埋め込み型エレクトロニクスは、従来技術において知られたフレキシブル又は折り曲げ可能プリント回路基板により、眼鏡アーム内に埋め込まれたエレクトロニクスに接続され得る。

【0049】

図４は、マイクロホンビーム形成の図解である。ビーム形成の極座標プロットが示されている。図Ａ内の円の中心は、図２に示すような眼鏡フレームの前部上のもののようなマイクロホンアレイである。ビーム形成は、特定の人２０の方向に向けられ、マイクロホンビーム形成ローブ２１は、特定の人２の方向に向けられる。本発明による眼鏡フレーム１０の装着者は、任意の時点において、図Ｂに示すように焦点を別の人２３にシフトする。ビーム形成２２は、図Ａ内のビーム形成と同様である。図Ａの状況から、図Ｂに示す状況に焦点をシフトする際、眼鏡フレームを装着するユーザは、自らの頭を図Ａ内の人２０から図Ｂ内の人２３に旋回する。しかし、ビーム形成は、眼鏡フレームの前部上のマイクロホンアレイに対するものであるため、これらの２つの状況間でビーム形成を変更する必要性はない。

【0050】

しかし、眼鏡フレームの装着者は、任意選択的に、自らの頭の側部からも同様によりよく聞くことを望み得る。眼鏡フレーム１０のアーム１９の実施形態の例に示すマイクロホン１３ｅ、１３ｆ、１３ｇ、１３ｈ、１３ｉ、１３ｊは、眼鏡フレームの前及び眼鏡フレームのアーム上の両方のマイクロホンアレイのマイクロホンビーム形成ローブ２１、２２を形成することの一部であり得る。次に、ビーム形成は、眼鏡フレームの前部からだけでなく、眼鏡フレームの側部からも発話を捕らえ得る。このような設定は、ジェスチャ検出を介して眼鏡システムに運ばれ得る。

【0051】

セグメント化された空間的ビーム形成を提供することも本発明の範囲内である。上に論述された例を参照すると、眼鏡フレーム１０の前側１２のマイクロホン１３ａ、１３ｂ、１３ｃ、１３ｄは、視覚方向前方に向いた第１のビーム形成ローブを定義するために使用され得る一方、眼鏡フレーム１０のアーム１９上のマイクロホン１３ｅ、１３ｆ、１３ｇ、１３ｈ、１３ｉ、１３ｊは、例えば、眼鏡フレームのアーム上の全指向性マイクロホンアレイに対して垂直な方向に向いた第２のビーム形成ローブを形成するために使用される。第２のビーム形成ローブが、眼鏡フレームの側部、眼鏡フレームの前部又は眼鏡フレームの背後から来る音をよりよく聞くことを可能にする他の方向（例えば、視覚方向前方）又は視覚方向と反対方向に向き得ることも本発明の範囲内である。

【0052】

第３のビーム形成ローブが、第２のビーム形成ローブを支持するアームに対向する眼鏡フレームのアーム上に位置するマイクロホンアレイにより定義され得ることも本発明の範囲内である。

【0053】

図７を参照すると、眼鏡フレームの装着者がマイクロホンビーム形成をグラフィック的に変更することを可能にするグラフィックインターフェースの図解が示されている。例えば、Analog Devices社は、グラフィックインターフェースを有するこの種類のアプリもＤＳＰ回路のいくつかに供給するＤＳＰ回路のサプライヤである。いずれにしても、ビーム形成自体は、眼鏡フレーム１０の内部に埋め込まれるＳＯＣシステム内で動作するアプリケーションプログラムによって制御される。Analog Devices社からのＤＳＰ回路を含む任意のＤＳＰ回路は、例えば、マイクロホンビーム形成を提供する特殊なアルゴリズムの開発を可能にする一般的プログラミングユーティリィティを有する。

【0054】

ビーム形成自体は、従来技術において知られた技術である。マイクロホンビーム形成を行う際に存在する可能性がある知られた課題の一例は、エイリアシングと呼ばれる現象である。図６を参照すると、本発明による用途の一例が示されている。眼鏡フレームの眼鏡アーム内に一体化されたＤＳＰと通信するモバイルフォン内のイコライザインターフェースは、ユーザがいくつかの周波数範囲に関係する部分的聴力損失を補償することを促進し得る。このような周波数が変更されると、ビーム形成に関係するエイリアシング問題が増幅され得る可能性がある。

【0055】

図５は、A. McCowanにより論文“Robust Speech Recognition using Microphone Arrays,”PhD Thesis, Queensland University of Technology, Australia, 2001において開示されたマイクロホンビーム形成アルゴリズムの一例をグラフィック的に示す。このアーキテクチャにより、マイクロホン１３ａ、１３ｂ、１３ｃ、１３ｄ、３ｅ、１３ｆ、１３ｇ、１３ｈ、１３ｉなどからのマイクロホン出力が様々なパターンで合算される。

【0056】

広帯域信号をカバーする際、アレイを、それ自体、一様な間隔を有する線形マイクロホンアレイである一連のサブアレイとして実装することが可能である。これらのマイクロホンサブアレイは、所与の周波数範囲の所望の応答特性を与えるように設計される。

【0057】

このアーキテクチャの一態様は、周波数が増加すると、より小さいマイクロホンアレイ長が、一定のビーム幅を維持するために必要とされることである。加えて、サイドローブレベルが様々な周波数帯域にわたって同じままであることを保証するために、各サブアレイ内の要素の数は、同じままであるべきである。サブアレイは、通常、所与のセンサが２つ以上のサブアレイ内で使用され得るように入れ子式方式で実装される。各マイクロホンサブアレイは、帯域通過フィルタを適用することにより、様々な周波数範囲に制限され、マイクロホン広帯域アレイ出力全体は、帯域制限マイクロホンサブアレイの出力を再合成することによって形成される。この可能性により、イコライザを、図６を参照して上に論述したように合成することが可能である。それぞれの帯域通過フィルタの周波数は、イコライザ設定に適応され得る。

【0058】

上述のように、ビデオカメラ１５は、本発明による眼鏡フレームの前側１２上に埋め込まれ得る。図８は、ビデオカメラを中間部（不図示）内に含むマイクロホンアレイ３７の側面図を示す。カメラは、マイクロホンアレイ３７からの距離３９に顔２８を見る。この距離は、顔２８の前部を横切る面までであるように示される。顔の高さ４１は、顔の高さを表す面と共に面内の三角形を構成するが、３次元の円錐である（すなわち、円錐は、顔２８方向に聴く際の所望のビーム形成を表す）側線３８、４０の傾斜を定義する。

【0059】

これは、図９に示されており、ビーム形成ローブ４３は、図８の三角形の内部に配置される。図６に示すようなアルゴリズムのパラメータの適切な選択により削除又は低減され得るいくつかのサイドローブも示される。

【0060】

ビーム形成ローブ４３は、線３８、４０、４１により定義される三角形の内部に嵌る周縁４２を有する。図８を参照すると、距離３９が低減されると、ビーム形成アレイ３７内のビデオカメラ１５により見られる透視図は、ビデオカメラにより見られる高さ４１を比例して増加させる。距離３９が増加されると、ビデオカメラ１５により見られる透視図は、ビデオカメラにより見られる高さ４１を比例して低減する。

【0061】

したがって、マイクロホンアレイから音源（又は物体）の方向への距離及び音源（又は物体）の高さ（又は幅）を測定することは、図９に示すように、ビーム形成ローブ４３（すなわちビーム形成ローブの幅）を定義する基準であり得る。

【0062】

図１０は、参加者がテーブルの周囲に座る会議に典型的なシナリオを示す。人Ｂは、本発明による眼鏡フレーム１０を装着している。ビデオカメラ１５、ビデオ画像処理は、人Ｃ、Ｄ、Ｅ、Ｆがカメラの視界内にいることを検出し得る。人Ａも会議に参加しているが、ビデオカメラ１５の視界の外側にいる。人Ｂにより支持された眼鏡フレーム１０の右側眼鏡アーム１９上には、上に論述したようなマイクロホンアレイがある。それぞれのマイクロ波デバイス１１ａ、１４ａにより距離測定を行う可能性もある。したがって、人Ａに面する眼鏡アーム１９上に位置するマイクロホンアレイに基づくビーム形成が可能である。これは、眼鏡フレームの両側で行われ得る。したがって、眼鏡フレームは、３つの異なる指向ビーム形成ローブにより構成される。

【0063】

本発明の実施形態の一例では、ジャイロセンサは、眼鏡フレームシステムの一部であり得る。ジャイロセンサが、上に論述したように頭の方向の変化を検出すると、ローブの幅を変更して、これによりすべての人Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇを含むローブを増加させることが可能である。別の可能性は、補聴システムが１つのみの狭いビーム形成ローブにより構成されることである。このローブジオメトリは、装着者が自らの頭を一度にそれぞれの人Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ１に向かって回転させる間、眼鏡フレームの装着者が同じローブを維持することを許容し得、これにより各人の良好な聴力品質を有する。

【0064】

しかし、何人かとの会議では、あらゆる人の声をある程度同時に聞くことができる必要があり得る。

【0065】

上に論述されたビーム形成ローブの幅の増加は、ローブの中心線を中心に対称的に行われないことがあり得る。例えば、ジャイロスコープが眼鏡フレームの右側への移動を検出する場合、ローブの左側は、ローブの右側が、眼鏡フレームを旋回する運動に追随するかのように増加される間、人の位置に対して安定にされたままにされ得る。眼鏡フレームがこのプロセスの始めに向かって元に旋回されれば、ローブの右側は、後方への頭運動に再び追随し得る。これは、ビーム形成ローブの形状及び幅を制御するために、ジャイロスコープ測定値を使用することにより実現することが可能である。

【0066】

図１１は、例えば、眼鏡フレーム１０の前部１２上に位置するビデオカメラ１５の方向に直接面する頭２６を含む映像フレームを示す。眼鏡フレーム１０は、映像信号を、例えばＳＯＣコンピュータシステム内で動作するプログラムとして具現化されるビデオプロセッサ又は映像処理に伝達する。映像処理は、顔検出を提供するように構成される。この処理は、顔認識と異なる。顔検出の目的は、例えば、人のアイデンティティを知る必要なく、映像フレーム内の人間の顔であることを確認することである。顔検出アルゴリズムに関する文献では、いくつかのプログラムが存在する。しかし、本発明の一態様は、より単純なアルゴリズムの使用を必要とする、電力消費を可能な限り低減することである。

【0067】

本発明の一態様によると、顔検出は、例えば、光学式文字認識技術から導出される技術を使用することにより単純化され得る。例えば、図１２を参照すると、頭２６の画像の画素バージョンは、ＯＣＲ技術において知られた縁検出によって検出することが可能である顔輪郭２８周囲の区域を有することになる。顔輪郭２８は、白黒画像又は隣接する画素間の色の変化である場合、顔輪郭周囲の隣接する画素間のグレースケールレベルの明確な変化を残すことになる。色又はグレースケールレベルのこの変化が輪郭２８を指示する。円２７が顔の画像の上にかけられ得るように、輪郭２８全体を正確に検出すること又はその一部のみを検出することは必要でない。これは、高精度の必要がない。円が適所にあると、座標系は、図１３に開示されるように画像上にかけられ得る。水平線２９及び垂直線３０によって形成される正方形又は長方形が顔の画像の上の四角を形成し、これは、人間の顔であるか否かを識別し得る生態学的情報の探索を簡単にする。顔認識システムから、それぞれの眼間の相対位置及びそれぞれの眼と口との間の距離に関する生態学的情報は、公知の限度内であるべきである。他の特徴は、鼻梁の相対位置、唇、耳、顎などの輪郭であり得る。

【0068】

しかし、これらの特徴は、人の認識が検出の目的である場合に使用される。本発明の範囲内において、眼の位置の識別は、画像が人のものであることを検出するために重要である。追加的な確認は、口の検出及び眼に対する口の位置を追加することによるものであり得る。本発明による顔検出の目的は、決して人のアイデンティティを検出することではなく、人間の顔であることのみである。

【0069】

図１３を参照すると、長方形３６は、四角の位置及び生態学的データ（人の眼が円２７の内部のどこに位置するかを指示する）の一般知識により与えられる場所における顔の画像の上に位置する。長方形３６は、生態学的に公知の範囲の眼サイズより大きくされる。長方形３６の目的は、どこで瞳孔のパターン探索又はテンプレート探索が行われるべきかを指示することである。異なる階調色又は異なる色の円中心を有する楕円形状物体を意味する眼テンプレートを表すテンプレートが置かれる。長方形３６の左側部分の内部に位置する画像の上でこのようなテンプレートを滑らすことにより、眼の識別が確立され得る。同じ手順は、右眼に関して行われ得る。いくつかの事例では、これは、人間の頭の輪郭２８の十分な検出であり得る。しかし、人間の顔の画像内で口を探索することも本発明の範囲内である。長方形３３は、生態学的情報が、口の位置が通常どこにあるかを示す部分の上に位置し得る。次に、長方形３３の中心部分内の探索は、上唇及び下唇を指示するテンプレートマッチングにより行われ得る。次に、それぞれの距離３２、３４は、追加的な確認判断基準として使用され得る。

【0070】

画像の画素とテンプレートの画素との間のマッチングは、単純相関解析によってなされ得る。相関の低スコアは、いかなる類似性も指示しないが、高スコアは、類似性の高確率を指示する。このプロセスは、例示的な画像によるアルゴリズムのトレーニングにも付され得る。

【0071】

顔検出アルゴリズムの結果が決定的なものでない場合（すなわち高スコア又は低スコア間において）、本システムは、例えば、眼鏡アーム１９上に位置するジェスチャセンサ１８により識別され得る定義されたジェスチャを行うことにより、これが人間の顔であることを確認するように、眼鏡フレームの装着者の耳に挿入されたイヤホン５５への構成された音声通信を介して眼鏡フレームのユーザに要求するように構成され得る。

【0072】

本発明による眼鏡フレームを装着する人間が人を見ることができ、ジェスチャセンサ１８によって検出された構成されたジェスチャを介して、これに関してシステムに知らせることができたとしても、本発明の一態様は、装着者の方向に向く顔が両眼を示していることである。

【0073】

さらに、顔までの距離が特定の定義された限度（例えば、１０メートル）未満であるというマイクロ波センサ１１、１４により行われる範囲確認は、検出された人が眼鏡フレームの装着者に話しかけることが実際にできるという確度を提供することになり、両眼が検出されるため、この人は、おそらく眼鏡フレームを装着する人の方向を見ている。

【0074】

そうでなければ、眼鏡フレームの装着者は、他の人の同意なしにその会話を密偵又は聴取するために眼鏡フレームのビーム形成能力を使用する可能性がある。したがって、おそらく会話に参加している（すなわち限定距離内の眼鏡フレームの装着者の方向を見ている）人の方向のマイクロホンビーム形成のみを可能にすることは、本発明の範囲内である。

【0075】

しかし、聴覚問題に加えて、本発明による眼鏡フレームシステムを装着する人が限定視野を有する本発明の実施形態のいくつかの例では、埋め込み型ビデオプロセッサは、それぞれの人のダウンロードされた写真に基づいて異なる人の組の顔認識を提供するように構成され得、本システムは、それぞれの認識された人の名前を含む音声メッセージを送信するように構成される。このような人は、近親者及び／又は友達、同僚などであり得る。

【0076】

図１４は、ビデオカメラの視界に対する様々な頭位置のサンプルを示す。図１１の画像Ｅのみが、カメラの方向に向けられた２つの眼を示すという上に設定された判断基準を満たす。画像Ｄ、Ｆは、おそらく低確率で識別され得、本システムをトリガして確認を要求する可能性がある。その人は、横を見ているため、確認に対する反応は、「いいえ」であるべきであるか、又は眼鏡フレームの装着者は、この人と会話をしたいことを確認する。

【0077】

図８は、ビーム形成の一例が、例えば、眼鏡フレーム１０上のマイクロホンアレイ３７からの距離３９にある人間の顔２８の検出によりどのように開始し得るかを示す。顔の高さ４１は、通常、顔の幅より大きく、したがってマイクロホンアレイの中心に原点を有する円錐を定義するために使用され、円錐の側線３８、４０は、平面視で三角形を構成する。距離３９は、可変であり得る（すなわち、人は、眼鏡フレームから１メートルのところに又は眼鏡フレームから１０メートル離れて立ち得る）ため、顔の高さ４１は、遠近の側面に起因して距離３９に応じて異なることになる。顔が遠くに位置するほど、高さ４１は、より小さくなる。しかし、１メートルの距離における顔の既知の標準高さ（又は平均高さ）との関係は、例えば、１０メートルの距離上の顔の高さの遠近による低下を計算するために容易に使用され得る。したがって、正しい三角形の寸法を計算することが可能である。これが行われると、ビーム形成が行われるべきであり、図１３に開示されたビーム形成ローブ４２が計算され、ＤＳＰにより処理されるべきである。距離線３９に沿ったローブ４２の長さは、マイクロホンアレイ３７がビーム形成ローブ４２の内部で明瞭に聞く可能性があるもののいかなる形式の制限も表さない。ビーム形成プロットは、極座標プロットである。しかし、音の増幅もビーム形成の一部であり、例えばＤＳＰ内の定義された限度に自動的に調整され得るか、又は眼鏡フレームの装着者により手動で調整され得る（例えば、ジェスチャセンサ１８によって検出されたジェスチャ制御を介して）。

【0078】

本システムが取り扱うことができるべきであるマイクロホンビーム形成ローブの多くの異なる形状が存在する。一態様は、上に論述したように距離などに基づいて特定のローブを計算することである。しかし、これは、眼鏡フレーム内で可能な限り節約されるべきである電池電力を必要とし得る。したがって、このような予め計算されたローブが必要とされるときに常にＤＳＰにアップロードされ得る様々なビーム形成ローブを定義するパラメータを予め計算しておくことは、本発明の範囲内である。実行時に修正され得るこのようなマイクロホンビーム形成ローブの他の部分が依然として存在する。例えば、ビーム形成ローブの幅は、他のパラメータに影響を与えることなく、限定数のパラメータを変更することにより調整され得る。この能力は、本発明の実施形態の一例において使用されるＤＳＰのタイプに依存する。

【0079】

上記様々なシナリオのいくつかの例は、例えば、特定のＤＳＰ回路と共に出荷されるシミュレーションプログラム又は構成プログラムにより予め計算され得るいくつかの標準ビーム形成ローブを必要とする。しかし、上述のように、ビーム形成ローブの修正（自動的であるか又は特定のジェスチャの検出のようなユーザ入力に起因するかのいずれか）の必要性もある。

【0080】

例えば、幅を増加させることにより、ビーム形成ローブを適応させることは、ビーム形成ローブ幅を増加又は減少させることのいずれかを生じる、頭の角運動の程度を指示するジャイロスコープ読み出し値と関連付けられ得る。

【0081】

本発明の一態様は、物体に対する角度変化又は距離の変化のあらゆる測定が、それぞれのマイクロホンアレイを支持する眼鏡フレーム自体に対するものであることである。したがって、ビーム形成ローブがジャイロスコープ読み出し値に起因して増加されると、角度増加は、ＤＳＰ回路内のビーム形成により当初設定されたビーム形成ローブの方向に加えられる相対値であり得る。したがって、（例えば、変化度毎に）定義された相対的角度増加又は減少に関連付けられたそれぞれのＤＳＰ設定の表を有することが可能である。このような表は、ＳｏＣ回路のメモリ内に格納され得、ジャイロスコープが方向の変化（増加又は減少角度）を検出すると、ＳｏＣシステムによりＤＳＰにアップロードされ得る角度変化に近い変化の値は、ＤＳＰ設定の表をフェッチするために使用され得る。

【0082】

眼鏡フレームの前面に対する「零」方向は、定義されたジェスチャ又は眼鏡フレームと通信するモバイルフォンを介して任意の時点で眼鏡フレームのユーザにより設定され得る。

【0083】

鳥又は人のような物体までの距離の変化に起因するビーム形成ローブの変化も様々なビーム形成ローブ幅にリンクされ得る。例えば、一定の距離に留まる人は、ビーム形成ローブ幅のある寸法を必要とする。人が眼鏡フレームの方向に移動するときの遠近による増加に起因して、ビーム幅は、移動する人の顔をカバーするためにそれに応じて増加されるべきである。人が立ち去る場合、ビーム幅は、低減されるべきである。これらの変化は、当然のことながら、実際的な理由に起因して制限される。眼鏡フレームの前に立っているのみの人は、ビーム形成ローブによりカバーされる必要がない。人が眼鏡フレームから遠い距離に立っている場合、最小ビーム形成ローブ幅がデフォルト幅として定義され得る。しかし、すべてのこれらの変化は、眼鏡フレームの位置に対するものであり、すなわち、距離は、例えば、眼鏡フレームの装着者が別の人から離れ、及びまた別の人が立ち去れる場合に増加する。

【0084】

したがって、様々な相対的距離変化は、表内に格納された様々なビーム形成ローブに関連付けられ得る。ある距離変化が測距センサによって検出される場合、距離変化の値は、相対値であり、ＳｏＣシステムは、最も近い予め計算された距離変化に対応する特定の表をフェッチし、これらの値をＤＳＰにアップロードするように構成され得る。

【0085】

「零」距離は、ユーザがシステムを初期化すること（例えば、ジェスチャ入力）により設定され得る。

【0086】

それぞれのマイクロホンアレイ構成に依存する検出された角度変化及び／又は距離変化を利用することも本発明の範囲内である。様々な表を、いずれのアレイ構成が使用されているかに依存させ得る。距離測定センサも眼鏡フレームの眼鏡アーム上に埋め込まれ得る。したがって、眼鏡フレームの各側部の定義されたビーム形成ローブのビーム形成は、眼鏡フレームの角度変化及び物体までの距離の変化に対しても修正され得る。

【0087】

映像フレーム内部の物体の遠近による増加／減少の別の態様は、物体の移動方向が検出され得ることである。それぞれの測距センサは、物体の移動方向を検出するためにも使用され得る。このような距離測定が固定周期で反復される場合、距離の変化率を測定することが可能であり、物体の速度が測定され得る。したがって、眼鏡フレームに向かう又は眼鏡フレームから離れる速度及び方向を確定することが可能である。これは、例えば、車のような高速度で接近する物体に関して警告するために使用され得る。耳への音声メッセージは、眼鏡フレームの装着者に接近しているものを視るために装着者の頭を旋回させるように促すであろう。これは、低減された視覚を有する人にとって重要な課題である。

【0088】

距離測定及び距離変化測定の別の用途は、ソーシャルディスタンスブザーを実装することであり得る。物体が、例えば２メートル内に接近する場合、ソーシャルディスタンスブザーアプリケーションは、音声メッセージをトリガし得、警告が発される。

【0089】

聞く状況を自らの必要性に適応させるために眼鏡フレームのユーザが選択し得る様々なシナリオの選択を提供することは、本発明の範囲内である。例えば、「ポートレートモード」は、一度に１つの顔を検出することと、各検出された顔（眼鏡フレームからの定義された範囲内の顔のみ）の最適化されたマイクロホンビーム形成を行うこととを含む。別のモードは、マイクロホンが周囲全体に耳を傾け、例えば上に開示されたように鳥を識別する「ランドスケープモード」であり得る。

【0090】

このような特殊なモードは、より一般的なモードから活性化され得る。例えば、「ランドスケープモード」は、鳥の鳴き声を聴くように構成され得、本発明による眼鏡フレームの装着者が鳥のような音源に向かって自らの頭を旋回している場合、特殊な「鳥の歌」モードが活性化され得る。

【0091】

音源から受信された可聴音のある解析を提供する補聴システムを構成することも可能であり、音波内の周波数成分に基づき、人間などから来る音を特徴付けることが可能である。補聴システムは、音源が、会話している人間、モータ、列車又は別のタイプの音源である場合、確率係数を計算するために、ビーム形成が向いた音源からの可聴音を使用するように構成され得る。

【0092】

本発明の実施形態の一例によると、ユーザ仕様の設定を定義するユーザプロファイルは、様々な聴力モードの実行の一部であり得る。

【0093】

図１５は、図１に示すような、眼鏡フレームの内部に埋め込まれる機能デジタル回路及び機能ブロックを含む本発明による眼鏡フレームシステムの実施形態の一例を示す。

【0094】

例えば、デジタルマイクロホン１３は、例えば、８つのデジタルマイクロホンから音声入力を受信し得るタイプのAnalog Devices社ADAU1787の音声信号プロセッサ５４に接続され得るタイプTDK ICS-41251であり得る。上に論述されたように、眼鏡フレーム内に２つ（各眼鏡フレーム内に１つ）のＤＳＰデバイスがあり、実施形態の一例では、６つのマイクロホンは、同じアーム内に埋め込まれたＤＳＰ ５４に接続可能な１つの眼鏡アーム内に埋め込まれ得る。加えて、眼鏡フレームの前部内に埋め込まれた４つのマイクロホンの２つは、同じＤＳＰ ５４によって制御され得る。別の眼鏡アームは、他の眼鏡フレーム内の６つのマイクロホン＋眼鏡フレームの前の４つのマイクロホンの残りの２つを制御し得る。TDK ICS-41251マイクロホンに関する情報は、https://www.invensense.com/products/digital/ics-41351/に見出すことができる。

【0095】

ADAU1787 ＤＳＰ回路は、リンクhttps://www.analog.com/en/products/adau1787.html#product-overviewに開示されたビーム形成能力を有する。

【0096】

Analog devices社は、グラフィックユーザインターフェースを介してビーム形成を容易にするユーザアプリケーションプログラムも供給している。このようなグラフィックユーザインターフェースも、モバイルフォン５６内に設置され得るアプリケーションプログラムとして入手可能である。

【0097】

加えて、ADAU1787は、上に論述されたユーザプロファイル及び／又は様々な補聴器モードにおいて定義された様々なユーザ選択可能選択肢の支援を可能にする完全プログラム可能ＤＳＰデバイスである。機能性のこのような変更は、本発明の補聴システムの一部でもあり得るジェスチャ検出システムにより、加えて本発明の補聴システムの一部でもあるＳｏＣシステムにおいて実行されるプログラムにより検出可能な特定のジェスチャによって開始され得る。

【0098】

それぞれのデジタル機能システムブロックを制御するコントローラ４４は、コンピュータシステムの機能部品を含む集積回路であるＳＯＣ（システムオンチップ）と呼ばれるタイプの回路であり得る。ＳｏＣ ４４の使用は、本発明の眼鏡フレームシステムの動作面を構成するソフトウェアを開発することをはるかに簡単にする。開発及び実行時間は、Linuxのようなオペレーティングシステムの監督下で行われ得る。従来技術は、本発明の実施形態のいくつかの例において使用され得るＳＯＣシステムのいくつかの例を有する。加えて、様々なデバイスのデバイスドライバがLinux実装のために入手可能である。

【0099】

顔検出能力を提供するビデオカメラ１５を有するビデオシステムは、例えば、B5T-007001であり得る。リンクhttps://omronfs.omron.com/en_US/ecb/products/pdf/en-b5t.pdfを参照されたい。

【0100】

ビデオシステム１５は、上に論述された顔検出アルゴリズムを実行するように構成されたカメラ１５ａ及びビデオＳＯＣ １５ｂを含み得る。

【0101】

本発明のいくつかの実施形態において使用され得るドップラーシフトレーダシステムは、例えば、SeeedドップラーレーダMW0582TR11であり得る。リンクhttps://www.seeedstudio.com/MW0581TR11-5-8GHz-Microwave-Doppler-Radar-Motion-Sensor-p-4366.htmlを参照されたい。

【0102】

図１５は、本システムが加速度計５１を含み得ることをさらに示す。加速度計５１の機能面は、例えば、眼鏡フレーム上の指の接触を検出することである。このような接触は、マイクロホンにより拾われた雑音を生成し、本システムは、本システム内に鋭角的雑音を生成することになることが知られている。本発明の実施形態の一例によると、加速度計検出は、本システムのマイクロホン又は任意の他の好適な電子部品の短いミュートを生じ得る。実施形態のいくつかの例では、眼鏡フレームは、いくつかのプッシュボタン４１と共に構成され得る。このようなボタン４１の起動は、本発明の補聴システムの装着者内に挿入されたイヤホン５５に到達するボタン行為からの短いミュート停止雑音を生じることになる。

【0103】

図１５に示す例示的実施形態は、ジェスチャ制御も支援し得る。使用され得るジェスチャシステム４８の例は、９つの異なるジェスチャを認識し得るジェスチャセンサPAJ7620Uである。ジェスチャセンサは、眼鏡フレーム１０内（例えば、図３に開示された眼鏡フレームの前部又は眼鏡アーム内）に配置され得る。次に、ＳＯＣシステム４４が応答するように構成された特定の命令又は行為に関連付けられ得る１つの特殊なジェスチャの検出を生じる手運動が検出され得る。

【0104】

本発明の実施形態の一例では、ＳｏＣシステム４４は、本発明の眼鏡フレームの装着者の耳内に挿入されたイヤホン５５に音声メッセージを送信するように構成される。例えば、どのように進めるかのメニュー選択及び指示は、例えば、音声メッセージとして送信され得る。

【0105】

上記の論述を参照すると、加速度計は、指が眼鏡フレームに接触しているときに常に音声ストリームのミュートをトリガすることになる。接触がメニュー選択ジェスチャの一部である場合、ミュートは、指がセンサ表面から上げられると終了する。

【0106】

図１５に示すシステムは、ジャイロセンサ５０も含み得る。本発明の実施形態のいくつかの例において使用され得るいくつかの既知のジャイロセンサがある。

【0107】

本発明の実施形態の一例では、ＳＯＣシステム４４は、ジャイロスコープ５０により与えられる視覚方向のコンパス方位を識別するように構成される。次に、ＳＯＣシステム４４は、眼鏡フレーム１０の前方のコンパス方位にビーム形成を行うように音声ＤＳＰ ５４を指示するように構成される。このようにして、ビーム形成は、眼鏡フレーム１０の装着者が見ている方向に向けられる。

【0108】

本発明による眼鏡フレーム１０の無線通信システムは、例えば、Blue tooth標準規格に従い得る。図１５を参照すると、Bluetoothアンテナ４５がＲＦフィルタ部４６を介してＳＯＣ ４４と通信する。

【0109】

他の通信標準規格が使用され得ることは、本発明の範囲内である。

【0110】

デバイスアドレスを含む通信標準規格を使用することも本発明の範囲内であり、すなわち、眼鏡フレーム１０からの無線信号は、右耳の内側のイヤホン５５の第１の特定のアドレス及び左耳内のイヤホン５５の第２の特定のアドレスを含み得る。次に、様々な情報がそれぞれの異なる耳に送信され得る。例えば、眼鏡フレームの１つ上のマイクロ波デバイス１４ａ、１１ａが右側の接近する物体を検出する場合、ＳＯＣ ４４は、眼鏡フレームの装着者の右耳内に位置するイヤホン５５に警告を送信するように構成され得る。これは、例えば、接近する車の警告であり得る。例えば、接近する物体の距離の変化率を検出することは、車が接近していることを検出するために使用され得、接近する車の警告をトリガし得る。

【0111】

交通レーダ又はドップラーシフトレーダ４９も、本発明による眼鏡フレーム内に埋め込まれ得る。

【0112】

可能なアドレス機構は、互いに接近して立つ２人により使用される２つの眼鏡フレーム１０間の無線交信も停止し得る。これは、例えば、それぞれの眼鏡フレーム内のマイクロホンビーム形成のミスアラインメントを停止し得る。

【0113】

本発明の一態様は、様々な聴力シナリオに従ってビーム形成ローブを制御するためにＳｏＣシステム内で動作するプログラムを使用することである。特定の聴力シナリオを変更又は選択することは、図３に示すようなジェスチャコントローラ１８によって検出されるジェスチャ又は図１に示すような接続されたモバイルフォンを介して行われ得る。ビーム形成ローブは、眼鏡フレームの前側がマイクロホンアレイを支持するため、マイクロホンアレイ面又は例えば眼鏡フレームの前側に対する方向により定義される。同じ状況は、眼鏡アーム上に配置されたマイクロホンアレイにも当てはまる。眼鏡フレームの前側のマイクロホンと眼鏡フレーム上のマイクロホンとの組み合わせも可能である。このようなマイクロホンアレイは、関心のある音源方向に向けられることになる。音源に向かうビーム形成ローブ方向は、例えば、ユーザが関心のある音源に向かって自らの頭を旋回させ、次にこれをビーム形成ローブ方向として選択すると、ユーザ選択され得る。眼鏡フレーム表面に対する相対的角度方向は、眼鏡フレームが真直ぐ前方に面しているとき、ジャイロセンサが例えば０°の相対的角度により初期化されると、ジャイロセンサから読み出され得る。

【0114】

ビーム形成ローブを計算する際に関係する少なくとも２つの重要な要素がある。１つは、当然のことながら、方向であるが、ビーム形成ローブ幅も、広いビーム形成ローブではなく、狭いビーム形成ローブのフィルタリング効果に関して重要である。したがって、ビーム形成ローブが単一の人から音声を拾うように設計されたとしても、このシナリオは、上に論述したように眼鏡フレームの装着者に関して変化し得る。ビーム幅方向は、音源の方に向くマイクロホンローブの内側の特定のマイクロホンに関連付けられ得、これらのマイクロホンは、例えば、ＤＳＰ回路内の前置増幅器における増加された増幅率により設定され得る。音源までの距離は、眼鏡フレームと音源との間の距離変化に対する音源サイズの遠近による相対変化に適応されたビーム形成ローブ幅を定義することも促進し得る。したがって、一般的に、
－ ビーム形成ローブ方向は、構成されたマイクロホンアレイの前側に対して定義され、
－ ビーム形成ローブ幅は、音源までの距離に基づいて定義され、
－ ビームローブの定義された方向のジャイロセンサによって検出される相対的角度変化は、検出された角度変化に従ってビーム形成幅を修正する、ＤＳＰ内のパラメータの変化をアップロードするために、ＳｏＣシステムをトリガするか、又は
－ 測距センサによって検出される、音源までの測定された距離の相対変化は、検出された距離変化に従ってビーム形成幅を修正するパラメータの変化をアップロードするために、ＳｏＣシステムをトリガする。

【0115】

本システムは、ユーザが、上に定義された規則に従ってシステムにより識別された任意の設定を凍結することと、選択されたシナリオに従って最適化されたビーム形成ローブを能動的に提供するためにシステムを再び活性化することとを可能にすることに留意すべきである。これらの行為は、ジェスチャ検出又は接続されたモバイルフォンを介して行われ得る。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】

【図14E】

【図14F】

【図15】

【国際調査報告】