特表 2024-546573 人または物体検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】人または物体検出

(51)【国際特許分類】

   G01S 15/04 20060101AFI20241219BHJP

   H04R 3/00 20060101ALI20241219BHJP

   G01V 1/00 20240101ALI20241219BHJP

   G01H 3/08 20060101ALI20241219BHJP

【ＦＩ】

G01S15/04

H04R3/00 330

H04R3/00 310

H04R3/00 320

G01V1/00 A

G01H3/08

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2024526773

(86)(22)【出願日】2022-11-03

(85)【翻訳文提出日】2024-07-05

(86)【国際出願番号】 EP2022080696

(87)【国際公開番号】W WO2023079010

(87)【国際公開日】2023-05-11

(31)【優先権主張番号】20211333

(32)【優先日】2021-11-05

(33)【優先権主張国・地域又は機関】NO

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＹｏｕＴｕｂｅ

(71)【出願人】

【識別番号】520089657

【氏名又は名称】エリプティック ラボラトリーズ エーエスエー

【氏名又は名称原語表記】ＥＬＬＩＰＴＩＣ ＬＡＢＯＲＡＴＯＲＩＥＳ ＡＳＡ

【住所又は居所原語表記】Ｈａｕｓｍａｎｎｓ ｇａｔｅ ２１， ０１８２ Ｏｓｌｏ， Ｎｏｒｗａｙ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】クロヴニング，エスペン

【テーマコード（参考）】

2G064

2G105

5D019

5D220

5J083

【Ｆターム（参考）】

2G064AB01

2G064AB02

2G064AB16

2G064BA02

2G064BD02

2G064CC02

2G064CC41

2G064DD02

2G105AA01

2G105BB02

2G105CC01

2G105DD02

2G105EE01

2G105HH01

2G105HH04

5D019AA19

5D019FF01

5D220AA21

5D220AB00

5D220BA30

5J083AA02

5J083AB12

5J083AC29

5J083AE08

5J083BB02

5J083BE04

5J083BE47

5J083CA02

5J083CA10

(57)【要約】

本発明は、装置の近傍に存在する物体、例えば人を検出するように構成された電子装置に関する。該装置は、少なくとも１つの音声信号発生器を含み、発生された信号は、出力インタフェースを介して、混合信号を送信するスピーカーに送信される。また、該装置は、物体から反射された信号を受信するように構成された少なくとも１つのマイクロフォンと、マイクロフォンから信号を受信するための受信モジュールとを含む。また、受信モジュールは、スピーカーを介して送信された信号に対応する信号をそこから受信するための出力インタフェースに接続される。
【選択図】図１

【特許請求の範囲】

【請求項1】

電子装置であって、
物体、例えば前記電子装置の近傍に存在する人を検出するように構成され、少なくとも１つの音声信号発生器を含み、
発生された信号は、出力インタフェースを介して、音響信号を送信するスピーカーに送信され、
前記電子装置は、前記物体から反射された信号を受信するように構成された少なくとも１つのマイクロフォンを含み、
前記電子装置は、前記マイクロフォンから前記信号を受信するための受信処理モジュールを含み、
前記受信処理モジュールは、前記スピーカーを介して送信された前記信号に対応する信号をそこから受信するために前記出力インタフェースに接続され、
前記受信処理モジュールは、送信された前記信号と受信した前記信号とを比較し、送信された前記信号の歪みを補正し、補正された前記信号に基づいて前記物体を検出するように構成される、
電子装置。

【請求項2】

前記少なくとも１つの音声信号発生器は、超音波範囲内の信号を発生するように構成された超音波発生器であり、前記マイクロフォンは、前記超音波範囲内の信号を受信するように構成される、請求項１に記載の電子装置。

【請求項3】

前記超音波発生器は、別個の発生器であり、前記音声信号発生器からの信号と前記超音波発生器からの信号は、混合モジュールで混合される、請求項２に記載の電子装置。

【請求項4】

前記超音波発生器および前記音声信号発生器から前記信号を受信し、前記スピーカーの仕様を超えないように所定の特性に従って前記スピーカーに送信される前記信号を調整するように構成されたスピーカー保護モジュールを含む、請求項３に記載の電子装置。

【請求項5】

前記スピーカー保護モジュールは、前記混合モジュールに含まれる、請求項４に記載の電子装置。

【請求項6】

前記スピーカー保護モジュールは、前記混合モジュールに接続され、混合された前記信号を受信し、前記スピーカーの仕様に従って前記信号を調整する、請求項４に記載の電子装置。

【請求項7】

発生された前記信号は、可聴範囲内にある、請求項１に記載の電子装置。

【請求項8】

発生された前記信号は、音楽の一部などの既知の音声信号を構成し、前記受信処理モジュールは、送信された前記信号と受信した前記信号との比較に基づいて、測定された反射された前記信号を分析するように構成される、請求項７に記載の電子装置。

【請求項9】

前記受信処理モジュールは、事前に記憶されたデータセットに基づいて、送信された前記信号と受信した前記信号とを比較するように構成される、請求項１に記載の電子装置。

【請求項10】

前記事前に記憶されたデータセットは、人の存在を示す受信した前記信号の特性を選択する機械学習アルゴリズムを使用して分析された過去の一連の測定値に基づいている、請求項９に記載の電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音響信号を用いた電子装置による人または物体の検出に関する。

【背景技術】

【0002】

国際公開第２０２１／０４５６２８に記載されているように、超音波は、近接検出、存在検出、ジェスチャなどを含む多数の異なる目的のために電子装置によって使用される。これらの使用例はすべて、少なくとも１つの超音波送信機（すなわち、スピーカー、超音波トランスデューサ、イヤーピース受信機、ピエゾ要素）を使用して超音波プローブ信号を送信し、少なくとも１つの超音波受信機（すなわち、マイクロフォン、超音波センサ、超音波トランスデューサ）を介して受信した対応する超音波エコーを処理する電子装置の両方に依存している。超音波信号は、狭帯域（例えば、正弦波、周波数ステップの正弦波）、広帯域（例えば、チャープ、ランダム変調）、またはその両方の組み合わせのいずれかである。これらの信号タイプは、典型的には、その特定の特性に基づいて異なる用途で使用される。

【0003】

また、上述した国際公開第２０２１／０４５６２８号に記載されているように、一部の電子装置は、送信超音波を送信する一方で、イヤーピース受信機やスピーカーなどの音声出力コンポーネントを使用して、例えば音声再生などの他の音声使用用途を実行することができる。これらの電子装置は、音声と超音波の使用例からの混合信号をそれぞれ再生するために、ＤＡＣと音声増幅器を使用する必要がある。単純な増幅器を含むものもあれば、国際公開第２０１９／１２２８６４号（楕円形スマートＰＡ）に記載されているようなスマートパワー増幅器（スマートＰＡ）を使用するものもある。これは、スピーカーの制御と保護に必要な処理を実行するために、装置上の音声デジタル信号プロセッサ（ＤＳＰ）も実装されている。場合によっては、スピーカー保護アルゴリズムは、システムオンチップ（ＳｏＣ）内の音声ＤＳＰに実装される。スピーカー保護アルゴリズムの主な目的は、スピーカーを監視し、温度およびエクスカーションアルゴリズムなどに関連する測定値に依存して、可能な限り大音量で再生しながらスピーカーを保護することである。これらの保護アルゴリズムは、スピーカーを保護すると同時に、現在の状況を考慮して最大振幅で音を再生するために、出力信号の振幅を動的に変化させる場合がある。スピーカー保護モジュールの動作方法は、使用中のスピーカーの特性に基づいて出力信号に歪みと多くの場合高調波を発生させる。スピーカー保護アルゴリズムが、大音量の音声を再生しながらスピーカーを保護できるようにスピーカーの動作モデルを作成するように、本明細書に記載の存在検出方法は、スピーカー出力信号に基づいて歪みと高調波のモデルを作成することができる。これらのモジュールは、大規模なサウンドライブラリ（Ｓｐｏｔｉｆｙ、Ａｐｐｌｅ Ｍｕｓｉｃ、ポッドキャストなど）やビデオライブラリ（ＹｏｕＴｕｂｅなど）からの一連の大規模な出力スニペットを出力データとして使用するＭＬの訓練プロセスの一部となる可能性がある。これらのモデルを使用して、スピーカー保護アルゴリズムと対応するスピーカーモデルの特定の組み合わせについて、存在検出に利用する好ましい周波数範囲を選択することができる。ここで概説した方式は、スピーカー保護機構が作動する前であっても、大音量の音声を再生する際に破壊的相互変調を起こしやすいスピーカーや、スピーカー保護アルゴリズムによってスピーカーが保護されていないシステムに使用することができる。

【0004】

通常、スピーカー保護アルゴリズムが使用されているか否かに関わらず、音声システムは、基本的にスピーカーに送出される信号であるエコー基準信号をエコーキャンセルモジュールに供給する。エコー基準信号は、スピーカー保護アルゴリズムによって振幅が変更された後の実際の混合出力信号である。ここで、エコー基準信号が超音波受信処理モジュールにもルーティングされ、スピーカー保護アルゴリズムが超音波プローブ信号に何を行ったかを分析することができると想定される。エコーキャンセルは、スマートＰＡを使用するシステム（スマートフォンやノート型パーソナルコンピュータなど）において重要な機能であるため、エコー基準信号は、通常、ＳｏＣの音声ＤＳＰ上で動作するスピーカー保護モジュールからだけでなく、音声インタフェース（Ｉ２Ｓ、Ｓｏｕｎｄｗｉｒｅ、ＴＤＭなど）を使用して外部接続されたスマートＰＡからも利用可能である。

【0005】

一部のスマートＰＡでは、音声および超音波信号は分離されており、スピーカーで変調される直前に混合される。これは、超音波信号がスピーカー保護アルゴリズムのチューニングプロセスの一部であり、使用中のエクスカージョンの問題による変化を受けない場合にのみ実行可能である。一般的に、超音波の周波数は高すぎるため、スピーカー保護アルゴリズムが扱うべきエクスカージョンの問題を引き起こすことはない。温度変化はそれほど動的ではなく、必要に応じてスピーカー保護が超音波信号を変更する必要があることを示す制御メッセージを提供する時間があるため、超音波処理に対処しやすくなる。例えば上述した国際公開第２０１９／１２２８６４号に記載されているようなスマートＰＡでは、超音波信号は、一般的にスピーカー保護アルゴリズムによって変更されることはない。両者が分離されている主な理由は、通常、超音波信号のサンプリングレートが音声再生の標準サンプリングレートを超えている場合に、処理とメモリ使用量を削減するためである。高いサンプリングレートでスピーカー保護を実行すると、通常、処理とメモリ要件に関して価格が高くなる。超音波信号が同時使用の用途から分離されている場合でも、超音波処理は、その処理において、エコー基準信号と分離された超音波信号の両方を受信することで恩恵を受ける。

【発明の概要】

【発明が解決しようとする課題】

【0006】

そのため、本発明の目的は、発信された音響信号に基づいて存在検出を改善する解決策を提供することである。ここで、送信された音響信号は、信号発信前の信号処理における意図的な調整または制限のために変化を受けてもよい。これは、添付の特許請求の範囲に記載されているように提供される。

【課題を解決するための手段】

【0007】

具体的には、同時に発生する音声使用用途をサポートする超音波送信装置では、結合された混合信号（すなわち、超音波と混合された音声）は、音声出力経路の最後にあるスピーカーを使用して再生される。超音波送信モジュールの後に位置するソフトウェアまたはハードウェアコンポーネントが超音波信号（振幅、位相など）を変更した場合、送信された超音波信号は、超音波受信処理モジュールが期待するものとは異なる。

【0008】

超音波受信処理モジュールに変更の可能性を知らせることなく超音波プローブ信号を変更すると、超音波ソリューションの性能に影響を与える可能性がある。理想的には、どのソフトウェアまたはハードウェアモジュールも、装置内の音声フレームワークが提供するどのようなメッセージ機構（ＩＰＣ、共有メモリなど）を使用しても、超音波受信処理モジュールにメッセージを送信し、超音波プローブ信号が再生される前に、超音波受信処理モジュールに、超音波プローブ信号に加えられた変更について通知する必要がある。理想的には、メッセージは、スピーカー保護アルゴリズムまたは他の信号変更ソフトウェアまたはハードウェアモジュールが超音波入力または出力信号に対して行ったすべての可能な動作の概要を含む。例えば、システムが送信経路または受信経路のいずれかの利得設定を変更した場合、制御メッセージを介して超音波受信処理に通知する必要がある。代替的な解決策は、すべてのソフトウェアまたはハードウェアモジュールが信号に必要な変更を行った後、出力経路の最後にあるスピーカーによって変調される直前に、結合された出力信号を超音波受信処理モジュールにループバックすることである。上述したエコー基準信号は、このような信号の一例である。しかしながら、他のコンポーネントは、スピーカーによって変調される直前の同様の出力信号を、超音波処理モジュールの少なくとも１つにルーティングしてもよい。これらのモジュール、すなわち、入力および出力処理モジュールは、単一のコンポーネントとして実現されてもよいし、２つの個別の通信モジュールに分割されてもよい。

【図面の簡単な説明】

【0009】

以下、本発明を例示的に示す添付の図面を参照して本発明をより詳細に説明する。

【図1】ソフトウェアによる超音波信号および音声信号の混合と、混合された出力信号をスピーカーと超音波受信モジュールに供給するスマートＰＡユニットを含む第１の実施形態を示す図である。

【図2】本発明の別の実施形態を示す図である。

【図3】本発明の別の実施形態を示す図である。

【図4】本発明の別の実施形態を示す図である。

【図5】本発明の別の実施形態を示す図である。

【図6】本発明の別の実施形態を示す図である。

【図7】本発明の別の実施形態を示す図である。

【発明を実施するための形態】

【0010】

図面を参照すると、以下の参照符号が使用されている：
１：マイクロフォン
２：スピーカー
３：コーデック
４：マイクロフォンインタフェース
５：コーデックインタフェース
６：モジュール：ソフトウェアミキサー
７：モジュール：スピーカー保護
８：モジュール：超音波信号発生器
９：モジュール：超音波受信処理
１０：モジュール：音声使用用途
１１：デジタル信号プロセッサ
１２：ハードウェアミキサー
１３：ＤＳＰを有するスマートＰＡ
１４：増幅器
１５：利得コントローラ
１６：スマートＰＡ
１７：エコー基準
１８：ミキサー（ハードウェアまたはソフトウェア）
図１には、本発明の第１の実施形態が示されている。ここで、装置１１は、音声範囲の信号を送信するように構成された音声信号送信機１５と、超音波範囲の信号を送信するように構成された超音波信号送信機８と、を含む。音声送信器１５は、外部の信号源から信号を受信してもよい。送信機８、１５からの信号は、ソフトウェアミキサー６を介して送信される。これらの信号は結合され、結合された信号はコーデックインタフェース５を介して、本実施例ではスピーカーを保護するために適合された結合信号を生成するＤＳＰなどを有するスマートＰＡ１３などを介して、スピーカー２に送信される。超音波信号２０は、スピーカーの能力範囲内であるが、可聴範囲外であるため、約２０ＫＨｚ超の範囲で選択される。

【0011】

少なくとも１つのマイクロフォン１は、少なくとも送信信号の範囲内の音響信号２２を受信し、インタフェース４を介して受信処理モジュール９に送信するように構成される。好ましくは、マイクロフォン１、入力インタフェース４、および受信処理モジュール９は、少なくとも、送信された超音波の範囲内の信号を受信し、この信号を近接検出のために処理するように構成される。

【0012】

また、図に示す装置は、音声受信のためのモジュール１０を含む。これは、例えば携帯電話などの装置内のマイクロフォンの通常の使用に関連する可能性がある。また、音声受信装置は、場合によっては超音波信号よりも低い解像度ではあるが、近接検出のために可聴信号を使用するためのエコー基準（図示せず）に接続されてもよい。

【0013】

また、本発明によれば、スピーカー２に送信された出力は、エコー基準信号１７として受信機９に送信される。受信機９は、送信信号と受信信号とを比較するように構成される。この比較は、送信信号２０と、受信機で受信された対応する信号２２との間の時間シフトを計算するために使用されてもよい。これは、送信信号を反射している可能性のある人または物体２１の表示を提供することができる。領域を監視する場合、人が装置の近くに来たことを示す受信信号の変化を検出するために比較を行ってもよい。また、スピーカーに送信された信号には、スピーカー保護モジュールに起因する変化など、送信された信号の歪みや制限が含まれるため、比較ではそれらが補正される。

【0014】

本発明の好ましい実施形態は、エコー基準信号１７をスピーカー保護モジュール１３、１６から超音波受信処理モジュール９にループさせることを含む。この解決策により、超音波受信処理９は、ループバック信号を使用して、信号が生成された後、すべてのソフトウェアおよびハードウェアモジュールにおいて、結合された信号にどのような変更が行われたかを調べることができる。受信処理において、これらの変更をアルゴリズムに組み込むことができ、超音波センサソリューションにおいて使用される可能性のあるニューラルネットワークにおける機械学習の特徴として使用される可能性があるため、上記の情報は、超音波センサソリューションの性能を向上させるために使用することができる。関連する情報は、信号振幅の変化、フィルタリングの可能性、信号の先細り、位相の変化、エコーなどである。

【0015】

図２は、図１に示す解決策に類似した解決策を示しているが、出力インタフェースからの信号は、スマートＰＡ１６で増幅される前にコーデック３を介して送信され、スマートＰＡからの信号は、スピーカーと受信プロセッサ９に送信される。また、入力音声信号は、ミキサー６の前方に配置されたスピーカー保護モジュール７によって受信および調整される。

【0016】

図３では、入力音声信号は、スピーカー２の既知の特性に従って、スピーカー保護モジュール７によって調整される。保護モジュール７および超音波発生器８からの音声信号および超音波信号は、ハードウェアミキサー１２を含むコーデック３で混合される。混合された信号は、超音波受信プロセッサと、増幅された信号をスピーカーに送信するスマートパワーアンプ１６に伝達される。この場合、エコー基準には、スマート増幅器によって加えられた歪みは含まれない。

【0017】

図４は、入力音声信号がコーデックインタフェース５を介してコーデック３に直接送信される場合の代替例を示している。ここで、コーデック３は、ハードウェアミキサー１２を含む。コーデックは、増幅されていないが混合された信号をスピーカー２に送信する。

【0018】

図５は、入力音声信号がコーデックインタフェース５を介して装置外部のコーデック３に直接送信される場合の実施例を示している。ここで、混合は、ＤＳＰ１３、超音波発生器８、およびそこに位置するハードウェアまたはソフトウェアミキサー１８を含む外部スマートＰＡで行われる。

【0019】

図６は、入力音声信号のない図５の実施形態を示している。そのため、近接検出は、超音波信号に基づいて行われる。代替案として、図６の外部スマートＰＡは、ミキサー１８に接続されたストリーマなどの音声信号源を含んでもよい。

【0020】

図７では、入力音声信号は、スピーカー保護モジュール７で調整される前に、ソフトウェアミキサー６で、生成された超音波信号８と混合される。調整された信号は、コーデックインタフェースを介してコーデックに送信され、さらにスマートＰＡに送信され、超音波受信プロセッサ９およびスピーカー２に送信される。

【0021】

なお、一般的に、本発明は、１つのマイクロフォン１のみを含むことができるが、２つ以上のマイクロフォンが利用可能である場合、反射信号２２の方向を検出し、装置の近傍に存在する複数の人や物体を区別するために、マイクロフォンが受信機９によって使用されてもよいことに留意されたい。

【0022】

ハードウェアミキサーを使用しないシステムでは、同時に発生する音声信号と超音波信号の混合は、ＤＳＰやマイクロコントローラなどの処理要素でソフトウェアにおいて行う必要がある。結合信号のループバック１７は、図１および図２に示すように、ソフトウェアによる混合１１が行われた後に行われる。ソフトウェアによる混合６は、図に示すように、別の混合モジュールで行われる。また、音声再生モジュールまたは超音波モジュールの内部でソフトウェアによる混合を行うことも可能である。前者が図７に示されている。ここでは、結合された信号がスピーカーに向けて転送される前に、ソフトウェアによる混合６を担当する音声再生経路に超音波信号を供給する方法が示されている。

【0023】

一般的な結合信号や超音波信号は、特に、混合アルゴリズム、スマートＰＡ内のスピーカー保護アルゴリズムによって変更されてもよく、混合後の音声出力経路内のモジュールによって任意に変更（利得変更など）されてもよい。超音波信号は、通常、スマートＰＡまたは超音波ＴＸモジュール自体で生成される。超音波送信装置は、出力信号を使用して、実際の超音波出力信号に振幅と時間の両方で一致するように受信処理を調整する。超音波ＴＸは、超音波ＲＸモジュールが明示的なメッセージまたはループバック信号（例えばエコー基準信号）から超音波出力信号の変更されたタイミングを抽出することによって変更を認識する限り、超音波プローブ信号の出力レート（例えばパルスレート）を動的に変更することができる。

【0024】

パルス状の超音波信号を送信している同じ出力装置で音声を同時に再生している場合、超音波処理モジュールは、音声出力信号を分析し、場合によっては、超音波出力信号の破壊的相互変調の確率を減らすために、超音波信号生成にその出力信号を一時的に遅延させることもできる。超音波出力信号の時間シフトは、同様に超音波受信処理を遅延させることで処理する必要がある。この遅延は、エコー基準信号から処理モジュールによって検出または計算されるか、あるいは信号発生モジュールが何らかのメッセージを送信して時間シフトについて通知することができる。

【0025】

一部の音声アーキテクチャでは、音声出力ストリームは、スピーカーで送信される前に超音波モジュールで利用可能であってもよい。この場合、超音波信号発生器は、出力コンポーネントの飽和による歪みと、スピーカーを保護するためのスピーカー保護アルゴリズムによる他の侵襲的な動作の両方を防止するかその確率を低減するために、超音波出力信号自体を一時的に低減するか、超音波出力信号のタイプを変更することができる。

【0026】

音声データが音声バッファなどで前処理できないシステムでは、代替案として、すでにスピーカーで変調された音声信号に基づいて、スマートパワー増幅器のスピーカー保護アルゴリズムで混合または変更後の音声出力を予測することができる。機械学習を使用してニューラルネットワークを訓練し、スピーカーですでに再生された音声のすべてあるいはその一部を使用して将来の音声出力を予測し、超音波を音声出力に混合して飽和の確率を低減し、スピーカー保護アルゴリズムによって行われるより明確な動作を可能にすることができる。この訓練には、大規模な音声ライブラリにある様々なジャンルの音楽をディープニューラルネットワーク（Ａｐｐｌｅ Ｍｕｓｉｃ、Ｓｐｏｔｉｆｙ、ＹｏｕＴｕｂｅなど）に供給することも含まれる。予測が失敗して飽和が起こった場合、超音波信号を変更（振幅を小さくするなど）するか、新たな予測が成功するまで遅延させることもできる。予測は、飽和および相互変調の両方と干渉を同時に処理するために、近くにある他の送信装置に関する知識と混合され得る。代替的に、受信処理は、スピーカー保護アルゴリズム中にスマートＰＡが行った実際の変更に関する明示的な情報を使用することもできる。この情報は、データ転送をより少なくし、消費電力の観点からはよりスマートな選択となるであろう。

【0027】

また、超音波プローブ信号の最終的な変化を分析し、その情報（振幅変動、相互変調レベル、飽和など）を超音波受信モジュールで行われる受信処理に供給することができるソフトウェアまたはハードウェアモジュールで後処理できるようにすれば、超音波処理でスピーカー保護後の出力信号（エコー基準信号など）の調整を行うことができる。

【0028】

ハイエンドのスマートフォンでは、音声と超音波の同時に発生する出力ストリームの混合は、図３および図４に示すように、音声コーデック内のハードウェアミキサーで行われる。これらの図において、超音波入力モジュールおよび出力モジュールは、２つの個別のモジュールになっている。言うまでもなく、これらのモジュールは、１つのソフトウェアモジュール内に配置され得る。

【0029】

エコー基準信号をループさせて超音波処理モジュールに戻すことで、このモジュールが入力信号の全周波数帯域を分析できるようになる。電子装置が連続的またはパルス状に音を再生している状況（アラーム、ビデオ、音楽、ゲーム、ビデオ会議など）において、超音波処理モジュールは、その超音波出力信号を送信する代わりに、可聴範囲の信号をプローブ信号として使用することができる。音が再生され、それが一連の基準に基づいて使用可能である限り、超音波検出は、可聴出力を使用して行うことができる。超音波処理モジュールは、エコー基準信号を分析し、場合によっては連続プロセスとして、エコー分析または他のタイプのエコー信号分析を容易にするために、処理モジュールのプローブ信号として実行可能な可聴信号内の識別可能なコンポーネントを選択する。

【0030】

装置が音の再生を停止すると、超音波プローブ信号を再開させる必要がある。音の再生が再開されると、多くの理由（消費電力、相互変調の問題、干渉処理など）により、超音波プローブ信号が再び一時停止される可能性がある。エコー分析において、明確に定義された超音波信号の代わりに音声再生をプローブ信号として使用するには、大規模なニューラルネットワークを含む可能性のある高度な処理が必要になる。実際の再生音の周波数コンポーネントに基づいて、超音波処理モジュールは、ランダム化されたプローブ信号から特定の周波数範囲からの信号を基準として選択してもよい。好ましい周波数帯域は、再生音の特性、または対象の使用用途に対する特定の要件または最適化に依存してもよい。

【0031】

超音波に基づく測定は、可聴周波数を使用した場合よりも精度と解像度を向上させることができることはよく知られている。そのため、一連の超音波トランスデューサを利用した超音波に基づく検出システムは、装置の近くに存在する複数の物体を検出するために使用され得る。少なくとも１つの超音波出力トランスデューサを有する電子装置が広帯域超音波信号（例えば、チャープ、ランダム変調、周波数ステップの正弦波など）を送出する場合、これは、少なくとも１つの超音波入力トランスデューサで超音波信号を受信し、ターゲット検出領域内の複数の物体を識別することができる。この処理を行うための様々な技術の詳細は、先行技術である国際公開第２０１７／１３７７５５号、国際公開第２００９／１２２１９３号、国際公開第２００９／１１５７９９号、および国際公開第２０２１／０４５６２８号に詳細に記載されている。

【0032】

識別されたエコーの解像度は、信号の帯域幅および周波数範囲に依存する。すでに一部の家電製品でサポートされている高いサンプリングレート（例えば、９６ｋＨｚ、１９２ｋＨｚ、３８４ｋＨｚなど）により、可聴周波数範囲を上回る周波数範囲で信号帯域幅が増大する（例えば、１０ｋＨｚ超）。信号の周波数範囲および帯域幅を増大させることで、複数のユーザ（物体など）を識別し、それぞれのユーザについて、指、手、腕、頭、胴、足などの異なる身体部位を別個にすることができる。

【0033】

本発明の一実施形態において、ノート型パーソナルコンピュータは、高周波の広帯域信号を送出してユーザの存在を検出することができる。また、ユーザがノート型パーソナルコンピュータの前に在席している間、ユーザがノート型パーソナルコンピュータでやりとりをしているかどうかにかかわらず、ユーザの姿勢および呼吸パターンを検出することもできる。エコー情報とセンサデータ（例えば、ヒンジ角度センサ、ＩＭＵセンサ、光センサ、圧力センサ、周囲光センサなど）とを結合させて、検出に関するより正確な情報を提供することができる。ノート型パーソナルコンピュータの主要ユーザの肩越しに覗いているユーザを識別することも、本明細書に記載の解像度の向上により可能となる。

【0034】

別の実施形態において、存在検出装置は、高周波の広帯域信号を送出してユーザの存在を検出することができる。エコーの解像度が著しく高く、より多くの詳細を抽出することができるので、存在検出装置は、ユーザの動きを監視し、データを漸進的な装置上のＭＬの訓練プロセスに供給して、ユーザの動きや歩行の異常を検出するために使用することができるディープニューラルネットワーク（ＤＮＮ）などの継続的に更新されるシステムを作製することができる。

【0035】

要約すると、本発明は、物体、例えば装置の近傍に存在する人を検出するように構成された電子装置に関する。該装置は、少なくとも１つの音声信号発生器を含み、発生された信号は、出力インタフェースを介して、混合信号を送信するスピーカーに送信される。ここで、信号は、可聴範囲および／または超音波範囲にあってもよい。また、該装置は、物体から反射された信号を受信するように構成された少なくとも１つのマイクロフォンと、マイクロフォンから信号を受信するための受信モジュールとを含む。また、受信モジュールは、スピーカーを介して送信された信号に対応する信号をそこから受信するために出力インタフェースに接続される。そのため、受信処理モジュールは、送信信号と受信信号とを比較し、送信信号の歪みを補正し、例えば送信と受信の間の時間経過を検出することで、２つの信号に基づいて物体を検出するように構成される。

【0036】

少なくとも１つの信号発生器は、超音波範囲内の信号を発生するように構成されてもよい。マイクロフォンは、超音波範囲内の信号を受信するように構成される。また、好ましくは、該装置は、可聴範囲の第２の信号を発生する音声発生器も含み、超音波信号と音声信号は、混合モジュールで混合される。

【0037】

また、該装置は、超音波発生器および音声発生器から信号を受信し、スピーカーの仕様を超えないように所定の特性に従ってスピーカーに送信される信号を調整するように構成されたスピーカー保護モジュールを含んでもよい。

【0038】

スピーカー保護モジュールは、混合モジュールに含まれていてもよく、混合モジュールに接続され、混合信号を受信し、スピーカーの仕様に従って調整することができてもよい。

【0039】

発生された信号は、音楽の一部などの既知の音声信号を構成してもよい。受信モジュールは、送信信号と受信信号との比較に基づいて、測定された反射信号を分析するように構成される。

【0040】

受信モジュールは、事前に記憶されたデータセットに基づいて送信信号と受信信号とを比較するように構成されてもよい。この場合、事前に記憶されたデータセットは、人の存在を示す受信信号の特性を選択する機械学習アルゴリズムを使用して分析された過去の一連の測定値に基づいてもよい。

【0041】

受信モジュールが受信した信号に基づいて、送信信号と比較された反射信号を分析することによって、ユーザが装置の近傍にいるかどうかを検出するために装置が使用されてもよい。また、直接比較に基づいて、装置の近くにいるユーザによるジェスチャなどの動き、またはユーザの姿勢を検出することができてもよい。これは、複数のマイクロフォンを使用して実行されてもよく、好ましくは、ジェスチャと同様に、ユーザのサイズと上部の可聴範囲と超音波範囲を使用してもよい。また、受動的な物体とユーザを区別するために、所定の速度で一連の測定における動きを分析し、乱流を認識するために高周波信号を使用することで、物体に近い呼吸を認識することができる。マイクロフォンのみを使用して、音声認識を使用して特定のユーザを認識し、ユーザの位置を計算し、その結果、領域内の他のユーザや物体を無視することも可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-07-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

電子装置であって、
物体、例えば前記電子装置の近傍に存在する人を検出するように構成され、少なくとも１つの音声信号発生器を含み、
発生された信号は、スピーカー保護モジュールを含む出力インタフェースを介して、音響信号を送信するスピーカーに送信され、
前記スピーカー保護モジュールは、前記信号に歪みを加えるように構成され、
前記電子装置は、前記物体から反射された信号を受信するように構成された少なくとも１つのマイクロフォンを含み、
前記電子装置は、前記マイクロフォンから前記信号を受信するための受信処理モジュールを含み、
前記受信処理モジュールは、前記スピーカーを介して送信された前記信号に対応する信号をそこから受信するために前記出力インタフェースに接続され、
前記受信処理モジュールは、送信された前記信号と受信した前記信号とを比較し、発生された前記信号に前記スピーカー保護モジュールで加えられた、送信された前記信号の歪みを補正し、補正された前記信号に基づいて前記物体を検出するように構成される、
電子装置。

【請求項2】

前記少なくとも１つの音声信号発生器は、超音波範囲内の信号を発生するように構成された超音波発生器であり、前記マイクロフォンは、前記超音波範囲内の信号を受信するように構成される、請求項１に記載の電子装置。

【請求項3】

前記超音波発生器は、別個の発生器であり、前記音声信号発生器からの信号と前記超音波発生器からの信号は、混合モジュールで混合される、請求項２に記載の電子装置。

【請求項4】

前記超音波発生器および前記音声信号発生器から前記信号を受信し、前記スピーカーの仕様を超えないように所定の特性に従って前記スピーカーに送信される前記信号を調整するように構成された前記スピーカー保護モジュールを含む、請求項３に記載の電子装置。

【請求項5】

前記スピーカー保護モジュールは、前記混合モジュールに含まれる、請求項４に記載の電子装置。

【請求項6】

前記スピーカー保護モジュールは、前記混合モジュールに接続され、混合された前記信号を受信し、前記スピーカーの仕様に従って前記信号を調整する、請求項４に記載の電子装置。

【請求項7】

発生された前記信号は、可聴範囲内にある、請求項１に記載の電子装置。

【請求項8】

発生された前記信号は、音楽の一部などの既知の音声信号を構成し、前記受信処理モジュールは、送信された前記信号と受信した前記信号との比較に基づいて、測定された前記反射された信号を分析するように構成される、請求項７に記載の電子装置。

【請求項9】

前記受信処理モジュールは、事前に記憶されたデータセットに基づいて、送信された前記信号と受信した前記信号とを比較するように構成される、請求項１に記載の電子装置。

【請求項10】

前記事前に記憶されたデータセットは、人の存在を示す受信した前記信号の特性を選択する機械学習アルゴリズムを使用して分析された過去の一連の測定値に基づいている、請求項９に記載の電子装置。

【国際調査報告】