特表 2024-537528 存在検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-10

(54)【発明の名称】存在検出装置

(51)【国際特許分類】

   G01S 15/46 20060101AFI20241003BHJP

【ＦＩ】

G01S15/46

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024526770

(86)(22)【出願日】2022-11-03

(85)【翻訳文提出日】2024-07-04

(86)【国際出願番号】 EP2022080720

(87)【国際公開番号】W WO2023079022

(87)【国際公開日】2023-05-11

(31)【優先権主張番号】20211335

(32)【優先日】2021-11-05

(33)【優先権主張国・地域又は機関】NO

(81)【指定国・地域】

(71)【出願人】

【識別番号】520089657

【氏名又は名称】エリプティック ラボラトリーズ エーエスエー

【氏名又は名称原語表記】ＥＬＬＩＰＴＩＣ ＬＡＢＯＲＡＴＯＲＩＥＳ ＡＳＡ

【住所又は居所原語表記】Ｈａｕｓｍａｎｎｓ ｇａｔｅ ２１， ０１８２ Ｏｓｌｏ， Ｎｏｒｗａｙ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】クロヴニング，エスペン

【テーマコード（参考）】

5J083

【Ｆターム（参考）】

5J083AA05

5J083AB12

5J083AD01

5J083AD15

5J083AE08

5J083BE54

(57)【要約】

本発明は、存在検出電子装置、およびそのような装置を使用するための方法に関する。該装置は、その環境から音響信号を受信するように構成された少なくとも１つのマイクロフォンと、受信信号を分析するためにマイクロフォンに接続されたプロセッサと、を含む。また、該装置は、音響源からの送信信号を直接検出し、直接送信された信号と受信信号とを比較して、送信信号と反射信号との比較結果に基づいて、装置の近傍に物体またはユーザが存在するかどうかを識別するための手段を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

環境からの音響信号である受信信号を受信するように構成された少なくとも１つのマイクロフォンと、前記受信信号を分析するために前記マイクロフォンに接続されたプロセッサと、を含む存在検出電子装置であって、
前記存在検出電子装置は、音響源からの送信信号を直接検出し、直接送信された前記送信信号と前記受信信号とを比較する手段をさらに含み、
前記送信信号と物体またはユーザから反射された反射信号との比較に基づいて、前記存在検出電子装置の近傍に前記物体または前記ユーザが存在するかどうかを識別する、
存在検出電子装置。

【請求項2】

前記存在検出電子装置は、少なくとも２つのマイクロフォンを含み、前記プロセッサは、前記受信信号の方向を検出するように構成される、請求項１に記載の存在検出電子装置。

【請求項3】

前記音響源は、前記存在検出電子装置から独立しており、前記プロセッサは、直接的な前記音響信号および第１の反射を検出し、到達時間の差から、前記存在検出電子装置の近傍にユーザが存在する可能性を計算するように構成される、請求項１に記載の存在検出電子装置。

【請求項4】

前記プロセッサは、前記音響源への方向および前記反射信号の方向、ならびに検出器への信号到達間の時間差を検出し、ユーザが存在する可能性を分析するように構成される、請求項２または３に記載の存在検出電子装置。

【請求項5】

前記プロセッサは、前記マイクロフォンで受信した前記音響信号をフィルタリングするように構成され、
前記フィルタは、１ｋＨｚなど、特定の限界値を上回る周波数を選択するハイパスフィルタであり、これにより、異なる音響伝播経路間の区別の精度が向上する、
請求項１に記載の存在検出電子装置。

【請求項6】

前記プロセッサは、前記受信信号と比較するために、前記送信信号を無線または有線の電子接続から受信するように構成される、請求項１に記載の存在検出電子装置。

【請求項7】

前記無線または有線の電子接続は、スピーカー保護プロセスまたは信号処理および増幅の制限に起因するあらゆる歪みを補償するように、スピーカーに接続されるか、前記スピーカーの近くに接続される、請求項６に記載の存在検出電子装置。

【請求項8】

前記プロセッサは、一連のサンプルを含むデータベースとの比較によって、送信された前記音響信号を認識し、前記受信信号と前記サンプルとを比較して前記受信信号を分析し、前記受信信号における反射信号を検出するように構成される、請求項１に記載の存在検出電子装置。

【請求項9】

前記サンプルは、ストリーミングサービスなどの音楽ライブラリを含み、オリジナルと比較した前記受信信号の歪みに基づいてユーザを識別することができる、請求項８に記載の存在検出電子装置。

【請求項10】

前記プロセッサは、振幅および周波数範囲などの前記受信信号の特性を分析して、検出された前記ユーザの大きさ、位置、姿勢、またはあらゆるジェスチャを評価するように構成される、請求項１に記載の存在検出電子装置。

【請求項11】

音響信号の送信後に、装置の近傍におけるユーザを識別するための方法であって、
・ 第１の音響信号を第１の到達時間で受信するステップと、
・ 少なくとも１つのマイクロフォンにおいて、送信された前記音響信号の反射を表す第２の音響信号を第２の到達時間で受信するステップと、
・ 前記第１の到達時間と前記第２の到達時間との差に基づいて、反射している物体または人が前記装置から所定の距離内に存在するかどうかを示すステップと、
を含む、方法。

【請求項12】

前記装置は、２つのマイクロフォンを含み、反射された前記音響信号の方向を計算し、前記装置に対して前記ユーザの位置が所定の領域内にあるかどうかの表示を提供するステップを含む、請求項１１に記載の方法。

【請求項13】

受信した前記第１の音響信号は、前記マイクロフォンで受信される、請求項１１に記載の方法。

【請求項14】

送信された前記音響信号は、既知の特性を有し、前記特性は、例えばデータベースに格納された音または音楽を含み、受信した前記第２の音響信号と前記既知の特性とを比較して前記装置の近傍に物体またはユーザが存在するかどうかを計算する、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの動きおよびジェスチャを含む、ユーザまたは物体の存在の検出に関する。

【背景技術】

【0002】

例えば、米国特許第９６７８５５９号に記載されているように、電子装置に対するユーザの存在を検出することはよく知られており、音響、振動、および視覚センサを含む多数の異なるセンサが、ユーザの存在を検出するために提案されている。ここでは、電子装置の近くでの活動を認識するために、機械学習が使用される。しかしながら、この解決策は、ノイズや予期せぬ状況に対して脆弱である。欧州特許第２３８９５９８号には、ユーザが携帯可能な携帯電話または同様の装置が検出可能な信号を送信するように構成されているシステムが記載されている。この解決策では、携帯電話の存在と位置を検出するために、携帯電話からの直接的な信号と室内での反射を使用する。そのため、監視領域には、設置場所に接続された多数のパッシブ音響受信機が含まれる。

【0003】

また、アクティブ検出もよく知られており、例えば、超音波プローブ信号を送出し、検出領域内の物体からの超音波エコーを装置内の超音波受信機がピックアップすると、それらの信号を比較および分析し、人が存在しているかどうかを判定する。これにより、ユーザは、送信機を携帯する必要がない。ただし、この方式が機能するには、少なくとも１つの超音波受信機と少なくとも１つの超音波送信機が必要である。超音波受信機および送信機は、超音波信号の送信と受信を同時に行うことができる同じ構成要素に組み合わされている場合もある。このようなアクティブ存在検出が国際公開第２０２１／０４５６２８号およびノルウェー王国特許出願第２０２１０３０４号、ならびに同時に出願されたノルウェー王国特許出願第２０２１１３３２号およびノルウェー王国特許出願第２０２１１３３３号に詳細に記載されており、これらは参照により本出願に組み込まれる。装置は、コンピュータ、電話機、テレビジョン、または装置に近い領域内のユーザに応答するユーザインタフェースを有するタブレット端末などのあらゆる電子装置であってもよい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

超音波に基づく存在検出センサの主な問題として、干渉、ノイズの多い環境、消費電力、および同じ送信装置で同時に音声を再生することによる相互変調効果が挙げられる。別の問題として、アクティブ送信機および受信機を使用する装置の消費電力に関するものが挙げられる。

【課題を解決するための手段】

【0005】

本発明は、低消費電力を維持しながら存在検出を実現するための革新的なアプローチに関する。これは、添付の特許請求の範囲に記載されるように達成される。

【0006】

そのため、本発明は、明示的に音を再生するあらゆる装置（ラジオ、テレビジョン、スマートスピーカー、ハイファイシステム、スマートフォンなど）からの出力、または動作するだけで音を発生するあらゆる物体（コーヒーミル、ＰＣファン、食器洗い機など）からの出力を含む、その環境中のあらゆる可聴音または不可聴音（低周波音、超音波音など）を利用するコンセプトに基づいている。また、生き物（犬、人、猫など）が発する声や動き回る音（床がきしむ音、物にぶつかる音、物が壊れる音、遊んでいるときの音など）も利用することができる。その考え方として、存在検出装置は、少なくとも１つの音響受信機でピックアップすることができる、存在検出センサの検出領域の近く、あるいは検出領域内の検出可能なあらゆる音響信号を利用するべきである。

【図面の簡単な説明】

【0007】

以下、本発明を例示的に示す添付の図面を参照して本発明をより詳細に説明する。

【図1】本発明の好ましい実施形態を示す図である。

【発明を実施するための形態】

【0008】

図１に示すように、好ましい実施形態による装置５は、インタフェース４を介してプロセッサ９に接続された少なくとも２つのマイクロフォン１を含む。プロセッサ９は、マイクロフォン１が受信した音響信号の周波数、位相、および振幅を分析するように構成される。マイクロフォンの数は、使用目的によって異なっていてもよく、通常使用される装置に実装されているマイクロフォン、または本目的のために特別に設計されたマイクロフォンから構成されてもよく、マイクロフォンアレイまたはマトリックスとして構成されてもよい。プロセッサは、存在検出モジュール１０に信号を転送し、存在検出モジュール１０は、装置を起動するため、または外部のシステムに、存在検出信号を転送することができる。装置５は、コンピュータ、携帯電話、またはゲーム機などの通信インタフェースまたはスクリーンの起動など、ユーザの存在が装置の性能に影響を与えるような装置であれば、どのような装置であってもよい。

【0009】

本発明は、装置の近傍に少なくとも１つの音響源１３、例えば信号を発信するスピーカー２を有するラジオ１３が存在することに基づいている。スピーカーからの信号は、空間を伝播し、その領域内に存在する人または物体７で反射され、その反射の一部をマイクロフォンが受信する。室内に他の物体があったとしても、マイクロフォンが受信する音のパターンは、ユーザの入室によって変化する。これは、パターンの変化を表し、分析により、この変化を、ユーザ７が存在する可能性として定義することができる。また、以前に測定されたパターンと新しいパターンとを比較することで、ユーザまたは物体への方向を計算することができる。検出処理の一部として、プロセッサは、室内の特徴および物体を区別しやすい特定の周波数範囲、例えば高周波や超音波範囲をフィルタリングして除外し、その範囲における存在を計算してもよい。このような処理は、室内で測定された制御信号から音レベルを調整する室内補正アルゴリズムと関連している。

【0010】

音響源は、可聴範囲または超音波範囲において音を発生するものであればどのようなものであってもよい。人が存在するかどうかの判断には、精度の点から制御信号が好ましいが、精度が低い、より複雑な信号が用いられてもよい。一実施形態によれば、信号は既知または認識可能であり、例えば、プロセッサが認識する音楽であってもよい。これにより、認識および保存された音楽と、マイクロフォンが検出した音楽とを比較することができるようになる。

【0011】

そのため、音響受信機１，９は、常時動作することも、必要に応じて節電のためにデューティサイクルを行うこともできる。また、存在検出センサは、音声認識を介して装置の主要ユーザを識別するために、装置上のオンザフライトレーニングを使用することができる。検出領域内にいる主要ユーザを識別することで、存在検出装置に追加情報を加えることができる。なりすましのリスクがあるため、ユーザが検出領域に入ることを許可するために音声認識を単独で使用するのは好ましくない。検出領域がセキュリティ領域である場合、存在検出アラームを無効にするために音声認識を使用することは、保護された空間を担当するユーザまたは組織によって設定可能であり得る。

【0012】

存在検出装置がアクセスシステムによって制御されている場合、音声認識システムは、アクセスシステムが侵入イベントを記録していないときのみ、装置の主要ユーザを識別するためのオンザフライトレーニングを行うべきである。同様に、ノート型パーソナルコンピュータのＨＰＤセンサは、装置に近接する必要がある少なくとも１つの入力方法（例えば、タッチスクリーン、キーボード、マウス、など）を使って装置とやりとりをしている場合のみ、オンザフライトレーニングを行うべきである。

【0013】

上述したように、存在検出装置は、利用可能な外部音源の位置を、連続的にまたは必要に応じてデューティサイクルで三角測量を行うことが好ましい。代替的に、存在検出装置は、利用可能であれば、装置自体の中の送信機から発せられたプローブ信号（例えば、音楽、トーン、会話など）を使用することができ、または必要な処理を減らすために装置と結合および同期させることもできる。この場合、スピーカーからの送信信号は、有線または無線接続１１を使用してプロセッサに直接供給されてもよい。

【0014】

より詳細には、本発明により、振幅、アップタイム、相対位置、距離、識別可能性などの一連の関連基準に基づいて、一連の利用可能な音源から最適な音源を選択する。存在検出装置これらの選択された音源と、それらが検出領域内のユーザで跳ね返る際に発生するエコーを使用して、誰かが検出領域に存在しているかどうかを識別する必要がある。存在検出センサは、音源１３からの直接経路１４の信号と、ユーザ７で反射された音信号１５の結果として生じるエコー１６とを受信して、受信したこれらの情報１４、１６を使用してユーザが存在しているかどうかを調査する。ＨＰＤセンサを有するノート型パーソナルコンピュータの場合、ユーザのあらゆる部分から跳ね返る音源エコーと、少なくとも１つの音源からの直接経路音の両方を分析することで、ユーザがノート型パーソナルコンピュータの前に在席しているかどうかを見出すことができる。同じ原理が、特定の検出領域をもつ他の存在検出装置に適用される。分析には、高度な信号処理と、１つまたは複数のニューラルネットワークエンジンの直列または並列実行の両方が含まれる可能性があり、ソフトウェアで実行されるか、ＭＬで最適化されたハードウェアエンジンで加速される可能性がある。

【0015】

上述したように、音源の三角測量には少なくとも２つの音響受信機が必要である。これらの受信機は、受信機の物理的な配置が三角測量法でわかっていれば、三角測量が可能になるように分離されている。本明細書に記載の周波数範囲は、通常０～３８４ｋＨｚである。より高い周波数も可能であり、これにより、メモリ、処理要件、および消費電力を犠牲にして、より多くの帯域幅を使用することができるようになる。音源の三角測量に理想的な受信機の他の構成として、受信機アレイが挙げられる。マイクロフォンアレイ内のマイクロフォン間の距離は、通常、周波数に依存するので、マイクロフォンアレイのレイアウトによって、マイクロフォンアレイの能力を利用できる周波数範囲が決まる。音響受信機を可能な限り離すと有利であり得る。また、それらの位置も重要であり、注意して選択する必要がある。音響受信機を追加することで、全体的に三角測量が改善され、存在検出ソリューションが向上する。

【0016】

ターゲット検出領域の存在検出に利用できる音響音のない空間または部屋に装置がある場合、存在検出センサは、国際公開第２０２１／０４５６２８号およびノルウェー王国特許出願第２０２１０３０４号に記載されているように、可聴信号（例えば、癒し系の音楽）または超音波信号を再生するか、または可聴音（例えば、音楽、ビデオ、オーディオ、ファンノイズなど）を発信することによって、プローブ信号の使用を開始することができる。これにより、存在検出ソリューションは、これらを検出し、生成された音響信号の理想的な部分を選択することができる。

【0017】

音が装置内の少なくとも１つのスピーカーによって発信される場合、通常、エコーキャンセルモジュールにフィードバックされるエコー基準信号コピーは、発信された信号に関する情報を提供する存在検出モジュール１０に転送され得る。エコー基準信号を受信信号と比較することは、これらの信号に基づくエコー分析に基づく存在検出ソリューションを実装するために使用することができる
なお、「存在検出」という表現は、ユーザが存在するかどうかの検証を含むだけでなく、利用可能なトランスデューサ、マイクロフォン、および送信信号の制限内で、例えば、送信音と比較した反射特性を検出して、物体が硬い（人ではない可能性がある）か、柔らかいかを検出したり、装置に対する速度や方向を測定するシーケンスをサンプリングしたりすることによって、検出された物体の性質を検出または認識するように構成することも含むことに留意されたい。また、信号を分析することで、ユーザの姿勢（例えば、装置にもたれかかっているか、リラックスしているかなど）を認識することもできる。

【0018】

上述したように、周波数が高いほど精度と解像度が向上することはよく知られているので、存在を検出するために高い周波数、好ましくは超音波の範囲の周波数を選択して使用する処理にフィルタを使用すると有利な場合がある。このように、一連の高周波トランスデューサを利用した超音波または高周波可聴音に基づく検出システムは、装置の近くにある複数の物体を検出するために使用され得る。

【0019】

例えば、少なくとも１つの超音波出力トランスデューサを有する電子装置が広帯域超音波信号（例えば、チャープ、ランダム変調、周波数ステップの正弦波など）を送出する場合、これは、少なくとも１つの超音波入力トランスデューサで超音波信号を受信し、ターゲット検出領域内の複数の物体を識別することができる。この処理を行うための様々な技術の詳細は、国際公開第２０１７／１３７７５５号、国際公開第２００９／１２２１９３号、国際公開第２００９／１１５７９９号、および国際公開第２０２１／０４５６２８号に記載されている。

【0020】

識別されたエコーの解像度は、信号の帯域幅および周波数範囲に依存する。すでに一部の家電製品でサポートされている高いサンプリングレート（例えば、９６ｋＨｚ、１９２ｋＨｚ、３８４ｋＨｚなど）により、可聴周波数範囲を上回る周波数範囲で信号帯域幅が増大する（例えば、１０ｋＨｚ超）。信号の周波数範囲および帯域幅を増大させることで、複数のユーザ（物体など）を識別し、それぞれのユーザについて、指、手、腕、頭、胴、足などの異なる身体部位を別個にすることができる。高周波信号は、例えば呼吸による乱流の影響を受ける場合がある。これは、信号の位相、周波数、および振幅における変動などの受信信号の変動を使用して、呼吸している人と物体とを区別することができることを意味する。

【0021】

本発明の一実施形態において、ノート型パーソナルコンピュータは、高周波の広帯域信号を送出してユーザの存在を検出することができる。また、ユーザがノート型パーソナルコンピュータの前に在席している間、ユーザがノート型パーソナルコンピュータでやりとりをしているかどうかにかかわらず、ユーザの姿勢および呼吸パターンを検出することもできる。エコー情報とセンサデータ（例えば、ヒンジ角度センサ、ＩＭＵセンサ、光センサ、圧力センサ、周囲光センサなど）とを組み合わせて、検出に関するより正確な情報を提供することができる。ノート型パーソナルコンピュータの主要ユーザの肩越しに覗いているユーザを識別することも、本明細書に記載の解像度の向上により可能となる。

【0022】

別の実施形態において、存在検出装置は、高周波の広帯域信号を送出してユーザの存在を検出することができる。エコーの解像度が著しく高く、より多くの詳細を抽出することができるので、存在検出装置は、ユーザの動きを監視し、データを漸進的な装置上のＭＬの訓練プロセスに供給して、ユーザの動きや歩行の異常を検出するために使用することができるディープニューラルネットワーク（ＤＮＮ）などの継続的に更新されるシステムを作製することができる。

【0023】

要約すると、本発明は、環境からの音響信号を受信するように構成された少なくとも１つのマイクロフォンと、受信信号を分析するためにマイクロフォンに接続されたプロセッサと、を含む存在検出電子装置に関する。また、該装置は、装置とは別に配置された音響源からの送信信号を直接検出し、直接送信された送信信号と物体またはユーザから反射された信号とを比較して、比較結果に基づいて装置の近傍に物体またはユーザが存在するかどうかを識別するための、マイクロフォン、音響トランスデューサ、およびプロセッサなどの手段を含む。好ましくは、該装置は、少なくとも２つのマイクロフォンを含み、プロセッサは、送信信号と反射した信号とを含む受信信号の方向を検出するように構成される。

【0024】

一実施形態によれば、音響源は、装置から独立しており、プロセッサは、直接音響信号および第１の反射を検出し、到達時間の差から、装置の近傍にユーザが存在する可能性を計算するように構成される。

【0025】

プロセッサは、音響源への方向および反射した信号の方向、ならびに検出器への信号到達間の時間差を検出し、ユーザが存在する可能性を分析するように構成されてもよい。受信信号からさらなる分析を行い、想定されるユーザの性質（反射率、硬度など）を分析することができる。また、プロセッサは、以前の測定値の時間履歴を比較して、近傍に新たな物体またはユーザが存在することを示している可能性がある受信信号の変化を検出するように構成されてもよい。

【0026】

また、プロセッサは、マイクロフォンで受信した音響信号をフィルタリングするように構成されてもよい。フィルタは、１ｋＨｚなど、特定の限界値を上回る周波数を選択するハイパスフィルタであり、これにより、異なる音響伝播経路間の区別の精度が向上する。

【0027】

また、少なくとも１つのマイクロフォンを介して送信信号を検出する代わりに、プロセッサは、受信信号と比較するために、送信信号を無線または有線の電子接続から直接受信するように構成されてもよい。この場合、有線または無線接続は、スピーカー保護プロセスまたは信号処理および増幅の制限に起因するあらゆる歪みを補償するように、スピーカーに接続されるか、スピーカーの近くに接続される。

【0028】

プロセッサは、ストリーミングサービスなどの一連のサンプルを含むデータベースとの比較によって、送信された音響信号を認識し、受信信号とサンプルとを比較して受信信号を分析し、受信信号における反射信号を検出するように構成されてもよい。この場合、プロセッサは、オリジナルと比較した受信信号における歪みに基づいてユーザを識別するように構成されてもよい。

【0029】

また、処理能力とマイクロフォンの精度によっては、プロセッサは、振幅および周波数範囲などの受信信号の特性を分析して、検出されたユーザの大きさ、位置、姿勢、またはあらゆるジェスチャを評価するように構成されてもよい。

【0030】

また、本発明は、音響信号の送信後に、装置の近傍に存在するユーザを識別するための方法に関する。該方法は、
・ 第１の音響信号を第１の到達時間で受信するステップと、
・ 少なくとも１つのマイクロフォンにおいて、送信された音響信号の反射を表す第２の音響信号を第２の到達時間で受信するステップと、
・ 第１の到達時間と第２の到達時間との差に基づいて、反射している物体または人が装置から所定の距離内に存在するかどうかを示すステップと、
を含む。

【0031】

好ましくは、該装置は、２つのマイクロフォンを含む。そのため、該方法は、反射された音響信号の方向を計算するステップと、装置に対してユーザの位置が所定の領域内にあるかどうかの表示を提供するステップと、を含む。送信信号がプロセッサに直接接続されていない場合、第１の受信信号は、マイクロフォンで受信される。

【図1】

【国際調査報告】