ホーム > 特許ランキング > ソネア アクティーゼルスカブ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-01
(54)【発明の名称】構造内の物体撮像
(51)【国際特許分類】
G01S 7/52 20060101AFI20240125BHJP
G01S 15/89 20060101ALI20240125BHJP
【ＦＩ】
G01S7/52 E
G01S15/89 B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023546483
(86)(22)【出願日】2022-02-01
(85)【翻訳文提出日】2023-09-12
(86)【国際出願番号】 GB2022050264
(87)【国際公開番号】W WO2022162405
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】2101374.3
(32)【優先日】2021-02-01
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】523290067
【氏名又は名称】ソネア アクティーゼルスカブ
(74)【代理人】
【識別番号】110000556
【氏名又は名称】弁理士法人有古特許事務所
(72)【発明者】
【氏名】ダール， トビアス
(72)【発明者】
【氏名】タイホルト， フロード
(72)【発明者】
【氏名】チューディ， ヨン
【テーマコード（参考）】
5J083
【Ｆターム（参考）】
5J083AA02
5J083AB14
5J083AC29
5J083AD01
5J083AD04
5J083AE06
5J083AE08
5J083AF01
5J083CA01
5J083CA10
5J083CA12
5J083CB01
5J083DA01
5J083DC01
(57)【要約】
周囲構造（２６、８０、８６、９８、１０４）内の少なくとも１つの受動物体（２４、３８、４６、７８、９０、９６、１０８）を撮像する方法及びシステムが提供される。周囲構造（２６、８０、８６、９８、１０４）は、複数の表面（２８、８２、１００）を有する。方法は、超音波送信機（１６、７０）のアレイ（４、８８、９６、１０６）を使用して、超音波信号を周囲構造（２６、８０、８６、９８、１０４）内に送信することと、超音波送信機（１８、７２）のアレイ（４、８８、９６、１０６）を使用して、受動物体から反射を受信することと、を含む。方法はまた、超音波信号が周囲構造表面（２８、８２、１００）からの少なくとも１つの反射を含むように、表面（２８、８２、１００）のうちの少なくとも１つの位置に関連する記憶されたデータを使用して、超音波信号を誘導することを含む。
【特許請求の範囲】
【請求項1】
複数の表面を有する周囲構造内の少なくとも１つの受動物体を撮像する方法であって、超音波送信機のアレイを使用して、前記周囲構造内に超音波信号を送信することと、
超音波受信機のアレイを使用して、前記受動物体からの反射を受信することと、
前記表面のうちの少なくとも１つの位置に関連する記憶されたデータを使用して、前記超音波信号が周囲構造表面からの少なくとも１つの反射を含むように、前記超音波信号を誘導することと、を含む、方法。
【請求項2】
更なる処理の前に、前記送信機から前記受信機に直接送信された信号が記録された信号混合から減算される信号減算を使用することを含む、請求項１に記載の方法。
【請求項3】
前記周囲構造によって画定された空間の所定の部分を撮像から除外することを含む、請求項１又は２に記載の方法。
【請求項4】
前記誘導することの前に、前記周囲構造表面の位置を推定するために、前記超音波送信機アレイ及び／又は前記超音波受信機アレイを使用することを含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
撮像中又は撮像のエピソード間に、前記周囲構造表面情報を更新することを含む、請求項１～４のいずれ一項に記載の方法。
【請求項6】
反復手順において、前記超音波信号を誘導することを含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記アレイからの前記超音波信号の１つ以上の反射について、前記受動物体についての推定された受信信号をシミュレートすることと、実際の受信信号を含む前記反射を前記推定された受信信号と比較することと、を含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記推定された受信信号を、前記周囲構造の過去の特性からシミュレートされた画像、前記周囲構造における前記受動物体の過去の画像、又は前記受動物体の予備画像に基づかせることを含む、請求項７に記載の方法。
【請求項9】
前記推定された受信信号を前記実際の受信信号と比較することによって、前記推定された信号の精度を判定することを含む、請求項７又は８に記載の方法。
【請求項10】
前記推定された受信信号を前記実際の受信信号と比較するために、勾配探索を実行することを含む、請求項７～９のいずれか一項に記載の方法。
【請求項11】
前記受動物体の特性に基づいて、前記送信信号を誘導することを含む、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
前記特性が、前記受動物体の形状、サイズ又は動きに関連する、請求項１１に記載の方法。
【請求項13】
単一の誘導された超音波信号を使用して、撮像することを含む、請求項１～１２のいずれか一項に記載の方法。
【請求項14】
複数の超音波信号を異なる方向に送信するために、前記アレイを使用することを含む、請求項１～１２のいずれか一項に記載の方法。
【請求項15】
前記複数の超音波信号を同時に送信することを含む、請求項１４に記載の方法。
【請求項16】
前記ビームのエネルギーを主に前記受動物体上に集束させることによって、前記受動物体の形状に一致するように前記送信された超音波信号の形状を修正することを含む、請求項１～１５のいずれか一項に記載の方法。
【請求項17】
前記物体の判定された場所に基づいて、可聴オーディオのビームを前記物体に能動的に誘導することを含む、請求項１～１６のいずれか一項に記載の方法。
【請求項18】
前記受動物体が、人であり、前記可聴オーディオのビームが、人間に聞こえる周波数を有し、前記方法が、ユーザに可聴音を提供するために、前記可聴オーディオのビームを前記人に向かって誘導することを含む、請求項１７に記載の方法。
【請求項19】
前記受動物体の視覚表現を作成することを含む、請求項１～１８のいずれか一項に記載の方法。
【請求項20】
前記表面のうちの少なくとも１つの位置に関連する記憶されたデータ及び受信された反射データを、前記アレイの外部で処理することを含む、請求項１～１９のいずれか一項に記載の方法。
【請求項21】
圧縮感知及び／又はスパース性方法を使用することを含む、請求項１～２０のいずれか一項に記載の方法。
【請求項22】
前記超音波信号のドップラーシフトを計算することと、前記撮像のために前記ドップラーシフトを使用することと、を含む、請求項１～２１のいずれか一項に記載の方法。
【請求項23】
複数の表面を有する周囲構造内の少なくとも１つの受動物体を撮像するように構成されたシステムであって、前記周囲構造内に超音波信号を送信するように構成された超音波送信機のアレイと、
前記受動物体からの反射を受信するように構成された超音波受信機のアレイと、を備え、
前記システムは、前記超音波信号が周囲構造表面からの少なくとも１つの反射を含むように、前記表面のうちの少なくとも１つの位置に関連する記憶されたデータを使用して、前記超音波信号を誘導するように構成されている、システム。
【請求項24】
別個の送信機と、受信機と、を内部に備える、単一のアレイを有する、請求項２３に記載のシステム。
【請求項25】
前記別個の送信機及び受信機が、異なる圧電材料を使用して製作されている、請求項２４に記載のシステム。
【請求項26】
前記超音波信号が、２０％以上の比帯域幅を有する、請求項２３～２５のいずれか一項に記載のシステム。
【請求項27】
前記受信機アレイが、微小電気機械システムマイクロホンを備える、請求項２３～２６のいずれか一項に記載のシステム。
【請求項28】
前記超音波受信機アレイが、光受信機を備える、請求項２３～２７のいずれか一項に記載のシステム。
【請求項29】
前記受信機アレイが、前記可聴周波数範囲内にピーク応答を有するマイクロホンアレイであり、前記送信機アレイが、超音波周波数範囲内の音波の半波長に等しい前記送信機間の間隔を有する、請求項２３～２８のいずれか一項に記載のシステム。
【請求項30】
少なくとも１つの受動物体を撮像するためのデバイスであって、超音波信号を送信するように構成された超音波送信機のアレイであって、前記アレイの一対の隣接する送信機が、超音波周波数範囲内の音波の半波長に等しい間隔を有する、超音波送信機のアレイと、
前記受動物体からの反射を受信するように構成されたマイクロホンのアレイであって、前記マイクロホンは、可聴周波数範囲内にピーク応答を有する、マイクロホンのアレイと、を備え、
前記反射を使用して、前記物体の画像を判定するように構成されている、デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周囲構造、具体的には、排他的ではないが、部屋又は他のエンクロージャなどの壁を有する構造内の物体の撮像に関する。
【0002】
部屋又は他の囲まれた空間に何があるかを判定できることが有用である多くの異なる用途がある。これを行う１つの方式は、もちろんカメラを使用することである。しかしながら、従来の光学撮像では、空間の一部が物体又は構造的特徴によって覆い隠され得るので、見通し線の問題が生まれる。したがって、部屋を完全に撮像するために、複数のカメラが必要とされ得る。
【0003】
例えば、建築規制又は耐火性目的などのために部屋の占有レベルを判定するとき、カメラは部屋の２Ｄ画像を提供することしかできない。部屋が高い占有レベルを有する場合、一部の人々により、カメラが他の人々を撮像することが妨げられ、したがって、見通し線にいる人々のみが撮像され得るので、占有レベルの正確な測定値を得ることが阻まれ得る。したがって、カメラの見通し線から隠れている人々の画像を提供するために、複数の他のカメラを使用して、部屋の複数の視点を提供しなければならない。
【0004】
カメラはまた、撮像用の可視光が不足している可能性があるため、囲まれた容器の内部を撮像するなどの撮像用途には理想的ではない。
【0005】
したがって、本出願人は、そのような状況において従来の光学撮像と関連付けられた欠点があることを認めた。
【0006】
第１の態様から見ると、本発明は、複数の表面を有する周囲構造内の少なくとも１つの受動物体を撮像する方法であって、
超音波送信機のアレイを使用して、周囲構造内に超音波信号を送信することと、
超音波受信機のアレイを使用して、受動物体からの反射を受信することと、
当該表面のうちの少なくとも１つの位置に関連する記憶されたデータを使用して、超音波信号が周囲構造表面からの少なくとも１つの反射を含むように、超音波信号を誘導することと、を含む、方法を提供する。
超音波送信機のアレイを使用して、周囲構造内に超音波信号を送信することと、
超音波受信機のアレイを使用して、受動物体からの反射を受信することと、
当該表面のうちの少なくとも１つの位置に関連する記憶されたデータを使用して、超音波信号が周囲構造表面からの少なくとも１つの反射を含むように、超音波信号を誘導することと、を含む、方法を提供する。
【0007】
本発明は、上述した撮像方法を実行するように構成されたシステムに及ぶ。
【0008】
したがって、当業者であれば、本発明に従い、直接及び間接（構造から反射された）の両方の超音波信号が、周囲構造の知識と組み合わされたときに受動物体を撮像するために使用されることを理解するであろう。本発明に従い、反射を使用して、受動物体の画像を判定することができる。これは、物体を撮像するために周囲構造表面からの間接反射を使用することで、送信機／受信機の単一のアレイが複数の視点から効果的に撮像することが可能になるという点で、本出願人によって特定された光学カメラ撮像手法の欠点のうちの１つに対処する。例えば、周囲構造が部屋である場合、超音波信号は、壁、床、及び天井で反射し得る。したがって、壁、床、及び天井は、「二次仮想光源」として作用し、単一のアレイを使用して物体を撮像することができる複数の有効な視点を提供してもよい。
【0009】
典型的には、超音波送信機のアレイ及び超音波受信機のアレイは、典型的には、それぞれのハウジング内にあるか、又は好ましくは、共通のハウジング内にある。本明細書における周囲構造への言及は、そのようなハウジングを指すものではなく、アレイ及び撮像される物体が配設される構造を指すものであることを理解されたい。
【0010】
比較として、複数の異なる視点から物体を撮像するために、複数の光学カメラが必要とされる。これらの複数の視点は、アレイの直接の見通し線内にない物体の側面の撮像を可能にすると共に、見通し線によって遮蔽される遮られた物体の撮像を可能にする。
【0011】
超音波を使用する撮像は、上述した周囲構造表面からの反射に加えて、従来のカメラと比較して他の利点を導入する。光とは異なり、超音波は窓を通過せず、代わりに窓によって反射される。ガラス窓は、超音波信号に対して「透明」ではない。これは、窓が反射により超音波信号の「二次仮想光源」としても作用し得るので、特に、室内の物体を撮像する場合に有利である。
【0012】
これに加えて、光とは対照的に超音波を用いた撮像は、例えば、室内の人々が撮像されている場合、より優れたプライバシーを提供する。超音波は、典型的には、監視目的で使用できる解像度での撮像には使用できないため、人々は、カメラが自分たちを撮像するために自分たちに向かって方向付けられることとは対照的に、超音波アレイを使用して撮像されることで、より快適に感じ得る。
【0013】
本発明による送信機及び受信機アレイの制御を有することによって、レンジゲーティングを使用することができる。したがって、超音波信号は、後処理において、信号が送信機から受信機まで移動した距離に少なくとも部分的に基づいて分析されてもよく、この距離は、信号がかかった時間及び局所的な音速の知識によって測定される。例えば、対応する範囲内の物体のみを撮像するために、送信機／受信機アレイにより近い物体が分析され、したがって、最初に撮像され、より離れた物体は、特定の時間枠内で受信される信号を選択することによって、その後に撮像されてもよい。これは、例えば、より近い物体の周りで送信又は反射されたビームを誘導することで、最も近い物体の場所の知識によって、より遠い物体の撮像を改善することを可能にし得る。理解されるように、本発明による周囲構造の知識及びビームの誘導により、構造内の表面から反射された信号の余分な伝搬時間を考慮に入れることが可能になる。
【0014】
反射は、周囲構造内のあらゆる物体／表面から得ることができる。受信され、反射された各信号は、特定の送信信号及び周囲構造内の物体／表面からの反射から生じる。したがって、室内の十分なサイズの全ての物体は、アレイ内の送信機と受信機との間のインパルス応答の固有のセット上にマッピングされる。したがって、周囲構造内の全ての物体の表現は、理論的には、周囲構造内の複数の場所に複数のセンサを必要とせずに、単一のアレイから得ることができる。受信されたインパルスから周囲構造内の全ての物体／表面の場所を計算することは、計算上複雑であり得るが、情報は反射信号内に含まれる。
【0015】
ビーム誘導は、送信された超音波信号、反射された超音波信号のいずれか、又は両方に対して使用され得る。送信において、これは、結果として生じる超音波信号が干渉を受け、方向付けられる全体的な送信信号をもたらすように、アレイ内の各送信信号に判定された位相調整を加えることによって、送信された超音波信号を誘導するために、エネルギーを優先的に所与の方向へと能動的に方向付けることによって、行うことができる。代替的に、後処理中に実行される計算に、好適な位相調整が適用されてもよい。
【0016】
受信され、反射された超音波信号は、同様の方式で誘導され得る。
【0017】
したがって、いくつかの実施形態では、送信信号及び受信信号の両方を誘導することは、「物理的に」誘導されるのではなく、ソフトウェアのみを使用して効果的に行われ得る。これは、静的なシーンに対して、例えば、パルスエコー測定を使用することによって、又はチャネルの完全な音響情報を得るためにチャープ若しくは擬似ランダムコードなどの符号化信号を使用することによって、各送信機と各受信機との間のインパルス応答を記録することが可能であるためである。したがって、チャネルインパルス応答の全セットを用いて送信ビーム形成の効果を効果的にシミュレートすることが可能である。
【0018】
しかしながら、実際には、少なくとも２つの理由から、送信ビームの実際の又は「物理的な」誘導を使用することが有益である場合が多い。第１に、室内を歩き回る人々のように、物体がシーン内で移動しているとき、チャネルインパルス応答は一定ではない。したがって、インパルス応答のみを分析することは、過去からの情報を分析することに相当する。いくつかの分かっている移動物体の方向に信号対雑音比（signal to noise ratio、ＳＮＲ）を最適化するために、それらの物体に向かって（送信）音響ビームを誘導することが有益であり得る。送信ビームは、任意の数の目標に向かって順次誘導されてもよく、又は、一度に２つ以上の物体をハイライトする組み合わされたビームが使用されてもよい。
【0019】
第２に、静的なシーンであっても、インパルス応答は必ずしも完全に静的であるとは限らない。これは、音速に影響を及ぼす温度及び湿度の変化、又は部屋の周りの変化する勾配に起因する可能性があり、これは事実上、シーンの周りのエコーの様々な遅延につながる。エコー反射体までの経路長が長くなればなるほど、エコーが再位置決めされやすくなる。したがって、関心のある１つ以上の物体に向けて音響送信ビームを誘導することが可能であり、関心のない物体からの信号の追加を暗黙的に低減することは、「静的」状況であっても有益であり得る。
【0020】
一連の実施形態では、信号減算が使用され、送信機から受信機に直接送信された信号（直接経路信号）が、更なる処理の前に記録された信号混合から減算される。減算すべき信号は、物体が周囲構造に入る前にそれを記録することによって、又は物体がシーン内で動いている期間中に観察された信号の移動平均として、任意の好都合な方式で計算することができる。パルス送信又はパルス圧縮解除が続く符号化送信の場合、直接経路信号の影響は、送信が開始した後にブランキング期間を割り当てることによって、除去又は低減され得る。
【0021】
アレイ内の受信機によって検出された反射は、直接反射及び／又は間接反射のいずれかであり得る。直接反射は、周囲構造内の物体に向かって送信され、アレイ内の受信機に直接反射して戻る超音波信号から生じるものである。間接反射は、周囲構造内の表面及び物体の両方から反射される送信された超音波信号から生じ、例えば、信号は、表面に向かって誘導され、そこで、撮像される物体に反射され、次いで、アレイに戻る。
【0022】
撮像される受動物体は、動的又は静的のいずれかであってもよく、例えば、物体は、人物などのように移動することができてもよく、又は家具などのように移動することができなくてもよい。物体は受動であるので、物体自体の超音波信号を放射せず、物体に向かって方向付けられている超音波信号を反射するだけである。
【0023】
一連の実施形態では、周囲構造によって画定された空間の所定の部分は、撮像から除外される。例えば、カフェでは、新しい顧客が出入し、周りを移動するので、部屋で何が起こっているかを監視することが有用であり得るが、識別情報が特定の場所に接続され得るカウンタの後ろで働いているスタッフには有用ではない。
【0024】
例えば、周囲構造のＬＩＤＡＲ走査若しくは光学撮像、又は例えば周囲構造のＣＡＤ図面からの事前に記憶されたデータのアップロードなどの、当該表面のうちの少なくとも１つの位置に関連する記憶されたデータを得るために利用可能な複数の方法がある。しかしながら、一連の実施形態では、超音波送信機／受信機アレイは、ビームを誘導する前に、例えば、学習又は設定段階において、周囲構造表面の位置を推定すると共に、その後、ビーム誘導及び周囲構造の表面からの反射を使用して、室内の任意の物体を撮像するために使用される。これにより、本発明による撮像システムの設定に伴う複雑さを低減することができる。
【0025】
単一又は低頻度の「学習段階」を実行する代わりに、超音波アレイを使用して、周囲構造をより頻繁に確立することができる。したがって、一連の実施形態では、周囲構造表面情報は、撮像中又は撮像のエピソードの間に更新される。これは、例えば、周囲構造及びアレイが互いに対して移動する場合に有用であろう。例えば、周囲構造自体が形状の変化を受けてもよい。
【0026】
例えば、物体を取り上げるように制御されているロボットグリッパは、物体の周りで閉じるにつれて形状を変化させる。したがって、超音波アレイは、周囲構造が形状を変化させるにつれて、周囲構造の表面の位置に関連する情報を定期的に更新して、撮像を改善することができる。光学又はレーダ技術を使用して近接場撮像を実行することは困難である。超音波アレイがロボットグリッパに取り付けられている場合、近接場ジオメトリは、周囲構造の表面の場所を判定することに関連して上述した技術を使用して判定することができる。したがって、近接場反射は、グリッパが物体に向かって移動してその形状を変化させている間に、グリッパによって取り上げられる物体を撮像するために使用され得る。
【0027】
どのように得られても、周囲構造の表面に関連するデータは、例えば局所処理を可能にするために、アレイに局所的に記憶されてもよい。しかしながら、これは必須ではない。
【0028】
物体の得られる画像を更に改善するために、一連の実施形態では、超音波信号の誘導は反復手順である。例えば、最初に、送信機アレイ内の送信機が超音波信号を放射して、上記で概説したように周囲構造の表面の位置を得ることができる。この情報が得られると、信号は、物体の画像を得るために、（信号をそこから反射させるために）周囲構造の表面に向かって誘導されてもよい。次いで、物体の場所及び／又は物体の基本形状が分かると、物体像を更に改善するために、これを繰り返してビーム誘導を調整及び改善することができる。これは、物体の場所が分かると、ビームが、超音波信号の一部分を空き空間内に方向付けるのではなく、物体のみを撮像するために表面及び／又は物体に向かって誘導されることができるので、物体がより微細な解像度で撮像されることを可能にする。この反復手順は、物体のより詳細で正確な画像をもたらすことができる。以下の計算から明らかになるように、エンクロージャ及びその中の物体の場所の両方が撮像される状況では、エンクロージャの形状が正しく計算されているかどうかを判定するために試験が実行されてもよく、これに対する更なる調整が行われてもよい。
【0029】
一連の実施形態では、受信信号を含む反射は、推定された受信信号と比較される。推定された受信信号は、周囲構造の過去の特性からシミュレートされた画像、周囲構造内の関心のある物体の過去の画像、又は物体の予備画像に基づいてもよい。したがって、関心のある物体についての推定された受信信号は、アレイからの超音波信号の１つ以上の反射についてシミュレートされ得る。推定された受信信号を実際の受信信号と比較することによって、推定された信号の精度を判定することができ、したがって、一致が選択された閾値を超える場合、正しい画像がシミュレートされていることになる。２つの信号を比較するために、以下で詳細に説明するように、信号のベクトルから誤差関数が得られる勾配探索を実行することができる。
【0030】
反射画像を得るプロセスにおける任意の時点において、モデル化されたインパルス応答は、真の推定値と一致又はモデル化され得る。式ｙ＝Ｄαは、インパルス応答を予測するために使用することができ（更なる説明については詳細な説明を参照されたい）、ここで、受信信号はｙであり、ここで、αは、指定されたグリッド位置における目標の反射強度を表し、Ｄは、信号の経路損失及び時間遅延を記述する行列である。より一般的には、行列Ｄは、その列ベクトルとして、所与の位置に完全な点反射体が存在した場合に発生するであろう仮定されたインパルス応答、及び特定の送信機からその点及び受信機に移動した音を含み得、次いで、音波が周囲構造（例えば、壁）及び内部の他の物体から跳ね返るときにも発生し得る全てのエコーを含み得る。
【0031】
より一般的には、これは、より複雑な定式化：
ｙ＝ｆ（α）
を含み得、式中、ｆは、回折、カオス的反響、吸収、反射、及び非線形効果の分数調波及び高周波数高調波のような効果を組み込み、処理することができる。関数ｆは、ＣＯＭＳＯＬ又はＤＲＥＡＭ又はＦｉｅｌｄ ＩＩなどの、波動伝搬をモデル化するためのコンピュータプログラム又はソフトウェアシミュレーションパッケージを表すことができる。ｆが何らかの微分可能関数によってαの周辺で局所的に近似され得る場合、
ｙ＝ｆ（α）
を含み得、式中、ｆは、回折、カオス的反響、吸収、反射、及び非線形効果の分数調波及び高周波数高調波のような効果を組み込み、処理することができる。関数ｆは、ＣＯＭＳＯＬ又はＤＲＥＡＭ又はＦｉｅｌｄ ＩＩなどの、波動伝搬をモデル化するためのコンピュータプログラム又はソフトウェアシミュレーションパッケージを表すことができる。ｆが何らかの微分可能関数によってαの周辺で局所的に近似され得る場合、
【0032】
【数1】
【0033】
次いで、パラメータαは、コスト関数に基づく勾配探索を使用することによって更新することができる。
【0034】
【数2】
【0035】
各ステップにおいて、及びαの各推定値について、このパラメータの更新された推定値は、したがって、以下のように計算され得る。
αｉ＋１＝αｉ－ｔ ∇ｅ（αｉ）
αｉ＋１＝αｉ－ｔ ∇ｅ（αｉ）
【0036】
式中、∇ｅは関数ｅの勾配を示し、ｔは最小誤差ｅ（α）を与えるように調整される特定のステップ長である。このプロセスは、収束するまで繰り返され得る。ヘッセ（Ｈｅｓｓｉａｎ）を含むより洗練された技術、又はシンプレックス探索のような非線形手法を使用することができる。また、以下のようなより複雑なコスト関数を考慮することができる。
【0037】
【数3】
【0038】
式中、関数ｇ（）は、問題のインパルス応答／信号推定値の包絡線を推定する関数とすることができる。これは、観察されたインパルス応答と予測されたインパルス応答との間の正確な一致の必要性が少ないので、空間を粗くマッピングする際に有用であり得る。これは、次に、反射が受信されない０位置を識別するのに役立ち得る。より一般的には、誤差関数は、任意の好適な距離関数又はノルムとすることができる：
【0039】
【数4】
【0040】
式中、ｄは、ハウスドルフノルム又は情報理論関数などの任意の好適な関数であり得る。
【0041】
一連の実施形態では、超音波信号のドップラーシフトを使用することができる。理解されるように、受動物体が移動している場合、受動物体は、受動物体が信号に対してどの程度速くどの方向に移動しているかに応じて、超音波信号にドップラーシフトを課す。例えば、受信された超音波信号を処理するときに、このドップラーシフトを考慮することは、撮像性能を更に向上させるのに役立ち得る。例えば、これは、信号内のドップラーシフトを考慮するために使用され得、したがって、物体のより正確な瞬時場所特定を可能にする。追加的に、又は代替的に、導出された動きは、動き追跡アルゴリズムのための入力として使用され得る。
【0042】
一連の実施形態では、送信信号は、物体の特性に基づいて誘導される。例えば、受動物体の形状、サイズ又は動きに関連する情報を得ることができ、これらの特性に基づいて送信信号の誘導を調整及び改善して、物体の撮像を改善することができる。例えば、物体が非常に大きく、その大部分が撮像アレイの見通し線から遮蔽されている場合、間接反射を使用して、物体の遮られた部分を撮像するために、ビームがより周囲構造に向かって誘導されるように、ビーム誘導を調整することができる。単一の誘導されたビームを使用して撮像することが望ましい場合があり、代替的に、アレイは、物体の撮像を改善するために、複数のビームが異なる方向に送信されるように、ビーム形成を使用することができる。複数のビームは、同時に送信されてもよく、又は代替的に、アレイは、短い時間枠にわたって異なる方向に誘導されたビームを放射することによって「走査」してもよい。加えて、送信ビームの「形状」は、ビームのエネルギーを主に物体上に集束させることによって、物体の撮像を更に改善するために、予想される物体の形状に一致するように修正されてもよい。これを行うことによって、改善された信号対雑音比が達成され得る。
【0043】
上記の方法及びシステムは、単に周囲構造内の物体に関する情報を確立するためだけに使用され得るが、一連の実施形態では、可聴オーディオのビームは、物体の判定された場所に基づいて、物体に向かって能動的に誘導される。したがって、このオーディオビームは、超音波信号の周波数とは異なる周波数であり、例えば、オーディオビームは、人間に聞こえる周波数である。受動物体は、この場合、人であってもよい。人がいる部屋をマッピングするために超音波を使用することによって、壁及び天井の場所が得られ得る。室内の人の場所もまた、超音波アレイを使用して判定され得る。次いで、この情報は、最適化されたオーディオ体験をユーザに提供するために、室内の反射及び反響を建設的に利用して、オーディオビームをユーザに向けて誘導するために使用され得る。
【0044】
追加的に、又は代替的に、本明細書で説明されるような部屋の超音波撮像によって、ユーザが座っている可能性が最も高い場所が判定されてもよく、その結果、実際に誰かがそこにいることを判定する必要なく、オーディオがそのエリアに向けられてその配信が最適化される。
【0045】
室内に複数のユーザ又はエリアが存在する場合、オーディオ出力ビームは、１人のユーザ又はエリアのみに対する最適な体験を犠牲にする可能性を代償にして、各々が強化されたオーディオ体験を受け取るように、それらのユーザ又はエリアの各々に誘導され得る。
【0046】
追加的に、又は代替的に、超音波撮像を使用して室内のユーザの場所を判定することにより、発話などのユーザから生じるオーディオは、マイクロホンによって受信されたときに誘導され得る。これは、例えば、室内に複数の人がいる可能性があるビデオ会議において、話している人からの声をマイクロホンに向けて誘導し、ビデオによって接続されている人がスピーカから高品質のオーディオを受信することを確実にするのに有用である。
【0047】
一連の実施形態では、物体の視覚表現が作成される。この視覚的表現は、物体のコンピュータ生成画像を含んでもよく、又は周囲構造内の物体の範囲若しくはサイズのより抽象的な指示を提供してもよい。
【0048】
例えば、１つの特定の使用事例では、周囲構造は、ごみ収集トラックの内部空洞である。したがって、超音波アレイを使用して、空洞のどの部分がどの程度占有されているかを調べることができる。天井及び壁からの反射は、外部プロセッサに入力されてもよく、外部プロセッサは、空洞の残存容量を判定する。したがって、視覚的表現は、空洞がどれだけ満たされているか、及びどれだけの空き空間が残っているかを示すことができる。これは、次に、外部スクリーン上に、例えば、ごみ収集トラックの運転者に対して表示されて、トラックが満杯であり、空にする必要があるときを知ることを可能にする。
【0049】
アレイ内の送信機及び受信機は、アレイが複数の複合送受信機を備えるように、又は送信機の別個のアレイ及び受信機の別個のアレイが提供され得るように、組み合わせられることができる。しかしながら、一連の実施形態では、内部に別個の送信機及び受信機を備える単一のアレイが提供される。これは、サイズの低減及び材料コストの節約に関して、別個のアレイを有するよりも有利であり得る。
【0050】
受信機及び送信機の両方として作用する要素間で切り替えるためにスイッチング電子機器が必要とされないので、それぞれのアレイにおいて、又は単一のアレイにおける別個の要素として、別個の送信機及び受信機を有することは有利であり得、後者の場合、専用送信機及び専用受信機は、信号の同時送信及び受信を可能にするために、単一の半導体ダイ上に統合され得る。
【0051】
追加的に、送信機及び受信機を分離することは、受信機での「ブランキング期間」を、すなわち、そのときに送信機として作用するため受信機が「シャットダウン」される時間窓を、しばしば回避することができることも意味する。これは次に、受信機を使用する従来の切り替えシステムによって、センサ／送信機設定の非常に近くにある物体までの距離を測定することが困難なことを意味する。より長く、より低い電力送信が使用されるとき、送信が進行中である間、受信機は、「聞く」ことができ、送信機と受信機との間のエコー及び直接経路音の重ね合わせをピックアップする。これは、次に、上記のロボットグリッパの例におけるように、近くの物体の撮像を可能にすることができる。
【0052】
有利には、一連の実施形態では、別個の送信機及び受信機は、異なる圧電材料から製作される。例えば、超音波送信機は、ＰＺＴを使用して製作され得、超音波受信機は、ＡｌＮを使用して製作され得る。ＰＺＴは、典型的には、ＡｌＮよりも低い電圧で、より高い音圧を出力する。ＰＺＴはまた、より高い音圧レベルを提供するその能力のために、ＡＩＮよりも多くの広帯域信号を出力するために使用することができる。これは、１つ以上の共振ピークから離れてより多くの出力電力を提供し、共振ピークで又はその近くでより少ない電力を提供することによって効果的に行うことができ、その結果、比較的平坦な広帯域信号が事実上送信機から出力される。これはまた、ＡｌＮを使用して可能であるが、非共振周波数における典型的な結果として生じる出力エネルギーは、典型的には、はるかに低く、したがって、ＡｌＮを使用して製作されているとき、この「広帯域様式」で送信機を使用することは、あまり実用的でなくなる。帯域幅は、より良好な深度解像度を直接的に提供し、より良好な角度解像度も間接的に提供するため、多くの撮像用途において重要である。これは、異なる周波数のサイドローブ及びグレーティングローブが異なる空間的場所を有するためであり、したがって、いくつかの周波数は、他の周波数よりも、いくつかのセクタ内の密接に重複する物体を分解するためにより良好である。また、周波数のより広いスペクトルは、一般に、１つ又はいくつかの個々の周波数単独よりも良好な角度分離能力を有する。別の一連の実施形態では、送信機及び受信機の両方が、アルミニウム－スカンジウム－窒化物又は他の好適な圧電材料から製作される。
【0053】
環境から受信される十分に強いエコーを提供するように送信信号が生成されると、できる限り高い信号対ノイズ比（ＳＮＲ）を有するエコーを受信することが望ましい。これは、物体の検出（閾値感度）、及び物体分離のためのアレイ方法の両方にとって重要であり、ここで、解像度は、典型的には、ＳＮＲ、並びに他の要因の中でもとりわけセンサ配置及び間隔の関数である。例えば、超解像撮像法は、一般に、高いＳＮＲに依存しており、例えば、Ｃｈｒｉｓｔｅｎｓｅｎ－Ｊｅｆｆｒｉｅｓ，Ｋ．らの「Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｉｎｇ」，Ｕｌｔｒａｓｏｕｎｄ ｉｎ Ｍｅｄｉｃｉｎｅ＆Ｂｉｏｌｏｇｙ，２０２０，４６（４），８６５－８９１を参照されたい。ＡｌＮは、ＰＺＴよりも高い感度を有し、したがって、この目的により良好に適する。より良好なＳＮＲは、アレイビーム形成用途において、より良好な超音波検出、及びより良好で有効なビーム形成につながる。これに加えて、良好なＳＮＲを有する十分に高感度な超音波受信機は、過剰な出力に対する必要性（すなわち、ＳＮＲを改善するための強い信号に対してより低い必要性がある）、及びデバイスにおける過剰な電力使用を低くする。
【0054】
例えば、室内撮像用途では、アレイ内に各々が別個の送信機及び受信機を備える複数の圧電マイクロマシン超音波トランスデューサ（piezoelectric micro-machine ultrasonic transducer、ＰＭＵＴ）を使用するデバイスは、バッテリ給電される場合があり、不必要に高い電力出力レベルは、バッテリ寿命を低減することになる。したがって、アレイは、受信機及び送信機に異なる材料を使用して達成される高いＳＮＲのために、低電力で動作することができる。
【0055】
一連の実施形態では、超音波信号は、高い比帯域幅を有する。例えば、比帯域幅は、２０％であり得るので、１００ｋＨｚの中心周波数に対して、２０ｋＨｚの帯域幅が存在することになる。高帯域幅は、反射された受信信号における複数のピークの曖昧さを解消するのに役立ち得る。加えて、アレイ内の送信機がＰＺＴを使用して製作されている場合、ＰＺＴは、非共振周波数においても妥当な音圧レベル（sound pressure level、ＳＰＬ）が得られ得るように駆動されることができる。これは、アレイ内の送信機がＡｌＮを使用して製作される場合、達成することは困難である。
【0056】
一連の実施形態では、表面のうちの少なくとも１つの位置に関連する記憶されたデータ及び受信された反射データは、アレイの外部で処理される。これは、感知が計算から離れて行われるので、データ共有が可能になる。例えば、データは、例えばＢｌｕｅｔｏｏｔｈを使用して、外部処理のためにハブに送信されてもよい。複数の反射を分析することは、計算コストが高く、これは、より高い電力の外部プロセッサがデータを分析するために使用されることを可能にし、センサアレイが最小限の電力及び処理電力を必要とすることを可能にする。これは、壁若しくはセンサ搭載システム、又は可動／携帯システムにおいて特に重要である。
【0057】
一連の実施形態において、受信機アレイは、ＭＥＭＳ（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏ－Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ、微小電気機械システム）マイクロホンを備える。ＭＥＭＳマイクロホンは、キャパシタを形成するＭＥＭＳダイヤフラムを備え、音圧波がダイヤフラムの移動を引き起こす。ＭＥＭＳマイクロホンは、超音波信号とオーディオ信号の両方をキャプチャすることができ、したがって、オーディオ目的のためにも使用され得る。例えば、ＭＥＭＳマイクロホンは、送信されたオーディオ信号を較正するため、送信機要素を較正するため、又は超音波周囲構造形状仮説を「検証する」ために使用され得る。ＭＥＭＳマイクロホンアレイはまた、ビーム誘導技術を使用することによって、関心のある特定のソースからのオーディオのより良い推定値を得るために、室内の他のマイクロホン又はマイクロホンアレイと共に使用され得る。
【0058】
一連の実施形態では、受信機アレイは、可聴周波数範囲（２０Ｈｚ～２０ｋＨｚ）にピーク応答を有するマイクロホンアレイであり、送信機アレイは、超音波周波数範囲（２０ｋＨｚ超）の音波の半波長に等しい送信機間の間隔を有する。
【0059】
超音波周波数範囲内の音波の半波長に等しい距離だけ送信機を離間させることは、ビーム形成に役立ち、グレーティングローブの問題を除去するのに役立つ。間隔は、アレイの最も近い要素（すなわち送信機）の中心－中心間隔として理解することができる。例えば、音速が３４３ｍ／秒であるとすると、送信機間の間隔は、８ｍｍ未満であり得る（すなわち、超音波範囲の約半波長λｕｌｔｒａｓｏｕｎｄ／２）。
【0060】
マイクロホンアレイは、可聴周波数範囲内にピーク応答を有し、これは、マイクロホンアレイがオーディオ信号を受信するために効果的に最適化されることを意味する。より具体的には、マイクロホンアレイは、発話の典型的な周波数範囲（５０Ｈｚ～５００Ｈｚ）において、ピーク応答を有し得る。
【0061】
本出願人によって認識されているこの構成の利点は、本明細書で説明される音響撮像機能が、送信機アレイを追加導入することによって、又はマイクロホンアレイを組み込むための最小限の再設計によって、既存のマイクロホンアレイを備えるデバイス（例えば、音声アシスタント）において比較的容易に提供され得ることである。典型的には、そのようなデバイスに設けられたマイクロホンアレイは、超音波を受信するために最適化されていないが、超音波信号を効果的に受信するために使用することもできる。送信機アレイ、例えば、ＰＭＵＴアレイは、有利には、超音波周波数範囲内の音波の半波長に等しい、送信機間の小さい相互間隔（例えば、２ｍｍ未満）を有する。これは、有利には、それ自体がコンパクトであり得る既存のデバイスの範囲内に埋め込むこと及び追加導入することが容易であるコンパクトなデバイスを提供する。
【0062】
例えば、マイクロホンアレイを既に含む音声制御スマートスピーカ（例えば、スマートホームシステムで使用するための）がある。これらのマイクロホンアレイはまた、超音波信号をキャプチャすることが可能であってもよく、デバイス内の既存の構成要素として提供されるため、本発明を実装するために、送信機アレイに加えて受信機アレイを追加導入する必要はない。
【0063】
これは、本発明を利用するデバイスが、空間及び材料コストを節約することを可能にする。この効果は、超音波送信機アレイの間隔が比較的小さいことによって倍加され、追加導入された送信機構成要素をほとんどのデバイス内に収まるほど十分に小さくする。実際に、これは、それ自体が新規かつ発明的である。したがって、更なる態様から、本発明は、少なくとも１つの受動物体を撮像するためのデバイスであって、
超音波信号を送信するように構成された超音波送信機のアレイであって、アレイの一対の隣接する送信機が、超音波周波数範囲内の音波の半波長に等しい間隔を有する、超音波送信機のアレイと、
受動物体からの反射を受信するように構成されたマイクロホンのアレイであって、マイクロホンは、可聴周波数範囲内にピーク応答を有する、マイクロホンのアレイと、を備え、
反射を使用して、物体の画像を判定するように構成されている、デバイスを提供する。
超音波信号を送信するように構成された超音波送信機のアレイであって、アレイの一対の隣接する送信機が、超音波周波数範囲内の音波の半波長に等しい間隔を有する、超音波送信機のアレイと、
受動物体からの反射を受信するように構成されたマイクロホンのアレイであって、マイクロホンは、可聴周波数範囲内にピーク応答を有する、マイクロホンのアレイと、を備え、
反射を使用して、物体の画像を判定するように構成されている、デバイスを提供する。
【0064】
代替的に、超音波受信機アレイは、光受信機を備えてもよい。超音波送信機及び超音波受信機が異なる材料から作製されている場合、光受信機は、別のタイプの送信機と組み合わせて使用され得る。光受信機の２つの好適な例示的なタイプは、光学多相読み出し及び光共振器を使用するものである。光学多相読み出しは、例えば、国際公開第２０１４／２０２７５３号に記載されており、光学共振器は、例えば、Ｓｈｎａｉｄｅｒｍａｎ，Ｒ．らの「Ａ ｓｕｂｍｉｃｒｏｍｅｔｒｅ ｓｉｌｉｃｏｎ－ｏｎ－ｉｎｓｕｌａｔｏｒ ｒｅｓｏｎａｔｏｒ ｆｏｒ ｕｌｔｒａｓｏｕｎｄ ｄｅｔｅｃｔｉｏｎ」、Ｎａｔｕｒｅ、２０２０、５８５、３７２～３７８に記載されている。これらの光受信機手法は両方とも、受信信号のＳＮＲを改善し、したがって、撮像の解像度を改善することができる。
【0065】
一連の実施形態において、圧縮感知／スパース性方法は、周囲構造内の物体を撮像する際の解像度及び精度を改善するために使用される。周囲構造に多くの空き空間がある場合、これは、任意の推定方法にとって重要な情報である。人体のほとんど全ての部分が何らかの反射を提供する医療用超音波とは対照的に、空中音響シーンの大部分は、反射を引き起こさない場合がある。したがって、画像を生成する際に、多数のボクセル（３Ｄ空間内の点を画定するグラフィカル情報の単位）がゼロであることが分かる。次いで、多くの空のボクセルを予想する逆問題を定式化することができる。代替的に、多くのゼロ要素が存在する場合に、逆問題解を優先する逆問題を定式化することができる。一般に、これらの技術は正確であり、従来のビーム形成方法よりも多くの計算能力を必要とする。したがって、処理は、典型的な電池式センサプラットフォーム又はハブから離れて遠隔的に実行され得る。
【0066】
圧縮感知（compressive sensing、ＣＳ）及び圧縮感知のような方法を使用することの、遅延和及びＣａｐｏｎビーム形成のような従来のビーム形成方法に対する特定の利点は、ＣＳがアレイ要素間の半波長サンプリングに厳密に依存しないことである。実際、ＣＳのような方法は、いくつかの重要な場合において「ナイキストに勝つ」ことができることが知られており、例えば、以下を参照されたい。ｈｔｔｐｓ：／／ｗｗｗ．ｓｃｉｅｎｃｅｄｉｒｅｃｔ．ｃｏｍ／ｔｏｐｉｃｓ／ｃｏｍｐｕｔｅｒ－ｓｃｉｅｎｃｅ／ｃｏｍｐｒｅｓｓｅｄ－ｓｅｎｓｉｎｇ
超音波の受信機としてＭＥＭＳマイクロホンを使用する実践において、これは重要な利点を有する。しばしば、これらの要素は、超音波の波長の半分よりも大きい。典型的なＭＥＭＳマイクロホンパッケージは、今日、４×３×１ｍｍの寸法であり、１ｍｍは、高さである。１００ｋＨｚにおいて、超音波波長は３．４ｍｍであり、超音波波長の半分は、１．７ｍｍである。実際には、ＭＥＭＳマイクロホンの間隔を狭くすると、明らかにλ／２を上回る３ｍｍに近い波長を得ることができる。従来のビーム形成手法を使用するときのこの正味の影響は、いわゆるグレーティングローブであり、これは、正しい角度以外の角度で追加の物体があるように見える場合がある超音波画像内の観察可能なアーティファクトである。これは、アレイに入射する波が正しい角度及びいくつかの他の角度でも同じように見えるという事実の結果である。これは、時間信号処理におけるエイリアシング効果と同様である。しかしながら、ＣＳのような方法は、そのようなサブサンプリング問題に対するロバスト性を示している。サブナイキストサンプリング位置を有する超音波アレイを使用する特定の場合には、方程式系ｙ＝Ｄαは、典型的には無限の解を有するが、解が可能な限り疎であることを必要とし、複数の物体が複数のセクタ内に同時に出現する代替案（より疎でない選択）よりも、１つの角度セクタ内に物体が存在する「より単純な」解を効果的に優先して選択することが明らかである。
超音波の受信機としてＭＥＭＳマイクロホンを使用する実践において、これは重要な利点を有する。しばしば、これらの要素は、超音波の波長の半分よりも大きい。典型的なＭＥＭＳマイクロホンパッケージは、今日、４×３×１ｍｍの寸法であり、１ｍｍは、高さである。１００ｋＨｚにおいて、超音波波長は３．４ｍｍであり、超音波波長の半分は、１．７ｍｍである。実際には、ＭＥＭＳマイクロホンの間隔を狭くすると、明らかにλ／２を上回る３ｍｍに近い波長を得ることができる。従来のビーム形成手法を使用するときのこの正味の影響は、いわゆるグレーティングローブであり、これは、正しい角度以外の角度で追加の物体があるように見える場合がある超音波画像内の観察可能なアーティファクトである。これは、アレイに入射する波が正しい角度及びいくつかの他の角度でも同じように見えるという事実の結果である。これは、時間信号処理におけるエイリアシング効果と同様である。しかしながら、ＣＳのような方法は、そのようなサブサンプリング問題に対するロバスト性を示している。サブナイキストサンプリング位置を有する超音波アレイを使用する特定の場合には、方程式系ｙ＝Ｄαは、典型的には無限の解を有するが、解が可能な限り疎であることを必要とし、複数の物体が複数のセクタ内に同時に出現する代替案（より疎でない選択）よりも、１つの角度セクタ内に物体が存在する「より単純な」解を効果的に優先して選択することが明らかである。
【0067】
ＣＳのような方法を使用することの追加の利点は、（ａ）既製のＭＥＭＳマイクロホンを良好な品質で超音波撮像に使用することができること、及び（ｂ）ＭＥＭＳマイクロホンの位置決めを、例えば、発話分離のために最適化されたアレイ様式でマイクロホンを配置することによって、最良の音響信号を得ること、又は可聴音の良好な推定値を得ることなど、他の目的のために最適化することができることである。
【図面の簡単な説明】
【0068】
ここで、本発明の特定の実施形態を、単なる例として、添付図面を参照しながら説明する。
【図1】超音波信号を送信及び受信するための超音波システムのブロック図である。
【図3】物体からの直接反射及び壁からの反射を使用した室内の物体の撮像の概略図である。
【図4】単一の送信機及び単一の受信機を用いた単一の反射体の撮像の簡略図である。
【図7】複数の送信機及び複数の受信機を用いた反射体の撮像の簡略図である。
【図8】複数の送信機及び複数の受信機を用いた複数の反射体の撮像の簡略図である。
【図9】近接場を撮像するためにビーム誘導を使用して、室内の複雑な物体を撮像するために使用される超音波撮像システムの概略図である。
【図10】壁からの間接反射を使用した室内の複雑な物体の撮像の概略図である。
【図11】多くの空き空間が存在する近接場を撮像するためにビーム誘導を使用して、室内の複雑な物体を撮像するために使用される超音波撮像システムの概略図である。
【図12】空き空間及び反射が存在するより大きな近接場を撮像するためにビーム誘導を使用して、室内の複雑な物体を撮像するために使用される超音波撮像システムの概略図である。
【図13】室内の遮られた物体の撮像の概略図である。
【図14】直接経路が遮蔽されている室内の遮られた物体の撮像の概略図である。
【図15】間接反射を使用した室内の遮られた物体の撮像の概略図である。
【図18】画像の鮮明度を最適化する方法を示すフローチャートである。
【図19】超音波トランスデューサ及びマイクロホンのアレイが、室内の特定の人から音を得るために使用される会議室を示す。
【図20】超音波トランスデューサ及びスピーカのアレイが、室内の特定の人に音を方向付けるために使用されるリビングルームを示す。
【図21】容器内の廃棄物を撮像するために使用される超音波アレイを示す。
【図22】超音波トランスデューサのアレイがカフェ内の人々の場所を判定するために使用されるカフェを示す。
【図23】超音波アレイが物体及びエンクロージャの形状の検出のために使用されるロボットグリッパアームを示す。
【図24】超音波送信機のアレイが、内蔵マイクロホンアレイを有するデバイスに追加導入される本発明の実施形態を示す。
【0069】
図１は、本明細書で説明される本発明による、受動物体を撮像するために使用される超音波信号を送受信するための超音波撮像システム２の典型的な構成要素の非常に簡略化された概略ブロック図を示す。
【0070】
撮像システム２は、超音波アレイ４を備える。超音波アレイ４は、複数の圧電マイクロマシン超音波トランスデューサ（piezoelectric micro machined ultrasonic transducer、ＰＭＵＴ）６を備え、アレイ４は、図２に更に詳細に示されている。システム２は、メモリ１０を有するＣＰＵ８と、典型的にはシステムの全ての構成要素に電力を供給するバッテリ１２と、を含む。
【0071】
撮像システム２は、例えば、部屋の壁に取り付けられてもよく、超音波アレイ４は、ＰＭＵＴ６を使用して、超音波信号を室内に送信するように構成されてもよい。以下で更に詳細に説明するように、超音波アレイ４は、室内のあらゆる物体からの反射を受信する。次いで、超音波アレイ４は、壁の場所が分かっているとき、反射が部屋の壁からの少なくとも１つの反射を含むことを確実にするように、超音波ビームを誘導し得る。
【0072】
図２は、ＰＭＵＴ６の矩形アレイ４を示す。各ＰＭＵＴ６は、超音波送信機１６及び超音波受信機１８がその上に形成される、正方形のシリコンダイ１４を備える。
【0073】
送信機１６は、円形であり、ダイの中央に位置する。受信機１８は、送信機１６よりもはるかに小さく、ダイの各隅部の未使用空間に位置する。他の数の受信機が設けられてもよい。受信機は、他の場所に位置し得るか、又は２つ以上が各隅部に位置し得る。送信機は異なる形状であり得るか、又は異なって位置し得、かつ／又は複数の送信機が提供され得る。
【0074】
個々のダイ１４が、共通の基板（図示せず）上に相互に当接する関係で一緒に碁盤目状にされて、アレイを形成する。ダイ１４は、半波長の幅であり、その結果、Ｘ方向及びＹ方向の両方における送信機１６の中心間の間隔２０もまた半波長である。隣接するダイのそれぞれの隅部における受信機１８は、それぞれの２×２ミニアレイ２２を形成する。これらのミニアレイ２２も、半波長だけ分離されている。
【0075】
図２には６つのダイ１４のみが示されているが、例示的な実施形態では、アレイ４の一方又は両方の寸法に多数のダイ１４が存在し得る。
【0076】
動作中、超音波アレイ４は、誘導された超音波ビームを放射する。判定された位相調整は、それぞれの送信機１６又は受信機１８からの信号に適用され、それらがコヒーレントアレイとして（例えば、ビーム形成のために）作用することを可能にする。ビーム誘導は、送信された超音波信号、反射された超音波信号のいずれか、又は両方に対して使用され得る。送信された超音波信号を誘導するために、判定された位相調整は、アレイ４内の各送信機１６によって送信された信号に追加され、その結果、結果として生じる送信された超音波信号が干渉を受け、所望の方向に送信される全体的な信号が得られる。受信され、反射された超音波信号は、同様の方式で誘導され得る。判定された位相調整は、周囲構造内の単一の方向からの反射信号を判定するために、全方向からの受信信号に適用されてもよい。
【0077】
ほとんどの標準的なビーム形成アルゴリズムは、超音波要素１６、１８の半波長間隔から利益を得るが、これは、各入射波面が、異なる角度又は波数を有する他の入射波面から識別可能であることを可能にし、ひいては、「グレーティングローブ」の問題を防止するためである。半波長（又はより密な）の間隔の利益を享受する古典的なビーム形成方法としては、（重み付けされた）遅延和ビームフォーマ、ＭＶＤＲ／Ｃａｐｏｎなどの適応ビームフォーマ、ＭＵＳＩＣ及びＥＳＰＲＩＴのような方位探知方法、並びにＤＵＥＴのようなブラインドソース推定手法、並びに無線通信方法、エントロピ又は情報最大化などの付加制約を有する超音波撮像方法が挙げられる。
【0078】
図３は、物体２４からの直接反射３０及び壁２８を介して移動する間接反射３４を使用した部屋２６内の物体２４の撮像の概略図である。図２を参照して上述された送信機及び受信機の超音波アレイ４を備える超音波撮像システム２は、部屋２６の壁２８に取り付けられる。
【0079】
壁２８の場所は、ＬＩＤＡＲ走査、又はＣＰＵに入力される部屋のＣＡＤ図面を使用して、判定され得る。代替的に、アレイ４は、部屋２６が空であるときに壁２８の場所を判定するために使用される。アレイ４内の超音波送信機１６は、部屋２６の壁２８によって反射される超音波信号を放射する。これらの反射信号は、アレイ内の受信機１８によって受信される。次に、ＣＰＵは、送信信号及び反射信号に関連するデータを処理して、信号が反射された壁２８の場所を判定する。
【0080】
壁２８の場所が判定されると、撮像システム２は、室内の物体２４を撮像するために使用される。第１のビーム３０は、近接場内に方向付けられ、物体２４から反射する。反射ビーム３０は、アレイ４内の受信機１８によって受信される帯域制限されたディラックパルス３２であり、アレイ内の送信機及び受信機の見通し線内にある物体の部分に関する制限された情報を提供する。チャープ／周波数掃引などの他の信号、又は他の符号化信号を使用して、パルス圧縮技術などの好適な受信後処理と組み合わせることができる。
【0081】
物体２４の寸法及び場所に関する更なる情報を得るために、次いで、第２のビーム３４が部屋２６の壁２８ａに向かって方向付けられる。このビーム３４は、第１の壁２８ａから後壁２８ｂに向かって反射される。次に、ビーム３４は、物体２４に向かって反射され、次に、ビーム３４は、物体２４からアレイ４に戻るように更に反射される。第１のビーム３０と同様に、反射された第２のビーム３４は帯域制限されたディラックパルス３６であり、これも、アレイ４内の受信機１８によって受信される。
【0082】
図３の右側の時間領域信号トレースに示すように、第１の反射パルス３２は、第１のビーム３０が第２のビーム３４よりも短い距離を移動するので、第２の反射パルス３６よりも早く受信される。部屋２６内の物体２４の場所を判定するために、受信された信号３２、３６はＣＰＵ８によって処理され、ＣＰＵ８は、この情報を部屋２６の分かっている寸法と共に用いて、物体２４の場所を判定する。
【0083】
以下の計算は、物体２４の場所を判定するために、受信信号３２、３６に対してＣＰＵ８によって実行された処理に関する更なる詳細を提供する。
【0084】
まず、図４に示すように、単一の反射体７４、送信機７０、及び受信機７２が存在する仮定的かつ簡略化されたシナリオを考える。次に、送信機７２から送信された帯域制限ディラックパルス∂（ｔ）を仮定すると、受信信号は以下のようになる。
【0085】
【数5】
【0086】
式中、αは、指定されたグリッド位置における目標の反射強度を表し、ｌ１は、経路損失であり（経路が長いほど損失が大きくなる）、∂（ｔ－τ１）は、遅延係数τ１だけ時間遅延された、最初に送信されたディラックパルスである。経路損失ｌ－１は、波動伝搬モデルに基づいて明示的に計算することができ、すなわち、３Ｄにおける球面波の場合、典型的には、１を移動距離の２乗で除算することになる。
【0087】
受信サンプルｙ（ｔ）は、以下の方程式に従って、長さＬのベクトル（すなわち、Ｌ個のサンプルを含む）に入れることができる：
【0088】
【数6】
【0089】
複数の反射経路が、図５に示されている。したがって、受信信号は、以下のようになる。
【0090】
【数7】
【0091】
より一般的には、図６に示すように、いくつかの異なるエコー経路があってもよい。したがって、受信信号ｙ（ｔ）は、以下のようになる。
【0092】
【数8】
【0093】
【数9】
【0094】
次に、図７に示すように、いくつかの送信機７０及び受信機７２が存在する場合、第ｉｊの送信機／受信機対７０／７２が表されることを確実にするために、下付き文字が受信信号ｙに導入される。時間遅延τ、経路損失ｌ及びエコーインデックスセットも、仮想反射点に対する送信機及び受信機の相対的な物理的位置決めに依存するので、それに応じてインデックス付けされる。したがって、方程式は以下のようになる。
【0095】
【数10】
【0096】
次いで、図８に示すように、仮想反射グリッド点αの数を増加させることができる。図８は、可視性のために６つの点のみを示しているが、実際にはグリッド全体が含まれてもよい。各送信機／受信機対７０、７２に対して、これは、これらの点の各々からのエコーが合計されて、全体の受信信号を与えることを意味すし、すなわち、
【0097】
【数11】
【0098】
【数12】
【0099】
また、以下の定義を使用する。
【0100】
【数13】
【0101】
行列Ｄｉｊ（ｔ）は、次いで、以下のように定義される。
【0102】
【数14】
【0103】
式中、Ｌは、ベクトルｙｉｊ（ｔ）内のサンプルの数に対する好適なウィンドウ長であり、また、Ｄｉｊ（ｔ）における行の数である。したがって、これは以下の式のセットを与える。
ｙｉｊ（ｔ）＝Ｄｉｊ（ｔ）α
ｙｉｊ（ｔ）＝Ｄｉｊ（ｔ）α
【0104】
式中、ｉ＝１，．．．，Ｎであり、ｊ＝１，．．．，Ｑであり、Ｎは送信機７０の数であり、Ｑは受信機７２の数である。複数の送受信対７０、７２を使用して、これらの方程式をスタックし、表記上の便宜のために時間依存性を一時的に除去することによって、反射係数αを含むベクトルをより良好に推定することができる：
【0105】
【数15】
【0106】
又はより一般的には、ｙ＝Ｄα、又は相加性雑音が組み込まれる場合、ｙ＝Ｄα＋ｎ、式中、ｎは相加性雑音のベクトルである。より多くのエコー経路が存在するほど、各サブブロックＤｉｊはより高くなることが上記から明らかであるはずであり、したがって、方程式系は、より良好に条件付けられるようになる。言い換えれば、エコー性マルチ経路状況は、方程式の可解性を改善するのに役立ち、雑音が存在する場合、ＳＮＲを改善する。この方程式セットは、最小二乗法、重み付き最小二乗法、時空分布などの雑音特性の知識を組み込んだ様々な技術を含む、任意の数の好適な方式で解くことができる。
【0107】
図９は、近接場４２を撮像するためにビーム誘導を使用して、部屋２６内の複雑な形状の物体３８を撮像するための超音波撮像システム２の使用を示す概略図である。
【0108】
アレイ４は、誘導された超音波ビーム４０を放射し、この超音波ビーム４０は、近接場４２に集束される。ビーム４０は、誘導された受信信号を得るために、反射信号の後処理において「誘導され」てもよい。ビーム４０は、複雑な物体３８の前からアレイ４に向かって反射され、アレイ４において反射ビームが受信される。しかしながら、これは、アレイ４に近接し、アレイ４に面する物体の側に関する情報を提供するだけである。
【0109】
物体３８からの直接反射を使用して十分なデータが収集されると、物体の残りの部分を撮像するために、アレイ４は、図１０に示すように、最短経路から離れて、部屋２６の壁２８に向かって超音波ビームを誘導する。
【0110】
図１０は、壁２８からの間接反射を使用した部屋１２６内の複雑な物体３８の撮像の概略図である。ビーム４４は、壁２８に向かって方向付けられる。ビーム４４は、壁２８から物体３８に向かって反射される。これは、事実上、壁２８が超音波エミッタとして作用し、ビーム４４を画像化される物体３８に向かって方向付けることを意味する。
【0111】
ビーム４４は、物体３８から異なる経路（図示せず）に沿って壁２８に向かって反射し、そこから超音波アレイ４に戻る。反射されてアレイ１０４に戻るこのビームの時間遅延は、壁の所定の場所と共に、物体３８のサイズ、形状及び場所に関する更なる情報を得るために、ＣＰＵによって使用される。
【0112】
図９及び図１０と同じ物体３８が撮像される様子を示す図１１のような開放音響シーンでは、典型的には、シーン内に多くの「空き空間」、すなわち、反射を引き起こさず、ベクトルα内の「反射係数」αｋが自然にゼロである位置が存在する。これは、体内の複数の層から反射が得られる医療用超音波撮像とは対照的である。密なサンプリンググリッドの場合、典型的には、先に定義された行列Ｄ内に、行よりもはるかに多くの列が存在するので、以下のような問題に対する何らかの解を見つけることが常に可能である。
【0113】
【数16】
【0114】
これは、上述した開放音響シーンの問題を解決する１つの方式である。しかしながら、Ｄの寸法を考慮すると、それが仮想反射体の密に離間されたグリッドから構成されていると仮定すると、典型的には、無限のそのような解αも存在し、したがって、それらのうちの最も「物理的にありそうな」ものをピンダウンしようと試みることは理にかなっている。このための１つの手法は、以下を代わりに解こうと試みる圧縮感知手法である。
【0115】
【数17】
【0116】
すなわち、最小のＬ１ノルムを有する問題の解を見つけることである。これは、非ゼロ係数の数が最も少ない解である最良のＬ０ノルム解への良好な近似であることが多い。多数のゼロを有することは、シーンが大部分「ゼロ」、又は非反射点、すなわち空き空間で満たされているという以前から知られている根本的な仮説を反映している。
【0117】
より一般的には、方程式系の次元は、音響シーン全体を表すα内の係数の数が数十万個以上の係数になり得るようにすることができ、したがって、任意の次元低減は、計算時間及び複雑さを大幅に節約する。この目的のために、αにおける係数のうちのいくつかが、他の係数よりも前に知られ得るか又は計算され得る場合、一般的な大反転に対する簡略化された手段を使用して、時間／ＣＰＵリソース消費及び精度の両方が改善され得る。この方程式は、次のように細分される。
ｙ＝Ｄα＝Ｄｕαｕ＋Ｄｋαｋ
ｙ＝Ｄα＝Ｄｕαｕ＋Ｄｋαｋ
【0118】
式中、
【0119】
【数18】
ｙ－Ｄｋαｋ＝Ｄｕαｕ
【0120】
これは、αｕについて解くことができ、αｕは、αが推定されていた元の問題よりも少ない次元を有する。いくつかの係数を（容易に）得るための手法は、以下を含む：まず、図１１において、パルスがアレイ４内の送信機１６から送信され、受信機１８によって受信される。Ｋ個のサンプルの第１のサンプリング期間中に、サンプル（カットオフ円４２によって示される）が、全てゼロ又はゼロに近い場合、この境界内の可能な反射体を表す全ての係数は、図示されるように明らかにゼロでなければならない。これは、寸法を低減するために使用され得るαｋサンプルの初期セットを提供する。この例におけるゼロの正確な数は、２２である。
【0121】
次に、図１２を参照すると、受信サンプリングウィンドウ４２が更に少し引き伸ばされ、最初の数個の入射エコーがこのウィンドウ内で発生する、すなわち、非ゼロサンプルである。反射体３８の場所はまだ分かっていないので、この時点で、「ｘ」で示される反射体の潜在的な位置の「弧」が存在する。少なくとも含まれている全てのサンプルと比較して、この方程式系には適度な数の未知数（２９個の「ｘ」）しか存在せず、すなわち、サンプリング期間の制限を緩和することに留意されたい。この「カットオフ」は、後に到着するサンプルを無視することによって時間領域において、又は「インパルス応答領域」において起こり得ることに留意されたい。「インパルス応答領域」は、インパルス応答が、好適な符号化された出力信号を使用して推定され、その後、受信側において、又は任意の他の好適な領域においてパルス圧縮（解除）が行われる状況である。
【0122】
ここで、既に分かっているα－ｋサンプルを利用して、新しい方程式系を２９個の未知数で作成することができ、それらを推定することができる。次いで、２９＋２２＝５１個の既知／推定サンプルが存在し、これらは、より多くのサンプルが「カットオフ手法」において得られるので、利用することができる。全体として、推定器のシーケンスが駆動されており、各推定器は、フル撮像問題よりも低い次元を有し、シーンのフルイメージを徐々に生成する。任意の推定ステップは、音響シーンの物理的にもっともらしい推定値を得るための圧縮感知を含む前述の技法のいずれかを利用することができる。
【0123】
もちろん、上記の方程式Ａを使用することは必須ではない。Ｌ１／Ｌ０以外のノルム、及び例えばスーパーガウス分布特性などの係数分布のような特性を最適化する情報理論的手法などのスパース性の他のノルム又は測定値を使用して、シーンのスパース性を利用する任意の他の好適な方法を使用することができる。ベイズスパース回帰などのベイズ手法も使用することができ、例えば、以下を参照されたい。ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４０３．０７３５。
【0124】
図９、図１１及び図１２に示す直接経路反射は、アレイ４に対して物体３８の「後ろ」にある部屋２６の部分が遮られる結果となる。図１３は、部屋２６内の遮られた物体４６の撮像の概略図である。図１３から明らかなように、アレイ４と遮られた物体４６との間の物体３８に起因して、アレイ４から遮られた物体４６に方向付けられたビーム４８は代わりに第１の物体３８から反射されるので、遮られた物体４６を撮像するために使用することができない。
【0125】
したがって、遮られた物体を撮像するために、超音波ビーム５０は、場所が分かっている壁２８に向かって方向付けられる。ビーム５０は、第１の物体３８から反射されることなく、壁２８から直接遮られた物体４６に向かって反射される。したがって、ビーム５０は、遮られた物体４６から反射されて、異なる経路（図示せず）に沿って壁２８に戻り、アレイ４に至り、そこで、受信されたエコーが、物体３８、４６を撮像するために、ＣＰＵ８によって分析される。したがって、間接超音波反射は、室内の他の物体によってアレイからの見通し線撮像から遮られている室内の物体の撮像を可能にする。
【0126】
以下の計算は、物体３８、４６の場所を判定するために、受信信号４０、４４、５０に対してＣＰＵ８によって実行された上述の処理に対する更なる修正を提供する。これらの修正された計算は、ＣＰＵ８の計算負荷を低減するために、データセットから遮られた経路５０を除去する。
【0127】
一般的なモデルｙ＝Ｄαは、遮断などの効果を組み込まず、音が全ての反射ボクセルを通して「妨害されずに」伝搬すると単純に仮定する。方程式を再び参照する。
【0128】
【数19】
【0129】
最後に、以前に（逐次的に）推定された反射体の知識を使用して、音響ビームを特定の方向に誘導し、他の方向から遠ざけることができる。図１５では、送信及び／又は受信アレイ４は、ビームパターン４２で、かつ方向４９に音を集束させるように構成されている。これにより、隠れた物体４６を撮像するために、システムが設定される。しかしながら、物体４６からのエコーを受信する前に、この放射から音が戻るため、それらのサンプルの多くが０又は０に近いことが観察され、これは、セクタ内の係数が０に設定され得ることを意味する。これは、図１５に０個の要素で示されている。この場合も、ビーム誘導技法を使用する音響シーンの知識が増大し、計算の複雑さが低減され、誤差が低減される。
【0130】
図１６は、図９～図１３に示すように、部屋２６内の物体３８、４６を撮像する方法を示すフローチャートである。ステップ５２では、アレイ４への近接場が、ビーム形成を使用して撮像される。ビーム４０は、例えば、図９に示されるように、撮像される物体３８に向かって方向付けられる。近接場撮像を改善するために、ステップ５４において、ビーム４４は最短経路から離れて壁２８に向かって誘導される。次いで、ビーム４４は、壁２８から反射され、その結果、壁は、撮像される物体３８に向かってビーム４４を放射する「送信機」として作用する。
【0131】
帯域制限されたディラックパルスとして説明され得る反射ビーム４０、４４は、上述の方程式に入力され、逆方程式ｙ＝αＴＤは、全てのグリッド点における反射率を説明するαを判定するために使用され、したがって、物体３８の画像を提供するために使用されることができる。
【0132】
ステップ５６において、この逆方程式は、図１３に示される経路４８のような遮蔽された経路を除去するために修正される。これは、ＣＰＵ８によって実行されなければならない計算の数が低減されるので、計算負荷を低減する。ステップ５８では、修正された逆方程式が解かれ、したがって、部屋２６内の任意の物体３８、及び任意の遮られた物体４６の画像が得られる。
【0133】
図１７は、図９～図１３に示すように、部屋２６内の物体３８、４６を撮像する修正された方法を示すフローチャートである。ステップ６０及び６２は、図９のステップ５２及び５４と同じ方法を説明しており、アレイ４への近接場が、ビーム形成を使用して撮像され、次いで、近接場撮像を改善するために、ビーム４４が、最短経路から離れて壁２８に向かって誘導される。次いで、ビーム４４は、壁２８から反射され、その結果、壁は、撮像される物体３８に向かってビーム４４を放射する「送信機」として作用する。
【0134】
ステップ６４において、式ｙ＝Ｄαは、近視野反射ビーム４０、４４について解かれる。これは、物体３８の場所に関連する情報を与え、したがって、ビーム誘導は、物体３８を更に撮像するために修正される。ビームを誘導し、反射信号を受信し、物体３８についての情報を判定し、ビームの方向を修正する反復手順によって、物体３８の場所及び形状についての広範な情報を得ることができる。
【0135】
図１６に記載された方法と同様に、逆方程式は、図１３に示される経路４８のような遮蔽された経路を除去するために修正される。これは、ＣＰＵ８によって実行されなければならない計算の数が低減されるので、計算負荷を低減する。ステップ６８では、修正された逆方程式が解かれ、したがって、ステップ６２及び６４の反復法によって、部屋２６内の任意の物体３８、並びに任意の遮られた物体４６の詳細な画像が得られる。
【0136】
図１０に戻って参照すると、経路４４の長さは、おそらく、壁２８の正確な位置又は角度の誤推定の結果として、不正確に計算され得ることが明らかである。領域３８内の反射係数の計算を進めると、次いで「間違った」結果を与える可能性がある。実際には、経路４４を介して観察された反射を説明するために、新しい反射係数に正の値を与えなければならない可能性が高いので、典型的な結果は、画像を「不鮮明にする」結果である。これは、画像全体の「鮮明度」を、エンクロージャの位置を最適化するための基準として使用することができ、代替的に、乱流のようなものによって影響を受ける可能性がある正しい音響経路長を再計算しようと試みることを意味する。
【0137】
画像鮮明度などの測定値（以下を参照されたい。ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／６７８３８５９）又は低反射率値（０に近い）と高反射率値との間の比を使用して、そのような鮮明度を計算することができる。このエンクロージャ更新手法は、図２３を参照して以下で説明するように、ロボットグリッパアームなどのためにエンクロージャが変化することが分かっているときに、特に有用であり得る。
【0138】
ここで図１８を参照すると、ステップ６１において、直接反射及び間接反射の両方について計算された飛行時間を使用して、周囲構造、壁、天井、床、物体などの場所の現在の仮定から導出されたパラメータの初期セットを使用して、初期画像が計算される。ステップ６３において、画像鮮明度が計算され、ステップ６５において、エンクロージャパラメータの新しいセットが生成される。これは、現在のパラメータセットに対する摂動としてランダムに行うことができ、又はアルゴリズムが反復して進むにつれて、パラメータ及び関連付けられた画像鮮明度スコアの以前の推測に基づくことができる。ステップ６７において、新しい画像が計算され、その鮮明度が査定される。ステップ６９において、鮮明度スコアは、基準に対して一致される。これは、絶対基準、例えば、「十分に良好」（又はそうでない）と判定されるものに関する固定閾値であってもよく、又は他の以前の推定値がどれだけ良好にスコア付けされたかに基づいて計算若しくは設定される動的基準、すなわち、局所最適基準であってもよい。ステップ７１において、閾値が満たされると、プログラムは終了し、最適化された画像及び更新されたエンクロージャパラメータの両方を戻す。
【0139】
図１９は、部屋８０内の特定の人７８から音を得るために使用される超音波トランスデューサ７５及びマイクロホン７６のアレイを示す。室内の目標の人７８の位置を考慮すると、ｐ＝［ｘ，ｙ，ｚ］であり、可聴音をキャプチャしようと試みるために使用される全てのマイクロホンの位置は、ｘ１，ｘ２，ｘ３，．．．ｘＮであり、位置ｐにおける目標７８とアレイ７６内のマイクロホンの各々との間の予想飛行時間は、式ｓ＝ｖ＊ｔ（距離は速度×時間に等しい）を介して以下のように計算することができる。
【0140】
【数20】
【0141】
マイクロホン７６は、部屋のどこにでも配置することができる。マイクロホン７６の場所は、任意の好適な手段を使用して、計算することができる。超音波アレイ７５は、超音波を使用して、スピーカ７８及び／又はマイクロホン７６の位置を判定するために使用され得る。
【0142】
目標の人７８が室内の唯一の能動的音源であると仮定すると、受信信号ｙ１（ｔ），ｙ２（ｔ），ｙ３（ｔ），．．．ｙＮ（ｔ）は、以下のように表すことができる。
【0143】
【数21】
【0144】
式中、ｓ（ｔ）は「発話された言葉」、すなわち目標の人によって生成された音であり、ｎ（ｔ）はセンサ雑音である。これを表す別の方式は、以下の通りである。
【0145】
【数22】
【0146】
式中、∂（ｔ）は、デルタディラック関数である。両方の方程式は、本質的に、各マイクロホンが、目標の人から出力される音の適切に時間遅延されたバージョンを受信することを述べている。説明を簡単にするために、減衰項は含まれていないが、当業者によって理解されるように、減衰項を容易に組み込むことができる。
【0147】
関心のある信号ｓ（ｔ）を回復するための簡単な方式は、遅延加算によるものである。すなわち、
【0148】
【数23】
【0149】
ここで、第１の部分は、ソースｓ（ｔ）の増幅（Ｎ回加算される）になり、第２の部分は非コヒーレント雑音成分の和、すなわち建設的に加算されない雑音成分の部分になる。全体的な結果は、遅延和ビーム形成による信号対雑音比の増幅である。周波数領域では、これは次のように表すことができる。
Ｙｉ（ω）＝Ｓ（ω）＊Ｄｉ（ω）＋Ｎ（ω）
Ｙｉ（ω）＝Ｓ（ω）＊Ｄｉ（ω）＋Ｎ（ω）
【0150】
式中、Ｄｉ（ω）は、特定の周波数ωに関する時間遅延Δｉと関連付けられた位相遅延である。留意すべきは、Ｄｉ（ω）は、単位モジュロを有する（すなわち、上記で説明した仮定に従って、信号を位相遅延させるだけであり、増幅も減衰もしない）。周波数領域では、遅延和回復戦略は、以下のようになる：
【0151】
【数24】
【0152】
式中、Ｄｉ（ω）＊の効果は、Ｄｉ（ω）の効果を相殺するものであり、再度、ノイズに対する信号の増幅を得る。これは、フェーズドアレイという用語を生じさせ、すなわち、いくつか又は全ての周波数帯域における位相情報が、関心のある信号を回復させるために建設的に使用される。また、干渉信号が混合に加えられる場合、すなわち、
Ｙｉ（ω）＝Ｓ（ω）＊Ｄｉ（ω）＋Ｚ（ω）＊Ｆｉ（ω）＋Ｎ（ω）
Ｙｉ（ω）＝Ｓ（ω）＊Ｄｉ（ω）＋Ｚ（ω）＊Ｆｉ（ω）＋Ｎ（ω）
【0153】
Ｚ（ω）が何らかの他の場所ｑで発生し、Ｆｉ（ω）として表される個々の時間遅延を介して、マイクロホン７６の各々に向かって遅延される干渉信号である場合、次いで、同じ遅延和戦略は、関心のある信号に対する出力結果における干渉信号の影響を低減する働きもする、すなわち、この戦略は、信号対雑音干渉比を改善するために位相知識を使用する。
【0154】
他のより洗練された技術は、信号源強化のために存在する。いくつかは、干渉源の位置及び／又は統計的音響特性を考慮に入れる、すなわち、上記の例のようにそれらの影響を低減するために単に不鮮明にしない。最小分散無歪受信機（Mininum Variance Distortionless receiver、ＭＶＤＲ）又はＣａｐｏｎビーム形成は、一例にすぎない。
【0155】
更に、各音源７８から各マイクロホン７６への音響伝達関数又はインパルス応答が分かっている場合、インパルス応答は、人７８から各マイクロホン７６の各々に向かう音の直接経路だけでなく、壁８２、天井、又は他の物体に衝突する音から来る任意の後続エコーも考慮に入れることができるので、より良好な結果を得ることができる。周波数領域において、Ｈｉｊ（ω）にソースｊ（ｊ＝１，．．．Ｑからマイクロホン数ｉ）からのインパルス周波数応答を示させると、次いで、Ｓｊ（ω）が第ｊのソースからのソース信号であると仮定した場合：
【0156】
【数25】
【0157】
これは、次のようにベクトル内の連続するマイクロホン入力を積み重ねることによって、ベクトル行列表記にすることができる：
【0158】
【数26】
【0159】
ここでＨ（ω）＝｛Ｈｉｊ（ω）｝，Ｓ（ω）＝［Ｓ１（ω），．．．ＳＱ（ω）］Ｔ、Ｙ（ω）＝［Ｙ（ω），．．．ＹＮ（ω）］Ｔ及びＮ（ω）＝［Ｎ１（ω），．．．ＮＮ（ω）］Ｔである。同様の定式化が時間領域に存在し、ここで、時間領域におけるインパルス応答の効果、すなわちｈｉｊ（ｔ）（ソース信号ｓｉｊ（ｔ）で畳み込まれる）は、遮蔽Ｔｏｅｐｌｉｔｚ行列システムを構築する。
【0160】
次に、ソースの推定値を次のように計算することができる：
【0161】
【数27】
【0162】
式中、Ｈ＋（ω）は、Ｈ（ω）の好適な逆行列である。これは、ムーア・ペンローズ逆行列、チホノフ正則化などの雑音レベルに一致する正則化逆行列、又はベイズ推定器などの雑音特性の知識を利用する一般化逆行列であり得る。時間領域で使用されるか、周波数領域で使用されるかにかかわらず、以下の技術のいずれも等しく良好に使用することができる：最小平均二乗誤差（Minimum Mean Square Error、ＭＭＳＥ）受信機戦略、ブラインド信号源分離又は独立成分分析、関心のある信号に関連する統計的特性を利用するブラインド信号源分離手法、ガウス混合モデルを用いたベイズモデルなどのスパース法、又は圧縮感知などにおけるＬ１ベースの正則化法、又は位相情報を利用する任意の他の好適な技術。
【0163】
実際には、これは、本発明の実施形態に従い、オーディオキャプチャが２つの重要な方式で改善され得ることを意味する：第１に、部屋８０内の人７８の場所、すなわち、位置ｐが推定され得る。更に、人７８が話していない場合であっても、人７８の動きの範囲及びありそうな位置の統計的「マップ」を計算することができ、その結果、オーディオ信号処理をこの目的のために最適化することができる。第２に、壁８２及び天井の場所を使用して、上記のインパルス応答関数Ｈ（ｗ）を計算することができ、これは、天井及び壁８２並びに／又は他の反射性アイテムを使用して、音を集束させることを可能にするものである。したがって、超音波領域でキャプチャされた情報は、オーディオ領域で有用に使用することができる。
【0164】
ここで、図２０に示されるような指向性ハイファイ音再生システムにおけるような送信に目を向けると、ラウドスピーカ８４の場所が分かっており（上記のマイクロホンに関して）、目標７８の場所も分かっていると同様に仮定される。次いで、上で使用された時間遅延は、ラウドスピーカｊから出力されるべき各出力信号ｓｊ（ｔ）を定義するために以下のように使用されることができる：
【0165】
【数28】
【0166】
この場合、目標の人７８の位置で受信された信号は、以下のようになる：
【0167】
【数29】
【0168】
【数30】
【0169】
【数31】
【0170】
代わりに、その効果は、出力の「不鮮明化」及びｐで観察されたＮ倍増幅の効果的な低下であろう。周波数領域において並列議論を行うことができ、システムが局所集束効果を得るために、送信信号の位相遅延に依存していることを明らかにする。
【0171】
また、送信側では、インパルス応答関数の詳細な知識を利用して、壁８２及び天井又は他の大きな物体のような反射体を利用して、更に良好な集束を生成することが可能である。例えば、ｈｉｊ（ｔ）が各送信機ｊと各目標ｉとの間のインパルス応答である場合、次いで、各目標ｉにおいて受信された音は、以下のように一緒にモデル化することができる：
【0172】
【数32】
ｙ＝Ｈｓ
【0173】
行列Ｈｉｊは、インパルス応答ｈｉｊ（ｔ）を含む前述のＴｏｅｐｔｌｉｚ行列であり、そのシフトされた行として、ｓｊ（ｔ）は、スピーカｊから出力されたサンプルに対するサンプリングされたベクトルであり、ｙｉ（ｔ）は、ｉ＝１，．．．Ｑの場合、第ｉの目標場所で受信される音である。
【0174】
スピーカ８４は、部屋のどこにでも配置することができる。スピーカ８４の場所は、任意の好適な手段を使用して、計算することができる。超音波アレイ７５は、本明細書で前述したように、超音波を使用して、ユーザ７８及び／又はスピーカ８４の位置を判定するために使用され得る。
【0175】
ここで、送信信号｛ｓｊ（ｔ）｝を選択することが可能であり、その結果、受信信号が「所望のもの」になる、すなわち、元の送信信号｛ｓｊ（ｔ）｝の全てがそれらの特定の音の混合を含む場合であっても、特定の音がある場所Ｉで観察され、場所ｊで全く異なる音が観察される。１つの簡単な例は、ｓ＝Ｈ＋ｙとすることであり、式中、Ｈ＋は、Ｈのムーア・ペンローズ逆行列を表す。受信／サウンドキャプチャシナリオについて上で説明したように、ノイズロバスト性を扱うことができるより洗練された技術も想定することができる。上記では、インパルス応答全体、すなわち、直接の飛行時間経路だけでなく、オーディオ集束に利用することができることに留意されたい。
【0176】
いくつかの状況では、音が集束されるべき人７８の正確な位置が分かっていない場合があり、すなわち、その人７８についての位置ｐに関連する不確実性があるか、又は複数の人７８が存在する場合がある。図１９の受信シナリオでは、異なるビーム形成又は逆行列計算が、最適な音キャプチャを得るために利用され得るが、図２０に示される送信事例では、音が送信されると、その機会はなくなる。したがって、上述の方程式ｙ＝Ｈｓを参照すると、これは、互いに近接して配置された複数の目標点を提供することによって、又は「クラスタ点」の２つ以上のグループで対処することができる。目標点の数、したがって、上述の行列Ｈ内の行ブロックの数は、数百又は数千であり得、正味の効果は、より広い焦点ゾーンを作成することである。行列Ｈは、通常、積の反転ＨＴＨ前に、その転置行列ＨＴによって事前に乗算されるので、逆問題の複雑さは、通常、劇的に変化しない。
【0177】
再び、図１９のオーディオ受信状況と同様に、これは、特許請求される本発明を使用して、部屋８０及び１人以上の人７８の動きの両方をマッピングすることができ、これら２つを組み合わせることによって、大幅に改善された全体的なオーディオ体験を得ることができることを意味する。図１９の受信機の場合と同様に、本発明は、人７８の居場所の統計マップを作成し、この情報を図２０のオーディオ「誘導」の最適化に使用するために使用することができる。
【0178】
超音波が、エンクロージャ８６からの反射を利用することによって環境をマッピングするために使用される撮像手法が、図２１に示される。図１９及び図２０において、音響送信及び受信のためのオーディオ伝搬を誘導するために使用されたのと同じ概念が、ここでは、撮像のために使用される超音波を特定の方向に、又は特定の位置に向かって、及び他から離れるように誘導するために使用され得る。この例では、容器８６は、超音波アレイ８８を含み、超音波アレイ８８は、容器８６の寸法、及びこのシナリオでは、容器８６が廃棄物９０でどの程度満たされているかを撮像するために使用される。
【0179】
方程式ｙ＝Ｈｓを再び参照すると、ｓに保持される（スタックされた）送信信号は、（スタックされた）ベクトルｙにおける所望の信号セットが少なくとも近似的に得られるように選択されてもよい。ソースｓを選択する問題は、次のように再定式化することができる：
【0180】
【数33】
【0181】
式中、Ｈｋは行列Ｈの第ｋのブロック行を示す、すなわちＨｋ＝［Ｈｋ１，．．．，ＨｋＮ］。重み付けを右側の項に導入することができ、すなわち、重み付けされたコスト関数を生成することができる。
【0182】
【数34】
【0183】
式中、行列｛Ｗｋ｝は、典型的には、正のインデックスを有する対角行列である。これらの重み行列を慎重に選択することによって、時間及び空間における特定の点を、エネルギーが存在しない場所に「設定」することができる。例えば、関連付けられた目標信号を有する特定の仮想点ｋについて、ｙｋ、ｙｋ＝０、及び関連付けられたＷｋ＝αＩであり、式中、αは、大きな正の整数である。
【0184】
同時に、ｌ≠ｋについて、別のベクトルｙｌが選択され得、これは、ゼロパディングされたスパイク又はｓｉｎｃ信号であり、好適な重み行列Ｗｌ＝αＩである。また、所与の時間後に特定の点に到着するエネルギーをあまり考慮しないが、この点又は早期の他の点にエネルギーがないという事実をより多く考慮することが望ましい場合がある。これは、物体から離れる「誘導エネルギー」と等価である（図２１を参照されたい）。これは、説明したように、目標ベクトルｙｋ＝０を選択することによって達成することができるが、Ｗｋ＝αＤとすると、式中、行列Ｄは、対角要素が最初のＫ個のサンプル（例えば、最初の５００個のサンプル）について１に等しく、その後は０に等しい対角行列である。実際に、これは、その場所でピックアップされた最初の５００個のサンプルに対してエネルギーが所望されないが、その後は問題にならないことを意味する。これは、シーン内の全ての反射を考慮すると、所与の点において「永久的な外皮」又はゼロを作成することが非常に困難であるので、妥当な妥協とみなすことができる。しかしながら、少なくとも最初は、特定のセクタに「指向性エネルギー」が存在しないような指向性パターンで超音波を誘導することが可能である。図２１に示すように、信号９２は、有用な撮像情報を提供しない容器内の空き空間に向けられるのではなく、容器８６の壁に向かって、又は廃棄物９０に向かって誘導される。
【0185】
図２２は、超音波トランスデューサ９４のアレイが部屋９８内の人々９６の場所を判定するために使用されるカフェの形態の本発明の別の例示的な実施形態を示す。送信された超音波信号の壁１００からの反射は、不明瞭な人９６ａが、アレイ９４の直接の見通し線内にいなくても、撮像されることを可能にする。新しい顧客９６が出入りし、周りを移動するので、部屋９８内で何が起こっているかを監視することは有用であり得る。例えば、顧客間の距離を監視して、顧客がＣｏｖｉｄ－１９ガイドラインの下で一定の距離、例えば２ｍ離れたままであることを確実にすることができる。したがって、超音波トランスデューサ９４は、ガイドラインが顧客によって順守されていることを監視するために使用され得る。図２２では、カウンタ１０２の背後のスタッフメンバー９６ｂは、超音波トランスデューサ９４によって直接撮像される。しかしながら、いくつかの例では、部屋９８の寸法、及び部屋９８内の固定された物体、例えば、カウンタ１０２の場所が判定されると、カウンタ１０２の「背後」の領域は、カウンタ１０２の背後の任意の人がスタッフ９６ｂであり、スタッフ９６ｂの動き及び場所は監視される必要がないことが分かっているので、撮像される必要がない場合がある。
【0186】
図２３は、超音波トランスデューサアレイ１０６を有するロボットグリッパアーム１０４の形態の本発明の別の実施形態を示す。ロボットグリッパ１０４は、鉛筆１０８を取り上げるように制御されている。ロボットグリッパ１０４の形状は、鉛筆１０８の周囲で閉じるにつれて形状を変化させる。超音波アレイ１０６は、周囲構造（この場合、ロボットグリッパ１０４自体）の場所及び鉛筆１０８の場所の両方を判定するために使用される。したがって、超音波アレイ１０６は、ロボットグリッパ１０４の手及び指の位置に関連する情報を定期的に更新して、図１８を参照して上述したように、ロボットグリッパ１０４が形状を変化させる際の鉛筆１０８の撮像を改善する。近接場反射１１０は、グリッパ１０４がその形状を変化させながら鉛筆１０８に向かって移動するときに、グリッパ１０４によって取り上げられている鉛筆１０８を撮像するために使用される。
【0187】
図２４は、超音波送信機１２２のアレイが、ＭＥＭマイクロホン１２４の内蔵アレイを有するデバイスに追加導入される本発明の実施形態を示す。この例では、デバイスは、音声制御スマートスピーカ１２０である。スマートスピーカ１２０は、デバイスの上部の周りに離間して配置されたマイクロホン１２４と、デバイスの上部の中心に位置する超音波送信機１２２のアレイと、マイクロホン１２４からの受信信号を処理し、送信機アレイ１２２を制御するためのＣＰＵ１２６と、を含む。音声制御スマートスピーカ１２０は、前述の説明で説明したように、周囲構造内の物体を音響的に撮像するために使用されてもよい。マイクロホン１２４は各々、典型的な音声の周波数範囲、例えば５０Ｈｚ～５００Ｈｚのピーク応答を有する。マイクロホン１２４は、超音波信号をキャプチャする能力も有するので、専用の超音波受信機アレイを追加導入する必要もない。これは、追加導入された構成要素が小さく、より広い範囲のデバイスに好適であることを助ける。送信機アレイ１２２は、超音波周波数範囲内の音波の半波長に等しい間隔を有するので、特にコンパクトであり、これは、超音波ビーム形成のために送信機アレイ１２２を最適化するのに役立つ。
【0188】
本出願人はまた、本発明の前述の態様又は実施形態のいずれかによる受信信号が、ドップラー情報を考慮に入れるように処理され得ることを理解している。これにより、撮像性能を更に向上させることができる。
【0189】
ドップラー情報を使用して、撮像性能を向上させることができるいくつかの方式がある。以下の数学は、ドップラーを処理中に明示的に考慮することができる１つの方式を示す。
【0190】
以下の方程式に戻る：
【0191】
【数35】
【0192】
ここで、ディラックパルスが送信され、時系列ｙ（ｔ）として受信機で受信されていると仮定する。
【0193】
より典型的には、本出願において先に述べたように、符号化信号を使用することができる。（）を、例えばチャープ信号であってもよい帯域制限された線形出力信号とする。
【0194】
次に、ｙ（ｔ）は、以下を通して得ることができる：
【0195】
【数36】
【0196】
【数37】
ｙ（ｔ）＝ｈ（ｔ）＊∂Ｂ（ｔ）＋ｎ２（ｔ）
【0197】
ここで、信号ｘ（ｔ）が送信され、それが移動物体から跳ね返る場合、主要な効果は、受信時に送信信号ｘ（ｔ）を効果的に引き伸ばし、又は圧縮する効果である。これは、わずかに異なる方式で考えることができる：物体は静止したままであるが、送信信号ｘ（ｔ）が引き伸ばされ、又は時間的にスケーリングされ、その結果、現在はｘ（ｋｔ）であり、式中、ｋは、典型的には、１に近い正の定数である。
【0198】
これは、以下を与える：
【0199】
【数38】
【0200】
但し、プロパティｘ（－ｔ）＊ｘ（ｔ）＝∂Ｂ（ｔ）は、ここでは欠落している。この不一致は、信号処理及びその後の画像生成プロセスを特定のドップラーシフトのみを有する物体に集中させる、「ｘ（－ｔ）置換」のセットを構築するために、利用することができる。
【0201】
ここで、特定のドップラーシフトを有する物体をフィルタリングして分離するために、以下の関数群
【0202】
【数39】
【0203】
【数40】
【0204】
次に、画像化問題の単一の「スライス」は、群内の信号のいずれかによって受信信号を事前畳み込みすることによって作成することができる。例えば：
【0205】
【数41】
【0206】
【数42】
【0207】
「右」ドップラー速度関連関数
【0208】
【数43】
【0209】
方程式（＊）で保持される関数群は、任意の数の方式で導出することができる。それを行う１つの特定の方式は、（ａ）単一の送信機のみが存在する場合に共通の変数値であるインデックスｉを一時的にスキップする、ベクトル群ｘｋを生成するために、ｋの異なる値を有する関数ｘｉ（ｋ・ｔ）を再サンプリングすることである。次いで、これらのベクトルの各々は、その（フリップされた）要素として、ベクトルｘｋを有する関連付けられたＴｏｅｐｌｉｔｚ行列Ｘｋを生成するために使用される
【0210】
次に、フィルタのベクトル近似
【0211】
【数44】
【0212】
【数45】
【0213】
【数46】
【0214】
式中、ｗｒｋは、ｒ＜＞ｋならば０であり、ｒ＝ｋならば、ベクトルサンプリングされたディラック関数であり、ｋは関連するドップラー速度インデックスの数である。フィルタリング以外の分離戦略も存在し、例えば逆畳み込み手法を使用することができ、上記の最適化問題を他のノルムを使用して解くことができ、又は深層学習手法を使用して、最適フィルタを設計することができる。
【0215】
数個のドップラーシフトのみが同時に存在すると仮定することによって、例えば、ほとんどの物体が静止しており、数個のみが比較的高い分かっている速度で移動していると仮定することによって、より洗練されたフィルタリング又は逆畳み込み戦略を使用することもできる。これにより、フィルタｈｋが群内の他のフィルタ全てではなく、速度がフィルタ群の特定のサブセットに一致する物体に対してのみ直交すればよいので、基準（＋）に対する圧力が緩和される。
【0216】
次に、以下の方程式を解くことができる：
【0217】
【数47】
【0218】
式中、Ｓは関連する速度インデックスのサブセットであり、｜Ｓ｜＜Ｋである。次いで、基準がより良好に満たされ、（＊）で設定された設計目標に近づく。
【0219】
文献には送信ビーム及び受信ビームの両方を誘導するための複数の他の戦略が存在しており、例えば、Ｄｅｍｉ，Ｌ．，「Ｐｒａｃｔｉｃａｌ ｇｕｉｄｅ ｔｏ ｕｌｔｒａｓｏｕｎｄ ｂｅａｍ ｆｏｒｍｉｎｇ：ｂｅａｍ ｐａｔｔｅｒｎ ａｎｄ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎａｌｙｓｉｓ」，Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，２０１８，８，１５４４を参照されたい。
【0220】
本発明は、その１つ以上の具体的実施形態を記載することによって例証されているが、これらの実施形態に限定されず、添付の特許請求の範囲の範囲内で、多くの変形及び修正が可能である。例えば、ＣＰＵは、撮像システムに対して局所的でなくてもよく、代わりに、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号を介して、撮像システムとハブとの間でデータが送信される、ワークシェアリングのために使用される外部ハブであってもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【国際調査報告】