(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022168855
(43)【公開日】2022-11-08
(54)【発明の名称】超音波トランスデューサの組からの信号を処理するための装置及び方法
(51)【国際特許分類】
G01S 15/02 20060101AFI20221031BHJP
G01S 3/808 20060101ALI20221031BHJP
【FI】
G01S15/02
G01S3/808
【審査請求】未請求
【請求項の数】17
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022071591
(22)【出願日】2022-04-25
(31)【優先権主張番号】2104297
(32)【優先日】2021-04-26
(33)【優先権主張国・地域又は機関】FR
(71)【出願人】
【識別番号】311015001
【氏名又は名称】コミサリヤ・ア・レネルジ・アトミク・エ・オ・エネルジ・アルテルナテイブ
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】エマニュエル・ハーディ
(72)【発明者】
【氏名】ブルーノ・ファン
(72)【発明者】
【氏名】トマ・メスキダー
(72)【発明者】
【氏名】フランソワ・リュメンス
(72)【発明者】
【氏名】エリザ・ビアネッロ
【テーマコード(参考)】
5J083
【Fターム(参考)】
5J083AA02
5J083AC29
5J083AC30
5J083AD04
5J083AD17
5J083BA02
5J083BE09
5J083BE25
5J083BE54
5J083BE60
5J083CA03
5J083CA12
(57)【要約】
【課題】超音波トランスデューサの組からの信号を処理するための装置及び方法を提供する。
【解決手段】超音波センサの複数のトランスデューサからの信号を、超音波センサ(1)によって検知された物体に関する特徴情報を判定するために処理するための処理システム(100)が提案される。本システムは、トランスデューサから受信された信号をパルスに変換するための結合装置(3)と、結合装置によって送出されたパルスに基づいて特徴情報を判定するためのパルス処理部(2)とを含む。結合装置は、
- トランスデューサから受信された各信号について、トランスデューサから受信された信号から導出された信号に閾値設定を適用し、且つ導出された信号の位相に含まれる方向情報を抽出するための閾値設定部(32)、
- 導出された信号を、閾値設定部(32)によって抽出された情報を使用して、信号の位相を含むパルスに変換するための変換部(33)
を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
超音波センサ(1)によって送出された信号を処理するための処理システム(100)であって、前記超音波センサは、トランスデューサ(10)の組を含み、前記トランスデューサの組の前記トランスデューサの少なくともいくつかは、信号を発し、且つ/又は検知物体(5)による前記信号の反射に対応するエコーを受信するように構成され、信号は、前記トランスデューサによるエコーの受信に応答して、前記超音波センサの複数のトランスデューサによって前記処理システム(100)に送信され、前記処理システムは、前記超音波センサの前記トランスデューサから受信された前記信号に基づいて、前記検知物体に関する少なくとも1つの特徴情報項目を判定するように構成される、処理システム(100)において、前記トランスデューサの組の少なくともいくつかのトランスデューサから受信された前記信号をパルスに変換するように構成された結合装置(3)と、前記結合装置によって送出された前記パルスを処理するように構成されたパルス処理部(2)とを含むことと、前記結合装置は、
- トランスデューサから受信された各信号について、前記トランスデューサから受信された前記信号から導出された信号に閾値設定を適用して、少なくとも1つの閾値を使用して、前記導出された信号の位相に含まれる方向情報を抽出するように構成された閾値設定部(32)であって、前記抽出された情報は、前記導出された信号の立ち上がり及び/又立ち下がりエッジを含む、閾値設定部(32)、
- 前記トランスデューサから受信された前記信号から導出された前記信号を、前記閾値設定部(32)によって抽出された前記1つ以上の信号エッジを使用して、前記信号の前記位相を含むパルスに変換するように構成された信号-パルス変換部(33)
を含み、前記パルス処理部(2)は、前記トランスデューサから受信された前記信号の全てについて、前記結合装置によって決定された前記パルスに基づいて、前記検知物体に関する少なくとも1つの特徴情報項目を判定するように構成されることとを特徴とする処理システム(100)。
【請求項2】
前記パルス処理部(2)は、少なくとも1つの分類器(20)を含むことを特徴とする、請求項1に記載のシステム。
【請求項3】
前記少なくとも1つの分類器は、主分類器を含み、前記主分類器は、パルスニューラルネットワーク分類器(20)又は非イベント駆動型分類器であることを特徴とする、請求項2に記載のシステム。
【請求項4】
前記少なくとも1つの分類器(20)は、前記結合装置から受信された前記パルスに基づいて、可能な閾値振幅値の組の中から、前記閾値設定部(32)によって使用される前記閾値の振幅を決定するための二次分類器(200)を更に含むことを特徴とする、請求項2又は3に記載のシステム。
【請求項5】
増幅器(311)の組を更に含み、前記増幅器(311)の組は、少なくとも1つの増幅器を含み、且つ前記トランスデューサから受信された各信号のアナログ電圧を増幅するように構成されることを特徴とする、請求項1~4のいずれか一項に記載のシステム。
【請求項6】
帯域通過フィルタ(312)の組を更に含み、前記帯域通過フィルタ(312)の組は、少なくとも1つの帯域通過フィルタを含み、且つ前記増幅器(311)の組によって増幅された前記電圧をフィルタリングして、通過帯域外のノイズを除去するように構成され、前記トランスデューサから受信された各信号から導出された前記信号は、前記帯域通過フィルタの組によって送出された信号であることを特徴とする、請求項5に記載のシステム。
【請求項7】
前記パルス処理部(2)から到来する信号を使用して、1つ以上の適合基準に基づいて、前記トランスデューサ(10)から受信された前記信号の1つ以上の成形パラメータを適合させるように構成されたコントローラ(34)を含むことを特徴とする、請求項1~6のいずれか一項に記載のシステム。
【請求項8】
前記コントローラ(34)は、前記超音波センサ(1)と前記物体との間の距離に基づいて又は前記超音波センサ(1)によって実行された以前の測定の品質に基づいて、前記閾値設定部(32)によって使用される前記閾値を適合させるように構成され、前記品質は、パルス領域内において又はパルス密度を実数に変換した後に計算されることを特徴とする、請求項7に記載のシステム。
【請求項9】
前記パルス処理部(2)は、少なくとも1つのコヒーレンス検知器を含むコヒーレンス検知器(21)の組及び特徴情報判定部(22)を含み、前記コヒーレンス検知器(21)の組は、前記物体から到来する前記エコーの所与の方向について、前記トランスデューサから到来する前記信号がコヒーレントであるかどうかを、前記パルス変換部(33)によって送出された前記パルスに基づいて検知し、且つコヒーレンスが検知される場合、前記パルスを前記特徴情報判定部(22)に送出するように構成されることを特徴とする、請求項5~8のいずれか一項に記載のシステム。
【請求項10】
前記特徴情報判定部は、前記物体から到来する前記エコーの距離及び/又は方向を測定するためのユニット(23)であることを特徴とする、請求項9に記載のシステム。
【請求項11】
前記特徴情報判定部は、分類器(24)であることを特徴とする、請求項10に記載のシステム。
【請求項12】
コヒーレンス検知器(21)は、前記トランスデューサの組(1)の前記トランスデューサ(10)から受信された前記信号の前記エッジのアライメントを測定するための漏れ積分器を含むことを特徴とする、請求項9又は10に記載のシステム。
【請求項13】
コヒーレンス検知器(21)は、前記結合装置によって送出された前記パルスに基づいて、前記トランスデューサから受信された前記信号間のコヒーレンスを検知するためにウィンドウイングを適用するように構成されたウィンドウイング部を含み、前記ウィンドウイング部は、所与の幅のウィンドウ内において、前記トランスデューサの組(1)の前記様々なトランスデューサに対応する送信チャネルの全ての中から、パルスの数をカウントするように構成されることを特徴とする、請求項9又は10に記載のシステム。
【請求項14】
前記コヒーレンス検知器(21)の組の出力における低域通過フィルタであって、前記コヒーレンス検知器の組によって送出された前記パルスの密度の画像を提供するように構成された低域通過フィルタと、前記低域通過フィルタから受信された低周波信号をサンプリングするように構成されたサンプリング部とを更に含むことを特徴とする、請求項9~13のいずれか一項に記載のシステム。
【請求項15】
前記パルスをカウントし、且つクロック信号で前記コヒーレンス検知器の組の出力をサンプリングするように構成される、前記コヒーレンス検知器の組の前記出力に配置された非同期カウンタを更に含むことを特徴とする、請求項9~13のいずれか一項に記載のシステム。
【請求項16】
前記超音波センサ(1)によって監視される領域における動きの存在を検知するために、前記コヒーレンス検知器の組の出力に配置された動き検知器(24)を更に含むことを特徴とする、請求項9~13のいずれか一項に記載のシステム。
【請求項17】
超音波センサ(1)によって送出された信号を処理する方法であって、前記超音波センサは、トランスデューサの組を含み、前記トランスデューサの組の前記トランスデューサの少なくともいくつかは、信号を発し、且つ/又は検知物体による前記信号の反射に対応するエコーを受信し、前記方法は、前記超音波センサの前記トランスデューサから受信された前記信号に基づいて、前記検知物体に関する少なくとも1つの特徴情報項目を判定するステップを含む、方法において、前記トランスデューサの組の少なくともいくつかのトランスデューサから受信された前記信号をパルスに変換するステップと、前記パルスを処理するステップとを含み、前記変換ステップは、トランスデューサから受信された各信号について、
- 前記トランスデューサによって送出された前記信号から導出された信号に閾値設定を適用して、少なくとも1つの閾値を使用して、前記導出された信号の位相に含まれる方向情報を抽出するステップであって、前記抽出された情報は、前記導出された信号の立ち上がり及び/又は立ち下がりエッジを含む、ステップ、
- 前記トランスデューサから受信された前記信号から導出された前記信号を、前記閾値設定を適用するステップで抽出された前記1つ以上の信号エッジを使用して、前記信号の前記位相を含むパルスに変換するステップ
を含むことと、前記パルス(2)を処理する前記ステップは、前記トランスデューサから受信された前記信号の全てについて、決定された前記パルスに基づいて、特徴情報を判定するステップを含むこととを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、検知システムの分野、特に超音波トランスデューサの組からの信号を処理するための装置及び方法に関する。
【背景技術】
【0002】
超音波センサは、今日、空間位置特定、ジェスチャ検知、指紋認識、生物医学画像等の多くの用途で使用されている。
【0003】
超音波センサは、短い高周波超音波信号を等間隔又は連続的に発する。これらのパルスは、音速で空気中を伝播する。それらは、物体に衝突すると、反射されて、エコーの形態でセンサに戻り、センサは、次いで、信号の発信と、センサによるエコーの受信との間で経過した時間を使用して、それ自体と物体との間の距離を計算することができる。
【0004】
超音波センサの使用は、多くの場合、例えば物体の位置特定のための距離及び角度、ジェスチャ検知のための動きの種類、指紋認識の場合の検証情報及び生医学的画像の場合の診断情報等、用途に応じて関連情報を抽出するために、比較的負担が大きい近センサ信号処理を必要とする。
【0005】
例えば、以下に記述されるような飛行時間に基づく測定解決策等、各種のジェスチャ検知解決策が提案されている:
- R.Nandakumar,V.Iyer,D.Tan,and S.Gollakota,“FingerIO:Using Active Sonar for Fine-Grained Finger Tracking,”in Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems,New York,NY,USA,May 2016,pp.1515-1525,doi:10.1145/2858036.2858580。
- A.Das,I.Tashev,and S.Mohammed,“Ultrasound based gesture recognition,”in 2017 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),Mar.2017,pp.406-410,doi:10.1109/ICASSP.2017.7952187。
- K.Ling,H.Dai,Y.Liu,and A.X.Liu,“UltraGesture:Fine-Grained Gesture Sensing and Recognition,”in 2018 15th Annual IEEE International Conference on Sensing,Communication,and Networking(SECON),Jun.2018,pp.1-9,doi:10.1109/SAHCN.2018.8397099。
【0006】
例えば、以下に記述されるようなドップラー測定に基づく他のジェスチャ検知解決策が提案されている:
- W.Wang,A.X.Liu,and K.Sun,“Device-free gesture tracking using acoustic signals,”in Proceedings of the 22nd Annual International Conference on Mobile Computing and Networking,New York,NY,USA,Oct.2016,pp.82-94,doi:10.1145/2973750.2973764。
- S.Yun,Y.-C.Chen,and L.Qiu,“Turning a Mobile Device into a Mouse in the Air,”in Proceedings of the 13th Annual International Conference on Mobile Systems,Applications,and Services,New York,NY,USA,May 2015,pp.15-29,doi:10.1145/2742647.2742662。
- X.Li,H.Dai,L.Cui,and Y.Wang,“SonicOperator:Ultrasonic gesture recognition with deep neural network on mobiles,”in 2017 IEEE SmartWorld,Ubiquitous Intelligence Computing,Advanced Trusted Computed,Scalable Computing Communications,Cloud Big Data Computing,Internet of People and Smart City Innovation(SmartWorld/SCALCOM/UIC/ATC/CBDCom/IOP/SCI),Aug.2017,pp.1-7,doi:10.1109/UIC-ATC.2017.8397483。
- E.A.Ibrahim,M.Geilen,J.Huisken,M.Li,and J.P.de Gyvez,“Low Complexity Multi-directional In-Air Ultrasonic Gesture Recognition Using a TCN,”in 2020 Design,Automation Test in Europe Conference Exhibition(DATE),Mar.2020,pp.1259-1264,doi:10.23919/DATE48585.2020.9116482。
【0007】
しかし、既存の超音波センサは、複雑なアーキテクチャを有し、成分(ノイズ、歪み)の寸法決定の観点から高い制約を受ける。更に、これらは、一般に、高速フーリエ変換(FFT)ステップ、相関ステップ、非線形フィルタリングステップ等の複雑な信号処理ステップを実行し、この結果、コンピュータ処理時間、電力消費及び計算時間が極めて長くなる。更に、既存の超音波センサは、信号の中間的表現を保存しなければならないため、必要なハードウェア資源が増加する。
【0008】
飛行時間を測定する超音波トランスデューサの超音波技術は、他の技術(レーダー、光)と同じ物体に感応するわけではない(例えば、超音波は、透明な窓ガラスによって反射される)。
【0009】
更に、単一の超音波トランスデューサの超音波信号は、一般に、無指向性が極めて高く、超音波波は、典型的には、頂角が数10度の円錐内で発されるか又は受信される。これは、発された信号を、超音波センサを使用して処理した場合、物体の位置の角度的不確実性が大きいことを意味する。
【0010】
超音波トランスデューサシステムの角解像度を向上させるために、三角測量及びビーム形成技術の利用が提案されている。三角測量法は、2つ(以上)の異なる位置から距離を計量するものである。2つ(以上)の情報項目の交わりにより、より高い精度で物体の位置を特定することが可能になる。しかし、効果を発揮するには、ソース/検知器の2つの対を、互いに適当な間隔を空けて配置しなければならず、これは、実際には必ずしも可能又は適当とは限らず、且つ場合により統合に関する問題を呈する。
【0011】
ビーム操縦/ビーム形成方式は、発信時に超音波光線の特徴を調整(「ビーム操縦」)するか、又は受信時に測定された情報の品質を向上させる(「ビーム形成」)ことをそれぞれ可能にする複合的な技術の組を指す。このような技術の組は、平面波の受信/発信角度に対応する時間位相ずれを伴って信号を送信/測定するトランスデューサの組の信号間での干渉の構築に基づく。
【0012】
従来の「ビーム操縦」技術の場合、超音波トランスデューサの組の各種のトランスデューサは、時間位相ずれを伴う信号を発し、それにより、各種のトランスデューサによって生成された音波は、少なくとも特定の一方向で建設的であり、他の方向で破壊的である。異なる位相ずれを伴う複数の発信が一般に使用される。これらの各種の発信に対応するエコーを測定することにより、角解像度を向上させることが可能になる。「ビーム形成」の場合、トランスデューサの組による受信での1回の測定により、それぞれ注視方向に対応する様々な種類の干渉に対応する各種の信号処理動作が生じることがある。従って、物体の角度位置を判定することが可能である。三角測量とは対照的に、「ビーム形成」技術では、各種のトランスデューサをトランスデューサ間の距離が信号の半波長未満であるように極めて近接して配置する必要がある。当然のことながら、システムには、アーチファクト、すなわち特定の方向における不必要な発信/感度がある。このようなアーチファクトは、システムの性能を大幅に劣化させる(空間折り返し歪みに起因して、超音波センサの指向性パターンにネットワークローブが存在する)。
【0013】
上述のような測定原理が信号間干渉に基づく限り、各種の信号が同じ周波数であることが重要である。実際には、トランスデューサの同一の組に属する超音波トランスデューサの特徴的な周波数の不均質性に起因して、超音波システム、特にビーム形成技術を実装するものは、定常状態における信号の周波数がトランスデューサの特性周波数に依存せず、信号対雑音比が定常状態でより望ましいため、主に比較的長い定常状態を含む信号を使用する。また、持続時間が長い信号は、従来使用される整合フィルタの性能を向上させ得る。しかし、発信及び受信が同一のトランスデューサによって実行される場合、2つの動作が同時に実行されない可能性があり、発信期間中、システムが「死角状態」であることを意味する。発信及び受信が異なるトランスデューサによって実行される場合にも、発信信号は、機械又は電気的結合を介して受信信号に干渉する可能性があるため、実装が厄介な結合分離が存在しない限り、システムは、一般に、死角状態である。成分の「死角領域」は、典型的には、約1msの伝播持続時間に対応する。これは、空気中(音速=300m/秒)では数十センチメートルの往復距離に対応する。従って、この距離よりも短い距離の測定に「ビーム形成」技術を利用することは、困難である。
【0014】
「ビーム形成」の別の短所は、実装する処理動作の複雑さであり、特にそのような処理動作を埋め込むか又は実時間で実行しなければならない場合である。
【先行技術文献】
【非特許文献】
【0015】
【非特許文献1】R.Nandakumar,V.Iyer,D.Tan,and S.Gollakota,“FingerIO:Using Active Sonar for Fine-Grained Finger Tracking,”in Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems,New York,NY,USA,May 2016,pp.1515-1525,doi:10.1145/2858036.2858580
【非特許文献2】A.Das,I.Tashev,and S.Mohammed,“Ultrasound based gesture recognition,”in 2017 IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),Mar.2017,pp.406-410,doi:10.1109/ICASSP.2017.7952187
【非特許文献3】K.Ling,H.Dai,Y.Liu,and A.X.Liu,“UltraGesture:Fine-Grained Gesture Sensing and Recognition,”in 2018 15th Annual IEEE International Conference on Sensing,Communication,and Networking(SECON),Jun.2018,pp.1-9,doi:10.1109/SAHCN.2018.8397099
【非特許文献4】W.Wang,A.X.Liu,and K.Sun,“Device-free gesture tracking using acoustic signals,”in Proceedings of the 22nd Annual International Conference on Mobile Computing and Networking,New York,NY,USA,Oct.2016,pp.82-94,doi:10.1145/2973750.2973764
【非特許文献5】S.Yun,Y.-C.Chen,and L.Qiu,“Turning a Mobile Device into a Mouse in the Air,”in Proceedings of the 13th Annual International Conference on Mobile Systems,Applications,and Services,New York,NY,USA,May 2015,pp.15-29,doi:10.1145/2742647.2742662
【非特許文献6】X.Li,H.Dai,L.Cui,and Y.Wang,“SonicOperator:Ultrasonic gesture recognition with deep neural network on mobiles,”in 2017 IEEE SmartWorld,Ubiquitous Intelligence Computing,Advanced Trusted Computed,Scalable Computing Communications,Cloud Big Data Computing,Internet of People and Smart City Innovation(SmartWorld/SCALCOM/UIC/ATC/CBDCom/IOP/SCI),Aug.2017,pp.1-7,doi:10.1109/UIC-ATC.2017.8397483
【非特許文献7】E.A.Ibrahim,M.Geilen,J.Huisken,M.Li,and J.P.de Gyvez,“Low Complexity Multi-directional In-Air Ultrasonic Gesture Recognition Using a TCN,”in 2020 Design,Automation Test in Europe Conference Exhibition(DATE),Mar.2020,pp.1259-1264,doi:10.23919/DATE48585.2020.9116482
【発明の概要】
【発明が解決しようとする課題】
【0016】
従って、超音波トランスデューサの組からの信号を処理するための改良された装置及び改良された方法に対する必要性がある。
【課題を解決するための手段】
【0017】
この目的のために、超音波センサによって送出された信号を処理するための処理システムが提案され、超音波センサは、トランスデューサの組を含み、トランスデューサの組のトランスデューサの少なくともいくつかは、信号を発し、且つ/又は検知物体による信号の反射に対応するエコーを受信するように構成され、信号は、前記トランスデューサによるエコーの受信に応答して、超音波センサの複数のトランスデューサによって処理システムに送信され、処理システムは、超音波センサのトランスデューサから受信された信号に基づいて、検知物体に関する少なくとも1つの特徴情報項目を判定するように構成される。有利には、処理システムは、トランスデューサの組の少なくともいくつかのトランスデューサから受信された信号をパルスに変換するように構成された結合装置と、結合装置によって送出されたパルスを処理するように構成されたパルス処理部とを含む。
【0018】
結合装置は、
- トランスデューサから受信された各信号について、トランスデューサから受信された前記信号から導出された信号に閾値設定を適用して、少なくとも1つの閾値を使用して、導出された信号の位相に含まれる方向情報を抽出するように構成された閾値設定部であって、抽出された情報は、導出された信号の立ち上がり及び/又立ち下がりエッジを含む、閾値設定部、
- トランスデューサから受信された信号から導出された信号を、閾値設定部によって抽出された1つ以上の信号エッジを使用して、信号の位相を含むパルスに変換するように構成された信号-パルス変換部
を含む。
【0019】
パルス処理部は、トランスデューサから受信された信号の全てについて、結合装置によって決定されたパルスに基づいて、検知物体に関する少なくとも1つの特徴情報項目を判定するように構成される。
【0020】
一実施形態において、パルス処理部は、少なくとも1つの分類器を含む。
【0021】
一実施形態において、前記少なくとも1つの分類器は、主分類器を含み得、主分類器は、パルスニューラルネットワーク分類器又は非イベント駆動型分類器である。
【0022】
一実施形態において、前記少なくとも1つの分類器は、結合装置から受信されたパルスに基づいて、可能な振幅閾値の組の中から、閾値設定部によって使用される閾値の振幅を決定するための二次分類器を更に含み得る。
【0023】
一実施形態において、処理システムは、増幅器の組を更に含み得、増幅器の組は、少なくとも1つの増幅器を含み、且つトランスデューサから受信された各信号のアナログ電圧を増幅するように構成される。
【0024】
処理システムは、帯域通過フィルタの組を更に含み得、帯域通過フィルタの組は、少なくとも1つの帯域通過フィルタを含み、且つ増幅器の組によって増幅された電圧をフィルタリングして、通過帯域外のノイズを除去するように構成され、トランスデューサから受信された各信号から導出された信号は、帯域通過フィルタの組によって送出された信号である。
【0025】
いくつかの実施形態において、処理システムは、パルス処理部から到来する信号を使用して、1つ以上の適合基準に基づいて、トランスデューサから受信された信号の1つ以上の成形パラメータを適合させるように構成されたコントローラを含み得る。
【0026】
特に、コントローラは、超音波センサと物体との間の距離に基づいて又は超音波センサによって実行された以前の測定の品質に基づいて、閾値設定部によって使用される閾値を適合させるように構成され得、品質は、パルス領域内において又はパルス密度を実数に変換した後に計算される。
【0027】
一実施形態において、パルス処理部は、少なくとも1つのコヒーレンス検知器を含むコヒーレンス検知器の組及び特徴情報判定部を含み得、コヒーレンス検知器の組は、物体から到来するエコーの所与の方向について、トランスデューサから到来する信号がコヒーレントであるかどうかを、パルス変換部によって送出されたパルスに基づいて検知し、且つコヒーレンスが検知される場合、前記パルスを特徴情報判定部に送出するように構成される。
【0028】
特徴情報判定部は、物体から到来するエコーの距離及び/又は方向を測定するためのユニットであり得る。
【0029】
一実施形態において、特徴情報判定部は、分類器であり得る。
【0030】
一実施形態において、コヒーレンス検知器は、トランスデューサの組のトランスデューサから受信された信号のエッジのアライメントを測定するための漏れ積分器を含み得る。
【0031】
コヒーレンス検知器は、結合装置によって送出されたパルスに基づいて、トランスデューサから受信された信号間のコヒーレンスを検知するためにウィンドウイングを適用するように構成されたウィンドウイング部を含み得、ウィンドウイング部は、所与の幅のウィンドウ内において、トランスデューサの組の様々なトランスデューサに対応する送信チャネルの全ての中から、パルスの数をカウントするように構成される。
【0032】
いくつかの実施形態において、処理システムは、コヒーレンス検知器の組の出力における低域通過フィルタであって、コヒーレンス検知器の組によって送出されたパルスの密度の画像を提供するように構成された低域通過フィルタと、低域通過フィルタから受信された低周波信号をサンプリングするように構成されたサンプリング部とを更に含み得る。
【0033】
処理システムは、パルスをカウントし、且つクロック信号でコヒーレンス検知器の組の出力をサンプリングするように構成される、コヒーレンス検知器の組の出力に配置された非同期カウンタを更に含み得る。
【0034】
一実施形態において、処理システムは、超音波センサによって監視される領域における動きの存在を検知するために、コヒーレンス検知器の組の出力に配置された動き検知器を更に含み得る。
【0035】
更に、超音波センサによって送出された信号を処理する方法も提供され、超音波センサは、トランスデューサの組を含み、トランスデューサの組のトランスデューサの少なくともいくつかは、信号を発し、且つ/又は検知物体による信号の反射に対応するエコーを受信し、本方法は、超音波センサのトランスデューサから受信された信号に基づいて、検知物体に関する少なくとも1つの特徴情報項目を判定するステップを含む。有利には、本方法は、トランスデューサの組の少なくともいくつかのトランスデューサから受信された信号をパルスに変換するステップと、パルスを処理するステップとを含み、変換ステップは、トランスデューサから受信された各信号について、
- トランスデューサによって送出された前記信号から導出された信号に閾値設定を適用して、少なくとも1つの閾値を使用して、導出された信号の位相に含まれる方向情報を抽出するステップであって、抽出された情報は、導出された信号の立ち上がり及び/又は立ち下がりエッジを含む、ステップ、
- トランスデューサから受信された信号から導出された信号を、閾値設定を適用するステップで抽出された1つ以上の信号エッジを使用して、信号の位相を含むパルスに変換するステップ
を含み、パルスを処理するステップは、トランスデューサから受信された信号の全てについて、決定されたパルスに基づいて、特徴情報を判定するステップを含む。
【0036】
本発明の実施形態は、このように、成分(ノイズ、歪み)の制約の寸法決定に適合された簡素な結合を使用して、超音波センサのトランスデューサ及びパルス処理部(例えば、パルスニューラルネットワーク)を結合可能にする。このようなカップリングは、有利には、複雑な信号処理ステップ(FFT、相関、非線形フィルタリング等)を簡単な動作(遅延、和、スカラー積)で代替可能にする。これは、特に、
- 電力消費及び計算時間の大幅な減少、
- 信号の中間表現の保存不要化、
- 処理システムが与える情報の複雑さ及び品質間の折り合いの向上
を含む多くの利点をもたらす。
【0037】
本発明は、このように、超音波トランスデューサのパルス処理部との結合を提供するため、トランスデューサからの初期信号に含まれる情報を最適な方法(特により速く、より確実に、より少ないエネルギー電力消費及びより少ない時間電力消費)で送出できるようになる。
【0038】
本発明の他の特徴、詳細及び利点は、例として与えられる添付図面を参照して、以下の記述を読むことで明らかになるであろう。
【図面の簡単な説明】
【0039】
【
図1】本発明のいくつかの実施形態による、超音波トランスデューサの組からの信号を処理するための処理システムを使用する動作システムの一例を示す図である。
【
図2】持続期間が短い(「バースト」)超音波信号の各種の状態を示す図である。
【
図3】受信されたエコーの入射角の関数として位相ずれを示す図である。
【
図4】発信信号と受信信号との相関を求めることによって飛行時間を計算可能にする整合フィルタ原理を示す図である。
【
図5】第1の実施形態による、パルス処理部がパルスニューラルネットワーク分類器を含む処理システムの図である。
【
図6】複数の連続する信号を含む、トランスデューサの典型的な電子励起信号を示す。
【
図7】一実施形態による、閾値設定後の立ち上がりエッジを使用する信号の位相を含むパルスへの入力信号の変換を示す。
【
図8】パルス処理部が、ジェスチャ検知に使用される主分類器及び閾値選択に使用される二次分類器を含む一実施形態を示す。
【
図9】第2の実施形態による、パルス処理部がコヒーレンス検知器の組を含む処理システムの図である。
【
図10】本発明の一実施形態による、漏れ積分器を使用するコヒーレンス検知を示す。
【
図11】本発明の一実施形態による、ウィンドウイングに基づくコヒーレンス検知を示す。
【
図12】例示的な一実施形態による、角度α及び0°の方向へのコヒーレンス検知器の同時出力を示す。
【
図13】第3の実施形態による、パルス処理部がパルスニューラルネットワークを含む処理システムの図である。
【
図14】コヒーレンス検知器及び非イベント駆動型分類器を使用する物体検知システムの図である。
【
図15】第4の実施形態による、コヒーレンス検知器、非イベント駆動型分類器及び動き検知器を使用する物体検知システムの図である。
【
図16】距離行列をフレーム単位の微分及び動き検知と共に示す。
【
図17】超音波トランスデューサの組からの信号を処理する方法を示すフローチャートである。
【発明を実施するための形態】
【0040】
図1は、本発明のいくつかの実施形態による、超音波トランスデューサ10の組を含む超音波センサ1と、超音波センサ1のトランスデューサ10からの信号を処理するための処理システム100とを使用する動作システム200の一例を示す。
【0041】
超音波センサのトランスデューサ10の組は、少なくとも2つの超音波変換器を含む。
【0042】
処理システムは、結合装置3及びパルス処理部2を含む。結合装置3は、超音波センサ1のトランスデューサ10をパルス処理部2と結合するように構成される。
【0043】
超音波トランスデューサ10の組は、発信トランスデューサ1-TXのサブセット及び受信トランスデューサ1-RXのサブセットを含み得る。一変型形態として、同一トランスデューサ10を発信及び受信に使用し得る。
【0044】
トランスデューサ10は、例えば、MEMSトランスデューサであり得る。
【0045】
有利には、トランスデューサの組1の超音波トランスデューサ10は、同じ位置に配置され得るため、システムのコンパクトさが保証される。
【0046】
一実施形態において、パルス処理部は、SNNパルスニューラルネットワーク又は非イベント駆動型分類器(例えば、畳み込みニューラルネットワーク又は他の任意の分類器)等の分類器2を含み得る。
【0047】
本明細書で使用する用語「非イベント駆動型分類器」は、パルスニューラルネットワーク以外の、非イベントベースの分類を実装する任意の分類器を指す。非イベント駆動型分類器は、パルスの数及び位置に情報が含まれるパルス形式ではなく、実数値列形式のデータ表現を使用する。非イベント駆動型分類器のいくつかの例は、形式的ニューラルネットワーク(例えば、再帰的ニューラルネットワーク)、隠れマルコフモデル(HMM)が続くGMM(「混合ガウスモデル」の略語)アルゴリズムに基づく分類器、SVM(「支持ベクトル機械」の略語)アルゴリズム、ロジスティック回帰アルゴリズム、決定木モデルに基づくアルゴリズム又は学習なしで事前に設定された規則(自動的に学習しない)を使用する分類器を含むが、これらに限定されない。分類器のいくつかの例示的実装は、再帰的ニューラルネットワーク、隠れマルコフモデル(HMM)が続く混合ガウスモデル(GMM)又は学習なしに事前に設定された規則の組であり得る。
【0048】
信号(発信信号40)は、最初に、超音波トランスデューサ10によって送信される。このような信号は、超音波である。これらの信号が物体5(検知物体)に衝突すると、エコーが形成されて、トランスデューサ10の組に反射される(反射信号41)。物体5によって反射され、トランスデューサの組1によって受信された反射信号41(受信信号)は、次いで、本発明の用途に応じて、検知物体に関する特徴情報を判定するために処理システム100によって処理される。特徴情報は、物体検知用途において、例えば超音波センサ1と物体との間の距離を含み得る。
【0049】
本発明の複数の実施形態による処理システム100は、有利には、超音波トランスデューサ10の出力での物理信号がパルス処理部2(例えば、SNNニューラルネットワーク)の入力で予想されたものに比較的近いという事実を利用するように構成される。
【0050】
処理システム100は、例えば、非限定的に、物体検知(検知物体の距離及び/又は角度を検知する)、ジェスチャ検知又は超音波信号に基づいて形成された画像内でのパターン認識等、各種の用途に使用することができる。
【0051】
例えば、物体の距離検知、物体の角度検知又はジェスチャ検知への本発明の適用において、処理システム100を使用して飛行時間測定又はドップラー測定を実行することにより、検知物体に関する特徴情報を判定することができる。
【0052】
このような適用では、物理信号の伝播を使用して、ある距離に位置する物体5を特徴付ける。超音波センサ1によって発された発信信号40が物体に衝突すると、物体(エコー)によって反射され、トランスデューサ10によって受信された反射信号41は、「飛行時間」測定を使用して、超音波トランスデューサ10の組及び発された信号が衝突した物体5に対応する信号の発信源間の距離を判定するように設計された信号処理を使用して後に測定することができる。
【0053】
本発明の一適用において、処理システム100のパルス処理部2で測定された検知物体に関する特徴情報は、超音波トランスデューサの組1と検知物体との間の距離dを含み得る。このような適用において、距離dは、センサ1からの超音波信号(トランスデューサ10によって発された信号の組)の発信の開始から、センサ1によって受信されたエコー(トランスデューサ10によって反射された信号の組)の開始までの時間T
volに基づいて、飛行時間T
volに依存する式、例えば(1)を使用して決定することができる。
【数1】
【0054】
式(1)の分母に存在する係数2は、エミッタ(超音波トランスデューサ10)が受信器(検知物体5)の近くにあると仮定して、エコーの往復移動を考慮に入れる。式(1)において、cは、考慮する媒体中の音波の伝播速度を表す。
【0055】
パルス処理部2により、距離dを測定するための他の技術、例えば周波数変調された連続発信を使用する距離測定又はFMCWレーダー測定等が使用されて、距離dの情報を判定することができる。
【0056】
本発明の他の適用において、処理システム100のパルス処理部2によって判定される特徴情報は、物体5の視線速度を含み得る。このような適用において、処理システム100は、物体の位置ではなく、視線速度(物体の距離及び/又は角度)を提供するドップラー視線速度測定を例えばジェスチャ検知用途に使用することができる。このようなドップラー測定方法は、以下の動作に基づく。
- 固定周波数f
0での信号の発信
、
- 周波数f
0+Δfでエコーを生成するジェスチャを実行する手のように、視線速度vで移動する移動物体からの反射。
【数2】
- ジェスチャを区別可能にする各種の方向でのシーケンス及び周波数署名。
【0057】
超音波センサ1によって発された超音波信号の発信は、複数の周波数における複数の成分を含み得る。
【0058】
図2は、短い超音波信号(「バースト」)の各種の状態を示す。
【0059】
図2は、一定の周波数及び振幅の電気信号によって刺激される超音波トランスデューサ10によって発された信号に対応する。電気信号は、同一周波数の正弦波の組を含む一方、超音波信号は、第1の過渡励起状態(1)、定常状態(2)及び第2の過渡脱励起状態(3)を含む。状態(1)及び(2)は、以下で「特性周波数」とも呼ばれる超音波トランスデューサ10の特性周波数で実装される。特性周波数は、トランスデューサ10の固有周波数及び品質係数に依存する。第2の過渡状態(3)は、励起周波数で正弦波信号を有する。注目する2つの周波数の差は、典型的には、数パーセント(%)である。過渡状態の持続時間は、トランスデューサの品質係数に比例する。例えば、品質係数が50である場合、定常状態(2)に到達するには、一般に100サイクルが必要であり、これは、典型的には、約100kHzの周波数の場合に1msに対応する。処理システム100は、有利には、この数パーセント(%)の差及び過渡状態の重要性を考慮するように構成される。具体的には、極めて短い(<1ms)超音波信号の特定の場合、信号は、主に2つの過渡状態(1)及び(3)からなる。信号の周波数は、トランスデューサの特性周波数に依存する。従って、各種のトランスデューサからの信号間で干渉を生成することは、困難である。結合装置3は、有利には、周波数分散に対してより堅牢にするために、信号をパルスに変換して閾値設定を実行する。
【0060】
トランスデューサによって発された電気信号及びその結果生じる超音波信号がより複雑になり得る点に留意されたい。しかし、超音波トランスデューサ10の通過帯域が限定されることは、特徴が発信信号だけでなく、トランスデューサ10の固有特徴にも依存する2つの過渡状態を超音波信号が有することを意味する。
【0061】
図3は、位相ずれを、3つのトランスデューサM
0、M
1及びM
2を使用して受信されたエコーの入射角の関数として示す。
図3の例において、信号は、N個のトランスデューサ(10)の組に入射角αで到達する。2dだけ間隔が空けられたトランスデューサM
0、M
2に到達する信号がカバーする距離の差は、2dsinαに等しい。
【0062】
音波は、音速cで伝播する。M
0及びM
2によって受信された信号間の時間差δ
tは、従って、以下の式に等しい。
【数3】
【0063】
情報は、時間差、すなわち信号の位相ずれに含まれる。
【0064】
超音波センサ1のトランスデューサ10によって受信された信号は、本発明の用途に応じて、物体5に関する情報の1つ以上の特徴項目を判定するために結合装置3及びパルス処理部2によって処理される。
【0065】
物体検知への1つの例示的な適用において、特徴情報は、例えば、物体が検知されたか否かを示す情報又はセンサ1と検知物体5との間の距離を含み得、受信信号と予想信号との相関を求めることにより(相関は、伝播時間に対応する遅延で最大である)、トランスデューサ10によって受信された受信信号41に基づいて判定することができる。更に距離測定を向上させるために、自己相関の副ローブが小さい最適化された信号を送ることが可能である。
【0066】
図4は、センサ1によって発された信号と、センサ1によって受信された信号との相関を求める整合フィルタ原理を示す。
【0067】
「飛行時間型の」システムへの本発明の別の例示的な適用において、システム100は、物体の動的な特徴、例えば変移に対応する特徴情報を判定するように構成され得る。物体の特徴は、複数の連続する静的信号を処理し、超音波センサ1によって捕捉された複数の連続するシーンの距離及び角度を測定し、且つそのような測定値を処理することによって判定され得る。
【0068】
既存の処理システムは、処理に関する中間情報を提供するのに対して、本発明による処理システム100は、中間情報なしに特徴情報(例えば、ジェスチャ検知への適用において右から左への動き)を直接提供することにより、直接且つ最適化された処理を実行することを可能にする。
【0069】
本発明を理解しやすくするため、非限定的な例として、特定の実施形態の以下の記述は、主に物体検知又はジェスチャ検知に使用する処理システム100に関して与えられる。
【0070】
処理システム100は、結合装置3及びパルス処理部2を含む簡素化された回路を使用して特徴情報(例えば、方向測定値及び距離測定値又はジェスチャ検知等の検知情報)を判定するように構成される。
【0071】
信号処理システム100は、超音波センサ1の超音波トランスデューサ10によって送出された信号を処理するように構成される。
【0072】
超音波センサ1のトランスデューサ10の少なくとも一部は、信号40を事前に発する。これらの信号が物体5に到達すると、検知物体5によって反射された反射信号41に対応するエコー41が形成される。超音波センサ1のN個のトランスデューサ10によって受信された反射信号41は、次いで、処理システム100に送信される。処理システム100は、検知物体5に関する少なくとも1つの特徴情報項目を判定するために、N個のトランスデューサからの信号を処理するように構成される。トランスデューサ10からの各信号は、結合装置3によって受信され、結合装置3の処理チャネルに対応する。
【0073】
結合装置3(変換部とも呼ばれる)は、トランスデューサの組1のN個のトランスデューサ10からの信号をパルスに変換するように構成される。
【0074】
パルス処理部2は、検知物体に関する少なくとも1つの特徴情報項目を判定するために、結合装置3によって送出されたパルスを処理するように構成される。
【0075】
有利には、結合装置3は、
- トランスデューサ10からの各信号について、考慮するトランスデューサ10からの信号から導出された信号への閾値設定を適用して、少なくとも1つの閾値を使用して、導出された信号の位相に含まれる方向情報を抽出するように構成された閾値設定部32であって、抽出された情報は、導出された信号の立ち上がり及び/又は立ち下がりエッジを含む、閾値設定部32、
- トランスデューサからの信号から導出された信号を、閾値設定部32によって抽出された1つ以上の信号エッジを使用して、その信号の位相を含むパルスに変換するように構成された信号-パルス変換部33
を含む。
【0076】
パルス処理部2は、トランスデューサ10からの信号の全てについて、結合装置によって決定されたパルスに基づいて、検知物体5に関する特徴情報を判定するように構成される。
【0077】
処理システム100は、有利には、エネルギー電力消費量が低く、トランスデューサ1の超音波トランスデューサの組とパルス処理部2との結合を保証する。
【0078】
図5は、第1の実施形態による、パルス処理部2がパルス変換部33の出力に配置されたパルスニューラルネットワーク分類器20を含む、トランスデューサの組1からの信号を処理するための処理システム100を示す。
【0079】
このような実施形態において、パルスニューラルネットワーク20は、それ自体、遅延を加え、且つトランスデューサに関連付けられた各種のチャネルを組み合わせる最適な方法を学習する能力がある。
【0080】
図5は、エンドツーエンドジェスチャ検知5への本発明の一例示的な適用に対応する。
【0081】
図5の例において、検知システムは、持続期間が短い、例えば100kHz(音響信号)で250μsの固定周波数で超音波信号を発するように構成された複数の超音波発信トランスデューサ10-TXを含む発信トランスデューサ1-TXの組を含む。
【0082】
超音波センサ1がカバーするシーンに配置された物体5(
図5の例において、物体は、手である)に関する特徴情報を測定するために、ある時間区間にわたって測定を繰り返し得る。時間区間は、固定され得る(例えば、測定は、10ms毎に実行される)。センサ1のシーンにおける検知物体5に関する特徴情報は、物体の軌跡を含み得る。物体5の軌跡は、次いで、その時間中に繰り返し実行された測定の結果を集約することによって決定され得る。特徴情報は、決定された軌道に基づくジェスチャ等の高水準特徴を更に含み得る。
【0083】
一実施形態において、検知システム100の結合装置3は、増幅器311の組及び/又は帯域通過フィルタ312の組を含む前端電子部分を形成する前処理部31を含み得る。前処理部31は、N個のトランスデューサ(
図5の例の10-RX)の各々から受信された物理信号(充電、電圧等)をアナログ電圧に変換するように構成される。増幅器311の組は、少なくとも1つの増幅器を含み、且つ信号に混入し易いノイズに対する耐性を高めるために、変換されたアナログ電圧を増幅するように構成される。帯域通過フィルタ312の組は、少なくとも1つの帯域通過フィルタを含み、且つ通過帯域外のノイズを除去するために、電圧(増幅器311の組による増幅後に印加可能な場合)をフィルタリングするように構成される。
【0084】
図5の例において、閾値設定部32は、少なくとも1つの閾値を使用して、フィルタリングされた信号の位相に含まれる方向情報を取得するために、前処理部31(N個のトランスデューサの各々からの信号から導出された信号)によって送出されたフィルタリング済み信号に閾値設定を適用するように構成される。
【0085】
いくつかの実施形態において、閾値設定部32は、信号の立ち上がりエッジのみを保持するために、N個のトランスデューサの各々からの信号から導出された信号に閾値設定を適用するように構成され得る。一変型形態として、閾値装置32は、立ち下がりエッジのみ又は両方のエッジ(立ち上がり及び立ち下がり)を保持するように構成され得る。
【0086】
結合装置3は、このようにアナログ領域に対応する一方、パルス処理部2は、パルス領域に対応し、コントローラ34は、混合信号領域に対応する。
【0087】
トランスデューサによって発された電子励起信号の一例を
図6に示し、信号は、複数の連続する信号からなる。
【0088】
図7は、N個のトランスデューサ(
図5の例では10-RX)の1つからの信号を、閾値設定後に立ち上がりエッジのみを保持する信号の位相を含むパルスに変換する、
図5の例示的な実施形態において、結合装置3によって実装された連続するステップを示す。
図7の一番上のグラフ7AにN個のトランスデューサ(10-RX)の1つから受信された信号を示し、
図7の中心グラフ7Bは、増幅器311の組による増幅、帯域通過フィルタ312の組によるフィルタリング及び閾値設定部32による閾値設定後の信号を示す。
図7の一番下のグラフ7Cは、変換部33によってパルスへの変換後に取得されたデータを示す。
【0089】
いくつかの実施形態において、処理システム100の結合装置3は、複数の信号の1つ以上の成形パラメータを適合させるように構成されたコントローラ34を更に含み得る。例えば、コントローラ34は、信号の距離又は品質に関する基準等の1つ以上の適合基準に従い、信号の位相を決定するために閾値設定部32によって使用される閾値を適合させるように構成され得る。いくつかの実施形態において、コントローラ34は、N個のトランスデューサからの信号の成形パラメータを動的又は静的に適合させるように構成され得る。
【0090】
いくつかの実施形態において、パラメータコントローラ34は、超音波センサ1と検知物体5との間の距離に基づいて、閾値設定部32によって使用される閾値を適合させるように構成され得る。例えば、パラメータコントローラ34は、距離に伴う信号のエコーの振幅の減少に閾値を適合させるために、測定中に閾値を下げることができる。
【0091】
別の例において、パラメータコントローラ34は、パルス領域において又はパルス密度の実数への変換後に計算された以前の測定値の品質に基づいて、閾値を適合させるように構成され得る。
【0092】
一変型形態として、信号の位相を取得するために閾値設定部32によって使用される閾値は、固定され得る。
【0093】
コントローラ34は、パルス処理部2が提供する情報を使用し得る。
【0094】
例えば、一実施形態において、パルス処理部2は、主分類器に加えて、パルス又は非パルス領域において、伝送チェーン内での情報の中間表現に基づいて閾値の最適振幅を決定するように構成された二次分類器を含み得る。一実施形態において、二次分類器は、可能な振幅閾値の組から閾値の振幅を決定することができる。一実施形態において、二次分類器は、
図8に示すように、第2のパルスニューラルネットワーク(SNN)であり得る。
【0095】
分類器20が非イベント駆動型分類器である複数の実施形態において、結合装置は、少なくとも1つのコヒーレンス検知器を更に含み得る。
【0096】
図8は、受信されたパルス(例えば、ジェスチャ検知のために)に基づいて、検知物体5に関する特徴情報の判定に使用するSNNニューラルネットワーク主分類器20と、閾値設定部32によって使用される閾値を選択して、閾値情報をコントローラ34に発するように構成された二次分類器200、例えばSNNニューラルネットワークとを含むパルス処理部2の一例を示す。
【0097】
いくつかの実施形態において、コントローラ34は、関連するフィードバックを実行するために処理システム100の各種の機能ブロックを同期させるように更に構成され得る。コントローラ34は、特に、パルス(発信時に)の送信時間を制御して、注目する情報(例えば、飛行時間)を測定可能であるように発信を受信と同期させるように構成され得る。コントローラ34は、選択された距離間隔で配置される物体からのエコーを受信する注目時間区間を選択するように更に構成され得る。フィードバックの観点から、コントローラ34は、検知パラメータを動的に適合させるために、任意の機能ブロックに関する、すなわち増幅前後の、フィルタリング前後の、閾値設定前後の信号に関する情報を検索することができる。例えば、
図5の実施形態において、パルスニューラルネットワーク20の一部は、チャネル測定に最適な閾値の選択専用である。
【0098】
パルス変換部33は、処理システム100が処理する信号の発信元において、N個のトランスデューサ10にそれぞれ対応するN個のチャネルの各々のパルス密度を決定するように構成される。このように決定されたパルス密度は、パルス処理部2の入力で使用され得る。
【0099】
図5の一実施形態において、パルス処理部2は、結合装置3によって送出されたパルスに基づいて、すなわちデータの中間表現を含める必要なしに分類情報を判定する主分類器20(例えば、パルスニューラルネットワーク)を含む。このような実施形態において、検知物体5に関する特徴情報は、例えば、
図5の実施形態におけるエンドツーエンドのジェスチャ分類情報等の分類情報を含む。
【0100】
主分類器20が非イベント駆動型分類器である実施形態において、非イベント駆動型分類器は、入力で信号を取得し、その信号は、フレームベクトルの形式でフィルタリング後ブロックによって予め処理され得る。各フレームtにおいて、分類器20は、そのフレーム及び先行フレーム並びに潜在的に特定のウィンドウにわたり、後続フレームに基づいてジェスチャの性質について決定を下す。
【0101】
図9は、第2の実施形態による処理システム100を示す。
【0102】
第2の実施形態において、処理システム100の構成要素31、32、33及び34は、
図5を参照して記述した第1の実施形態に対応するものと同様である。しかし、第2の実施形態による処理システム100は、パルス処理部2が、パルス化分類器20ではなく、少なくとも1つのコヒーレンス検知器を含むコヒーレンス検知器21の組及び特徴情報判定部22を含む点において、
図5に示す第1の実施形態と異なる。特徴情報判定部22は、超音波センサ1によって検知された検知物体5に関する少なくとも1つの特徴情報項目(例えば、超音波センサ1によって捕捉されたシーン内の各種の物体から到来する1つ以上のエコーの距離及び/又は方向)を判定するように構成される。
【0103】
コヒーレンス検知器21の組は、超音波センサ1によって捕捉されたシーン内の各種の物体から到来するエコーの入射方向を使用する。
【0104】
エコーが所与の入射方向から到来することを検証するために、
図3に示すように、式2によって定義されたように、その方向に関連付けられた理論位相ずれを適用する場合、N個のトランスデューサに対応するN個のチャネルの信号が同相であることを検証する。コヒーレンス検知器21の組は、N個のトランスデューサにそれぞれ対応するN個のチャネルに基づいて、M個の方向にコヒーレンス情報を並行して提供するように構成される。
【0105】
コヒーレンス検知器21の出力は、その方向で受信された複数の信号がコヒーレントであるかどうかに依存する時点tで特定のパルス密度を有する。コヒーレンス検知器21の組は、従って、ある方向で受信された複数の信号がコヒーレントであるか否かを検知する。
【0106】
一実施形態において、コヒーレンス検知器21は、N個のトランスデューサにそれぞれ対応するN個のチャネルに対応する複数の信号のエッジのアライメントを測定する漏れ積分器LIFを含み得る。
【0107】
図10は、M=2つの方向(0°及びα)及び3つの発信トランスデューサM
0、M
1及びM
2の使用に対応するM=3つの送信チャネルの例を考慮して、漏れ積分器(漏れ積分発火)を使用するコヒーレンス検知器21の組が実行するコヒーレンス検知を示す。エコーが角度αの方向から到来すると仮定し、且つチャネルにいかなる遅延も生じさせることなく、3つのトランスデューサM
0、M
1及びM
2にそれぞれ関連付けられた3つのチャネルに対応する3つの信号は、
図10の左側グラフに示すように、整列していないエッジを有することが分かる。入射方向が0°である場合、エッジは、整列するであろう。角度αの方向に関連付けられた理論位相ずれを適用することにより、
図10の右側グラフに示すように、エッジが整列される。
【0108】
離散時間領域における漏れ積分器LIFの表現は、式(3)で与えられる。
【数4】
【0109】
式(3)において、
- xnは、LIFの入力(信号-パルス変換部33の出力に対応)で受信されたパルス列を表し、
- anは、LIFの起動パラメータを表し、
- ynは、LIFの出力を表し、
- 係数kは、正であり、且つ厳密に1未満であり、
- θは、コヒーレンス閾値(コヒーレンス閾値は、閾値設定部32によって適用される閾値とは別である)を表す。
【0110】
起動パラメータanがコヒーレンス閾値θ以上である場合、LIFの出力ynは、値1を取り、これは、コヒーレンスが、所与の方向においてN個のチャネルに対応する信号間で検知されることを意味する。
【0111】
いくつかの実施形態において、LIFは、同様の動作原理を使用して、アナログ実装によって連続時間で実行することもできる。式(3)は、従って、再帰式ではなく、時間の関数である式によって代替される。
【0112】
コヒーレンス検知器21の組には、比較対象である各種の信号(N個のチャネルに対応する信号)が異なる振幅を有する場合も動作可能であるという利点があり、これは、信号が過渡状態にあるか又はトランスデューサ10が互いに異なる場合である。このようなコヒーレンス検知処理は、従って、特定の技術的変動性に対して堅牢である。
【0113】
更に、コヒーレンス検知器21の組は、例えば、過渡状態において、信号が同一周波数を有しなくても動作する。
【0114】
変型実施形態において、コヒーレンス検知器21の組は、受信されたパルスに基づいて信号間のコヒーレンスを検知するLIFではなく、ウィンドウイングを適用するように構成されたウィンドウイング部を含み得る。
【0115】
ウィンドウイングに基づくコヒーレンス検知は、幅が狭いウィンドウ内に含まれたN個の入力チャネルの全てからのパルスの数をカウントするものである。コヒーレンス検知器がLIFを使用する実施形態と同様に、コヒーレンス閾値を使用して、所与の方向でN個のチャネルに対応する信号間のコヒーレンスを検知することができる。コヒーレンス閾値は、次いで、第1のパルスから始まるウィンドウ内で検知されたパルスの数に適用される。
【0116】
図11は、このような実施形態による、ウィンドウイングを使用してコヒーレンス検知器21の組が実行するコヒーレンス検知を示す。
【0117】
ウィンドウは、各立ち上がりエッジの検知で適用される。
【0118】
コヒーレンス検知器21の組は、パルスの複数の列の形式で出力を提供する。パルスは、パルス化分類器20(SNN)に直接提供され得る。分類器20が非イベント駆動型分類器である場合、パルスは、分類器20に送信される前にパルス密度に変換される。変換は、低域通過フィルタ又は時間区間(例えば、10ms)毎のパルスの数をカウントするカウンタを含む後処理ブロックを使用して実行することができる。所与の時点で結合装置2によって判定されたパルス密度が高いほど、超音波センサ1のトランスデューサ10からの信号のコヒーレンスが高い。
【0119】
特徴情報判定部22は、
図12に示すように、コヒーレンス検知器の出力に基づいて1つ以上のメインエコーの方向を判定するように構成され得る。
【0120】
図12は、コヒーレンス検知器21の組により、角度α(一番上のグラフ)の1つ以上のエコーの方向及び角度0°(一番下のグラフ)の1つ以上のエコーの方向に送出されるパルスの密度を時間の関数として示す。
図12は、距離測定の飛行時間を強調する。
【0121】
特定の方向から到来するエコーは、他の可能な方向に対応する出力よりもエコーの方向に対応する出力でのパルス密度が高くなる。所与の方向の全てでのパルス密度の測定値の平均値又は最大値を考慮することにより、エコーが到達する1つ以上の方向を判定することができる。
【0122】
図12は、距離測定の原理も示す。方向と同じ情報を使用して、距離測定は、パルス密度にパルス密度閾値を適用し、且つ式(1)を使用して距離を計算することにより、コヒーレンス検知器21の組の出力で実行することができる。
【0123】
図13は、第3の実施形態による処理システム100を示す。第3の実施形態による処理システム100は、
図9に示す第2の実施形態による処理システムと同様であり、同様にコヒーレンス検知器21の組を使用する。しかし、それは、コヒーレンス検知器の組によって送出されたパルスに基づいて分類情報を提供するように構成されたパルスニューラルネットワーク分類器20を追加的に使用する。このような分類器20は、コヒーレンス検知器21の組によって送出されたパルスの列を受信するように構成される。
【0124】
第2の実施形態(
図9)による検知システム100の特徴情報判定部22は、従って、第3の実施形態の分類器20によって代替される。
【0125】
図14は、第4の実施形態による処理システム100を示す。第4の実施形態による処理システム100は、
図9に示す第3の実施形態による処理システムと同様であり、同様にコヒーレンス検知器21の組を使用する。しかし、それは、後処理ブロック23によって先行されるコヒーレンス検知器21の組によって送出されたパルスに基づいて分類情報を提供するように構成された非イベント駆動型分類器20を追加的に使用する。後処理ブロック23は、非イベント駆動型分類器20に送信される前に、パルスをパルス密度に変換するように構成される。後処理ブロック23は、パルスの列ではなく、パルス密度の画像を提供するための、コヒーレンス検知器21の組の出力における低域通過フィルタと、データを処理するための、低域通過フィルタの出力で提供される低周波信号をサンプリングするサンプリング部とを含み得る。一変型形態として、後処理ブロック23は、パルスをカウントし、且つクロック信号でコヒーレンス検知器の組の出力をサンプリングするために、コヒーレンス検知器21の組の出力に配置された非同期カウンタを含み得る。
【0126】
図15は、第5の実施形態による処理システム100を示す。
【0127】
第5の実施形態による処理システム100は、
図13に示す第3の実施形態の処理システムと同様であり、同様にコヒーレンス検知器21の組を使用する。第5の実施形態は、本発明のジェスチャ検知への適用に対応する。第5の実施形態による処理システム100は、電力消費を最適化する動き検知器24を更に含む。第5の実施形態による処理システム100は、特に、動き検知器24が動きを検知した場合にのみ起動されるように構成される。これにより、動きがない場合のジェスチャ検知の起動を回避することが可能になる。具体的には、ほとんどの時間、注目する領域(センサ1が観察するシーン)内でセンサ1の前に動きはなく、この場合、いずれのジェスチャが実行されたかを判定する必要がないことを意味する。このように、センサ1の前に動きがない静的環境でのシステムの電力消費を減らすために、分類器20は、
図15に示すように、パルス変換部33の出力又はコヒーレンス検知器21の組の出力に直接配置され得る。
図15の実施形態において、分類器20は、次いで、動き検知器が動きを検知した場合にジェスチャを検知するために分類を実行することができる。
【0128】
以下では、コヒーレンス検知器21の組の出力において動き検知器24が動き検知を実行する
図15の実施形態を考察する。
【0129】
コヒーレンス検知器21の組の出力は、次元T×N×Kの行列Bで表すことができ、ここで、Tは、測定値又はフレームの数であり、Nは、フレーム毎のサンプルの数(
図12の時間軸)であり、及びKは、コヒーレンス検知器21の組で解析された方向の数である。行列Bの要素をb
i,j,kで表す。
【0130】
方向の数Kは、方向Mの総数以下である。
【0131】
行列Bの要素は、区間[t,t+tframe]内のパルス密度に対応し、tframeは、フレームの長さを表す。
【0132】
動き検知器24は、次いで、行列Bの要素を使用する。
【0133】
動き検知器24は、方向に対応する次元の要素b
i,j,kを合算することにより、距離行列D=[d
i,j]を決定するように構成される。
【数5】
【0134】
動きは、距離行列での2つの連続するフレームの差を調べることによって定量化され得る。次いで、差分行列DD=[ddi,j]は、フレーム軸上の行列Dを微分することによって決定され得る。
ddi,j=di,j-di-1,j (5)
【0135】
次いで、式(6)を使用してフレーム毎の差の平均及び最大を乗算することにより、動き予測子p
iを計算することができる。
【数6】
【0136】
図16は、実データ(距離行列、フレーム単位の微分及び動き検知)上の動き予測子の計算を示す。
図16の例において、フレーム0~120で動きが観察され、その後、距離行列に動きがない可能性がある。動き予測子を閾値と比較することで、ジェスチャ検知器25がジェスチャ分類の判定に利用できる信号が与られる。
【0137】
図17は、いくつかの実施形態による、トランスデューサの組からの信号を処理する方法を示す。
【0138】
ステップ600において、トランスデューサの組のトランスデューサの少なくとも一部は、検知物体5による信号の反射に対応して信号を発し、且つ/又はエコーを受信する。
【0139】
ステップ602、604において、トランスデューサの組の少なくともいくつかのトランスデューサから受信された信号をパルスに変換するステップを実行する。
【0140】
より厳密には、ステップ602では、N個のトランスデューサ10の1つによる受信で受信された各信号について、少なくとも1つの閾値を使用して、トランスデューサから受信された信号から導出された信号に閾値設定を適用することにより、導出された信号の位相に含まれる方向情報を抽出し、抽出された情報は、導出された信号の立ち上がり及び/又は立ち下がりエッジを含む。
【0141】
ステップ604において、トランスデューサから受信された信号から導出された信号を、閾値設定を適用するステップで抽出された1つ以上の信号エッジを使用して、信号の位相を含むパルスに変換する。
【0142】
ステップ606において、取得されたパルスを処理するステップを実行し、パルス処理ステップは、トランスデューサから受信された信号の全てについて、決定されたパルスに基づいて特徴情報を判定するステップを含む。
【0143】
判定された特徴情報は、次いで、追加的な処理又はその情報の表示を生成するために送出され得る。一変型形態として、判定された特徴情報に基づいてアクションを起動することができる。
【0144】
本発明の実施形態は、物体、ジェスチャ又は更に物体の動的な特徴を検知可能にする。しかし、当業者は、本発明が他の用途、例えば指紋認識等に利用され得ることを容易に理解するであろう。本発明の指紋認識への適用において、トランスデューサの組1は、2D行列であり得る。トランスデューサの組1の各トランスデューサ10は、トランスデューサ10が手の「空腔」に向かい合わせで配置される場合に返送され、トランスデューサが皮膚に向かい合わせで配置される場合に送信されるパルスを送信する。返送されたパルスの組は、画像(処理チェーンのいずれのステージ?)の形成に使用され、次いで処理システム100によって処理される。
【0145】
本発明の実施形態は、このように、本発明の用途に応じて、超音波トランスデューサ10のパルス処理部2(例えば、ニューラルネットワークを含む)への直接結合を可能にするため、情報の1つ以上特徴項目を直接判定することが可能になる。
【0146】
本発明の複数の実施形態による処理システム100は、有利には、従来技術による超音波トランスデューサシステムと比較して角解像度を向上させるように構成される。
【0147】
本発明の複数の実施形態による処理システム100は、依然としてある程度のコンパクトさ(トランスデューサ10の組は、同じ位置に配置される)を有し、且つ角度品質情報を提供しながら、トランスデューサシステムの死角領域を減らし、処理の複雑さを減らし、トランスデューサの組1のトランスデューサ10の特徴の分散に対する堅牢性を提供可能にするように構成される。
【0148】
より一般的には、当業者は、本発明の複数の実施形態による処理装置100又はその装置のサブシステムがハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせにより、各種の方法において、特に多くの形式のプログラム製品の形式で送出可能なプログラムコードの形式で実装され得ることを理解するであろう。特に、プログラムコードは、コンピュータ可読記憶媒体及び通信媒体を含み得るコンピュータ可読媒体を使用して送出され得る。本明細書に記述される方法は、特に、情報技術コンピュータ装置内の1つ以上のプロセッサによって実行可能なコンピュータプログラム命令の形式で実装され得る。これらのコンピュータプログラム命令は、コンピュータ可読媒体にも保存され得る。
【0149】
更に、本発明は、非限定的な例として上で述べた複数の実施形態に限定されない。本発明は、当業者によって想到可能なあらゆる変型実施形態を含む。特に、本発明は、例として上で述べた例示的な用途に限定されない。本発明は、各種の分野の他の用途にも適用できる。例えば、生医学分野への本発明の例示的な適用において、処理システム100を使用して、超音波トランスデューサの組によって受信されたエコーを表す超音波検査法で取得した画像を提供することができる。いくつかの場合、第1のエコーだけでなく、後続のエコーも表すことができる。画像の処理により、生医学用途に応じて定義された検知情報(例えば、首筋の厚さ等)を抽出することが可能になる。提供される情報は、次いで、医療診断の支援に使用され得る。有利には、複数の実施形態により、研究所外の超音波検査システムでの画像再構築処理動作を簡素化することが可能になる。
【符号の説明】
【0150】
1 超音波センサ
2 パルス処理部
3 結合装置
5 検知物体
10 超音波トランスデューサ
20 分類器
21 コヒーレンス検知器
22 特徴情報判定部
23 後処理ブロック
24 動き検知器
25 ジェスチャ検知器
31 前処理部
32 閾値設定部
33 パルス変換部
34 コントローラ
40 発信信号
41 反射信号
100 処理システム
200 動作システム
311 増幅器
312 帯域通過フィルタ
【外国語明細書】