特表 2023-549450 混合トランスデューサアレイのための画像複合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-27

(54)【発明の名称】混合トランスデューサアレイのための画像複合

(51)【国際特許分類】

   A61B 8/00 20060101AFI20231117BHJP

【ＦＩ】

A61B8/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023524272

(86)(22)【出願日】2021-10-21

(85)【翻訳文提出日】2023-06-19

(86)【国際出願番号】 US2021056096

(87)【国際公開番号】W WO2022087301

(87)【国際公開日】2022-04-28

(31)【優先権主張番号】63/104,886

(32)【優先日】2020-10-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520196081

【氏名又は名称】ディープサイト テクノロジー インコーポレイテッド

【氏名又は名称原語表記】ＤｅｅｐＳｉｇｈｔ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ．

(74)【代理人】

【識別番号】100137969

【弁理士】

【氏名又は名称】岡部 憲昭

(74)【代理人】

【識別番号】100104824

【弁理士】

【氏名又は名称】穐場 仁

(74)【代理人】

【識別番号】100121463

【弁理士】

【氏名又は名称】矢口 哲也

(72)【発明者】

【氏名】チュー，リレン

(72)【発明者】

【氏名】ジャオ，ダンホワ

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601DE08

4C601DE12

4C601EE01

4C601EE03

4C601GB02

4C601GB03

4C601GB06

4C601GB21

4C601GB41

4C601GB47

4C601GB50

4C601GD03

4C601HH06

4C601HH35

4C601JB28

4C601JB31

4C601JB48

4C601JB49

4C601JC21

(57)【要約】

撮像方法は、混合トランスデューサアレイ内の第１のタイプの１つまたは複数のアレイ要素から第１の信号を受信することと、混合トランスデューサアレイ内の第２のタイプの１つまたは複数のアレイ要素から第２の信号を受信することであって、第１のタイプおよび第２のタイプのうちの少なくとも１つが光学センサである、受信することと、第１の信号から第１の画像を生成し、第２の信号から第２の画像を生成することと、複合画像を生成するために第１の画像と第２の画像とを合成することとを含み得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

混合トランスデューサアレイ内の第１のタイプの１つまたは複数のアレイ要素から第１の信号を受信することと、
前記混合トランスデューサアレイ内の第２のタイプの１つまたは複数のアレイ要素から第２の信号を受信することであって、前記第１のタイプおよび前記第２のタイプのうちの少なくとも１つが光学センサである、受信することと、
前記第１の信号から第１の画像を生成し、前記第２の信号から第２の画像を生成することと、
複合画像を生成するために前記第１の画像と前記第２の画像とを合成することと
を含む、撮像方法。

【請求項2】

前記第１のタイプと前記第２のタイプとが、異なる特性を有する光共振器である、請求項１に記載の方法。

【請求項3】

前記第１のタイプが高Ｑ光共振器であり、前記第２のタイプが低Ｑ光共振器である、請求項２に記載の方法。

【請求項4】

前記第１のタイプが、高Ｑ光共振器として動作される同調可能光共振器であり、前記第２のタイプが、低Ｑ光共振器として動作される同調可能光共振器である、請求項２に記載の方法。

【請求項5】

前記第１のタイプが非光学トランスデューサであり、前記第２のタイプが光学センサである、請求項１に記載の方法。

【請求項6】

前記非光学トランスデューサが、圧電トランスデューサ、単結晶材料トランスデューサ、圧電マイクロマシン超音波トランスデューサ（ＰＭＵＴ）、または容量性マイクロマシン超音波トランスデューサ（ＣＭＵＴ）である、請求項５に記載の方法。

【請求項7】

前記第２のタイプが広帯域幅光学センサであり、前記方法が、第３のタイプの１つまたは複数のアレイ要素から第３の信号を受信することをさらに含み、前記第３のタイプが超高感度光学センサである、請求項５に記載の方法。

【請求項8】

１つまたは複数のフィルタを使用して、前記第１の信号、前記第２の信号、および／または前記第３の信号をフィルタリングすることを含む、請求項７に記載の方法。

【請求項9】

前記１つまたは複数のフィルタが、高調波バンドパスフィルタを含む、請求項８に記載の方法。

【請求項10】

前記第１の画像と前記第２の画像とを合成することが、前記第１の画像と前記第２の画像との平均を決定することを含む、請求項１に記載の方法。

【請求項11】

前記第１の画像と前記第２の画像とを合成することが、前記第１の画像と前記第２の画像との算術または幾何平均を決定することを含む、請求項１０に記載の方法。

【請求項12】

前記第１の画像と前記第２の画像とを合成することが、前記第１の画像と前記第２の画像との加重平均を決定することを含む、請求項１０に記載の方法。

【請求項13】

前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定することと、前記１つまたは複数の複合係数に基づいて前記第１の画像と前記第２の画像とを合成することとをさらに含む、請求項１２に記載の方法。

【請求項14】

前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定することが、
少なくとも１つの変換演算子を使用して、前記第１の画像および前記第２の画像を第１の変換領域画像および第２の変換領域画像に変換することと、
前記第１の変換領域画像および前記第２の変換領域画像についての１つまたは複数の変換領域複合係数を決定することと、
前記第１の画像および前記第２の画像についての前記１つまたは複数の複合係数を決定するために、前記１つまたは複数の変換領域複合係数を逆変換することと
を含む、請求項１３に記載の方法。

【請求項15】

前記第１の変換領域画像および前記第２の変換領域画像についての１つまたは複数の変換領域複合係数を決定することが、前記第１の変換領域画像および前記第２の変換領域画像に１つまたは複数の係数複合ルールを適用することを含む、請求項１４に記載の方法。

【請求項16】

前記少なくとも１つの変換演算子が、フーリエ変換、離散ウェーブレット変換（ＤＷＴ）、離散コサイン変換（ＤＣＴ）、または波原子変換を含む、請求項１４に記載の方法。

【請求項17】

前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定することが、
前記第１の画像のための第１の画質係数マップと前記第２の画像のための第２の画質係数マップとを決定することと、
前記第１の画質係数マップに基づいて前記第１の画像についての第１の複合係数を決定し、前記第２の画質係数マップに基づいて前記第２の画像についての第２の複合係数を決定することと
を含む、請求項１３に記載の方法。

【請求項18】

前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定することが、前記第１の画像中のおよび前記第２の画像中の各ピクセルのローカルエントロピを決定することと、前記決定されたローカルエントロピに基づいて１つまたは複数の複合係数を決定することとを含む、請求項１３に記載の方法。

【請求項19】

前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定することが、前記第１の画像および前記第２の画像の各々に線形フィルタを適用することを含む、請求項１３に記載の方法。

【請求項20】

前記線形フィルタが、ガウス差分フィルタを含む、請求項１９に記載の方法。

【請求項21】

前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定することが、撮像深度の関数として１つまたは複数の複合係数を決定することを含む、請求項１３に記載の方法。

【請求項22】

前記第１の画像と前記第２の画像との加重平均を決定することが、所定の飽和閾値を超えた前記第１の画像および／または前記第２の画像の少なくとも一部分の重みを低減する飽和マスクを適用することを含む、請求項１２に記載の方法。

【請求項23】

前記光学センサがＷＧＭ光共振器である、請求項１に記載の方法。

【請求項24】

前記光学センサが、マイクロバブル光共振器、フォトニック集積回路（ＰＩＣ）光共振器、微小球共振器、マイクロトロイド共振器、マイクロリング共振器、マイクロボトル共振器、マイクロシリンダ共振器、またはマイクロディスク光共振器である、請求項１に記載の方法。

【請求項25】

前記混合トランスデューサアレイ内の１つまたは複数の非光学トランスデューサが、基本周波数ｆで音響信号を送信し、
前記第１のタイプ、前記第２のタイプ、または前記第１のタイプと前記第２のタイプの両方の前記１つまたは複数のアレイ要素が、前記送信された音響信号に対応する高調波または低調波音響エコーを受信すると１つまたは複数の光応答を作り出すように構成され、前記第２のタイプの前記１つまたは複数のアレイ要素が、少なくともｆ／ＭからＮｆに及ぶ帯域幅を有し、ここで、ＭおよびＮが１よりも大きい整数である、請求項１に記載の方法。

【請求項26】

前記１つまたは複数の非光学トランスデューサが、第１の基本周波数ｆ_１および第２の基本周波数ｆ_２で音響信号を送信する、請求項１に記載の方法。

【請求項27】

前記第２のタイプの１つまたは複数のアレイ要素が、１つまたは複数の線形結合ｎｆ_１＋ｍｆ_２の周波数に対応する音響エコーを受信すると１つまたは複数の光応答を作り出すように構成され、ｎおよびｍは、ｎｆ_１＋ｍｆ_２が正数であるような整数である、請求項２６に記載の方法。

【請求項28】

前記第１の画像および前記第２の画像のうちの少なくとも１つが高調波画像である、請求項１に記載の方法。

【請求項29】

前記高調波画像が、低調波画像または超高調波画像である、請求項２８に記載の方法。

【請求項30】

ターゲットを撮像するための装置であって、
第１の信号を受信するように構成された第１のタイプの１つまたは複数のアレイ要素と、
第２の信号を受信するように構成された第２のタイプの１つまたは複数のアレイ要素と
を備える混合トランスデューサアレイであって、前記第１のタイプおよび前記第２のタイプのうちの少なくとも１つが光学センサである、混合トランスデューサアレイと、
前記第１の信号から第１の画像を生成し、前記第２の信号から第２の画像を生成することと、
複合画像を生成するために前記第１の画像と前記第２の画像とを合成することと
を行うように構成される、１つまたは複数のプロセッサと、
を備える、装置。

【請求項31】

前記第１のタイプと前記第２のタイプとが、異なる特性を有する光共振器である、請求項３０に記載の装置。

【請求項32】

前記第１のタイプが高Ｑ光共振器であり、前記第２のタイプが低Ｑ光共振器である、請求項３１に記載の装置。

【請求項33】

前記第１のタイプが、高Ｑ光共振器として動作される同調可能光共振器であり、前記第２のタイプが、低Ｑ光共振器として動作される同調可能光共振器である、請求項３１に記載の装置。

【請求項34】

前記第１のタイプが非光学トランスデューサであり、前記第２のタイプが光学センサである、請求項３０に記載の装置。

【請求項35】

前記非光学トランスデューサが、圧電トランスデューサ、単結晶材料トランスデューサ、圧電マイクロマシン超音波トランスデューサ（ＰＭＵＴ）、または容量性マイクロマシン超音波トランスデューサ（ＣＭＵＴ）である、請求項３４に記載の装置。

【請求項36】

前記第２のタイプが広帯域幅光学センサであり、前記混合トランスデューサアレイが、第３の信号を受信するように構成された第３のタイプの１つまたは複数のアレイ要素をさらに備え、前記第３のタイプが超高感度光学センサである、請求項３４に記載の装置。

【請求項37】

前記１つまたは複数のプロセッサが、１つまたは複数のフィルタを使用して、前記第１の信号、前記第２の信号、および／または前記第３の信号をフィルタリングするように構成される、請求項３６に記載の装置。

【請求項38】

前記１つまたは複数のフィルタが、高調波バンドパスフィルタを含む、請求項３７に記載の装置。

【請求項39】

前記１つまたは複数のプロセッサが、少なくとも部分的に、前記第１の画像と前記第２の画像との平均を決定することによって、前記第１の画像と前記第２の画像とを合成するように構成される、請求項３０に記載の装置。

【請求項40】

前記１つまたは複数のプロセッサが、少なくとも部分的に、前記第１の画像と前記第２の画像との算術または幾何平均を決定することによって、前記第１の画像と前記第２の画像とを合成するように構成される、請求項３９に記載の装置。

【請求項41】

前記１つまたは複数のプロセッサが、少なくとも部分的に、前記第１の画像と前記第２の画像との加重平均を決定することによって、前記第１の画像と前記第２の画像とを合成するように構成される、請求項３９に記載の装置。

【請求項42】

前記１つまたは複数のプロセッサが、前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定することと、前記１つまたは複数の複合係数に基づいて前記第１の画像と前記第２の画像とを合成することとを行うように構成される、請求項４１に記載の装置。

【請求項43】

前記１つまたは複数のプロセッサが、少なくとも部分的に、
少なくとも１つの変換演算子を使用して、前記第１の画像および前記第２の画像を第１の変換領域画像および第２の変換領域画像に変換することと、
前記第１の変換領域画像および前記第２の変換領域画像についての１つまたは複数の変換領域複合係数を決定することと、
前記第１の画像および前記第２の画像についての前記１つまたは複数の複合係数を決定するために、前記１つまたは複数の変換領域複合係数を逆変換することと
によって、前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定するように構成される、請求項４２に記載の装置。

【請求項44】

前記１つまたは複数のプロセッサが、少なくとも部分的に、前記第１の変換領域画像および前記第２の変換領域画像に１つまたは複数の係数複合ルールを適用することによって、前記第１の変換領域画像および前記第２の変換領域画像についての１つまたは複数の変換領域複合係数を決定するように構成される、請求項４３に記載の装置。

【請求項45】

前記少なくとも１つの変換演算子が、フーリエ変換、離散ウェーブレット変換（ＤＷＴ）、離散コサイン変換（ＤＣＴ）、または波原子変換を含む、請求項４３に記載の装置。

【請求項46】

前記１つまたは複数のプロセッサが、少なくとも部分的に、
前記第１の画像のための第１の画質係数マップと前記第２の画像のための第２の画質係数マップとを決定することと、
前記第１の画質係数マップに基づいて前記第１の画像についての第１の複合係数を決定し、前記第２の画質係数マップに基づいて前記第２の画像についての第２の複合係数を決定することと
によって、前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定するように構成される、請求項４２に記載の装置。

【請求項47】

前記１つまたは複数のプロセッサが、少なくとも部分的に、前記第１の画像中のおよび前記第２の画像中の各ピクセルのローカルエントロピを決定することと、前記決定されたローカルエントロピに基づいて１つまたは複数の複合係数を決定することとによって、前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定するように構成される、請求項４２に記載の装置。

【請求項48】

前記１つまたは複数のプロセッサが、少なくとも部分的に、前記第１の画像および前記第２の画像の各々に線形フィルタを適用することによって、前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定するように構成される、請求項４２に記載の装置。

【請求項49】

前記線形フィルタが、ガウス差分フィルタを含む、請求項４８に記載の装置。

【請求項50】

前記１つまたは複数のプロセッサが、少なくとも部分的に、撮像深度の関数として１つまたは複数の複合係数を決定することによって、前記第１の画像および前記第２の画像についての１つまたは複数の複合係数を決定するように構成される、請求項４２に記載の装置。

【請求項51】

前記１つまたは複数のプロセッサが、少なくとも部分的に、所定の飽和閾値を超えた前記第１の画像および／または前記第２の画像の少なくとも一部分の重みを低減する飽和マスクを適用することによって、前記第１の画像と前記第２の画像との加重平均を決定するように構成される、請求項４１に記載の装置。

【請求項52】

前記光学センサがＷＧＭ光共振器である、請求項３０に記載の装置。

【請求項53】

前記光学センサが、マイクロバブル光共振器、フォトニック集積回路（ＰＩＣ）光共振器、微小球共振器、マイクロトロイド共振器、マイクロリング共振器、マイクロボトル共振器、マイクロシリンダ共振器、またはマイクロディスク光共振器である、請求項３０に記載の装置。

【請求項54】

前記混合トランスデューサアレイ内の１つまたは複数の非光学トランスデューサが、基本周波数ｆで音響信号を送信し、
前記第１のタイプ、前記第２のタイプ、または前記第１のタイプと前記第２のタイプの両方の前記１つまたは複数のアレイ要素が、前記送信された音響信号に対応する高調波または低調波音響エコーを受信すると１つまたは複数の光応答を作り出すように構成され、前記第２のタイプの前記１つまたは複数のアレイ要素が、少なくともｆ／ＭからＮｆに及ぶ帯域幅を有し、ここで、ＭおよびＮが１よりも大きい整数である、請求項３０に記載の装置。

【請求項55】

前記１つまたは複数の非光学トランスデューサが、第１の基本周波数ｆ_１および第２の基本周波数ｆ_２で音響信号を送信する、請求項３０に記載の装置。

【請求項56】

前記第２のタイプの１つまたは複数のアレイ要素が、１つまたは複数の線形結合ｎｆ_１＋ｍｆ_２の周波数に対応する音響エコーを受信すると１つまたは複数の光応答を作り出すように構成され、ｎおよびｍは、ｎｆ_１＋ｍｆ_２が正数であるような整数である、請求項５５に記載の装置。

【請求項57】

前記第１の画像および前記第２の画像のうちの少なくとも１つが高調波画像である、請求項３０に記載の装置。

【請求項58】

前記高調波画像が、低調波画像または超高調波画像である、請求項５７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]関連出願の相互参照
本出願は、その全体がこの参照により本明細書に組み込まれる、２０２０年１０月２３日に出願された米国特許出願第６３／１０４，８８６号の優先権を主張する。

【0002】

[0002]本開示は、一般に、撮像の分野に関し、特に、光学センサおよび他のトランスデューサのアレイを含む混合アレイによって収集された画像から複合画像を形成することを可能にする方法およびデバイスに関する。本明細書で開示される方法およびデバイスは、撮像性能の改善のための高い感度および／または高い動作帯域幅を有する光学センサを含む。

【背景技術】

【0003】

[0003]超音波検知が、いくつかの利点により、医療撮像および医療診断を含む様々な産業において使用されている。例えば、超音波検知は、顕著な侵入深さを有する超音波信号を利用する。さらに、超音波撮像は、非電離放射に基づくので、有利なことに非侵襲的な撮像形態であることが知られている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[0004]超音波撮像において使用される様々な既知の超音波トランスデューサは、多くの欠点を有する。例えば、いくつかの超音波トランスデューサは、チタン酸ジルコン酸鉛（ＰＺＴ）などの圧電材料で作られる。しかしながら、ＰＺＴ材料の６ｄＢ帯域幅は、一般に、わずか約７０％に制限される。いくつかの複合ＰＺＴ材料は、わずかに増加した帯域幅を有するが、依然として最高約８０％の帯域幅しか達成しない。別の例として、超音波プローブの性能を改善するために、単結晶材料がますます使用されているが、キュリー温度が低く、もろい。別のタイプのトランスデューサ材料はシリコンであり、シリコンは、増加した帯域幅を有することができる容量性マイクロマシン超音波トランスデューサ（ＣＭＵＴ）プローブを構築するように加工され得る。しかしながら、ＣＭＵＴプローブは、感度または信頼性があまり高くない。さらに、ＣＭＵＴプローブは、いくつかの動作上の制限を有する。例えば、ＣＭＵＴプローブは非線形センサであり、したがって、一般に高調波撮像に好適でない。したがって、より高い帯域幅および感度を有するセンサを含む混合トランスデューサアレイ（混合アレイ）を有する超音波プローブが必要とされている。さらに、混合アレイによって生成された信号および／または画像を処理するためにバックエンドデバイスおよび／またはフロントエンドデバイスが必要とされている。

【課題を解決するための手段】

【0005】

[0005]一般に、いくつかの変形形態では、撮像する（例えば、患者を超音波撮像する）ための装置（例えば、画像複合システム）は、第１の信号を受信するように構成された第１のタイプの１つまたは複数のアレイ要素と、第２の信号を受信するように構成された第２のタイプの１つまたは複数のアレイ要素とを含む混合トランスデューサアレイを含み得、第１のタイプおよび第２のタイプのうちの少なくとも１つは光学センサである。本装置は、第１の信号から第１の画像を生成し、第２の信号から第２の画像を生成することと、複合画像を生成するために第１の画像と第２の画像とを合成することとを行うように構成された１つまたは複数のプロセッサをさらに含み得る。

【0006】

[0006]いくつかの変形形態では、第１のタイプのアレイ要素は非光学トランスデューサを含み得、第２のタイプのアレイ要素は光学センサを含み得る。第１のタイプの１つまたは複数のアレイ要素は、例えば、圧電トランスデューサ、単結晶材料トランスデューサ、圧電マイクロマシン超音波トランスデューサ（ＰＭＵＴ）、または容量性マイクロマシン超音波トランスデューサ（ＣＭＵＴ）を含み得る。光学センサは、例えば、ウィスパリング・ギャラリー・モード（ＷＧＭ）光共振器、マイクロバブル光共振器、フォトニック集積回路（ＰＩＣ）光共振器、微小球共振器、マイクロトロイド共振器、マイクロリング共振器、マイクロボトル共振器、マイクロシリンダ共振器、および／またはマイクロディスク光共振器を含み得る。

【0007】

[0007]いくつかの変形形態では、第２のタイプのアレイ要素は、異なる特性（例えば、異なる設計および／または異なる動作パラメータ）を有する光学センサを含み得る。例えば、いくつかの変形形態では、第２のタイプのアレイ要素は、１つまたは複数の高品質係数（高Ｑ）光学センサと、１つまたは複数の低品質（低Ｑ）光学センサとを含み得る。追加または代替として、第２のタイプのアレイ要素は、高Ｑ光共振器として動作するように構成された１つまたは複数の同調可能光共振器を含み得、および／または、第２のタイプのアレイ要素は、低Ｑ光共振器として動作するように構成された１つまたは複数の同調可能光共振器を含み得る。例えば、そのような同調可能光共振器は、撮像設定などに応じて、高Ｑモードまたは低Ｑモードで選択的に動作可能であり得る。

【0008】

[0008]さらに、いくつかの変形形態では、混合トランスデューサアレイは、１つまたは複数の非光学トランスデューサと複数のタイプの光学センサとの組合せを含み得る。例えば、混合トランスデューサアレイは、少なくとも１つの非光学トランスデューサを含む第１のタイプの１つまたは複数のアレイ要素を含み得、第２のタイプの１つまたは複数のアレイ要素は、少なくとも１つのタイプの光学センサを含み得、第３のタイプの１つまたは複数のアレイ要素は、少なくとも別のタイプの光学センサを含み得る。１つまたは複数のプロセッサは、第３の信号から第３の画像を生成することと、複合画像を生成するために第１の画像と第２の画像と第３の画像とを合成することとを行うようにさらに構成され得る。異なるタイプの光共振器センサは、例えば、高Ｑ光共振器および低Ｑ光共振器（あるいは、高Ｑ光共振器または低Ｑ光共振器として動作するように構成された同調可能光共振器センサ）を含み得る。別の例として、異なるタイプの光共振器センサは、広帯域幅光共振器および超高感度光共振器を含み得る。

【0009】

[0009]いくつかの変形形態では、混合トランスデューサアレイの１つまたは複数のアレイ要素（例えば、トランスデューサ）は、基本周波数ｆで音響信号を送信し得る。応答して、第１のタイプ、第２のタイプ、または第１のタイプと第２のタイプの両方の１つまたは複数のアレイ要素は、送信された音響信号に対応する（超高調波および低調波を含む）高調波音響エコーを受信すると１つまたは複数の応答を作り出し得る。第２のタイプの１つまたは複数のアレイ要素は、少なくともｆ／ＭからＮｆに及ぶ帯域幅を有し得、ここで、ＭおよびＮは１よりも大きい整数である。いくつかの変形形態では、第１のタイプの１つまたは複数のアレイ要素は、第１の基本周波数ｆ_１および第２の基本周波数ｆ_２で音響信号を送信し得る。応答して、第２のタイプの１つまたは複数のアレイ要素は、１つまたは複数の線形結合ｎｆ_１＋ｍｆ_２の周波数に対応する音響エコーを受信すると１つまたは複数の光応答を作り出し得、ｎおよびｍは、ｎｆ_１＋ｍｆ_２が正数であるような整数である。第１の画像および第２の画像のうちの少なくとも１つは、高調波画像であるか、または高調波画像を含み得る。

【0010】

[0010]いくつかの変形形態では、１つまたは複数のプロセッサは、１つまたは複数の好適なフィルタを使用して、混合トランスデューサアレイ内の異なるタイプのアレイ要素からの様々な信号をフィルタリングするように構成され得る。そのような好適なフィルタは、例えば、低調波信号および超高調波信号を含む高調波信号の抽出を可能にし得る高調波バンドパスフィルタを含み得る。

【0011】

[0011]第１の画像と第２の画像とを合成することは、好適な複合アルゴリズムによって実施され得る。例えば、１つまたは複数のプロセッサは、少なくとも部分的に、第１の画像と第２の画像との平均を決定することによって、第１の画像と第２の画像とを合成するように構成され得る。例えば、１つまたは複数のプロセッサは、少なくとも部分的に、第１の画像と第２の画像との算術または幾何平均を決定することによって、第１の画像と第２の画像とを合成するように構成され得る。追加または代替として、１つまたは複数のプロセッサは、少なくとも部分的に、第１の画像と第２の画像との加重平均を決定することによって、第１の画像と第２の画像とを合成するように構成され得る。いくつかの変形形態では、そのような加重平均化は、第１の画像および第２の画像についての１つまたは複数の複合係数を決定することを含み得、第１の画像と第２の画像とは、１つまたは複数の複合係数に基づいて合成され得る。

【0012】

[0012]例えば、いくつかの変形形態では、１つまたは複数のプロセッサは、少なくとも部分的に、少なくとも１つの変換演算子を使用して、第１の画像および第２の画像を第１の変換領域画像および第２の変換領域画像に変換することと、第１の変換領域画像および第２の変換領域画像についての１つまたは複数の変換領域複合係数を決定することと、第１の画像および第２の画像についての１つまたは複数の複合係数を決定するために、１つまたは複数の変換領域複合係数を逆変換することとによって、１つまたは複数の複合係数を決定するように構成され得る。変換領域複合係数は、例えば、少なくとも部分的に、第１の変換領域画像および第２の変換領域画像に１つまたは複数の係数複合ルール（例えば、所定の、ヒューリスティックベースの、または学習されたルールなど）を適用することによって、決定され得る。変換演算子は、１：１の順方向および逆方向変換（例えば、フーリエ変換、離散ウェーブレット変換（ＤＷＴ）、離散コサイン変換（ＤＣＴ）、または波原子変換）をサポートする任意の好適な種類の変換を含み得る。

【0013】

[0013]いくつかの変形形態では、１つまたは複数のプロセッサは、追加または代替として、少なくとも部分的に、第１の画像のための第１の画質係数マップと第２の画像のための第２の画質係数マップとを決定することと、第１の画質係数マップに基づいて第１の画像についての第１の複合係数を決定し、第２の画質係数マップに基づいて第２の画像についての第２の複合係数を決定することとによって、１つまたは複数の複合係数を決定するように構成され得る。

【0014】

[0014]追加または代替として、いくつかの変形形態では、１つまたは複数のプロセッサは、少なくとも部分的に、第１の画像中の各ピクセルのローカルエントロピおよび第２の画像中の各ピクセルのローカルエントロピを決定することと、決定されたローカルエントロピに基づいて１つまたは複数の複合係数を決定することとによって、１つまたは複数の複合係数を決定するように構成され得る。

【0015】

[0015]複合係数を決定するための他の好適な技法は、少なくとも部分的に、画像コンテンツを推定し、重み付けするための第１の画像および第２の画像の各々に線形フィルタ（例えば、ガウス差分フィルタ）を適用すること、撮像深度の関数として１つまたは複数の複合係数を決定すること、ならびに／あるいは、所定の飽和閾値を超えた第１の画像および／または第２の画像の少なくとも一部分の重み（例えば、複合係数）を低減する飽和マスクを適用することによって、１つまたは複数の複合係数を決定することを含む。

【0016】

[0016]言い換えれば、１つまたは複数のプロセッサは、例えば、算術平均化、幾何平均化、変換領域複合、画質係数ベース（ＩＱＦ）複合、ローカルエントロピ重み付け複合、画像コンテンツ重み付け複合、深度依存重み付け複合、または飽和マスキングなどのうちの１つまたは複数を含む、本明細書で説明される１つまたは複数の好適な複合技法を使用して、混合トランスデューサアレイ内の異なるタイプのセンサからの画像を合成するように構成され得る。

【図面の簡単な説明】

【0017】

【図1】混合アレイを有する例示的な画像複合システムのブロック図である。

【図2】混合アレイを有する例示的な画像複合システムのブロック図である。

【図3】混合アレイを有する例示的な画像複合システムのブロック図である。

【図4】混合アレイを有する例示的な画像複合システムのブロック図である。

【図5】混合アレイを有する例示的な画像複合システムのブロック図である。

【図6】混合アレイによって収集された画像に対して画像複合を実施する例示的な方法のフローチャートである。

【図7】混合アレイによって収集された画像に対して画像複合を実施する例示的な方法のフローチャートである。

【図8】混合アレイによって収集された画像に対して画像複合を実施する例示的な方法のフローチャートである。

【図9】混合アレイによって収集された画像に対して画像複合を実施する例示的な方法のフローチャートである。

【図10】混合アレイによって収集された画像に対して画像複合を実施する例示的な方法のフローチャートである。

【図11A】混合アレイによって生成された例示的な信号およびそれらの信号の高調波フィルタリングを示す図である。

【図11B】混合アレイによって生成された例示的な信号およびそれらの信号の高調波フィルタリングを示す図である。

【図11C】混合アレイによって生成された例示的な信号およびそれらの信号の高調波フィルタリングを示す図である。

【図11D】混合アレイによって生成された例示的な信号およびそれらの信号の高調波フィルタリングを示す図である。

【図11E】混合アレイによって生成された例示的な信号およびそれらの信号の高調波フィルタリングを示す図である。

【図12】混合アレイによって収集された画像に対して画像複合を実施する方法を示す図である。

【図13】混合アレイによって収集された画像に対して画像複合を実施する方法を示す図である。

【発明を実施するための形態】

【0018】

[0030]本発明の様々な態様および変形形態の非限定的な例が、本明細書で説明され、添付の図面に示される。

【0019】

[0031]複数のタイプのアレイ要素を含む混合アレイを使用して収集された画像を複合（例えば、合成）するための方法およびデバイスが、本明細書で説明される。本明細書で説明される混合アレイは、第１のタイプの１つまたは複数のアレイ要素と、第１のタイプとは異なる第２のタイプの１つまたは複数のアレイ要素とを含む。第１のタイプの１つまたは複数のアレイ要素は、第１の画像を形成するために使用され得、第２のタイプの１つまたは複数のアレイ要素は、第２の画像を形成するために使用され得る。第１のタイプは、圧電トランスデューサ、単結晶材料トランスデューサ、圧電マイクロマシン超音波トランスデューサ（ＰＭＵＴ）、および／または容量性マイクロマシン超音波トランスデューサ（ＣＭＵＴ）などの非光学トランスデューサを含み得る。第２のタイプは、光共振器（例えば、ウィスパリング・ギャラリー・モード（ＷＧＭ）光共振器またはフォトニック集積回路（ＰＩＣ）光共振器）または光干渉計などの干渉ベース光学センサであり得る光学センサを含み得る。光学センサは、任意の好適な形状を有し得る。例えば、光学センサは、マイクロバブル共振器、微小球共振器、マイクロトロイド共振器、マイクロリング共振器、マイクロボトル共振器、マイクロシリンダ共振器および／またはマイクロディスク光共振器などであり得る。光学センサは、他のタイプの超音波センサと比較して、超音波信号の受信において高感度および／または広帯域幅を有する。

【0020】

[0032]非光学トランスデューサと１つまたは複数のタイプの光学センサとの様々な好適な組合せが、混合トランスデューサアレイに含まれ得る。例えば、いくつかの変形形態では、第１のタイプのアレイ要素は非光学トランスデューサを含み得、第２のタイプのアレイ要素は光学センサを含み得る。第１のタイプの１つまたは複数のアレイ要素は、音響信号を送信し、および／または音響エコーを検出して第１の画像を形成するための非光学トランスデューサ（非光学サブアレイ）を含み得る。第２のタイプの１つまたは複数のアレイ要素（例えば、光学サブアレイ内の光学センサ）は、第２の画像を形成するために使用され得る音響エコー（例えば、フルスペクトル、ベースバンド、低調波、超高調波、および／または差動高調波）を検出するために使用され得る。高感度および／または広帯域幅光学センサによって生成される第２の画像は、独立して使用され得るか、または、なお一層改善された画像を形成するために第１の画像と合成され得る。光共振器の高感度および広帯域幅のために、光学センサによって作り出された画像は、改善された空間分解能、改善されたコントラスト分解能、改善された侵入深さ、改善された信号対雑音比（ＳＮＲ）、改善された組織高調波撮像、および／または改善されたドップラー感度を有し得る。しかしながら、光学サブアレイおよび非光学サブアレイは、本質的に異なる特性を有するので、異なるタイプのセンサによって作り出された信号を使用して生成された画像を合成することによって作り出された複合画像は、より多くの特徴、より良好な画質を有し、基礎となる撮像ターゲットのより完全な理解を提供し得る。

【0021】

[0033]さらに、光学センサは超音波を生成せず、したがって、超音波を生成する他のトランスデューサ（例えば、圧電、ＣＭＵＴなど）と混合アレイ内で一緒に使用される。混合アレイは、様々な構成で配置され、様々なノイズレベル、振幅応答、位相遅延、周波数範囲などを有するセンサ要素を含むことができる。その結果、１つのタイプのセンサを有するプローブのために一般に使用される従来のビームフォーミング方法およびデバイスは、複数のタイプのセンサの混合アレイを使用するプローブには最適でない。本明細書で説明される光共振器は、超高品質係数（１０^３、１０^５、１０^７、１０^９など）を有し、したがって、超音波検出のための超高感度を有するが、より小さいダイナミックレンジを有し得る。そのような超高品質係数光共振器は、特に、超深度撮像に好適であり得るが、近接場において望ましくない非線形ひずみを被り得る。一方、光共振器は、超高品質係数を有する光共振器と比較して、より低い品質係数、したがってより低い感度を有するように設計され得る。そのような低品質係数光共振器は、特に、望ましくない非線形ひずみのない近接場における撮像に好適であり得る。さらに、光共振器は、多くの異なる共振モードをサポートし得る。したがって、光共振器の動作モードは、例えば、光共振器に結合されたレーザ源の波長を切り替えることによって、第１の動作モードから第２の動作モードに切り替えられ得る。いくつかの変形形態では、画像複合システムは、光共振器を、第１の時間に超高品質係数動作モードで動作させ、第２の時間に低品質係数動作モードで動作させ得る。いくつかの変形形態では、画像複合システムは、光共振器の第１のセットを超高品質係数動作モードで動作させ、光共振器の第２のセットを低品質係数動作モードで動作させることができる。さらに、異なるタイプの光共振器からなるサブアレイは、ターゲットの異なる側面を示す異なる画像を作り出すために使用される同じ画像複合システムにおいて展開され得る。異なる光共振器によって、または本明細書で説明されるものなどの複合アルゴリズムを使用して異なる動作モードで光共振器を動作させることによって作り出された画像を合成することは、単一のタイプのセンサによって作り出されたかまたは生成された画像よりも良好な画質を有する画像を作り出すか、またはさもなければ生成することができる。

【0022】

[0034]したがって、いくつかの変形形態では、第２のタイプのアレイ要素は、異なる特性（例えば、異なる設計および／または異なる動作パラメータ）を有する光共振器センサを含み得る。例えば、いくつかの変形形態では、第２のタイプのアレイ要素は、１つまたは複数の高品質係数（高Ｑ）光共振器と、１つまたは複数の低品質（低Ｑ）光共振器とを含み得る。追加または代替として、第２のタイプのアレイ要素は、高Ｑ光共振器として動作するように構成された１つまたは複数の同調可能光共振器と、低Ｑ光共振器として動作するように構成された１つまたは複数の同調可能光共振器とを含み得る。例えば、そのような同調可能光共振器は、撮像設定などに応じて、高Ｑモードまたは低Ｑモードで選択的に動作可能であり得る。追加または代替として、第２のタイプのアレイ要素は、広帯域幅のために設計された１つまたは複数の光共振器センサと、超高感度のために設計された１つまたは複数の光共振器センサとを含み得る。

【0023】

[0035]さらに、いくつかの変形形態では、混合トランスデューサアレイは、１つまたは複数の非光学トランスデューサと複数のタイプの光学センサとの組合せを含み得る。したがって、任意の個々の入力画像よりも良好な品質の複合画像を取得するために、本明細書で説明されるものなどの画像複合システムおよび方法を使用して、（例えば、非光学トランスデューサからのおよび／または１つまたは複数の異なる種類の光学センサからの）異なる種類の入力画像が合成され得る。

【0024】

[0036]画像複合システム
図１は、混合アレイを有する例示的な画像複合システム１００のブロック図である。画像複合システム１００は、プローブ１２５と、撮像システム１６０と、ディスプレイ１７０とを含む。プローブ１２５は、撮像システム１６０に動作可能に結合され得る。プローブ１２５は、撮像システム１６０との間で信号（例えば、電気信号、電磁信号、光信号など）のセットを受信および／または送信し得る。プローブ１２５は、画像を形成する際に使用するための媒体との間で信号（例えば、音響信号など）のセットを受信および／または送信し得る混合アレイ１１０を含む。撮像システム１６０は、フロントエンド１４０およびバックエンド１５０を含み得、フロントエンド１４０およびバックエンド１５０は、（例えば、１つまたは複数の送信チャネルを介して）プローブに送信された信号の物理的パラメータ（例えば、タイミング、ロケーション、角度、強度など）を集合的に決定し、（例えば、１つまたは複数の受信チャネルを介して）プローブ１２５によって受信された信号を後処理して画像を形成し得る。撮像システム１６０はまた、ディスプレイ１７０に信号（例えば、電気信号、電磁信号など）のセットを送信するためにディスプレイ１７０に結合され得る。例えば、いくつかの変形形態では、ディスプレイ１７０は、撮像システム１６０によって作り出された画像を（例えば、グラフィカル・ユーザ・インターフェース（ＧＵＩ）に）表示するように構成され得る。追加または代替として、撮像システム１６０は、ディスプレイ１７０から信号を受信し得る。例えば、ディスプレイ１７０は、画像複合システム１００の動作を制御するためになど、画像複合システム１００のユーザからコマンドを受信するための対話型インターフェース（例えば、タッチスクリーン、キーボード、動きセンサなど）をさらに含み得る。

【0025】

[0037]図１に示されているように、プローブ１２５は、混合アレイ１１０と、マルチプレクサ１２０と、光学センサケーブル１３０とを含み得る。混合アレイ１１０は、１つまたは複数の非光学アレイ要素（例えば、ＰＺＴトランスデューサ、ＣＭＵＴトランスデューサなど）および１つまたは複数の光学アレイ要素（例えば、ＷＧＭ共振器などの光学センサ）を含み得る。非光学トランスデューサは、音響波を送信するように構成され得、いくつかの変形形態では、送信された音響波に応答して音響エコーをさらに受信および検出するように構成され得る。光学センサは、高感度および／または広帯域幅応答と共にエコー信号を受信および検出するように構成され得る。いくつかの変形形態では、混合アレイは、その全体がこの参照により本明細書に組み込まれる、国際特許出願第ＰＣＴ／ＵＳ２０２１／０３３７１５号に記載されている混合アレイのいずれかと同様であり得る。いくつかの変形形態では、混合アレイは、その全体がこの参照により本明細書に組み込まれる、国際特許出願第ＰＣＴ／ＵＳ２０２１／０３９５５１号に記載されているような高調波撮像を実施するように構成され得る。いくつかの変形形態では、プローブ１２５は、混合アレイ１１０を使用することによって、視野にわたって反復的に走査するように構成され得る。いくつかの変形形態では、混合アレイからの信号は、その全体がこの参照により本明細書に組み込まれる、国際特許出願第ＰＣＴ／ＵＳ２０２１／０４９２２６号に記載されている技法など、合成開口技法によって合成され得る。そのような信号は、以下でさらに詳細に説明されるように、光学センサおよび／または非光学トランスデューサを使用して画像を生成するために使用され得る。

【0026】

[0038]混合アレイ１１０は、トランスデューサ要素のアレイを含み得、１次元（１Ｄ）構成、１．２５次元（１．２５Ｄ）アレイ構成、１．５次元（１．５Ｄ）アレイ構成、１．７５次元（１．７５Ｄ）アレイ構成、または２次元（２Ｄ）アレイ構成における動作のために構成され得る。一般に、超音波センサアレイの次元性は、超音波センサアレイを用いて撮像するときに達成可能であるエレベーションビーム幅（またはエレベーション・ビーム・スライス厚）の範囲と、撮像フィールド全体にわたる（例えば、撮像深度全体にわたる）センサアレイのエレベーション・ビーム・サイズ、焦点、および／またはステアリングに対してシステムがどのくらいの制御を行うかとに関する。１Ｄアレイは、エレベーション次元における要素のただ１つの行および固定エレベーション開口サイズを有する。１．２５Ｄアレイは、エレベーション次元における要素の複数の行および可変エレベーション開口サイズを有するが、音響レンズを介した固定エレベーション焦点を有する。１．５Ｄアレイは、エレベーション次元における要素の複数の行、可変エレベーション開口サイズ、および電子遅延制御を介した可変エレベーション焦点を有する。１．７５Ｄアレイは、追加のエレベーション・ビーム・ステアリング能力を有する１．５Ｄアレイである。２Ｄアレイは、横方向とエレベーション方向の両方において大きいビームステアリング角度についての最小ピッチ要件を満たすために、横方向次元とエレベーション次元の両方において多数の要素を有する。

【0027】

[0039]いくつかの変形形態では、画像複合システムは、１．５Ｄアレイ構成または２Ｄアレイ構成を１Ｄアレイ構成に変えるように構成され得る。混合アレイ１１０は、多数（例えば、１６、３２、６４、１２８、２５６、１０２４、４０９６、８１９２、１６３８４個など）の要素を含み得る。いくつかの変形形態では、混合アレイ１１０は、矩形構成で配置され得、Ｎ×Ｍ個の要素を含み得、ここで、Ｎは行数であり、Ｍは列数である。いくつかの変形形態では、例えば、混合アレイ１１０は、第１のタイプの１つまたは複数のアレイ要素および第２のタイプの１つまたは複数のアレイ要素を含み、ここで、第１のタイプは、圧電トランスデューサ、または超音波を送信するように構成された他の非光学トランスデューサであり得、第２のタイプは、光共振器などの光学センサであり得る。非光学トランスデューサおよび光学センサは、矩形配置、湾曲配置、円形配置、またはスパースアレイ配置で集合的に配置され得る。

【0028】

[0040]混合アレイ１１０内の非光学トランスデューサは、例えば、チタン酸ジルコン酸鉛（ＰＺＴ）トランスデューサ、ポリマー厚膜（ＰＴＦ）センサ、ポリフッ化ビニリデン（ＰＶＤＦ）センサ、容量性マイクロマシン超音波トランスデューサ（ＣＭＵＴ）、圧電マイクロマシン超音波トランスデューサ（ＰＭＵＴ）、単結晶材料（例えば、ＬｉＮｂＯ_３（ＬＮ）、Ｐｂ（Ｍｇ_１／３Ｎｂ_２／３）－ＰｂＴｉＯ_３（ＰＭＮ－ＰＴ）、およびＰｂ（Ｉｎ_１／２Ｎｂ_１／２）－Ｐｂ（Ｍｇ_１／３Ｎｂ_２／３）－ＰｂＴｉＯ_３（ＰＩＮ－ＰＭＮ－ＰＴ））に基づくトランスデューサ、および／または音響検知に好適な任意のトランスデューサを含み得る。

【0029】

[0041]光学センサは、例えば、光干渉計または光共振器（例えば、ウィスパリング・ギャラリー・モード（ＷＧＭ）光共振器）などの干渉ベース光学センサであるか、またはそれを含み得る。光学センサが光共振器である変形形態では、光学センサは、任意の好適な形状または形態（例えば、マイクロリング共振器、微小球共振器、マイクロトロイド共振器、マイクロバブル共振器、ファイバベース共振器、集積フォトニック共振器、マイクロディスク共振器など）を有し得る。いくつかの変形形態では、光学センサは、例えば、ファブリペロー（ＦＰ）共振器、ファイバベース共振器（例えば、ファイバリング共振器）、フォトニクス結晶共振器、導波路共振器、または空間および時間において光エネルギーを局在化し得る任意の他の好適な光共振器であり得る／それらを含み得る。例えば、いくつかの変形形態では、光共振器は、それらの各々の全体がこの参照により本明細書に組み込まれる、国際特許出願第ＰＣＴ／ＵＳ２０２０／０６４０９４号および第ＰＣＴ／ＵＳ２０２１／０２２４１２号に記載されている光共振器のいずれかと同様であり得る。

【0030】

[0042]光共振器は、光のいくつかの許容周波数が閉ループ内を継続的に伝播し、閉ループ内の光の許容周波数の光エネルギーを蓄積することを可能にする透明媒体（例えば、ガラス、透明ポリマー、窒化ケイ素、二酸化チタン、または光共振器の動作波長で適切に光学的に透明である任意の他の材料）の閉ループを含み得る。上述のことは、光共振器の表面を移動し、許容周波数に対応するモード（例えば、ウィスパリング・ギャラリー・モード（ＷＧＭ））の伝播が共振器の周囲を循環することを光共振器が可能にし得ると言うことと等価である。各モードは、光の許容周波数からの光の少なくとも１つの周波数の伝播に対応する。本明細書で説明される光共振器の光の許容周波数および品質係数は、光共振器の幾何学的パラメータ、透明媒体の屈折率、および光共振器を取り囲む環境の屈折率に少なくとも部分的に基づき得る。

【0031】

[0043]本明細書で説明される光共振器は、共振周波数の第１のサブセットおよび共振周波数の第２のサブセットを含む共振周波数のセットを有し得る。ある変形形態では、光共振器は、高品質係数を有する共振周波数の第１のサブセットで動作され得る。代替的にまたは追加として、いくつかの変形形態では、光共振器は、低品質係数を有する共振周波数の第２のサブセットで動作され得る。共振周波数の高品質係数サブセットは、高感度検知プローブ（またはサブアレイ）における動作に好適であり得、共振周波数の低品質係数サブセットは、高ダイナミックレンジ適用例に好適であり得る。

【0032】

[0044]いくつかの変形形態では、光共振器の感度は、光共振器の品質係数の同調性のために光共振器の幾何学的および／または特性材料パラメータを同調させることによって制御され得る。いくつかの変形形態では、光共振器の内部および／または周囲の空間は、例えば、ポリフッ化ビニリデン、パリレン、ポリスチレンなどの超音波強化材料で充填され得る。超音波強化材料は、光共振器の感度を高め得る。

【0033】

[0045]光共振器は、光を受信／送信するために他の構成要素に結合され得る。いくつかの実装形態では、光共振器は、光媒体（例えば、光ファイバ、テーパ光ファイバ、自由空間媒体など）を介して、光源（例えば、レーザ、同調可能レーザ、エルビウム・ドープ・ファイバ増幅器など）および／または光検出器（例えば、ｐドープ／真性／ｎドープ（ＰＩＮ）ダイオード）に動作可能に結合され得る。光共振器に基づく音響光学システムは、超音波（例えば、超音波エコー）に応答した共振器の光弾性効果および／または物理的変形によって超音波を直接測定し得る。したがって、光共振器は、機械的エネルギー（例えば、音響エネルギー）を光エネルギーに変換し得る光音響トランスデューサと見なされ得る。例えば、超音波（または任意の圧力波）の存在下では、共振器内を移動するモードは、共振器の屈折率および／または形状の変化によって引き起こされるスペクトルシフトまたは振幅変化を受け得る。スペクトル変化は、光検出器を使用してスペクトル領域において容易に監視および分析され得る。振幅変化も光検出器によって検出され得る。光検出器は、最終的に、光共振器および光ファイバ内を伝播する光エネルギー（すなわち、光信号）を、電子回路を用いた処理に好適な電気エネルギー（すなわち、電気信号）に変換する。混合アレイの間の光共振器の光応答を監視および分析することによって、追加の空間情報および他の情報がさらに導出され得る。例示的な混合トランスデューサアレイが本明細書で説明される。追加または代替として、光共振器からの信号は、光検出器によって電気エネルギーに変換される前に光回路によって処理され得る。

【0034】

[0046]混合アレイ１１０は、（上記に組み込まれた米国特許出願第６３／０２９，０４４号に記載されている混合アレイのいずれかと同様に）様々な構成で配置された１つまたは複数の非光学アレイ要素（例えば、超音波トランスデューサまたは他の非光学センサ）および１つまたは複数の光学アレイ要素（例えば、ＷＧＭ光共振器などの光共振器）を有し得る。例えば、いくつかの構成では、非光学アレイ要素および光学アレイ要素は、いくつかの行およびいくつかの列を含む矩形アレイで集合的に配置され得る。矩形アレイは、Ｎ×Ｍ個のセンサ要素を含み得、ここで、Ｎは行数であり、Ｍは列数であり、両方とも整数である。２Ｄアレイの場合など、いくつかの実装形態では、行数および／または列数は、３１行および／または３１列よりも多いことがある。例えば、２Ｄ混合アレイは、６４×９６＝６，１４４個のセンサ要素を含み得る。

【0035】

[0047]いくつかの変形形態では、混合アレイ１１０は、複数の異なるタイプの光学センサを含み得る。例えば、以下でさらに説明されるように、異なるタイプの光学センサは、広帯域幅光共振器および超高感度光共振器を含み得る。別の例として、混合アレイ１１０は、１つまたは複数の高品質係数（高Ｑ）光共振器と、１つまたは複数の低品質（低Ｑ）光共振器とを含み得る。追加または代替として、混合アレイ１１０は、異なる品質係数モードで動作するように構成された１つまたは複数の同調可能光共振器を含み得る。例えば、同調可能光共振器は、高い動的応答では低品質係数（低Ｑ）動作モードで、または高感度応答では高品質係数（高Ｑ）動作モードで動作され得る。いくつかの実装形態では、同調可能光共振器は、異なる動作モードで動作され得る同調可能光共振器の第１のセットおよび同調可能光共振器の第２のセットであるか、またはそれらを含み得る。いくつかの実装形態では、同調可能光共振器は、第１の時間間隔では高Ｑ動作モードで動作され、第２の時間間隔では低Ｑ動作モードで動作され得る。言い換えれば、いくつかの変形形態では、混合アレイ１１０は、高Ｑ光共振器として動作するように構成された１つまたは複数の同調可能光共振器、および／または低Ｑ光共振器として動作するように構成された１つまたは複数の同調可能光共振器を含み得る。例えば、そのような同調可能光共振器は、撮像設定などに応じて、高Ｑモードまたは低Ｑモードで選択的に動作可能であり得る。

【0036】

[0048]いくつかの構成では、複数のアレイ要素タイプの位置の空間分布は、ランダムであり得る。アレイ要素のスパース空間分布を使用することによって、混合アレイによって作り出された画像内のグレーティングローブの生成が低減および／または防止され得る。第１のタイプのアレイ要素の空間分布は、第２のタイプのアレイ要素の空間分布と同じであるか、同様であるか、または異なり得る。いくつかの構成では、第１のタイプおよび第２のタイプのアレイ要素の位置の空間分布は、配置パターンに従い得る（例えば、同じであり得る、センサ要素の間で１つのセルだけ右にシフトし得る、センサ要素の間で２つのセルだけ下にシフトし得る）。場合によっては、第２のタイプの１つまたは複数のアレイ要素は、第１のタイプの１つまたは複数のアレイ要素よりも小さいか、またはそれと同じであり得る。

【0037】

[0049]混合アレイ１１０内の非光学トランスデューサは、撮像システム１６０と非光学トランスデューサとの間で送信および／または受信された電気信号を処理するマルチプレクサ１２０に動作可能に結合され得る。混合アレイ１１０内の光学センサは、撮像システム１６０と光学センサとの間で送信および／または受信された光信号を処理する光学センサケーブル１３０に動作可能に結合され得る。

【0038】

[0050]マルチプレクサ１２０は、個々のシステムチャネルを所望のアレイ要素に選択的に接続するように機能する。マルチプレクサ１２０は、アナログスイッチを含み得る。アナログスイッチは、多数の高電圧アナログスイッチを含み得る。各アナログスイッチは、個々のシステムチャネルに接続され得る。結果として、マルチプレクサ１２０は、撮像システム１６０のシステムチャネルのセットからの個々のシステムチャネルを、混合アレイ１１０の所望のトランスデューサ要素に選択的に接続し得る。

【0039】

[0051]光学センサケーブル１３０は、光学センサとの間で光信号を送信および／または受信するための専用の光路を含み得る。光学センサケーブル１３０は、例えば、ファイバ光ケーブルなど、１つまたは複数の光導波路を含み得る。光学センサケーブル１３０の特性は、光信号のタイプ、光学センサのタイプ、および／または光学センサの配置に依存し得る。いくつかの構成では、複数の光学センサ（例えば、光学センサのサブアレイ全体、またはその一部分を形成する任意の２つ以上の光学センサ）が、単一の光導波路に光学的に結合され得る。したがって、複数の光学センサからの信号は、単一の光導波路に結合され、単一の光導波路によって通信され得る。いくつかの構成では、光学センサのサブアレイは、１：１の比で光導波路のアレイに光学的に結合され得る（例えば、各光学センサは、それぞれの光導波路に結合され得る）。したがって、光学センサのサブアレイからの光信号は、光学センサケーブル１３０内の１つまたは複数の光導波路に結合され、それらの光導波路によって撮像システム１６０に通信され得る。

【0040】

[0052]撮像システム１６０は、フロントエンド１４０およびバックエンド１５０を含み得る。一般に、フロントエンド１４０は、音響ビームを生成し、電気信号および／または光信号を受信するためにプローブ１２５とインターフェースする。例えば、フロントエンド１４０は、所定のビームパターンで超音波信号を送信するようにプローブ内の非光学トランスデューサ（例えば、トランスデューサ）を駆動し得、プローブ内の混合アレイ内の非光学トランスデューサおよび光学センサから反射超音波信号を受信し得る。フロントエンドはまた、送信ビームフォーミングと受信ビームフォーミングの両方を実施するというタスクを与えられ得る。バックエンド１５０は、画像を生成するためにフロントエンドを介して混合アレイ１１０から受信された信号を処理するための１つまたは複数のプロセッサ、画像を記憶するためにプロセッサに動作可能に結合されたメモリ、および／または（例えば、グラフィカル・ユーザ・インターフェースを介して）画像をユーザに提示するための通信インターフェースを含み得る。例えば、バックエンド１５０は、別々に再構成された画像をフロントエンドにおいて受信ビームフォーマから受信し、追加のバックエンドプロセスを実施し、画像複合動作を行い得る。デジタル信号処理（ＤＳＰ）、デジタル走査変換（ＤＳＣ）、包絡線検波などを含む様々なバックエンドプロセスが、画像形成に関与し得る。光学センサを使用して画像複合を実施するために、画像複合システムは、データ、信号、および／または画像を記憶、分析、合成、および送信するためのバックエンドプロセスの特定の実装形態を含み得る。そのような特定の実装形態は、図２～図５に関して図示され、以下で説明される。

【0041】

[0053]ディスプレイ１７０は、撮像システム１６０によって生成された画像のセットを表示し得る。いくつかの変形形態では、ディスプレイ１７０は、追加または代替として、対話型ユーザインターフェース（例えば、タッチスクリーン）を含み、コマンド（例えば、一時停止、再開など）のセットを撮像システム１６０に送信するように構成され得る。いくつかの変形形態では、画像複合システム１００は、画像複合システム１００に情報を入力するか、または画像複合システム１００から情報を出力するために使用される１つまたは複数の補助デバイスのセット（図示せず）をさらに含み得る。補助デバイスのセットは、例えば、キーボード、マウス、モニタ、ウェブカム、マイクロフォン、タッチスクリーン、プリンタ、スキャナ、仮想現実（ＶＲ）ヘッドマウントディスプレイ、ジョイスティック、バイオメトリックリーダなど（図示せず）を含み得る。

【0042】

[0054]図２は、混合アレイ１１０を有する例示的な画像複合システム１０２のブロック図を示す。図示のように、混合アレイ１１０は、非光学サブアレイ１１３および光共振器サブアレイ１１４を含み得る。フロントエンド１４０は、送信機１４２と、非光学受信機１４３と、光共振器受信機１４４と、送信ビームフォーマ１４５と、非光学受信ビームフォーマ１４６と、光共振器受信ビームフォーマ１４７とを含み得る。バックエンド１５０は、非光学バックエンドプロセッサ１５１と光共振器バックエンドプロセッサ１５２とを含み得る。非光学バックエンドプロセッサ１５１および光共振器バックエンドプロセッサ１５２は、デジタル信号処理（ＤＳＰ）、デジタル走査変換（ＤＳＣ）、包絡線検波などを含む、１つまたは複数の技法を実施することを伴い得る。

【0043】

[0055]送信ビームフォーマ１４５は、送信ビームフォーマ設定１８１に基づいて様々な送信波形を生成する。波形は、非光学サブアレイ１１３に適用される前に、アナログ回路、デジタル回路、および／またはコンピュータシステムを含み得る送信機１４２によって増幅され得る。波形および／または送信機１４２による増幅された波形を受信した後に、非光学サブアレイ１１３は、ターゲットに向かって音響波（例えば、超音波信号）のセットを生成し得る。音響波はターゲットに音波を照射し、ターゲットは、次いで、音響波（すなわち、エコー信号）の一部を混合アレイプローブに反射する。非光学受信機１４３は、非光学トランスデューサによって検出されたエコー信号を受信し、それらを、出力としてデジタル化信号を作り出すために処理する。光共振器サブアレイ１１４によって検出された信号は、光共振器受信機１４４によって処理およびデジタル化され得る。非光学受信ビームフォーマ１４６、光共振器受信ビームフォーマ１４７、非光学バックエンドプロセッサ１５１、および光共振器バックエンドプロセッサ１５２は、２つの受信機によって処理された信号を使用して、非光学画像１８２および光共振器画像１８３を形成する。非光学画像１８２および光共振器画像１８３は、しばしば、異なる特性を有する。非光学画像１８２および光共振器画像１８３の異なる特性は、混合アレイ内の検知要素（非光学トランスデューサまたは光共振器）の配置、検知要素の物理的パラメータなどを含む要因に依存し得る。

【0044】

[0056]図３は、異なる品質係数（Ｑファクタ）を有するサブアレイを含む光共振器センサを含む混合アレイ１１０を有する例示的な画像複合システム１０３のブロック図を示す。図示のように、混合アレイ１１０は、非光学サブアレイ１１３と、高品質係数（高Ｑ）光共振器サブアレイ１１５と、低品質係数（低Ｑ）光共振器サブアレイ１１６とを含み得る。フロントエンド１４０は、送信ビームフォーマ１４５と、送信機１４２と、高Ｑ光共振器サブアレイから信号を受信する高Ｑ光共振器受信機１４８と、低Ｑ光共振器サブアレイから信号を受信する低Ｑ光共振器受信機１４９と、光共振器受信ビームフォーマ１４７とを含み得る。別個の光共振器受信機（高Ｑ光共振器受信機１４８および低Ｑ光共振器受信機１４９）が、それぞれ、高Ｑ光共振器および低Ｑ光共振器から信号を受信するものとして図３に示されているが、いくつかの変形形態では、受信機１４８および１４９は、広範囲のＱファクタ信号を受信し得る１つまたは複数の受信機によって置き換えられ得ることを理解されたい。例えば、単一の受信機が、（例えば、１つまたは複数の「低Ｑ」モードで）低Ｑ信号を受信するように動的に同調されるか、またはさもなければ構成され、（例えば、１つまたは複数の「高Ｑ」モードで）高Ｑ信号を受信するように同調されるか、またはさもなければ構成され得る。単一の受信機は、Ｑファクタのスペクトルにわたって動的に構成され得るか、またはＱファクタのそれぞれの範囲に対応する異なる離散モードの間で動作可能であり得る。バックエンド１５０は、１つまたは複数の光共振器バックエンドプロセッサ１５２を含み得る。光共振器バックエンドプロセッサ１５２は、デジタル信号処理（ＤＳＰ）、デジタル走査変換（ＤＳＣ）、包絡線検波などを含む、１つまたは複数の技法を実施することを伴い得る。

【0045】

[0057]高Ｑ光共振器サブアレイ１１５によって収集された信号は、１つまたは複数の高感度画像１８４を生成し得、ここで、より反射率が低い特徴または深い深度からのより弱い信号は、より良好に視覚化され得、高反射率を有する特徴または浅い深度からの強い信号は、飽和され得る。一方、低Ｑ光共振器サブアレイは、より小さいおよびより低い反射特徴または深い深度からのより弱い信号を逃し得る１つまたは複数の高ダイナミックレンジ画像１８５を生成する。１つまたは複数の高感度画像１８４および１つまたは複数の高ダイナミックレンジ画像１８５は、高Ｑおよび低Ｑ光共振器サブアレイの各々の信号の利点を含む複合画像を生成するために、光共振器バックエンドプロセッサ１５２において使用され得る。

【0046】

[0058]図３に示されているように、いくつかの変形形態では、高Ｑ光共振器サブアレイ１１５および低Ｑ光共振器サブアレイ１１６は、光共振器受信ビームフォーマ１４７および光共振器バックエンドプロセッサ１５２を共有し得る。代替的に、いくつかの変形形態では、高Ｑ光共振器サブアレイ１１５および低Ｑ光共振器サブアレイ１１６は、異なるそれぞれの受信ビームフォーマおよび／または異なるそれぞれのバックエンドプロセッサを有し得る。例えば、高Ｑ光共振器サブアレイ１１５は、高Ｑ光共振器受信ビームフォーマ（図示せず）および高Ｑ光共振器バックエンドプロセス（図示せず）に動作可能に結合され得、低Ｑ光共振器サブアレイ１１６は、低Ｑ光共振器受信ビームフォーマ（図示せず）および低Ｑ光共振器バックエンドプロセス（図示せず）に動作可能に結合され得る。

【0047】

[0059]いくつかの変形形態では、フロントエンド１４０は、非光学受信機および非光学受信ビームフォーマ（例えば、図２に関して図示および説明された非光学受信機１４３および非光学受信ビームフォーマ１４６）をさらに含み得る。その結果、バックエンド１５０も、図２に関して図示および説明された非光学画像１８２を作り出す非光学バックエンドプロセッサ１５１など、非光学バックエンドプロセッサを含み得る。したがって、画像複合システム１０３は、高感度画像１８４および高ダイナミックレンジ画像１８５に基づいて、および任意選択的に非光学画像１８２にさらに基づいて、複合画像を形成するように構成され得る。

【0048】

[0060]図４は、混合アレイ１１０が、異なるＱファクタ値を有する２つ以上のモードで動作可能である同調可能光共振器サブアレイ１１７を含むことを除いて、図３に関して図示され、上記で説明された画像複合システム１０３と同様である、混合アレイ１１０を有する例示的な画像複合システム１０４のブロック図を示す。異なるモードの同調は、例えば、混合アレイ１１０の周囲温度を選択的に変更すること、および／または光波長を変更することによって達成され得る。そのような同調可能光共振器サブアレイ１１７は、高感度画像と高ダイナミックレンジ画像の両方を収集するために使用され得る。例えば、いくつかの変形形態では、同調可能光共振器サブアレイ１１７内の少なくとも１つの光共振器が、送信シーケンスの異なるセットに応答して複数の時間に信号を受信し得、ここで、少なくとも１つの光共振器は、ある時間に高Ｑモードで動作し、異なる時間に低Ｑモードで動作する。言い換えれば、いくつかの変形形態では、同調可能光共振器サブアレイ１１７の少なくとも一部分は、第１の時間間隔および第１の時間間隔と重複しない第２の時間間隔において動作され得、ここで、同調可能光共振器サブアレイ１１７の少なくとも一部分は、高感度画像１８４を生成するために第１の時間間隔において高Ｑ光共振器として動作され、高ダイナミックレンジ画像１８５を生成するために第２の時間間隔において低Ｑ光共振器として動作され得る。いくつかの変形形態では、少なくとも１つの同調可能光共振器は、低Ｑモードで動作する前に高Ｑモードで動作し得る。追加または代替として、少なくとも１つの同調可能光共振器は、高Ｑモードで動作する前に低Ｑモードで動作し得る。高Ｑ光共振器受信機１４８と低Ｑ光共振器受信機の両方から信号を収集するために、複数回ターゲットに音波を照射するように、送信シーケンスの少なくとも２つのセットが実施され得る。

【0049】

[0061]追加または代替として、いくつかの変形形態では、同調可能光共振器サブアレイ１１７の少なくとも第１の部分（例えば、第１のセット）は、高Ｑモードで動作するように一貫して指定され得、同調可能光共振器サブアレイ１１７の少なくとも第２の部分（例えば、第２のセット）は、低Ｑモードで動作するように一貫して指定され得る。同調可能光共振器の第１の部分からの信号は、高Ｑ光共振器受信機１４８によって受信され得、同調可能光共振器の第２の部分からの信号は、低Ｑ光共振器受信機１４９によって受信され得る。同調可能光共振器サブアレイが、高Ｑモードで動作するように同調されたいくつかの光共振器と、低Ｑモードで動作するように同調されたいくつかの光共振器とを同時に含むいくつかの変形形態では、混合アレイ１１０は、図３に関して図示され、上記で説明された混合アレイ１１０と機能的に同様であり得る。図３に関して上記で説明されたものと同様に、別個の光共振器受信機（高Ｑ光共振器受信機１４８および低Ｑ光共振器受信機１４９）が、それぞれ、高Ｑ信号および低Ｑ信号を受信するものとして図４に示されているが、いくつかの変形形態では、受信機１４８および１４９は、広範囲のＱファクタ信号を受信し得る１つまたは複数の受信機によって置き換えられ得ることを理解されたい。例えば、単一の受信機が、（例えば、１つまたは複数の「低Ｑ」モードで）低Ｑ信号を受信するように動的に同調されるか、またはさもなければ構成され、（例えば、１つまたは複数の「高Ｑ」モードで）高Ｑ信号を受信するように同調されるか、またはさもなければ構成され得る。単一の受信機は、Ｑファクタのスペクトルにわたって動的に構成され得るか、またはＱファクタのそれぞれの範囲に対応する異なる離散モードの間で動作可能であり得る。

【0050】

[0062]図４に示されているように、混合アレイ１１０は、非光学サブアレイ１１３および同調可能光共振器サブアレイを含み得る。フロントエンド１４０は、送信ビームフォーマ１４５と、送信機１４２と、高Ｑ光共振器受信機１４８と、低Ｑ光共振器受信機１４９と、光共振器受信ビームフォーマ１４７とを含み得る。混合アレイ１１０内の非光学サブアレイ１１３は、音響信号のセットを送信し得、同調可能光共振器サブアレイは、音響信号に応答して音響エコーのセットを受信し得る。同調可能光共振器サブアレイ１１７は、第１の信号および第２の信号を生成するように構成された光検出器に動作可能に結合され得、ここで、第１の信号は、高Ｑモードで動作する同調可能光共振器サブアレイ１１７の少なくとも一部分からの読出しを含み、第２の信号は、低Ｑモードで動作する同調可能光共振器サブアレイ１１７の少なくとも一部分からの読出しを含む。高Ｑ光共振器受信機１４８および低Ｑ光共振器受信機１４９は、それぞれ、第１の信号および第２の信号を受信し得る。バックエンド１５０は、光共振器バックエンドプロセッサ１５２を含み得る。光共振器バックエンドプロセッサ１５２は、高感度画像１８４および高ダイナミックレンジ画像１８５を生成するために、第１の信号および第２の信号に対して、デジタル信号処理（ＤＳＰ）、デジタル走査変換（ＤＳＣ）、包絡線検波などを含む動作を実施し得る。バックエンド１５０は、同調可能光共振器サブアレイ１１７の高Ｑモードおよび低Ｑモードの各々の信号の利点を含む複合画像を生成するために、高感度画像１８４と高ダイナミックレンジ画像１８５とを合成するようにさらに構成され得る。

【0051】

[0063]いくつかの変形形態では、複数の送信シーケンスは、複数回ターゲットに音波を照射するために、送信ビームフォーマ設定１８１、送信ビームフォーマ１４５、送信機１４２、および非光学サブアレイ１１３を使用して送信される。例えば、非光学サブアレイ１１３は、第１の送信シーケンスおよび第２の送信シーケンスを送信し得る。応答して、同調可能光共振器サブアレイ１１７は、第１の送信シーケンスに応答して第１の信号を収集し、第２の送信シーケンスに応答して第２の信号を収集し得る。次いで、バックエンドは、第１の信号から第１の画像を作り出し、第２の信号から第２の画像を作り出し得る。

【0052】

[0064]図５は、広帯域幅を有するサブアレイと高感度を有するサブアレイの両方において光共振器を含む混合アレイ１１０を有する例示的な画像複合システム１０５のブロック図を示す。例えば、混合アレイは、非光学サブアレイ１１３と、広帯域幅光共振器サブアレイ１１８と、超高感度光共振器サブアレイ１１９とを含み得る。広帯域幅光共振器サブアレイ１１８は、（例えば、参照により上記に組み込まれた、国際特許出願第ＰＣＴ／ＵＳ２０２１／０３９５５１号に記載されているように）組織および／または造影剤からの超高調波および低調波などの送信された音響波のベースバンド外の信号をキャプチャし得る。超高感度光共振器サブアレイ１１９は、ベースバンド内外のより深い領域からの信号をキャプチャし得る。

【0053】

[0065]非光学サブアレイ１１３は送信機１４２に動作可能に結合され得、送信機１４２は、送信ビームフォーマ設定１８１を受信する送信ビームフォーマ１４５に動作可能に結合される。非光学サブアレイ１１３は、ターゲットに向かって音響信号を送信し、音響信号に応答して音響エコーを受信する。非光学サブアレイ１１３は、非光学サブアレイ１１３において受信された音響エコーに応答して第１の信号を生成するために、フロントエンド１４０内の非光学受信機１４３および非光学受信ビームフォーマ１４６に動作可能にさらに結合され得る。非光学バックエンドプロセッサ１５１は、従来の空間分解能および撮像深度でターゲットを視覚化する第１の画像（非光学画像１８２）を生成するために第１の信号を分析し得る。広帯域幅光共振器サブアレイ１１８および超高感度光共振器サブアレイ１１９は、光共振器受信機１４４および光共振器受信ビームフォーマ１４７に動作可能に結合され得る。光共振器バックエンドプロセッサ１５２は、２つの光共振器サブアレイ１１８および１１９からの信号を処理して、１つまたは複数の画像（例えば、基本周波数画像、超高調波画像、低調波画像など）および１つまたは複数の高感度画像を作り出すために使用され得る。例えば、広帯域幅光共振器サブアレイ１１８から生じた第２の信号が、第２の画像（高調波画像１８６）を生成するために使用され得、および／または、超高感度光共振器サブアレイ１１９から生じた第３の信号が、第３の画像（高感度画像１８４）を生成するために使用され得る。したがって、画像複合システム１０５は、空間分解能および撮像深度の向上を同時に達成し得る。

【0054】

[0066]それぞれ、非光学サブアレイ１１３、広帯域幅光共振器サブアレイ１１８、および超高感度光共振器サブアレイ１１９からの第１の信号、第２の信号、および／または第３の信号を使用して、第１の画像、第２の画像、および／または第３の画像が別々に生成された後に、画像複合アルゴリズムが、以下でさらに説明されるように、第１の画像、第２の画像、および／または第３の画像を合成し、複合画像を作り出すために使用され得る。

【0055】

[0067]画像複合を実施する方法
以下で説明される図６～図１０は、上記で説明された混合アレイから受信された画像に基づいて画像複合を実施する例示的な方法の態様を示す。方法は主に光共振器センサを参照して説明されるが、それらは、他の種類の光学センサ（例えば、光干渉計）からの信号を使用して同様に実施され得ることを理解されたい。画像複合を実施する方法は、例えば、図１～図５に関して図示および説明されたバックエンド１５０の一部であり、および／または画像複合システム（図１に関して図示および説明された画像複合システム１００など）に動作可能に結合された、画像複合コンピューティングデバイスによって実行され得る。画像複合コンピューティングデバイスは、プロセッサ、メモリ、および通信インターフェースなど、電子回路のセットを含み得る。プロセッサは、例えば、ハードウェアベース集積回路（ＩＣ）または命令／コードのセットを動作させるかまたは実行するための任意の他の好適なデバイスを含み得る。例えば、プロセッサは、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、加速処理ユニット（ＡＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）チップ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号処理（ＤＳＰ）チップなどを含み得る。メモリは、例えば、プロセッサに、１つまたは複数のプロセスまたは機能（例えば、信号のフィルタリング、信号の増幅、位相整合、ノイズ低減、開口の選択など）を実施させるための命令を含むコードを記憶し得る。メモリは、例えば、メモリバッファ、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュドライブ、セキュアデジタル（ＳＤ）メモリカードなどであり得る／それらを含み得る。通信インターフェースは、ユニバーサル・シリアル・バス（ＵＳＢ）インターフェース、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）インターフェース、あるいは、プロセッサおよび／またはメモリに動作可能に結合され、画像複合コンピューティングデバイスと画像複合システムの構成要素ならびに／またはいくつかの変形形態では外部デバイスおよび／もしくはデバイスのネットワーク（例えば、インターネット）との通信を可能にし得るハードウェア構成要素であり得る／それらを含み得る。

【0056】

[0068]画像複合コンピューティングデバイスは、メモリに記憶され、プロセッサによって実行されるソフトウェアとしてのアプリケーションを含み得る。例えば、アプリケーションは、プロセッサに、開口の選択、信号の分析、画像の生成などを行わせるためのコードを含み得る。代替的に、アプリケーションは、ハードウェアベースデバイス上に実装され得る。例えば、アプリケーションは、画像複合コンピューティングデバイスに信号をフィルタリングさせ、信号を増幅させ、および／または信号を遅延させ得るデジタル回路またはアナログ回路を含み得る。

【0057】

[0069]図６は、混合アレイによって収集された画像に対して画像複合を実施する例示的な方法６００のフローチャートである。いくつかの実装形態では、本方法は、図２に関して図示および説明されたように複合撮像システム１０２（例えば、バックエンド１５０）を用いて実施され得る。方法６００は、（例えば、収集を始めるようにとの指示を受信すると）画像収集を開始すること（６０１）を含み得る。方法６００は、非光学信号を送信すること（６０２）と、その後に非光学信号を受信すること（６０３）と、光共振器信号（または他の光学センサ信号）を受信すること（６０４）とをさらに含み得る。本方法は、すべての非光学アレイ要素から音響信号を送信することが望まれるすべての送信ステップと、混合アレイ１１０のすべての非光学アレイ要素および光学アレイ要素から音響エコーを受信するすべての受信ステップとが実行されるまで、６０２、６０３、および／または６０４を反復し得る。少なくとも１つの所望の複合画像についてすべての所望の送信および受信が実施されると（６０５）、方法６００は、複合撮像システム１０２のフロントエンド１４０およびバックエンド１５０を使用して、非光学画像を生成または形成すること（６０６）と、光共振器画像を生成または形成すること（６０７）とをさらに含み得る。次いで、バックエンド１５０は、非光学画像および光共振器画像に画像領域フィルタを適用し得る（６０８、６０９）。画像領域フィルタは、画像の各タイプの画像特性に従って具体的に設計され得る。方法６００は、非光学画像と光共振器画像とを（例えば、以下で説明されるものなど、複合アルゴリズムを使用して）合成すること（６１０）と、複合画像を作り出すこと（６１１）とを含み得る。一般に、いくつかの変形形態では、複合画像は、例えば、非光学画像のどの特徴および光共振器画像のどの特徴が各複合画像に含まれ得るかを示す複合係数と共に、動的に決定された重みマスクを利用して形成され得る。

【0058】

[0070]追加または代替として、いくつかの変形形態では、複合画像は、後の画像複合プロセス中に使用するために予め決定され、記憶され得る静的重みマスクを利用して形成され得る。例えば、画像複合方法が画像のコンテンツに依存しない（方法７００など）か、または静的である場合、重みマスクは、予め計算され、画像複合システムのメモリに記憶され得る。予め計算された重みマスクに基づいて画像複合方法を実行することは、画像複合システムのプロセッサによって、より速く、より効率的に処理され得る。図７は、混合アレイによって収集された画像に対して画像複合を実施する例示的な方法７００のフローチャートであり、ここで、画像複合は、複合係数と共に、予め計算された重みマスクを利用する。

【0059】

[0071]方法７００は、図６に関して図示および説明されたように、ステップ６０１～６０７を含み得る。しかしながら、方法７００は、予め計算された重みマスクを取り出すこと（７０８）をさらに含み得る。次いで、方法７００は、合成画像を生成するために、非光学画像および光共振器画像の加重平均を実施し得る（７０９）。加重平均は、算術平均化、幾何平均化、深度依存重み付け、領域ベース重み付けなどを含み得る。方法７００は、合成画像をフィルタリングすること（７１０）と、複合画像を作り出すこと（７１１）とをさらに含み得る。

【0060】

[0072]図８は、混合アレイによって収集された画像に対して画像複合を実施する例示的な方法８００のフローチャートである。いくつかの実装形態では、方法８００は、図３に関して図示および説明されたように複合撮像システム１０３を用いて実施され得る。方法８００は、（例えば、収集を始めるようにとの指示を受信すると）画像収集を開始すること（８０１）を含み得る。方法８００は、非光学信号を送信すること（８０２）と、その後に高品質係数（高Ｑ）光共振器および／または低品質係数（低Ｑ）光共振器信号を受信すること（８０３）とをさらに含み得る。方法８００は、すべての非光学アレイ要素から音響信号を送信することが望まれるすべての送信ステップと、すべての高Ｑ光共振器アレイ要素および低Ｑ光共振器アレイ要素から音響エコーを受信するすべての受信ステップとが実行されるまで、８０２および８０３を反復し得る。少なくとも１つの所望の複合画像についてすべての所望の送信および受信が実施されると（８０４）、方法８００は、複合撮像システム１０３のフロントエンド１４０およびバックエンド１５０を使用して、（高感度画像とも呼ばれる）高Ｑ光共振器画像を生成または形成すること（８０５）と、（高ダイナミックレンジ画像とも呼ばれる）低Ｑ光共振器画像を生成または形成すること（８０６）とをさらに含み得る。次いで、バックエンド１５０は、高Ｑ光共振器画像をフィルタリングし（８０７）、低Ｑ光共振器画像をフィルタリングし得る（８０８）。方法８００は、（例えば、複合アルゴリズムを使用して）高Ｑ光共振器画像と低Ｑ光共振器画像とを合成すること（８０９）と、複合画像を作り出すこと（８１０）とを含み得る。方法７００と同様に、いくつかの変形形態（例えば、方法８００が画像のコンテンツに依存しないか、または静的である場合）では、重みマスクは、より速い処理のために、予め計算され、画像複合システム１０３のメモリに記憶され得る。

【0061】

[0073]図９は、混合アレイによって収集された画像に対して画像複合を実施する例示的な方法のフローチャートである。いくつかの実装形態では、方法９００は、図４に関して図示および説明されたように複合撮像システム１０４を用いて実施され得る。方法９００は、（例えば、収集を始めるようにとの指示を受信すると）画像収集を開始すること（９０１）を含み得る。方法９００は、非光学信号を送信すること（９０２）と、その後に高Ｑモードで動作する少なくとも１つの同調可能光共振器信号から光共振器信号を受信すること（９０３）とをさらに含み得る。場合によっては、光共振器は、共振の品質係数が高い共振周波数に一致するように（光源の）光波長を選定することによって、高Ｑ設定で動作され得る。方法９００は、非光学信号を送信すること（９０４）と、その後に低Ｑモードで動作する少なくとも１つの同調可能光共振器信号から光共振器信号を受信すること（９０５）とをさらに含み得る。図９フローチャートは、低Ｑモードで光共振器から信号を受信する前に高Ｑモードで光共振器から信号を受信することを示しているが、代替的に、低Ｑモードでの光共振器からの信号は、高Ｑモードでの光共振器からの信号を受信する前に受信され得ることを理解されたい。方法９００は、すべての非光学アレイ要素から音響信号を送信することが望まれるすべての送信ステップと、低Ｑ設定および高Ｑ設定ですべてのＱ光共振器アレイ要素において音響エコーを受信するすべての受信ステップとが実行されるまで、９０２～９０５を反復し得る。少なくとも１つの所望の複合画像についてすべての所望の送信および受信が実施されると（９０６）、方法９００は、複合撮像システム１０４のフロントエンド１４０およびバックエンド１５０を使用して、高Ｑ光共振器画像を生成または形成すること（９０７）と、低Ｑ光共振器画像を生成または形成すること（９０８）とをさらに含み得る。次いで、バックエンド１５０は、高Ｑ光共振器画像をフィルタリングし（９０９）、低Ｑ光共振器画像をフィルタリングし得る（９１０）。方法９００は、（例えば、複合アルゴリズムを使用して）高Ｑ光共振器画像と低Ｑ光共振器画像とを合成して（９１１）、複合画像を作り出すこと（９１２）を含み得る。方法７００および８００と同様に、いくつかの変形形態（例えば、方法９００が静的である場合）では、重みマスクは、より速い処理のために、予め計算され、画像複合システム１０４のメモリに記憶され得る。

【0062】

[0074]図１０は、混合アレイによって収集された画像に対して画像複合を実施する例示的な方法のフローチャートである。いくつかの実装形態では、方法１０００は、図５に関して図示および説明されたように複合撮像システム１０５を用いて実施され得る。方法１０００は、（例えば、収集を始めるようにとの指示を受信すると）画像収集を開始すること（１００１）を含み得る。方法１０００は、非光学信号を送信すること（１００２）と、その後に非光学信号を受信すること（１００３）と、（例えば、広帯域幅光共振器サブアレイおよび／または超高感度光共振器サブアレイから）光共振器信号を受信すること（１００４）とをさらに含み得る。方法１０００は、すべての非光学アレイ要素から音響信号を送信することが望まれるすべての送信ステップと、すべての非光学アレイ要素および光共振器アレイ要素において音響エコーを受信するすべての受信ステップとが実行されるまで、１００２～１００４を反復し得る。少なくとも１つの所望の複合画像についてのすべての所望の送信および受信ステップが実施されると（１００５）、方法１０００は、複合撮像システム１０５のフロントエンド１４０およびバックエンド１５０を使用して、非光学画像を生成または形成すること（１００６）と、高調波光共振器画像を生成または形成すること（１００７）と、高感度光共振器画像を生成または形成すること（１００８）とをさらに含み得る。次いで、バックエンド１５０は、非光学画像をフィルタリングし（１００９）、高調波光共振器画像をフィルタリングし（１０１０）、高感度光共振器画像をフィルタリングし得る（１０１１）。高調波光共振器画像（すなわち、低Ｑ光共振器画像）のフィルタリングは、低調波および／または超高調波帯域内の成分を抽出するためにバンドパスフィルタのセットおよび／または一次元信号フィルタのセットを実行することを含み得る。その後、これらのフィルタリングされた信号は、選択された帯域の各々において高調波画像を形成するために使用される。方法１０００は、（例えば、複合アルゴリズムを使用して）非光学画像と高調波光共振器画像と高感度光共振器画像とを合成して（１０１２）、複合画像を作り出すこと（１０１３）を含み得る。

【0063】

[0075]上記で説明されたように、高調波光共振器画像を形成する際に、光共振器信号は、１つまたは複数のフィルタを含むフィルタバンクを用いて処理され得る。図１１Ａ～図１１Ｅは、混合アレイによって生成された例示的な信号およびそれらの信号の高調波フィルタリングを示す。図１１Ａに示されているように、第１の信号１１０１は広帯域光共振器によって受信される。例えばフーリエ変換などの変換を実行することによって、第１の信号１１０１は、時間領域から周波数領域１１１１に変換され得る。図１１Ｂにおいて実線によって示されているように、第１の信号は、主に、約８７％（または５．２２ＭＨｚ）の帯域幅を有する６ＭＨｚ付近のベースバンド成分を含む。しかしながら、第１の信号のスペクトルは、第１の信号において－２５ｄＢの第２の高調波成分と－３５ｄＢの第３の高調波成分とが存在することを明らかにする。第１の信号はまた、－３５ｄＢの加法性１／ｆピンクノイズを有する。

【0064】

[0076]図１１Ｃ～図１１Ｅは、好適なフィルタを用いた高調波成分の抽出を示す。例えば、図１１Ｄに示されているように、１０１タップ有限インパルス応答（ＦＩＲ）第２高調波バンドパスフィルタが、フィルタリングされた第２の高調波信号１１０２を抽出するために第１の信号１１０１に適用され得る。さらに、第３高調波バンドパスフィルタ（右下のパネル内の一点鎖線）が、フィルタリングされた第３の高調波信号１１０３を抽出するために第１の信号１１０１に適用され得る。場合によっては、時間信号（時間領域内の信号）が正規化され得、第２および第３の高調波信号はベースバンド信号よりもはるかに弱いことがある。これは、組織生成超高調波信号が、通常、ベースバンド信号よりも（例えば、数桁）低いためである。さらに、より高い周波数の信号は、生体組織内でより大きい喪失を被る。本明細書で説明される光共振器などの広帯域幅センサ、ならびに光共振器によって生成された信号に基づく複合撮像のための方法および装置がなければ、高調波撮像は達成することが極めて困難であり得る。

【0065】

[0077]複合アルゴリズム
本明細書では、非光学アレイ要素および／または光共振器アレイ要素からの信号に基づいて複数の画像を合成するための例示的な複合アルゴリズムが説明される。場合によっては、出力として計算された単一のｍ－Ｄ画像を生成するために、ｍ次元（ｍ－Ｄ）のｎ個の画像が（画像複合によって）合成される（ｎおよびｍは整数である）。ｍが２であるとき、ｍ－Ｄ画像は「画像」と呼ばれ、ｍが３であるとき、それらは「ボリューム」と呼ばれることがある。説明される複合アルゴリズムは、画像とボリュームの両方に適用され得る。一般に、いくつかの変形形態では、複合アルゴリズムは、各別個の画像（例えば、非光学画像、光共振器画像）の各特徴（例えば、ピクセル強度）のうちのどれまたはどれだけが各複合画像に寄与し得るかを特徴付ける複合係数（例えば、ファクタ）を作り出し得る。複合係数は、複合画像への寄与のための所望の特徴を抽出するために画像に適用され得る重み付けマスクに記述され得る。

【0066】

[0078]いくつかの変形形態では、複合アルゴリズムは、算術平均化であるかまたはそれを含み得る。混合アレイから受信された信号に基づく複合撮像のための算術平均化の背後にある概念は、ピクセル値の直接的なピクセルごとの算術平均化を用いて、ｎ個の入力画像を合成して１つの出力画像にすることである。

【数1】

ここで、ｘはピクセルのｍ－Ｄ座標である。ｎ個の入力画像は、非光学アレイ要素および／または光共振器を含み得る。場合によっては、複合画像は、固定ダイナミックレンジ表示デバイス上に表示されるかまたは所定のダイナミックレンジを有するデータベースに記憶される前に、１つまたは複数のスケーリング動作を受け得る。

【0067】

[0079]いくつかの変形形態では、複合アルゴリズムは、幾何平均化であるかまたはそれを含み得る。上記で説明された算術平均化法と同様に、幾何平均化法も、以下によって実施されるピクセル単位の（ピクセルごとの）方法である。

【数2】

【0068】

[0080]いくつかの変形形態では、複合アルゴリズムは、変換領域複合であるかまたはそれを含み得る。これは、入力画像を１対１の順方向および逆方向変換をサポートする変換領域に変換することに依存する複合方法のクラスである。１対１変換は、例えば、フーリエ変換、離散ウェーブレット変換（ＤＷＴ）、離散コサイン変換（ＤＣＴ）、波原子変換などを含み得る。変換後、ヒューリスティックベースのルールまたは学習されたルールのセットが、変換領域内の複合係数を取得するために適用され得る。次いで、複合係数を画像領域に変換するために逆変換が実施され得る。このプロセスの一例が図１２に示されている。入力画像１２０２（非光学画像および／または光共振器画像）は、変換１２０４を受けることがあり、係数１２０６が生成され得る。係数複合ルール１２０８がこれらの係数に適用されて、変換領域において複合係数１２１０を生成し得る。次いで、複合係数は、複合画像１２１４を生成する際に使用するために、複合係数を画像領域に変換するために逆変換され得る（１２１２）。

【0069】

[0081]いくつかの変形形態では、変換領域複合は、ＤＷＴなどの画像のマルチスケール分析に好適である変換を使用し得る。ＤＷＴのコンテキスト下で、係数複合ルールの例示的な例は、以下を含む。
・複数のスケールの中で最小のスケールの場合、すべての画像の係数の中で最小の係数をとる（例えば、非光学画像、高Ｑ光学画像、低Ｑ光学画像など）。このルールは、最小スケールが主にノイズを含み、したがって最小化されるべきであると仮定する。
・複数のスケールの中で最大のスケールの場合、すべての入力画像についての係数の平均をとる。このルールは、最大スケールが物体の一般的な形状を表し、入力画像の中で一貫しているべきであると仮定する。
・複数のスケールの中の（最小スケールおよび最大スケール以外の）すべての他のスケールの場合、すべての入力画像の中で係数の最大値をとる。このルールは、すべての他のスケールがターゲットのいくつかの詳細を表し、異なる入力画像が１つまたは複数の側面を表すのに最良であり得ると仮定する。最大値をとることによって、すべての詳細を保存され得る。

【0070】

[0082]しかしながら、ＤＷＴ方法が、図１０に関して図示および説明されたように方法１０００に適用されている場合、超高調波画像のより小さいスケールの係数および非光学画像のより大きいスケールの係数に、より大きい重みが割り当てられ得る。

【0071】

[0083]追加または代替として、係数複合ルール（例えば、好適な機械学習アルゴリズムなどを介して学習され得るルール）のセットが、（例えば、ルックアップテーブルとして、超音波周波数の関数としてなど）異なる超音波周波数について予め定義され得る。例えば、第１の複合係数（または複合係数の第１の範囲）は、高い超音波周波数（または高い超音波周波数の範囲）を使用して生成された画像に関連付けられ得、第２の複合係数（または複合係数の第２の範囲）は、低い超音波周波数（または低い超音波周波数の範囲）を使用して生成された画像に関連付けられ得る。一般に、いくつかの変形形態では、より高い超音波周波数は遠距離撮像においてより多く減衰するので、高い超音波周波数を使用して生成された画像が複合画像を作り出す際により小さい重みが与えられるように、撮像深度が増すにつれて複合係数が低くなり得る。

【0072】

[0084]いくつかの変形形態では、複合アルゴリズムは、図１３に示されているように、画質係数（ＩＱＦ）ベース複合であるかまたはそれを含み得る。画質係数（ＩＱＦ）は、画質の定量的尺度として定義され得、少なくとも部分的に画像のための画質係数マップによって表現されるかまたはさもなければ特徴付けられ得る。様々な目的および適用例のために開発された様々なＩＱＦがある。例えば、信号対雑音比（ＳＮＲ）、エントロピ、詳細分解能、コントラスト分解能、および侵入深さの各々および／または任意の組合せが、ＩＱＦとして使用され得る。異なるＩＱＦは、超音波画像の異なる側面を向上させる。場合によっては、入力画像１３０２から１つまたは複数のＩＱＦ１３０４が抽出され得る。次いで、ＩＱＦ１３０４は、複合係数１３０６に変換される。複合画像Ｉ_ｆ（ｘ）１３０８は、入力画像Ｉ_ｊ（ｘ）の加重和によって計算され得る。

【数3】

ここで、ｘは２Ｄまたは３Ｄ座標を表し、Ｗ_ｊ［ｘ］はｊ番目の入力画像のための重み付け係数マップである。入力画像は、図１～図５に関して図示および説明されたように、複合撮像システムに応じて光共振器画像および／または非光学画像であり得る。

【0073】

[0085]いくつかの変形形態では、複合アルゴリズムは、ローカルエントロピ重み付け複合であるかまたはそれを含み得る。ローカルエントロピ重み付け複合は、近傍中の情報コンテンツに基づいて各入力画像の各ピクセルに重みを割り当てることによって入力画像を合成する。これは、各入力画像の各ピクセルを取り囲む領域のエントロピを計算することによって行われ得る。ｊ番目の画像内の座標ｘにおけるピクセルのローカルエントロピは、以下によって計算され得る。

【数4】

ここで、ｐ_ｘ，ｊは、ｊ番目の画像内の座標ｘにおけるピクセルの近傍のヒストグラムである。この特定のピクセルについて、正規化されていない重みが以下のように割り当てられ得る。

【数5】

【0074】

[0086]この特定の例の代わりに、Ｈ_ｘ，ｊを非負値に変換する多くの関数が使用され得る。複合画像は以下のように表され得る。

【数6】

【0075】

[0087]いくつかの変形形態では、複合アルゴリズムは、高速画像コンテンツ重み付け複合であるかまたはそれを含み得る。ローカルエントロピベース重み付けの近似として、より速い線形フィルタリングベースアルゴリズムも使用され得る。計算コストが高くなり得る入力画像のローカルエントロピを計算する代わりに、Ｗ_ｊ［ｘ］は、ガウス差分（ＤｏＧ）フィルタをｊ番目の画像に適用することによって計算される。複合画像を生成するために、ローカルエントロピ重み付け複合と同じ式が使用され得る。

【0076】

[0088]いくつかの変形形態では、複合アルゴリズムは、深度依存重み付け複合であるかまたはそれを含み得る。入力画像が、深度依存である明確に定義された特性を有する場合、所定の深度依存重み付けが有用であり得る。いくつかの入力画像はより浅い領域においてより良好な品質を有することができ、他の画像はより深い領域においてより良好な品質を有することができるので、深度依存重み付け複合は、光共振器サブアレイが（例えば、図３および図４に示されているように）超高感度光共振器を含むかまたは超高感度光共振器として動作されるとき、特に役立ち得る。限定はしないが線形関数およびガンマ関数を含む、多くの深度重み付け関数が使用され得る。

【0077】

[0089]いくつかの変形形態では、複合アルゴリズムは、飽和マスキングであるかまたはそれを含み得る。いくつかの入力画像が、過剰な信号振幅により、信号飽和（例えば、高Ｑ光共振器によって作り出された画像）または他のタイプの非線形性になりやすいとき、飽和マスキングステップが、これらの入力画像に、それらが複合方法を経る前に導入され得る。信号飽和は、ビームフォーミングされた画像の移動平均を所定の閾値と比較することによって検出され得る。飽和が検出されたとき、検査対象の入力画像の飽和されたピクセルは、複合画像へのその寄与が小さくなり、飽和されない他の１つまたは複数の入力画像が支配的になるように、０または０に近い重みを割り当てられ得る。

【0078】

[0090]混合アレイのための画像複合方法およびシステムは、超音波撮像のコンテキストで説明されているが、いくつかの変形形態では、画像複合方法およびシステムは、超音波撮像以外の適用例において使用され得る。例えば、場合によっては、画像複合方法およびシステムは、コンピュータ断層撮影、磁気共鳴撮像、計測学、信号処理、粒子物理学、遠隔検知、航空宇宙の適用例などにおいて使用され得る。本明細書で開示される画像複合方法はまた、異なる撮像モダリティを用いて生成された画像を合成して融合画像を形成するために適用され得る。例えば、より多くの診断情報を示すために、患者の同じ領域の超音波画像、ＣＴ画像、およびＭＲＩ画像が融合され得る。

【0079】

[0091]上記で説明されたいくつかの変形形態では、同調可能光共振器は、低品質係数（低Ｑ）動作モードまたは高品質係数（高Ｑ）動作モードにおいて動作するものとして説明されているが、一般に、同調可能光共振器は、複数の動作モード（例えば、３つの動作モード、１０個の動作モード、１００個の動作モード）で動作され得る。例えば、同調可能光共振器は、高線形範囲を有する第１の画像を生成するための低Ｑ動作モード、高感度を有する第２の画像を生成するための高Ｑ動作モード、および感度と線形範囲とのバランスを有する第３の画像を生成するための中品質係数動作モードにおいて動作され得る。画像複合システム１００のバックエンドは、第１の画像、第２の画像、または第３の画像の各々と比較してより良好である（例えば、解像度、深度、コントラスト、品質係数など）複合画像を生成するために、第１の画像と第２の画像と第３の画像とを合成するように構成され得る。

【0080】

[0092]上記の説明は、説明の目的で、本発明の完全な理解を提供するために具体的な用語を使用した。しかしながら、本発明を実践するために具体的な詳細は必要とされないことが、当業者に明らかになろう。したがって、本発明の特定の実施形態の上記の説明は、例示および説明の目的で提示される。それらは、網羅的であること、または、本発明を開示される正確な形態に限定することを意図するものではなく、明らかに、上記の教示を考慮すると、多くの変更および変形が可能である。実施形態は、本発明の原理およびその実際的適用例を説明するために選定および説明され、それにより、それらは、他の当業者が、企図される特定の用途に適するように様々な変更を伴って、本発明および様々な実施形態を利用することを可能にする。以下の特許請求の範囲およびそれらの均等物が本発明の範囲を定義することが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A-B】

【図11C-E】

【図12】

【図13】

【国際調査報告】