IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エグゾ イメージング、インコーポレイテッドの特許一覧

特表2024-510429インターレースデータの取得及び再構成アルゴリズムに基づく超音波撮像プローブの電力消費量を削減するための処理回路、システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-07
(54)【発明の名称】インターレースデータの取得及び再構成アルゴリズムに基づく超音波撮像プローブの電力消費量を削減するための処理回路、システム及び方法
(51)【国際特許分類】
   A61B 8/14 20060101AFI20240229BHJP
【FI】
A61B8/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023554034
(86)(22)【出願日】2022-03-18
(85)【翻訳文提出日】2023-10-25
(86)【国際出願番号】 US2022020945
(87)【国際公開番号】W WO2022198045
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】63/163,702
(32)【優先日】2021-03-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523337351
【氏名又は名称】エグゾ イメージング、インコーポレイテッド
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】ヤン、ヨンギイ
(72)【発明者】
【氏名】ワーニック、マイルス エヌ.
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601BB23
4C601EE13
4C601EE14
4C601EE15
4C601GB06
4C601GB18
4C601GB41
4C601GD04
4C601HH26
4C601HH27
4C601HH28
4C601JC01
4C601JC16
4C601JC17
4C601JC21
(57)【要約】
超音波撮像デバイスでは、動画データを収集するときのデバイスの送信発射によって消費される電力量を削減するために、インターレースデータ取得方式が採用されている。本開示に従って電力消費量を削減することにより、電池のサイズ、重量、及びコストが削減される;発熱が低減する;プローブ内の放熱材料の必要性が減少する;プローブの稼働時間が延長される。再構成アルゴリズムを使用して、従来の(非インターレース)画像取得によって取得される動画と品質的に匹敵する画像をインターレースデータから生成する。
【特許請求の範囲】
【請求項1】
超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行すること、前記再構成アルゴリズムは、ラウンドごとに、入力フレーム及び低電力部分フレームを処理して、そこから再構成フレームを生成することを含み、ここで、前記入力フレームは、前記超音波撮像デバイスのトランスデューサで受信された第1の超音波波形に基づいており、前記低電力部分フレームは、欠落した走査線を定義し、前記トランスデューサで受信され、前記トランスデューサに結合された受信チャネルのインターレース作動から生成された第2の超音波波形に基づいている;及び
各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つ、ここで、前記再構成アルゴリズムの初期化ラウンド後の前記入力フレームは、前記再構成アルゴリズムの前のラウンドの前の再構成フレームに対応している
を行うための1つ又は複数のプロセッサを備えるコンピューティングデバイスの装置。
【請求項2】
前記低電力部分フレームを処理することは、
前記欠落した走査線を補間された走査線で埋めて、フレーム内補間フレームを生成するために、前記低電力部分フレームに対してフレーム内補間を実行すること;及び
前記再構成フレームを生成するために、前記フレーム内補間フレームを処理することを含む、請求項1に記載のコンピューティングデバイスの装置。
【請求項3】
前記低電力部分フレームは、奇数走査線及び欠落した偶数走査線、又は偶数走査線及び欠落した奇数走査線のうちの1つを含み、前記低電力部分フレーム及び前記入力フレームを処理することは、
前記フレーム内補間フレーム及び前記前のラウンドの前記前の再構成フレームの間の動きベクトルを推定し動き補償フレームを生成するために、動き補償を実行すること、前記動き補償フレームは、前記低電力部分フレームが奇数走査線及び欠落した偶数走査線を含む場合には、偶数走査線及び欠落した奇数走査線を含み、前記低電力部分フレームが偶数走査線及び欠落した奇数走査線を含む場合には、奇数走査線及び欠落した偶数走査線を含む;及び
前記再構成フレームを生成するために、前記動き補償フレームを処理することを含む、請求項2に記載のコンピューティングデバイスの装置。
【請求項4】
動き補償を実行することは、ローカル適応ブロックマッチング又はグローバル適応ブロックマッチングのうちの少なくとも1つを実行することを含む、請求項3に記載のコンピューティングデバイスの装置。
【請求項5】
前記動き補償フレームを処理することは、
空間のみの推定再構成フレームを生成するために、前記フレーム内補間フレームを前記動き補償フレームとマージすること、マージすることは、前記フレーム内補間フレームの欠落した走査線を、前記動き補償フレームの対応する走査線で埋めることを含む;及び
前記再構成フレームを生成するために、前記空間のみの推定再構成フレームを処理することを含む、請求項4に記載のコンピューティングデバイスの装置。
【請求項6】
前記空間のみの推定再構成フレームを処理することは、前記空間のみの推定再構成フレームを、前記前の再構成フレームとブレンディングして、前記再構成フレームを生成することによって時間的平滑化を実行することを含む、請求項5に記載のコンピューティングデバイスの装置。
【請求項7】
前記動きベクトルは、前記前の再構成フレームのサブ領域g(x)及び前記フレーム内補間フレームのサブ領域g(x)の間の推定された動きベクトルvに対応し、v
【数16】
で与えられ、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bはブロック内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示す;及び
ブロックマッチングは、前記フレーム内補間フレームの全体がg(x)に対応する場合にのみ、水平検索を使用してグローバルブロックマッチングを実行することをさらに含む、請求項3から6のいずれか一項に記載のコンピューティングデバイスの装置。
【請求項8】
前記1つ又は複数のプロセッサは、vが閾値を超えているという判定に応答して、空間のみの推定再構成フレームに対応するように前記再構成フレームを設定する、請求項7に記載のコンピューティングデバイスの装置。
【請求項9】
前記1つ又は複数のプロセッサが、空間のみの推定再構成フレームを生成するために、前記フレーム内補間フレームを前記動き補償フレームとマージし、マージすることは、
前記低電力部分フレームの走査線のグループRを線形にS×Hブロックbの集合にセグメント化すること;及び
ブロックb及びグループRごとに、
ブロックbがコアである前記低電力部分フレームの領域に対応する、前記フレーム内補間フレーム内の画素値の一時的なマクロブロックアレイmbを定義すること;及び
最良の一致を見つけるために、mb及び前記前の再構成フレームの間で、ローカル適応ブロックマッチングを実行すること、前記最良の一致は、mbと同じ画素寸法を有する前記前の再構成フレームのマクロブロック領域mbmatchに対応している;
前記空間のみの推定再構成フレームを、前記低電力部分フレームに対応するように設定すること;及び
前記空間のみの推定再構成フレーム内のブロックbごとに、
mbmatchのコアからブロックbの画素値を代入すること;及び
繰り返される受信走査線に対応するbの列について、前記空間のみの推定再構成フレームのブロックbの画素値の加重平均を、前記フレーム内補間フレーム内の対応する画素値に代入すること
によって、前記フレーム内補間フレームの欠落した走査線を、前記動き補償フレームの対応する走査線で埋めることを含む、請求項7または8に記載のコンピューティングデバイスの装置。
【請求項10】
時間的平滑化を実行することは、アルファブレンディングを使用することを含む、請求項6から9のいずれか一項に記載のコンピューティングデバイスの装置。
【請求項11】
前記超音波撮像デバイスの動作のセクタモードでは、前記1つ又は複数のプロセッサは、
mbの平均画素値が閾値よりも大きいという判定に応答して、前記ローカル適応ブロックマッチングを実行する;及び
走査変換を使用して、前記再構成フレーム内の直線形式の走査線データをセクタモード形式の走査線データに変換して、前記再構成フレームを生成する、請求項9または10に記載のコンピューティングデバイスの装置。
【請求項12】
ローカル適応ブロックマッチングを実行することは、画像フレーム内のマクロブロックmbごとに、
前記画像フレームの前のマクロブロックmbk-1の合計強度を計算する;
前記合計強度が第1の閾値を上回っており、mbが前記画像フレームの所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第1の空間ウィンドウWを代入し、動きベクトルvの解が検索される;
前記合計強度が第1の閾値を上回っていないか、又はmbが前記画像フレームの所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第2の空間ウィンドウWを代入し、動きベクトルvの解が検索される;
【数17】
を使用して推定された動きベクトルvkを決定し、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される前記空間ウィンドウを示し、Bkはマクロブロックk内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示し、ここで、マッチング誤差
【数18】
であり;及び
εが第2の閾値よりも大きいという判定に応答して、前記フレーム内補間フレームからの画素値をmbのコア内の対応する画素数に代入する;及び
εが第2の閾値よりも大きくないという決定に応答して、mbk-1(x-v )のコア内の値をmbのコアに代入することを含み、ここで、kは各マクロブロックを指定する数である、請求項9から11のいずれか一項に記載のコンピューティングデバイスの装置。
【請求項13】
前記超音波撮像デバイスのセクタモードでは、前記1つ又は複数のプロセッサは、εが第2の閾値よりも大きくないという判定に応答して、
水平方向又は垂直方向のいずれかに画素の半分をオフセットしたvの4つの値のεを測定する;及び
mbk-1(x-v** )の前記コア内のmb値の前記コアに代入する、請求項12に記載のコンピューティングデバイスの装置。
【請求項14】
前記メモリをさらに含み、前記メモリは前記1つ又は複数のプロセッサに結合される、請求項1から13のいずれか一項に記載のコンピューティングデバイスの装置。
【請求項15】
前記1つ又は複数のプロセッサに結合された無線トランシーバをさらに含み、前記無線トランシーバは、前記超音波撮像デバイスの制御回路から前記入力フレーム及び前記低電力部分フレームを受信する、請求項14に記載のコンピューティングデバイスの装置。
【請求項16】
超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行する段階、前記再構成アルゴリズムは、ラウンドごとに、入力フレーム及び低電力部分フレームを処理して、そこから再構成フレームを生成することを含み、ここで、前記入力フレームは、前記超音波撮像デバイスのトランスデューサで受信された第1の超音波波形に基づいており、前記低電力部分フレームは、欠落した走査線を定義し、前記トランスデューサで受信され、前記トランスデューサに結合された受信チャネルのインターレース作動から生成された第2の超音波波形に基づいている;及び
各再構成フレームをディスプレイ上に表示させるための表示信号を生成する段階、又は各再構成フレームをメモリに記憶させる段階のうちの少なくとも1つ、ここで、前記再構成アルゴリズムの初期化ラウンド後の前記入力フレームは、前記再構成アルゴリズムの前のラウンドの前の再構成フレームに対応している
を備える、コンピューティングデバイスの装置で実行される方法。
【請求項17】
前記低電力部分フレームを処理する段階は、
前記欠落した走査線を補間された走査線で埋めて、フレーム内補間フレームを生成するために、前記低電力部分フレームに対してフレーム内補間を実行する段階;及び
前記再構成フレームを生成するために、前記フレーム内補間フレームを処理する段階を含む、請求項16に記載の方法。
【請求項18】
前記低電力部分フレームは、奇数走査線及び欠落した偶数走査線、又は偶数走査線及び欠落した奇数走査線のうちの1つを含み、前記低電力部分フレーム及び前記入力フレームを処理する段階は、
前記フレーム内補間フレーム及び前記前のラウンドの前記前の再構成フレームの間の動きベクトルを推定し動き補償フレームを生成するために、動き補償を実行する段階、前記動き補償フレームは、前記低電力部分フレームが奇数走査線及び欠落した偶数走査線を含む場合には、偶数走査線及び欠落した奇数走査線を含み、前記低電力部分フレームが偶数走査線及び欠落した奇数走査線を含む場合には、奇数走査線及び欠落した偶数走査線を含む;及び
前記再構成フレームを生成するために、前記動き補償フレームを処理する段階を含む、請求項17に記載の方法。
【請求項19】
動き補償を実行する段階は、ローカル適応ブロックマッチング又はグローバル適応ブロックマッチングのうちの少なくとも1つを実行する段階を含む、請求項18に記載の方法。
【請求項20】
複数の命令を備え、前記複数の命令は、実行されると、1つ又は複数のプロセッサに、
超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行すること、前記再構成アルゴリズムは、ラウンドごとに、入力フレーム及び低電力部分フレームを処理して、そこから再構成フレームを生成することを含み、ここで、前記入力フレームは、前記超音波撮像デバイスのトランスデューサで受信された第1の超音波波形に基づいており、前記低電力部分フレームは、欠落した走査線を定義し、前記トランスデューサで受信され、前記トランスデューサに結合された受信チャネルのインターレース作動から生成された第2の超音波波形に基づいている;及び
各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つ、ここで、再構成アルゴリズムの初期化ラウンド後の入力フレームは、再構成アルゴリズムの前のラウンドの前の再構成フレームに対応する
を含む動作を実行させる、コンピュータプログラム。
【請求項21】
前記低電力部分フレームを処理することは、
前記欠落した走査線を補間された走査線で埋めて、フレーム内補間フレームを生成するために、前記低電力部分フレームに対してフレーム内補間を実行すること;及び
前記再構成フレームを生成するために、前記フレーム内補間フレームを処理することを含む、請求項20に記載のコンピュータプログラム。
【請求項22】
前記低電力部分フレームは、奇数走査線及び欠落した偶数走査線、又は偶数走査線及び欠落した奇数走査線のうちの1つを含み、前記低電力部分フレーム及び前記入力フレームを処理することは、
前記フレーム内補間フレーム及び前記前のラウンドの前記前の再構成フレームの間の動きベクトルを推定し動き補償フレームを生成するために、動き補償を実行すること、前記動き補償フレームは、前記低電力部分フレームが奇数走査線及び欠落した偶数走査線を含む場合には、偶数走査線及び欠落した奇数走査線を含み、前記低電力部分フレームが偶数走査線及び欠落した奇数走査線を含む場合には、奇数走査線及び欠落した偶数走査線を含む;及び
前記再構成フレームを生成するために、前記動き補償フレームを処理することを含む、請求項21に記載のコンピュータプログラム。
【請求項23】
動き補償を実行することは、ローカル適応ブロックマッチング又はグローバル適応ブロックマッチングのうちの少なくとも1つを実行することを含む、請求項22に記載のコンピュータプログラム。
【請求項24】
前記動き補償フレームを処理することは、
空間のみの推定再構成フレームを生成するために、前記フレーム内補間フレームを前記動き補償フレームとマージすること、マージすることは、前記フレーム内補間フレームの欠落した走査線を、前記動き補償フレームの対応する走査線で埋めることを含む;及び
前記再構成フレームを生成するために、前記空間のみの推定再構成フレームを処理することを含む、請求項23に記載のコンピュータプログラム。
【請求項25】
前記空間のみの推定再構成フレームを処理することは、前記空間のみの推定再構成フレームを、前記前の再構成フレームとブレンディングして、前記再構成フレームを生成することによって時間的平滑化を実行することを含む、請求項24に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2021年3月19日に提出された「PROCESSING CIRCUITRY,SYSTEM AND METHOD FOR REDUCING ELECTRICAL POWER CONSUMPTION IN AN ULTRASOUND IMAGING PROBE BASED ON INTERLACED DATA ACQUISITION AND RECONSTRUCTION ALGORITHM」と題する米国仮出願第63/163,702号の米国特許法第119条(e)に基づく優先権の利益を主張する。先行出願の開示は、本出願の開示の一部と見なされ、その全体が参照により本出願の開示に組み込まれる。
【背景技術】
【0002】
超音波撮像は、医療及び非破壊試験の分野で広く使用されている。従来の超音波撮像デバイスは大きく高価であり、持ち運びでき、低コストのハンドヘルド超音波デバイスが必要とされている。
【発明の概要】
【0003】
他のハンドヘルド電子デバイスと同様に、ポータブル超音波プローブの電力消費量を制限し、それによって、電池に対する需要を減らし、動作中にプローブ内で生成される熱に関連する問題を軽減する必要がある。電力消費量の削減により、プローブのコスト、サイズ、重量が削減され、同時に利便性及び臨床効果の向上がもたらされ得る。具体的な利点としては、1)電池のサイズ、重量、コストが削減されること;2)発熱が低減すること;3)プローブ内の放熱材料の必要性が減少すること(デバイスのサイズ、重量、及びコストがさらに削減される);4)プローブの稼働時間が延長されることがある。
【0004】
いくつかの実施形態は、インターレースデータ取得方式及びコンピュータ化された画像再構成アルゴリズムの組み合わせを使用して、動画データを収集するときに超音波撮像プローブにおける送信発射によって消費される電力量を削減する。いくつかの実施形態による、再構成アルゴリズムの目標は、従来の(非インターレース)画像取得によって取得される動画と品質的に匹敵する動画をインターレースデータから生成することである。
【0005】
本開示の更なる複数の態様および利点は、本開示の例示的な実施形態のみが示され、説明される以下の詳細な説明から当業者には容易に明らかであろう。実施形態は、本明細書で明示的に説明されるものに限定されず、実施形態に関連するいくつかの詳細は、すべて本開示から逸脱することなく、様々な明らかな点で修正が可能である。したがって、図面及び説明は本質的に例示的なものと見なされるべきであり、限定的なものとして見なされるべきではない。
【図面の簡単な説明】
【0006】
実施形態の特徴のいくつかは、添付の特許請求の範囲に詳細に記載されている。実施形態の特徴及び利点は、実施形態の原理が利用される以下の詳細な説明、及び添付の図面(本明細書では「図(Fiqure)」及び「図(Fig.)」とも)を参照することによって、よりよい理解が得られるであろう。
【0007】
図1】開示された実施形態による、選択的に変更可能な特性を有する撮像デバイスのブロック図である。
【0008】
図2】開示された実施形態による、選択的に変更可能な特性を有する撮像システムの図である。
【0009】
図3A】いくつかの開示された実施形態による、選択的に変更可能な特性を有する撮像デバイスの概略図である。
【0010】
図3B】1つの実施形態による、図3Aの撮像デバイスの内部構成要素の概略図である。
【0011】
図4】本明細書に記載の原理の一例による、湾曲したトランスデューサアレイの側面図である。
【0012】
図5】本明細書に記載の原理の一例による、トランスデューサの上面図である。
【0013】
図6】本明細書に記載の原理の一例による、撮像デバイス及びフレームの走査線の等角図である。
【0014】
図7】本明細書に記載される原理の一例による、走査線の形成を示す。
【0015】
図8】本明細書に記載の原理の一例による、受信チャネルを示す。
【0016】
図9A】いくつかの開示された実施形態による、全走査構成を示す。
【0017】
図9B】開示された実施形態による、インターレース走査構成を示す。
図9C】開示された実施形態による、インターレース走査構成を示す。
【0018】
図10】欠落データを埋めるためにフレーム内補間を使用してインターレースデータから生成された超音波動画からの従来の画像フレームの例を示す。
【0019】
図11】開示された実施形態による、再構成アルゴリズムを使用してインターレースデータから生成された超音波動画からの例示的な画像フレームを示す図である。
【0020】
図12】開示された実施形態による、再構成アルゴリズムの高レベルのブロック図を示す。
【0021】
図13】開示された実施形態による、再帰的手続きとして示される再構成アルゴリズムを示す。
【0022】
図14】開示された実施形態による、新しい奇数の低電力フレームを使用して前の再構成フレームを更新し、その後の繰り返しで、偶数の低電力フレームを使用して再構成フレームを再度更新する方法を示す、アルゴリズムのブロック図を示す。
【0023】
図15】開示された実施形態による、ブロック及びマクロブロックを含む、マクロブロックが動き補償フレーム間予測を達成するためのローカルブロックマッチングに使用される、低電力フレームの例示的な図を示す。
【0024】
図16】第1の実施形態による、方法のフロー図である。
【0025】
図17】第2の実施形態による、方法のフロー図である。
【発明を実施するための形態】
【0026】
実施形態の1つの目的は、画質を維持しながら、超音波撮像に使用される送信(Tx)発射を生成するために必要な電力消費量を削減することである。Tx発射の生成に必要な電力消費量を削減することの直接的な利点としては、(1)電池のサイズ、重量、コストが削減されること;2)発熱が低減すること;3)プローブ内の放熱材料の必要性が減少すること(デバイスのサイズ、重量及びコストがさらに削減される);4)プローブの稼働時間が延長されることがある。
【0027】
一般に、実施形態は撮像デバイスに関し、より詳細には、電子的に構成可能な超音波トランスデューサ素子及び関連する画像再構成回路を有する撮像デバイスに関する。非侵入型撮像デバイスは、人間又は動物の体の内部組織、骨、血流、又は臓器を撮像するために使用され得る。
【0028】
撮像デバイスのいくつかの実施形態は、撮像デバイスのトランスデューサ素子の選択的な作動及び停止を制御するためのハードウェア及び/又はソフトウェアを含み、超音波波形の送信及び受信パターンを実現して、省電力を達成しながら物体からの画像の生成を可能にし得る。
【0029】
例えば水、肉、レンズなどのような媒質における本明細書で言及される「超音波波形」は、いくつかの実施形態では、送信トランスデューサ素子のそれぞれの波形の補償を指し得る。いくつかの実施形態によれば、トランスデューサ素子のグループのようなトランスデューサ素子は、一斉に発射することもあり得るが、多くの場合、(例えば、ステアするために)互いに別々に発射し得る。
【0030】
本明細書で使用される「素子画素」は、単一のMUT(すなわち、単一のダイアフラム又は膜を有するデバイス)を指すが、トランスデューサの「素子」は画素又は一団となり1つとして動くMUTのグループ(素子画素のグループ)を指し得ることに留意されたい。「素子画素」は、本明細書で使用される「画素」とは区別されるべきであり、後者は、一般的に理解されているように、デジタルフレーム又は画像内の画素を指す。
【0031】
撮像デバイスのいくつかの実施形態は、撮像物体から反射された超音波エネルギを受信し、受信した超音波エネルギを電気信号に変換するためのハードウェア及び/又はソフトウェアをさらに含み得る。
【0032】
撮像デバイスのいくつかの実施形態は、撮像物体の画像を構築し、画像を表示させ、及び/又は画像を表示するためのハードウェア及び/又はソフトウェアをさらに含み得る。
【0033】
撮像を実行するために、撮像デバイスは、撮像物体に向かって体組織内に超音波波形を送信し、物体から反射された超音波エネルギを受信し得る。そのような撮像デバイスは、1つ又は複数のトランスデューサ素子を含み得、光音響効果又は超音波効果を使用して機能し得る。そのようなトランスデューサ素子は、撮像に使用され得、さらに他の用途にも使用され得る。例えば、トランスデューサ素子は、医療用撮像に、パイプ内の流量測定のために、スピーカアレイ及びマイクロフォンアレイに、砕石術に、治療目的の局所組織加熱に、及び高集中集束超音波(Highly Intensive Focused Ultrasound:HIFU)手術に使用され得る。
【0034】
実施形態に関しては、超音波波形、超音波、超音波圧力波、及び/又は超音波の使用が明示的に言及されているが、実施形態は特に超音波に限定されず、その範囲内には、体内を伝播し体内の物体から反射して戻り、表示デバイス上での物体に対応する画像の生成など、物体に関する情報の生成を可能にするためにデコード/分析/処理され得る波の生成及び処理が含まれる。
【0035】
従来、医療用撮像に使用される超音波イメージャなどの撮像デバイスでは、圧電(チタン酸ジルコン酸鉛(PZT))材料又はその他の圧電セラミック及び高分子の複合材料が使用されている。そのような撮像デバイスは、PZT材料を有するトランスデューサを収容するハウジング、及び画像を形成して表示ユニット上に表示する他の電子機器を含み得る。バルクPZT素子又はトランスデューサを製造するには、厚い圧電材料のスラブを大きな長方形のPZT素子に切断し得る。これらの長方形のPZT素子は、一般的に長方形の厚いPZT又はセラミック材料を正確に切断し、正確な間隔で基板に取り付けることが製造工程に含まれるため、製造コストが高くなり得る。さらに、トランスデューサのインピーダンスは、トランスデューサの送信/受信電子機器のインピーダンスよりもはるかに高く、性能に影響を与え得る。
【0036】
さらに、そのような厚いバルクPZT素子は、送信信号を生成するために、例えば、100ボルト(V)以上の非常に高い電圧パルスを必要とし得る。トランスデューサの電力損失は駆動電圧の二乗に比例するため、この高い駆動電圧は高い電力損失をもたらす。この高い電力損失により撮像デバイス内で熱が発生し、その結果、冷却装置が必要になる。これらの冷却装置は、撮像デバイスの製造コスト及び重量を増加させ、撮像デバイスの動作により負担をかけてしまう。
【0037】
さらに、トランスデューサの送信/受信電子機器はトランスデューサ自体から遠く離れて配置され得、したがって、トランスデューサ及び送信/受信電子機器の間に極細同軸ケーブルが必要になる。一般に、ケーブルは遅延及びインピーダンス整合のために精密な長さを有しており、非常に多くの場合、ケーブルを介して電子機器にトランスデューサを効率的に接続するために追加のインピーダンス整合ネットワークが必要になる。
【0038】
本開示の実施形態は、本明細書でさらに詳細に説明されるように、圧電マイクロマシン超音波トランスデューサ(piezoelectric Micromachined Ultrasound Transducer:pMUT)技術又は容量性マイクロマシン超音波トランスデューサ(capacitive Micromachine Ultrasonic Transducer:cMUT)技術のいずれかを利用する撮像デバイスに関連して利用され得る。
【0039】
一般に、cMUT及びpMUTなどのいずれのMUTにもダイアフラム(端部に、又はプローブ内部のある点に取り付けられた薄い膜)が含まれているが、「従来の」バルクPZT素子は通常固体の材料片からなる。
【0040】
圧電マイクロマシン超音波トランスデューサ(pMUT)は、様々な半導体ウエハ製造作業を利用して基板上に効率的に形成できる。現在、半導体ウエハには6インチ(15.24センチメートル)、8インチ(20.32センチメートル)、12インチ(30.48センチメートル)のサイズがあり得、数百のトランスデューサアレイを収容することが可能である。これらの半導体ウエハは、様々な処理作業が実行されるシリコン基板として始まる。そのような作業の一例は、絶縁酸化物としても知られるSiO層の形成である。他の電子機器への接続を可能にするために、相互接続及び接着パッドとして機能する金属層の追加など、他の様々な動作が実行される。機械作業のさらに別の例は、キャビティのエッチングである。大きい圧電材料を有する従来のトランスデューサと比較して、半導体基板上に構築されたpMUT素子は大きくなく、製造コストも安く、電子機器及びトランスデューサの間の相互接続がより簡単でより高性能である。したがって、pMUTは、pMUTを使用する撮像デバイスの動作周波数により高い柔軟性、及びより高品質の画像を生成する可能性を提供する。
【0041】
いくつかの実施形態では、撮像デバイスには、1つ又は複数の送信ドライバを含む特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、撮像物体から反射して戻る受信超音波エネルギ(エコー信号)に対応する電気エネルギを処理する検知回路、及び他の様々な動作を制御するための他の処理回路が含まれ得る。ASICは、別の半導体ウエハ上に形成することも、同じ半導体ウエハ上に形成することもできる。このASICは、寄生損失を低減するためにpMUT素子に近接して配置できる。具体的な例として、ASICは、pMUT素子を含むトランスデューサアレイから50マイクロメートル(μm)以下離れ得る。より広範な例では、2つのウエハ又は2つのダイ間の間隔が100μm未満であり得、各ウエハには多くのダイが含まれ、ダイにはトランスデューサウエハ内のトランスデューサ及びASICウエハ内のASICが含まれる。いくつかの実施形態では、ASICは、pMUT素子を含むpMUTトランスデューサに対して一致するフットプリントを有し、したがって、pMUTトランスデューサダイとのウエハ間相互接続のために積層し得、例えば、ASICウエハをトランスデューサダイと積層したり、ASICダイ自体を、相互接続を介してトランスデューサダイと積層したりし得る。あるいは、低温ピエゾ材料スパッタリング及びASIC処理と互換性のあるその他の低温処理を使用して、トランスデューサを単一デバイスとしてASICウエハ上に開発することもできる。
【0042】
1つの実施形態によれば、ASICとトランスデューサがどこで相互接続しても、2つは同様のフットプリントを有し得る。より具体的には、後者の実施形態によれば、ASICのフットプリントは、pMUTのフットプリントの整数倍又は約数であり得る。
【0043】
撮像デバイスがそのトランスデューサに、pMUT素子を使用するか、又はcMUT素子を使用するかに関係なく、いくつかの実施形態による撮像デバイスは、いくつかの送信チャネル及びいくつかの受信チャネルを含み得る。送信チャネルは、トランスデューサ素子が応答する周波数の電圧パルスでトランスデューサ素子を駆動する。これにより、超音波波形が素子から放射され、その波形は体内の臓器などの撮像物体に向けられることになる。いくつかの例では、トランスデューサ素子のアレイを備えた撮像デバイスは、撮像デバイス及び体の間にゲルを使用して体と機械的に接触し得る。超音波波形は物体、すなわち、臓器に向かって進み、波形の一部は反射して、受信/反射超音波エネルギの形態でトランスデューサ素子に戻り、受信した超音波エネルギは撮像デバイス内で電気エネルギに変換され得る。次いで、受信した超音波エネルギを電気信号に変換するために、受信した超音波エネルギはいくつかの受信チャネルによってさらに処理され得、電気信号に基づいて表示するための物体の画像を生成するために、電気信号は他の回路によって処理され得る。
【0044】
これらの送信チャネル及び受信チャネルは電力を消費し、(高品質な画像を生成するために)多くのチャネルがある機器では、電力により撮像デバイス内に過剰な熱が蓄積され得る。撮像デバイスの温度が一定値を超えて上昇すると、撮像デバイスの動作に影響を与え得、オペレータに危険をもたらす可能性があり、患者に危険をもたらす可能性があり、1つ又は複数の上限温度閾値を定義する規制仕様の範囲外になり得る。
【0045】
超音波撮像デバイスの実施形態は、トランスデューサアレイ、及び、例えば、特定用途向け集積回路(ASIC)を含む制御回路、送信及び受信ビームフォーミング回路、及び、任意選択で追加の制御電子機器を含む。仕様により、撮像デバイスの最大許容温度が制限され、その温度により、撮像デバイスにどのような電子回路を収容し得るか、及び撮像デバイスをどのように動作させ得るかが制限される。そのような制限は、画像のフレームレートを含め、得られる画質に悪影響を与え得る。さらに、撮像デバイスは電池駆動であり得、その場合、多くの送信/受信チャネルを有する機器では、使用時に各チャネルがエネルギを吸収する可能性があるため、電池がすぐに消耗し得る。
【0046】
実施形態の特徴を組み込んだ撮像デバイスは、これら及び他の技術的問題を有利に軽減又は解決し得る。具体的には、撮像デバイスは、必要な画質を維持しながら、撮像デバイスの温度制限を超えることなく電力損失を制御する方法で、送信(Tx)発射(トランスデューサ素子からの超音波波形の送信)を制御するように構成され得る。画像を形成するために使用される受信チャネル及び/又は送信チャネルの数は、例えば、より少ない数のチャネルが許容される場合など、電力を節約するために電子的に選択的に適応可能であり(選択的に作動され得る、電力が遮断され得る、又は低電力にされ得る)、すなわち、より少ない数のチャネルでも、有用であり得る表示画像が依然として得られ得る。具体的な例として、送信チャネル及び/又は受信チャネルの数はそれぞれ、電力を削減するために、例えば、画像デバイスの制御回路によって動的に制御され得るか、又は完全に電力が遮断され得る。さらに、消費電力を削減するために、各チャネルの他の特性も構成可能であり得る。そのような高度な制御により、撮像デバイスを安全な温度閾値内で動作させることができ、必要な画質を犠牲にすることなく動作し得る。消費電力が低いと、撮像デバイスに電力を供給するために電池が使用される場合、電池寿命も長くなり得る。
【0047】
一実施形態では、撮像デバイスは、トランスデューサ、及び制御回路及び任意選択でコンピューティングデバイスなどの関連する電子回路が収容されるハンドヘルドケースを含み得る。撮像デバイスは、電子回路に電力を供給するための電池も含み得る。上記で説明したように、撮像デバイスが消費する電力量により、撮像デバイスの温度が上昇し得る。撮像デバイスの満足のいく使用及び撮像デバイスの満足のいく性能を保証するには、撮像デバイスのハウジング又は本体の温度を閾値温度未満に保つべきである。いくつかの実施形態による撮像デバイスは、同等の画質をもたらす既存の撮像デバイスと比較して、高品質な画像の取得にもかかわらず、電力及び温度を低減するように電子的に構成され得る。
【0048】
したがって、いくつかの実施形態は、2Dアレイ内のpMUT素子又はcMUT素子のいずれかを利用する、高性能、低電力、及び低コストのポータブル撮像デバイスに関する。いくつかの実施形態では、そのようなトランスデューサ素子のアレイは、撮像デバイスの特定用途向け集積回路(ASIC)に結合される。
【0049】
以下の説明では、説明の目的で、本開示の理解を提供するために具体的な詳細が述べられている。しかし、これらの詳細なしに本開示を実施できることは、当業者には明らかであろう。さらに、当業者であれば、以下に説明する本開示の例が、プロセス、制御回路の1つ又は複数のプロセッサ(処理回路)、コンピューティングデバイスの1つ又は複数のプロセッサ(又は処理回路)、システム、デバイス、又は有形のコンピュータ可読媒体上の方法などの様々な方法で実装され得ることを認識するであろう。
【0050】
当業者であれば、(1)任意選択で、特定の製造作業が実行され得ること;(2)作業、本明細書に記載されている特定の順序に限定され得ないこと;及び(3)特定の作業は、同時に実行されることを含め、異なる順序で実行され得ることを認識するであろう。
【0051】
図に示す要素/構成要素は、例示的な実施形態を例示するものであり、本開示が不明瞭になるのを避けることを意図している。本明細書における「1つの例(one example)」、「好ましい例(preferred example)」、「一例(an example)」、「例(examples)」、「一実施形態(an embodiment)」、「いくつかの実施形態(some embodiments)」、又は「実施形態(embodiments)」への言及は、例に関連して説明される特定の特徴、構造、特性、又は機能が本開示の少なくとも1つの例に含まれ、2つ以上の例に含まれ得ることを意味する。本明細書の様々な箇所で、「1つの例では(in one example)」、「一例では(in an example)」、「例では(in examples)」、「一実施形態では(in an embodiment)」、「いくつかの実施形態では(in some embodiments)」、又は「実施形態では(in embodiments)」という語句の出現は、必ずしもすべてが同じ1つの例又は複数の例を指しているわけではない。用語「含む(include)」、「含む(including)」、「備える(comprise)」、及び「備える(comprising)」は、開放的な用語であると理解され、以下の任意のリストは例であり、リストされた項目に限定されることを意味するものではない。本明細書中で使用される任意の表題は、構成を目的としているにすぎず、説明又は特許請求の範囲を限定するために使用されるべきではない。さらに、明細書の様々な箇所での特定の用語の使用は、例示のためのものであり、限定として解釈されるべきではない。
【0052】
ここで、図面を参照すると、図1は、選択的に変更可能なチャネル(108、110)を制御し、本明細書に記載の原理に従ってコンピューティングデバイス112上で画像計算を実行するコントローラ又は制御回路106を有する撮像デバイス100のブロック図である。上記で説明したように、撮像デバイス100は、人間又は動物の体の内部組織、骨、血流、又は臓器の画像を生成するために使用され得る。したがって、撮像デバイス100は、体内に信号を送信し、撮像されている体部位からの反射信号を受信し得る。そのような撮像デバイスには、光音響効果又は超音波効果に基づき得るトランシーバ又はイメージャと呼ばれ得るpMUT又はcMUTが含まれ得る。撮像デバイス100は、他の物体の撮像にも同様に使用できる。例えば、撮像デバイスは、医療用撮像;パイプ内の流量測定;スピーカアレイ及びマイクロフォンアレイ;砕石術;治療のための局所組織加熱;及び高集中集束超音波(HIFU)手術に使用され得る。
【0053】
人間の患者に対する使用に加えて、撮像デバイス100は、動物の内臓の画像を取得するためにも使用され得る。さらに、内臓の撮像に加えて、撮像デバイス100は、ドップラモード撮像のように動脈及び静脈内の血流の方向及び速度を決定するためにも使用され得、組織の硬度を測定するためにも使用され得る。
【0054】
撮像デバイス100は、異なるタイプの撮像を実行するために使用され得る。例えば、撮像デバイス100は、Aスキャンとしても知られる一次元撮像、Bスキャンとしても知られる二次元撮像、Cスキャンとしても知られる三次元撮像、及びドップラ撮像を実行するために使用され得る。撮像デバイス100は、線形モード及びセクタモードを含むが、これらに限定されない異なる撮像モードに切り替え得、プログラム制御の下で電子的に構成し得る。
【0055】
そのような撮像を容易にするために、撮像デバイス100は1つ又は複数の超音波トランスデューサ102を含み、各トランスデューサ102は超音波トランスデューサ素子104のアレイを含む。各超音波トランスデューサ素子104は、pMUT又はcMUT素子などの任意の適切なトランスデューサ素子として具現化され得る。トランスデューサ素子104は、1)体又は他の塊を通過する超音波圧力波を生成し、2)撮像される体内の物体又は他の塊からの反射波(受信された超音波エネルギ)を受信するように動作する。いくつかの例では、撮像デバイス100は、超音波波形又は超音波圧力波(略して圧力波)を同時に送信及び受信するように構成され得る。例えば、制御回路106は、特定のトランスデューサ素子104を制御して、撮像される対象物体に向けて圧力波を送信する一方で、他のトランスデューサ素子104は、同時に、対象物体から反射された圧力波/超音波エネルギを受信し、受信波/受信超音波エネルギ/受信エネルギに応答して、それらに基づいて電荷を生成するように構成され得る。
【0056】
いくつかの例では、各トランスデューサ素子104は、中心周波数に関連付けられた特定の周波数及び帯域幅、並びに任意選択で、追加の中心周波数及び帯域幅で信号を送信又は受信するように構成され得る。そのような多周波数トランスデューサ素子104は、マルチモーダル素子104と呼ばれ得、撮像デバイス100の帯域幅を拡張することができる。トランスデューサ素子104は、約0.1~約100メガヘルツなどの任意の適切な中心周波数で信号を発信又は受信することを可能にし得る。トランスデューサ素子104は、約3.5メガヘルツ~約5メガヘルツまでの範囲の1つ又は複数の中心周波数で信号を発信又は受信するように構成され得る。
【0057】
圧力波を生成するために、撮像デバイス100は、いくつかの送信(Tx)チャネル108及びいくつかの受信(Rx)チャネル110を含み得る。送信チャネル108は、それらが応答する周波数の電圧パルスでトランスデューサ102、すなわち、トランスデューサ素子104のアレイを駆動するいくつかの構成要素を含み得る。これにより、超音波波形がトランスデューサ素子104から撮像物体に向けて放射される。
【0058】
いくつかの実施形態によれば、超音波波形は、撮像デバイスの1つ又は複数の対応するトランスデューサ素子から実質的に同時に送信される1つ又は複数の超音波圧力波を含み得る。
【0059】
超音波波形は撮像物体に向かって進み、波形の一部が反射してトランスデューサ102に戻り、圧電効果によって超音波波形が電気エネルギに変換される。受信チャネル110は、このようにして得られた電気エネルギを収集し、処理し、例えば、表示し得る画像を開発又は生成するコンピューティングデバイス112に送信する。
【0060】
いくつかの例では、撮像デバイス100内の送信チャネル108及び受信チャネル110の数は一定のままであり得るが、それらが結合されるトランスデューサ素子104の数は変化し得る。1つの実施形態では、送信チャネル及び受信チャネルのトランスデューサ素子への結合は、制御回路106によって制御され得る。いくつかの例では、例えば、図1に示すように、制御回路は、送信チャネル108及び受信チャネル110を含み得る。例えば、トランスデューサ102のトランスデューサ素子104は、N列及びM行を有する二次元空間アレイに形成され得る。具体的な例では、トランスデューサ素子104の二次元アレイは、128列及び32行を有し得る。この例では、撮像デバイス100は、最大128個の送信チャネル108及び最大128個の受信チャネル110を有し得る。この例では、各送信チャネル108及び受信チャネル110は、複数又は単一のトランスデューサ素子104に結合され得る。例えば、撮像モード(例えば、いくつかのトランスデューサが同じ空間方向に超音波を送信する線形モード、又はいくつかのトランスデューサが異なる空間方向に超音波を送信するセクタモードのいずれか)に応じて、トランスデューサ素子104の各列は、単一の送信チャネル108及び単一の受信チャネル(110)に結合され得る。この例では、送信チャネル108及び受信チャネル110はコンポジット信号を受信でき、コンポジット信号はそれぞれの列内の各トランスデューサ素子104で受信された信号を合成する。別の例では、すなわち、異なる撮像モード中に、各トランスデューサ素子104は、その専用送信チャネル108及びその専用受信チャネル110に結合され得る。いくつかの実施形態では、トランスデューサ素子104は、送信チャネル108及び受信チャネル110の両方に結合され得る。例えば、トランスデューサ素子104は、超音波パルスを生成して送信し、次いで、反射した超音波エネルギを電気エネルギに変換する形態でそのパルスのエコーを検出するように適合され得る。
【0061】
これらの送信チャネル及び受信チャネル(108、110)は、動作中に電力を消費する。高品質な画像を生成するための多くのチャネルがあるハイエンド機器では、電力により撮像デバイス100内に過剰な熱が蓄積され得る。過剰な熱は患者にとって不快であり、場合によっては、撮像のために撮像デバイス100が当てられる患者に危険をもたらし得る。そのような過剰な熱は、撮像デバイス100のオペレータにとっても問題となる。さらに、過剰な熱により撮像デバイス100の構成要素が損傷し、撮像デバイス100が機能しなくなり得るか、又は場合によっては、動作不能にもなり得る。したがって、送信チャネル108及び受信チャネル110は、1)消費電力を削減し、2)過剰な熱の蓄積を防止し、3)撮像性能及び消費電力の必要性をリアルタイムで、すなわち、動的に最適化するために選択的に適応可能(又は選択的に調整可能)であり得る。
【0062】
チャネル(108、110)を選択的に調整することは、Tx空間送信(又は発射)のパターンをインターレース方式で交互にすること、チャネル(108、110)を電力遮断状態に置くこと、又はチャネル(108、110)を低電力状態に置くことを含み得る。チャネル(108、110)の調整を可能にすることにより、撮像デバイス100が閾値の熱を示したときに電力消費(及び発熱)構成要素をオフにすることにより、過剰な熱の蓄積が防止される。チャネルの選択的な調整に関するさらなる詳細は、以下でさらに提供される。
【0063】
制御回路106は、本明細書に記載の機能を実行するように構成された任意の1つ又は複数の回路として具現化され得る。例えば、制御回路106は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)、システムオンチップ、プロセッサ及びメモリ、電圧源、電流源、1つ又は複数の増幅器、1つ又は複数のデジタル/アナログ変換器、1つ又は複数のアナログ/デジタル変換器などとして具現化され得るか、又は、そうでなければ、それらを含み得る。
【0064】
例示的なコンピューティングデバイス112は、プロセッサ、メモリ、通信回路、電池、ディスプレイなどのような任意の適切な構成要素を含む任意の適切なコンピューティングデバイスとして具現化され得る。1つの実施形態では、例えば、図1の実施形態で示唆されるように、コンピューティングデバイス112は、制御回路106、トランスデューサ102、などと共に、単一のパッケージ又は単一のチップ、又は単一のシステムオンチップ(System On a Chip:SoC)に統合され得る。他の実施形態では、以下でさらに詳細に説明されるように、例えば、図2の実施形態で示唆されるように、コンピューティングデバイスの一部又は全部が、制御回路及びトランスデューサなどとは別個のパッケージ内にあり得る。
【0065】
各トランスデューサ素子は、正方形、長方形、楕円形、又は円形などの任意の適切な形状を有し得る。トランスデューサ素子は、本明細書で述べるように、N列及びM行などの直交方向に配列された二次元アレイに配列され得るか、又は非対称(又は千鳥状)直線アレイに配列され得る。
【0066】
トランスデューサ素子104は、関連付けられた送信チャネルの関連付けられた送信ドライバ回路、及び関連付けられた受信チャネルの低雑音増幅器を有し得る。したがって、送信チャネルは送信ドライバを含み得、受信チャネルは1つ又は複数の低雑音増幅器を含み得る。例えば、明確に示されていないが、送信チャネル及び受信チャネルはそれぞれ、特定のトランスデューサ素子及びトランスデューサ素子のセットの作動、停止、又は低電力モードを可能にするための多重化及びアドレス制御回路を含み得る。トランスデューサは、円形状などの直交する行及び列以外のパターン、又はそこから生成される超音波波形の範囲に基づいた他のパターンで配置され得ることが理解されよう。
【0067】
図2は、一実施形態による、選択的に構成可能な特性を有する撮像システムを含む撮像環境の図である。図2の撮像システムは、以下でさらに詳細に説明するように、撮像デバイス202、及びコンピューティングデバイス216及びコンピューティングデバイスに結合されたディスプレイ220を含むコンピューティングシステム222を含み得る。
【0068】
図2に示すように、1つの実施形態によれば、図1の実施形態とは異なり、コンピューティングデバイス216は、撮像デバイス220から物理的に分離され得る。例えば、コンピューティングデバイス216及び表示デバイス220は、撮像デバイス202の構成要素と比較して、別個のデバイス(この文脈では、図示のコンピューティングシステム222は、動作中に撮像デバイス202から物理的に分離されている)内に配置され得る。コンピューティングシステム222は、ユーザに画像を表示できる、携帯電話又はタブレットなどのモバイルデバイス、又は据え置き型コンピューティングデバイスを含み得る。別の例では、例えば、図1に示すように、表示デバイス、コンピューティングデバイス、及び関連付けられたディスプレイは、撮像デバイス202(図示せず)の一部であり得る。すなわち、撮像デバイス100、コンピューティングデバイス216、及び表示デバイス220は、単一のハウジング内に配置され得る。
【0069】
本明細書で言及される「コンピューティングデバイス」は、いくつかの実施形態では、物体の画像をディスプレイ上に表示させるための信号を生成するように構成され得る。いくつかの実施形態では、以下でさらに説明するように、信号の生成には、インターレースアルゴリズムの実装が含まれ得る。
【0070】
図示されるように、撮像システムは、送信モード/プロセスにおいて、送信チャネル(図1、108)を介して、心臓214などの物体に向けて圧力波210を生成及び送信するように構成された撮像デバイス202を含む。内臓又は他の撮像物体は、圧力波210の一部を撮像デバイス202に向かって反射し得、撮像デバイス202は、トランスデューサ(図1のトランスデューサ102など)を介して、受信チャネル(図1、110)を受信、制御回路(図1、106)を介して、反射された圧力波を受信し得る。トランスデューサは、受信モード/処理において受信した超音波エネルギに基づいて電気信号を生成し得る。送信モード又は受信モードは、異なる時点ではあるが、送信又は受信のいずれかを行うように構成され得る撮像デバイスの文脈で適用され得る。しかし、前述したように、実施形態による一部の撮像デバイスは、送信モード及び受信モードの両方に同時になるように適合され得る。システムは、図示のような無線通信チャネル218などの通信チャネルを介して撮像デバイス100と通信するコンピューティングデバイス216も含むが、実施形態は、コンピューティングシステム及び撮像デバイスの間の有線通信もその範囲内に包含する。撮像デバイス100は、コンピューティングデバイス216に信号を送信し得、コンピューティングデバイス216は、受信した信号を処理して物体の画像の形成を完了するための1つ又は複数のプロセッサを有し得る。次いで、コンピューティングシステム222の表示デバイス220は、コンピューティングデバイスからの信号を使用して物体の画像を表示し得る。
【0071】
いくつかの実施形態による撮像デバイスは、通信チャネルを介して、無線で(IEEE802.11又はWi-Fi(登録商標)プロトコルなどの無線通信プロトコル、Bluetooth(登録商標)低エネルギを含むBluetooth(登録商標)プロトコル、ミリ波通信プロトコル、又は当業者の知識内である任意の他の無線通信プロトコルを使用する)又はケーブルなど(USB2、USB3、USB3.1、USB-Cなど)又はマイクロ電子デバイス上の相互接続などの有線接続を介して、コンピューティングデバイスと信号を通信するように適合されたポータブルデバイス及び/又はハンドヘルドデバイスを含み得る。テザー接続又は有線接続の場合、撮像デバイスは、図3Aに関連してさらに詳細に説明するように、コンピューティングデバイスと通信するケーブルのケーブル接続を受信するためのポートを含み得る。無線接続の場合、撮像デバイス100は、コンピューティングデバイス216と通信するための無線トランシーバを含み得る。
【0072】
様々な実施形態では、本開示の異なる態様が異なる構成要素で実行され得ることを理解されたい。例えば、1つの実施形態では、撮像デバイスは、そのトランスデューサを介して超音波波形を送信及び受信させるための回路(チャネルなど)を含み得、一方、コンピュータデバイスは、コンピューティングデバイスは、電圧信号を使用して撮像デバイスのトランスデューサ素子で超音波波形を生成し、さらに受信した超音波エネルギを処理して、そこから物体の画像を導出するために、そのような回路を制御するように適合され得る。そのような実施形態では、コンピューティングデバイスは、撮像デバイスによって電力使用量を管理/制御し得、以下でより詳細に論じるように、フレームを使用して物体の画像を構築し得、送信チャネル及び受信チャネルなどを選択及び構成し得る。
【0073】
別の実施形態では、以下でより詳細に論じるように、撮像デバイスは、超音波波形をトランスデューサ素子に送信及び受信させるために、電圧信号を使用してトランスデューサ素子での超音波波形の生成を制御する制御回路を含み得、また、受信超音波エネルギから電気信号を生成し、フレームを使用してそこから物体の画像を構築し得る。そのような実施形態では、撮像デバイスの制御回路は構築されたフレームをコンピューティングデバイスに送信し得、コンピューティングデバイスは、さらなる処理を行わずに単純にフレームをディスプレイに転送し得る。より一般的には、本明細書に開示される任意の適切な機能が、1つ又は複数の回路によって実行され得ること、及びこれらの回路が、1つの物理デバイス内に収容され得るか、又は互いに物理的に分離して収容され得るが、互いに通信可能に結合され得ることを理解されたい。
【0074】
図3A及び図3Bは、以下でさらに詳細に説明するように、それぞれ、いくつかの実施形態による、撮像デバイス及び撮像デバイスのハウジング内の内部構成要素の図を表している。
【0075】
図3Aに示されるように、撮像デバイス300は、トランスデューサ302及び関連付けられた電子機器が収容されるハンドヘルドケース331を含み得る。撮像デバイスはまた、電子機器に電力を供給するための電池338を含み得る。電池経由か、又は有線又は無線接続経由かにかかわらず、撮像デバイスによって消費される電力量により、撮像デバイスの温度が上昇し得る。撮像デバイスの満足のいく使用及び撮像デバイスの満足のいく性能を保証するには、撮像デバイスの本体の温度を閾値温度未満に保つ必要があり得る。本明細書の撮像デバイスは、大量の電力を消費し、電池寿命を短縮し、プローブ(又は撮像デバイス)内の温度を上昇させる高品質な画像の取得にもかかわらず、電力及び温度を低減するように電子的に構成され得る。
【0076】
したがって、図3Aは、任意選択で、シリコンウエハ上に構築される、2Dアレイ内のpMUTを使用して2D及び3D撮像が可能な高性能、低電力、及び低コストのポータブル撮像デバイスの実施形態を示す。特定のパラメータの電子構成を有する特定用途向け集積回路(ASIC)106に結合された、そのようなアレイは、これまで可能であったものよりも低コストで高品質の画像処理を可能にする。さらに、特定のパラメータ、例えば、使用するチャネルの数を制御することにより、消費電力を変更することができ、温度を変更することができる。
【0077】
いくつかの実施形態による、撮像デバイス300は、撮像デバイス内の消費電力及び温度を能動的に制御するためのリアルタイムのシステムの構成可能性及び適応性を可能にするように構成されている。これは、1)チャネルの数を変更する、及び/又は2)撮像デバイス内の温度が仕様限界を超えないように、それらのチャネルでの電力損失を能動的に制御することによって、撮像デバイス内の電力損失を最小限に抑えることによって行われる。
【0078】
ここで図3Aをより詳細に取り上げると、図3Aは、いくつかの実施形態による、選択的に調整可能な機能を有する撮像デバイス300の概略図である。撮像デバイス300は、単なる例として、図1の撮像デバイス100又は図2の撮像デバイス202と同様であり得る。上記で説明したように、撮像デバイスは超音波医療用プローブを含み得る。図3Aは、撮像デバイス300のトランスデューサ302を示す。上記で説明したように、トランスデューサ302は、圧力波(図2、210)を送信及び受信するように適合されたトランスデューサ素子のアレイ(図1、104)を含み得る。いくつかの例では、撮像デバイス300は、トランスデューサ302及び圧力波(図2、210)が送信される人体、又は他の塊又は組織の間のインピーダンス整合界面として機能するコーティング層322を含み得る。場合によっては、コーティング層322は、所望の焦点距離と一致する曲率で設計された場合、レンズとして機能し得る。
【0079】
撮像デバイス300は、任意の適切なフォームファクタで具現化され得る。いくつかの実施形態では、トランスデューサ302を含む撮像デバイス300の一部は、撮像デバイス100の残りの部分から外側に延在し得る。撮像デバイス300は、コンベックスアレイプローブ、マイクロコンベックスアレイプローブ、リニアアレイプローブ、膣内プローブ、直腸プローブ、外科用プローブ、術中プローブなどのような任意の適切な超音波医療用プローブとして具現化され得る。
【0080】
いくつかの実施形態では、ユーザは、コーティング層322及び人体の間の界面におけるインピーダンス整合を改善し得るように、コーティング層322と直接接触する前に生体の皮膚にゲルを塗布し得る。インピーダンス整合により、界面での圧力波(図2、210)の損失、及び界面で撮像デバイス300に向かって進む反射波の損失が低減される。
【0081】
いくつかの例では、コーティング層322は、トランスデューサ102から体への音響信号の送信を最大化するために平坦な層であり得、逆も同様である。コーティング層322の厚さは、トランスデューサ102で生成される圧力波(図2、210)の4分の1波長であり得る。
【0082】
撮像デバイス300はまた、トランスデューサ102を制御するための、任意選択の特定用途向け集積回路(ASICチップ又はASIC)の形態の1つ又は複数のプロセッサなどの制御回路106を含む。制御回路106は、バンプなどを介してトランスデューサ102に結合され得る。上記で説明したように、送信チャネル108及び受信チャネル110は、選択的に変更可能又は調整可能であり得、これは、結果として送信チャネル108及び受信チャネル110の消費電力特性が制御され得るように、所与の時間にアクティブである送信チャネル108及び受信チャネル110の量が変更され得ることを意味する。例えば、選択的に変更されるチャネルが、電力が遮断されるか、又は低電力状態に設定されている受信チャネル(図1、110)の場合であり得る。受信チャネル(図1、110)は、反射された圧力波(図2、210)を受信し、信号を調整する(増幅、組み合わせ、処理など)ための様々な構成要素を含む。これらの構成要素は電力を消費し、したがって、受信チャネル(図1、110)の電力を遮断するか、又は低電力モードに設定することで、これらの構成要素は少ない電力を引き出し、したがって、発熱が減少する。
【0083】
別の例では、送信チャネル(図1、108)は、電力が遮断されているか、又は低電力状態に設定されていることがあり得る。具体的には、送信チャネル(図1、108)に関して言えば、送信チャネル(図1、108)は、pMUTトランスデューサ素子の1つの実施形態では、15ボルト(V)などの予め決められた値の電圧パルスを介して素子(図1、104)を駆動する。いくつかの例では、送信チャネル(図1、108)を低電力状態に置くことは、pMUTトランスデューサ素子の1つの実施形態では、電圧パルスの大きさを、5Vなどに下げることを意味し得る。
【0084】
いくつかの例では、チャネルを変更するための基礎は動作モードであり得る。例えば、撮像デバイスは、依然として高い画像解像度を維持しながら、消費電力を削減する低電力モードで動作し得る。画像の解像度は、画像の特定のフレームの走査線の数を指し得るか、又は1秒当たりに生成されるフレームの数を指し得る。したがって、より高解像度の画像を生成するには、より多くのチャネルの使用が必要になり得る。例えば、高解像度の画像には、128個の受信チャネル(図1、110)すべて及び128個の送信チャネル(図1、108)すべてが必要になり得る。しかし、より低い解像度の画像は、受信チャネル(図1、110)及び送信チャネル(図1、108)のサブセット、例えば、それぞれ64個だけを作動されることによって生成され得る。いくつかの例では、低電力モードは、撮像デバイスのユーザが特定の撮像物体を検索するモードを指し得、高電力モードは、物体がユーザによって発見され、物体の高解像度画像が所望されるモードを指し得る。この例では、低解像度部分の間、いくつかのチャネル(図1、108、110)の電力が遮断されるか、又は低電力状態に設定される。
【0085】
図3Aに戻ると、撮像デバイスはまた、撮像デバイス100の構成要素を制御するための1つ又は複数のプロセッサ326を含み得る。1つ又は複数のプロセッサ326は、制御回路106に加えて、トランスデューサ素子の作動を制御すること、トランスデューサ素子から反射された超音波波形に基づいて電気信号を処理すること、又は図1のコンピューティングデバイス112又は図2のコンピューティングデバイス216などのコンピューティングデバイスの1つ又は複数のプロセッサによって撮像される物体の画像を復元させるための信号を生成することのうちの少なくとも1つを行うように構成され得る。1つ又は複数のプロセッサ326は、撮像デバイスに関連付けられた他の処理機能を実行するようにさらに適合され得る。1つ又は複数のプロセッサ326は、任意のタイプのプロセッサ326として具現化され得る。例えば、1つ又は複数のプロセッサ326は、シングル又はマルチコアプロセッサ、シングル又はマルチソケットプロセッサ、デジタル信号プロセッサ、グラフィックスプロセッサ、ニューラルネットワーク計算エンジン、画像プロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)、又は他のプロセッサ又は処理/制御回路として具現化され得る。撮像デバイス100はまた、信号を処理/調整するためのアナログフロントエンド(Analog Front End:AFE)などの回路328、及びトランスデューサ102によって生成され回路328に向かって伝播する波を吸収するための音響吸収層330を含み得る。すなわち、トランスデューサ102は、基板上に実装され得、音響吸収層330に取り付けられ得る。この層は、逆方向(すなわち、コーティング層322から離れる方向で、ポート334に向かう方向)に放射する任意の超音波信号を吸収し、そうでなければ、反射して画像の品質を妨げ得る。図3Aは音響吸収層330を示しているが、他の構成要素が逆方向への超音波の物質透過を妨げる場合には、この構成要素は省略され得る。アナログフロントエンド328は、制御回路106、及びプロセッサ326などの撮像デバイスの他の構成要素とインターフェースするように構成された任意の1つ又は複数の回路として具現化され得る。例えば、アナログフロントエンド328は、例えば、1つ又は複数のデジタル/アナログ変換器、1つ又は複数のアナログ/デジタル変換器、1つ又は複数の増幅器などを含み得る。
【0086】
撮像デバイスは、例えば、ポート334又は無線トランシーバを介して、コンピューティングデバイス(図2、216)などの外部デバイスと、制御信号を含むデータを通信するための通信ユニット332を含み得る。撮像デバイス100は、データを記憶するためのメモリ336を含み得る。メモリ336は、本明細書に記載の機能を実行できる任意のタイプの揮発性又は不揮発性メモリ又はデータストレージとして具現化され得る。動作中、メモリ336は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、及びドライバなど撮像デバイス100の動作中に使用される様々なデータ及びソフトウェアを記憶し得る。
【0087】
いくつかの例では、撮像デバイス100は、撮像デバイス100の構成要素に電力を供給するための電池338を含み得る。チャネルの選択可能な変更は、撮像デバイス100が電池338を含む場合に、特に関連する影響を及ぼし得る。例えば、受信チャネル(図1、110)及び送信チャネル(図1、108)には電力を引き出す構成要素が含まれているため、電池は時間の経過と共に消耗する。いくつかの例では、これらの構成要素による電力の消費はかなり大きくなり得、その結果、電池338が短時間で消耗してしまう可能性がある。これは、大量の電力を消費する高品質な画像を取得する場合に特に関係する。電池338はまた、無線又は有線充電回路(図示せず)であり得る電池充電回路を含み得る。撮像デバイスは、消費された電池残量を示すゲージを含み得、電池寿命を改善するために電力管理を最適化するように撮像デバイスを構成するために使用される。追加的に又は代替的に、いくつかの実施形態では、撮像デバイスを壁のコンセントに差し込むことによってなど、外部電源によって撮像デバイスに電力を供給し得る。
【0088】
ここで図3Bを参照すると、コーティング層322がない、図3Aの撮像デバイス300のハウジング内の内部構成要素360のより詳細な図が示されている。図3Bに示す例では、前部360はレンズ366を含み得、その下には図示のようにASIC106に結合された微小電気機械(microelectromechanical:MEM)トランスデューサ302がある。ASICは、次いで、図3AのAFE328及びポート334と共に電池338、メモリ336、通信回路332及びプロセッサ326などの撮像デバイスの一部又は全部の電子部品を含み得るプリント回路基板(Printed Circuit Board:PCB)に結合される。レンズ366、トランスデューサ302、ASIC106及びPCB360を含む組立体は、1つ又は複数の接着層362、吸収体330、及びタングステン反射体などの反射体を含む一連の層上に置かれ得る。
【0089】
いくつかの実施形態では、図3A及び図3Bに示すような撮像デバイスの様々な構成要素が撮像デバイスから省略され得るか、又は撮像デバイスとは別の他の構成要素に含まれ得ることを理解されたい。例えば、1つの実施形態では、1つ又は複数のプロセッサ326は、制御回路106の一部又は全部を含み得る。追加的に又は代替的に、構成要素の一部又は全部は、システムオンチップ(SoC)又はマルチチップパッケージに統合され得るか、又はその一部を形成し得る。
【0090】
図4は、本明細書に記載の原理の一例によるトランスデューサ102アレイの側面図である。上記で説明したように、撮像デバイス(図1、100)は、それぞれが独自のトランスデューサ素子のアレイ(図1、104)を有するトランスデューサ102-1、102-2、102-3のアレイを含み得る。いくつかの例では、トランスデューサ102は、撮像物体(図2、214)のより広い角度を提供するために(例えば、図3Bで示唆されるように)湾曲し得る。
【0091】
図5は、単一のトランスデューサ102の上面図を示す。図5に示すように、トランスデューサ102は、トランシーバ基板540、及びその上に配置された1つ又は複数のトランスデューサ素子104を含み得る。バルクトランスデューサ素子を使用する従来のシステムとは異なり、トランスデューサ素子104はウエハ上に形成され得、ウエハは複数のトランスデューサ102を形成するためにダイシングされ得る。このプロセスは、トランスデューサ102を大量及び低コストで製造し得るため、製造コストを削減し得る。
【0092】
いくつかの例では、ウエハの直径は8~12インチ(20.32センチメートル~30.48センチメートル)の間の範囲であり得、その上に多くのトランスデューサ素子104のアレイがバッチ製造され得る。さらに、いくつかの例では、各トランスデューサ素子104は、好ましくは、25pm~100pm以内に近接して、例えば、受信チャネル(図1、108)及び送信チャネル(図1、106)などの整合集積回路に接続されるように、トランスデューサ素子104を制御するための制御回路(図1、106)が形成され得る。例えば、トランスデューサ102は、1,024個のトランスデューサ素子104を有し、1,024個のトランスデューサ素子104に対する適切な数の送信回路及び受信回路を有する整合制御回路(図1、106)に接続され得る。
【0093】
トランスデューサ素子104は、正方形、長方形、楕円形、又は円形などの任意の適切な形状を有し得る。図5に示すように、いくつかの例では、トランスデューサ素子104は、直交方向に配置された二次元アレイに配置され得る。すなわち、トランスデューサ素子104のアレイは、N列542及びM行544を有するM×Nアレイであり得る。
【0094】
ライン素子を生成するには、N個のトランスデューサ素子104の列542を電気的に並列に接続し得る。次いで、このライン素子は、各トランスデューサ素子104よりもほぼN倍の長さの連続トランスデューサ素子によって達成されるものと同様の超音波信号の送信及び受信を提供し得る。このライン素子は、列、又はライン、又はライン素子と交換可能に呼ばれ得る。ピエゾ素子の列の例を図5に参照番号542で示す。この例では、トランスデューサ素子104は、列542に配置され、関連付けられた送信ドライバ回路(送信チャネルの一部)及び受信チャネル回路の一部である低雑音増幅器を有する。
【0095】
明示的に示されていないが、送信及び受信回路は、特定の素子及び素子のセットを使用可能にするための多重化及びアドレス制御回路を含み得る。トランスデューサ102は、円形又は他の形状などの他の形状に配置され得ることが理解されよう。いくつかの例では、各トランスデューサ素子104は、互いの中心から中心まで250pmの間隔を置き得る。
【0096】
本明細書のトランスデューサ102では、複数の同一のトランスデューサ素子104を使用してライン素子を設計することが有利であり、各素子はその特有の中心周波数を有し得る。複数のトランスデューサ素子104が互いに接続される場合、複合構造(すなわち、ライン素子)は、すべての素子画素の中心周波数からなる中心周波数を有する1つのライン素子として機能し得る。最新の半導体プロセスでは、これらの中心周波数は互いにかなり一致し、ライン素子の中心周波数からの偏差が非常に小さくなり、さらに、中心周波数が若干異なる複数の画素を混合して、1つの中心周波数のみを使用するラインと比較して広帯域幅のラインを生成することも可能である。
【0097】
いくつかの例では、トランスデューサ102は、トランスデューサ102の温度を測定するために、1つ又は複数の温度センサ546-1、546-2、546-3、546-4を含み得る。図5は特定の位置に配置された温度センサ546を示しているが、温度センサ546はトランスデューサ102上の他の位置に配置され得、追加のセンサが撮像デバイス(図1、100)上の他の位置に配置され得る。
【0098】
1つの実施形態によれば、温度センサ546は、チャネル(図1、108、110)の選択的な調整をもたらし得る。すなわち、上記で説明したように、ハンドヘルドポータブル撮像デバイス(図1、100)内の温度は、予め決められた温度を超えて上昇し得る。したがって、温度センサ546は、トランスデューサ102の表面でのデバイスの温度を検出し得、トランスデューサ102の表面は、温度センサ546が閾値量、例えば、ユーザが設定した温度又は規制当局によって設定された温度よりも高い温度を検出した場合に患者と接触する表面であり、送信チャネル(図1、108)及び/又は受信チャネル(図1、110)の全部又は一部の電力を遮断するか、又は送信チャネル(図1、108)及び/又は受信チャネル(図1、110)の全部又は一部を低電力状態に設定するために、信号がコントローラ(図1、106)によって渡され得る。トランスデューサ102上に温度センサ546を配置することは、これが患者と接触する表面の近くにあり、したがって、ユーザが過剰な熱に気づき得るか、又は過剰な熱の影響を与え得る界面の温度に関するデータを提供するという点で有益である。
【0099】
図5には、トランスデューサ素子104の端子も示されている。すなわち、各トランスデューサ素子104は2つの端子を有し得る。第1の端子は、アレイ内のすべてのトランスデューサ素子104によって共有される共通端子であり得る。第2の端子は、トランスデューサ素子104を送信チャネル(図1、108)及び受信チャネル(図1、110)に接続し得る。この第2の端子は、その第1の列のトランスデューサ素子104について象徴的に示されるように、トランスデューサ素子104ごとに駆動され、感知される端子であり得る。簡単にするために、第2の端子は、その第1の列のトランスデューサ素子104についてのみ示されている。しかし、関連付けられた送信チャネル108及び受信チャネル110を有する同様の端子が、アレイ内の他のトランスデューサ素子104に配置される。制御信号を使用する制御回路(図1、106)は、それぞれの送信チャネル(図1、108)及び受信チャネル(図1、110)をオンにし、他の列542のチャネル(図1、108、110)をオフにすることによって、トランスデューサ素子104の列542を選択できる。同様の方法で、特定の行、又は個別のトランスデューサ素子104をオフにすることも可能である。
【0100】
図6は、本明細書に記載の原理の一例による、撮像デバイス100及びフレーム648の走査線650の等角図である。フレーム648は、臓器又は他の撮像物体の単一の静止画像を指す。フレーム648は、物体を貫通する横断面の画像に対応できる。フレーム648は個々の走査線650で構成される。すなわち、フレーム648は画像として見なされ得、走査線はその画像の個々の層又は断片である。解像度に応じて、特定のフレーム648は、100未満から数百までの範囲の異なる数の走査線650を含み得る。
【0101】
フレーム648を形成するために、トランスデューサ102は、ビームフォーミング回路を使用して、異なるトランスデューサ素子(図1、104)、例えば、その特定の列(図5、542)の圧力波を特定の焦点に集中させ得る。これらのトランスデューサ素子(図1、104)によって収集された反射信号は受信、遅延、重み付け、及び合計されて走査線650を形成する。次いで、ビームフォーミング技術に基づいて関心のある焦点を変更し得、例えば、100~200本の走査線650からなるフレーム648全体が生成されるまで処理が繰り返される。
【0102】
図7は、本明細書に記載される原理の一例による、走査線850の形成を示す。具体的には、図7は、図6の線A-Aに沿った1つのトランスデューサ102の断面図である。具体的には、図7は、トランスデューサ102を構成するトランスデューサ素子104を示す。図7では、簡単にするために、トランスデューサ102の1つのトランスデューサ素子104だけが参照番号で示されている。さらに、図7に示すトランスデューサ素子104は、ページ内に延びる他のトランスデューサ素子104を有する列(図5、542)の最上部のトランスデューサ素子104を表し得ることに留意されたい。図7はまた、走査線を形成するための制御回路(図1、106)内に見出され得る回路を示す。また、簡単にするために、図7には7個のトランスデューサ素子104及び7個のそれぞれの列(図5、542)のみが示されていることに留意されたい。しかし、上記で説明したように、トランスデューサ102は、任意の数のトランスデューサ素子104、例えば、128列(図5、542)を含み得、各列(図5、542)は、その中に配置された32個のトランスデューサ素子104を有する。
【0103】
走査線650を形成するために、反射超音波波形752が、いくつかのトランスデューサ素子104から、例えば、列内の各トランスデューサ素子104(図5、542)から受信される。これらの波形752は電気信号に変換される。いくつかの例では、列内のトランスデューサ素子104(図5、542)からの電気信号は、制御回路106に渡されるコンポジット信号754に合成され得る。各コンポジット信号754は、異なる送信長のために異なる時間に受信されるため、制御回路106は、各コンポジット信号754が同相になるように遅延させる。次いで、制御回路106は、調整された信号を合成して走査線650を形成する。
【0104】
上記で説明したように、画像のフレーム(図6、648)は多くの走査線650、多くの場合、128本以上で形成される。これらの走査線650は、撮像される領域を覆う。走査線650を集めてフレームに合成する時間(図6、648)は、撮像物体のフレームレートの観点から動画の品質を定義する。例えば、心臓を走査する例を仮定し、心臓がトランスデューサ102の表面から20cm下にあると仮定すると、音が組織内を1540m/秒で伝わると仮定して、超音波波形が心臓に伝わるまでに約130マイクロ秒(μs)かかる。次いで、信号は心臓から反射され、トランスデューサ102に到達するまでにさらに約130マイクロ秒かかり、総通過時間は約260マイクロ秒となる。N個の受信チャネル(図1、110)、例えば、128個のチャネルを使用して、1つの走査線650は、128個の送信チャネル(図1、108)から送信し、トランスデューサ素子(図1、104)の128列(図5、544)を駆動し、128列(図5、544)すべてから受信して、図7に示す信号を処理することによって形成される。フレーム当たり128本の走査線650(図6、648)があると仮定すると、最大フレームレートは約30fpsになる。
【0105】
いくつかの例では、例えば、肝臓及び腎臓では30fpsで十分であり得る。しかし、心臓などの動く臓器を撮像するには、より高いフレームレートが所望され得る。したがって、撮像デバイス(図1、100)は、複数の走査線650を同時に形成できる並列ビームフォーミングを実装し得る。複数の走査線650を一度に形成できるため、実効フレームレートを高め得る。例えば、4本の走査線650を同時に形成できれば、実効フレームレートは120fpsまで上昇し得る。並列ビームフォーミングは、撮像デバイス(図1、100)のFPGA(図3A、326)で実行され得る。
【0106】
いくつかの例では、受信及び/又は送信チャネル(図1、110、108)の選択的な電力の遮断は、並列ビームフォーミング動作によって影響を受け得る。例えば、並列ビームフォーミングを使用すると、120fpsのフレームレートが達成可能になり得る。しかし、30fpsで十分な場合は、完全にシャットダウンすることはできないが、かなりの低電力状態にすることはできる、いくつかの要件を考慮すると、受信チャネル(図1、110)は、1/4の時間で作動し、消費電力を4分の1又は4分の1弱に削減できる。例えば、4本の走査線のセットを同時に収集した後、受信チャネル(図1、110)を一定期間オフにし、次いで、再びオンにして別の4本の走査線を同時に収集できる。
【0107】
そのような技術により、消費電力を、例えば、開始消費電力値の約3.3分の1まで削減できる。言い換えれば、並列ビームフォーミングを実行する撮像デバイス(図1、100)内の受信チャネル(図1、110)の選択的な電力遮断は、全体的なフレームレートが維持されるように、一定時間、受信チャネル(図1、110)の電力を遮断する。撮像アーティファクトは電力を多く使用しない作業でデジタル的に補正でき、プローブ内に設置されていない表示プロセッサでも実行し得るため、そのような作業は画質に影響を与えない。
【0108】
画像のそのようなデジタル補正のためのアルゴリズムのいくつかの実施形態は、以下にさらに提供される。走査線650の形態の撮像デバイス(図1、100)からのデータは、USB又は他のインターフェースを介するような有線接続を使用して、無線などの任意の方法でコンピューティングデバイス(図2、216)ユニットに転送できる。この画像処理は、温度上昇に対する制限が少ない撮像デバイス(図1、100)の外部で行うことができる。スケーリングの量は、送信及び受信される並列ビームの数に依存する。例えば、2個の並列ビームを使用する場合はスケーリングが小さくなり得るか、又は8個の並列ビームを使用する場合はスケーリングが大きくなり得る。
【0109】
図8は、本明細書で説明される原理の一例による、受信チャネル110を示す。受信チャネル110は、反射された圧力波(図2、210)を受信するためにトランスデューサ素子(図1、104)に結合される。図8はまた、トランスデューサ素子(図1、104)及び送信チャネル(図1、110)の間の接続を示す。1つの例では、送信チャネル(図1、108)は、受信圧力及び送信パルスが出会うノードでの受信動作中に高インピーダンスになる。具体的には、反射された圧力波はトランスデューサ素子104内で電荷に変換され、これは低雑音増幅器(Low Noise Amplifier:LNA)(856)によって電圧に変換される。LNA(856)は電荷増幅器であり、電荷は出力電圧に変換される。いくつかの例では、LNA(856)はプログラマブル利得を有し、利得はリアルタイムで変更できる。
【0110】
LNA(856)は、トランスデューサ内の電荷を電圧出力に変換し、受信したエコー信号も増幅する。スイッチ(送信/受信スイッチ)は、受信動作モードにおいてLNA(856)をトランスデューサ素子104に接続する。
【0111】
次いで、このLNA(856)の出力は、信号を調整するために他の構成要素に接続される。例えば、プログラマブル利得増幅器(Programmable Gain Amplifier:PGA)(858)は、電圧の大きさを調整し、時間の関数として利得を変更する方法を提供し、時間利得増幅器(Time Gain Amplifier:TGA)として知られ得る。信号がより深く組織内に伝わると、信号は減衰する。
【0112】
したがって、補償にはより大きな利得が使用され、そのより大きな利得はTGAによって実装される。バンドパスフィルタ860は、雑音及び帯域外信号を除去するように動作する。アナログ/デジタル変換器(Analog to Digital Converter:ADC)862は、アナログ信号をデジタル化し、さらなる処理をデジタル的に行うことができるように、信号をデジタル領域に変換する。次いで、ADC862からのデータは、復調ユニット864でデジタル処理され、FPGA326に渡されて、図7に示すように走査線(図6、650)が生成される。いくつかの実装形態では、復調ユニット864は、他の場所、例えば、FPGAに実装できる。復調ユニットは、キャリア信号を、直交する2つの成分(I及びQ)を有するベースバンドに周波数シフトし、いくつかの例では、さらなるデジタル処理のために、アナログ/デジタル変換器(ADC)862は、ADC862の遅延を低減するために、逐次近似レジスタ(Successive-Approximation-Register:SAR)アーキテクチャを実装し得る。すなわち、ADC862はオフ及びオンを繰り返すため、オン後の信号処理を遅らせないように遅延がほとんどないか、又は、まったくない必要がある。
【0113】
説明したように、電力を節約するために、受信チャネル110の構成要素をオフにし得るか、又は低電力モードに設定し得る。すなわち、1つの例では、LNA856、PGA8058、ADC862及び他のデジタル処理構成要素で大量の電力が消費され、撮像デバイス(図1、100)は、128個の受信チャネル110を含む。多数の走査線(図8、650)を生成するために128個の受信チャネル110すべてを使用する消費電力は、大量の消費電力を引き起こし得る。
【0114】
1つの具体的な例として、LNA856が1mWを消費し、ADC862が40mWを消費し、復調、I/Q変換がさらに10mWを消費すると仮定する。この例では、各受信チャネル110は、デジタル処理によって消費される電力を考慮しないと、60mWを消費する。低電力FPGA326を使用して走査線(図6、650)を形成するために使用されるデジタル処理を組み込むことで、128個のチャネル110の実装の場合、FPGA326で約12Wであり、そのうち約9Wが計算関連であり、残りは、I/Oのオーバーヘッド及び静的損失である。したがって、この例では、128個の受信チャネル110の消費される電力は、ほぼ20Wになる。そのような電力レベルをハンドヘルド撮像デバイス(図1、100)でサポートするには技術的に現実的ではない。10W未満の電力数値が、より合理的な電力レベルである。したがって、例えば、受信チャネル110の数を半分に減らすことにより、消費電力も対応して半分になる。電力の削減は、電池寿命を改善するだけでなく、撮像デバイス(図1、100)の温度にも影響を与える。図8は受信チャネル110内の特定の構成要素を示しているが、受信チャネル110は、同様に低電力状態又は電力遮断状態にされ得る他の構成要素を含み得ることに留意されたい。
【0115】
チャネルの数を変更する以外に、他のパラメータは、並列ビームフォーミングを使用してフレームレートを上げ、次いで、目標のフレームレートに一致する時間にわたって回路をシャットダウンすることにより、ほとんどの場合、すべてのチャネルをシャットダウンする(又は電力を下げる)など、電力を大幅に削減するように構成することもできる。
【0116】
ここで図9Aを参照すると、1つの実施形態によれば、いくつかのトランスデューサ素子104a、104b、104c、104d、104e及び104fの概略図が、述べられている送信チャネル108又は受信チャネル110へのそれらの接続と共に提供される。送信チャネル108及び受信チャネル110は、超音波波形の送信又は受信のためのトランスデューサ素子のうちの対応するトランスデューサ素子を作動させるために選択的に作動され得、さらに、それらは、発射されるトランスデューサ素子の数よりも少ない数の送信チャネル及び/又は受信チャネルを包含し得、したがって、図9Aでは送信チャネル及び受信チャネルが破線で示されている。送信チャネル及び/又は受信チャネルの数が、発射されるトランスデューサ素子の数よりも少ない場合、送信チャネル及び/又は受信チャネルのうちの関連するチャネル内の制御回路及び/又は能動素子により、選択的な方法で、チャネルがトランスデューサ素子のうちの意図された1つにアドレス指定され得る(本明細書ではこれを機能的結合と呼び得る)。したがって、いくつかの実施形態によれば、撮像デバイスの制御回路は、トランスデューサ素子の意図された選択的発射パターンに基づいて、任意の送信チャネル及び/又は受信チャネルを選択されたトランスデューサ素子に結合させ得る。したがって、図9Aのチャネル108及び110の描写は、すべてのトランスデューサ素子が専用送信チャネル、物理的に近接した複数の受信チャネルを有するシナリオに限定されるものとして解釈されるべきではないが、1つ又は複数の送信チャネルを使用して、所与のトランスデューサ素子を選択的にアドレス指定して駆動するシナリオを包含すると解釈され得、複数の受信チャネルを使用して、所与のトランスデューサ素子を選択的にアドレス指定し得、反射された超音波エネルギに基づいてそこから生成される電気信号を処理し得る。
【0117】
さらに図9Aを参照すると、第1の電力(例えば、全電力など)でのフレームの場合、トランスデューサ素子104a~104fは、各トランスデューサ素子104に接続された送信チャネル108によって駆動されたとき、各トランスデューサ素子104に送信させるために、時間領域で1つずつのパターンで作動され得(すなわち、各トランスデューサ素子は、各トランスデューサ素子に結合された送信チャネルを介して電圧パルスによって駆動され、各トランスデューサ素子から超音波波形を送信させ得る)、トランスデューサで電圧に変換され、対応するごく最近に作動されたトランスデューサ素子からの送信に基づいて反射された超音波エネルギを捕捉するために、どの受信チャネルが作動されるかに応じて、クラスタ(図示の実施形態2~6)などの受信チャネル110のうちの1つ又は複数を通じてさらに処理される超音波エネルギの反射エコーを受信する。次いで、次のトランスデューサ素子104が同じ方法で送信及び受信するように駆動され、したがって、その後、対応する送信チャネル108及び受信チャネル110が上記で説明したように作動され得る。
【0118】
いくつかの実施形態によれば、送信チャネルは、以下に説明するように、線形モード又はセクタモードなどの異なるモードでトランスデューサ素子を駆動するように制御され得る。
【0119】
1つの実施形態によれば、線形モードでは、図9Aのトランスデューサ素子の連続発射は、連続する各トランスデューサ素子の発射モードが、ごく最近発射されたトランスデューサ素子によって送信超音波波形の方向と実質的に同一の方向に超音波波形を生成する連続発射を含み得る。
【0120】
別の実施形態によれば、セクタモードでは、図9Aのトランスデューサ素子の連続発射は、連続する各トランスデューサ素子の発射モードが、ごく最近に発射されたトランスデューサ素子によって送信超音波波形の方向とは異なり得る方向に超音波波形を生成し得る連続発射を含み得る。
【0121】
各トランスデューサ素子の発射は、フレームの走査線に寄与し得る。本明細書で使用されるフレームとは、撮像される物体の単一の静止画像を指す。フレームは、物体を貫通する断面図に対応し得、個々の走査線で構成され得る。すなわち、フレームは画像として見なされ得、走査線はその画像の個々の断片である。画像の解像度に応じて、特定のフレームは、例えば、100未満から数百までの範囲の異なる数の走査線を含み得る。
【0122】
フレームを形成するために、トランスデューサはビームフォーミング回路を使用して、異なるトランスデューサ素子、例えば、特定の列の圧力波を物体の特定の焦点に集中させ得る。これらのトランスデューサ素子によって収集された反射した超音波エネルギは、所与の受信チャネル(Rx走査線)によって受信、遅延、重み付け、及び合計されて走査線を形成し得る。次いで、ビームフォーミング技術に基づいて関心のある焦点が変更され、例えば、100~200本の走査線からなるフレーム全体が生成されるまで処理が繰り返される。
【0123】
ここで、図9B及び図9Cを参照すると、いくつかの実施形態では、消費電力及び発熱の低減は、Tx発射の空間パターンをインターレース方式で交互に(時間領域で奇数番号及び偶数番号のTx発射を交互に)フレームを生成することで達成され得る。
【0124】
消費電力を削減するか、又は、場合によっては異なるチャネルの電力を完全に遮断することによって、電池338の寿命を延ばし得、これにより、撮像デバイスの使いやすさが向上し、過熱の危険が軽減される。
【0125】
図9B及び図9Cに示される例示的な構成では、「(4,2)」構成のインターレース走査が示されており、Txチャネルごとに4本の受信(Rx)走査線がある(Tx走査線ごとに4つの受信チャネルに対応する))、その間に欠落した2本のRx走査線がある。「欠落した走査線」とは、本開示においては、対応するチャネルの電力が遮断されている/非アクティブであるために欠落している走査線を意味する。図9B及び図9Cでは、電力が遮断されたチャネルに対応する欠落した走査線が網掛けで示されているのに対し、アクティブな走査線は網掛けされていない。Tx線当たり1~10本のRx走査線を使用し、その間に1~20本の欠落したRx走査線を使用するなど、他のインターレース走査構成も可能であり、本開示の範囲内であることが当業者には明らかである。
【0126】
図10に示すように、インターレースによりRx走査線の数が減り(トランスデューサ素子の発射中に利用可能なすべてのRxチャネルに電力が供給されず、したがって、欠落した走査線が生じる)、それにより、欠落データを埋めるために各フレーム内で基本的な補間が使用される場合、画質が低下し、取得された超音波動画中に動き回る画像アーティファクトが生成される。動画として表示すると、フレーム内補間画像内のアーティファクトは、気が散る、許容できない動きのあるパターンとして表示される。
【0127】
図11に示すように、1つの実施形態では、インターレースデータから取得される画質が、非インターレースデータから取得される画質と同等となるように、実施形態による再構成アルゴリズムを適用し得る。
【0128】
例示的な実施形態では、Tx発射の数は、動画記録及び表示において歴史的に使用されてきたインターレース方式に類似しているが異なる走査法に対応して、各フレームで50%減少する。しかし、50%を超える又は50%未満の減少の可能性もあり、本開示の範囲内にあり得ることは、当業者には明らかであろう。
【0129】
従来の動画インターレースでは、画像は交互のフレームを使用して表現され、各フレームには奇数又は偶数の水平ラスタ走査線のみが含まれる。したがって、任意の所与の画像フレーム内で、表示される走査線の各対間に、欠落した走査線が1つだけ存在する。
【0130】
対照的に、上記で説明した撮像デバイスなどの超音波プローブは、Tx発射ごとに複数の受信(Rx)走査線を測定できる。したがって、取得された多数の走査線の間に、多数の欠落した走査線が存在し得る。さらに、1つの画像フレームの走査線の一部は次のフレームの走査線の一部と一致し得るのに対して、従来の動画インターレースでは通常、重複する走査線はない。さらに、走査線は、従来の動画インターレースのように、均一に間隔を置く必要はない。
【0131】
図9B及び図9Cは、インターレース走査構成の例を示す。図9Bでは、奇数フレームは、各奇数送信チャネル108によるTx発射を含み、各Tx発射に対して取得された4本のRx走査線901のグループ、及びその間の2本の欠落したRx走査線902のグループを有する。奇数Tx発射の結果として、撮像デバイスは、図12に関して以下で論じる奇数部分フレーム1202などの部分フレームを生成し得る。図9Cでは、偶数フレームは、各偶数送信チャネル108によるTx発射を含み、各Tx発射に対して取得された4本のRx走査線903のグループ、及びその間の2本の欠落したRx走査線904のグループを有する。偶数Tx発射の結果として、撮像デバイスは、図12に関して以下で論じる偶数部分フレーム1205などの部分フレームを生成し得る。この特定の構成では、4本のRx走査線901のグループの最も外側のRx走査線は奇数フレーム及び偶数フレームの両方で測定され、一方、最も内側のRx走査線は交互フレームでのみ測定されることに留意されたい。(S,M)走査構成は、各Tx発射によりS本の走査線{r,r,…,r}のグループが生成され、各グループ間にM本の欠落した走査線を有する構成として定義される。したがって、図9A及び図9Bに示す例は、(4,2)構成として示される。
【0132】
いくつかの実施形態では、撮像デバイスは異なる方法でインターレース走査を実行し得ることを理解されたい。例えば、撮像デバイスは、奇数送信チャネル108のセット又は偶数送信チャネル110のセット以外の送信チャネル108のサブセットを作動させることによって部分フレームを生成し得る。例えば、撮像デバイスは、送信チャネル108を3つごとに作動させ得るか、送信チャネル108の3つうちの2つを作動させ得るか、送信チャネル108を何らかの他の周期的パターンで作動させ得るか、又は送信チャネル108をランダム又は擬似ランダムに作動させ得る。送信チャネル108の一部を作動させることによって各部分フレームが生成された後、撮像デバイスは、以下でより詳細に論じるように、部分フレームを1つ又は複数の以前の完全フレーム又は部分フレームと組み合わせることによって完全フレームを再構成できる。
【0133】
インターレース画像フレームが取得されると、コンピューティングデバイス216は、再構成アルゴリズムを使用して、これらのインターレースフレーム(「低電力フレーム」)を処理し、フレーム(「全電力フレーム」)ごとにすべてのTx発射を使用することによって、取得される画質にできるだけ近い画質を有する新しい画像フレーム(「再構成フレーム」)の集合を生成する。
【0134】
この説明では、例として(4,2)の例を使用したTx消費電力の50%削減の例を使用して、再構成アルゴリズムについて説明しており;しかし、当業者には明らかなように、50%を超える又は50%未満の減少も、(4,2)以外の構成を選択し、Tx発射の総数などのパラメータを変更することによって可能である。
【0135】
上記の発射シーケンス及び以下で説明するアルゴリズムは、大部分がpMUT及びcMUTに関連して説明されているが、実施形態は、その範囲内に、バルクPZT(すなわち、「従来の」)超音波プローブに実装される同じ発射シーケンス、受信チャネル作動シーケンス、及び以下に説明するアルゴリズムを含む。実施形態はさらに、その範囲内に、任意の位相電力送信、指向性スピーカ、レーダ、などにおける、そのような距離測定用のアプリケーション(例えば、自動車用の距離センサ)を含む、任意の位相アレイアプリケーションで使用される、発射シーケンス、受信チャネル作動シーケンス、及び以下のアルゴリズムを含む。
【0136】
アルゴリズムの説明
【0137】
以下の説明は、再構成アルゴリズムの簡単な説明から始まり、次いで、徐々に詳細な説明に進む。このセクションで説明される再構成アルゴリズムは、特に線形モード撮像用に設計されているが、当業者には明らかなように、セクタモード撮像法、ドップラフロー撮像法、及び超音波撮像法の他のモードで動作するように適合させることができる。
【0138】
アルゴリズムの高レベルの概念的な概要
【0139】
図12は、本開示の1つの実施形態で実装される再構成アルゴリズムの高レベルのブロック図を示す。nを、ユーザに表示されるフレーム(n=0,1,2など)を列挙するインデックスとする。無期限の撮像のセッション全体を通じて、再構成アルゴリズムには、図12に示す一連の動作の繰り返し適用が含まれ、画像フレームn-1(「入力フレーム」) 1201は、再構成アルゴリズム1203に基づいて再構成フレームn 1204を生成するために、低電力部分フレームn 1202と併せて使用され、次いで、再構成アルゴリズム1203を使用して再構成フレームn+1 1206を取得するために、再構成フレームn及び低電力部分フレームn+1 1205が使用される。図12では、低電力部分フレームn及びn+1(それぞれ1202及び1205)は、例示の目的で、それぞれ奇数フレーム及び偶数フレームとして記載されている。しかし、代わりに、低電力フレームn及びn+1をそれぞれ偶数フレーム及び奇数フレームとして定義することもできる。n=0のとき(撮像の開始時)、例示的な実施形態では、入力フレームは全電力フレームであるか、あるいは、その低電力フレーム内の情報のみを使用する補間によって低電力フレームから生成された画像である。その後、図12の入力フレームは、アルゴリズムの前の繰り返しの出力である再構成フレームになる。したがって、図13に示すように、アルゴリズムは本質的に再帰的である。
【0140】
図13に示すように、アルゴリズムが初期化された後のすべての繰り返しでは(すなわち、1よりも大きい又は1に等しいnでのすべての繰り返しでは)、低電力部分フレーム1301が、再構成フレーム1302を更新するために使用され、次の低電力部分フレーム1301と共に再構成アルゴリズム1303にフィードバックされて、再構成フレーム1302を再び更新し、以下同様に行われる。この再帰的なプロセスは、撮像セッションの継続時間中にリアルタイムで行われる。
【0141】
図14は、再構成アルゴリズムの内部アーキテクチャを示す追加の詳細を提供する。図14に示すように、再構成アルゴリズム1400自体はブロック図として示されており、新しい奇数の低電力部分フレーム1401を使用して前の再構成フレームを更新する方法を示している。その後の繰り返しでは、偶数の低電力フレームを使用して、同じ方法で再構成フレームが再度更新され、以下同様に行われる。
【0142】
図14にさらに示されるように、再構成アルゴリズム1400は、概念的に以下の主要構成要素からなるものとして理解できる。
1. フレーム内補間。フレーム内補間1402(例えば、3次スプラインの使用)は、低電力部分フレーム1401(この例では奇数フレームn)に適用されて、その欠落した走査線を埋め、完全な画像フレーム1403を生成する。
2. 動き補償。ローカル適応ブロックマッチングによる動き補償又は動き推定1404は、「フレーム内補間」の結果1403及び前の再構成フレームn-1 1405の間の局所的な動きを推定するために使用される。このようにして得られた動きベクトルは、偶数Tx発射がオンにされた場合に得られた偶数フレーム、再構成偶数部分フレーム1406の動き補償推定値を計算するために使用される。
3. マージ。フレーム内補間フレーム1403及び再構成偶数部分フレーム1406は、次のように動作1407でマージされる。奇数フレームで欠落した走査線は、再構成偶数フレームの対応する走査線を使用して埋められる。奇数フレーム及び再構成偶数フレームの両方に存在する走査線((4,2)構成などのRx走査線の重複による)については、結果は2つの値を平均することによって得られる。1407でのマージ動作に続く、その結果は、次の再構成フレーム1408の「空間のみの推定」1408である。
4. ブレンド。前の再構成フレームn-1 1405と現在のフレーム1408の空間のみの推定値とのアルファブレンディング(線形結合)1409は、再構成フレームn 1410を得るために時間的平滑化を提供する。このステップにより、連続する画像フレーム間の時間的一貫性が促進され、ちらつきなどの望ましくない時間的アーティファクトの可能性が低減される。アルファブレンディングの代わりに、他の適切な時間的平滑化方法を使用し得る。
【0143】
アルゴリズムの詳細な説明
【0144】
表記及び用語
【0145】
f[n]が超音波画像シーケンスの再構成フレームn(現在のフレーム)を示すものとする。これは、表示又は記憶される画像フレームである。一般に、f[n]は、アルゴリズムによって再構築された全電力フレームの推定値であり;しかし、再帰は実際の全電力フレームを使用して初期化できる。
【0146】
h[n]がn番目(現在)に取得された低電力画像フレーム(偶数又は奇数)を表すものとする。
【0147】
intra[n]が、低電力フレームから得られたフレーム内補間フレームを示すものとする。
【0148】
図14を参照して、セットR={r,r,…,r}が、低電力フレーム内の欠落したS Rx走査線のグループのいずれかを示し、rがこれらの走査線の1つを表すものとする。
【0149】
図9B及び図9Cに示す(4,2)構成などの一部の走査構成では、Rx走査線の一部はフレームごとに繰り返されるが、その他は繰り返されない。Rrepeated⊂Rが繰り返される走査線のサブセットを示すものとし、Rmissing⊂RがRrepeatedの補数である欠落した走査線のセットであるとする。
【0150】
図15は、低電力フレーム内の領域に関するブロック及びマクロブロックを定義する例示的な図を示す。マクロブロックは、動き補償フレーム間予測を実現するためのローカルブロックマッチングに使用される。再構成アルゴリズムは、「ブロック」及び「マクロブロック」と呼ばれる画像領域に基づいている。「ブロック」b(1502)は、S×H画像アレイであり、ここで、S(1506)は、Tx発射当たりのRx走査線の数であり、H(1508)は、再構成アルゴリズムの可変パラメータである。マクロブロックmb(1504)は、図15に示すように、ブロックの両側を水平方向にP画素(1510)、垂直方向(又は線形)にP画素(1512)だけパディングすることによって得られる(S+2P)×(H+2P)画像アレイである。次元H(1508)、P(1510)、及びP(1512)は、本開示の1つの実施形態での再構成アルゴリズムの可変パラメータである。本開示の目的上、マクロブロックに含まれるブロックは、そのマクロブロックの「コア」と呼ばれる。本明細書で定義されたマクロブロックを、MPEG動画圧縮で使用されるマクロブロックと混同しないように留意されたい。
【0151】
一般的なブロックマッチング方法の再検討
【0152】
好ましい実施形態では、ブロックマッチングと呼ばれる確立された方法のカスタマイズされたバージョンが、フレーム間の画像の動きを推定するための基礎となる。本開示の特定のアルゴリズム構成要素の議論のバックグラウンドを提供するために、ブロックマッチングの一般的な概念を本明細書で検討する。
【0153】
ブロックマッチングは通常、動画の2つの画像フレーム間のフレーム間の動きを推定するために使用される。グローバルブロックマッチングでは、検索戦略を使用して2つのフレーム間のオフセットを決定し、フレーム間の最良の一致が得られ、それによって、一方のフレームから他方のフレームに発生した全体的な動きを表す単一の動きベクトルが定義される。ローカルブロックマッチングでは、画像のサブ領域を比較して、画像内の様々な点での局所的なフレーム間の動きを決定する。数学的には、任意の2つの画像又は画像サブ領域g(x)及びg(x)の間の推定された動きベクトルvは、次の最適化問題の解となる。
【数1】
ここで、xは画素座標又は画像サブ領域を示し、Wはvの解が検索される空間ウィンドウであり、Bはブロック内の画素のインデックスセット[定義:「画素のインデックスセット」]を表し、pは誤差ノルムであり、通常、1又は2とされる(線形モード及びセクタモードの好ましい実施形態は両方ともp=1を使用する)。ブロックマッチングでは、画像又は画像サブ領域g(x)及びg(x)は慣例的にブロックと呼ばれ、;しかし、この用語は、図15の文脈で前に与えられた「ブロック」の定義と混同すべきではない。
【0154】
グローバルブロックマッチングを実行する場合、g(x)及びg(x)は画像全体であるが、以下で説明するローカル適応ブロックマッチング動作では、マクロブロックがg(x)及びg(x)の代わりになる。
【0155】
再構成アルゴリズムの動作(線形モード撮像の好ましい実施形態)
1.低電力画像フレームh[n]を取得する。
2.3次スプラインによるフレーム内補間を使用して、h[n]から完全な画像フレームfintra[n]を計算する。
3.水平検索のみを使用して、fintra[n]及び前のフレームf[n-1]のグローバルブロックマッチングを実行する、すなわち、画像フレームfintra[n]全体は、式(1)のg(x)として機能する。
4.グローバルブロックマッチング誤差(式(1)の合計)が閾値Tを超える場合、f[n]の推定値f[n]をフレーム内補間fintra[n]に設定し、以下の動作5~8をスキップする。
5.それ以外の場合は、次のように空間のみの推定f[n]を構築する。
a.低電力フレームh[n]では、各Rx走査線グループRを垂直方向にS×Hブロックbの集合にセグメント化する(1502)。(図15を参照)。
b.h[n]内のブロックb及びRx走査線グループごとに、
i.現在のブロックbがそのコアであるh[n]内のマクロブロック領域に対応する領域のfintra[n]内の画素値を含む一時的なマクロブロックアレイmb(1504)を定義する。
ii.mb及びf[n-1]の間でローカル適応ブロックマッチング(LABM、詳細は以下を参照)を実行して、それらの間の最良の一致及びローカル動きベクトルを見つける。mbmatchが、f[n-1](mbと同じ画素寸法を有する)の領域を示すものとし、ここで、mbはf[n-1]に対する最良の一致である(式(1)の総和項によって測定される)。
iii.代入f[n]←h[n]。
iv.f[n]内のブロックbごとに、次のようにbの画素値を代入する。
1.mbmatchのコアからの画素値をbに代入する。
2.Rrepeatedの繰り返しRx走査線に対応するbの列に対して、f[n]のブロックbの画素値とfintra[n]の対応する画素数の加重平均を代入する。
6.アルファブレンディングを介して再構成された画像を構築する、すなわち、f[n]←αf[n]+(1-α)f[n-1]となり、ここで、α∈[0,1]である。
7.f[n]を表示又は保存する。
8.代入f[n-1]←f[n]。
9.動作1~8を繰り返す。
【0156】
ローカル適応ブロックマッチング(Locally-Adaptive Block Matching:LABM)動作の詳細(線形モード撮像の好ましい実施形態)
【0157】
上記のステップ5.b.iiのLABM動作は、図15で説明したマクロブロック(1504)のマッチングに基づいて、連続する画像フレームn及びn-1の間の局所的な動きを決定する。LABMは、画像の左上隅に最も近いマクロブロックから開始して、ラスタ走査方式でマクロブロックの動きを分析しながら逐次進行する。
【0158】
表記
【0159】
mbが画像フレームnのk番目のマクロブロックを示すものとし、v がフレームn内のマクロブロックkで推定された動きベクトルを示すものとし、vがその動きベクトルの真の値を表すとする。
【0160】
線形モード撮像用のLABMアルゴリズム
【0161】
LABMアルゴリズムは、前に説明したように、マクロブロックがブロックマッチングにおけるブロックの役割を果たす式(1)の形式を使用する。したがって、支配方程式は次のようになる。
【数2】
【0162】
LABMアルゴリズムでは、検索ウィンドウWが適応的に選択される。隣接するマクロブロックの局所的なフレーム間画像動きベクトルが典型的に類似している(すなわち、
【数3】
)という仮定の下で、v を見つけるために使用されるウィンドウは、v k-1を中心とする長方形領域Wとして定義できる。しかし、mbk-1の強度値が小さい場合、推定された動きベクトルv k-1は信頼できない可能性があり、その場合、v の検索は、予め定められたウィンドウW上で実行すべきである。
【0163】
以下の擬似コードは、本開示の上記のステップ5.b.2のローカル適応ブロックマッチングの詳細を説明する。
画像フレームnごとに実行する
(ラスタ走査順序で分析された)画像フレームn内のマクロブロックmbごとに実行する
合計強度Iをmbk-1で計算する
I>Tかつmbが所与の行の第1のマクロブロックではない場合
代入W←W
それ以外
代入W←W
終了
式(2)を使用してv を決定する
マッチング誤差ε(式(2)の合計)を閾値Tと比較する
ε>TかつI>Tの場合
intra[n]からの画素値をmbのコア内の対応する画素数に代入する
それ以外
mbk-1(x-v )のコアの値をmbのコアに代入する
終了
終了
終了
【0164】
線形モード撮像のアルゴリズムパラメータ
【0165】
この説明で開示される再構成アルゴリズムパラメータは、所与のアプリケーションにおいて最高画質を得るために選択されるべきである。値は、超音波プローブ、走査構成、撮像される臓器又は組織、その他の詳細に依存する。以下は、パラメータの選択に関する備考である。
1.パラメータT、T、及びTの値は、取得された走査線のノイズレベルに依存する。パラメータには、パラメータが比較される雑音の最大値の0~50%の任意の値など、任意の適切な値を代入し得る。例えば、T、T、及びTが比較される最大雑音値は、画素の最大値にブロック内の画素数を掛けた値であり得る。画素の最大値は、画素のビット深度に依存し得る。例えば、8ビット画素の最大値は255であり得る。例示的な実施形態では、T、T、及びTは、例えば、5%であり得る。
2.αの選択は、取得された画像データの空間解像度及びノイズレベルに基づいている。aの値は、0.2~1の任意の値など、任意の適切な値とし得る。例示的な実施形態では、aは例えば0.8であり得る。
3. 典型的には、WはW(例えば、3x3)よりも大きなウィンドウ(例えば、5x5)である。一般に、W及びWはそれぞれ、2x2から10x10などの任意の適切なサイズにし得る。いくつかの実施形態では、W及び/又はWは、長方形、楕円形、又は円形などの非正方形であり得る。4.
深さ3.5cm、Rx走査線あたり450サンプルでの撮像の場合、マクロブロックの以下のパラメータ値P=2、P=6、H=6が有用であることが証明されている。他の実施形態では、P、P、Hは、1~10の任意の値など、任意の適切な値とし得る。
【0166】
セクタモード
【0167】
前述の再構成アルゴリズムは、静脈などのより浅い撮像深度で特徴を撮像する場合に通常使用される線形モード撮像に適している。あるいは、セクタモード撮像は、より大きな解剖学的特徴又はより深い撮像深度での特徴のいずれかを撮像するときに使用され得る。線形モード撮像と比較して、セクタモード撮像では、関心のあるより大きな、又はより深い特徴を撮像するために追加の電力が必要である。いくつかの実施形態によれば、インターレースデータ取得方式及びコンピュータ化された画像再構成アルゴリズムは、セクタモード撮像と併せて使用され得、本開示の範囲内である。
【0168】
セクタモードでは、入力フレーム1405、フレーム内補間フレーム1403、空間のみの推定1408、及び再構成フレーム1410は、セクタモード形式の画像ではなく、直線形式に配置された走査線データからなる。[説明してください。「セクタモードで」ではなく「線形モードで」から始めるべきでしょうか?]したがって、当業者には明らかであろうプロセスによって、再構成フレーム1410を表示に適したセクタモード画像に変換するために、変換を適用しなければならない。
【0169】
再構成アルゴリズムの動作(セクタモード撮像の好ましい実施形態)
1.低電力フレームh[n]を取得する。
2.3次スプラインによるフレーム内補間を使用して、h[n]からフレーム内補間フレームfintra[n]を計算する。
3.水平検索のみを使用して、fintra[n]及び入力フレームf[n-1]のグローバルブロックマッチングを実行する、すなわち、フレーム内補間フレームfintra[n]全体は、式(1)のg(x)として機能する。
4.グローバルブロックマッチング誤差(式(1)の合計)が閾値Tを超える場合、f[n]の推定値f[n]をフレーム内補間フレームfintra[n]に設定し、以下の動作5~8をスキップする。
5.それ以外の場合は、次のように空間のみの推定f[n]を構築する。
a.低電力フレームh[n]では、各Rx走査線グループRを垂直方向(又は線形)にS×Hブロックbの集合にセグメント化する(1502)。(図15を参照)。
b.h[n]内のブロックb及びRx走査線グループRごとに、
i.現在のブロックbがそのコアであるh[n]内のマクロブロック領域に対応する領域のfintra[n]内の画素値を含む一時的なマクロブロックアレイmb(1504)を定義する。
ii.mbの平均画素値がいくつかの閾値Tよりも大きい場合、mb及びf[n-1]の間でローカル適応ブロックマッチング(LABM、詳細は以下を参照)を実行して、それらの間の最良の一致及びローカル動きベクトルを見つける。mbmatchが、f[n-1](mbと同じ画素寸法を有する)の領域を示すものとし、ここで、mbはf[n-1]に対する最良の一致である(式(1)の総和項によって測定される)。
iii.代入f[n]←h[n]。
iv.f[n]内のブロックbごとに、次のようにbの画素値を代入する。
1.mbmatchのコアからの画素値をbに代入する。
2.Rrepeatedの繰り返しRx走査線に対応するbの列に対して、f[n]のブロックbの画素値とfintra[n]の対応する画素数の加重平均を代入する。
6.アルファブレンディングを介して再構成された画像を構築する、すなわち、f[n]←αf[n]+(1-α)f[n-1]となり、ここで、α∈[0,1]である。
7.走査変換を使用して、再構成フレームf[n]内の直線形式の走査線データをセクタモード形式に変換して、fsector[n]を取得する。
8.fsector[n]を表示又は保存する。
9.代入f[n-1]←f[n]
10.動作1~8を繰り返す。
【0170】
ローカル適応ブロックマッチング(LABM)動作の詳細(セクタモード撮像の好ましい実施形態)
【0171】
上記のセクタモードの好ましい実施形態のステップ5.b.iiのLABM動作は、図15で説明したマクロブロックmb(1504)のマッチングに基づいて、連続する画像フレームn及びn-1の間の局所的な動きを決定する。LABMは、画像の左上隅に最も近いマクロブロックから開始して、ラスタ走査方式でマクロブロックの動きを分析しながら逐次進行する。
【0172】
表記
【0173】
mbが画像フレームnのk番目のマクロブロックを示すものとし、v がフレームn内のマクロブロックkで推定された動きベクトルを示すものとし、vがその動きベクトルの真の値を表すとする。
【0174】
セクタモード撮像用のLABMアルゴリズム
【0175】
LABMアルゴリズムは、前に説明したように、マクロブロックがブロックマッチングにおけるブロックの役割を果たす式(1)の形式を使用する。したがって、線形モードの好ましい実施形態と同様に、支配方程式は式(2)となる。
【0176】
LABMアルゴリズムでは、検索ウィンドウWが適応的に選択される。隣接するマクロブロックの局所的なフレーム間画像動きベクトルが典型的に類似している(すなわち、
【数4】
)という仮定の下で、v を見つけるために使用されるウィンドウは、v k-1を中心とする長方形領域Wとして定義できる。しかし、mbk-1の強度値が小さい場合、推定された動きベクトルv k-1は信頼できない可能性があり、その場合、v の検索は、予め定められたウィンドウW上で実行すべきである。
【0177】
以下の擬似コードは、上記の(セクタモードの好ましい実施形態の)のステップ5.b.2のローカル適応ブロックマッチングの詳細を説明する。
画像フレームnごとに実行する
(ラスタ走査順序で分析された)画像フレームn内のマクロブロックmbごとに実行する
合計強度Iをmbk-1で計算する
I>Tかつmbが所与の行の第1のマクロブロックではない場合
代入W←W
それ以外
代入W←W
終了
式(2)を使用してv を決定する
マッチング誤差ε(式(2)の合計)を閾値Tと比較する
ε>Tの場合fintra[n]からの画素値をmbのコア内の対応する画素数に代入する
それ以外
水平方向又は垂直方向のいずれかに画素の半分オフセットされたvの4つの値、すなわち、v±(0.5,0)及びv±(0,0.5)に対するマッチング誤差εを測定する
** が、これら4つの値のうち、εの最小値をもたらすvの値を示すとする。
mbk-1(x-v** )のコアの値をmbのコアに代入する
終了
終了
終了
【0178】
セクタモード撮像のアルゴリズムパラメータ
【0179】
この説明で開示される再構成アルゴリズムパラメータは、所与のアプリケーションにおいて最高画質を得るために選択されるべきである。値は、超音波プローブ、走査構成、撮像される臓器又は組織、その他の詳細に依存する。以下は、パラメータの選択に関する備考である。
1.パラメータT、T、及びTの値は、取得された走査線のノイズレベルに依存する。パラメータには、線形モード撮像に関して上記で論じたT、T、及びTと同様に、任意の適切な値を代入し得る。
2.好ましい実施形態では、α=1であり、これはブレンディングステップが効果的に省略されることを示し、しかし、αの他の値が有益な状況が発生する可能性がある。
3.典型的には、WはW(例えば、3x1)よりも大きなウィンドウ(例えば、3x3)である。ウィンドウW及びWは、典型的には、線形モード撮像よりも小さくなる。いくつかの実施形態では、W及びWはそれぞれ、2x1から10x10などの任意の適切なサイズにし得る。
4.深さ3.5cm、Rx走査線あたり450サンプルでの撮像の場合、マクロブロックの以下のパラメータ値P=2、P=6、H=6が有用であることが証明されている。
5.計算の複雑さを軽減するために、上記で説明したv** の半画素マッチングステップは、心臓画像を処理するとき、及び静止組織の走査線の所定の上部(プローブに最も近い)部分(例えば、30%)で省略される。
【0180】
低電力モード
【0181】
好ましい実施形態では、撮像デバイスの動作は、ユーザが選択可能な低電力モードとしてユーザに提供でき、ユーザによって所望されるようにオン又はオフに切り替えることができる機能により、ユーザは所望に応じて最適な画質を保証され得る。また、任意の永続的に記録された画像又は動画は、再構成フレーム(低電力データからの全電力画像の再構成)ではなく、正確に全電力フレームになるように、低電力モードは、ユーザが静止画像又は動画クリップのキャプチャを要求したときに自動的に一時的に停止され得る。走査構成をリアルタイムで調整することによって、プローブの動き及び画像の内容に基づいて走査中に電力削減の程度を変更することもできる。
【0182】
代替実施形態では、本明細書に記載のインターレースデータ取得方式及び再構成アルゴリズムを採用する低電力モードは、高画質を依然として維持しながら再充電が必要になるまでの残りの電池寿命を延ばすために、工場出荷時に設定された閾値又はユーザが事前に設定した閾値を下回った電池残量に応答して自動的に作動し得る。例えば、ユーザはユーザインターフェースを介して、電池残量が満充電の25%を下回ったときに低電力モードを作動させるように設定し得る。当業者であれば、電池出力に関連付けられた他の測定基準が、低電力モードが作動されるときの1つ又は複数の状況を設定するための基礎として利用され得ることを認識するであろう。
【0183】
代替実施形態では、本明細書に記載のインターレースデータ取得方式及び再構成アルゴリズムを採用する低電力モードは、高画質を依然として維持し、デバイスの稼働時間を延長しながら(又は、少なくともデバイスの冷却に必要なデバイスの停止時間を短縮しながら)、熱の蓄積を軽減し、オペレータ及び患者の両方の安全性を向上させるために、1つ又は複数のデバイス温度センサによって測定された、工場出荷時に設定された温度又はユーザが事前に設定した閾値温度を満たすか、又は超える撮像デバイスの温度に応答して自動的に作動され得る。例えば、ユーザはユーザインターフェースを介して、撮像デバイスの内部温度が特定の温度に達したか、又は特定の温度を超えたときに低電力モードを作動させるように設定し得る。
【0184】
図16は、いくつかの実施形態による、コンピューティングデバイスの装置(1つ又は複数のプロセッサを含む、その任意の部分など)で実行されるプロセス1600のフローチャートである。動作1602において、プロセスは、超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行することを含み、アルゴリズムは、ラウンドごとに、動作1602aにおいて、撮像デバイスの制御回路から、撮像デバイスのトランスデューサで受信された第1の超音波波形に基づく入力フレームに対応する入力フレーム信号;及びトランスデューサで受信された第2の超音波波形に基づく低電力部分フレームに対応する低電力部分フレーム信号を受信すること;低電力部分フレーム信号は、低電力部分フレームが欠落した走査線を定義するように、トランスデューサに結合された受信チャネルのインターレース作動から生成される;動作1602bにおいて、入力フレーム信号及び低電力部分フレーム信号を処理して、そこから再構成フレームを生成することを含む。動作1604において、プロセスは、各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つを含み、ここで、再構成アルゴリズムの初期化ラウンド後の入力フレームは、再構成アルゴリズムの前のラウンドの前の再構成フレームに対応する。
【0185】
図17は、いくつかの実施形態による、撮像デバイスの制御回路の装置(1つ又は複数のプロセッサを含む、その任意の部分など)で実行されるプロセス1700のフローチャートである。動作1702において、プロセスは、制御回路の1つ又は複数のプロセッサを撮像デバイスのトランスデューサ素子に結合する、1つ又は複数のTxチャネル及び対応するRxチャネルの1つ又は複数を選択的に作動させることを含み、選択的に作動させることは、トランスデューサ素子の対応するインターレース作動を引き起こすためにインターレースパターンで作動させることを含み、ここで、TXチャネルの作動は、対応するトランスデューサ素子に、撮像対象に向けて送信超音波波形を生成させることである。動作1704において、プロセスは、Rxチャネルのうちの対応するチャネルから電気信号を収集することを含み、電気信号は、欠落したRx走査線及びインターレースされた既存のRx走査線を含む低電力部分フレームを定義し、電気信号は、対象から反射された超音波から、及び送信超音波波形に基づいて生成される。動作1706において、プロセスは、電気信号をコンピューティングデバイスに送信して、コンピューティングデバイスに低電力部分フレームから再構成フレームを生成させることを含み、ここで、対象の画像は再構成フレームに基づいている。
【0186】
本開示の好ましい実施形態を本明細書に示し説明してきたが、そのような実施形態が単なる例として提供されたものであることは当業者には明らかであろう。実施形態が明細書内で提供される特定の例によって限定されることは意図されていない。本開示の実施形態は、前述の明細書を参照して説明されているが、本明細書の実施形態の説明及び例示は、限定的な意味で解釈されることを意図するものではない。当業者であれば、本開示の概念から逸脱することなく、数多くの変形、変更、及び置換をすぐに思いつくであろう。さらに、様々な実施形態のすべての態様は、様々な条件及び変数に依存する、本明細書に記載の特定の描写、構成、又は相対的比率に限定されないことを理解されたい。本明細書で説明した実施形態に対する様々な代替を採用し得ることを理解されたい。したがって、本開示は、任意のそのような代替、修正、変形、又は等価物も網羅するものと考えられる。例
【0187】
本明細書で開示される技術の例示的な例が、以下で提供される。これらの技術のある実施形態は、以下で説明される実施例のいずれか1つ又は複数、及び任意の組み合わせを含み得る。
【0188】
例1は、以下を行うための1つ又は複数のプロセッサを備えるコンピューティングデバイスの装置を含み、超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行すること、アルゴリズムは、ラウンドごとに、入力フレーム及び低電力部分フレームを処理して、そこから再構成フレームを生成することを含み、ここで、入力フレームは、撮像デバイスのトランスデューサで受信された第1の超音波波形に基づいており、低電力部分フレームは、欠落した走査線を定義し、トランスデューサで受信され、トランスデューサに結合された受信チャネルのインターレース作動から生成された第2の超音波波形に基づいている;及び各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つ、ここで、再構成アルゴリズムの初期化ラウンド後の入力フレームは、再構成アルゴリズムの前のラウンドの前の再構成フレームに対応している。
【0189】
例2は、例1の主題を含み、任意選択で、低電力部分フレームを処理することは、欠落した走査線を補間された走査線で埋めて、フレーム内補間フレームを生成するために、低電力部分フレームに対してフレーム内補間を実行すること;及び再構成フレームを生成するために、フレーム内補間フレームを処理することを含む。
【0190】
例3は、例2の主題を含み、任意選択で、低電力部分フレームは、奇数走査線及び欠落した偶数走査線、又は偶数走査線及び欠落した奇数走査線のうちの1つを含み、低電力部分フレーム及び入力フレームを処理することは、フレーム内補間フレーム及び前のラウンドの前の再構成フレームの間の動きベクトルを推定し動き補償フレームを生成するために、動き補償を実行すること、動き補償フレームは、低電力部分フレームが奇数走査線及び欠落した偶数走査線を含む場合には、偶数走査線及び欠落した奇数走査線を含み、低電力部分フレームが偶数走査線及び欠落した奇数走査線を含む場合には、奇数走査線及び欠落した偶数走査線を含む;及び再構成フレームを生成するために、動き補償フレームを処理することを含む。
【0191】
例4は、例3の主題を含み、任意選択で、動き補償を実行することは、ローカル適応ブロックマッチング又はグローバル適応ブロックマッチングのうちの少なくとも1つを実行することを含む。
【0192】
例5は、例4の主題を含み、任意選択で、動き補償フレームを処理することは、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージすること、マージすることは、フレーム内補間フレームの欠落した走査線を、動き補償フレームの対応する走査線で埋めることを含む;及び再構成フレームを生成するために、空間のみの推定再構成フレームを処理することを含む。
【0193】
例6は、例5の主題を含み、任意選択で、空間のみの推定再構成フレームを処理することは、空間のみの推定再構成フレームを、前の再構成フレームとブレンディングして、再構成フレームを生成することによって時間的平滑化を実行することを含む。
【0194】
例7は、例3の主題を含み、任意選択で、動きベクトルは、前の再構成フレームのサブ領域g(x)及びフレーム内補間フレームのサブ領域g(x)の間の推定された動きベクトルvに対応し、vは以下の式で与えられ、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bはブロック内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示す;及びブロックマッチングは、フレーム内補間フレーム全体がg(x)に対応する場合にのみ、水平検索を使用してグローバルブロックマッチングを実行することをさらに含む。
【0195】
例8は、例7の主題を含み、1つ又は複数のプロセッサは、vが閾値を超えているという判定に応答して、空間のみの推定再構成フレームに対応するように再構成フレームを設定する。
【0196】
例9は、例7の主題を含み、1つ又は複数のプロセッサが、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージすること、マージすることは、低電力部分フレームの走査線のグループRを線形にS×Hbブロックbの集合にセグメント化すること;及びブロックB及びグループRごとに、ブロックBがコアである低電力部分フレームの領域に対応する、フレーム内補間フレーム内の画素値の一時的なマクロブロックアレイmbを定義すること;及び最良の一致を見つけるために、mb及び前の再構成フレームの間で、ローカル適応ブロックマッチングを実行すること、最良の一致は、mbと同じ画素寸法を有する前の再構成フレームのマクロブロック領域mbmatchに対応している;空間のみの推定再構成フレームを、低電力部分フレームに対応するように設定すること;及び空間のみの推定再構成フレーム内のブロックBごとに、mbmatchのコアからブロックBの画素値を代入すること;及び繰り返される受信走査線に対応するBの列について、空間のみの推定再構成フレームのブロックBの画素値の加重平均を、フレーム内補間フレーム内の対応する画素値に代入することによって、フレーム内補間フレームの欠落した走査線を、動き補償フレームの対応する走査線で埋めることを含む。
【0197】
例10は、例6の主題を含み、任意選択で、時間的平滑化を実行することは、アルファブレンディングを使用することを含む。
【0198】
例11は、例9の主題を含み、任意選択で、撮像デバイスの動作のセクタモードでは、1つ又は複数のプロセッサは、mbの平均画素値が閾値よりも大きいという判定に応答して、ローカル適応ブロックマッチングを実行する;及び走査変換を使用して、再構成フレーム内の直線形式の走査線データをセクタモード形式の走査線データに変換して、再構成フレームを生成する。
【0199】
例12は、例9の主題を含み、任意選択で、ローカル適応ブロックマッチングを実行することは、画像フレーム内のマクロブロックmbごとに、画像フレームの前のマクロブロックmbk-1の合計強度を計算する;強度が第1の閾値を上回っており、mbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第1の空間ウィンドウW1を代入し、動きベクトルvの解が検索される;強度が第1の閾値を上回っていないか、又はmbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第2の空間ウィンドウW2を代入して、動きベクトルvの解が検索される;
【数5】
を使用して推定された動きベクトルvkを決定し、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bkはマクロブロックk内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示し、ここで、マッチング誤差
【数6】
であり;及びεが第2の閾値よりも大きいという判定に応答して、フレーム内補間フレームからの画素値をmbのコア内の対応する画素数に代入する;及びεが第2の閾値よりも大きくないという決定に応答して、mbk-1(x-v )のコア内の値をmbのコアに代入することを含み、ここで、kは各マクロブロックを指定する数である。
【0200】
例13は、例1の主題を含み、任意選択で、撮像デバイスのセクタモードでは、1つ又は複数のプロセッサは、εが第2の閾値よりも大きくないという判定に応答して、水平方向又は垂直方向のいずれかに画素の半分をオフセットしたvの4つの値のεを測定する;及びmbk-1(x-v** )のコアのmb値のコアに代入する。
【0201】
例14は、例1の主題を含み、メモリをさらに含み、メモリは1つ又は複数のプロセッサに結合される。
【0202】
例15は、例1及び例14のいずれか1つの主題を含み、1つ又は複数のプロセッサに結合された無線トランシーバをさらに含み、無線トランシーバは、撮像デバイスの制御回路から入力フレーム及び低電力部分フレームを受信する。
【0203】
例16は、以下を備えるコンピューティングデバイスの装置で実行される方法を含み、超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行すること、アルゴリズムは、ラウンドごとに、入力フレーム及び低電力部分フレームを処理して、そこから再構成フレームを生成することを含み、ここで、入力フレームは、撮像デバイスのトランスデューサで受信された第1の超音波波形に基づいており、低電力部分フレームは、欠落した走査線を定義し、トランスデューサで受信され、トランスデューサに結合された受信チャネルのインターレース作動から生成された第2の超音波波形に基づいている;及び各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つ、ここで、再構成アルゴリズムの初期化ラウンド後の入力フレームは、再構成アルゴリズムの前のラウンドの前の再構成フレームに対応している。
【0204】
例17は、例16の主題を含み、任意選択で、低電力部分フレームを処理することは、欠落した走査線を補間された走査線で埋めて、フレーム内補間フレームを生成するために、低電力部分フレームに対してフレーム内補間を実行すること;及び再構成フレームを生成するために、フレーム内補間フレームを処理することを含む。
【0205】
例18は、例17の主題を含み、任意選択で、低電力部分フレームは、奇数走査線及び欠落した偶数走査線、又は偶数走査線及び欠落した奇数走査線のうちの1つを含み、低電力部分フレーム及び入力フレームを処理することは、フレーム内補間フレーム及び前のラウンドの前の再構成フレームの間の動きベクトルを推定し動き補償フレームを生成するために、動き補償を実行すること、動き補償フレームは、低電力部分フレームが奇数走査線及び欠落した偶数走査線を含む場合には、偶数走査線及び欠落した奇数走査線を含み、低電力部分フレームが偶数走査線及び欠落した奇数走査線を含む場合には、奇数走査線及び欠落した偶数走査線を含む;及び再構成フレームを生成するために、動き補償フレームを処理することを含む。
【0206】
例19は、例18の主題を含み、任意選択で、動き補償を実行することは、ローカル適応ブロックマッチング又はグローバル適応ブロックマッチングのうちの少なくとも1つを実行することを含む。
【0207】
例20は、例19の主題を含み、任意選択で、動き補償フレームを処理することは、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージすること、マージすることは、フレーム内補間フレームの欠落した走査線を、動き補償フレームの対応する走査線で埋めることを含む;及び再構成フレームを生成するために、空間のみの推定再構成フレームを処理することを含む。
【0208】
例21は、例20の主題を含み、任意選択で、空間のみの推定再構成フレームを処理することは、空間のみの推定再構成フレームを前の再構成フレームとブレンディングして、再構成フレームを生成することによって時間的平滑化を実行することを含む。
【0209】
例22は、例18の主題を含み、任意選択で、動きベクトルは、前の再構成フレームのサブ領域g(x)及びフレーム内補間フレームのサブ領域g(x)の間の推定された動きベクトルvに対応し、v
【数7】
で与えられ、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bはブロック内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示す;及びブロックマッチングは、フレーム内補間フレーム全体がg(x)に対応する場合にのみ、水平検索を使用してグローバルブロックマッチングを実行することをさらに含む。
【0210】
例23は、例22の主題を含み、任意選択で、vが閾値を超えているという判定に応答して、空間のみの推定再構成フレームに対応するように再構成フレームを設定することをさらに含む。
【0211】
例24は、例22の主題を含み、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージすることをさらに含み、マージすることは、低電力部分フレームの走査線のグループRを線形にS×Hbブロックbの集合にセグメント化すること;及びブロックB及びグループRごとにブロックBがコアである低電力部分フレームの領域に対応する、フレーム内補間フレーム内の画素値の一時的なマクロブロックアレイmbを定義すること;及び最良の一致を見つけるために、mb及び前の再構成フレームの間で、ローカル適応ブロックマッチングを実行すること、最良の一致は、mbと同じ画素寸法を有する前の再構成フレームのマクロブロック領域mbmatchに対応している;空間のみの推定再構成フレームを、低電力部分フレームに対応するように設定すること;及び空間のみの推定再構成フレーム内のブロックBごとに、mbmatchのコアからブロックBの画素値を代入すること;及び繰り返される受信走査線に対応するBの列について、空間のみの推定再構成フレームのブロックBの画素値の加重平均を、フレーム内補間フレーム内の対応する画素値に代入することによって、フレーム内補間フレームの欠落した走査線を、動き補償フレームの対応する走査線で埋めることを含む。
【0212】
例25は、例21の主題を含み、任意選択で、時間的平滑化を実行することは、アルファブレンディングを使用することを含む。
【0213】
例26は、例24の主題を含み、任意選択で、撮像デバイスの動作のセクタモードでは、mbの平均画素値が閾値よりも大きいという判定に応答して、ローカル適応ブロックマッチングを実行すること;及び走査変換を使用して、再構成フレーム内の直線形式の走査線データをセクタモード形式の走査線データに変換して、再構成フレームを生成することを含む。
【0214】
例27は、例24の主題を含み、任意選択で、ローカル適応ブロックマッチングを実行することは、画像フレーム内のマクロブロックmbごとに、画像フレームの前のマクロブロックmbk-1の合計強度を計算すること;強度が第1の閾値を上回っており、mbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第1の空間ウィンドウW1を代入し、動きベクトルvの解が検索されること;強度が第1の閾値を上回っていないか、又はmbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第2の空間ウィンドウW2を代入して、動きベクトルvの解が検索されること;
【数8】
を使用して推定された動きベクトルvkを決定すること、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bkはマクロブロックk内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示し、ここで、マッチング誤差
【数9】
であり;及びεが第2の閾値よりも大きいという判定に応答して、フレーム内補間フレームからの画素値をmbのコア内の対応する画素数に代入すること;及びεが第2の閾値よりも大きくないという決定に応答して、mbk-1(x-v )のコア内の値をmbのコアに代入することを含み、ここで、kは各マクロブロックを指定する数である。
【0215】
例28は、例27の主題を含み、任意選択で、撮像デバイスのセクタモードでは、εが第2の閾値よりも大きくないという判定に応答して、水平方向又は垂直方向のいずれかに画素の半分をオフセットしたvの4つの値のεを測定すること;及びmbk-1(x-v** )のコアのmb値のコアに代入することをさらに含む。
【0216】
例29は、例16の主題を含み、任意選択で、無線トランシーバを介して、入力フレーム及び低電力部分フレームを、撮像デバイスの制御回路から受信することをさらに含む。
【0217】
例30は、超音波撮像デバイスの制御回路の装置を含み、装置は、撮像デバイスの超音波トランスデューサのトランスデューサ素子に結合される1つ又は複数のプロセッサを含み、トランスデューサ素子のインターレース作動を引き起こして、撮像対象に向けて送信超音波波形を生成し、欠落したRx走査線とインターレースされた既存の受信(Rx)走査線を含む低電力部分フレームを定義する電気信号を収集し、電気信号は、対象から反射された超音波から、及び送信超音波波形に基づいて生成される;及び電気信号をコンピューティングデバイスに送信して、コンピューティングデバイスに低電力部分フレームから再構成フレームを生成させ、ここで、対象の画像は再構成フレームに基づいている。
【0218】
例31は、例30の主題を含み、任意選択で、1つ又は複数のプロセッサは、撮像デバイスの送信(Tx)チャネル及び受信(Rx)チャネルを介してトランスデューサ素子に結合される;1つ又は複数のプロセッサは、Txチャネルの1つ又は複数及び対応するRxチャネルの1つ又は複数をインターレースパターンで選択的に作動させることによって、インターレース作動を引き起こす;及び少なくともTxチャネルの数又はRxチャネルの数はトランスデューサ素子の数よりも少なく、1つ又は複数のプロセッサは、選択的に作動させる前に、トランスデューサ素子に対する少なくともTxチャネルの数又はRxチャネルの数の機能的結合を制御する。
【0219】
例32は、例31の主題を含み、任意選択で、1つ又は複数のプロセッサは、インターレースパターンに基づいてトランスデューサ素子のそれぞれをアドレス指定するために、少なくともTxチャネルの数又はRxチャネルの数の1つ又は複数を制御することによって機能的結合を制御する。
【0220】
例33は、例31の主題を含み、任意選択で、インターレースパターンで選択的に作動させることは、撮像デバイスの送信(Tx)チャネルの1つ又は複数のうちの奇数チャネル及び偶数チャネルの交互の作動、及び撮像デバイスの受信(Rx)チャネルの対応するチャネルの1つ又は複数の対応する交互の作動を実行することを含む。
【0221】
例34は、例31の主題を含み、任意選択で、Rxチャネルの対応するチャネルの1つ又は複数は、Txチャネルの1つ又は複数のうちの少なくとも一部のための複数のRxチャネルを含む。
【0222】
例35は、例31の主題を含み、任意選択で、1つ又は複数のプロセッサは、線形モードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と同じ方向に超音波を生成する;及びセクタモードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と異なる方向に超音波を生成する。
【0223】
例36は、例30の主題を含み、任意選択で、トランスデューサ素子は、マイクロマシン超音波トランスデューサ素子を含む。
【0224】
例37は、例36の主題を含み、任意選択で、マイクロマシン超音波トランスデューサ素子は、容量性マイクロマシン超音波トランスデューサ(cMUT)素子又は圧電マイクロマシン超音波トランスデューサ(pMUT)素子のうちの1つを含む。
【0225】
例38は、例30の主題を含み、任意選択で、コンピューティングデバイスをさらに含み、コンピューティングデバイスは、超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行し、アルゴリズムは、ラウンドごとに、制御回路から受信すること、入力フレームは、撮像デバイスのトランスデューサで受信された第1の超音波波形に基づく入力フレームに対応する;及び低電力部分フレームが、トランスデューサで受信された第2の超音波波形に基づく低電力部分フレームに対応する;及び入力フレーム及び低電力部分フレームを処理して、そこから再構成フレームを生成すること;及び各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つを含み、ここで、再構成アルゴリズムの初期化ラウンド後の入力フレームは、再構成アルゴリズムの前のラウンドの前の再構成フレームに対応している。
【0226】
例39は、超音波撮像デバイスの制御回路の装置で実行される方法を含み、装置は、撮像デバイスの超音波トランスデューサのトランスデューサ素子に結合される1つ又は複数のプロセッサを含み、方法は、トランスデューサ素子のインターレース作動を引き起こして、撮像対象に向けて送信超音波波形を生成し、欠落したRx走査線とインターレースされた既存の受信(Rx)走査線を含む低電力部分フレームを定義する電気信号を収集し、電気信号は、対象から反射された超音波から、及び送信超音波波形に基づいて生成されること;及び電気信号をコンピューティングデバイスに送信して、コンピューティングデバイスに低電力部分フレームから再構成フレームを生成させ、ここで、対象の画像は再構成フレームに基づいていることを含む。
【0227】
例40は、例39の主題を含み、任意選択で、1つ又は複数のプロセッサは、撮像デバイスの送信(Tx)チャネル及び受信(Rx)チャネルを介してトランスデューサ素子に結合される;インターレース作動を引き起こすことは、インターレースパターンでTxチャネルの1つ又は複数及びRxチャネルの対応するチャネルの1つ又は複数を選択的に作動させることを含む;及び少なくともTxチャネルの数又はRxチャネルの数はトランスデューサ素子の数よりも少なく、方法は、選択的に作動させる前に、トランスデューサ素子に対する少なくともTxチャネルの数又はRxチャネルの数の機能的結合を制御することをさらに含む。
【0228】
例41は、例40の主題を含み、任意選択で、機能的結合を制御することは、インターレースパターンに基づいてトランスデューサ素子のそれぞれをアドレス指定するために、少なくともTxチャネルの数又はRxチャネルの数の1つ又は複数を制御することを含む。
【0229】
例42は、例40の主題を含み、任意選択で、インターレースパターンで選択的に作動させることは、Txチャネルの1つ又は複数のうちの奇数チャネル及び偶数チャネルの交互の作動、及びRxチャネルの対応するチャネルの1つ又は複数の対応する交互の作動を実行することを含む。
【0230】
例43は、例40の主題を含み、任意選択で、Rxチャネルの対応するチャネルの1つ又は複数は、Txチャネルの1つ又は複数のうちの少なくとも一部のための複数のRxチャネルを含む。
【0231】
例44は、例40の主題を含み、線形モードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と同じ方向に超音波を生成すること;及びセクタモードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と異なる方向に超音波を生成することをさらに含む。
【0232】
例45は、例40の主題を含み、任意選択で、トランスデューサ素子は、マイクロマシン超音波トランスデューサ素子を含む。
【0233】
例46は、例45の主題を含み、任意選択で、マイクロマシン超音波トランスデューサ素子は、容量性マイクロマシン超音波トランスデューサ(cMUT)素子又は圧電マイクロマシン超音波トランスデューサ(pMUT)素子のうちの1つを含む。
【0234】
例47は、例40の主題を含み、超音波撮像デバイスによる画像生成中に再構成アルゴリズムのラウンドを実行することをさらに含み、アルゴリズムは、ラウンドごとに、制御回路から受信すること、入力フレームは、撮像デバイスのトランスデューサで受信された第1の超音波波形に基づく入力フレームに対応する;及び低電力部分フレームが、トランスデューサで受信された第2の超音波波形に基づく低電力部分フレームに対応する;及び入力フレーム及び低電力部分フレームを処理して、そこから再構成フレームを生成すること;及び各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つを含み、ここで、再構成アルゴリズムの初期化ラウンド後の入力フレームは、再構成アルゴリズムの前のラウンドの前の再構成フレームに対応する。
【0235】
例48は超音波撮像デバイスの装置を含み、装置は、撮像デバイスの超音波トランスデューサのトランスデューサ素子に結合される1つ又は複数のプロセッサを含み、1つ又は複数のプロセッサは、超音波撮像デバイスの画像生成のラウンドを実行し、各ラウンドはトランスデューサ素子のインターレース作動を引き起こして、撮像対象に向けて送信超音波波形を生成し、欠落したRx走査線とインターレースされた既存の受信(Rx)走査線を含む低電力部分フレームを定義する電気信号を収集し、電気信号は、対象から反射された超音波から、及び送信超音波波形に基づいて生成される;及び低電力部分フレームを入力フレームと共に処理して、そこから再構成フレームを生成すること;及び各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つを含み、ここで、画像生成のラウンドのうちの初期化ラウンドの後の入力フレームは、画像生成の前のラウンドの前の再構成フレームに対応している。
【0236】
例49は、例48の主題を含み、任意選択で、1つ又は複数のプロセッサは、撮像デバイスの送信(Tx)チャネル及び受信(Rx)チャネルを介してトランスデューサ素子に結合される;1つ又は複数のプロセッサは、Txチャネルの1つ又は複数及び対応するRxチャネルの1つ又は複数をインターレースパターンで選択的に作動させることによって、インターレース作動を引き起こす;及び選択的に作動させることは、Txチャネルの1つ又は複数のうちの奇数チャネル及び偶数チャネルの交互の作動、及びRxチャネルの対応するチャネルの1つ又は複数の対応する交互の作動を実行することを含む。
【0237】
例50は、例49の主題を含み、任意選択で、Rxチャネルの対応するチャネルの1つ又は複数は、Txチャネルの1つ又は複数のうちの少なくとも一部のための複数のRxチャネルを含む。
【0238】
例51は、例49の主題を含み、任意選択で、1つ又は複数のプロセッサは、線形モードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と同じ方向に超音波を生成する;及びセクタモードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と異なる方向に超音波を生成する。
【0239】
例52は、例48の主題を含み、任意選択で、低電力部分フレームを処理することは、欠落したRx走査線を補間された走査線で埋めて、フレーム内補間フレームを生成するために、低電力部分フレームに対してフレーム内補間を実行すること;及び再構成フレームを生成するために、フレーム内補間フレームを処理することを含む。
【0240】
例53は、例52の主題を含み、任意選択で、低電力部分フレームは、奇数走査線及び欠落した偶数Rx走査線、又は偶数走査線及び欠落した奇数Rx走査線のうちの1つを含み、低電力部分フレーム及び入力フレームを処理することは、フレーム内補間フレーム及び前のラウンドの前の再構成フレームの間の動きベクトルを推定し動き補償フレームを生成するために、動き補償を実行すること、動き補償フレームは、低電力部分フレームが奇数走査線及び欠落した偶数Rx走査線を含む場合には、偶数走査線及び欠落した奇数Rx走査線を含み、低電力部分フレームが偶数走査線及び欠落した奇数Rx走査線を含む場合には、奇数走査線及び欠落した偶数Rx走査線を含む;及び再構成フレームを生成するために、動き補償フレームを処理することを含む。
【0241】
例54は、例53の主題を含み、任意選択で、動き補償を実行することは、ローカル適応ブロックマッチング又はグローバル適応ブロックマッチングのうちの少なくとも1つを実行することを含む。
【0242】
例55は、例53の主題を含み、任意選択で、動き補償フレームを処理することは、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージすること、マージすることは、フレーム内補間フレームの欠落したRx走査線を、動き補償フレームの対応する走査線で埋めることを含む;及び再構成フレームを生成するために、空間のみの推定再構成フレームを処理することを含む。
【0243】
例56は、例55の主題を含み、任意選択で、空間のみの推定再構成フレームを処理することは、空間のみの推定再構成フレームを、前の再構成フレームとブレンディングして、再構成フレームを生成することによって時間的平滑化を実行することを含む。
【0244】
例57は、例54の主題を含み、任意選択で、動きベクトルは、前の再構成フレームのサブ領域g(x)及びフレーム内補間フレームのサブ領域g(x)の間の推定された動きベクトルvに対応し、v
【数10】
で与えられ、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bはブロック内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示す;及びブロックマッチングは、フレーム内補間フレーム全体がg(x)に対応する場合にのみ、水平検索を使用してグローバルブロックマッチングを実行することをさらに含む。
【0245】
例58は、例57の主題を含み、1つ又は複数のプロセッサは、vが閾値を超えているという判定に応答して、空間のみの推定再構成フレームに対応するように再構成フレームを設定する。
【0246】
例59は、例57の主題を含み、1つ又は複数のプロセッサが、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージする、マージすることは、低電力部分フレームの走査線のグループRを線形にS×Hbブロックbの集合にセグメント化すること;及びブロックB及びグループRごとに、ブロックBがコアである低電力部分フレームの領域に対応する、フレーム内補間フレーム内の画素値の一時的なマクロブロックアレイmbを定義すること;及び最良の一致を見つけるために、mb及び前の再構成フレームの間で、ローカル適応ブロックマッチングを実行し、最良の一致は、mbと同じ画素寸法を有する前の再構成フレームのマクロブロック領域mbmatchに対応すること;空間のみの推定再構成フレームを、低電力部分フレームに対応するように設定すること;及び空間のみの推定再構成フレーム内のブロックBごとに、mbmatchのコアからブロックBの画素値を代入すること;及び繰り返される受信走査線に対応するBの列について、空間のみの推定再構成フレームのブロックBの画素値の加重平均を、フレーム内補間フレーム内の対応する画素値に代入することによって、フレーム内補間フレームの欠落したRx走査線を、動き補償フレームの対応する走査線で埋めることを含む。
【0247】
例60は、例56の主題を含み、任意選択で、時間的平滑化を実行することは、アルファブレンディングを使用することを含む。
【0248】
例61は、例59の主題を含み、任意選択で、撮像デバイスの動作のセクタモードでは、1つ又は複数のプロセッサは、mbの平均画素値が閾値よりも大きいという判定に応答して、ローカル適応ブロックマッチングを実行する;及び走査変換を使用して、再構成フレーム内の直線形式の走査線データをセクタモード形式の走査線データに変換して、再構成フレームを生成する。
【0249】
例62は、例59の主題を含み、任意選択で、ローカル適応ブロックマッチングを実行することは、画像フレーム内のマクロブロックmbごとに、画像フレームの前のマクロブロックmbk-1の合計強度を計算する;強度が第1の閾値を上回っており、mbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第1の空間ウィンドウW1を代入し、動きベクトルvの解が検索される;強度が第1の閾値を上回っていないか、又はmbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第2の空間ウィンドウW2を代入し、動きベクトルvの解が検索される;
【数11】
を使用して推定された動きベクトルvkを決定する、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bkはマクロブロックk内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示し、ここで、マッチング誤差
【数12】
である;及びεが第2の閾値よりも大きいという判定に応答して、フレーム内補間フレームからの画素値をmbのコア内の対応する画素数に代入する;及びεが第2の閾値よりも大きくないという決定に応答して、mbk-1(x-v )のコア内の値をmbのコアに代入することを含み、ここで、kは各マクロブロックを指定する数である。
【0250】
例63は、例62の主題を含み、任意選択で、撮像デバイスのセクタモードでは、1つ又は複数のプロセッサは、εが第2の閾値よりも大きくないという判定に応答して、水平方向又は垂直方向のいずれかに画素の半分をオフセットしたvの4つの値のεを測定し;及びmbk-1(x-v** )のコアのmb値のコアに代入する。
【0251】
例64は、例48の装置を含み、メモリをさらに含み、メモリは1つ又は複数のプロセッサに結合される。
【0252】
例65は、例48及び例64のいずれか1つの装置を含み、1つ又は複数のプロセッサに結合された無線トランシーバをさらに含み、無線トランシーバは、再構成フレームをディスプレイに送信する。
【0253】
例66は、超音波撮像デバイスの装置で実行される方法を含み、装置は、撮像デバイスの超音波トランスデューサのトランスデューサ素子に結合される1つ又は複数のプロセッサを含み、方法は、超音波撮像デバイスの画像生成のラウンドを実行する段階を含み、各ラウンドは、トランスデューサ素子のインターレース作動を引き起こして、撮像対象に向けて送信超音波波形を生成し、欠落したRx走査線とインターレースされた既存の受信(Rx)走査線を含む低電力部分フレームを定義する電気信号を収集し、電気信号は、対象から反射された超音波から、及び送信超音波波形に基づいて生成されること;及び低電力部分フレームを入力フレームと共に処理して、そこから再構成フレームを生成すること;及び各再構成フレームをディスプレイ上に表示させるための表示信号を生成すること、又は各再構成フレームをメモリに記憶させることのうちの少なくとも1つを含み、ここで、画像生成のラウンドのうちの初期化ラウンドの後の入力フレームは、画像生成の前のラウンドの前の再構成フレームに対応している。
【0254】
例67は、例66の主題を含み、任意選択で、1つ又は複数のプロセッサは、撮像デバイスの送信(Tx)チャネル及び受信(Rx)チャネルを介してトランスデューサ素子に結合される;インターレース作動を引き起こすことは、インターレースパターンでTxチャネルの1つ又は複数及びRxチャネルの対応するチャネルの1つ又は複数を選択的に作動させることを含む;及び選択的に作動させることは、Txチャネルの1つ又は複数のうちの奇数チャネル及び偶数チャネルの交互の作動、及びRxチャネルの対応するチャネルの1つ又は複数の対応する交互の作動を実行することを含む。
【0255】
例68は、例67の主題を含み、任意選択で、Rxチャネルの対応するチャネルの1つ又は複数は、Txチャネルの1つ又は複数のうちの少なくとも一部のための複数のRxチャネルを含む。
【0256】
例69は、例67の主題を含み、任意選択で、線形モードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と同じ方向に超音波を生成すること;及びセクタモードでは、インターレースパターンでTxチャネルの1つ又は複数を選択的に作動させ、Txチャネルの1つ又は複数のそのように作動されたチャネルは、Txチャネルの1つ又は複数の前に作動されたチャネルによって生成された超音波の方向と異なる方向に超音波を生成することをさらに含む。
【0257】
例70は、例67の主題を含み、任意選択で、低電力部分フレームを処理することは、欠落したRx走査線を補間された走査線で埋めて、フレーム内補間フレームを生成するために、低電力部分フレームに対してフレーム内補間を実行すること;及び再構成フレームを生成するために、フレーム内補間フレームを処理することを含む。
【0258】
例71は、例70の主題を含み、任意選択で、低電力部分フレームは、奇数走査線及び欠落した偶数Rx走査線、又は偶数走査線及び欠落した奇数Rx走査線のうちの1つを含み、低電力部分フレーム及び入力フレームを処理することは、フレーム内補間フレーム及び前のラウンドの前の再構成フレームの間の動きベクトルを推定し動き補償フレームを生成するために、動き補償を実行すること、動き補償フレームは、低電力部分フレームが奇数走査線及び欠落した偶数Rx走査線を含む場合には、偶数走査線及び欠落した奇数Rx走査線を含み、低電力部分フレームが偶数走査線及び欠落した奇数Rx走査線を含む場合には、奇数走査線及び欠落した偶数Rx走査線を含む;及び再構成フレームを生成するために、動き補償フレームを処理することを含む。
【0259】
例72は、例71の主題を含み、任意選択で、動き補償を実行することは、ローカル適応ブロックマッチング又はグローバル適応ブロックマッチングのうちの少なくとも1つを実行することを含む。
【0260】
例73は、例72の主題を含み、任意選択で、動き補償フレームを処理することは、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージすること、マージすることは、フレーム内補間フレームの欠落したRx走査線を、動き補償フレームの対応する走査線で埋めることを含む;及び再構成フレームを生成するために、空間のみの推定再構成フレームを処理することを含む。
【0261】
例74は、例73の主題を含み、任意選択で、空間のみの推定再構成フレームを処理することは、空間のみの推定再構成フレームを前の再構成フレームとブレンディングして、再構成フレームを生成することによって時間的平滑化を実行することを含む。
【0262】
例75は、例71の主題を含み、任意選択で、動きベクトルは、前の再構成フレームのサブ領域g(x)及びフレーム内補間フレームのサブ領域g(x)の間の推定された動きベクトルvに対応し、v
【数13】
で与えられ、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bはブロック内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示す;及びブロックマッチングは、フレーム内補間フレーム全体がg(x)に対応する場合にのみ、水平検索を使用してグローバルブロックマッチングを実行することをさらに含む。
【0263】
例76は、例75の主題を含み、任意選択で、vが閾値を超えているという判定に応答して、空間のみの推定再構成フレームに対応するように再構成フレームを設定する。
【0264】
例77は、例75の主題を含み、空間のみの推定再構成フレームを生成するために、フレーム内補間フレームを動き補償フレームとマージすることをさらに含み、マージすることは、低電力部分フレームの走査線のグループRを線形にS×Hbブロックbの集合にセグメント化すること;及びブロックB及びグループRごとに、ブロックBがコアである低電力部分フレームの領域に対応する、フレーム内補間フレーム内の画素値の一時的なマクロブロックアレイmbを定義すること;及び最良の一致を見つけるために、mb及び前の再構成フレームの間で、ローカル適応ブロックマッチングを実行し、最良の一致は、mbと同じ画素寸法を有する前の再構成フレームのマクロブロック領域mbmatchに対応すること;空間のみの推定再構成フレームを、低電力部分フレームに対応するように設定すること;及び空間のみの推定再構成フレーム内のブロックBごとに、mbmatchのコアからブロックBの画素値を代入すること;及び繰り返される受信走査線に対応するBの列について、空間のみの推定再構成フレームのブロックBの画素値の加重平均を、フレーム内補間フレーム内の対応する画素値に代入することによって、フレーム内補間フレームの欠落したRx走査線を、動き補償フレームの対応する走査線で埋めることを含む。
【0265】
例78は、例74の主題を含み、任意選択で、時間的平滑化を実行することは、アルファブレンディングを使用することを含む。
【0266】
例79は、例77の主題を含み、撮像デバイスの動作のセクタモードでは、mbの平均画素値が閾値よりも大きいという判定に応答して、ローカル適応ブロックマッチングを実行すること;及び走査変換を使用して、再構成フレーム内の直線形式の走査線データをセクタモード形式の走査線データに変換して、再構成フレームを生成することをさらに含む。
【0267】
例80は、例77の主題を含み、任意選択で、ローカル適応ブロックマッチングを実行することは、画像フレーム内のマクロブロックmbごとに、画像フレームの前のマクロブロックmbk-1の合計強度を計算すること;強度が第1の閾値を上回っており、mbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第1の空間ウィンドウW1を代入し、動きベクトルvの解が検索される;強度が第1の閾値を上回っていないか、又はmbが画像の所与の行の第1のマクロブロックではないという判定に応答して、空間ウィンドウWの値に対応する第2の空間ウィンドウW2を代入し、動きベクトルvの解が検索される;
【数14】
を使用して推定された動きベクトルvkを決定すること、ここで、xは画像サブ領域の画素座標を示し、Wはvの解が検索される空間ウィンドウを示し、Bkはマクロブロックk内の画素のインデックスセットを示し、pは1又は2に等しい誤差ノルムを示し、ここで、マッチング誤差
【数15】
である;及びεが第2の閾値よりも大きいという判定に応答して、フレーム内補間フレームからの画素値をmbのコア内の対応する画素数に代入する;及びεが第2の閾値よりも大きくないという決定に応答して、mbk-1(x-v )のコア内の値をmbのコアに代入することを含み、ここで、kは各マクロブロックを指定する数である。
【0268】
例81は、例80の主題を含み、任意選択で、撮像デバイスのセクタモードでは、εが第2の閾値よりも大きくないという判定に応答して、水平方向又は垂直方向のいずれかに画素の半分をオフセットしたvの4つの値のεを測定すること;及びmbk-1(x-v** )のコアのmb値のコアに代入することをさらに含む。
【0269】
例82は、例66の主題を含み、任意選択で、再構成フレームをディスプレイに送信させることをさらに含む。
【0270】
例83は、例16~29、例39~47、及び例66~82のいずれか1つの方法を実行するための手段を備える装置を含む。
【0271】
例84は、実行されると、1つ又は複数のプロセッサに例16~29、例39~47、及び例66~82のいずれか1つの方法を、1つ又は複数のプロセッサに実行させる複数の命令を記憶し、それらを備える1つ又は複数のコンピュータ可読媒体を含む。
【0272】
例85は、例1~15、例30~38、及び例48~65のいずれか1つの装置、及び装置に結合された超音波トランスデューサを備える撮像デバイスを含む。
【0273】
例86は、例85の撮像デバイスを含み、ハウジングをさらに含み、装置はハウジング内に配置される。
【0274】
例87は、例85の撮像デバイスを含む、ディスプレイをさらに含む。
図1
図2
図3A
図3B
図4
図5
図6
図7
図8
図9A
図9B
図9C
図10
図11
図12
図13
図14
図15
図16
図17
【国際調査報告】