(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-28
(45)【発行日】2022-05-12
(54)【発明の名称】画像再構築の方法
(51)【国際特許分類】
G01S 13/90 20060101AFI20220502BHJP
H01Q 3/02 20060101ALI20220502BHJP
H01Q 21/06 20060101ALI20220502BHJP
【FI】
G01S13/90 135
H01Q3/02
H01Q21/06
(21)【出願番号】P 2019530499
(86)(22)【出願日】2017-12-08
(86)【国際出願番号】 US2017065435
(87)【国際公開番号】W WO2018147929
(87)【国際公開日】2018-08-16
【審査請求日】2020-11-20
(32)【優先日】2016-12-08
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2016-12-09
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2016-12-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517075883
【氏名又は名称】ユニバーシティ オブ ワシントン
【氏名又は名称原語表記】University of Washington
【住所又は居所原語表記】4545 Roosevelt Way NE, Suite 400, Seattle, Washington 98105 US
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】レイノルズ, マシュー エス.
(72)【発明者】
【氏名】ペドロス-エンゲル, アンドレアス
(72)【発明者】
【氏名】ワッツ, クレア
(72)【発明者】
【氏名】デヴァディティヤ, サンダマリ
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開2014-182124(JP,A)
【文献】米国特許出願公開第2014/0266869(US,A1)
【文献】特表2016-507718(JP,A)
【文献】米国特許出願公開第2014/0232591(US,A1)
【文献】特開2013-065995(JP,A)
【文献】特開平09-178846(JP,A)
【文献】特開平06-118166(JP,A)
【文献】米国特許第05323162(US,A)
【文献】米国特許出願公開第2004/0021600(US,A1)
【文献】特開2014-202670(JP,A)
【文献】特開2011-135484(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00 - 7/42
G01S 13/00 -13/95
H01Q 21/06
H01Q 3/02
(57)【特許請求の範囲】
【請求項1】
画像再構築の方法であって、前記方法は、
場面から散乱させられた信号を受信することであって、前記散乱させられた信号は、少なくとも1つのアンテナを備えているアンテナシステムによる前記場面の調査に応答し、前記少なくとも1つのアンテナと前記場面との間の複数の相対位置におけるものである、ことと、
調査に応答して第1の相対位置において受信された信号に基づいて、測定行列を構築し、それを逆行列に変換することと、
前記場面の反射率値の複数の推定値を計算することであって、前記複数の推定値の各々は、前記少なくとも1つのアンテナの特定の相対位置に対応し、前記複数の推定値の各々は、前記測定行列を使用して計算される、ことと、
前記反射率値の前記複数の推定値を組み合わせ、前記場面のための総反射率値を生成することと、
前記総反射率値に基づいて画像データを生成することと
を含む、方法。
【請求項2】
前記計算することは、前記反射率値の前記複数の推定値のうちの少なくとも一部を並行して計算することを含む、請求項1に記載の方法。
【請求項3】
並列処理のために、前記複数の推定値のうちのそれぞれのものをグラフィック処理ユニット(GPU)のそれぞれのコアに割り当てることをさらに含む、請求項2に記載の方法。
【請求項4】
前記構築し、それを逆行列に変換することは、整合フィルタリング、逆フィルタリング、擬似逆フィルタリング、またはそれらの組み合わせを含む、請求項1に記載の方法。
【請求項5】
前記構築し、それを逆行列に変換することは、擬似逆フィルタリングを使用することを含み、前記方法は、打ち切り特異値分解を使用して前記測定行列を正則化することをさらに含む、請求項4に記載の方法。
【請求項6】
切り捨て値を決定することをさらに含み、前記決定することは、非バイアス予測リスク推定器、相変原理、一般化交差検証、またはL字曲線法のうちの少なくとも1つを適用することを含む、請求項5に記載の方法。
【請求項7】
前記組み合わせることは、総和することまたは加重総和することを含む、請求項1に記載の方法。
【請求項8】
前記アンテナシステムを前記場面に対してラスタ走査パターンで移動させることをさらに含む、請求項1に記載の方法。
【請求項9】
前記アンテナシステムを前記場面に対して線形運動で移動させることをさらに含む、請求項1に記載の方法。
【請求項10】
前記アンテナシステムを前記場面に対して自由形態運動で移動させることと、相対位置センサを使用して、前記場面に対する前記アンテナシステムの前記相対位置を決定することとをさらに含む、請求項1に記載の方法。
【請求項11】
反射率値の複数の推定値を計算することは、それぞれの加重された行列を使用して、前記場面に従って前記反射率値を並べ替えることをさらに含む、請求項1に記載の方法。
【請求項12】
前記複数の推定値の各々は、前記少なくとも1つのアンテナの所定のビーム幅内の前記場面の一部に対してのみ計算される、請求項1に記載の方法。
【請求項13】
前記場面の前記一部は、前記少なくとも1つのアンテナと前記場面との間の前記複数の相対位置の各々に対して別個に決定される、請求項12に記載の方法。
【請求項14】
前記反射率値に基づいて画像データを生成することは、前記反射率値に対応する2Dピクセルデータ、3Dボクセルデータ、またはそれらの組み合わせを生成することを含む、請求項1に記載の方法。
【請求項15】
前記アンテナシステムの前記少なくとも1つのアンテナの各々は、互いに機械的に結合されており、前記方法は、前記アンテナシステムを前記場面に対して物理的に移動させ、前記複数の相対位置を提供することをさらに含む、請求項1に記載の方法。
【請求項16】
前記少なくとも1つのアンテナの各々は、前記場面に対して静止しており、前記少なくとも1つのアンテナの各々は、前記場面に対して異なる位置に位置している、請求項1に記載の方法。
【請求項17】
前記場面から散乱させられた信号を受信することは、前記散乱させられた信号に対応する数値をメモリまたは記憶バッファ内に記憶することを含む、請求項1に記載の方法。
【請求項18】
前記場面の反射率値の複数の推定値を計算することは、少なくとも部分的に、配分行列を使用して、前記
記憶バッファからの前記数値を前記複数の推定値の各々に割り当てることによって、実施される、請求項17に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の引用)
本願は、米国特許法§119に基づき、米国仮出願第62/431,754号(2016年12月8日出願)の先出願日の利益を主張し、上記出願の全内容は、それらのあらゆる目的において参照により本明細書に引用される。
【0002】
本願は、米国特許法§119に基づき、米国仮出願第62/432,307号(2016年12月9日出願)の先出願日の利益を主張し、上記出願の全内容は、それらのあらゆる目的において参照により本明細書に引用される。
【0003】
本願は、米国特許法§119に基づき、米国仮出願第62/432,375号(2016年12月9日出願)の先出願日の利益を主張し、上記出願の全内容は、それらのあらゆる目的において参照により本明細書に引用される。
【0004】
(研究および開発に関する陳述)
本発明は、国土安全保障省による授与番号HSHQDC-12-C-00049、および国家偵察局による授与番号15-USG-1064 MOD03の下で政府支援を得てなされた。政府は、本発明における一定の権利を有する
【0005】
(技術分野)。
本明細書に説明される例は、ミリ波および/またはマイクロ波撮像システムおよび方法に関する。
【背景技術】
【0006】
ミリ波(mmW)および/またはマイクロ波撮像は、セキュリティスクリーニング、壁を通した感知および撮像、非破壊検査および評価、生成品質監視、ならびに乗り物、ロボット、航空機、または宇宙船等の可動プラットフォームからの環境および人工物体の画像の生成等の種々の用途を有する。追加の用途は、パッケージ化された商品または小包の点検、もしくは乗り物、ロボット、航空機、または宇宙船に近接した空間の特定の領域の占有率の決定を含む。
【0007】
能動的mmWおよび/またはマイクロ波撮像では、場面内の着目領域(ROI)が、1つ以上の伝送機によって照明される一方、場面から散乱させられたエネルギーが、1つ以上のアンテナおよび受信機によって空間的にサンプリングされる。多くの能動的撮像機は、アンテナアレイの機械的運動を活用し、合成開口レーダ(SAR)画像を形成する。他の能動的撮像機は、受動的電子走査アレイ(PESA)または能動的電子走査アレイ(AESA)等の位相アレイを使用する。位相アレイは、多数のアンテナ要素を利用して、大空間サンプリング開口を形成する。他の撮像機は、伝送機および受信機の疎密アレイを使用して、サンプリング開口を形成する。いくつかの撮像機では、そのようなサンプリング開口は、場面に対して静止し得る。さらなる撮像機は、空間的に分散させられた伝送機および受信機を備え、サンプリング開口を形成する多入力多出力(MIMO)アーキテクチャを使用する。
【0008】
SAR撮像は、元々、偵察および軍事使用のために開発されたものである。区画マップ(stripmap)モードSARでは、乗り物搭載型、ロボット搭載型、航空機搭載型、または衛星搭載型レーダプラットフォームが、概して、軌道に沿って移動しながら、測定値を地面上の区画から集める。受信された信号は、典型的に、2-D相関アルゴリズムを使用して処理される。他のSAR用途は、地球監視、遠隔感知、監視、およびセキュリティを伴うレーダ撮像用途を含む。SARセンサは、例えば、惑星および月の表面をマッピングし、地理的変化を監視するだけではなく、偵察活動のためにも使用され得る。無線周波数(RF)ベースの撮像センサの利点は、それらが、それら自身の照明源を装備し、それらが、昼間または夜間に、天候から独立して、撮像することを可能にすることである。しかしながら、光学システムと比較して、SARセンサは、多くの場合、それらのはるかに長い波長に起因して、より低い画像分解能を示す。
【0009】
一般に、SAR再構築アルゴリズムは、逆フィルタリング法とマイグレーション法とに分類されることができる。マイグレーション法は、随伴(例えば、整合フィルタ)を使用することによって、インバースを近似する一方、逆フィルタリング法は、SAR順モデルのインバース(例えば、最小2乗解)を陽に見出す。概して、マイグレーション法は、逆フィルタリングと比較して、雑音に対してより安定かつロバストであるが、後者は、改良された分解能を有する。
【0010】
サンプリング開口のいくつかの例が、SAR画像を生成するために使用され得るが、サンプリングおよび/または疎密開口の他の例は、場面に対するアンテナまたはアンテナアレイの物理的運動を利用しないこともある。そのような例では、いくつかのアンテナが、環境内で分散させられ得、各アンテナが、場面に対して異なる場所から場面の測定を行う。画像は、本明細書に説明されるもの等の逆フィルタリングおよび/またはマイグレーション法を使用して、サンプリングおよび/または疎密開口によって捕捉された測定値から再構築され得る。いくつかの例では、再構築に対する入力は、各伝送機および受信機の場所と、伝達関数またはインパルス応答等の場面からの散乱の測定値とを含み得る。いくつかの例では、測定は、十分な対の伝送機および受信機が容認可能画質を提供するために使用されるとき、単一周波数または単一狭帯域信号のみを使用して実施され得る。多くの場合、伝送機および受信機は、共通アンテナを共有し得る(それは、モノスタティックアンテナ構成と称され得る)か、または、それらは、別個のアンテナを有し得る。後者の構成は、バイスタティックアンテナ構成と称され得る。
【発明の概要】
【課題を解決するための手段】
【0011】
本明細書に説明される例は、画像再構築の方法を含む。例示的方法は、場面から散乱させられた信号を受信することを含み得る。散乱させられた信号は、場面の調査に応答し得る。散乱させられた信号は、少なくとも1つのアンテナを含むアンテナシステムによって受信され得る。散乱させられた信号は、少なくとも1つのアンテナと場面との間の複数の相対位置において受信され得る。方法は、調査に応答して第1の相対位置において受信された信号に基づいて、測定行列を構築し、それを逆行列に変換することをさらに含み得る。方法は、場面の反射率値の複数の推定値を計算することであって、複数の推定値の各々は、少なくとも1つのアンテナの特定の相対位置に対応し、複数の推定値の各々は、測定行列を使用して計算される、ことをさらに含み得る。方法は、反射率値の複数の推定値を組み合わせ、場面のための総反射率値を生成することをさらに含み得る。方法は、総反射率値に基づいて画像データを生成することをさらに含み得る。
【0012】
いくつかの例では、計算することは、反射率値の複数の推定値のうちの少なくとも一部を並行して計算することを含み得る。いくつかの例では、方法は、並列処理のために、複数の推定値のうちのそれぞれのものをグラフィック処理ユニット(GPU)のそれぞれのコアに割り当てることを含み得る。
【0013】
いくつかの例では、測定行列を構築し、それを逆行列に変換することは、整合フィルタリング、逆フィルタリング、擬似逆フィルタリング、またはそれらの組み合わせを使用して実装され得る。いくつかの例では、測定行列を構築し、それを逆行列に変換することは、擬似逆フィルタリングを使用することを含み得、方法は、打ち切り特異値分解を使用して測定行列を正則化することをさらに含み得る。いくつかの例では、方法は、非バイアス予測リスク推定器、相変原理、一般化交差検証、またはL字曲線法のうちの少なくとも1つを適用することを含む切り捨て値を決定することを含み得る。
【0014】
いくつかの例では、組み合わせることは、総和することまたは加重総和することを含み得る。
【0015】
いくつかの例では、方法は、アンテナシステムを場面に対してラスタ走査パターンで移動させることを含み得る。
【0016】
いくつかの例では、方法は、アンテナシステムを場面に対して線形運動で移動させることを含み得る。
【0017】
いくつかの例では、方法は、アンテナシステムを場面に対して自由形態運動で移動させることと、相対位置センサを使用して、アンテナシステムの相対位置を場面に対して決定することとを含み得る。
【0018】
いくつかの例では、反射率値の複数の推定値を計算することは、それぞれの加重された行列を利用して、場面に従って、反射率値を再配置し得る。
【0019】
いくつかの例では、複数の推定値の各々は、少なくとも1つのアンテナの所定のビーム幅内の場面の一部に対してのみ計算され得る。
【0020】
いくつかの例では、場面の一部は、少なくとも1つのアンテナと場面との間の複数の相対位置の各々に対して別個に決定され得る。
【0021】
いくつかの例では、反射率値に基づいて、画像データを生成することは、反射率値に対応する、2Dピクセルデータ、3Dボクセルデータ、またはそれらの組み合わせを生成することを含み得る。
【0022】
いくつかの例では、アンテナシステムの少なくとも1つのアンテナの各々は、互いに機械的に結合され得、方法は、アンテナシステムを場面に対して物理的に移動させ、複数の相対位置を提供することをさらに含み得る。
【0023】
いくつかの例では、少なくとも1つのアンテナの各々は、場面に対して静止し得、少なくとも1つのアンテナの各々は、場面に対して異なる位置に位置し得る。
【0024】
いくつかの例では、場面から散乱させられた信号を受信することは、散乱させられた信号に対応する数値をメモリまたは記憶バッファ内に記憶することを含み得る。
【0025】
いくつかの例では、場面の反射率値の複数の推定値を計算することは、少なくとも部分的に、配分行列を使用して、数値をバッファから複数の推定値の各々に割り当てることによって、実施され得る。
【0026】
撮像システムの例が、本明細書に説明される。例示的撮像システムは、複数の放射要素を複数の測定位置を通して移動させるように構成されたアンテナシステムを含み得る。撮像システムは、アンテナシステムに結合されたコントローラであって、各測定位置において、複数の放射要素に直交信号の複数のビームを場面に向かって異なる角度で操向させるように構成される、コントローラを含み得る。撮像システムは、エネルギーを、場面からの直交信号の複数のビームの散乱から部分的に生じる散乱させられた信号から受信するように構成された受信機を含み得る。撮像システムは、受信機に結合され、散乱させられた信号からのエネルギーに基づいて、場面に関連付けられた画像データを提供するように構成された撮像デバイスを含み得る。
【0027】
いくつかの例では、アンテナシステムは、アンテナシステムを移動させるように構成されたモータまたはアクチュエータを含み得る。
【0028】
いくつかの例では、コントローラは、直交信号の複数のビームのうちの少なくとも一部を場面に向かって異なる角度で操向し、総ビーム幅より小さいそれぞれのビーム幅を有する直交信号の複数のビームを利用して、場面の総ビーム幅をサブサンプリングするように構成され得る。
【0029】
いくつかの例では、コントローラは、各測定位置において、複数の放射要素に、場面に向かって異なる角度で、次の測定位置におけるアンテナシステムの到着に先立って、直交信号の複数のビームを操向させるように構成され得る。
【0030】
いくつかの例では、直交信号の複数のビームは、異なる時間に提供され得る。
【0031】
いくつかの例では、複数の放射要素は、動的アンテナシステムのサブ波長要素を含み得る。いくつかの例では、動的アンテナシステムは、動的メタ表面アンテナを使用して実装され得る。いくつかの例では、複数の放射要素は、液晶切り替え放射要素、半導体切り替え放射要素、電圧同調可能絶縁体基板を有する放射要素、またはそれらの組み合わせを含み得る。いくつかの例では、サブ波長要素は、伝送ラインに結合され得、コントローラは、複数の放射要素に、少なくとも部分的に、伝送ラインへの少なくとも1つの入力信号を調節することによって、直交信号の複数のビームを操向させるように構成され得る。少なくとも1つの入力信号は、DCから直交信号の複数のビームの周波数より小さい周波数までの周波数範囲を有し得る。いくつかの例では、サブ波長要素は、キャビティに結合され得、コントローラは、複数の放射要素に、少なくとも部分的に、キャビティへの少なくとも1つの入力信号を調節することによって、直交信号の複数のビームを操向させるように構成され得、少なくとも1つの入力信号は、DCから直交信号の複数のビームの周波数より小さい周波数までの周波数範囲を有する。
【0032】
いくつかの例では、動的アンテナは、伝送ラインに結合されたサブ波長要素を含み得、コントローラは、複数の放射要素に、少なくとも部分的に、直交信号の複数のビームのうちの少なくとも1つの周波数を調節することによって、直交信号の複数のビームを操向させるように構成され得る。いくつかの例では、動的アンテナは、キャビティに結合されたサブ波長要素を含み得、コントローラは、複数の放射要素に、少なくとも部分的に、直交信号の複数のビームのうちの少なくとも1つの周波数を調節することによって、直交信号の複数のビームを操向させるように構成される。
【0033】
いくつかの例では、コントローラは、少なくとも部分的に、複数の放射要素を制御し、直交信号の複数のビームの各々を異なる時間に放出することによって、時分割多重化を提供するように構成され得る。いくつかの例では、コントローラは、少なくとも部分的に、複数の放射要素を制御し、直交信号の複数のビームの各々を異なる周波数で放出することによって、周波数分割多重化を提供するように構成され得る。いくつかの例では、コントローラは、少なくとも部分的に、複数の放射要素を制御し、異なるコードシーケンスを使用して、直交信号の複数のビームの各々を放出することによって、コード分割多重化を提供するように構成され得る。
【0034】
いくつかの例では、コントローラは、直交信号の複数のビームを区画マップモードまたはスポットライトモードにおいて場面に対して操向するように構成され得る。
【0035】
いくつかの例では、撮像デバイスは、区分化インバース技法を利用して、画像データを提供するように構成され得る。いくつかの例では、区分化インバース技法は、直交信号の複数のビームに従って区分された測定行列を利用する。
本発明は、例えば、以下の項目を提供する。
(項目1)
画像再構築の方法であって、前記方法は、
場面から散乱させられた信号を受信することであって、前記散乱させられた信号は、少なくとも1つのアンテナを備えているアンテナシステムによる前記場面の調査に応答し、前記少なくとも1つのアンテナと前記場面との間の複数の相対位置におけるものである、ことと、
調査に応答して第1の相対位置において受信された信号に基づいて、測定行列を構築し、それを逆行列に変換することと、
前記場面の反射率値の複数の推定値を計算することであって、前記複数の推定値の各々は、前記少なくとも1つのアンテナの特定の相対位置に対応し、前記複数の推定値の各々は、前記測定行列を使用して計算される、ことと、
前記反射率値の前記複数の推定値を組み合わせ、前記場面のための総反射率値を生成することと、
前記総反射率値に基づいて画像データを生成することと
を含む、方法。
(項目2)
前記計算することは、前記反射率値の前記複数の推定値のうちの少なくとも一部を並行して計算することを含む、項目1に記載の方法。
(項目3)
並列処理のために、前記複数の推定値のうちのそれぞれのものをグラフィック処理ユニット(GPU)のそれぞれのコアに割り当てることをさらに含む、項目2に記載の方法。
(項目4)
前記構築し、それを逆行列に変換することは、整合フィルタリング、逆フィルタリング、擬似逆フィルタリング、またはそれらの組み合わせを含む、項目1に記載の方法。
(項目5)
前記構築し、それを逆行列に変換することは、擬似逆フィルタリングを使用することを含み、前記方法は、打ち切り特異値分解を使用して前記測定行列を正則化することをさらに含む、項目4に記載の方法。
(項目6)
切り捨て値を決定することをさらに含み、前記決定することは、非バイアス予測リスク推定器、相変原理、一般化交差検証、またはL字曲線法のうちの少なくとも1つを適用することを含む、項目5に記載の方法。
(項目7)
前記組み合わせることは、総和することまたは加重総和することを含む、項目1に記載の方法。
(項目8)
前記アンテナシステムを前記場面に対してラスタ走査パターンで移動させることをさらに含む、項目1に記載の方法。
(項目9)
前記アンテナシステムを前記場面に対して線形運動で移動させることをさらに含む、項目1に記載の方法。
(項目10)
前記アンテナシステムを前記場面に対して自由形態運動で移動させることと、相対位置センサを使用して、前記場面に対する前記アンテナシステムの前記相対位置を決定することとをさらに含む、項目1に記載の方法。
(項目11)
反射率値の複数の推定値を計算することは、それぞれの加重された行列を使用して、前記場面に従って前記反射率値を並べ替えることをさらに含む、項目1に記載の方法。
(項目12)
前記複数の推定値の各々は、前記少なくとも1つのアンテナの所定のビーム幅内の前記場面の一部に対してのみ計算される、項目1に記載の方法。
(項目13)
前記場面の前記一部は、前記少なくとも1つのアンテナと前記場面との間の前記複数の相対位置の各々に対して別個に決定される、項目12に記載の方法。
(項目14)
前記反射率値に基づいて画像データを生成することは、前記反射率値に対応する2Dピクセルデータ、3Dボクセルデータ、またはそれらの組み合わせを生成することを含む、項目1に記載の方法。
(項目15)
前記アンテナシステムの前記少なくとも1つのアンテナの各々は、互いに機械的に結合されており、前記方法は、前記アンテナシステムを前記場面に対して物理的に移動させ、前記複数の相対位置を提供することをさらに含む、項目1に記載の方法。
(項目16)
前記少なくとも1つのアンテナの各々は、前記場面に対して静止しており、前記少なくとも1つのアンテナの各々は、前記場面に対して異なる位置に位置している、項目1に記載の方法。
(項目17)
前記場面から散乱させられた信号を受信することは、前記散乱させられた信号に対応する数値をメモリまたは記憶バッファ内に記憶することを含む、項目1に記載の方法。
(項目18)
前記場面の反射率値の複数の推定値を計算することは、少なくとも部分的に、配分行列を使用して、前記バッファからの前記数値を前記複数の推定値の各々に割り当てることによって、実施される、項目17に記載の方法。
(項目19)
撮像システムであって、前記撮像システムは、
複数の放射要素を複数の測定位置を通して移動させるように構成されたアンテナシステムと、
前記アンテナシステムに結合されたコントローラであって、前記コントローラは、各測定位置において、前記複数の放射要素に直交信号の複数のビームを場面に向かって異なる角度で操向させるように構成されている、コントローラと、
前記場面からの前記直交信号の複数のビームの散乱から部分的に生じる散乱させられた信号からのエネルギーを受信するように構成された受信機と、
前記受信機に結合され、前記散乱させられた信号からの前記エネルギーに基づいて、前記場面に関連付けられた画像データを提供するように構成された撮像デバイスと
を備えている、撮像システム。
(項目20)
前記アンテナシステムは、前記アンテナシステムを移動させるように構成されたモータまたはアクチュエータを備えている、項目19に記載の撮像システム。
(項目21)
前記コントローラは、前記直交信号の複数のビームのうちの少なくとも一部を前記場面に向かって異なる角度で操向し、直交信号の複数のビームを利用して、前記場面の総ビーム幅をサブサンプリングするように構成され、前記直交信号の複数のビームは、前記総ビーム幅より小さいそれぞれのビーム幅を有する、項目19に記載の撮像システム。
(項目22)
前記コントローラは、各測定位置において、次の測定位置における前記アンテナシステムの到着に先立って、前記複数の放射要素に前記場面に向かって異なる角度で直交信号の複数のビームを操向させるように構成されている、項目19に記載の撮像システム。
(項目23)
前記直交信号の複数のビームは、異なる時間に提供される、項目19に記載の撮像システム。
(項目24)
前記複数の放射要素は、動的アンテナシステムのサブ波長要素を備えている、項目19に記載の撮像システム。
(項目25)
前記動的アンテナシステムは、動的メタ表面アンテナを備えている、項目24に記載の撮像システム。
(項目26)
前記複数の放射要素は、液晶切り替え放射要素、半導体切り替え放射要素、電圧同調可能絶縁体基板を有する放射要素、またはそれらの組み合わせを備えている、項目24に記載の撮像システム。
(項目27)
前記動的アンテナは、伝送ラインに結合されたサブ波長要素を備え、前記コントローラは、少なくとも部分的に前記伝送ラインへの少なくとも1つの入力信号を調節することによって、前記複数の放射要素に前記直交信号の複数のビームを操向させるように構成され、前記少なくとも1つの入力信号は、DCから前記直交信号の複数のビームの前記周波数より小さい周波数までの周波数範囲を有する、項目24に記載の撮像システム。
(項目28)
前記動的アンテナは、キャビティに結合されたサブ波長要素を備え、前記コントローラは、少なくとも部分的に前記キャビティへの少なくとも1つの入力信号を調節することによって、前記複数の放射要素に前記直交信号の複数のビームを操向させるように構成され、前記少なくとも1つの入力信号は、DCから前記直交信号の複数のビームの前記周波数より小さい周波数までの周波数範囲を有する、項目24に記載の撮像システム。
(項目29)
前記動的アンテナは、伝送ラインに結合されたサブ波長要素を備え、前記コントローラは、少なくとも部分的に前記直交信号の複数のビームのうちの少なくとも1つの周波数を調節することによって、前記複数の放射要素に前記直交信号の複数のビームを操向させるように構成されている、項目24に記載の撮像システム。
(項目30)
前記動的アンテナは、キャビティに結合されたサブ波長要素を備え、前記コントローラは、少なくとも部分的に前記直交信号の複数のビームのうちの少なくとも1つの周波数を調節することによって、前記複数の放射要素に前記直交信号の複数のビームを操向させるように構成されている、項目24に記載の撮像システム。
(項目31)
前記コントローラは、少なくとも部分的に前記直交信号の複数のビームの各々を異なる時間に放出するように前記複数の放射要素を制御することによって、時分割多重化を提供するように構成されている、項目19に記載の撮像システム。
(項目32)
前記コントローラは、少なくとも部分的に前記直交信号の複数のビームの各々を異なる周波数で放出するように前記複数の放射要素を制御することによって、周波数分割多重化を提供するように構成されている、項目19に記載の撮像システム。
(項目33)
前記コントローラは、少なくとも部分的に異なるコードシーケンスを使用して前記直交信号の複数のビームの各々を放出するように前記複数の放射要素を制御することによって、コード分割多重化を提供するように構成されている、項目19に記載の撮像システム。
(項目34)
前記コントローラは、前記直交信号の複数のビームを区画マップモードまたはスポットライトモードにおいて前記場面に対して操向するように構成されている、項目19に記載の撮像システム。
(項目35)
前記撮像デバイスは、区分化インバース技法を利用して、前記画像データを提供するように構成されている、項目19に記載の撮像システム。
(項目36)
前記区分化インバース技法は、前記直交信号の複数のビームに従って区分された測定行列を利用する、項目35に記載の撮像システム。
【図面の簡単な説明】
【0036】
【
図1】
図1は、本明細書に説明される例に従って配置されるシステムの略図である。
【0037】
【
図2】
図2は、本明細書に説明される例に従って配置される再構築システムの略図である。
【0038】
【
図3】
図3は、本明細書に説明される例に従って配置される動的メタ表面アンテナの略図である。
【0039】
【
図4】
図4Aおよび
図4Bは、本明細書に説明される例に従って配置される
図4Aでは時分割多重化および
図4Bでは周波数分割多重化を使用して提供される直交信号の複数のアンテナビームの略図である。
【0040】
【
図5】
図5は、本明細書に説明される例による、撮像デバイス500の略図である。
【発明を実施するための形態】
【0041】
ある詳細が、説明される実施形態の十分な理解を提供するために下記に記載される。しかしながら、実施形態は、種々のこれらの特定の詳細を伴わずに実践され得ることが、当業者に明白であろう。いくつかの事例では、周知の回路、制御信号、タイミングプロトコル、および/またはソフトウェア動作が、説明される実施形態を不必要に曖昧にすることを回避するために、詳細に示されていない。
【0042】
合成開口レーダ(SAR)画像は、概して、観察される場面のマイクロ波またはミリ波反射率の表現を指す。SAR画像再構築は、インバージョン問題であり、それは、近似(例えば、整合フィルタ(MF))、または大量の測定データを使用した陽インバースを介して解決され得る。しかしながら、近似は、分解能を限定する一方、陽インバースは、概して、算出上複雑であり、たいてい不良設定である。本明細書に説明される例は、区分化インバース(PI)アプローチを説明する。本明細書に説明される例では、画像再構築において使用される測定行列の構築および/またはインバージョンが、区分され、説明される算出を促進し得る。例は、正則化のための打ち切り特異値分解を使用して、擬似インバース技法(例えば、ムーア-ペンローズ擬似インバース)を利用し得、いくつかの例では、それは、雑音に対してロバストであり得る。
【0043】
逆フィルタリングをSAR撮像に適用するとき、いくつかの課題が、生じる。すなわち、逆フィルタリングは、メモリおよび時間の両方において、算出上コストがかかり、問題は、多くの場合、不良設定である。本明細書に説明される例は、システムモデルを区分し、各部分のためのインバースを別個に解決し、解をコヒーレントに統合し(例えば、組み合わせ)、最終画像を再構築することによって、逆フィルタリングのメモリ要件を低減させ得る。これは、区分化インバース(PI)と呼ばれ、並列処理も可能にし、それは、有利に、パイプライン化されたグラフィック処理ユニット(GPU)またはマルチコアGPUまたはマルチコア中央処理ユニット(CPU)等の並列処理ユニットに割り当てられ得る。打ち切り特異値分解(TSVD)およびL字曲線が、区分化部分問題を正則化し、いくつかの例では、最適切り捨て点を見出すために使用され得る。
【0044】
図1は、本明細書に説明される例に従って配置されるシステムの略図である。システム100(例えば、撮像システム)は、アンテナシステム104と、コントローラ120と、位置推定器122と、再構築システム124とを含む。システム100は、場面102を撮像するように位置付けられる。アンテナシステム104は、アンテナ106と、位置センサ/アクチュエータ118と、RFトランシーバー108とを含む。RFトランシーバー108は、受信機110と、伝送機112と、復調器114と、変調器116とを含む。アンテナ106は、1つ以上の調査信号を場面102に提供し、散乱させられた信号を場面102から受信するように位置付けられ得る。RFトランシーバー108は、アンテナ106に結合され、調査信号を提供し、および/または、散乱させられた信号を受信し得る。コントローラ120は、位置センサ/アクチュエータ118に結合され得、場面102に対するアンテナ106の移動を制御し得る。位置推定器122は、コントローラ120および/または位置センサ/アクチュエータ118に結合され得、アンテナ106の位置を推定し得、アンテナ106の位置は、場面102に対する相対位置であり得る。再構築システム124は、RFトランシーバー108および/または位置推定器122および/またはアンテナ106に結合され得る。再構築システム124は、調査信号、散乱させられた信号、および/またはアンテナ位置に基づいて、場面102を表す反射率値を生成し得る。反射率値は、反射率値に基づく場面102の画像の生成のために、撮像デバイスに提供され得る。
【0045】
アンテナシステム104は、場面102を調査するために位置付けられ得る。概して、種々の場面の任意のものは、本明細書に説明される技法を使用して撮像され得る。場面の例は、例えば、人々、物体、動物、標識、および/または建物を含む環境を含む。本明細書に説明されるアンテナシステムの例は、マイクロ波および/またはミリ波信号を使用して、場面を調査し得る。実施例は、マイクロ波およびミリ波無線周波数(RF)信号を含む。概して、ミリ波RF信号は、15~26.5ギガヘルツ(GHz)(例えば、K-帯域内)、例えば、超高周波数(EHF)帯域内の30~300GHzの周波数を有する信号を指し得る。いくつかの例では、マイクロ波信号は、約1GHz~15GHzの周波数を有する信号を指し得る。いくつかの例では、信号は、17~300ギガヘルツ(GHz)の周波数を有し得る。いくつかの例では、信号は、10~300ギガヘルツ(GHz)の周波数を有し得る。ミリ波RF信号は、約1~10mmの波長を有し得る一方、マイクロ波RF信号は、約2cm~30cmの波長を有し得る。数ミリメートル(例えば、約1~10mm)の波長を有する信号は、有利には、本明細書に説明されように、場面に関連付けられた画像データを生成するように使用され得る。ミリ波および/またはマイクロ波信号は、有機材料(例えば、衣類)に浸透しないこともあり、生物学的組織(例えば、典型的には、1mm未満の浸透率)中にはあまり深くまで浸透しないこともあり、故に、いくつかの例では、セキュリティ目的のために、対象の画像を生成するために安全に使用され得る。
【0046】
アンテナシステム104は、アンテナ106を含み得る。任意の数のアンテナが、使用され得、1、2、3、4、5、6、7、8、9、10、16、32、64、128、または別の数のアンテナを含む。アンテナ106は、単一アンテナ、送受信アンテナ対、アンテナのアレイ、または、サブ要素を含むより複雑なアンテナ(メタ材料アンテナまたは動的に再構築可能なアンテナ等)を使用して、実装され得る。アンテナは、1つ以上の線形アレイ(例えば、ライン)もしくは2または3次元構成においてを含む任意の様式で空間的に配置され得る。そのような2または3次元構成は、規則的グリッドにおいて、または代替として、不規則的グリッドにおいて配置され得る。線形アレイもしくは2または3次元構成のいずれかが、使用されるとき、アンテナ間の不規則的間隔は、有利には、場面の空間サンプリングにおけるエイリアシングに起因する画像内の可視アーチファクトを低減させ得る。
【0047】
アンテナ106は、動作中、場面102に対して移動し得る。故に、いくつかの例では、場面102は、静止し得るアンテナ106に対して移動し得る。いくつかの例では、アンテナ106は、静止し得る場面102に対して移動し得る。いくつかの例では、アンテナ106および場面102の両方が、移動し得、2つの間に、相対運動が存在し得る。アンテナ106は、概して、本明細書に説明されるように、任意の様式で移動させられ得る。いくつかの例では、アンテナ106は、ラスタ走査パターン(例えば、場面102に対して1つ以上の水平および/または垂直ラインに沿って)で移動させられ得る。いくつかの例では、アンテナ106は、線形パターン(例えば、1つ以上の直線ラインに沿って)移動させられ得る。いくつかの例では、アンテナ106は、自由形態様式で移動させられ得る(例えば、場面102に対してランダムまたは自由に移動させられる)。例えば、アンテナ106は、いくつかの例では、アンテナ106がユーザによって保持されることを可能にする様式でパッケージ化され得、ユーザは、アンテナ106を場面102に対して移動させ得る(例えば、ユーザは、アンテナ106を用いて、場面102を手動で「ワンド(wand)」し得る)。いくつかの例では、ロボット、地上、または空中乗り物、もしくはコンベヤベルト等の別の機械的システムが、アンテナ106を場面102に対して移動させ得る。このように、アンテナシステム104は、アンテナ106と場面102との間の複数の相対位置において、場面102を調査し得る(例えば、調査信号を提供する)。本明細書に説明される撮像システムの例は、合成開口レーダ(SAR)を実装し得る。
【0048】
いくつかの例では、いくつかのアンテナ106は、ハンドルが付着したセンサバー等の形状因子の中にパッケージ化され得る。いくつかの例では、いくつかのアンテナは、センサバーの長軸に沿って、一列に配置され得る。他の例では、アンテナは、アンテナの正方形グリッドを形成する複数の平行な列に配置され得る一方、他の例では、アンテナは、市松模様に類似したインターリーブされたパターンで配置され得る。そのような例では、慣性測定ユニットまたは光学位置センサ等の位置センサが、アンテナの位置を場面102に対して推定するために使用され得る。他の例では、ポテンショメータまたは回転式エンコーダをその接合部に伴うパンタグラフアーム等の機械的位置センサが、アンテナの位置を取り付け点に対して推定するために使用され得、取り付け点は、場面に対して固定される。
【0049】
概して、運動が機械類(例えば、ロボット、コンベヤベルト、および/または位置付けステージ)によって供給され得るいくつかの例では、ラスタ走査パターンが使用され得る。いくつかの例(例えば、コンベヤベルトを使用する)では、連続した運動が、1つの軸に提供され得、個別的なサンプリングが、いくつかのアンテナを使用して、別の軸上で実施され得る。
【0050】
物体がコンベヤベルトによって搬送されるようなほぼ連続した運動を有するいくつかの例では、そのような物体とコンベヤベルトに近接して取り付けられる1つ以上のアンテナとの間の相対運動の一定速度が、仮定され得る。そのような例では、ビーム遮断(break-beam)センサまたは他の近接度センサ等のセンサが、物体を軸に沿った位置で検出するために使用され得、これは、それがいくつかのアンテナに対して移動するにつれて、物体を含む場面のタイムスタンプ付き測定値の入手を開始するためのタイマを始動させるために使用され得る。他の例では、オドメータホイール、回転式エンコーダ、シャフトエンコーダ、または他のそのようなセンサ等の回転運動の検出器が、物体またはコンベヤベルト等の物体を搬送する表面の相対位置を測定するために使用され得る。そのような例では、相対位置の測定は、アンテナによって行われる測定と同期させられ得、これらの組の情報は、後続の画像再構築によって、一緒に使用され得る。
【0051】
いくつかの例では、1つ以上のアンテナが、線路、車道、自転車トレール、市街電車線路、または限定ではないが、人物、ロボット、または乗り物を含む物体が通過する別の経路に近接して取り付けられ得る。そのような例では、1つ以上のアンテナは、経路に近接して搭載され得、そのようなアンテナは、物体からの散乱を含む測定を行ない得る。いくつかの例では、ビーム遮断センサまたは別の近接度センサが、特定の位置における物体を検出するために使用され得、これは、物体を含む場面からの散乱のタイムスタンプ付き測定値の入手を開始するためのタイマを始動させるために使用され得る。そのような例では、相対位置の測定は、アンテナによって行われる測定と同期させられ得、これらの組の情報は、後続の画像再構築によって、一緒に使用され得る。
【0052】
いくつかの例では、アンテナ106のラスタ走査が、実施され得、それは、測定のサブ波長グリッド(例えば、撮像分解能より小さいグリッド間隔を伴う)を埋め得、それは、場面の完全空間ナイキストサンプリングを生成し得、いくつかの例では、最適画像分解能を保ち得る。そのような完全ラスタ走査は、時間がかかり得、望ましくないことに、アンテナアレイの精密な機械的位置付けを利用し得る。例えば、ランダムまたは他の選択された位置におけるサブサンプリングアプローチが、いくつかの例では、より実践的であり得る。サブサンプリングアプローチは、画質と測定時間との間のトレードオフを伴い得る。
【0053】
いくつかの例では、アンテナの機械的運動は、使用されないこともある。いくつかの例では、アンテナは、異なる位置に提供され得(例えば、壁または他の表面を対象にするために)、本明細書に説明される技法が、(1)測定データ(例えば、場面から受信された散乱させられた信号)と、(2)測定が行われた受信アンテナおよび伝送アンテナ位置とに照らして、画像を再構築するために利用され得る。測定値は、例えば、異なるアンテナを利用することによって、異なる相対位置で取得され得る。場面が、静的(または準静的)である場合、測定は、いくつかの例では、結果として生じる同一の再構築された画像に対して、任意のシーケンスで行われ得る。
【0054】
いくつかの例では、本明細書で使用されるようなアンテナは、静止し得、場面が、アンテナに対して移動させられ得る。このアプローチは、逆合成開口レーダ(ISAR)と称され得る。いくつかの例では、アプローチの組み合わせが、使用され得、いくつかのアンテナ(例えば、6つのアンテナ)が、アセンブリ(例えば、センサバー)内に一緒に搭載され得る。ユーザは、センサバーをパターン(例えば、ラスタパターン、線形パターン、および/または自由形態パターン)で移動させ、場面を走査し得る。いくつかの例では、センサバーは、固定され得、場面が、移動し得る(例えば、物体が、コンベヤベルトに沿って移動し得る、および/またはセンサバーに対して歩行または別様に移動することによって、センサバーを通過し得る)。いくつかの例では、本明細書に説明されるシステムは、十分な数の測定値が、場面を撮像するために、または特定の分解能を伴って場面を撮像するために収集されると、インジケータを提供し得る。インジケータは、例えば、本明細書に説明される撮像システムによって提供され得る。視覚的、触覚的、聴覚的、または他のインジケータが、撮像デバイスに結合され、ユーザの通信範囲内にあるセンサバーまたはディスプレイ上に提供され得る。
【0055】
アンテナシステム104は、位置センサ/アクチュエータ118を含み得る。位置センサ/アクチュエータ118は、1つ以上のアクチュエータを提供し得、それは、アンテナ106を場面に対して移動させ得る。位置センサ/アクチュエータ118は、1つ以上のセンサを含み得、それは、アンテナ106の位置(例えば、場面102に対して絶対位置および/または相対位置)を感知し得る。
【0056】
アンテナシステム104は、RFトランシーバー108を含み得る。RFトランシーバー108は、アンテナ106によって伝送されるための調査信号を生成するために使用され得る。種々の調査信号のいずれかが、使用され得る。いくつかの例では、調査信号は、狭帯域信号であり得る(例えば、周波数ドメインにおける1つのフーリエ成分を用いて近似され得る)。他の例では、調査信号は、広帯域信号であり得る(例えば、周波数ドメインにおける複数のフーリエ成分を含む信号)。RFトランシーバー108は、アンテナ106上に入射する散乱させられた信号を受信するために使用され得る。RFトランシーバー108は、故に、伝送機112等の任意の数の伝送機を含み得る。いくつかの例では、1つの伝送機が、調査信号を1つ以上のアンテナに提供するために使用され得る。いくつかの例では、複数の伝送機が、提供され得る。各伝送機は、調査信号を1つ以上のアンテナに提供し得る。RFトランシーバー108は、受信機110等の任意の数の受信機を含み得る。いくつかの例では、1つの受信機が、散乱させられた信号を1つ以上のアンテナから受信(例えば、復調および/またはデコード)するために使用され得る。いくつかの例では、複数の受信機が、提供され得る。受信機は、散乱させられた信号に対応する数値をメモリまたは記憶バッファ内に記憶し得る。各受信機は、1つ以上のアンテナ上に入射する散乱させられた信号を受信するために使用され得る。
【0057】
RFトランシーバー108は、いくつかの例では、同期信号を利用して、伝送および受信動作において使用される信号を同期させ得る。例えば、伝送機によって生成された調査信号は、受信機において使用される信号と同期させられ、受信された信号を下方変換および/またはサンプリングし、位相コヒーレント信号検出を可能にし得る。
【0058】
RFトランシーバー108は、いくつかの例では、コントローラ120内のRFトランシーバー制御デバイスからの制御信号を利用し、伝送および受信動作を制御し得る。例えば、1つ以上のアンテナは、伝送および受信の両方のために使用され得る。制御信号が、1つ以上の伝送機および/または受信機に提供され、伝送または受信が特定の時間に所望されるかどうかを示し得る。例えば、アンテナに結合される受信機は、所望の受信時間中、アクティブにされ得る一方、同一アンテナに結合される伝送機は、その期間中、非アクティブにされ得る。いくつかの例では、異なるアンテナが、伝送および受信するために使用され得る。制御信号が、1つ以上の伝送機および/または受信機に提供され、伝送または受信が特定の時間に所望されるかどうかを示し得る。例えば、受信アンテナとしての使用のために意図される、アンテナに結合される受信機は、所望の受信期間中、アクティブにされ得る。伝送アンテナとしての使用のために意図される、アンテナに結合される伝送機は、所望の受信期間中、非アクティブにされ得る。
【0059】
RFトランシーバー108は、いくつかの例では、復調器114および/または変調器116を含み得る。いくつかの例では、調査信号の変調が、使用され得る(例えば、振幅および/または位相変調もしくは直交振幅変調(QAM)または直交周波数分割多重化(OFDM)等の複合変調スキーム)。変調器116は、アンテナ106が変調された信号を用いて場面102を調査し得るように、所望の変調を提供し得る。復調器114は、場面102によって受信された散乱させられた信号が復調され得るように、所望の復調を提供し得る。
【0060】
システム100等の本明細書に説明される撮像システムの例は、アンテナおよび/またはアンテナシステムを制御するための1つ以上のコントローラを含み得る。コントローラ120は、
図1に描写される。コントローラ120は、アンテナ106の運動を制御するために、位置センサ/アクチュエータ118と通信(例えば、有線または無線通信)する。いくつかの例では、アンテナ106およびRFトランシーバー108は、一緒に移動し得る。いくつかの例では、アンテナ106は、RFトランシーバー108から独立して移動し得る。コントローラ120は、例えば、1つ以上の処理ユニット(例えば、プロセッサ、マイクロコントローラ、論理回路)と、実行されると、処理ユニットにコントローラによって実施されるような本明細書に説明されるアクションを実施させる命令でエンコードされたメモリとを使用して、実装され得る。1つ以上の中央処理ユニット、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)、および/または特定用途向け集積回路(ASIC)が、例えば、コントローラ120を実装するために使用され得る。コントローラ120は、
図1に示されるように、RFトランシーバー制御、動的アンテナ制御、および/またはアンテナ位置制御を実施し得る。
【0061】
動的アンテナ制御信号が、アンテナシステムの構成を制御するために使用され得る。アンテナシステムは、単一アンテナ、アンテナの(サブ)グループ、アンテナアレイ全体、または複数の異なるアンテナ要素を含み得ることを思い出されたい。動的アンテナ制御信号は、異なるアンテナ要素を1つ以上の伝送機および/または受信機に接続することによって、一緒にまたは独立して、伝送、受信、または非アクティブ等の異なるアンテナモードに、アンテナ要素を切り替え得る。いくつかの実施形態では、動的アンテナ制御信号は、アンテナ偏波、中心周波数、帯域幅、アンテナビーム方向、または異なるビームパターン(例えば、カオス放射モード、擬似ランダム放射モード、周波数多様放射モード等)等の単一アンテナまたはアンテナアレイパラメータを制御し得る。動的アンテナ制御信号は、伝送機および受信機間の単入力単出力(SISO)、単入力多出力(SIMO)、多入力単出力(MISO)、または多入力多出力(MIMO)動作モードを選択し得る。
【0062】
図1のシステム100等の本明細書に説明される撮像システムの例は、位置推定器122等の1つ以上の位置推定器を含み得る。位置推定器122は、アンテナシステムの位置を場面に対して推定するために使用され得る。位置推定器122は、例えば、1つ以上の処理ユニット(例えば、プロセッサ、マイクロコントローラ、論理回路)と、実行されると、処理ユニットに位置推定器によって実施されるような本明細書に説明されるアクションを実施させる命令でエンコードされたメモリとを使用して、実装され得る。1つ以上の中央処理ユニット、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)、および/または特定用途向け集積回路(ASIC)が、例えば、位置推定器122を実装するために使用され得る。
【0063】
位置推定器122は、データを位置センサ/アクチュエータ118および/またはアンテナ106から受信し得る。いくつかの例では、位置推定器は、データを、例えば、光学センサ、慣性センサ、機械的センサ、またはそれらの組み合わせを含み得るシステム100内の他のセンサから受信し得る。故に、種々の位置センサが、アンテナ106を移動させ得る位置センサ/アクチュエータ118(例えば、ステッパモータ位置出力、回転式エンコーダ出力、線形エンコーダ出力等)、光学センサ(レーザ距離測定またはカメラシステム等)、慣性センサ(ジャイロスコープおよび/または加速度計等)、または機械的センサ(ワイヤ作動式エンコーダ、ストリングポテンショメータ、および/または超音波距離測定等)からのフィードバックを含む位置推定器122によって利用され得る。いくつかの例では、同一タイプの複数のセンサが、立体カメラ対の使用におけるように組み合わせられ、3D位置測定を可能にし得る。他の例では、異なるタイプのセンサを統合し、例えば、1つ以上の加速度計を1つ以上の光学カメラと組み合わせて使用することによって、アンテナシステム位置の最高忠実推定値を達成することが望ましくあり得る。この例では、光学カメラを使用した場面の周期的ビューが、少なくとも部分的に、加速度計読み取り値において蓄積されたドリフトを補償するために使用され得る。いくつかの例では、光学カメラを使用した場面の周期的ビューは、アンテナシステムが少なくとも一時的に場面に対して移動していないことを決定し、慣性測定システムのゼロ速度更新を実施するために使用され得る。
【0064】
センサデータは、位置推定器122によって、アンテナ106のうちの1つ以上のものの位置を推定するために使用され得る。推定された位置は、場面(例えば、場面102)に対して絶対位置および/または相対位置であり得る。カルマンフィルタリング法が、複数のセンサからのデータを組み込み、アンテナ位置の推定値をもたらすために使用され得る。故に、複数のセンサが、組み合わせられ、カルマンフィルタ等の技法と組み合わせて、位置推定システムを形成し、雑音測定位置センサ出力を使用して、一緒にアンテナ位置を推定し得る。カルマンフィルタ等の技法は、位置センサ出力の雑音共分散を所与として、位置推定値を更新することによって、アンテナシステム位置を最適に推定する利点を有する。
【0065】
いくつかの実施形態では、基準が、場面の中に導入されるか、または場面に近接して配置され、アンテナシステム位置推定を促進し得る。そのような基準は、既知の特徴を有する恒久的に据え付けられた物体または既知の特徴を有する一時的に据え付けられた物体のいずれかの形態をとり得る。基準の一例は、1つ以上の位置合わせマークを有する自己接着性ステッカ、または、場面内またはそれに近接してのいずれかで表面上に設置され得る市松模様またはQRコード(登録商標)等の光学コードである。この例では、少なくとも1つの基準は、ユーザによって、例えば、ユーザが基準ステッカを壁表面に手動で貼り付けることによって、場面内またはそれに近接して表面に接着され得る。次いで、アンテナシステムに機械的に取り付けられた少なくとも1つのカメラが、基準を観察するために使用され得る。いくつかの実施形態では、場面内またはそれに近接して表面に接着された複数のそのような基準は、アンテナに取り付けられる3つのカメラによって観察され、位置推定システムがアンテナシステムの3D相対位置を場面に対して推定することを可能にし得る。
【0066】
図1のシステム100等の本明細書に説明される撮像システムの例は、再構築システム124等の再構築システムを含み得る。概して、再構築システム124は、場面102に関連付けられた1つ以上の反射率値を推定するように動作し得る。再構築システム124は、例えば、1つ以上の処理ユニット(例えば、プロセッサ、マイクロコントローラ、論理回路)と、実行されると、処理ユニットに再構築システムによって実施されるような本明細書に説明されるアクションを実施させる命令でエンコードされたメモリとを使用して、実装され得る。1つ以上の中央処理ユニット(CPU)および/またはグラフィック処理ユニット(GPU)、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)、および/または特定用途向け集積回路(ASIC)が、例えば、再構築システム124を実装するために使用され得る。再構築システム124は、RFトランシーバー108からの受信された散乱信号、位置推定器122からの位置推定値、および/または動的アンテナ制御状態を受信し得る。入力情報は、再構築システム124によって利用され、場面102に関連付けられた反射率値を推定し得る。
【0067】
概して、本明細書に説明される再構築システムの例は、測定行列を構築し、それを逆行列に変換し得る。測定行列は、場面の反射率値を測定された散乱信号に関連させ得る。逆測定行列は、故に、測定された散乱信号に基づいて、反射率値を推定するために使用され得る。本明細書に説明されるように、構築し、逆行列に変換することは、整合フィルタリング、逆フィルタリング、擬似逆フィルタリング、またはそれらの組み合わせを含み得る。擬似逆フィルタリングを使用するいくつかの例では、本明細書に説明される技法は、打ち切り特異値分解を使用して、測定行列を正則化し得る。いくつかの例では、本明細書に説明される技法は、切り捨て値を決定し得、それは、非バイアス予測リスク推定器、相変原理、一般化交差検証、またはL字曲線法のうちの少なくとも1つを適用することを含み得る。
【0068】
再構築システム124によって実施される動作は、算出上集約的であり得ることに留意されたい。故に、本明細書に説明されるいくつかの例では、再構築システム124は、区分化技法を利用して、反射率値を算出上効率的様式で推定し得る。例えば、再構築システム124は、アンテナ位置を使用して、測定行列の構築および/またはその逆行列の算出を区分し得る。いくつかの例では、測定行列は、再構築システム124によって、再構築が所望され得、特定の相対位置におけるアンテナ106による場面102の調査に応答する、場面102内の位置における仮説上の散乱体からの散乱のモデルを使用して、構築され、および/または、逆行列に変換され得る。概して、任意の相対位置が、使用され得、アンテナ106の照明パターンにおける所定の相対位置、開始相対位置、最終相対位置、または別の選択された位置を含む。本明細書に説明されるように、特定の相対位置におけるアンテナ106による場面102の調査に応答する、場面102から受信された散乱信号を使用して計算される測定行列は、場面102に対するアンテナ106の複数および/または全ての相対位置に対して一定であり得る。故に、同一測定行列が、アンテナ106および場面102の他の相対位置において、場面102の調査に応答する散乱させられた信号を使用して、場面に関連付けられた反射率値を推定するために使用され得る。このように、測定行列の1つの構造および逆行列が、複数の相対位置における反射率値を推定するために使用され得る。さらに、区分化は、いくつかの例では、アンテナシステムの所定のビーム幅内の場面の一部に対してのみ反射率値を推定することによって、達成され得る。故に、アンテナシステムの各位置のための反射率値の推定値が、アンテナシステム100によって提供される調査信号の特定のビーム幅内(例えば、半電波強度(3dB)ビーム幅、または他の例では、異なる閾値を用いて定義されたビーム幅内)の場面の一部に対して計算され得る。場面の異なる部分に関連付けられた反射率値は、いくつかの例では、別個に計算され、次いで、本明細書に説明されるように、組み合わせられ得る。
【0069】
複数の推定値(例えば、複数の相対位置から散乱させられた信号を用いて実施される推定値および/または場面のある部分に関する推定値)が、いくつかの例では、少なくとも部分的に、並行して計算され得、それは、算出節約をさらに可能にし得る。いくつかの例では、複数の推定値のあるものは、並列計算のために、GPUのそれぞれのパイプライン(例えば、コア)に割り当てられ得る。いくつかの例では、複数の推定値は、それぞれの加重された行列を使用して操作され、場面に従って、反射率値を再配置し得る。複数の推定値は、総反射率値を形成するように組み合わせられ得、それは、本明細書に説明される画像データを生成するために使用されることができる。組み合わせは、例えば、和または加重和であり得る。
【0070】
図1のシステム100等の本明細書に説明される撮像システムの例は、撮像デバイスを含み得る。本明細書に説明される撮像デバイスは、反射率値(例えば、再構築システム124によって提供される反射率値)を利用して、場面102等の場面に関連付けられた画像データを生成し得る。画像データは、場面102または場面102内の物体の表現を表示するために使用され得る。いくつかの例では、画像データは、場面102内で視覚的に観察不可能であり得る物体の表示に関連し得る。例えば、本明細書に説明されるように、ミリ波および/またはマイクロ波調査信号は、ある材料(例えば、衣類、乾燥壁、塗料)を浸透し得る。故に、本明細書に説明される例に提供される画像データは、それらの材料(例えば、武器、コイン、木材または金属鋲またはフレーム、ワイヤ、パイプ、もしくは他の建築材料)下に隠され得る物体に関連し得る。画像データは、2Dピクセルデータ、3Dボクセルデータ、またはそれらの組み合わせを含み得る。
【0071】
本明細書に説明される例は、撮像の拡張分解能モードを利用し得、それは、複数のビーム構成を各測定位置において利用し得、例えば、ビームは、複数の角度に操向され、各測定場所における場面の一部を調査し得る。
【0072】
図1を参照すると、例えば、アンテナ106は、複数の放射要素を使用して実装され得る。例えば、アンテナ106は、1つ以上の動的アンテナシステムとともに実装され得、それは、1つ以上のサブ波長要素(例えば、サブ波長放射要素)を含み得る。いくつかの例では、動的メタ表面アンテナが、使用され得、それは、複数のサブ波長要素を含み得る。複数の放射要素は、液晶切り替え放射要素、半導体切り替え放射要素、電圧同調可能絶縁体基板を有する放射要素、またはそれらの組み合わせを使用して、実装され得る。
【0073】
コントローラ120は、アンテナ106の複数の測定位置の各々において、アンテナ106に、直交信号の複数のビームを場面102に向かって異なる角度で操向させ得る。アンテナ106は、区画マップモードおよび/またはスポットライトモードにおいて操向され得る。区画マップモードでは、概して、ビームは、場面のパターン(例えば、「区画」)に沿って向かわせられ得る。スポットライトモードでは、概して、複数のビームは全て、場面の同一場所に向かわせられ得る。いくつかの例では、直交信号の複数のビームは、総ビーム幅より小さいそれぞれのビーム幅を伴うビームを利用することによって、場面の総ビーム幅をサブサンプリングするように選択され得る。このように、応答が、直交信号のビームのより小さいビーム幅を示す測定された信号から取得され得、それは、測定値の信号対雑音比を改良し得る。しかしながら、直交信号の複数のビームに基づいて受信された応答の組み合わせは、総ビーム幅に対する応答に近似し得る。これは、改良された信号対雑音比を可能にしながら、総ビーム幅に匹敵する場面分解能を維持し得る。直交信号の複数のビームを使用した総ビーム幅のサブサンプリングは、例えば、第1の軸に沿った第1のビームの分布と、同一の第1の軸に沿った第1のビームの分布に直角の第2のビームの分布とを利用することによって、実施され得る。代替として、総ビーム幅をサブサンプリングする直交信号を伴う複数のビームが、第1の軸を中心とする円形構成で分散させられ得る。
【0074】
このように、アンテナ106が場面102に対して移動するにつれて、測定が、直交信号の複数のビームを使用して、複数の測定位置の各々において行われ得る。いくつかの例では、アンテナ106は、連続パターンにおける相対運動を経験し得る。いくつかの例では、アンテナ106は、断続パターンにおける相対運動を経験し得る(例えば、測定位置毎に個別的に)。断続相対運動の例では、直交信号の複数のビームは、アンテナ106が各測定場所に位置している間に、提供され得る。連続パターンを利用する例では、アンテナ106は、直交信号の複数のビームの各々を提供するとき、若干異なる相対位置にあり得る。それにもかかわらず、直交信号を伴う複数のビームの異なるものが提供される時間の間の相対位置変化は、測定位置間の距離に対して小さくあり得る。故に、アンテナ106が次の測定位置に向かって移動するにつれて行われる測定は、前の測定位置または平均測定位置において得られたと見なされ得る。概して、直交信号の複数のビームは、次の測定場所におけるアンテナ106および/または場面102の到着に先立って、場面を調査するために提供され得る。故に、直交信号の複数のビームは、異なる時間に提供され得る。
【0075】
異なるビーム角度を利用して、直交信号の複数のビームを提供することは、概して、ビームおよび/または角度間の高速切り替え時間を利用し得る。例えば、放射要素は、その性質を迅速に変化させ、本明細書に説明される拡張分解能モードにおいて使用されるビームパターンを達成し得る。故に、動的アンテナシステムが、有利には、使用され得、それは、ビーム構成における十分に高速な変化を提供することが可能であり得る。いくつかの例では、動的メタ表面アンテナが、使用され得、それは、サブ波長要素を含み、サブ波長要素は、伝送ライン、導波管、基板統合導波管(SIW)、またはキャビティに結合される。直交信号の複数のビームは、伝送ライン、導波管、基板統合導波管(SIW)、またはキャビティへの入力信号を調節することによって、生成され得る(例えば、コントローラ120を利用して)。入力信号は、例えば、入力信号の周波数をDC周波数と直交信号の複数のビームの周波数より小さい周波数との間で変動させることによって、調節され得る。いくつかの例では、直交信号の複数のビームの周波数が、適宜、調節され得る。
【0076】
直交信号の複数のビームは、時間、周波数、および/またはコードにおいて直交し得る。例えば、直交信号の複数のビームの時分割多重化は、異なる時間に、直交信号の複数のビームの各々を放出するようにアンテナ106(例えば、複数の放射要素)を制御することによって、提供され得る。周波数分割多重化は、異なる周波数で、または直交周波数分割多重化(OFDM)等の変調スキームを用いて、直交信号の複数のビームの各々を放出するようにアンテナ106(例えば、複数の放射要素)を制御することによって、提供され得る。コード分割多重化は、異なるコードを利用して、直交信号の複数のビームの各々を放出するようにアンテナ106(例えば、複数の放射要素)を制御することによって、提供され得る。そのようなコードは、バーカーコード、擬似雑音(PN)コード、または直交に配置された変調シンボルの別のシーケンス等の直交コードを含み得る。コントローラ120(例えば、RFトランシーバー制御を使用して)は、ビームに対して、および直交信号に対して説明される制御を提供し得る。
【0077】
RFトランシーバー108は、場面からの直交信号の複数のビームの散乱から生じる散乱させられた信号を受信し得、再構築システム124および/または撮像デバイスは、散乱させられた信号からのエネルギーを利用して、場面の画像データを生成し得る。いくつかの例では、再構築システム124および/または撮像デバイスは、本明細書に説明される区分化インバース技法を利用して、画像データを提供し得る。区分化インバース技法は、直交信号の複数のビームに従って区分された測定行列を利用することを含み得る。
【0078】
本明細書に説明される例は、故に、1つ以上の調査信号による調査に応答した場面から散乱させられた信号に基づいて、画像再構築(例えば、SAR画像再構築)を提供する。本明細書に説明される画像は、故に、場面(例えば、
図1の場面102)の複合レーダ反射率の表現と見なされ得る。1つ以上のアンテナ(例えば、アンテナ106)は、調査信号を伝送し、および/または場面を構成する照明された点散乱体に起因して、散乱させられた信号(例えば、後方散乱させられたエネルギー)を受信し得る。例えば、場面は、点散乱体の集合と見なされ得る(例えば、そのようにモデル化され得る)。これは、位置依存場面伝達関数をもたらす。本明細書に説明される調査信号は、いくつかの例では、単一周波数、狭帯域、広帯域、または超広帯域波形であり得、大圏距離(ground-range)分解能は、帯域幅に反比例し得る。交差距離(cross-range)(方位角)分解能は、合成開口の長さに反比例し得る。したがって、場面と調査アンテナとの間の相対運動に伴って(例えば、アンテナまたは場面が互いに対して移動するにつれて)、場面の伝達関数が、異なる位置において測定され、大有効開口を作成し得る。例えば、アンテナ位置m∈{1,・・・,M}では、サンプリング周波数応答ベクトルy
mが、測定され得る。アンテナ位置は、例えば、
図1のアンテナ106の位置を指し得、サンプリング周波数応答ベクトルy
mは、例えば、
図1のRFトランシーバー108内の受信機を使用して測定され得る。N個の点散乱体から成る場面を仮定すると、l番目の周波数サンプル(l∈{1,・・・,L})における測定ベクトルy
mの受信された信号y
m,lは、以下のように記述され得る。
【数1】
【0079】
式中、x
nは、n番目の点散乱体の複合反射係数(例えば、反射率値)であり、a
m,l,nは、経路損失およびアンテナ応答を含む伝搬チャネルであり、ω
lは、角周波数であり、t
m,nは、アンテナ位置mとn番目の点散乱体との間の往復時間遅延であり、ν
m,lは、測定雑音であり、j=√-1である。全てのM個の測定値(M個の位置の各々における)を連結することは、y=Hx+νを与え、式中、yは、測定値(例えば、M個の位置において散乱させられた信号の測定値)のベクトルy=[y
1
T,・・・,y
M
T]
Tであり、νは、測定雑音であり、xは、場面を構成するモデル化された点散乱体の反射率値のベクトルであり、x=[x
1,・・・,x
N]
Tは、点散乱体の反射率ベクトルであり、(.)
Tは、転置演算子である。測定行列Hは、点散乱体の反射率値と各測定との間の依存性を提供する。測定行列の要素は、以下のように定義される。
【数2】
【0080】
式中、mは、アンテナの各位置のインデックスであり、lは、散乱させられた信号の周波数成分のインデックス(例えば、Lまでの各周波数成分インデックス)であり、am,l,nは、経路損失およびアンテナ応答を含む伝搬チャネルであり、ωlは、角周波数であり、tm,nは、アンテナ位置mとn番目の点散乱体との間の往復時間遅延であり、νm,lは、測定雑音であり、j=√-1である。
【0081】
本明細書に説明される画像再構築は、概して、y=Hx+νによって示されるインバージョン問題を解決することによって、反射率値の推定値を散乱させられた信号の測定値から取得する。しかしながら、Hは、最大階数行列ではないこともあり、インバージョン不能であり得る。故に、インバースの近似が、概して、使用される。いくつかの例では、整合フィルタ近似が、使用され、それは、随伴作用素を使用して、インバースを近似し得る。整合フィルタ推定値は、
【数2-1】
として記述され得、式中、(.)
*は、共役転置演算子を示す。しかしながら、整合フィルタ近似は、限定された分解能を有し得る。
【0082】
いくつかの例では、擬似インバース近似が、使用される(例えば、ムーア-ペンローズ擬似インバース)。ムーア-ペンローズ擬似インバースは、特異値分解(SVD)を使用して算出されることができる。擬似インバースは、
【数2-2】
として記述され得、式中、(.)
†は、擬似インバースを示す。しかしながら、残りと比較して小さい特異値が存在することを示す不良条件数は、インバースを不安定にし、問題を不良条件にさせ得る。さらに、擬似インバースの算出は、算出上複雑であり得る。Hは、全ての点散乱体と測定ベクトル内の全ての要素との間の関係を与える。したがって、大行列であり、完全インバースの算出は、多くのメモリを利用し得る。多くの場合、このアプローチは、標準的コンピューティングシステムのハードウェア制約を所与として、非実践的であり得る。
【0083】
故に、本明細書に説明される例は、システムモデルを区分し得る。区分化は、1)測定ベクトルをアンテナ位置によってサブ開口{y
m}に区分化することと、2)各位置において、アンテナの半電波強度(3dB)ビーム幅によって観察されるように再構築場面を区分化することとの2つから構成され得る。しかしながら、本明細書に説明されるように、アンテナのビーム幅を決定するための他の閾値が使用され得ることを理解されたい。例えば、サブ開口への測定ベクトルの区分化は、概して、場面の反射率値の推定値を複数の相対アンテナ位置の各々のために独立して生成することを指し得る。反射率値を複数の分解能の各々のために生成するとき、同じ測定行列が、使用され得る(例えば、測定行列は、一定であり得る)。各位置におけるアンテナのビーム幅によって観察されるような再構築場面の区分化は、概して、アンテナの特定のビーム幅内(例えば、3dBビーム幅内)の場面内のそれらの点散乱体のみの推定反射率値を指し得る。アンテナビーム幅外の点散乱体の寄与は、順モデルでは検討されないこともあることに留意されたい。概して、アンテナの放射パターンは、伝送機からのエネルギーが場面にわたって分散させられる程度の表現と見なされ得る。実践的アンテナは、真に等方性ではないであろうため、アンテナの視程外と比較して、アンテナが向いている方向において、場面を照明するより多くのエネルギーが存在し得る。故に、特定のビーム幅が、基準として選択され得、例えば、3dBビーム幅は、照明エネルギーの半分が空間のその領域内になることを示し得る。算出時間は、再構築試行を特定の調査信号によって特定の時間において最も強く照明される場面の一部に集中させることによって、節約され得る。これは、モデル残差を提供し得るが、しかしながら、残差は、許容可能および/または無視可能であり得ることに留意されたい。故に、場面の可能な区分は、以下のように、反射率値
【数2-3】
の組として記述され得る。
【数3】
【0084】
式中、N
’<<Nは、各位置においてアンテナによって観察される点散乱体(例えば、3dBビーム幅等のアンテナの特定のビーム幅内の点散乱体)の数である。区分化システムモデルは、以下のように与えられる。
【数4】
【0085】
Hmは、測定行列であり、それは、L×N’行列であり、元の(ML)×N測定行列のサイズよりはるかに小さい。完全測定行列のインバースを取得する代わりに、本明細書に説明される例は、1つ以上のサブ測定行列のインバースを算出し、各サブ開口のために別個に解決し得る。
【0086】
有利には、測定行列H
mは、例えば、区画マップモードでは、全ての区分のために一定であり得る。H
sを一定測定行列として定義すると、
【数4-1】
となる。本明細書に説明されるように、測定行列内の変数は、周波数{ω
l}と、時間遅延{t
m,n}とを含む。周波数サンプルは、各システム位置のために同一のままであり、各位置のための再構築場面を固定することによって、時間遅延も、一定のままである。したがって、測定行列の構築およびインバージョンは、1回のみ行われる必要があり、各システム位置における反射率値の推定値を生成するために使用され得る。これは、有利には、有意なメモリおよび算出時間を節約し得る。
【0087】
測定行列が区分を横断して一定と見なされ得る理由の説明として、場面が、いくつかの例では、グリッド上に等しく分散させられた仮説上の点散乱体から構成されると見なされることを思い出されたい。故に、再構築された画像は、仮説上の散乱体として同一グリッド間隔を伴うピクセルおよび/またはボクセルを含み得る(例えば、散乱体の反射率値が、ピクセルおよび/またはボクセル値を生成するために使用され得る)。
【0088】
これらのピクセル/ボクセルの位置は、最終画像のグローバル座標系で記述され得る。しかしながら、各区分化再構築は、その原点におけるアンテナ(例えば、TXまたはRX)の位置に関するそれ自身のローカル座標系において実施されるべきと考えられ得る。測定位置グリッドがピクセル/ボクセルグリッド(例えば、均一に間隔を置かれたラスタ走査パターン)と整合する例では、アンテナの選択された(例えば、3-dB)ビーム幅内のピクセル/ボクセルのローカル座標位置は、グローバル座標系内のピクセル/ボクセル位置と整合するであろう。さらに、ローカル座標系内のピクセル/ボクセルの相対位置は、測定位置毎に変化しない。これらのピクセル/ボクセルの反射率値は、最後には異なり得るが、ローカル座標系内のその相対位置は、同一である。故に、同一測定行列(例えば、サブ測定行列Hs)は、再構築において、各区分のために使用され得る。
【0089】
いくつかの例では、測定位置は、ピクセル/ボクセルグリッドと整合していないこともある。故に、各区分化再構築は、このグリッドと整合されていないピクセル/ボクセルを再構築し得る。故に、補間が、いくつかの例では、使用され、区分化インバース再構築の総和段階において再整合を実施し得る。これは、最少数の測定を用いて可能な限り画像分解能を保つように試みる測定方略に適応し得る。
【0090】
H
sを一定測定行列(例えば、サブ測定行列)として定義すると、式4は、以下のように表され得る。
【数5】
【0091】
インバージョン問題を解決することは、各区分のための推定された解(例えば、推定された反射率値)を与え、それは、整合フィルタまたは擬似インバース技法を使用して見出され得る。大部分の場合、Hsは、不良条件であり得、故に、正則化され得る。打ち切り特異値分解(TSVD)を含む種々の正則化技法のいずれかが、使用され得る。TSVDでは、小特異値は、破棄され得、最強特異値のみが、残され得る。したがって、より多くの特異値が残される場合、分解能は、改良し得るが、いくつかの特異値が、残りと比較して小さい場合、システムは、雑音に対して不安定かつより敏感となり得る。少数の特異値のみが残される場合、雑音は、緩和され得るが、情報は、プロセス中に喪失され得る(例えば、正則化誤差をもたらす)。故に、最適切り捨て点が、いくつかの例では、見出され得る。
【0092】
最適切り捨て点を見出すためのいくつかの方法が、存在する。これらは、非バイアス予測リスク推定器、相変原理、一般化交差検証、およびL字曲線法を含む。L字曲線法は、相関誤差の存在下、よりロバストであり得、誤差についての事前情報を必要とし得ない。L字曲線は、概して、正則化された解のノルム
【数5-1】
対対応する残差のノルム
【数5-2】
のパラメータプロットである。L字曲線の角は、サイズの最小化と対応する残差との間の良好な平衡に対応し得る。この時点で、解は、正則化誤差による優勢から雑音による優勢に変化し得る。測定雑音が全ての位置を横断して一定のままであると仮定して、最適切り捨て点は、全てのサブ区分のために使用され得るので、1回のみ見出される必要があり得る。
【0093】
故に、本明細書に説明される例は、モデルインバージョンに基づいて、区分化再構築方法を利用し得る。システムモデルは、幾何学形状(例えば、アンテナ位置および/またはアンテナの特定のビーム幅内の点散乱体)に基づいて、区分に分割され得、各区分は、別個に事後処理され得る。近似法(例えば、整合フィルタ)または一般化インバース法(例えば、擬似インバース)が、区分のインバージョンを見出し、場面に関連付けられた反射率値の推定値を提供するために使用され得る。最終画像を再構築するために、複数の(例えば、すべての)推定値が、組み合わせられ得る(例えば、コヒーレントに総和される)。区分化システムの実装は、並列処理を可能にし、それは、例えば、1つ以上のグラフィック処理ユニット上で効率的に実施され得る。
【0094】
図2は、本明細書に説明される例に従って配置される再構築システムの略図である。再構築システム200は、バッファ202と、GPUパイプライン204、GPUパイプライン212、およびGPUパイプライン214を含むいくつかのパイプラインとを含み得る。GPUパイプライン204は、配分行列206と、サブ再構築行列208と、加重再配置行列210とを含む。再構築システム200は、結合器216を含む。追加の、より少ない、および/または異なるコンポーネントが、他の例では、使用され得る。再構築システム200は、
図1の再構築システム124等の本明細書に説明される再構築システムによって、実装するために使用され、および/または実装され得る。
【0095】
図2の再構築システム200等の本明細書に説明される再構築システムは、メモリと、1つ以上の処理ユニット(例えば、プロセッサ)とを使用して実装され得る。いくつかの例では、メモリは、実行可能命令でエンコードされ得、それは、実行されると、システムに、本明細書に説明されるアクションを実施させる。このように、本明細書に説明されるような再構築システムは、区分化インバース技法を実施するようにプログラムされ得る。
【0096】
再構築システム200等の本明細書に説明される再構築システムは、バッファ202等の1つ以上のバッファを含み得る。バッファ202は、本明細書に説明される再構築技法において使用するために、受信された信号(例えば、散乱させられた信号に対応する数値)をバッファし得る(例えば、記憶する)。再構築システム200は、種々の信号を受信し得る。調査信号に応答して場面から受信された散乱信号は、例えば、
図1のRFトランシーバー108から受信され得る。動的アンテナ制御状態信号が、例えば、
図1のコントローラ120から受信され得る。アンテナ位置推定値が、例えば、
図1の位置推定器122から受信され得る。これらの信号(例えば、信号によって搬送されるデータ)は、バッファ202内に記憶され得る。
【0097】
本明細書に説明される再構築システムは、測定行列を構築し、それを逆行列に変換し得る。測定行列は、例えば、特定のアンテナ位置に基づいて、構築され、逆行列に変換され得る。種々のアンテナ位置のいずれかが、選定され得、それを用いて、測定行列を構築し、その逆行列を求め、種々のアンテナ位置は、限定ではないが、第1の位置、最後の位置、中間位置、またはある他の位置を含む。概して、測定行列は、アンテナにおける頂点から場面の中のある所定の距離までの特定のビーム幅(例えば、3-dBビーム幅)錐内の全てを再構築するように構築され、逆行列に変換され得る。測定行列の構築および/またはインバージョンは、並列算出を使用して、例えば、いくつかの例では、数千コアを含む任意の数のプロセッサコアを有し得るGPUを利用して、解決され得る。GPUにおいて利用可能な並列算出は、有利には、測定行列の構築および/またはインバージョンを加速し得る。
【0098】
測定行列は、本明細書に説明される区分を横断して一定であり得るので、同一測定行列(例えば、測定行列のインバース)が、複数の区分の各々のために反射率値を推定するために使用され得る。本明細書に説明されるように、測定行列のインバースは、整合フィルタおよび/または擬似インバース技法を使用して計算され得る。
【0099】
本明細書に説明される再構築システムは、場面のための反射率値の計算を区分し得る。反射率値の推定値は、各区分のために計算され得る。推定値は、いくつかの例では、複数の区分のために並行して、いくつかの例では、全ての区分のために並行して計算され得る。各区分のための推定値の並列算出は、全ての例において使用されないこともあるが、並列算出は、有利には、場面のための最終反射率値の算出までの時間を加速し得る。
図2の再構築システム200は、GPUパイプライン204と、GPUパイプライン212と、GPUパイプライン214とを含む3つの区分の並列算出のための3つのGPUパイプラインを図示する。合計N個のGPUパイプラインが、使用され得る。各パイプラインは、特定の区分のために、例えば、特定のアンテナ位置のために、および/またはアンテナの特定のビーム幅内の場面内の散乱体のために、反射率値の推定値を生成し得る。3つのパイプラインが、
図2に示されるが、任意の数が、使用され得、1、2、3、4、5、6、7、8、9、10、50、100、200、300、400、500、600、700、800、900、1,000、2,000、3,000、4,000、5,000、6,000、または別の数のパイプラインを含む。いくつかの例では、パイプラインの各々は、GPUの1つまたは複数のプロセッサコアに対応し得る。いくつかの例では、GPUの特定のプロセッサコアは、複数のパイプラインからのデータを処理するために利用され得る。
【0100】
いくつかの例では、本明細書に説明されるハードウェアおよびソフトウェアは、コデザインされ得る。例えば、撮像システムの側面(例えば、使用されるアンテナの数、区分化するために使用される場所の数、および/または区分化するために使用されるアンテナからの特定のビーム幅)は、いくつかの例では、可能な限り多くのGPUパイプラインを並行して利用するように、GPUアーキテクチャ(例えば、利用可能なGPUパイプラインまたはコアの数)に従って選択され得る。
【0101】
故に、本明細書に説明される再構築システムの例は、複数の区分のための場面に関連付けられた反射率値を推定し得る。本明細書に説明されるように、反射率値の推定値は、配分行列、測定行列、および加重再配置行列を使用して計算され得る。例えば、
図2のGPUパイプライン204は、配分行列206と、サブ再構築行列208(測定行列と称され得る)と、加重再配置行列210とを含む。示される行列の各々は、パイプライン内のデータに作用し、データの区分化組のための反射率値の推定値を提供する。
【0102】
本明細書に説明されるパイプラインの例は、
図2の配分行列206等の配分行列を含み得る。配分行列J
k(kは、パイプラインの番号である)は、パイプラインによって算出された区分に従って、バッファ202からのデータを選択するように動作する。例えば、配分行列は、特定の区分に関連付けられたバッファ202からのデータを選択し、その区分のためのデータを測定行列(例えば、サブ再構築行列208)に提供し得る。概して、配分行列206は、バッファ202内のデータによって乗算されるか、または別様にそれと組み合わせられ、選択されたデータをサブ再構築行列208に提供するであろう。
【0103】
本明細書に説明されるパイプラインの例は、
図2のサブ再構築行列208等の測定行列を含み得る。サブ再構築行列208は、概して、本明細書に説明されるように構築され、逆行列に変換された測定行列であり、
図2では、H
s
-gによって表され得る。いくつかの例では、同一の構築され、逆行列に変換された測定行列が、複数のパイプライン(例えば、GPUパイプライン204およびGPUパイプライン212およびGPUパイプライン214)において使用され得ることに留意されたい。構築され、逆行列に変換された測定行列は、概して、配分行列演算から受信された選択されたデータによって乗算されるか、または別様にそれと組み合わせられ得る。サブ再構築行列は、故に、区分のための場面に関連付けられた反射率値の推定値を加重再配置行列に提供し得る。
【0104】
本明細書に説明されるパイプラインの例は、
図2の加重再配置行列210等の加重再配置行列を含み得る。加重再配置行列210は、概して、加重された行列であり得、それは、反射率の推定値内の要素を実際の場面の座標と一致するように再配置し得る。サブ再構築行列演算からのデータは、加重再配置行列によって乗算されるか、または別様にそれと組み合わせられ、再配置された反射率値の推定値を提供し得る。再配置された反射率値の推定値は、結合器に提供され得る。
【0105】
本明細書に説明されるパイプラインの例は、
図2の結合器216等の結合器を含み得る。結合器は、概して、複数の区分の各々のために生成された反射率値の推定値を場面のための総反射率値に組み合わせ得る。いくつかの例では、結合器は、総和器であり得る。例えば、区分の各々から受信された反射率値の再配置された推定値は、総反射率値をもたらすように総和され得る。概して、測定グリッドと再構築グリッドとの両方が整合される例では、区分化再構築は、総反射率値をもたらすように総和され得る。測定がよりランダム方式で実施される例では、結合器216は、再構築を同一再構築グリッドに再整合させるための補間も含み得る。
【0106】
故に、いくつかの例では、総反射率値、例えば、総反射率値218は、以下のように表され得る。
【数6】
【0107】
式中、Wmは、加重再配置行列であり、Hs
-gは、逆測定行列(例えば、整合フィルタリングおよび/または擬似インバース技法を用いて取得される、逆行列であり得る)であり、Jmは、配分行列であり、yは、全ての受信された散乱信号を表す。
【0108】
動作中、データが、データが生成されるにつれて(例えば、
図1のアンテナ106が場面102に対して移動するにつれて)、再構築システム200において受信され得る。データは、収集された時間(したがって、使用されるアンテナ位置)に基づいて、1つ以上の区分に割り当てられ得る(例えば、1つ以上のGPUパイプラインにフィードされる)。故に、各パイプライン内の処理は、正確に同時に開始しないこともあり、むしろ、パイプラインの動作は、データが受信されるにつれて、互い違いにされ得る。他の例では、複数の区分に相当するだけのデータ(例えば、データの全ての区分)が、場面から収集され、記憶され、複数の区分に割り当てられ得、それらは、同一開始時間で並行して実行され得る。
【0109】
本明細書に説明される例は、照明システムを利用し得、それは、拡張分解能を提供し得る。画像再構築および画像解釈のための十分な信号対雑音比(SNR)を維持するために、合成開口レーダ(SAR)システムは、分解能と場面サイズとの間でトレードオフを行う必要があり得る。本明細書に説明される例は、撮像システムおよび動作モードを説明し、それらは、分解能を改良しながら、良好なSNRおよび大場面サイズを維持し得る。動的アンテナ(例えば、動的メタ表面アンテナ)が、いくつかの例では、使用され得、それは、複数のより小さい異なるアンテナビームを利用して、大仮想ビーム幅をサブサンプリングし得る。場面サンプリングにおけるこの並列化に起因して、方位角サンプリングレートに関する制約は、いくつかの例では、緩和されながら、無エイリアシング交差距離を維持し得る。動的アンテナ(例えば、動的メタ表面アンテナ)の多用途性質およびそのコスト効率的製造プロセスに起因して、本明細書に説明される例は、撮像および再構築システムを提供し、それは、競合アプローチより低いコストおよび複雑性を伴って、広場面サイズにわたって高分解能画像を取得することが可能であり得る。
【0110】
動的アンテナシステムは、単一アンテナ、複数の(空間的に分散させられたものを含む)アンテナ、または異なるアンテナ性質が動的に切り替えられ得るアンテナアレイを含み得る。アンテナ性質は、限定ではないが、偏波、中心周波数、帯域幅、アンテナビーム方向、またはビームパターン(例えば、カオス放射モード、擬似ランダム放射モード、周波数多様放射モード、ことなる別個の周波数帯域における異なる別個のビーム(例えば、ERSM-FDMAのために)等)を含み得る。動的アンテナシステムは、伝送機および受信機間の単入力単出力(SISO)、単入力多出力(SIMO)、多入力単出力(MISO)、または多入力多出力(MIMO)動作モードをサポートし得る。アンテナ性質は、半導体(バラクタダイオード、PINダイオード、FET等)または電圧同調可能絶縁体材料(液晶、チタン酸バリウムストロンチウム等)等の切り替えデバイスを使用して、電子的に制御され得る。アンテナは、例えば、メタ表面アンテナの場合、サブ波長要素を含み得る。
【0111】
古典的SARシステムは、典型的に、区画マップモードおよびスポットライトモードSAR画像を取得するためのRX/TXのために、単一アンテナを使用する。他のSARシステムは、ビーム操向においてよりフレキシブルであり、機械的可動部分を回避するために、アンテナアレイに依拠する。高分解能広観測幅(HRWS)のような他の方法は、専用TXアンテナおよび専用RXアンテナアレイを使用し、サブ開口が、達成される分解能を定義する。これらのサブ開口のアレイが、全体的RXアンテナ利得を改良するために使用され得る。
【0112】
本明細書に説明される例では、拡張分解能区画マップモード等の拡張分解能モードが、使用され得る。拡張分解能モードでは、場面は、動的アンテナによって作成され得る多数の狭ビーム幅アンテナ-ビームを用いて調査され得、動的アンテナは、効率的により広いビーム錐をサンプリングする。このアプローチは、広ビーム幅アンテナと類似した総ビーム幅を提供し得るが、複数の狭ビーム幅ビームによって実際にサンプリングされる。これは、a)同一測定位置において、(サブビーム依存)直交調査信号(例えば、周波数または信号コードにおいて分離される)を使用することによって、および/または、b)信号を時間において分離するために、サブビームごとに若干異なる測定位置において、行われることができる。
【0113】
複数のより狭いビームを介したより広い総ビーム幅のサブサンプリングは、サブビームデータの別個の処理および改良されたSNRを可能にする(狭サブビームのより高いアンテナ利得に起因して)。サブビームあたりの空間サンプリングレートが、単一の広ビーム幅システムの空間サンプリングレートと比較して緩和されることにも留意されたい。本明細書に説明される例が、専用伝送および/または受信アンテナを用いて展開され、それぞれ、受信または伝送においてのみ拡張分解能技法を使用し得ることにも留意されたい。
【0114】
いくつかの例では、アンテナビーム配向の変化を利用するSARシステム、または、複数のビームを同時に形成する(例えば、MIMO利得等のMIMO信号処理の利点を利用するために)SARシステムは、機械的ジンバル支持アンテナまたは大規模位相アレイを使用し得る。両技術は、安定性、サイズ、複雑性、およびコストの観点から、不利点を示し得る。故に、本明細書に説明されるいくつかの例は、動的アンテナシステムを利用し得、その中でも、動的メタ表面アンテナ(MSA)が、一例である。動的アンテナは、可変電磁性質を伴うサブ波長放射要素(例えば、アンテナセル)のアレイを含み得る。例えば、半導体または液晶アプローチを使用して、それらのアンテナセルは、ビーム幅、中心周波数、および/またはビーム配向を変化させるように迅速かつ独立して、低労力で制御されることができる。それらは、確立された製造プロセスを使用して製造され得るので、所望の実装に応じて、カスタム設計を生成することが単純かつ安価であり得る。加えて、動的アンテナは、周波数多様アンテナビームパターンを生成するように設計され得る。これは、動的アンテナの例が、使用される周波数領域に応じて、異なるビーム配向を示すことを可能にし得る。
【0115】
本明細書に説明される例は、拡張分解能モードにおける動作を可能にし得、それは、いくつかの例では、複数の狭いアンテナビームを使用して大きい仮想ビーム幅をサブサンプリングすることによって、交差距離分解能および観測幅を改良し得る。狭ビーム幅に起因して、方位角サンプルレートは、緩和され得、SNRは、仮想ビームと同等ビーム幅を伴う単一アンテナと比較して増加する。アンテナ技術およびRFハードウェアに応じて、異なる仮想ビームサブサンプリング方略が、例えば、時分割多重アクセス(TDMA)、周波数分割多重アクセス(FDMA)、または符号分割多重アクセス(CDMA)の観点から適用されることができる。動的アンテナは、いくつかの例では、単一アンテナのみが使用されるので、システム複雑性、サイズ、およびシステムコストを緩和させ得る(例えば、複数のサブ波長要素を有する単一アンテナ)。概して、SARシステムの交差距離分解能δcは、アンテナビーム幅θに依存し得る。δcを改良するために、ビーム幅θも、増加する必要があり得る。しかしながら、画像形成後のSNRは、ビーム幅θの3乗に反比例する。故に、θの増加に伴って、SARシステムのSNRは、著しく減少し得る。従来のシステムでは、故に、SNRと交差距離分解能との間のトレードオフが、良好なSAR画質を取得するために必要であり得る。
【0116】
システムビーム幅θを増加させながら、同一SNRを維持する、または従来予測されるものよりはるかに低減されたSNRを経験し得る本明細書に説明される例は、本明細書に説明される拡張モード技法により、拡張モード技法は、ビーム幅θ>θs(θsは、サブサンプリングアンテナのビーム幅である)の大仮想アンテナビームをサブサンプリングする、M個の狭ビーム幅アンテナの組を利用する。M個のサブサンプリングアンテナから送信される信号{sm(t)}は、サブサンプリングアンテナ間を区別し、クロストークおよび自己干渉を最小化し、および/または低減させるために、互いに直交し得る。故に、信号は、時間(TDMA)、周波数(FDMA)において、および/または直交コード(CDMA)を使用して、直交するように使用され得る。直交周波数分割多重化(OFDM)等の直交変調スキームも、使用され得る。散乱させられた信号が、故に、M個のサブサンプリングアンテナの各々(例えば、直交信号の複数のビームの各々)に応答して、場面から受信され得る。場面の反射率値は、直交信号の複数のビームの組み合わせ(例えば、M個のサブサンプリングアンテナおよび/または反射率要素の和)を使用して、取得され得る。このように、本明細書に説明される拡張モードシステムの分解能は、各測定場所において使用される複数の直交ビームの和である総ビーム幅に依存する分解能を有し得る。しかしながら、システムのSNRは、代わりに、複数の直交ビームのより狭ビーム幅、例えば、θsの3乗に反比例し得る。
【0117】
ドップラー無エイリアシング測定を取得するために、方位角サンプリング距離Δaは、Δa≦δcを満たす必要があり得る。故に、狭ビーム幅θsを維持する場合、方位角サンプリング距離Δaは、最大ドップラー帯域幅BD=2v/λ0sin(θs/2)(vは、アンテナシステムの速度である)のみを満たなければならないので、緩和され得る。これは、直交信号の複数のビームが複数の独立撮像システムと見なされ得るという概念から生じ得る。いくつかの例では、後処理が、レンジドップラーアルゴリズム、Ωkアルゴリズム、SPECAN、またはチャープスケーリングアルゴリズム等のアルゴリズムを使用する場合、画像形成の前に、測定データをアップサンプリングするために使用され得る。
【0118】
いくつかの例では、能動的電子走査アレイ(AESA)が、本明細書に説明される拡張モード撮像を実施するためのアンテナを実装するために使用され得る。例えば、アンテナ106は、1つ以上のAESAを使用して実装され得る。AESAに対して、利得Ak(ω)および位相Φk(ω)は、各アレイ要素および周波数のために、個々に適合されることができる。故に、異なる周波数のための異なるビームパターンを生成し、それらのビームを経時的に変化させることも可能である。この適合は、デジタル信号処理方法が適用され得るので、デジタルベース帯域内で実施され得る。しかしながら、この柔軟性は、各AESA要素が、概して、アナログ/デジタルコンバータ(ADC)、デジタル/アナログコンバータ(DAC)、増幅器、サーキュレータ、および、上方および下方変換ミキサを含むので、高ハードウェア複雑性、電力消費、およびコストを伴う。このハードウェア複雑性は、望ましくは、低電力を引く光デバイスを利用し得る航空機搭載型または衛星搭載型撮像システム等のシステムのために、AESAを困難にし得る。
【0119】
動的アンテナシステムは、従来使用されるアンテナアレイに優る多くの利点をもたらし得る。動的アンテナシステムは、ビーム操向、複合ビーム形成、および、その個々の要素の振幅、位相、周波数、偏波制御が可能であり得、周波数および空間的に多様なパターンを形成し得る。AESAと異なり、動的アンテナは、概して、各個々のアレイ要素のために、基底帯域信号の利得および位相を制御する必要がなく、むしろ、それらは、それらの要素の放射性質を変化させる。
【0120】
図3は、本明細書に説明される例に従って配置される動的アンテナの略図である。動的アンテナ300は、サブ波長要素302と、サブ波長要素304と、サブ波長要素306と、サブ波長要素308と、サブ波長要素310と、伝送ライン312(限定ではないが、導波管、基板統合導波管、またはキャビティを含む)と、増幅器314と、サーキュレータ316と、増幅器318とを含む。追加の、より少ない、および/または異なるコンポーネントが、他の例では、使用され得る。動的アンテナ300は、
図1のアンテナ106等の本明細書に説明されるアンテナを実装するために使用され得る。
【0121】
概して、動的アンテナは、誘導波(例えば、伝送ライン、導波管、基板統合導波管、またはキャビティ312)を含み得、それは、サブ波長要素に結合され得る。任意の数のサブ波長要素が、概して、使用され得、限定ではないが、1、2、3、4、5、6、7、8、9、10、100、1000、または別の数のサブ波長要素を含む。サブ波長要素の各々は、放出される信号の位相および振幅を変調することが可能であり得る。各サブ波長要素は、信号sm(t)を伝送し得、それは、他のサブ波長要素の伝送信号と直交し、したがって、それらは、受信されると、区別されることができる。
【0122】
動的アンテナ300を制御するために、本明細書に説明されるコントローラ(例えば、
図1のコントローラ120)は、各サブ波長要素のために、制御信号を提供し得る。制御信号は、同調機構の効果を決定し得る。例えば、液晶同調機構の場合、要素(例えば、要素302-310)に適用されるバイナリパターンは、その液晶層に適用されるバイアス電圧(位相変化をその要素からの放射上に生成する)を有する要素および有していない要素を決定し得る。バイアス/非バイアス要素の異なるパターンは、異なるビームパターンを生成する。同調機構は、バイナリ(例えば、バイアス/非バイアス)である必要はない。例えば、連続値入力電圧レベルが、各要素のために提供され得る。
【0123】
同様に、PINダイオード、バラクタダイオード、電界効果トランジスタ(FET)等の半導体、チタン酸バリウムストロンチウム(BST)等の電気的に同調可能な絶縁体、またはそれらの組み合わせを含む他の要素同調機構も、いくつかの例では、液晶絶縁体層を使用せずに、要素の同調性を可能にするために使用されることができる。
【0124】
本明細書に説明される例は、時分割多重化、周波数分割多重化、コード分割多重化、またはそれらの組み合わせを利用して、直交信号を複数のサブ波長要素から提供し得る。
【0125】
図4Aおよび
図4Bは、本明細書に説明される例に従って配置される
図4Aでは時分割多重化、
図4Bでは周波数分割多重化を使用して提供される直交信号の複数のビームの略図である。
【0126】
図4Aは、異なる時間に提供され得る直交信号402のビーム、直交信号404のビーム、直交信号406のビーム、直交信号408のビーム、および直交信号410のビームを図示する。
図4Aに示される軸は、時間であり得る。測定位置は、時間軸上の暗ドットによって、
図4Aに示される。故に、測定位置412および測定位置414が、示される。直交信号402-410の5つのビームが、測定位置412の時間と測定位置414の時間との間に提供され得、それらは、測定位置412に関連付けられると称され得る。測定位置414に到達すると、直交信号の5つのビームは、再び、
図4Aに示されるように提供され得、測定位置414に関連付けられると称され得る。直交信号402-410のビームの各々は、異なる角度で提供され得る。直交信号の5つのビームは、動的アンテナシステムによって提供され得る(例えば、いくつかの例では、動的メタ表面アンテナ300によって)。
図1のコントローラ120等の本明細書に説明されるコントローラは、動的メタ表面アンテナ300を制御し、
図4に示されるビームのシーケンスを提供し得る。
【0127】
伝送シーケンスの順序(例えば、ビーム402-410の順序)は、本明細書に説明される例では、変動し得ることに留意されたい。無エイリアシングドップラー帯域幅に従うために、同一アンテナから送信される2つの信号間(例えば、2つの測定位置間)の方位角サンプリング距離は、Δaであるべきである。方位角方向は、概して、アンテナシステム移動の方向を指す一方、「範囲」は、アンテナシステム移動に対して垂直方向を指し得ることに留意されたい。いくつかの例では、信号スケジューリングは、受信される信号が、クロストークおよび自己干渉を回避および/または低減させるように伝送されたものと同一サブビームを用いて受信され得ることを考慮し得る。これは、観測幅および最大仮想ビーム幅θを制約し得る。動的アンテナは、有利には、それらが異なるビーム配向を非常に短時間で、例えば、数マイクロ秒の範囲内で切り替え可能であることが示されているので、時分割多重化と共に利用され得る。加えて、動的アンテナは、要素毎可変位相および利得段階の必要がなく、それは、それらを位相アレイより低複雑性かつより信頼性のあるものにし得る。
【0128】
図4Bは、直交信号416のビーム、直交信号418のビーム、直交信号420のビーム、直交信号422のビーム、および直交信号424のビームを図示する。直交信号416-424のビームは、異なる周波数で同時に測定位置426において提供され得る。次の測定位置である測定位置428では、それぞれの周波数における同一のビーム直交信号が、再び、提供され得る。直交信号416-424のビームの各々は、異なる角度で提供され得る。このように、周波数分割多重化またはコード分割多重化が、本明細書に説明される例では、採用され得る。
【0129】
図4Bに示されるような位相アレイを利用して周波数分割多重化を実装する例では、AESAを使用した完全デジタルビーム形成が周波数依存サブビームを処理可能であることを必要とされ得るので、複雑性の増加が、認められ得る。しかしながら、動的アンテナは、単一フィードを利用して、周波数依存サブビームを維持するように設計されることができる。これは、AESAと比較して、ハードウェア複雑性を低減させ得る。さらに、多くの動的アンテナの周波数多様挙動に起因して、各伝送信号および受信信号は、そのサブビームmに連結され得、それは、クロストークおよび自己干渉を最小化し、および/または、低減させ得る。
【0130】
拡張モード照明技法(例えば、事実上より大きいビーム幅をサンプリングするための複数のより狭いサブビーム)を利用する、本明細書に説明される例は、本明細書に説明される区分化インバース技法をさらに利用し得る。例えば、測定は、その操向角度によって、区分され得る。
図2を参照すると、例えば、いくつかの例では、複数のGPUパイプラインが、単一測定位置に配分され得、各GPUパイプラインは、ビームの特定の操向角度に基づいて、推定値を生成する。
【0131】
図5は、本明細書に説明される例による撮像デバイス500の略図である。撮像デバイス500は、画像データ502(例えば、
図1の再構築システム124等の本明細書に説明される再構築システムから)、可視カメラからの画像データ504、赤外線(IR)カメラからの画像データ506、および/またはレーザスキャナからの画像データ508を含む種々の画像データを受信し得る。追加の、より少ない、および/または異なる画像データが、他の例では、提供され得る。撮像デバイス500は、1つ以上の処理ユニット(例えば、プロセッサ)と、画像オーバーレイ510のための命令、画像位置合わせのための命令512、および/または材料識別のための命令514を含む本明細書に説明される機能を実施するための実行可能命令でエンコードされたメモリとを利用して、実装され得る。撮像デバイス500は、ディスプレイ518、記憶装置520、接続522、および/または入力/出力デバイス524をさらに含み得る。いくつかの実施形態では、ディスプレイ518は、通常の2次元ディスプレイ(LCDディスプレイ等)であり得るか、または、ディスプレイ518は、双眼ステレオディスプレイ、仮想現実ヘッドセット、明視野ディスプレイ、または3次元ディスプレイをユーザに提供することが可能な任意の他のタイプのディスプレイ等の3次元ディスプレイであり得る。
【0132】
撮像デバイス500のいくつかの例では、撮像デバイスは、少なくとも部分的に、ユーザ(例えば、人間ユーザ)によって装着可能であり、ユーザが、マイクロ波および/またはミリ波、光学、赤外線等を含む1つ以上の撮像モダリティを通して、場面を視認(例えば、可視化する)ことを可能にし得る。そのような例では、マイクロ波および/またはミリ波撮像能力の追加は、ユーザが、暗闇内、または霧、雨、もしくは煙充填環境を通して、ナビゲートすることを可能にし得る。このタイプのシステムは、特に、ディスプレイ518が3次元ディスプレイであるときに有用であり得る。
【0133】
撮像デバイス500等の本明細書に説明される撮像デバイスは、場面に関連付けられた総反射率値を受信し得る(例えば、
図1の再構築システム124および/または
図2の再構築システム200等の本明細書に説明される再構築システムから)。いくつかの例では、再構築システムは、画像を生成することにおいて使用するためのピクセルおよび/またはボクセルデータを提供し得る。いくつかの例では、撮像デバイス(例えば、撮像デバイス500)は、画像データを総反射率データから生成し得る。画像データは、
図5では、画像データ502として示される。
【0134】
場面のための他の画像データも、加えて、画像データ504、画像データ506、および画像データ508として
図5に示されるように、可視波長カメラ、IRカメラ、および/またはレーザスキャナから受信された画像データ等の本明細書に説明される撮像デバイスに提供され得る。
【0135】
撮像デバイスは、画像オーバーレイを実施し得る。故に、撮像デバイス500は、画像オーバーレイのための命令510を含み得る。異なる撮像モダリティからのいくつかの再構築が、オーバーレイされ、場面についてのある範囲の情報を提供し得る。異なる撮像方法からの画像を重ね合わせる1つのアプローチは、同一物理的サイズである基準を各画像再構築物内で使用することである。円形基準の場合、基準の中心位置および半径が、アフィン変換または画像ワーピング等の画像位置合わせアルゴリズムおよび最小2乗適合と組み合わせられるスケーリングアルゴリズムを使用して、各別個の画像のために見出され得る。各画像は、次いで、基準が位置合わせされるように、スケーリングおよび変換され得る。画像にオーバーレイするために使用される基準の数は、再構築物の寸法に合致するように選択され得、例えば、複数の2D再構築が重ね合わせられるべき場合、少なくとも2つの基準が使用され得る一方、3D画像は、少なくとも3つの基準を利用し得る。
【0136】
画像オーバーレイは、各画像モダリティからの物理的情報が同時に表示されることを可能にし得る。例えば、ミリ波再構築物および赤外線画像が、場面内の物体の空間配向ならびにそのミリ波反射率およびその温度または赤外線シグネチャを示すように重ね合わせられ得る。代替として、または加えて、ミリ波または赤外線画像の2D表現が、位置合わせのための基準を使用して、光学画像上にオーバーレイされるか、または物理的場面上に直接投影されるかのいずれかが行われ、遮られた物体が可視識別子に対して容易に配向されることを可能にし得る。この場合、色が、反射率、深度、温度等の画像再構築物によって与えられる物理的情報を表すために使用され得る。
【0137】
特定の場面の以前に入手された画像が、有線または無線接続のいずれかを介して、もしくは記憶装置520から、撮像デバイス500にアップロードされ得る。これは、画像オーバーレイまたは並んで比較をもたらし、場面の変化を経時的に表示および/または監視し得る。これは、画像データの種々のモダリティ、例えば、システム502からの画像再構築物、可視カメラ504からの画像、IRカメラ506からの画像、およびレーザスキャナ508からの画像のために行われ得る。
【0138】
いくつかの例では、場面差分アルゴリズムが、ユーザに、ハイライトまたはオーバーレイを提供し、場面の前の画像から場面の現在の画像への変化に注意を向けさせ得る。そのような例では、画像ピクセルまたはボクセルが、着色、シェーディング、ハイライト、シャドーイング、または英数字テキストもしくは矢印を用いたマーキング等のグラフィカル技法を使用して、強調され、過去および現在の画像ピクセルまたはボクセル間の変化を示し得る。
【0139】
なおもさらなる例では、小包またはパッケージ化された商品等の物体が、特定の時間および/または場所において撮像され、次いで、後の時間および/または場所において続いて撮像され得る。いくつかの例では、小包は、輸送のために、荷送人または物流会社から離れるときのある時間および場所で撮像され、次いで、送達された後の時間および場所で続いて撮像され得る。この例では、場面差分アルゴリズムが、例えば、取扱上の損傷に起因して、または不正開封に起因して、物体が変化したかどうかの指示を提供し得る。そのような例では、自動化された第1のレベル変化検出は、人間にアラートし、第2のレベル点検を実施させ、例えば、損傷または不正開封の検出を検証させ得る。
【0140】
さらなる例では、自動化された変化検出は、自動化された取扱システムに、潜在的に変化した物体を他の物体のフローから分離させ、例えば、自動的に、潜在的に損傷された小包またはパッケージ化された商品を別個のコンベヤベルト上に向かわせ、追加の点検のために待ち行列に入れられ得る。
【0141】
なおもさらなる例では、変化検出は、小包またはパッケージの内側のアイテムの数の自動化されたカウントを含み得る。
【0142】
本明細書に説明される撮像デバイスは、基準との画像位置合わせを提供し得る。故に、撮像デバイス500は、画像位置合わせ512のための命令を含み得る。基準は、概して、物理的場面と1つ以上の撮像モダリティとの間の位置合わせを促進し得る物理的シグネチャを指す。基準は、画像オーバーレイおよびシステム位置合わせを補助し得、場面についてのメタデータを提供し得る。基準は、それらが撮像されているモダリティにおいて高度に可視であるように設計され得る。例えば、ミリ波基準は、ミリ波帯域内で高度に反射性または高度に吸収性のいずれかであり、基準と場面を構成する材料との間のコントラストを確実にし得る。可視光基準は、高コントラスト着色パターンを背景上に有し、それらが場面を構成する材料から容易に区別されることを可能にし得る。赤外線基準も同様に、赤外線スペクトル内で反射性または吸収性であり得る。
【0143】
基準は、既知の特徴を有する恒久的に据え付けられた物体または既知の特徴を有する一時的に据え付けられた物体のいずれかであり得る。基準の一例は、ミリ波エネルギーならびに可視光の両方を反射する1つ以上の位置合わせマークを有する自己接着性ステッカである。そのような基準は、光学的に反射性であるが、少なくとも部分的に、ミリ波に対して反射性である外側層を有するラミネートされた紙またはプラスチックステッカを使用して構築され得る。次いで、内側層は、ミリ波を反射する金属フィルムまたは箔を用いて実装され得る。いくつかの実施形態では、内側層は、外側層上にインクで印刷された円形または十字マークと位置合わせされる円形または十字マークを用いてパターン化され得る。外側層をマークするために使用されるインクは、可視光およびミリ波の両方に反射性であり得る。そのようなインクは、着色インクベース内の金属または炭素粒子の分散から成り得る。いくつかの実施形態では、インクは、市松模様パターンまたはQRコード(登録商標)を用いてパターン化され得る。
【0144】
複数の撮像モダリティがインターフェースをとられ、単一場面を撮像する例では、基準は、撮像プラットフォーム内で使用される撮像モダリティの各々によって観察されるような既知の物理的サイズおよび形状を有し、正確な画像オーバーレイを補助し得る。例えば、ミリ波撮像機、赤外線カメラ、および光学カメラを統合する撮像システムは、高可視光コントラストを有する外側のパターン化された層で被覆される内側金属箔を含む基準を採用し得る。この例では、外側のパターン化された層は、可視光を反射し、したがって、既知のパターンを光学カメラに提示するために使用され得る。同時に、内側金属層は、ミリ波照明および任意の赤外線照明を、それぞれ、ミリ波撮像機および赤外線カメラに反射し、既知の画像をこれらのモダリティ内に形成し得る。種々の画像位置合わせアルゴリズム(アフィン変換または画像ワーピングおよび最小2乗適合と組み合わせられるスケーリングアルゴリズム等)のいずれかを使用して、それぞれの基準形状が、撮像モダリティの各々間で位置合わせされ得る。基準形状が、そのように位置合わせされると、画像位置合わせアルゴリズムによって決定された幾何学的パラメータは、撮像モダリティの各々からの完成画像を位置合わせするために使用され得る。
【0145】
本明細書に説明される撮像デバイスの例は、材料識別を実施し得る。故に、撮像デバイス500は、材料識別のための命令514を含み得る。ミリ波撮像は、概して、ミリ波エネルギーを伴う場面のコヒーレント照明を使用して、場面の2Dまたは3D画像を構築する。場面から散乱させられたミリ波エネルギーは、複素数値であり得、照明周波数帯域を横断して散乱させられたエネルギーの位相および振幅は、照明波が場面内で相互作用した材料の誘電的性質に基づいて変動し得る。抽出技法を使用して、この情報は、これらの材料の比誘電率(例えば、誘電率および透磁率)を推定するために使用されることができる。これは、多層モデルを使用して、他の材料の背後に部分的に遮られた物体の誘電的性質を抽出することによって、実施され得る。
【0146】
場面内の材料の誘電特性が推定されると、これらの値は、場面内で予期され得る一般的材料のデータベースに合致させられ得る。データベースは、例えば、記憶装置520内に記憶され得る。ある例示的構造実装では、そのような誘電パラメータは、PVCパイプ、木材、タイル、および/または銅パイプまたはワイヤ等の金属物体を表す画像ピクセルまたはボクセル間を判別するために使用され得る。
【0147】
この判別が遂行されると、画像ピクセルまたはボクセルは、着色、シェーディング、ハイライト、シャドーイング、または英数字テキストもしくは矢印を用いたマーキング等のグラフィカル技法を使用して、強調され、特定の画像ピクセルまたはボクセルを構成する材料を示し得る。代替として、ユーザは、グラフィカルユーザインターフェースまたはタッチスクリーンインターフェース等のユーザインターフェースを使用して、ある材料を潜在的材料のリストから選択し得る。ユーザは、したがって、撮像デバイスに、ある材料を含むピクセルまたはボクセルを示すかまたは隠すか、もしくはある材料を除外するかのいずれかを行うようにコマンドし得る。
【0148】
撮像デバイスの例は、ディスプレイ518等の1つ以上のディスプレイを含み得る。概して、任意のタイプのディスプレイが、使用され得、ディスプレイは、本明細書に説明されるシステムおよび方法によって生成された場面の画像を表示し得る。
【0149】
撮像デバイスの例は、記憶装置520等の記憶装置を含み得る。概して、任意の種類の電子記憶装置が、使用され得、例えば、RAM、ROM、フラッシュ、ディスクドライブ、ソリッドステートドライブ等である。画像データおよび/または反射率値は、いくつかの例では、記憶装置520内に記憶され得る。
【0150】
本明細書に説明される撮像デバイスの例は、接続522等の1つ以上の有線および/または無線通信接続を含み得る。これは、いくつかの例では、画像データを含むデータが撮像デバイスから他のコンピューティングデバイスに転送されることを可能にし得る。
【0151】
本明細書に説明される撮像デバイスの例は、入力/出力デバイス524等の1つ以上の入力/出力デバイスを含み得る。任意の数および種々のそのようなデバイスが、使用され得、限定ではないが1つ以上のキーボード、マウス、ボタン、ジェスチャ検出器、発話認識システム、および/または音声デコーダを含む。
【0152】
本明細書に説明される撮像システムおよび方法の例は、種々の分野における、および/または種々の場面を撮像するための、使用を見出し得る。例は、人員スクリーニング(例えば、1人以上の人間を撮像し、衣類下に位置付けられ、人間の眼には外部から不可視であり得る密輸品を識別する)、武器検出(例えば、1人またはそれを上回る人間および/または1つ以上のバッグもしくは他の容器を撮像し、人間の眼には不可視であり得る武器を識別する)、偵察、自律的ロボット、非破壊検査、パッケージ化された商品のプロセス中の点検、構造評価、および/または遠隔感知(例えば、オペレータから遠隔の環境を撮像する)を含む。いくつかの例では、撮像されるべき場面は、1つ以上の無生物物体およびその構成部分を含む。これは、車、航空機、他の乗り物、または建物等の物体を含むことができる。場面の他の例は、壁、天井、床、柱、パイプ、配線、または他の光熱設備等の建物の部分を含む。さらなる例は、地面および/または少なくとも部分的に地中に埋められた物体を含む。場面のなおもさらなる例は、ボックス等の容器内の1つ以上の物体を含む。
【0153】
遠隔感知用途に対して、照明システムおよび受信機は、感知されるべき環境内に位置付けられ得る。本明細書に説明される受信機信号および/または画像データ等のデータは、環境の全部または一部の画像のレンダリングのために、環境から別の場所(例えば、遠隔および/または中央ワークステーション)に伝送され得る。
【0154】
(実施例)
例示的実装が、比較目的のために、3つの技法、すなわち、完全インバース(FI)、整合フィルタ(MF)、および区分化インバース(PI)のための合成されたデータに基づいて結果を生成した。シミュレーション設定は、58°の半電波強度ビーム幅を伴うホーンアンテナを仮定した。アンテナは、4mmのインターバルで0.10mにわたって移動させられ、視角度30°およびプラットフォーム高さ0.3mとした。周波数20GHz~26GHzが、60MHzのためのサンプリングインターバルで使用された(例えば、101値)。再構築されるべき場面は、大圏距離0.2mおよび交差距離0.484mであった。これらの値は、使用されるワークステーション(3.4GHzで16GBメモリを伴うIntelコアi7-6700CPU)上で可能な完全インバースを使用して再構築物を作成するように選定された。
【0155】
FI、MF、およびPIのためのモデル分解能散布度(spread)が、計算された。値は、Iのノルムを使用して正規化された。保持された特異値の最大数は、101であり、それは、Hsの最小サイズである。FIおよびPIの分解能散布度は、切り捨ての量に伴って変化し、101点では、それぞれ、0.9919および0.9789であった。MFの分解能散布度は、0.9984であり、FIおよびPIの両方の下限近傍であった。101点では、PIにおいて、MFおよびFIより、分解能散布度の2%および1.3%の改良がそれぞれ認められた。
【0156】
PIに対して、再構築点の数は、FIをはるかに下回った。したがって、少数の特異値が残されるとき、モデル分解能Rは、PIに対して、FIより高くなった。さらに、PIでは、区分化場面内の点のみが、推定値に影響を及ぼし、Rにおける対角線外要素の大部分が、ゼロの近傍であった。
【0157】
種々のSNR値を伴うPIに関するL字曲線が、プロットされた。L字曲線の角点は、それぞれの雑音レベルに関する最適切り捨て点、すなわち、30dB SNR:17点、20dB SNR:15点、10dB SNR:13点、および0dB SNR:11点を表した。雑音レベルが増加するにつれて、残差のノルムも、増加した。
【0158】
15点の固定切り捨て点を伴う点拡がり関数(PSF)に対する異なる雑音レベルの影響が、調べられた。0dBおよび10dB SNRを伴う信号に対して、点散乱体は、分解不可能であった。より低い雑音レベルを伴う信号に対して、PSFの分解能は、大圏距離1.87cmおよび交差距離2.38cmであり、それは、切り捨て点が固定されるので、同一のままである。
【0159】
異なる雑音レベルに対する最適切り捨て点を使用したPSFが、調べられた。分解能は、切り捨ての量に依存するので、異なる雑音レベルに対して、異なる分解能が、観察され得る。雑音を伴わない理想的場合では、PSFは、切り捨てが存在しないので、ピークとなるであろう。雑音レベルが増加すると、分解能は、低下する。それぞれの雑音レベルに対する大圏距離分解能は、0dB SNR:2.36cm、10dB SNR:2.09cm、20dB SNR:1.86cm、および30dB SNR:1.69cmであった。
【0160】
しかしながら、交差距離データは、限定されるので、分解能低下は、交差距離分解能が全ての雑音レベルを横断して2.38cmであった場合、不可視であった。これは、PI法が雑音に対してロバストであることを示唆する。
【0161】
MFを用いた分解能は、大圏距離3.10cmおよび交差距離2.40cmであった一方、FIを用いた分解能は、それぞれ、1.33cmおよび2.07cmであった。FIを算出するとき、Matlab(506)によって算出されたデフォルト切り捨てレベルが、使用され、したがって、良好な分解能が、達成された。しかしながら、0dB SNRでさえ、分解能は、PIに対して、MFより、大圏距離24%および交差距離0.83%改良した。
【0162】
PSFの再構築に対して、PIは、1.9秒かかり、MFは、7.2秒かかり、FIは、2,200秒かかり、PIは、FIより1,200倍高速、MFより4倍高速であった。
【0163】
58°の半電波強度ビーム幅を伴うPasternack PE9852/2F-10K-帯域ホーンアンテナを使用して、実験結果が、取得された。アンテナは、4mmの間隔において0.57m移動させられ、視角度は、高さ0.3mにおけるプラットフォーム上で60°であった。周波数15GHz~26.5GHzが、使用され、50MHzインターバルで間隔を置かれた。各アンテナ位置において、伝達関数測定値が、Agilent A5222Nベクトルネットワーク分析器を使用して収集された。再構築場面は、大圏距離0.6mおよび交差距離1.1mであった。交差距離は、全てのアンテナ位置によって観察されるように場面を再構築するように選定された。18本の1/4インチ(ねじ山数20)ナットから成る点散乱体の円形が、撮像されるべき場面として使用された。ナットは、13cmの直径の円形上に等距離に配置された。
【0164】
MFおよびPIを使用して再構築された画像が、取得され、反射率が、正規化された。FIを使用した再構築は、利用可能な16GBのメモリを用いてでは不可能であった。MFおよびPI画像は、本質的に、可視差異を示さなかった。これは、PIが実際の測定雑音の中で機能することを示唆した。MFを使用した再構築は、230秒かかった一方、PIは、わずか29秒かかり、PIは、使用されるワークステーション上で8倍高速であった。
【0165】
別の例では、58°の半電波強度ビーム幅を伴うPasternack PE9852/2F-10K-帯域ホーンアンテナを使用して、実験結果が、取得された。アンテナは、4mmの間隔において、方位角59.2cmおよび仰角61.2cm移動させられた。周波数15GHz~26.5GHzが、使用され、200MHzインターバルで間隔を置かれた。各アンテナ位置では、伝達関数測定値が、Agilent A5222Nベクトルネットワーク分析器を使用して収集された。全てのアンテナ位置によって観察されるような場面は、大圏距離0.2m、方位角1.252m、および仰角1.256mであった。使用される場面は、金属コーティングされたバルーンドッグであった。再構築は、Matlabにおいて実施された。
【0166】
従来の整合フィルタ、区分化整合フィルタ、および区分化擬似インバースを使用して再構築された画像が、生成され、反射率が、正規化され、対数スケールで表された。従来の擬似インバースを使用した再構築は、利用可能な16GBのメモリを用いては不可能であった。区分化擬似インバースが、特異値分解(SVD)を使用して算出され、解は、小特異値を切り捨てることによって正則化された。保持されるべき最適数の特異値は、L字曲線の使用を用いて、23であると見出された。区分化擬似インバース解は、本質的に、従来の整合フィルタと比較して、可視差異を示さず、区分化整合フィルタほど視覚的に乱雑ではなった。
【0167】
表1は、異なるアルゴリズムを使用して3D画像を再構築するためにかかった時間を示す。4GBメモリを伴うNVIDIA GeForce GTX960GPUが、算出を加速させるために使用された。GPU加速を用いた再構築は、それぞれ、区分化整合フィルタおよび区分化擬似インバースにおいて、41秒および50秒かかった。このタイミングは、サブ測定行列およびそのインバースの構築を含む。しかしながら、再構築行列は、オフラインで算出され得るので、再構築時間は、両場合に対して、41秒まで短縮される。対照的に、従来の整合フィルタ再構築では、12,847秒かかった(約3.5倍)。
【0168】
【0169】
GPU性能が、シングルコアおよび4つのコアを使用する、3.4GHzで16GBメモリを伴うIntelコアi7-6700CPUの性能と比較された。タイミングは、表1に示される。マルチコアCPU処理に対して、アルゴリズムが、Matlabにおけるspmd(単一プログラム複数データ)関数を使用して実装された。しかしながら、並列性を伴う通信オーバーヘッドが認められ、大量のデータに起因して、合理的改良は、複数の並列コアを使用して達成されなかった。
【0170】
前述から、具体的実施形態が、例証目的のために本明細書に説明されたが、種々の修正が、請求される技術の範囲内に留まりながら行われ得ることを理解されたい。