特許 7462119 三次元イメージング方法及び装置、並びに三次元イメージングデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】三次元イメージング方法及び装置、並びに三次元イメージングデバイス

(51)【国際特許分類】

   G01S 13/86 20060101AFI20240328BHJP

   G01S 13/89 20060101ALI20240328BHJP

   G01S 17/86 20200101ALI20240328BHJP

   G01S 17/89 20200101ALI20240328BHJP

   G06T 7/00 20170101ALI20240328BHJP

   G06T 7/11 20170101ALI20240328BHJP

【ＦＩ】

G01S13/86

G01S13/89

G01S17/86

G01S17/89

G06T7/00 350C

G06T7/11

【請求項の数】 18

(21)【出願番号】P 2023534681

(86)(22)【出願日】2021-11-25

(65)【公表番号】

(43)【公表日】2023-12-20

(86)【国際出願番号】 CN2021133078

(87)【国際公開番号】W WO2022121695

(87)【国際公開日】2022-06-16

【審査請求日】2023-06-07

(31)【優先権主張番号】202011429712.7

(32)【優先日】2020-12-09

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】515221794

【氏名又は名称】ヌクテック カンパニー リミテッド

(73)【特許権者】

【識別番号】511031733

【氏名又は名称】チンファ ユニバーシティ

【氏名又は名称原語表記】Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ

【住所又は居所原語表記】Ｎｏ． １， Ｑｉｎｇｈｕａ Ｙｕａｎ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(74)【代理人】

【識別番号】100160886

【弁理士】

【氏名又は名称】久松 洋輔

(72)【発明者】

【氏名】ツァオ，ジラン

(72)【発明者】

【氏名】リウ，シン

(72)【発明者】

【氏名】チャオ，リンボ

(72)【発明者】

【氏名】ジェン，ジーミン

(72)【発明者】

【氏名】チン，インカン

(72)【発明者】

【氏名】ユー，イェン

【審査官】藤田 都志行

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０３１９５９１（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１３４３３４（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０９４７１１９７（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９３５８３７２（ＣＮ，Ａ）

【文献】特開２０１５－０３６６７８（ＪＰ，Ａ）

【文献】米国特許第０５４５５５９０（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－ ７／５１

Ｇ０１Ｓ １３／００－１３／９５

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０１Ｖ ３／１２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１１

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

深度カメラにより検出対象を含む三次元撮影領域を撮影して、三次元画像情報を生成する三次元情報取得ステップと、
前記三次元画像情報から前記検出対象のマスクを抽出するマスク抽出ステップと、
前記検出対象のマスクに応じて前記検出対象に関するイメージング領域を特定するイメージング領域特定ステップと、
ホログラフィックデータ収集装置により、前記検出対象を含むホログラフィックデータ収集領域に対してデータ収集を行い、ホログラフィックデータを生成するホログラフィックデータ取得ステップと、
前記ホログラフィックデータに基づいて前記イメージング領域に対して画像再構成を行う画像再構成ステップと、
を含む、
三次元イメージング方法。

【請求項2】

前記マスク抽出ステップにおいて、前記三次元画像情報に対して画像分割アルゴリズムを適用して前記検出対象のマスクを抽出する、
請求項１に記載の三次元イメージング方法。

【請求項3】

前記画像分割アルゴリズムは、ニューラルネットワークに基づくＤｅｅｐＬａｂＶ３＋分割アルゴリズムである、
請求項２に記載の三次元イメージング方法。

【請求項4】

前記画像再構成ステップにおいて、逆伝播イメージングアルゴリズムを用いて画像再構成を行う、
請求項１に記載の三次元イメージング方法。

【請求項5】

前記ホログラフィックデータ収集装置は、ミリ波を送受信する複数対の送信アンテナ及び受信アンテナを備える多重入力多重出力アンテナアレイを含み、
前記逆伝播イメージングアルゴリズムは、
前記イメージング領域の画素点に対して、該画素点から送信アンテナと受信アンテナのそれぞれまでの距離の和を各対ごとにそれぞれ計算することと、
前記受信アンテナにより受信されたホログラフィックデータ及び前記距離の和に基づき、全ての送信アンテナ及び受信アンテナ並びに前記ミリ波の送信周波数に従って加算を行い、前記イメージング領域の各画素点の複素反射率を取得することと、
前記イメージング領域の全ての画素点に対して複素反射率を計算し、複素反射率に基づいて再構成画像を形成することと、
を含む、
請求項４に記載の三次元イメージング方法。

【請求項6】

前記逆伝播イメージングアルゴリズムは、
式（１）を用いて、各対の前記送信アンテナと前記受信アンテナの、前記イメージング領域における画素点（ｘ、ｙ、ｚ）からの距離の和ｒ_Ｔ，Ｒをそれぞれ計算し、

【数1】

前記受信アンテナにより受信されたホログラフィックデータ

、及び前記距離の和ｒ_Ｔ，Ｒに基づいて、式（２）を用いて、前記イメージング領域における画素点（ｘ、ｙ、ｚ）の複素反射率

を求め、

【数2】

ここで、（ｘ_Ｒ，ｙ_Ｒ，０）は受信アンテナの座標であり、（ｘ_Ｔ，ｙ_Ｔ，０）は送信アンテナの座標であり、（ｘ、ｙ、ｚ）は前記イメージング領域における画素点の座標であり、ｋは波数であり、ｋ＝２π/λであり、λは波長であり、
イメージング領域の全ての画素点に対して、複素反射率を計算し、前記複素反射率に基づいて再構成画像を形成することを含む、
請求項５に記載の三次元イメージング方法。

【請求項7】

前記ホログラフィックデータ収集装置は、ミリ波を送受信する複数対の送信アンテナ及び受信アンテナを備える多重入力多重出力アンテナアレイを含み、
前記逆伝播イメージングアルゴリズムは、高速な逆伝播イメージングアルゴリズムであり、
前記逆伝播イメージングアルゴリズムは、
各１対の送信アンテナ及び受信アンテナに対して、前記１対の送信アンテナ及び受信アンテナの、前記イメージング領域における各画素点への寄与値をそれぞれ計算することと、
全ての対となる送信アンテナ及び受信アンテナに対して、前記寄与値に基づいて、全ての送信アンテナ及び受信アンテナに従って加算を行い、前記イメージング領域の各画素点の複素反射率を取得することと、
前記複素反射率に基づいて、再構成画像を形成することと、を含む、
請求項４に記載の三次元イメージング方法。

【請求項8】

各１対の送信アンテナ及び受信アンテナに対して、前記１対の送信アンテナ及び受信アンテナの、前記イメージング領域における各画素点への寄与値をそれぞれ計算することは、
前記１対の送信アンテナ及び受信アンテナに対して、前記イメージング領域の各画素点から前記１対の送信アンテナ及び受信アンテナのそれぞれまでの距離の和を計算することと、
前記距離の和及び前記受信アンテナにより受信されたホログラフィックデータに基づいて、前記寄与値を計算することと、を含む、
請求項７に記載の三次元イメージング方法。

【請求項9】

前記高速な逆伝播イメージングアルゴリズムは、
式（３）により、各対の前記送信アンテナＴ及び前記受信アンテナＲに対して、前記イメージング領域の画素点（ｘ、ｙ、ｚ）から前記１対の送信アンテナと前記受信アンテナのそれぞれまでの距離の和ｒ_Ｔ，Ｒをそれぞれ計算し、

【数3】

式（４）により、前記距離の和ｒ_Ｔ，Ｒと前記ホログラフィックデータ

とに基づいて、前記画素点（ｘ、ｙ、ｚ）への寄与値Ｐ_Ｔ，Ｒを計算し、

【数4】

前記寄与値Ｐ_Ｔ，Ｒに基づいて、式（５）を用いて、前記イメージング領域の各画素点の複素反射率

を求め、

【数5】

ここで、ｒ_Ｔ，Ｒは、１対の前記送信アンテナ及び前記受信アンテナのぞれぞれから前記イメージング領域内の画素点（ｘ，ｙ，ｚ）までの距離の和であり、

は、１対の送信アンテナ及び受信アンテナにより取得されたホログラフィックデータであり、ｋは波数であり、ｋ＝２π/λであり、λは波長であり、
前記複素反射率に基づいて、再構成画像を形成することを含む、
請求項８に記載の三次元イメージング方法。

【請求項10】

各１対の送信アンテナ及び受信アンテナに対して、前記１対の送信アンテナ及び受信アンテナの、前記イメージング領域における各画素点への寄与値をそれぞれ計算することは、
前記イメージング領域における画素点のうち、前記１対の送信アンテナと前記受信アンテナのそれぞれからの距離の和が同じ画素点を、１組に分けることと、
前記１対の送信アンテナ及び受信アンテナの、前記１組のいずれかの画素点への前記寄与値を、該組における各画素点の寄与値として計算することと、
を含む、
請求項７に記載の三次元イメージング方法。

【請求項11】

各１対の送信アンテナ及び受信アンテナに対して、前記１対の送信アンテナ及び受信アンテナの、前記イメージング領域における各画素点への寄与値を計算することは、
前記イメージング領域内の全ての画素点から前記１対の送信アンテナと前記受信アンテナのそれぞれまでの距離の和の最小値及び最大値を計算することと、
前記最小値と最大値との間の距離を等ピッチにＮ個分け、Ｎ個の距離の和である等分の値

を取得することと、
前記イメージング領域内のいずれかの画素点から前記１対の送信アンテナと前記受信アンテナのそれぞれまでの距離の和を計算し、該距離の和に最も近い等分の値を特定し、前記最も近い等分の値を該画素点の前記距離の和とすることと、
前記イメージング領域内の全ての画素点に対して最も近い等分の値を特定することと、
それぞれＮ個の等分の値を前記距離の和として、前記寄与値を計算することと、
を含む、
請求項７に記載の三次元イメージング方法。

【請求項12】

深度学習モデルに基づいて、検出対象の中核キーポイントを特定するキーポイント特定ステップと、
前記中核キーポイントに基づいて、前記イメージング領域における前記中核キーポイントに関連する検出対象の部位を選択することで、前記イメージング領域を調整するイメージング領域調整ステップと、
をさらに含む、
請求項１に記載の三次元イメージング方法。

【請求項13】

深度学習モデルに基づいて、検出対象の中核キーポイントを特定するキーポイント特定ステップと、
前記中核キーポイントの位置に応じて、検出対象の姿勢が正確であるか否かを判断し、正確でなければ、警報を発する検出対象姿勢判断ステップと、
をさらに含む、
請求項１に記載の三次元イメージング方法。

【請求項14】

三次元イメージングシステムであって、
深度カメラ、ホログラフィックデータ収集装置及び制御装置を含み、
前記制御装置は、
前記深度カメラが検出対象を含む三次元撮影領域を撮影するように制御して、三次元画像情報を取得する三次元情報取得モジュールと、
前記三次元画像情報から前記検出対象のマスクを抽出するマスク抽出モジュールと、
前記検出対象のマスクに応じて前記検出対象に関するイメージング領域を特定するイメージング領域特定モジュールと、
前記ホログラフィックデータ収集装置を制御し、前記検出対象を含むホログラフィックデータ収集領域に対してデータ収集を行い、ホログラフィックデータを取得するホログラフィックデータ取得モジュールと、
前記ホログラフィックデータに基づいて、前記イメージング領域に対して画像再構成を行う画像再構成モジュールと、を含むことを特徴とする、
三次元イメージングシステム。

【請求項15】

前記ホログラフィックデータ収集装置は、ミリ波を送受信する複数対の送信アンテナ及び受信アンテナを備える多重入力多重出力アンテナアレイを含む、
請求項１４に記載の三次元イメージングシステム。

【請求項16】

深度カメラにより検出対象を含む三次元撮影領域を撮影した三次元画像情報を取得する三次元画像情報取得モジュールと、
前記三次元画像情報から前記検出対象のマスクを抽出するマスク抽出モジュールと、
前記検出対象のマスクに応じて前記検出対象に関するイメージング領域を特定するイメージング領域特定モジュールと、
ホログラフィックデータ収集装置により、前記検出対象を含むホログラフィックデータ収集領域に対してデータ収集を行って得られたホログラフィックデータを取得するホログラフィックデータ取得モジュールと、
前記ホログラフィックデータに基づいて、前記イメージング領域に対して画像再構成を行う画像再構成モジュールと、
を含む、
三次元イメージング装置。

【請求項17】

コンピュータプログラムが記憶されたコンピュータ読取り可能な媒体であって、
コンピュータプログラムがプロセッサにより実行されるときに、
深度カメラにより検出対象を含む三次元撮影領域を撮影した三次元画像情報を取得する三次元画像情報取得ステップと、
前記三次元画像情報から前記検出対象のマスクを抽出するマスク抽出ステップと、
前記検出対象のマスクに応じて前記検出対象に関するイメージング領域を特定するイメージング領域特定ステップと、
ホログラフィックデータ収集装置により、前記検出対象を含むホログラフィックデータ収集領域に対しデータ収集を行って得られたホログラフィックデータを取得するホログラフィックデータ取得ステップと、
前記ホログラフィックデータに基づいて、前記イメージング領域に対し画像再構成を行う画像再構成ステップと、を実現する、
ことを特徴とするコンピュータ読取り可能な媒体。

【請求項18】

三次元イメージングデバイスであって、
メモリ、プロセッサ、及び前記メモリに記憶されかつ前記プロセッサにより実行可能なプログラム指令を含み、
前記プロセッサが前記プログラム指令を実行するときに、
深度カメラにより検出対象を含む三次元撮影領域を撮影した三次元画像情報を取得する三次元画像情報取得ステップと、
前記三次元画像情報から前記検出対象のマスクを抽出するマスク抽出ステップと、
前記検出対象のマスクに応じて前記検出対象に関するイメージング領域を特定するイメージング領域特定ステップと、
ホログラフィックデータ収集装置により、前記検出対象を含むホログラフィックデータ収集領域に対しデータ収集を行って得られたホログラフィックデータを取得するホログラフィックデータ取得ステップと、
前記ホログラフィックデータに基づいて、前記イメージング領域に対し画像再構成を行う画像再構成ステップと、を実現する
ことを特徴とする三次元イメージングデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、２０２０年１２月９日に提出された出願番号が２０２０１１４２９７１２．７であり、発明の名称が「三次元イメージング方法及び装置、並びに三次元イメージングデバイス」である中国特許出願の優先権を主張し、その全ての内容は引用により本開示に組み込まれる。

【0002】

本開示は、安全検査の分野に関し、特にミリ波を利用した三次元イメージング方法及び装置、及び三次元イメージングデバイスに関する。

【背景技術】

【0003】

現在、国内外の反テロ情勢は、日増しに深刻さを増しており、テロリストは隠匿方式で刃物、銃器、爆発物などの危険物を携帯して人々の生命の安全を深刻に脅かしている。空港や駅などの特定の場所での人体の安全検査は一刻の猶予も許されない。

【0004】

ミリ波は、周波数が３０ＧＨｚ～３００ＧＨｚである電磁波を指し、衣服を透過可能でありかつ電離放射がないため、特に人体の安全検査に適している。

【0005】

近年、ミリ波三次元ホログラフィック結像技術は、ますます人体の安全検査の分野に広く適用され、安全検査員の作業負担を大幅に低減し、税関、空港、裁判所及び大規模な安全保障活動の現場に適用され、安全、文明、効率的な安全検査の新しいモードとなっている。

【0006】

アクティブ型ミリ波を利用する人体安全検査結像技術が知られており、該方法では広帯域ミリ波を利用して人体を照射し、ヘテロダイン混合技術によりホログラフィックデータに対する直接測定を実現し、さらに再構成して複素反射率画像を得る。

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来のアクティブ型の多重入力多重出力ミリ波を利用した三次元イメージング方法による画像再構成プロセスにおいて、画像再構成を行う対象のイメージング領域として、一般的に、例えばアンテナアレイが走査する範囲である人体を含む矩形枠にデフォルト設定され、該矩形枠内に、人体マスク（Ｂｏｄｙ－Ｐａｒｔ Ｍａｓｋ、人体及び衣服を含む）以外に、他の画素点も含まれる。このような他の画素点は、その人が危険物を持っているかどうかを最終的に判断するのに役に立たない。従って、この場合、画像の再構成速度が遅くなり、且つ各画素点の再構成にはすべてのホログラフィックデータが必要であり、計算量が膨大であるため、各画像の再構成には多くの時間と計算リソースを浪費することになる。

【0008】

本開示は、イメージング領域を減少し、演算量を低減することができる三次元イメージングシステム及び方法並びに制御装置を提供する。

【課題を解決するための手段】

【0009】

本開示の第１の態様によれば、深度カメラにより検出対象を含む三次元撮影領域を撮影して、三次元画像情報を生成する三次元情報取得ステップと、三次元画像情報から検出対象のマスクを抽出するマスク抽出ステップと、検出対象のマスクに応じて検出対象に関するイメージング領域を特定するイメージング領域特定ステップと、ホログラフィックデータ収集装置により、検出対象を含むホログラフィックデータ収集領域に対してデータ収集を行い、ホログラフィックデータを生成するホログラフィックデータ取得ステップと、ホログラフィックデータに基づいてイメージング領域に対し画像再構成を行う画像再構成ステップと、を含む三次元イメージング方法を提供する。

【0010】

上記の第１の態様において、マスク抽出ステップにおいて、三次元画像情報に対して画像分割アルゴリズムを適用して検出対象のマスクを抽出する。

【0011】

上記の第１の態様において、画像分割アルゴリズムは、ニューラルネットワークに基づくＤｅｅｐＬａｂＶ３＋分割アルゴリズムである。

【0012】

上記の第１の態様において、画像再構成ステップにおいて、逆伝播イメージングアルゴリズムを用いて画像再構成を行う。

【0013】

上記の第１の態様において、ホログラフィックデータ収集装置は、ミリ波を送受信する複数対の送信アンテナ及び受信アンテナを備える多重入力多重出力アンテナアレイを含み、逆伝播イメージングアルゴリズムは、イメージング領域の画素点に対し、該画素点から送信アンテナと受信アンテナのそれぞれまでの距離の和を各対ごとにそれぞれ計算することと、受信アンテナにより受信されたホログラフィックデータ及び距離の和に応じて、全ての送信アンテナ及び受信アンテナ並びに前記ミリ波の送信周波数に従って加算を行い、イメージング領域の各画素点の複素反射率を取得することと、イメージング領域の全ての画素点に対して複素反射率を計算し、複素反射率に基づいて再構成画像を形成することと、を含む。

【0014】

上記の第１の態様において、逆伝播イメージングアルゴリズムは、
式（１）を用いて、イメージング領域における画素点（ｘ、ｙ、ｚ）から各対の送信アンテナと受信アンテナのそれぞれまでの距離の和ｒ_Ｔ，Ｒをそれぞれ計算し、

【数1】

受信アンテナにより受信されたホログラフィックデータ

、及び距離の和ｒ_Ｔ，Ｒに基づいて、式（２）を用いて、イメージング領域における画素点（ｘ、ｙ、ｚ）の複素反射率

を求め、

【数2】

ここで、（ｘ_Ｒ，ｙ_Ｒ，０）は受信アンテナの座標であり、（ｘ_Ｔ，ｙ_Ｔ，０）は送信アンテナの座標であり、（ｘ、ｙ、ｚ）はイメージング領域における画素点の座標であり、ｋは波数であり、ｋ＝２π/λであり、λは波長であり、
イメージング領域の全ての画素点に対し、複素反射率を計算し、前記複素反射率に基づいて再構成画像を形成することを含む。

【0015】

上記の第１の態様において、前記ホログラフィックデータ収集装置は、ミリ波を送受信する複数対の送信アンテナ及び受信アンテナを備える多重入力多重出力アンテナアレイを含み、逆伝播イメージングアルゴリズムは、高速な逆伝播イメージングアルゴリズムであり、各対の送信アンテナ及び受信アンテナに対し、それぞれ前記１対の送信アンテナ及び受信アンテナの、前記イメージング領域における各画素点への寄与値を計算することと、全ての各対の送信アンテナ及び受信アンテナに対し、前記寄与値に基づいて、全ての送信アンテナ及び受信アンテナに従って加算を行い、前記イメージング領域の各画素点の複素反射率を取得することと、複素反射率に基づいて、再構成画像を形成することと、を含む。

【0016】

上記の第１の態様において、各対の送信アンテナ及び受信アンテナに対し、１対の送信アンテナ及び受信アンテナの、イメージング領域における各画素点への寄与値をそれぞれ計算することは、１対の送信アンテナ及び受信アンテナに対して、イメージング領域の各画素点からの距離の和をそれぞれ計算することと、距離の和及び受信アンテナにより受信されたホログラフィックデータに基づいて、寄与値を計算することと、を含む。

【0017】

上記の第１の態様において、高速な逆伝播イメージングアルゴリズムは、式（３）により、各対の送信アンテナＴ及び受信アンテナＲに対して、１対の送信アンテナと受信アンテナの、イメージング領域の画素点（ｘ、ｙ、ｚ）からの距離の和ｒ_Ｔ，Ｒをそれぞれ計算し、

【数3】

式（４）により、距離の和ｒ_Ｔ，Ｒとホログラフィックデータ

とに基づいて、画素点（ｘ、ｙ、ｚ）への寄与値Ｐ_Ｔ，Ｒを計算し、

【数4】

寄与値Ｐ_Ｔ，Ｒに基づいて、式（５）を用いて、イメージング領域の各画素点の複素反射率

を求め、

【数5】

ここで、ｒ_Ｔ，Ｒは、１対の送信アンテナ及び受信アンテナのそれぞれからイメージング領域内の画素点（ｘ，ｙ，ｚ）までの距離の和であり、

は、１対の送信アンテナ及び受信アンテナにより取得されたホログラフィックデータであり、ｋは波数であり、ｋ＝２π/λであり、λは波長であり、
複素反射率に応じて、再構成画像を形成することを含む。

【0018】

上記の第１の態様において、各対の送信アンテナ及び受信アンテナに対して、前記１対の送信アンテナ及び受信アンテナの、前記イメージング領域における各画素点への寄与値を計算することは、前記イメージング領域における画素点のうち、それぞれ前記１対の送信アンテナと前記受信アンテナからの距離の和が同じ画素点を、１組に分けることと、前記１対の送信アンテナ及び受信アンテナの、前記１組のいずれかの画素点への前記寄与値を計算し、該組における各画素点の寄与値とすることと、を含む。

【0019】

上記の第１の態様において、各対の送信アンテナ及び受信アンテナに対して、１対の送信アンテナ及び受信アンテナの、イメージング領域における各画素点への寄与値を計算することは、イメージング領域内の全ての画素点から１対の送信アンテナと受信アンテナのぞれぞれまでの距離の和の最小値及び最大値を計算することと、最小値と最大値との間の距離を等ピッチにＮ個分け、Ｎ個の距離の和である等分の値

を取得することと、イメージング領域内のいずれかの画素点から１対の送信アンテナと前記受信アンテナのそれぞれまでの距離の和を計算し、該距離の和に最も近い等分の値を特定し、最も近い等分の値を該画素点の前記距離の和とすることと、イメージング領域内の全ての画素点に対して最も近い等分の値を特定することと、それぞれＮ個の等分の値を距離の和として、寄与値を計算することと、を含む。

【0020】

上記の第１の態様において、深度学習モデルに基づいて、検出対象の中核キーポイントを特定するキーポイント特定ステップと、中核キーポイントに基づいて、イメージング領域における中核キーポイントに関連する検出対象の部位を選択することで、イメージング領域を調整するイメージング領域調整ステップと、をさらに含む。

【0021】

上記の第１の態様において、深度学習モデルに基づいて、検出対象の中核キーポイントを特定するキーポイント特定ステップと、中核キーポイントの位置に応じて、検出対象の姿勢が正確であるか否かを判断し、正確でなければ、警報を発する検出対象姿勢判断ステップと、をさらに含む。

【0022】

本開示の第２の態様によれば、三次元イメージングシステムであって、深度カメラ、ホログラフィックデータ収集装置及び制御装置を含み、制御装置は、深度カメラが検出対象を含む三次元撮影領域を撮影するように制御して、三次元画像情報を取得する三次元情報取得モジュールと、三次元画像情報から検出対象のマスクを抽出するマスク抽出モジュールと、検出対象のマスクに応じて検出対象に関するイメージング領域を特定するイメージング領域特定モジュールと、ホログラフィックデータ収集装置を制御し、検出対象を含むホログラフィックデータ収集領域に対してデータ収集を行い、ホログラフィックデータを取得するホログラフィックデータ取得モジュールと、ホログラフィックデータに基づいて、イメージング領域に対して画像再構成を行う画像再構成モジュールと、を含むことを特徴とする三次元イメージングシステムを提供する。

【0023】

上記の第２の態様において、ホログラフィックデータ収集装置は、ミリ波を送受信する複数対の送信アンテナ及び受信アンテナを備える多重入力多重出力アンテナアレイを含む。

【0024】

本開示の第３の態様によれば、深度カメラにより検出対象を含む三次元撮影領域を撮影した三次元画像情報を取得する三次元画像情報取得モジュールと、三次元画像情報から検出対象のマスクを抽出するマスク抽出モジュールと、検出対象のマスクに応じて検出対象に関するイメージング領域を特定するイメージング領域特定モジュールと、ホログラフィックデータ収集装置により、検出対象を含むホログラフィックデータ収集領域に対してデータ収集を行って得られたホログラフィックデータを取得するホログラフィックデータ取得モジュールと、ホログラフィックデータに基づいて、イメージング領域に対して画像再構成を行う画像再構成モジュールと、を含む三次元イメージング装置を提供する。

【0025】

本開示の第４の態様によれば、コンピュータプログラムが記憶されたコンピュータ読取り可能な媒体であって、コンピュータプログラムがプロセッサにより実行されるときに、深度カメラにより検出対象を含む三次元撮影領域を撮影した三次元画像情報を取得する三次元画像情報取得モジュールと、三次元画像情報から検出対象のマスクを抽出するマスク抽出モジュールと、検出対象のマスクに応じて検出対象に関するイメージング領域を特定するイメージング領域特定モジュールと、ホログラフィックデータ収集装置により、検出対象を含むホログラフィックデータ収集領域に対しデータ収集を行って得られたホログラフィックデータを取得するホログラフィックデータ取得モジュールと、ホログラフィックデータに基づいて、イメージング領域に対し画像再構成を行う画像再構成モジュールと、を実現することを特徴とするコンピュータ読取り可能な媒体を提供する。

【0026】

本開示の第５の態様によれば、三次元イメージングデバイスであって、メモリ、プロセッサ、及び前記メモリに記憶されかつプロセッサにより実行可能なプログラム指令を含み、プロセッサがプログラム指令を実行するときに、深度カメラにより検出対象を含む三次元撮影領域を撮影した三次元画像情報を取得する三次元画像情報取得ステップと、三次元画像情報から検出対象のマスクを抽出するマスク抽出ステップと、検出対象のマスクに応じて検出対象に関するイメージング領域を特定するイメージング領域特定ステップと、ホログラフィックデータ収集装置により、検出対象を含むホログラフィックデータ収集領域に対しデータ収集を行って得られたホログラフィックデータを取得するホログラフィックデータ取得ステップと、ホログラフィックデータに基づいて、イメージング領域に対し画像再構成を行う画像再構成ステップと、を実現することを特徴とする三次元イメージングデバイスを提供する。

【0027】

本開示において、深度カメラにより三次元画像情報を取得し、該三次元画像情報に対して画像分割アルゴリズムを適用し、人体マスクを抽出し、かつ該人体マスクに応じてイメージング領域を特定することで、人体輪郭に合わせる三次元の人体マスクを特定し、画像再構成の演算量を低減することができる。また、高速な逆伝播結像アルゴリズムを利用して該イメージング領域に対して画像再構成を行うことにより、画像再構成速度を向上させることができる。

【図面の簡単な説明】

【0028】

【図1】本開示の第１の実施形態に係る三次元イメージングシステムを模式的に示すブロック構成図である。

【図2】電子走査式のミリ波イメージング装置を示す模式図である。

【図3】メカ走査式のミリ波イメージング装置を示す模式図である。

【図4】本開示の第１の実施形態に係る三次元イメージング方法を示すフローチャートである。

【図5】高速な逆伝播アルゴリズムの一例を示すフローチャートである。

【図6】高速な逆伝播アルゴリズムを説明するための模式図である。

【図7】高速な逆伝播アルゴリズムの一例を示すフローチャートである。

【図8】高速な逆伝播アルゴリズムの一例を示すフローチャートである。

【図9】本開示の第２の実施形態に係る三次元イメージング方法を示すフローチャートである。

【発明を実施するための形態】

【0029】

以下、図面を参照して、本開示の実施形態に係る三次元イメージングシステム、三次元イメージング方法について具体的に説明する。以下の説明において、同一又は類似の部材には同一又は類似の符号を付す。

【0030】

＜第１の実施形態＞
図１は、本開示の第１の実施形態に係る三次元イメージングシステム１００を示す。図１に示すように、三次元イメージングシステム１００は、ミリ波イメージング装置１０及び制御装置２０を含む。ミリ波イメージング装置１０は、深度カメラ１１と、ホログラフィックデータ収集装置３０とを備えている。

【0031】

ミリ波イメージング装置１０は、検出対象を含むホログラフィックデータ収集領域にミリ波を照射し、かつ反射されたミリ波を受信することにより、イメージングを行う。ここで、ミリ波イメージング装置１０は、アクティブ型ミリ波走査を採用することができる。検出対象は、安全検査の対象である人、動物、荷物等が含まれる。ホログラフィックデータ収集領域は、ホログラフィックデータの収集を行うことができる領域であり、例えば、ミリ波を送受信するアンテナアレイがカバーできる領域である。

【0032】

ミリ波イメージング装置１０は、通常の衣類に対するミリ波の透過能力を利用してイメージングを行う。人体に照射されたミリ波は、衣類を透過して、例えば人体の体表又は他の隠し物体に当たった後に反射され、反射されたミリ波を受信することで、ホログラフィックデータを取得し、該ホログラフィックデータに基づき画像再構成を行い、人体の体表に例えば武器などの危険物が隠されているか否かを特定することができる。ホログラフィックデータは、振幅と位相情報とを含む複素信号である。

【0033】

深度カメラ１１は、撮影空間の被写界深度距離である深度情報を検出可能なカメラである。換言すれば、深度カメラ１１は３Ｄカメラと呼ばれてもよい。深度カメラ１１は検出対象を含んだ三次元撮影領域内のある点から該深度カメラ１１までの距離を取得することで、撮影空間の三次元情報を取得することができる。深度カメラ１１は既存の深度カメラを採用することができる。一般的に、構造化光（Ｓｔａｐｕｒｅｄ－ｌｉｇｈｔ）、両眼立体視（Ｓｔｏｒｏ）、飛行時間法（ＴＯＦ）という３種類の原理の深度カメラがある。

【0034】

ホログラフィックデータ収集装置３０は、ホログラフィックデータを収集することに用いられる。ホログラフィックデータ収集装置３０は、受信アンテナ１２と、送信アンテナ１３とを備える。具体的には、ホログラフィックデータ収集装置３０は、多重入力多重出力アンテナアレイを含み、このような多重入力多重出力アンテナアレイはミリ波を送受信する複数対の送信アンテナ１３及び受信アンテナ１２を含む。

【0035】

ここで、送信アンテナ１３及び受信アンテナ１２の数量は必ずしも同じ数量ではなく、受信アンテナ１２は送信アンテナ１３から送信されたミリ波を受信可能であれば、ミリ波を送受信する１対の送信アンテナ１３及び受信アンテナ１２を形成することができる。多重入力多重出力とは、複数対の送信アンテナ１３と受信アンテナ１２との組み合わせが存在することを意味する。例えば、２つの送信アンテナ１３及び３つの受信アンテナ１２が存在し、かつ３つの受信アンテナ１２はいずれも２つの送信アンテナ１３から送信されたミリ波を受信可能である場合、６対の送信アンテナ１３及び受信アンテナ１２が存在し、それにより多重入力多重出力を実現している。

【0036】

送信アンテナ１３は、ミリ波を送信するために用いられ、受信アンテナ１２は反射されたミリ波を受信するために用いられる。受信アンテナ１２及び送信アンテナ１３は、ミリ波を多重入力・多重出力可能なアレイ状に配列されている。受信アンテナ１２及び送信アンテナ１３は、アクティブ型ミリ波を利用してホログラフィックデータ収集領域を走査することで、ホログラフィックデータを取得することができる。

【0037】

深度カメラ１１の三次元撮影領域とホログラフィックデータ収集装置３０のホログラフィックデータ収集領域とは異なってもよく、両者がいずれも検出対象に含まれればいい。

【0038】

具体的には、例えば、ミリ波イメージング装置１０は電子走査式（図２参照）及びメカ走査式（図３参照）の多重入力多重出力ミリ波イメージング装置を採用することができる。

【0039】

図２は、電子走査式のミリ波イメージング装置１０’を示す模式図である。図２において、受信アンテナ１２’及び送信アンテナ１３’は、コンパクトな矩形の多重入力多重出力アレイに配列されている。該多重入力多重出力アレイは、複数のサブ矩形アレイを含み、各サブ矩形アレイは直交して配列された２組の送受信アレイを含む。換言すれば、２対の送信アンテナと受信アンテナは直交して配列されている。該電子走査式のミリ波イメージング装置１０’は、高速スイッチを利用して受信アンテナ１２’と送信アンテナ１３’とを切り替えることにより、ホログラフィックデータの収集を実現する。具体的には、以下の方式で切り替えることができる。送受信アレイのうちのいずれかの送信アンテナ１３’は、順にミリ波帯域内の各送信周波数ｆ１、ｆ２…．ｆｎを送信し、全ての受信アンテナが受信を行う。その後、全ての送信アンテナにわたって、即ち全ての送信アンテナに対して上記操作を実行する。また、深度カメラ１１’は多重入力多重出力アレイの外部に配置され、深度データを取得するために用いられる。

【0040】

図３は、メカ走査式のミリ波イメージング装置１０”を示す模式図である。ミリ波イメージング装置１０”は、多重入力多重出力の一次元メカ走査イメージング装置である。図３に示すように、受信アンテナ１２”と送信アンテナ１３”とはそれぞれ一次元アレイに配列されている。具体的には、メカ式走査のミリ波イメージング装置１０”において、上記一次元アレイは垂直方向に沿って移動することができる。例えば、モータ等を設置して上記一次元アレイを上から下へ移動させることができる。上から下へ移動する過程において、いずれかの送信アンテナ１３”は順にミリ波帯域内の各送信周波数ｆ１、ｆ２…．ｆｎを送信し、全ての受信アンテナが受信を行う。その後、全ての送信アンテナにわたって、モータ等により移動している過程で、移動が終了するまで上記過程を繰り返して実行する。

【0041】

深度カメラ１１”は、多重入力多重出力の一次元アレイの外部に配置され、深度データを取得するために用いられる。深度カメラの配置位置は、特に限定されず、送信アンテナ及び受信アンテナを干渉せず、かつ深度情報を取得可能であればよい。図３における深度カメラ１１”は、図２における深度カメラ１１’と異なる位置に配置されるが、同じ位置に配置されてもよい。

【0042】

以下、走査方式に関わらず、ミリ波イメージング装置１０’、１０”をミリ波イメージング装置１０と総称し、深度カメラ１１’、１１”を深度カメラ１１と総称し、受信アンテナ１２’、１２”を受信アンテナ１２と総称し、送信アンテナ１３’、１３”を送信アンテナ１３と総称する。

【0043】

従来の技術において、最も一般的に使用されているのは、一次元単一入力単一出力又は準単一入力単一出力のリニアアレイメカ走査であるが、一次元単一入力単一出力等の走査方式には結像品質が低く、ノイズの影響が大きいなどの問題がある。

【0044】

以上のように、本開示の実施形態において、電子走査方式であってもメカ走査方式であっても、多重入力多重出力のアレイ配列を採用し、多重入力多重出力のアレイを配列することで、再構成画像の信号対雑音比が高く、死角が少ないなどの有益な効果を得ることができる。

【0045】

制御装置２０は、ミリ波イメージング装置１０を制御する。具体的には、制御装置２０は、ミリ波イメージング装置１０に含まれる深度カメラ１１及びホログラフィックデータ収集装置３０に接続され、深度カメラ１１を制御して三次元画像情報を取得し、かつホログラフィックデータ収集装置３０の受信アンテナ１２及び送信アンテナ１３がミリ波走査によりホログラフィックデータを取得するように制御する。

【0046】

具体的には、制御装置２０は、機能的に、深度カメラにより検出対象を含んだ三次元撮影領域を撮影した三次元画像情報を取得する三次元画像情報取得モジュールと、三次元画像情報から検出対象のマスクを抽出するマスク抽出モジュールと、検出対象のマスクに応じて検出対象に関するイメージング領域を特定するイメージング領域特定モジュールと、ホログラフィックデータ収集装置により検出対象を含んだホログラフィックデータ収集領域を撮影したホログラフィックデータを取得するホログラフィックデータ取得モジュールと、ホログラフィックデータに基づいてイメージング領域に対し画像再構成を行う画像再構成モジュールと、を含む。

【0047】

制御装置２０は、ソフトウェア方式で実現されてもよく、ハードウェア方式で実現されてもよく、ソフトウェアとハードウェアが協力する方式で実現されてもよい。

【0048】

制御装置２０は、プロセッサとメモリとを有してよい。

【0049】

プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃＳＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含んでもよい。プロセッサは、複数のプロセッサ又はマルチコアプロセッサを含んでもよく、制御装置２０は、実行する一部の処理を分担することで、単一のプロセッサ又は単一の処理ユニットの処理負荷を軽減することができる。ここで、複数のプロセッサ、又はマルチコアプロセッサはそれぞれ上記一部の処理を並行実行することで、演算速度を向上させることができる。

【0050】

メモリは、例えば、プログラムや各種データが記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ ＡｃｃｅｓＳＭｅｍｏｒｙ）とを含む。

【0051】

制御装置２０は、プロセッサがメモリに記憶されたプログラムを実行することにより制御を実現してもよい。

【0052】

制御装置２０は、さらにＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路）などのハードウェアを含むことができる。制御装置２０が実行する一部又は全部の処理は、ＦＰＧＡやＡＳＩＣ等によって実現されてもよい。

【0053】

以下、図４を参照して、制御装置２０が実行する三次元イメージング方法について詳細に説明する。

【0054】

ステップＳ１１において、深度カメラ１１を制御して三次元画像情報を取得する。深度カメラ１１はイメージング領域のある点から該深度カメラ１１までの距離（深度）情報を取得することができるため、イメージング領域の物体の三次元画像情報を取得することができる。

【0055】

本開示において、深度カメラを用いて深度データを取得することにより、三次元画像データを取得することができる。また、該三次元画像情報に基づいてイメージング領域を特定することにより、三次元空間領域をイメージング領域とすることができ、それにより再構成画像の品質を向上させることができる。

【0056】

ステップＳ１２において、深度カメラ１１により取得された三次元画像情報に対して、画像分割アルゴリズムを適用し、人体マスク（ｍａｓｋ）を抽出する。該人体マスクは、被検者である人体の、人体及び衣服を含む外部輪郭を示す。

【0057】

ここで、画像分割アルゴリズムは、機械学習に基づく画像分割アルゴリズムである。具体的にはニューラルネットワークを採用することができる。

【0058】

機械学習に基づく画像分割アルゴリズムにおいて、一定の数量の安全検査シーンデータを収集し、三次元画像情報に対して人体マスクをマークして訓練データとする。深度カメラ１１により取得された三次元画像情報を入力とし、ニューラルネットワークを利用して画像分割を行い、学習された人体マスクを取得する。

【0059】

ニューラルネットワークに基づく画像分割アルゴリズムを適用することにより、三次元画像情報から実際の人体輪郭に近い人体マスクを効果的に識別することができる。

【0060】

具体的には、画像分割アルゴリズムは、ＤｅｅｐＬａｂＶ３＋分割アルゴリズムを採用することができる。ＤｅｅｐＬａｂＶ３＋分割アルゴリズムに基づいて構築されるニューラルネットワークは、エンコーダ及びデコーダを含む。

【0061】

ＤｅｅｐＬａｂＶ３＋分割アルゴリズムは、具体的に以下を含むことができる。

【0062】

符号化層のフロントエンドは、アトラスコンボリューション（Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ）を採用して浅層低レベル特徴を取得し、デコーダのフロントエンドに伝送する。

【0063】

符号化層のバックエンドは、ｖｇｇ－１６（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ Ｎｅｔｗｏｒｋ）を用いて深層高レベル特徴情報を取得し、かつデコーダに伝送する。

【0064】

デコーダは、特徴に対してネットワーク層の接続を行って、さらに３×３の畳み込みにより特徴を詳細化する。

【0065】

デコーダのバックエンドに、双線型４倍のサンプリングを経て、深度学習の分割後の人体マスクを取得する。

【0066】

ＤｅｅｐＬａｂＶ３＋分割アルゴリズムを採用することで、正確度の高い画像分割を実現することができ、人体マスクの分割効果を向上させることができる。

【0067】

ステップＳ１３において、人体マスクに基づいてイメージング領域を特定する。イメージング領域とは、画像再構成（イメージング）を行う対象領域である。

【0068】

具体的には、２値分割図像を採用してもよく、人体マスク内にある点を「１」とし、それ以外の点を「０」とする。ここで、「１」は再構成する必要がある点を表し、「０」は再構成する必要がない点を表す。

【0069】

以上のように、本実施形態では、人体の外部輪郭を示す人体マスクに応じてイメージング領域を特定する。

【0070】

しかし、従来のミリ波イメージング装置において、画像再構成技術では、通常、画像再構成を行うイメージング領域を、人体を含む矩形枠としてデフォルトする。しかしながら、矩形枠内の人体マスク以外の画素点は再構成することを必要とせず、無駄に計算リソースを浪費し、同時に画像再構成過程は緩慢である。

【0071】

これに対し、本開示では、人工知能に基づく画像分割アルゴリズムにより、三次元画像における人体マスクを識別し、該人体マスクに基づいてイメージング領域を特定し、それにより余分な対象領域に対して画像再構成を行うことを回避し、計算リソースを節約し、画像再構成速度を向上させることができる。

【0072】

ステップＳ１４において、多重入力多重出力の送信アンテナ及び受信アンテナのアレイを利用し、アクティブ型ミリ波で走査し、ホログラフィックデータを取得する。

【0073】

ここで、アクティブ型ミリ波を用いて走査し、ホログラフィックデータを取得する具体的な方式は、図２を用いて説明した電子走査方式と図３を用いて説明したメカ走査方式とを参照することができる。

【0074】

図４において、上記のステップＳ１３及びステップＳ１４が並行であることを示し、即ちイメージング領域の特定及びホログラフィックデータの取得を並行して行う。しかしながら、ステップＳ１３とステップＳ１４とは順に行われてもよい。

【0075】

ステップＳ１５において、ステップＳ１４で取得されたホログラフィックデータに基づいて、逆伝播イメージングアルゴリズムを用いて、ステップＳ１３で特定されたイメージング領域に対して画像再構成を行う。

【0076】

以下、具体的に逆伝播イメージングアルゴリズムを説明する。

【0077】

（実施例１）
ステップＳ１３で特定されたイメージング領域に対して画像再構成を行う場合、逆伝播イメージングアルゴリズムは、以下のステップを含むことができる。

【0078】

まず、各対の送信アンテナ１３及び受信アンテナ１２に対して、イメージング領域の画素点から該１対の送信アンテナ１３と受信アンテナ１２のそれぞれまでの距離の和を計算する。

【0079】

次に、該距離の和とステップＳ１４で取得されたホログラフィックデータとに基づいて、全ての送信アンテナ１３及び受信アンテナ１２並びにミリ波帯域の全ての送信周波数に従って加算を行い、該画素点の複素反射率を取得する。最後に、イメージング領域の全ての画素点に対して複素反射率を計算し、複素反射率に基づいて再構成画像を形成する。全ての送信アンテナ１３及び受信アンテナ１２並びにミリ波帯域の全ての送信周波数に従って加算を行うことは、全ての送信アンテナ１３及び受信アンテナ１２にわたって、全ての送信アンテナ１３及び受信アンテナ１２に対して、横座標、縦座標に従って加算し、かつ、ミリ波帯域の全ての送信周波数の各周波数に対して加算してもよい。

【0080】

具体的には、逆伝播イメージングアルゴリズムは、以下を含むことができる。
式（１）を用いて、イメージング領域における画素点（ｘ、ｙ、ｚ）から各対の送信アンテナと受信アンテナのそれぞれまでの距離の和ｒ_Ｔ，Ｒを計算し、

【数6】

受信アンテナにより受信されたホログラフィックデータ

、及び距離の和に基づいて、式（２）を用いて、イメージング領域における画素点（ｘ、ｙ、ｚ）の複素反射率

を求める。

【数7】

ここで、（ｘ_Ｒ，ｙ_Ｒ，０）は受信アンテナ１２の座標であり、（ｘ_Ｔ，ｙ_Ｔ，０）は送信アンテナ１３の座標であり、（ｘ、ｙ、ｚ）はイメージング領域における画素点の座標であり、ｋは波数であり、ｋ＝２π/λであり、λは波長であり、ｋはミリ波の送信周波数を示すパラメータであり、ｊは虚数記号である。

【0081】

上記の式（２）において、ホログラフィックデータ

に対して位相補償

を加え、かつ全ての受信アンテナ及び送信アンテナ並びにミリ波帯域の全ての送信周波数にわたって、すなわち、それぞれ受信アンテナの横座標及び縦座標、送信アンテナ１３の横座標及び縦座標、並びに波数に従って、５重加算を行う。

【0082】

イメージング領域の全ての画素点に対して、上記ステップを繰り返し、即ち、全ての画素点にわたって、複素反射率を計算し、複素反射率に基づいて再構成画像を形成する。

【0083】

従来の技術において、対応する多重入力多重出力の画像再構成アルゴリズムを提供せず、多重入力多重出力の走査方式を採用しても、依然として単一入力単一出力の再構成アルゴリズムを採用しているため、それにより多重入力多重出力アレイの再構成画像信号対雑音比が高く、死角が少ないなどの利点を表すことができない。

【0084】

以上のように、本開示の実施形態において、多重入力多重出力アレイの走査方式にマッチングする多重入力多重出力の画像再構成アルゴリズムを提供し、それにより多重入力多重出力アレイの再構成画像信号対雑音比が高く、デッドスペースが少ないなどの利点を表すことができる。

【0085】

（実施例２）
実施例２の逆伝播イメージングアルゴリズムは高速な逆伝播イメージングアルゴリズムである。

【0086】

高速な逆伝播イメージングアルゴリズムは以下のステップを含むことができる。
各対の送信アンテナ及び受信アンテナに対して、イメージング領域の各画素点から送信アンテナと受信アンテナのそれぞれまでの距離の和を計算する。

【0087】

距離の和及び該受信アンテナにより受信されたホログラフィックデータに基づいて、寄与値を計算する。

【0088】

全ての送信アンテナ及び受信アンテナの対に対し、寄与値に基づいて、全ての送信アンテナ及び受信アンテナに従って加算を行い、イメージング領域の各画素の複素反射率を取得する。全ての送信アンテナ及び受信アンテナに従って加算を行うことは、具体的にはそれぞれ全ての送信アンテナ及び受信アンテナの横座標及び縦座標に従って加算することができる。

【0089】

具体的には、図５に示すように、高速な逆伝播イメージングアルゴリズムは以下を含むことができる。

【0090】

ステップＳ５１において、式（３）により、各対の送信アンテナＴ及び受信アンテナＲに対して、イメージング領域の画素点（ｘ、ｙ、ｚ）から１対の送信アンテナと受信アンテナのそれぞれまでの距離の和ｒ_Ｔ，Ｒを計算する。

【数8】

【0091】

ステップＳ５２において、式（４）により、距離の和ｒ_Ｔ，Ｒ及びホログラフィックデータ

に基づいて、画素点（ｘ、ｙ、ｚ）への寄与値Ｐ_Ｔ，Ｒを計算し、

【数9】

具体的には、距離の和ｒ_Ｔ，Ｒと波数ｋとに基づいて位相補償値

を算出し、ホログラフィックデータ

に対して位相補償

を加え、寄与値Ｐ_Ｔ，Ｒを求める。

【0092】

ステップＳ５３において、寄与値Ｐ_Ｔ，Ｒに基づいて、式（５）を用いて、イメージング領域の画素点の複素反射率

を求める。

【数10】

ここで、ｒ_Ｔ，Ｒは、送信アンテナ及び受信アンテナのそれぞれからイメージング領域内の画素点（ｘ，ｙ，ｚ）までの距離の和であり、

は、１対の送信アンテナ及び受信アンテナにより受信されたホログラフィックデータであり、ｋは波数であり、ｋ＝２π/λであり、λは波長であり、ｋはミリ波の送信周波数を示すパラメータであり、ｊは虚数記号である。

【0093】

１対の送信アンテナと受信アンテナにより形成されたホログラフィックデータの異なる画素点への寄与値は、距離の和ｒ_Ｔ，Ｒに関連する。図６に示すように、距離の和ｒ_Ｔ，Ｒが同じである場合、これらの画素点は楕円球面に分布し、該楕円球の２つの焦点は送信アンテナ（ｘ_Ｔ、ｙ_Ｔ、０）及び受信アンテナ（ｘ_Ｒ、ｙ_Ｒ、０）である。ｒ_Ｔ，Ｒを変更すれば、楕円球面の長軸もそれに伴って変化する。

【0094】

上記高速な逆伝播イメージングアルゴリズムにより画像再構成を行う場合、同一の楕円球面上に位置する画素点の寄与値Ｐ_Ｔ，Ｒは同じである。

【0095】

したがって、このような原理に基づいて、イメージング領域の画素点を楕円球面に応じて分けることができる。換言すれば、イメージング領域における距離の和ｒ_Ｔ，Ｒが同じである画素点、即ち同一の楕円球面上に位置する画素点を１組とし、１組の画素点に対して、１回の寄与値Ｐ_Ｔ，Ｒのみを計算し、該寄与値に基づいてこの１組の画素点の複素反射率を計算し、それにより画像再構成を実現する。

【0096】

換言すれば、図７に示すように、図５のステップＳ５２の前に、さらにステップＳ５４を含むことができる。ステップＳ５４において、まず式（３）により算出された距離の和ｒ_Ｔ，Ｒに応じてイメージング領域の全ての画素点をグループ化し、ステップＳ５２において、同じ組の画素点に対し、式（４）の演算を１回だけ実行する。換言すれば、該１組の画素点のうちの何れかの画素点の寄与値を計算し、該組における各画素点の寄与値とする。

【0097】

画素点をグループ化するプロセスをさらに詳細に説明すると、高速な逆伝播イメージングアルゴリズムは図８に示すとおりである。

【0098】

ステップＳ１５１において、イメージング領域内の全ての画素点における各画素点から１対の送信アンテナと受信アンテナのそれぞれまでの距離の和ｒ_Ｔ，Ｒの最小値ｒ_ｍｉｎ及び最大値ｒ_ｍａｘを計算する。

【0099】

一般的に、最小値ｒ_ｍｉｎは、

【数11】

である。最大値は、１対の送信アンテナと受信アンテナのそれぞれからイメージング領域の各頂点までの距離の和のうちの最大値である。

【0100】

ステップＳ１５２において、図５に示すように、最小値ｒ_ｍｉｎと最大値ｒ_ｍａｘとの間の距離ｒ_ｄを等ピッチｄｒ等でＮ個分け、それによりＮ個の距離の和の等分の値

を取得する。ここで、ｄｒ＝（ｒ_ｍａｘ－ｒ_ｍｉｎ）／Ｎ、ｒ_１＝ｒ_ｍｉｎ、ｒ_２＝ｒ_１＋ｄｒ、ｒ_３＝ｒ_２＋ｄｒ、……ｒ_Ｎ＝ｒ_ｍａｘである。Ｎは１よりも大きい整数であり、計算精度及びイメージング領域の大きさ等に応じて任意に設定することができる。

【0101】

ステップＳ１５３において、上記式（３）を用いて、イメージング領域におけるいずれかの画素点から１対の送信アンテナと受信アンテナのそれぞれまでの距離の和を計算する。ここで、図８におけるステップＳ１５３の処理は、図７におけるステップＳ５１の処理に相当する。

【0102】

ステップＳ１５４において、等分の値

の中から該距離の和に最も近い等分の値（例えば、ｒ_ｉ）を特定する。ここで、図８におけるステップＳ１５１～Ｓ１５２、Ｓ１５４の処理は図７におけるステップＳ５４の処理に相当する。

【0103】

ステップＳ１５５において、イメージング領域の全ての画素点に対してステップＳ１５３の操作を完了したか否かを判断する。そうであれば、ステップＳ１５６に進み、そうでなければ、ステップＳ１５３に戻る。

【0104】

ステップＳ１５６において、それぞれ該Ｎ個の等分の値

を距離の和ｒ_Ｔ，Ｒとし、該等分の値と該１対の送受信アンテナにより受信されたホログラフィックデータ

に基づいて、上記式（４）を用いて、該１対の送受信アンテナの寄与値を計算する。ここで、図８におけるステップＳ１５６の処理は、図７におけるステップＳ５２の処理に相当する。

【0105】

ステップＳ１５７において、全ての送信アンテナ及び受信アンテナに対してステップＳ１５１～ステップＳ１５６を完了するか否かを判断する。そうであれば、ステップＳ１５８に進み、そうでなければ、ステップＳ１５１に戻り、次の１対の送信アンテナと受信アンテナに対して計算を行う。

【0106】

ステップＳ１５８において、上記式（５）を用いて、全ての送信アンテナ及び受信アンテナの対に従って、寄与値を加算し、複素反射率を取得する。ここで、図８におけるステップＳ１５８の処理は、図７におけるステップＳ５３の処理に相当する。

【0107】

このような操作により、イメージング領域内の距離の和が同じである又は近い画素点は、同じ等分の値が割り当てられる。換言すれば、図６に示すように、等分の値

によりイメージング領域の全ての画素点をＮ個の楕円球面、即ちＮ組に分ける。１つの楕円球面（例えば、ｒ_ｉ）上に位置する画素点に対して１回の寄与値を計算すればよい。

【0108】

上記のように、イメージング領域の全ての画素点をＮ組に分け、該Ｎ組の画素点に対して、それぞれ等分の値

を距離の和として寄与値を計算し、それによりＮ個の寄与値のみを計算すればよい。

【0109】

したがって、実施例１と比較して、全ての画素点をそれぞれ距離の和に従って加算することを必要とせず、再構成速度を大幅に加速する。

【0110】

図８にステップＳ１５１～Ｓ１５２を先に実行した後にステップＳ１５３～Ｓ１５４を実行する場合を示し、つまり、まず距離の和の最小値と最大値が出現する可能性がある点を判断し、距離の和の最小値と最大値を計算し、さらに全ての画素点に対し距離の和を計算しかつグループ化する。しかしながら、これらに限定されず、まずステップＳ１５３を実行してイメージング領域の全ての画素点の距離の和を算出し、さらにその中から距離の和の最小値及び最大値を特定する（即ち、ステップＳ１５１を実行する）。その後、さらに図７のステップＳ５４に相当する図８におけるステップＳ１５１～Ｓ１５２及びＳ１５４を集中的に行ってもよい。

【0111】

全ての画素点の距離の和を計算してその中から最小値と最大値を選択すれば、全ての距離の和の最小値及び最大値を得かつグループ化を完了するまで、大量の距離の和を長時間メモリに記憶する必要がある。しかしながら、図８のフローを採用する場合、距離の和の最小値と最大値との計算は各画素点の距離の和の計算から独立し、幾何学的関係に基づいて算出することができ、少ない計算量で最小値と最大値を得ることができ、又、距離の和ごとに計算すると、その最も近い等分の値を特定し、後続の計算に使用されるのが該等分の値であり、前に計算された距離の和を長時間保存することを必要とせず、記憶空間を節約し、計算機リソースを節約することができる。

【0112】

（第２の実施形態）
第２の実施形態の構成が第１の実施形態と異なる点は、制御装置２０がさらにキーポイント特定モジュール及びイメージング領域調整モジュールを含むことである。キーポイント特定モジュールは三次元画像情報に基づいて、人体のキーポイントを特定し、イメージング領域調整モジュールは、中核キーポイントに基づいてイメージング領域を調整する。換言すれば、制御装置２０において実行される三次元イメージング方法は第１の実施形態と異なる。

【0113】

図７を参照して、第２の実施形態に係る三次元イメージング方法を説明する。図７におけるステップＳ１１～Ｓ１５は、図４におけるステップＳ１１～Ｓ１５と同様である。異なる点は、ステップＳ１３の後に、さらにステップＳ１６及びステップＳ１７を有することである。

【0114】

ステップＳ１６において、深度カメラ１１により収集された三次元画像情報に対して、深度学習モデルに基づいて、画像における人体の中核キーポイントを特定する。ここで、中核キーポイントは、人体輪郭におけるキーポイントであり、例えば人体の頭頂、頸部、四肢の主な関節等の部位を含むことができる。中核キーポイントを特定するための深度学習モデルは特に制限されず、例えば、Ｄｅｅｐ Ｐｏｓｅモデル、ＨｅａｔＭａｐモデル及びＣＰＭ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｐｏｓｅ ｍａｃｈｉｎｅ）モデルのような従来のモデルを採用することができる。

【0115】

ステップＳ１７において、ステップＳ１６で特定された中核キーポイントに基づいて、イメージング領域内の各中核キーポイントに関連する人体部位を選択し、それによりステップＳ１３で特定されたイメージング領域を調整する。

【0116】

上記のように、中核キーポイントは、人体の頭頂、頸部、四肢の主な関節等の部位を表すことができる。ステップＳ１３で特定されたイメージング領域は人体マスクに対応する領域であり、即ち、この時のイメージング領域は人体輪郭全体を含む領域であり、ステップＳ１７において、人体輪郭全体を含むイメージング領域から、そのうちの一部を選択して保留し、他の部分を除去し、それによりイメージング領域は人体輪郭のうちの一部のみを含む。

【0117】

例えば、デバイスの実際の応用シーンに応じて、頭部、頸部など物を隠しにくい部位を安全検査対象とする必要がない場合に、中核キーポイントに応じて、これらの部位をイメージング領域から排除することができる。例えば、ステップＳ１３で特定されたイメージング領域から人体の頭部を除去する。それにより、イメージング領域を調整し、最終的なイメージング領域を特定する。しかしながら、アラブ諸国など特殊な地域では、頭部に頭巾が装着され、物を隠す可能性もあり、この時、頭部もイメージング領域とする必要がある。また、人体のプライバシー部位等の画像イメージングについても議論されているため、この部分をイメージング領域から排除することを選択することができる。

【0118】

各中核キーポイントに関連する人体部位を選択して三次元イメージングシステムに予め記憶することができ、それによりイメージング領域の調整を自動的に完了し、後続の必要に応じて人為的に選択することもできる。

【0119】

第２の実施形態において、人体の中核キーポイントに応じてイメージング領域を調整することにより、イメージング領域がより合理になり、画像再構成範囲をさらに減少させ、画像再構成の計算速度をさらに向上させることができる。

【0120】

（変形例）
上記第１の実施形態を基に、制御装置２０はさらにキーポイント特定モジュール及び立ち姿勢判断モジュールを含む。キーポイント特定モジュールについて、上記第２の実施形態を参照することができる。上記第２の実施形態を基に、制御装置２０はさらに立ち姿勢判断モジュールを含む。

【0121】

立ち姿勢判断モジュールは、キーポイント特定モジュールにより特定された中核キーポイントの位置に応じて、人の立ち姿勢が正確であるか否かを判断し、立ち姿勢が正確でなければ、警報を提示する。

【0122】

この立ち姿勢判断処理は、図４のステップＳ１３の後、または、図９におけるステップＳ１７の後、ステップＳ１５の前に行ってもよい。

【0123】

人の立ち姿勢が正確でなければ、物を正確に見つけることができない可能性があり、立ち姿勢判断モジュールを増加させることで、安全検査を受ける人の立ち姿勢を修正することができる。

【0124】

また、このような立ち姿勢判断処理は、ステップＳ１５の画像再構成の前に行われるため、立ち姿勢エラーにより無効となる安全検査画像を生成する状況を画像を再構成する前に回避することができ、計算リソースの浪費を回避することができる。

【0125】

また、本開示において、例えば、制御装置２０が複数のプロセッサ又はマルチコアプロセッサを含む場合、画像再構成を行うと、マルチコアＧＰＵの各コアに一つの画素点の画像再構成演算を単独で行わせることができる。具体的には、図８に示す例において、ＧＰＵの各コアによりそれぞれ一つの画素点の距離の和を計算することで最も近い等分の値を特定し、即ちそれぞれ上記のステップＳ１５３～Ｓ１５４を実行する。このような状況で、千個以上の画素点再構成を同時に行うことができ、それにより演算速度を向上させることができる。

【0126】

また、制御装置２０がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含む場合、ＦＰＧＡにより上記制御装置２０が実行する一部の処理を実現することができる。例えば、ＦＰＧＡによりミリ波イメージング装置におけるホログラフィックデータ収集装置を制御し、それによりミリ波の送信及びデータ収集を制御する。具体的には、１対の送受信アンテナのホログラフィックデータを収集した後、それに前処理演算を行うことができる。前処理された後のホログラフィックデータを例えばＣＰＵ等の他のプロセッサに送信して後続の処理を行い、ＦＰＧＡは次の１対の送信アンテナ及び前記受信アンテナを制御してホログラフィックデータを収集する。例えば、該前処理は、該１対の送受信アンテナに対して、ＦＰＧＡによりまず該１対の送受信アンテナの画素点への寄与値を計算する。その後、算出された寄与値をＣＰＵ等の他のプロセッサに送信し、ＣＰＵ等により次の画像再構成演算を行うものであってもよい。この場合、ＦＰＧＡはさらに次の１対の送受信アンテナのホログラフィックデータの収集を制御する。前記のように、ＦＰＧＡとＣＰＵ等のプロセッサの協働により、ＣＰＵの動作負荷を低減することができるだけでなく、画像再構成時間を減少させることができる。

【0127】

以上、図面を参照しながら本開示の実施形態及び具体的な実施例を説明したが、当業者は本開示の精神及び範囲から逸脱することなく様々な修正及び変形を行うことができ、このような修正及び変形はいずれも前記特許請求の範囲により限定された範囲内に含まれる。

【符号の説明】

【0128】

１００ ３次元イメージングシステム
１０、１０’、１０” ミリ波イメージング装置
２０ 制御装置
３０ ホログラフィックデータ収集装置
１１、１１’、１１” 深度カメラ
１２、１２’、１２” 受信アンテナ
１３、１３’、１３” 送信アンテナ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】