7308913 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-06

(45)【発行日】2023-07-14

(54)【発明の名称】敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230707BHJP

   G01N 21/27 20060101ALI20230707BHJP

   G01V 8/00 20060101ALN20230707BHJP

   G01J 3/46 20060101ALN20230707BHJP

【ＦＩ】

G06T7/00 350C

G01N21/27 A

G01V8/00

G01J3/46 Z

【請求項の数】 1

(21)【出願番号】P 2021209445

(22)【出願日】2021-12-23

(65)【公開番号】P2022101519

(43)【公開日】2022-07-06

【審査請求日】2021-12-23

(31)【優先権主張番号】10-2020-0183353

(32)【優先日】2020-12-24

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】521495699

【氏名又は名称】ディフェンス・エージェンシー・フォー・テクノロジー・アンド・クオリティ

【氏名又は名称原語表記】ＤＥＦＥＮＳＥ ＡＧＥＮＣＹ ＦＯＲ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＱＵＡＬＩＴＹ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(72)【発明者】

【氏名】ノ，サンウ

(72)【発明者】

【氏名】キム，テファン

(72)【発明者】

【氏名】アン，ジンウ

(72)【発明者】

【氏名】キム，ハンギュ

【審査官】佐藤 実

(56)【参考文献】

【文献】特表２０１７－５２６９１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０１Ｎ ２１／２７

Ｇ０１Ｖ ８／００

Ｇ０１Ｊ ３／４６

(57)【特許請求の範囲】

【請求項1】

スペクトルスキャニング方式の超分光高速カメラで映像を撮影した後、獲得した３次元データキューブを各スペクトルが撮影された特定時点別に分離獲得してスペクトル数だけの３次元データキューブを生成する第１段階；
生成されたデータキューブから、移動物体を探知して背景と分離する処理を通じて、移動物体に該当する領域と背景に該当する領域を分離する第２段階；および
特定時点別に分離獲得された３次元データキューブから、敵対的生成ネットワークアルゴリズムを通じて動きのある領域に対して特定時点別のすべてのスペクトルの値を有した３次元データキューブを再構成する第３段階を含み、
スペクトルスキャニング方式は、全体の空間領域の特定スペクトルをスキャニングした後に他のスペクトルに対して順次スキャニングする方式であり、
第１段階で新たに生成された時点別３次元データキューブのデータは、特定スペクトルの値のみを保有した状態であり、
第１段階で超分光カメラはスペクトル別データ値を見る機能を有し、
第３段階で下記の数学式１にマッピングＧ _Ｙ ：Ｘ→Ｙを学習するために、対をなしたデータサンプル｛（ｘ _ｉ 、ｙ _ｉ ）｝で再構成誤差を最小化するようにＧ _Ｙ を調整し、再帰損失を下記の数学式２にして、Ｐ（ｘ）のｎ回の逐次代入で求められると見た時、数学式３で生成子関数Ｇ _ｉ が入力データｘ _ｔｎ を同一のフレーム内に属した次のスペクトルの値ｘ _{ｔ（ｎ＋ｉ）} になり得るように学習させ、最終的に生成子関数Ｇ _ｉ を活用して、特定スペクトルｎ時点のすべてのスペクトルを復元する：
［数学式１］

［数学式２］

［数学式３］

ここで、数学式１、２および３で、ｘ _ｉ ∈Ｘ、ｙ _ｉ ∈Ｙ、ｍｉｎは最小値関数、Ｇ _Ｙ は生成子関数、Ｔは映像の全体時間、Ｎはスペクトル数、ｘ _ｔｎ はｔ時刻のｎ番目のデータ値、Ｐ _ｉ は予測関数、Ｇ _ｉ は生成子関数、ｘ _{ｔ（ｎ＋ｉ）} はｔ時刻のｎ＋ｉ番目のデータ値、Ｌ _Ｔ は損失関数、ｘ _{（ｔ＋１）ｎ} はｔ＋１時刻のｎ番目のデータ値である
超分光高速カメラ映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スペクトルスキャニング（ｓｐｅｃｔｒａｌ ｓｃａｎｎｉｎｇ）方式の超分光カメラ（ｈｙｐｅｒｓｐｅｃｔｒａｌ ｃａｍｅｒａ）で映像を撮影して獲得した連続する３次元データキューブ（ｄａｔａ ｃｕｂｅ）を、スペクトル数以内の時間的解像度を有することができるように分割して高速超分光動映像を生成する方法に関する。

【背景技術】

【0002】

超分光カメラは環境および国防などの多様な分野において、肉眼で区別し難い物体あるいは現象を探知および識別するのに活用されている。標的の探知および追跡において良い性能を発揮するため、国防分野では偽装した戦車、軍用車両、兵士などの探知および識別の用途で使用中である。

【0003】

既存の超分光カメラは、写真一枚に該当する３次元データキューブを生成するために数秒以上の時間が必要とされていた。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、既存の超分光カメラを活用して高速フレームレートの超分光高速カメラ映像生成方法を提供することである。

【課題を解決するための手段】

【0005】

本発明は前述した目的を達成するために、スペクトルスキャニング方式の超分光カメラで映像を撮影した後、各データキューブを特定時点別のスペクトル値に分離する段階；および敵対的生成ネットワークを通じて特定時点別のすべてのスペクトル値を有したデータキューブを生成する段階を含む、超分光高速カメラ映像生成方法を提供する。

【0006】

本発明では、異なる時点のスペクトル値を活用して特定時点のスペクトルを生成するために、移動物体を探知し背景と分離して移動物体に該当するスペクトルと背景に該当するスペクトルを分離することができる。

【0007】

本発明では、時間的連続性を考慮した敵対的生成ネットワークアルゴリズムを活用して、特定時点別の特定スペクトル値のみを有したデータキューブセットから、特定時点別のすべてのスペクトル値を有したデータキューブセットを生成することができる。

【0008】

具体的には、本発明はスペクトルスキャニング方式の超分光高速カメラで映像を撮影した後、獲得した３次元データキューブを各スペクトルが撮影された特定時点別に分離獲得してスペクトル数だけの３次元データキューブを生成する第１段階；生成されたデータキューブから、移動物体を探知して背景と分離する処理を通じて、移動物体に該当する領域と背景に該当する領域を分離する第２段階；および分離した背景領域での同一座標に該当する各スペクトルの値を活用して、映像の空間的位置によるスペクトル値を獲得し、敵対的生成ネットワークアルゴリズムを通じて動きのある領域に対して特定時点別のすべてのスペクトルの値を有した３次元データキューブを再構成する第３段階を含む、超分光高速カメラ映像生成方法を提供する。

【0009】

本発明の第１段階で新たに生成された時点別３次元データキューブのデータは、特定スペクトルの値のみを保有した状態であり得る。

【0010】

本発明の第１段階で、超分光カメラはスペクトル別データ値を見る機能を有することができる。

【発明の効果】

【0011】

本発明によると、写真一枚に該当する３次元データキューブを生成するために数秒以上の時間が必要とされる既存の超分光カメラを活用して高速超分光カメラを具現することができる。

【図面の簡単な説明】

【0012】

【図1】人の目で獲得した映像情報と超分光センサで獲得した映像情報を示したものである。

【図2】超分光カメラスキャニング方式を示したものである。

【発明を実施するための形態】

【0013】

以下、本発明を詳細に説明する。

【0014】

超分光カメラで撮影した映像は、図１のように、映像獲得時に各画素別に物質の識別に活用可能な連続的なスペクトルに対する情報をすべて含んでいる。超分光カメラで獲得したデータは、一般的なカメラで撮影した映像の２次元空間的情報に追加で画素別スペクトルが含まれて３次元データキューブの形態で構成される。

【0015】

超分光カメラのスキャニング方式としては、図２のように空間スキャニング（ｓｐａｔｉａｌ ｓｃａｎｎｉｎｇ）、スペクトルスキャニング（ｓｐｅｃｔｒａｌ ｓｃａｎｎｉｎｇ）、ノン－スキャニング（ｎｏｎ－ｓｃａｎｎｉｎｇ）、空間スペクトルスキャニング（ｓｐａｔｉｏｓｐｅｃｔｒａｌ ｓｃａｎｎｉｎｇ）方式がある。

【0016】

空間スキャニング方式は、特定の空間的領域に対する全体のスペクトルを獲得した後に他の空間的領域に対して順次スキャニングする方式であり、スペクトルスキャニング方式は、全体の空間領域の特定スペクトルをスキャニングした後に他のスペクトルに対して順次スキャニングする方式である。スナップショット（ｓｎａｐ ｓｈｏｔ）とも呼ばれるノン－スキャニング方式は、センサを多数のスペクトル領域に区分して同時に測定をする方式である。

【0017】

前述したように、スペクトルスキャニング方式は特定スペクトルの空間的領域に対して順次スキャンする方式であるため、それぞれのスペクトルは連続する異なる時間帯で獲得された情報と見なすことができる。したがって、時間軸で撮影されたイメージを区分すると、スキャニング時間をスペクトル数で割ったものだけ分離が可能である。

【0018】

一般的に高速で撮影された映像は各フレーム別に前後のフレーム間の重複する情報を含んでいる画素が非常に多いため、スペクトルスキャニング方式で撮影された各スペクトルの制限的な特定時点の情報間の連係を利用して敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）アルゴリズムを通じて、すべての時点に対する３次元キューブを生成することができる。敵対的生成ネットワーク（ＧＡＮ）は生成モデルと判別モデルが競争しながら、実際に近いイメージや動映像などを自動で作り出す機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）方式の一つである。

【0019】

本発明に係る敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法は、次のような段階別に遂行され得る。

【0020】

第１の段階で、スペクトルスキャニング方式の超分光高速カメラで映像を撮影した後、獲得した３次元データキューブを各スペクトルが撮影された特定時点別に分離獲得してスペクトル数だけの３次元データキューブを生成する。すなわち、スペクトルスキャニング方式の超分光カメラで映像を撮影した後、各データキューブを特定時点別のスペクトル値に分離獲得する。新たに生成された時点別３次元データキューブのデータは特定スペクトルの値のみを保有した状態である。

【0021】

超分光カメラはスペクトル別データ値を見る機能を提供することができる。一般カメラの例として写真を撮影すると、写真の各画素別Ｒチャネルの値、Ｇチャネルの値、Ｂチャネルの値を確認できるのと同じである。例えば、スペクトルスキャニング方式の３チャネルＲＧＢカメラで１ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で１秒間撮影したとすれば（スペクトルがＲ、Ｇ、Ｂ順で撮影されるという仮定）、実際にＲチャネルのデータが撮影された時間は０～０．３３秒、Ｇチャネルのデータが撮影された時間は０．３３～０．６７秒、Ｂチャネルのデータが撮影された時間は０．６７～１秒となる。したがって、撮影されたデータのＲチャネルには０～０．３３秒、Ｇチャネルには０．３３～０．６７秒、Ｂチャネルには０．６７～１秒で各チャネル別各時点のデータが入っている。スペクトルスキャニング方式の超分光カメラに対してもスペクトル（チャネル）数のみが拡張されたのであり、同じ概念として見なすことができる。

【0022】

その後、選択的な実施形態で、停止した状態で撮影された一般写真とディープラーニングアルゴリズムを活用して、撮影時間の間動き（カメラの動き、背景の変化、前景の移動などを考慮）が最も少ない生成時点が連続するスペクトルからなるすべてのスペクトル値を保有したデータキューブを選択することができる。

【0023】

また、選択的な他の実施形態で、モーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）領域検出アルゴリズムを使って、撮影時間の間動き（カメラの動き、背景の変化、前景の移動などを考慮）が最も少ない生成時点が連続するスペクトルからなるすべてのスペクトル値を保有したデータキューブを選択することができる。すなわち、モーションブラー領域検出アルゴリズムによってモーションブラー領域が最も少ない値を有するデータを選択することができる。

【0024】

第２の段階で、生成された（または選択された）データキューブから、移動物体を探知して背景と分離する処理を通じて（すなわち、移動物体探知／検出アルゴリズムを活用して）、データキューブの空間座標のうち移動物体に該当する領域と背景に該当する領域を分離する（すなわち、背景と移動物体のスペクトル値を分離する）。具体的には、異なる時点のスペクトル値を活用して特定時点のスペクトルを生成するために、移動物体を探知し背景と分離して移動物体に該当するスペクトルと背景に該当するスペクトルを分離する（すなわち、アルゴリズムを使わずともマッチングが可能な背景と移動物体を区分する）。

【0025】

移動物体探知／検出アルゴリズムとしては強靭な主成分分析（Ｒｏｂｕｓｔ Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）アルゴリズムを利用することができる。具体的には、背景が映る時には主成分として抽出することができ、動く物体が映る時にはこれをアウトライヤー（ｏｕｔｌｉｅｒ）で表現して背景と分離することができる。

【0026】

また、選択的な実施形態で、選択されたデータキューブから一般写真のＲ、Ｇ、Ｂチャネルに該当するスペクトル値を抽出し、停止した状態で撮影された一般写真とディープラーニングアルゴリズムを活用した比較を通じて、データキューブの空間座標のうち動きがあると推定される領域と停止したと推定される領域を分離することができる。すなわち、異なる時点のスペクトル値を活用して特定時点のスペクトルを生成する基準点を探すために、停止した状態で撮影された一般映像と撮影された超分光映像のレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）情報値を活用して、動きが少ないデータキューブと停止した領域を捜し出すことができる。

【0027】

また、選択的な他の実施形態で、選択されたデータキューブから一般写真のＲ、Ｇ、Ｂチャネルに該当するスペクトル値を抽出し、モーションブラー領域検出アルゴリズムを使って、データキューブの空間座標のうち動きがあると推定される領域と停止したと推定される領域を分離することができる。すなわち、異なる時点のスペクトル値を活用して特定時点のスペクトルを生成する基準点を探すために、停止した状態で撮影された一般映像と撮影された超分光映像のレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）情報値を活用して、動きが少ないデータキューブと停止した領域を捜し出すことができる。

【0028】

第３の段階で、分離された背景（または停止）領域での同一座標に該当する各スペクトルの値を活用して、映像の空間的位置によるスペクトルの関係を知ることができ、これを参照して敵対的生成ネットワークアルゴリズムを通じて動きのある領域に対して特定時点別のすべてのスペクトルの値を有した３次元データキューブを再構成する。すなわち、敵対的生成ネットワークを通じて特定時点別のすべてのスペクトル値を有したデータキューブを生成する。具体的には、時間的連続性を考慮した敵対的生成ネットワークアルゴリズムを活用して、特定時点別の特定スペクトル値のみを有したデータキューブセットから、特定時点別のすべてのスペクトル値を有したデータキューブセットを生成する。

【0029】

具体的には、下記の数学式１のように、マッピング（ｍａｐｐｉｎｇ）Ｇ_Ｙ：Ｘ→Ｙを学習することを望むと仮定すれば、対をなしたデータサンプル｛（ｘ_ｉ、ｙ_ｉ）｝で再構成誤差（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｅｒｒｏｒ）を最小化するようにＧ_Ｙを調整する。ここで、ｘ_ｉ∈Ｘ、ｙ_ｉ∈Ｙである。数学式１でｍｉｎは最小値関数、Ｇ_Ｙは生成子関数である。

【0030】

［数学式１］

【数1】

【0031】

再発損失を下記の数学式２にして、Ｐ（ｘ）のｎ回の逐次代入で求められると見た時、数学式３でＴは時間、Ｎはスペクトル数を意味し、生成子関数Ｇ_ｉが入力データｘ_ｔｎを同一のフレーム内に属した次のスペクトルの値ｘ_{ｔ（ｎ＋ｉ）}になり得るように学習させる。最終的に識別子Ｇ_ｉを活用して、特定スペクトルｎ時点のすべてのスペクトルを復元する。

【0032】

［数学式２］

【数2】

【0033】

［数学式３］

【数3】

【0034】

数学式２および３で、ｍｉｎは最小値関数、Ｔは映像の全体時間、ｘ_ｔｎはｔ時刻のｎ番目のデータ値、Ｐ_ｉは予測関数、Ｇ_ｉは生成子関数、ｘ_{ｔ（ｎ＋ｉ）}はｔ時刻のｎ＋ｉ番目のデータ値、Ｌ_Ｔは損失関数、ｘ_{（ｔ＋１）ｎ}はｔ＋１時刻のｎ番目のデータ値である。

【図1】

【図2】