知財求人 - 知財ポータルサイト「IP Force」
特許7590011ハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】ハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法及び装置
(51)【国際特許分類】
G01J 3/36 20060101AFI20241119BHJP
G01J 3/10 20060101ALI20241119BHJP
【ＦＩ】
G01J3/36
G01J3/10
【請求項の数】
9
(21)【出願番号】P 2022554342
(86)(22)【出願日】2020-09-08
(65)【公表番号】
(43)【公表日】2023-03-07
(86)【国際出願番号】 CN2020114061
(87)【国際公開番号】W WO2022051911
(87)【国際公開日】2022-03-17
【審査請求日】2022-09-08
【早期審査対象出願】
(73)【特許権者】
【識別番号】521399803
【氏名又は名称】深▲せん▼市海譜納米光学科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＨＹＰＥＲＮＡＮＯ ＯＰＴＩＣＳ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ
【住所又は居所原語表記】１９０３，１９０４， Ｂｕｉｌｄｉｎｇ１， ＣＯＦＣＯ Ｃｈｕａｎｇｘｉｎ Ｒ＆Ｄ Ｃｅｎｔｒｅ Ｚｏｎｅ ６９， Ｘｉｎｇｄｏｎｇ Ｃｏｍｍｕｎｉｔｙ Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ ＣＨＩＮＡ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(74)【代理人】
【識別番号】100205936
【弁理士】
【氏名又は名称】崔 海龍
(74)【代理人】
【識別番号】100132805
【弁理士】
【氏名又は名称】河合 貴之
(72)【発明者】
【氏名】郁 幸超
(72)【発明者】
【氏名】任 哲
(72)【発明者】
【氏名】郭 斌
(72)【発明者】
【氏名】黄 錦標
【審査官】橘 皇徳
(56)【参考文献】
【文献】中国特許出願公開第１０４５０２０７１（ＣＮ，Ａ）
【文献】特開２００４－２７１４９８（ＪＰ，Ａ）
【文献】中国特許出願公開第１０８０２０５１９（ＣＮ，Ａ）
【文献】国際公開第２０１７／０６６８２５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｊ ３／００ － Ｇ０１Ｊ ４／０４
Ｇ０１Ｊ ７／００ － Ｇ０１Ｊ ９／０４
Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／０１
Ｇ０１Ｎ ２１／１７ － Ｇ０１Ｎ ２１／６１
Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８
(57)【特許請求の範囲】
【請求項1】
ハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法であって、ハイパースペクトル画像を取得して、所定の幅及び高さを有する前記ハイパースペクトル画像における幅ｘ方向と高さｙ方向から形成されるｘｙ平面上の１点の座標（ｘ，ｙ）における、ある波長ωでの値をＩ（ｘ，ｙ，ω）と記し、すべての波長における前記Ｉ（ｘ，ｙ，ω）に対してガウス畳み込みカーネル行列ｇ（ｘ，ｙ）でガウス畳み込み処理を行って、ある波長ωでの前記Ｉ（ｘ，ｙ，ω）に対応するガウス畳み込み処理された後の値Ｂ（ｘ，ｙ，ω）を取得するステップＳ１と、
すべての波長に対応する前記Ｉ（ｘ，ｙ，ω）から前記Ｂ（ｘ，ｙ，ω）を引いて、Ｅ（ｘ，ｙ，ω）を取得し、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）であるステップＳ２と、
前記Ｅ（ｘ，ｙ，ω）における各波長の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得し、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ方向において最大値を検索することを示すステップＳ３と、
前記第１最大値スペクトルＲ（ω）を光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）において線形回帰して、関連性に応じて組み合わせて新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を形成し、ここで、ｋ’が前記新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の前記光源スペクトル辞書内のベクトル番号であり、ｍ’が前記新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の前記光源スペクトル辞書内の関連ベクトル群の群番号であり、前記光源スペクトル辞書におけるｍ’と同じ群番号のすべての他の基底ベクトルを前記新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージし追加して、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｋが前記潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの前記光源スペクトル辞書内のベクトル番号であるステップＳ４と、
前記第１最大値スペクトルＲ（ω）を前記潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、すべての波長での前記潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に対して前記各基底ベクトルの強度ベクトルｂ（ｋ）で畳み込み処理して初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長での最大値を取って第２最大値スペクトルＲ’（ω）を取得するステップＳ５と、
前記第２最大値スペクトルＲ’（ω）の色温度変化値、すなわち前回の第２最大値スペクトルＲ’（ω）と今回の第２最大値スペクトルＲ’（ω）との間の色温度変化値が所定の閾値より小さくなるまで、前記第２最大値スペクトルＲ’（ω）で前記第１最大値スペクトルＲ（ω）を代替して、ステップＳ５を繰り返すステップＳ６と、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得するステップＳ７と、を含む
ことを特徴とするハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法。
【請求項2】
前記光源スペクトル辞書の構築ステップは具体的に、光源スペクトル情報を取得し、前記光源スペクトル情報からそれぞれ同じ波長範囲及び波長間隔のスペクトル波形を波形ベクトルとして抽出して、第１波形ベクトルセットを形成するステップＳ８と、
使用過程において色温度やスペクトルが変化する不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出し、前記ピークトラフ情報からそれぞれ同じ波長範囲及び波長間隔の波形ベクトルを抽出して、第２波形ベクトルセットを形成するステップＳ９と、
前記第１波形ベクトルセット及び前記第２波形ベクトルセットにおける同一光源に属する各波形ベクトルを、同時に関連し共存する基底ベクトルシーケンスとしてマーキングしてインデックスを構築して、前記光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）を形成し、前記光源スペクトル辞書が前記光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）からなるステップＳ１０と、を含む
ことを特徴とする請求項１に記載のハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法。
【請求項3】
前記ステップＳ９において、マルチガウスピークフィッティング方法で不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出することを特徴とする請求項２に記載のハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法。
【請求項4】
前記新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）における取得された関連性の降順で配列されている、より上位の基底ベクトルは多くとも２種類又は３種類以下の光源成分であることを特徴とする請求項１に記載のハイパースペクトル画像に基づいて光源スペクトル
を復元再構築する方法。
【請求項5】
前記線形回帰は最小二乗線形分解を含むことを特徴とする請求項１に記載のハイパースペクトル画像に基づいて光源スペクトル
を復元再構築する方法。
【請求項6】
前記ガウス畳み込み処理に用いられる二次元ガウスカーネルの公式は、
ここで、σがガウス関数の標準偏差である
ことを特徴とする請求項１に記載のハイパースペクトル画像に基づいて光源スペクトル
を復元再構築する方法。
【請求項7】
前記ｇ（ｘ，ｙ）はｉ×ｉの数字行列で代替されることを特徴とする請求項６に記載のハイパースペクトル画像に基づいて光源スペクトル
を復元再構築する方法。
【請求項8】
前記第２最大値スペクトルＲ’（ω）の色温度変化値
ことを特徴とする請求項１に記載のハイパースペクトル画像に基づいて光源スペクトル
を復元再構築する方法。
【請求項9】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されるとき、請求項１～８のいずれか１項に記載
の方法を実現する
ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願はハイパースペクトル分析分野に関し、特にハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法及び装置に関する。
【背景技術】
【0002】
ハイパースペクトルイメージング技術は画像情報及びスペクトル情報を同時に取得することができ、マシンビジョン技術と組み合わせて物体を判別するとともに、更にスペクトルに依存するスペクトル分析を行うことができ、従って、ハイパースペクトルイメージング技術は大きな潜在力のある新しい技術である。ハイパースペクトルイメージング技術におけるスペクトル分析機能はハイパースペクトル画像に由来し、異なる波長の物質から放出されるスペクトル情報を収集することができるのであり、これらのスペクトル情報は物体の物理及び化学成分等の情報を直接反映するのであり、画像の識別、領域選択等の情報と組み合わせて、ハイパースペクトルイメージング技術は目標検出－成分判断－結果出力の完全自動化を実現することができる。
【0003】
現在、一般的なハイパースペクトル画像分析方法は物質のスペクトル情報を抽出する際にいずれも撮影環境の光源スペクトル情報を予め把握する必要があるが、常に画像から直接読み取ることができない。画面において被撮影物体はその反射率に基づいて搬送している光源情報を部分的に反射するが、各色の異なる波長域に対する吸収の相違によって反射されたスペクトルは異なる程度で元の光源より一部の波長域のエネルギーを損失する。画面には異なる色、白色領域又は正反射領域が十分に存在する場合、一定の計算によって光源スペクトルを復元することができる。しかしながら、これらの条件が満足されず又はこれらの領域が容易に検索されることができない場合が多く、このとき、画像から光源スペクトルを取得したいということは手に負えない問題となっている。
【0004】
未知光源の開放応用シーンにおいて、現在、１枚のハイパースペクトル写真により光源スペクトルを復元することができるアルゴリズム方法はいくつかあり、例えば二色モデルに基づく光源復元方法、又は疎行列に基づく光源復元方法等がある。これらの方法の主な限定性は、第１として、計算量が大きく、計算能力への要件が高く又は長い時間がかかり、即時性を実現できず、第２として、応用シーンが制限され、画像には色の種類が少ない場合に光源スペクトルを正確に復元できず、一般的に画像には１０種に近いかそれ以上の色が必要であることにある。この２つの問題は、現在、ハイパースペクトル光源の復元が直面する最も大きな技術的問題である。現在、業界において、未知光源シーンにおける光源スペクトルをリアルタイムで正確に開放して再構築又は復元することができる、複数種類のシーンに適用されるハイパースペクトル又はスペクトル分析に基づく方法がまだ提案されていない。
【0005】
これに鑑みて、ハイパースペクトル画像に基づいて光源スペクトルを迅速で正確に復元再構築する方法を設計することは非常に重要である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記従来技術における光源スペクトルの取得方法は効果が理想的ではなく、限定性が高く、応用シーンにより制限されるという問題がある。上記問題を解決するために、本願の実施例はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法及び装置を提供する。
【0007】
第１態様では、本願の実施例はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法を提供し、
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得し、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列であるステップＳ１と、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得し、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）であるステップＳ２と、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得し、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示すステップＳ３と、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｎが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋがマッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるステップＳ４と、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得するステップＳ５と、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替するステップＳ５を繰り返すステップＳ６と、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得するステップＳ７と、を含む。
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得し、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列であるステップＳ１と、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得し、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）であるステップＳ２と、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得し、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示すステップＳ３と、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｎが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋがマッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるステップＳ４と、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得するステップＳ５と、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替するステップＳ５を繰り返すステップＳ６と、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得するステップＳ７と、を含む。
【0008】
いくつかの実施例では、光源スペクトル辞書の構築ステップは具体的に、
一般的な光源スペクトル情報を取得し、光源スペクトル情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第１波形ベクトルセットを形成するステップＳ８と、
不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出し、ピークトラフ情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第２波形ベクトルセットを形成するステップＳ９と、
第１波形ベクトルセット及び第２波形ベクトルセットにおける同一光源に属する各波形ベクトルを、同時に関連し共存する基底ベクトルシーケンスとしてマーキングしてインデックスを構築して、光源スペクトル辞書を形成し、光源スペクトル辞書が光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）からなるステップＳ１０と、を含む。
一般的な光源スペクトル情報を取得し、光源スペクトル情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第１波形ベクトルセットを形成するステップＳ８と、
不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出し、ピークトラフ情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第２波形ベクトルセットを形成するステップＳ９と、
第１波形ベクトルセット及び第２波形ベクトルセットにおける同一光源に属する各波形ベクトルを、同時に関連し共存する基底ベクトルシーケンスとしてマーキングしてインデックスを構築して、光源スペクトル辞書を形成し、光源スペクトル辞書が光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）からなるステップＳ１０と、を含む。
【0009】
光源スペクトル辞書の構築及び使用において、動的色温度が可変である基底ベクトル組み合わせ方式を用い、計算取得された光源スペクトルはより高い展延性及び適応性を有し、且つ実際の光源スペクトルにより接近する。
【0010】
いくつかの実施例では、ステップＳ９において、マルチガウスピークフィッティング方法で不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出する。該方法は各完全なピークトラフ情報の抽出効率が高く、計算量が少ない。
【0011】
いくつかの実施例では、ステップＳ４は具体的に、
第１最大値スペクトルＲ（ω）を光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）において線形回帰して、関連性に応じて組み合わせて新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を形成し、ここで、ｋ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内のベクトル番号であり、ｍ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内の関連ベクトル群の群番号であるＳ４１と、
光源スペクトル辞書におけるｍ’と同じ群番号のすべての他の基底ベクトルを分解により取得された光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージし追加して、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるＳ４２と、を含む。
第１最大値スペクトルＲ（ω）を光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）において線形回帰して、関連性に応じて組み合わせて新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を形成し、ここで、ｋ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内のベクトル番号であり、ｍ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内の関連ベクトル群の群番号であるＳ４１と、
光源スペクトル辞書におけるｍ’と同じ群番号のすべての他の基底ベクトルを分解により取得された光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージし追加して、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるＳ４２と、を含む。
【0012】
より正確なスペクトル又は実際の光源により接近するスペクトルを取得するように、該光源スペクトル辞書の構築方法を用いて、ハイパースペクトル画像から直接取得された第１最大値スペクトルを光源スペクトル辞書においてマッチング検索する。
【0013】
いくつかの実施例では、新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）における取得された関連性の降順で配列されているより上位の基底ベクトルは多くとも２種類又は３種類以下の光源成分である。この場合、計算しやすく、計算効率を向上させることができる。
【0014】
いくつかの実施例では、線形分解は最小二乗線形分解を含む。最小二乗線形分解によって関連性の最も高い光源スペクトル基底ベクトルを計算取得する。
【0015】
いくつかの実施例では、ガウス畳み込み処理に用いられる二次元ガウスカーネルの公式は、
であり、
ここで、σがガウス関数の標準偏差である。
【数1】
ここで、σがガウス関数の標準偏差である。
【0016】
ガウス畳み込み処理によってぼかし後のハイパースペクトル画像を取得し、更に原画像からガウスぼかし後の画像を引くことにより強調後の画像を取得し、処理後の画像を人の目の感知により類似させる。
【0017】
いくつかの実施例では、ｇ（ｘ，ｙ）はｉ×ｉの数字行列で代替される。このとき、実際の応用では計算しやすい。
【0018】
いくつかの実施例では、第２最大値スペクトルＲ’（ω）の色温度変化値
は式
に基づいて計算され、ここで、
が初期予測光源スペクトルＬ０（ω）に対応する色温度であり、
が第２最大値スペクトルＲ’（ω）の色温度である。第２最大値スペクトルにより反復近似を行うことは、色の種類が不足するため、取得された一部の波長域スペクトル波形が欠落した問題を解決することができる。これにより、該方法はよりロバストであり、撮影視野における色の種類数に依存しない。
【数2】
【数3】
【数4】
【数5】
【0019】
第２態様では、本願の実施例はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する装置を更に提供し、
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得することに用いられ、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列である画像ぼかしモジュールと、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得することに用いられ、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）である画像強調モジュールと、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得することに用いられ、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示す第１最大値スペクトル取得モジュールと、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得することに用いられ、ここで、ｎが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋがマッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるスペクトルマッチングモジュールと、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得することに用いられる光源スペクトル初期予測モジュールと、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替して、光源スペクトル初期予測モジュールを繰り返し実行することに用いられるスペクトル反復モジュールと、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得することに用いられる正規化モジュールと、を備える。
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得することに用いられ、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列である画像ぼかしモジュールと、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得することに用いられ、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）である画像強調モジュールと、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得することに用いられ、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示す第１最大値スペクトル取得モジュールと、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得することに用いられ、ここで、ｎが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋがマッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるスペクトルマッチングモジュールと、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得することに用いられる光源スペクトル初期予測モジュールと、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替して、光源スペクトル初期予測モジュールを繰り返し実行することに用いられるスペクトル反復モジュールと、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得することに用いられる正規化モジュールと、を備える。
【0020】
第３態様では、本願の実施例はコンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、該コンピュータプログラムがプロセッサにより実行されるとき、第１態様のいずれか１つの実現方式に記載の方法を実現する。
【0021】
本願はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法及び装置を開示し、１枚のハイパースペクトル画像においてより簡潔な計算過程を用いて、撮影環境の光源スペクトルを迅速で正確に復元することができ、且つ単色又は色の少ない画像シーンに対する復元効果が依然として高く、ひいては実際の光源スペクトルに接近する。光源スペクトルを取得した後、この情報を更に利用して異なる種類の応用を行うことができ、例えば、物質の反射スペクトル及び吸収スペクトルを抽出分析し、物質成分を更に分析し、光源スペクトル情報を予め取得する必要がなく又は付加装置及び部材により光源を測定する場合、データ収集時間を短縮し、分析効率を向上させ、ハイパースペクトルイメージングの応用シーンを大幅に拡張し、応用柔軟性及び可能性を向上させる。
【図面の簡単な説明】
【0022】
実施例の更なる理解を提供するように図面を含み、且つ図面は本明細書に取り込まれて本明細書の一部となる。図面は実施例を図示し、且つ説明とともに本願の原理を解釈することに用いられる。下記詳細な説明を援用することにより、それらがより良く理解されるようになるため、他の実施例及び実施例の多くの期待される利点が容易に理解される。図面の素子は必ずしも互いに比率で描かれるものではない。同様の図面符号は対応する類似部材を示す。
【図1】本願の一実施例が応用される例示的な装置の構成図である。
【図2】本願の実施例におけるハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法の模式的なフローチャートである。
【図3】本願の実施例におけるハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法の光源スペクトル辞書の構築ステップの模式的なフローチャートである。
【図4】本願の実施例におけるハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法のステップＳ４のフローチャートである。
【図5】本願の実施例におけるハイパースペクトル画像に基づいて光源スペクトルを復元再構築する装置の模式図である。
【図6】本願の実施例の電子機器を実現するのに適するコンピュータ装置の構造模式図である。
【発明を実施するための形態】
【0023】
本願の目的、技術案及び利点をより明確にするために、以下に図面を参照しながら本願を更に詳しく説明する。明らかに、説明される実施例は本願の実施例の一部に過ぎず、全部の実施例ではない。本願の実施例に基づいて、当業者が進歩性のある労働を必要とせずに取得する他の実施例は、いずれも本願の保護範囲に属する。
【0024】
図１には、本願の実施例が応用されるハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法又はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する装置の例示的な装置の構成１００を示す。
【0025】
図１に示すように、装置の構成１００は端末装置１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでもよい。ネットワーク１０４は端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供することに用いられる。ネットワーク１０４は様々な接続タイプ、例えば有線、無線通信リンク又は光ファイバーケーブル等を含んでもよい。
【0026】
メッセージ等を送受信するように、ユーザーは端末装置１０１、１０２、１０３を使用してネットワーク１０４経由でサーバ１０５と対話することができる。端末装置１０１、１０２、１０３に様々なアプリケーション、例えばデータ処理類アプリケーション、ファイル処理類アプリケーション等がインストールされてもよい。
【0027】
端末装置１０１、１０２、１０３はハードウェアであってもよく、ソフトウェアであってもよい。端末装置１０１、１０２、１０３がハードウェアである場合、様々な電子機器であってもよく、該電子機器はスマートフォン、タブレットコンピュータ、ラップトップノートパソコン及びデスクトップパソコン等を含むが、それらに限らない。端末装置１０１、１０２、１０３がソフトウェアである場合、上記列挙した電子機器にインストールされてもよい。複数のソフトウェア又はソフトウェアモジュール（例えば、分散型サービスを提供するためのソフトウェア又はソフトウェアモジュール）に実現されてもよく、単一のソフトウェア又はソフトウェアモジュールに実現されてもよい。ここで具体的に制限しない。
【0028】
サーバ１０５は様々なサービスを提供するサーバ、例えば端末装置１０１、１０２、１０３がアップロードするファイル又はデータを処理するバックグラウンドデータ処理サーバであってもよい。バックグラウンドデータ処理サーバは取得されたファイル又はデータを処理して、処理結果を生成することができる。
【0029】
なお、本願の実施例に係るハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法はサーバ１０５により実行されてもよく、端末装置１０１、１０２、１０３により実行されてもよく、それに対応して、ハイパースペクトル画像に基づいて光源スペクトルを復元再構築する装置はサーバ１０５に設置されてもよく、端末装置１０１、１０２、１０３に設置されてもよい。
【0030】
理解されるように、図１における端末装置、ネットワーク及びサーバの数は模式的なものに過ぎない。実現の必要に応じて、いかなる数の端末装置、ネットワーク及びサーバを有してもよい。処理されたデータはリモートから取得される必要がない場合、上記装置の構成はネットワークを含まなくてもよく、サーバ又は端末装置のみを必要とする。
【0031】
図２に示すように、本願の実施例はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法を提供し、
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得し、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列であるステップＳ１と、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得し、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）であるステップＳ２と、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得し、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示すステップＳ３と、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｎが前記光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが前記光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋが前記マッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの前記光源スペクトル辞書内のベクトル番号であるステップＳ４と、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得するステップＳ５と、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替して、ステップＳ５を繰り返すステップＳ６と、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得するステップＳ７と、を含む。
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得し、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列であるステップＳ１と、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得し、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）であるステップＳ２と、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得し、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示すステップＳ３と、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｎが前記光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが前記光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋが前記マッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの前記光源スペクトル辞書内のベクトル番号であるステップＳ４と、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得するステップＳ５と、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替して、ステップＳ５を繰り返すステップＳ６と、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得するステップＳ７と、を含む。
【0032】
具体的な実施例では、図３に示すように、光源スペクトル辞書の構築ステップは具体的に、
一般的な光源スペクトル情報を取得し、光源スペクトル情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第１波形ベクトルセットを形成するステップＳ８と、
不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出し、ピークトラフ情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第２波形ベクトルセットを形成するステップＳ９と、
第１波形ベクトルセット及び第２波形ベクトルセットにおける同一光源に属する各波形ベクトルを、同時に関連し共存する基底ベクトルシーケンスとしてマーキングしてインデックスを構築して、光源スペクトル辞書を形成し、光源スペクトル辞書が光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）からなるステップＳ１０と、を含む。
一般的な光源スペクトル情報を取得し、光源スペクトル情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第１波形ベクトルセットを形成するステップＳ８と、
不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出し、ピークトラフ情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第２波形ベクトルセットを形成するステップＳ９と、
第１波形ベクトルセット及び第２波形ベクトルセットにおける同一光源に属する各波形ベクトルを、同時に関連し共存する基底ベクトルシーケンスとしてマーキングしてインデックスを構築して、光源スペクトル辞書を形成し、光源スペクトル辞書が光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）からなるステップＳ１０と、を含む。
【0033】
ステップＳ８において取得された一般的な代表的な光源は異なる色温度の日光、黒体放射曲線又は白熱灯、異なる代表的な蛍光灯スペクトルシーケンスＦ２～Ｆ１２、及び現在のより汎用のＬＥＤ光源を含む。一部の不特定のスペクトル又は色温度の人工光源、例えばＬＥＤについては、励起チップ及び蛍光体の発光強度が変化するため、色温度及びスペクトルがドリフトする。従って、具体的な実施例では、ステップＳ９において、マルチガウスピークフィッティング方法で不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出する。各完全なピークトラフ情報を独立した基底ベクトルとして処理して、同じ波長域範囲及び波長域間隔の波形ベクトルを抽出し、それにより第２波形ベクトルセットを形成して、光源スペクトル辞書に追加する。光源スペクトル辞書の構築及び使用において、動的色温度が可変である基底ベクトル組み合わせ方式を用い、計算取得された光源スペクトルはより高い展延性及び適応性を有し、且つ実際の光源スペクトルにより接近する。また、同一光源から分離された各波形ベクトルを、同時に関連し共存する必要のある基底ベクトルシーケンスとしてマーキングする。即ち、光源スペクトルの復元アルゴリズムの検索マッチングでは該組の基底の１つの波形に関わるマッチング比が発生する場合、同一組のシーケンスにおける他の波形を潜在的な光源スペクトルマッチング基底ベクトルとして自動的に追加する。光源スペクトル辞書に存在しない新しい光源スペクトルを発見する場合、ステップＳ８～Ｓ１０に基づいて新しい光源スペクトル情報を光源スペクトル辞書に追加して、インデックスを構築することを繰り返し、該インデックスは各ベクトルのインデックス及び各組の関連ベクトルシーケンスのインデックスを含む。他の選択可能な実施例では、他の方式で光源スペクトル辞書を構築してもよい。より完全な光源スペクトル辞書を構築した後、撮影されたハイパースペクトル画像の光源スペクトルを復元することができ、ステップＳ１～Ｓ７を実施する。
【0034】
具体的な実施例では、ステップＳ１におけるガウス畳み込み処理に用いられる二次元ガウスカーネルの公式は、
であり、
ここで、σはガウス関数の標準偏差であり、平滑度を示すことができる。ｇ（ｘ，ｙ）はｉ×ｉの数字行列で代替される。好適な実施例では、ｇ（ｘ，ｙ）はサイズ９＊９の行列であり、σは３つの画素である。ガウス畳み込み処理によってぼかし後のハイパースペクトル画像を取得し、更に原画像からガウスぼかし後の画像を引くことにより強調後の画像を取得する。
【数6】
ここで、σはガウス関数の標準偏差であり、平滑度を示すことができる。ｇ（ｘ，ｙ）はｉ×ｉの数字行列で代替される。好適な実施例では、ｇ（ｘ，ｙ）はサイズ９＊９の行列であり、σは３つの画素である。ガウス畳み込み処理によってぼかし後のハイパースペクトル画像を取得し、更に原画像からガウスぼかし後の画像を引くことにより強調後の画像を取得する。
【0035】
ステップＳ３において、強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得して第１最大値スペクトルＲ（ω）を取得し、第１最大値スペクトルＲ（ω）は理論的に光源スペクトルに部分的に接近するが、光強度及び物体距離が変化し、及び異なる物体表面の異なる波長の光に対する反射及び吸収が異なるため、第１最大値スペクトルＲ（ω）の形状は変化し、光源スペクトルと比べて、波長域波形が凹んで欠落し、撮影画面における色が少ないほど、欠落がひどくなる。従って、このような欠落を補償するために、ステップＳ４を用いる。
【0036】
取得された第１最大値スペクトルＲ（ω）と光源スペクトル辞書とをマッチングする方式は様々あり、以下に本実施例では具体的に用いられる方法を重点的に説明する。具体的な実施例では、図４に示すように、ステップＳ４は具体的に、
第１最大値スペクトルＲ（ω）を光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）において線形回帰して、関連性に応じて組み合わせて新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を形成し、ここで、ｋ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内のベクトル番号であり、ｍ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内の関連ベクトル群の群番号であるＳ４１と、
光源スペクトル辞書におけるｍ’と同じ群番号のすべての他の基底ベクトルを分解により取得された光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージし追加して、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるＳ４２と、を含む。
第１最大値スペクトルＲ（ω）を光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）において線形回帰して、関連性に応じて組み合わせて新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を形成し、ここで、ｋ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内のベクトル番号であり、ｍ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内の関連ベクトル群の群番号であるＳ４１と、
光源スペクトル辞書におけるｍ’と同じ群番号のすべての他の基底ベクトルを分解により取得された光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージし追加して、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるＳ４２と、を含む。
【0037】
具体的な実施例では、関連性の最も高い光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）における取得された関連性の降順で配列されているより上位の基底ベクトルは多くとも２種類又は３種類以下の光源成分である。これは多くの自然又は人工光源シーンにおいて、該仮定が成り立つことができるためである。ステップＳ４１における線形分解は最小二乗線形分解を含む。最小二乗線形分解によって計算した後に上位３つの関連性の最も高い光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を取る。ｋ’とｍ’を取得した後、ｍ’と同一組のすべての他の（即ち、関連性のない上位３つの）基底ベクトルを潜在的な光源基底ベクトルセットに追加して、新しい潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）の予め構築された光源スペクトル辞書内の番号である。
【0038】
具体的な実施例では、ステップＳ６において、第２最大値スペクトルＲ’（ω）の色温度変化値
は式
に基づいて計算され、ここで、
が初期予測光源スペクトルＬ０（ω）に対応する色温度であり、
が第２最大値スペクトルＲ’（ω）の色温度である。第２最大値スペクトルにより反復近似を行う。好適な実施例では、第２最大値スペクトルＲ’（ω）の色温度の所定の閾値が１であり、即ち
の場合、第２最大値スペクトルＲ’（ω）の色温度は変化しない。該方法は色の種類が不足するため、取得された一部の波長域スペクトル波形が欠落した問題を解決することができる。これにより、該方法はよりロバストであり、撮影視野における色の種類数に依存しない。
【数7】
【数8】
【数9】
【数10】
【数11】
【0039】
更に図５を参照して、上記各図に示される方法の実現として、本願はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する装置の一実施例を提供し、該装置の実施例は図２に示される方法の実施例に対応し、該装置は具体的に様々な電子機器に応用できる。
【0040】
図５に示すように、本願の実施例はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する装置を更に提供し、
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得することに用いられ、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列である画像ぼかしモジュール１と、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得することに用いられ、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）である画像強調モジュール２と、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得することに用いられ、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示す第１最大値スペクトル取得モジュール３と、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得することに用いられ、ここで、ｎが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋがマッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるスペクトルマッチングモジュール４と、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得することに用いられる光源スペクトル初期予測モジュール５と、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替して、光源スペクトル初期予測モジュールを繰り返し実行することに用いられるスペクトル反復モジュール６と、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得することに用いられる正規化モジュール７と、を備える。
ハイパースペクトル画像を取得して、Ｉ（ｘ，ｙ，ω）と記し、ここで、ｘ、ｙ及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長を示し、且つハイパースペクトル画像Ｉ（ｘ，ｙ，ω）に対してガウス畳み込み処理を行って、ガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を取得することに用いられ、Ｂ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）＊ｇ（ｘ，ｙ）であり、ここで、ｇ（ｘ，ｙ）がガウス畳み込みカーネル行列である画像ぼかしモジュール１と、
ハイパースペクトル画像Ｉ（ｘ，ｙ，ω）からガウスぼかし後の画像Ｂ（ｘ，ｙ，ω）を引いて、強調後の画像Ｅ（ｘ，ｙ，ω）を取得することに用いられ、Ｅ（ｘ，ｙ，ω）＝Ｉ（ｘ，ｙ，ω）－Ｂ（ｘ，ｙ，ω）である画像強調モジュール２と、
強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得し、視覚的強調後の第１最大値スペクトルＲ（ω）を取得することに用いられ、Ｒ（ω）＝ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））であり、ここで、ｍａｘｘ，ｙ（Ｅ（ｘ，ｙ，ω））がＥ（ｘ，ｙ，ω）に対してｘ及びｙ次元において最大値を検索することを示す第１最大値スペクトル取得モジュール３と、
第１最大値スペクトルＲ（ω）と予め記憶される光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）とを検索マッチングして、分解マージ後に潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得することに用いられ、ここで、ｎが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であり、ｍが光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）における各基底ベクトルの光源スペクトル辞書内の関連基底ベクトルからなる関連ベクトル群の群番号であり、ｋがマッチングマージ後の潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号であるスペクトルマッチングモジュール４と、
第１最大値スペクトルＲ（ω）を潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）に投影して各基底ベクトルの強度ベクトルｂ（ｋ）を取得して、公式Ｌ０（ω）＝Ｐ（ｋ，ω）＊ｂ（ｋ）に基づいて初期予測光源スペクトルＬ０（ω）を取得し、Ｌ０（ω）及びＲ（ω）の両方の各波長域での最大値を取って第２最大値スペクトルＲ’（ω）を取得することに用いられる光源スペクトル初期予測モジュール５と、
第２最大値スペクトルＲ’（ω）の色温度変化値が所定の閾値より小さくなるまで、第２最大値スペクトルＲ’（ω）で第１最大値スペクトルＲ（ω）を代替して、光源スペクトル初期予測モジュールを繰り返し実行することに用いられるスペクトル反復モジュール６と、
取得したばかりの初期予測光源スペクトルＬ０（ω）を正規化して、復元再構築された光源スペクトルＬ（ω）を取得することに用いられる正規化モジュール７と、を備える。
【0041】
具体的な実施例では、光源スペクトル辞書の構築装置は具体的に、
一般的な光源スペクトル情報を取得し、光源スペクトル情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第１波形ベクトルセットを形成することに用いられる光源スペクトル情報収集モジュールと、
不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出し、ピークトラフ情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第２波形ベクトルセットを形成することに用いられるピークトラフ情報抽出モジュールと、
第１波形ベクトルセット及び第２波形ベクトルセットにおける同一光源に属する各波形ベクトルを、同時に関連し共存する基底ベクトルシーケンスとしてマーキングしてインデックスを構築して、光源スペクトル辞書を形成することに用いられ、光源スペクトル辞書が光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）からなる辞書構築モジュールと、を備える。
一般的な光源スペクトル情報を取得し、光源スペクトル情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第１波形ベクトルセットを形成することに用いられる光源スペクトル情報収集モジュールと、
不特定のスペクトル又は色温度の光源の波形の各完全なピークトラフ情報を分離抽出し、ピークトラフ情報からそれぞれ同じ波長域範囲及び波長域間隔の波形ベクトルを抽出して、第２波形ベクトルセットを形成することに用いられるピークトラフ情報抽出モジュールと、
第１波形ベクトルセット及び第２波形ベクトルセットにおける同一光源に属する各波形ベクトルを、同時に関連し共存する基底ベクトルシーケンスとしてマーキングしてインデックスを構築して、光源スペクトル辞書を形成することに用いられ、光源スペクトル辞書が光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）からなる辞書構築モジュールと、を備える。
【0042】
具体的な実施例では、画像ぼかしモジュール１におけるガウス畳み込み処理に用いられる二次元ガウスカーネルの公式は、
であり、
ここで、σはガウス関数の標準偏差であり、平滑度を調整することに用いられる。ｇ（ｘ，ｙ）はｉ×ｉの数字行列で代替される。好適な実施例では、ｇ（ｘ，ｙ）はサイズ９＊９の行列であり、σは３つの画素である。ガウス畳み込み処理によってぼかし後のハイパースペクトル画像を取得し、更に原画像からガウスぼかし後の画像を引くことにより強調後の画像を取得する。
【数12】
ここで、σはガウス関数の標準偏差であり、平滑度を調整することに用いられる。ｇ（ｘ，ｙ）はｉ×ｉの数字行列で代替される。好適な実施例では、ｇ（ｘ，ｙ）はサイズ９＊９の行列であり、σは３つの画素である。ガウス畳み込み処理によってぼかし後のハイパースペクトル画像を取得し、更に原画像からガウスぼかし後の画像を引くことにより強調後の画像を取得する。
【0043】
第１最大値スペクトル取得モジュール３において、強調後の画像Ｅ（ｘ，ｙ，ω）における各波長域の最大値を取得して第１最大値スペクトルＲ（ω）を取得し、第１最大値スペクトルＲ（ω）は理論的に光源スペクトルに部分的に接近するが、光強度及び物体距離が変化し、及び異なる物体表面の異なる波長の光に対する反射及び吸収が異なるため、第１最大値スペクトルＲ（ω）の形状は変化し、光源スペクトルと比べて、波長域波形が凹んで欠落し、撮影画面における色が少ないほど、欠落がひどくなる。従って、このような欠落を補償するために、スペクトルマッチングモジュール４を用いる。
【0044】
取得された第１最大値スペクトルＲ（ω）と光源スペクトル辞書とをマッチングする方式は様々あり、以下に本実施例における具体的に用いる方式を重点的に説明する。具体的な実施例では、スペクトルマッチングモジュール４は具体的に、
第１最大値スペクトルＲ（ω）を光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）において線形回帰分解して、関連性に応じて組み合わせて新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を形成することに用いられ、ここで、ｋ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内のベクトル番号であり、ｍ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内の関連ベクトル群の群番号である線形分解モジュールと、
光源スペクトル辞書におけるｍ’と同じ群番号のすべての他の基底ベクトルを線形分解により取得された新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージし追加して、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得することに用いられ、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号である辞書セット取得モジュールと、を備える。
第１最大値スペクトルＲ（ω）を光源スペクトル辞書における光源スペクトル基底ベクトルセットＤ（ｎ，ｍ，ω）において線形回帰分解して、関連性に応じて組み合わせて新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を形成することに用いられ、ここで、ｋ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内のベクトル番号であり、ｍ’が新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）の光源スペクトル辞書内の関連ベクトル群の群番号である線形分解モジュールと、
光源スペクトル辞書におけるｍ’と同じ群番号のすべての他の基底ベクトルを線形分解により取得された新しい光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージし追加して、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得することに用いられ、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）における各基底ベクトルの光源スペクトル辞書内のベクトル番号である辞書セット取得モジュールと、を備える。
【0045】
具体的な実施例では、関連性の最も高い光源スペクトル基底ベクトルＤ’（ｋ’，ｍ’，ω）における取得された関連性の降順で配列されているより上位の基底ベクトルは多くとも２種類又は３種類以下の光源成分である。これは多くの自然又は人工光源シーンにおいて、該仮定が成り立つことができるためである。線形分解モジュールにおける線形分解は最小二乗線形分解を含む。最小二乗線形分解によって計算した後に上位３つの関連性の最も高い光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）を取る。上位３つの関連性の最も高いｋ’及びｍ’を取得した後、ｍ’と同一組のすべての他の基底ベクトルを取り出された光源スペクトル基底ベクトルセットＤ’（ｋ’，ｍ’，ω）にマージして、潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）を取得し、ここで、ｋが潜在的な光源スペクトルベクトルセットＰ（ｋ，ω）の光源スペクトル辞書内の基底ベクトル番号である。
【0046】
具体的な実施例では、スペクトル反復モジュール６において、第２最大値スペクトルＲ’（ω）の色温度変化値
は式
に基づいて計算され、ここで、
が初期予測光源スペクトルＬ０（ω）に対応する色温度であり、
が第２最大値スペクトルＲ’（ω）の色温度である。第２最大値スペクトルにより反復近似を行う。好適な実施例では、第２最大値スペクトルＲ’（ω）の色温度の所定の閾値が１であり、即ち
の場合、第２最大値スペクトルＲ’（ω）の色温度は変化しない。該方法は色の種類が不足するため、取得された一部の波長域スペクトル波形が欠落した問題を解決することができる。これにより、該方法はよりロバストであり、撮影視野における色の種類数に依存しない。
【数13】
【数14】
【数15】
【数16】
【数17】
【0047】
本願はハイパースペクトル画像に基づいて光源スペクトルを復元再構築する方法及び装置を開示し、１枚のハイパースペクトル画像においてより簡潔な計算過程を用いて、撮影環境の光源スペクトルを迅速で正確に復元することができ、且つ単色又は色の少ない画像シーンに対する復元効果が依然として高く、ひいては実際の光源スペクトルに接近する。光源スペクトルを取得した後、この情報を更に利用して異なる種類の応用を行うことができ、例えば、物質の反射スペクトル及び吸収スペクトルを抽出分析し、物質成分を更に分析し、光源スペクトル情報を予め取得する必要がなく又は付加装置及び部材により光源を測定する場合、データ収集時間を短縮し、分析効率を向上させ、ハイパースペクトルイメージングの応用シーンを大幅に拡張し、応用柔軟性及び可能性を向上させる。
【0048】
図６は本願の実施例の電子機器（例えば、図１に示されるサーバ又は端末装置）を実現するのに適するコンピュータ装置６００の構造模式図である。図６に示される電子機器は一例に過ぎず、本願の実施例の機能及び使用範囲を制限するものではない。
【0049】
図６に示すように、コンピュータ装置６００は中央処理装置（ＣＰＵ）６０１及びグラフィックプロセッサ（ＧＰＵ）６０２を備え、読み出し専用メモリ（ＲＯＭ）６０３に記憶されるプログラム又は記憶部６０９からランダムアクセスメモリ（ＲＡＭ）６０４にロードされるプログラムに基づいて、様々な適切な動作及び処理を実行することができる。ＲＡＭ６０４には、装置６００を操作するために必要な様々なプログラム及びデータが更に記憶される。ＣＰＵ６０１、ＧＰＵ６０２、ＲＯＭ６０３及びＲＡＭ６０４はバス６０５を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０６もバス６０５に接続される。
【0050】
キーボード及びマウス等を含む入力部６０７、液晶ディスプレイ（ＬＣＤ）等及び拡声器等を含む出力部６０８、ハードディスク等を含む記憶部６０９、並びにＬＡＮカード及びモデム等のネットワークインターフェースカードを含む通信部６１０は、Ｉ／Ｏインターフェース６０６に接続される。通信部６１０は例えばインターネットのネットワーク経由で通信処理を実行する。ドライブ６１１は必要に応じてＩ／Ｏインターフェース６０６に接続されてもよい。取り外し可能媒体６１２、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等は必要に応じてドライブ６１１にインストールされ、それによりドライブ６１１から読み出されたコンピュータプログラムが必要に応じて記憶部６０９にインストールされる。
【0051】
特に、本開示の実施例に基づいて、フローチャートを参照して説明した上記の過程はコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、該コンピュータプログラム製品はコンピュータ可読媒体に搬送されるコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは通信部６１０によりネットワーク経由でダウンロード及びインストールされてもよく、及び／又は取り外し可能媒体６１２からインストールされる。該コンピュータプログラムが中央処理装置（ＣＰＵ）６０１及びグラフィックプロセッサ（ＧＰＵ）６０２により実行されるとき、本願の方法において制限された上記機能を実行する。
【0052】
なお、本願に記載のコンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読媒体又は上記両方の任意の組み合わせであってもよい。コンピュータ可読媒体は例えば電気、磁気、光、電磁、赤外線、又は半導体装置、装置又はデバイス、又はいかなる以上の組み合わせであってもよいが、それらに限らない。コンピュータ可読媒体の更なる具体例は、１つ又は複数の導線を有する電気的接続、ノートパソコン磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記のいかなる適切な組み合わせを含んでもよいが、それらに限らない。本願では、コンピュータ可読媒体はプログラムを含むいかなる有形媒体又はプログラムが記憶される有形媒体であってもよく、該プログラムは命令実行装置、装置又はデバイスにより使用されてもよく、又はそれらと組み合わせて使用される。そして、本願では、コンピュータ可読信号媒体はベースバンドにおいて伝播するデータ信号又はキャリアの一部として伝播するデータ信号を含んでもよく、該データ信号にコンピュータ可読プログラムコードが搬送される。このような伝播するデータ信号は多くの形式を用いてもよく、該形式は電磁信号、光信号又は上記のいかなる適切な組み合わせを含むが、それらに限らない。コンピュータ可読信号媒体は更にコンピュータ可読媒体以外のいかなるコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は命令実行装置、装置又はデバイスにより使用されるプログラム又はそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードはいかなる適切な媒体により伝送されてもよく、該媒体は無線、電線、光ケーブル、ＲＦ等、又は上記のいかなる適切な組み合わせを含むが、それらに限らない。
【0053】
１種類又は複数種類のプログラミング言語又はそれらの組み合わせで本願の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語はオブジェクト向けのプログラミング言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、更に通常の手続き型プログラミング言語、例えば「Ｃ」言語又は類似のプログラミング言語を含む。プログラムコードは完全にユーザーコンピュータにおいて実行されてもよく、一部がユーザーコンピュータにおいて実行されてもよく、独立したソフトウェアパッケージとして実行されてもよく、一部がユーザーコンピュータにおいて一部がリモートコンピュータにおいて実行されてもよく、又は完全にリモートコンピュータ又はサーバにおいて実行されてもよい。リモートコンピュータに関わる場合、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含むいかなる種類のネットワーク経由でユーザーコンピュータに接続されてもよく、又は、外部コンピュータに接続されてもよい（例えば、インターネットサービスプロバイダーを利用してインターネット経由で接続される）。
【0054】
図面におけるフローチャート及びブロック図には、本願の様々な実施例に係る装置、方法及びコンピュータプログラム製品の実現可能なシステム構成、機能及び操作を示す。この点で、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント、又はコードの一部を代表することができ、該モジュール、プログラムセグメント、又はコードの一部は規定された論理機能を実現するための１つ又は複数の実行可能命令を含む。なお、いくつかの代替の実現において、ブロックに表記された機能は図面に表記された順序と異なる順序で発生してもよい。例えば、連続的に示す２つのブロックは実際に基本的に並行実行されてもよく、その逆の順序で実行されてもよく、これは関わる機能によって決定される。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定された機能又は操作を実行する専用のハードウェアに基づく装置により実現されてもよく、又は専用ハードウェア及びコンピュータ命令の組み合わせにより実現されてもよい。
【0055】
本願の実施例に関わるモジュールはソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。説明されるモジュールはプロセッサに設置されてもよい。
【0056】
以上の説明は本願の好適な実施例及び用いる技術原理の説明に過ぎない。当業者であれば理解されるように、本願に関わる出願範囲は、上記技術的特徴の特定の組み合わせからなる技術案に限らないとともに、上記出願構想を逸脱せずに、上記技術的特徴又はそれらの同等の特徴を任意に組み合わせてなる他の技術案も含む。例えば、上記特徴と本願に開示された（それらに限らない）類似の機能を有する技術的特徴を互いに置換してなる技術案も含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
