特開 2024-71366 斉次ニューラルネットワークを使用した色相再構成のための方法及びそのイメージ処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071366

(43)【公開日】2024-05-24

(54)【発明の名称】斉次ニューラルネットワークを使用した色相再構成のための方法及びそのイメージ処理装置

(51)【国際特許分類】

   H04N 23/12 20230101AFI20240517BHJP

【ＦＩ】

H04N23/12

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023193241

(22)【出願日】2023-11-13

(31)【優先権主張番号】18/055098

(32)【優先日】2022-11-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】アーテル，ヨタム

(72)【発明者】

【氏名】崔 ▲照▼▲進▼

(72)【発明者】

【氏名】ビベルニク，ナタン

(72)【発明者】

【氏名】金 ▲う▼▲しく▼

(72)【発明者】

【氏名】ソロヴェイチク，エフゲニー

(72)【発明者】

【氏名】グラット，オータル

(57)【要約】

【課題】斉次ニューラルネットワーク（ＮＮ）を使用した色相再構成のための方法及びそのイメージ処理装置を提供する。
【解決手段】イメージ処理方法及び装置に係り、カメラ装置のイメージセンサからイメージセンサデータを受信し、ニューラルネットワーク（ＮＮ）を使用し、イメージセンサデータに非線形色空間マッピングを適用し、イメージデータを獲得し、ここで、非線形色空間マッピングは、負ではない斉次関数を含三、イメージデータをカメラ装置のメモリに保存することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラ装置のイメージセンサからイメージセンサデータを受信する段階と、
ニューラルネットワーク（ＮＮ）を利用し、前記イメージセンサデータに、負ではない斉次関数を含む非線形色空間マッピングを適用し、イメージデータを獲得する段階と、
前記カメラ装置のメモリに前記イメージデータを保存する段階と、を含む、イメージ処理方法。

【請求項2】

前記イメージセンサデータは、多重スペクトルイメージセンサデータを含むことを特徴とする請求項１に記載のイメージ処理方法。

【請求項3】

前記メモリにおいて前記イメージデータを検索する段階と、
前記イメージデータに基づき、イメージを表示する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。

【請求項4】

前記イメージデータを獲得する段階は、
前記イメージセンサデータに前記非線形色空間マッピングを適用し、前記イメージセンサデータを、第１色空間から第２色空間に変換する段階をさらに含み、
前記イメージデータは、第２色空間に基づく形式を使用して保存されることを特徴とする請求項１に記載のイメージ処理方法。

【請求項5】

前記非線形色空間マッピングを適用する前、前記イメージセンサデータに色補正を適用する段階をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。

【請求項6】

前記イメージデータを保存する前、前記イメージデータに色補正を適用する段階をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。

【請求項7】

前記非線形色空間マッピングは、前記イメージセンサデータを三次元色空間に変換することを特徴とする請求項１に記載のイメージ処理方法。

【請求項8】

前記非線形色空間マッピングは、前記イメージセンサデータをＣＩＥ－ＸＹＺ色空間に変換することを特徴とする請求項１に記載のイメージ処理方法。

【請求項9】

前記非線形色空間マッピングを適用する前、前記イメージセンサデータにデモザイク処理を適用する段階をさらに含むことを特徴とする請求項１に記載のイメージ処理方法。

【請求項10】

第１色空間において、カラーサンプル及びグラウンドトゥルースイメージデータを含む訓練データを受信する段階と、
カメラ装置のセンサから、前記カラーサンプルに対応するイメージセンサデータを獲得する段階と、
ニューラルネットワーク（ＮＮ）を使用し、前記イメージセンサデータに非線形色空間マッピングを適用し、前記第１色空間において、予測イメージデータを獲得する段階と、
前記予測イメージデータと前記グラウンドトゥルースイメージデータとに基づき、前記ニューラルネットワーク（ＮＮ）の媒介変数をアップデートする段階と、を含む、イメージ処理方法。

【請求項11】

前記非線形色空間マッピングは、負ではない斉次関数を含むことを特徴とする請求項１０に記載のイメージ処理方法。

【請求項12】

前記カラーサンプルは、前記第１色空間における分布に基づいて選択された複数の色相を含み、前記ニューラルネットワーク（ＮＮ）の前記媒介変数は、複数の色相に基づいてアップデートされることを特徴とする請求項１０に記載のイメージ処理方法。

【請求項13】

前記訓練データは、複数のカラーサンプル、及び前記複数のカラーサンプルそれぞれに対応するグラウンドトゥルースイメージデータを含み、前記ニューラルネットワーク（ＮＮ）の前記媒介変数は、前記複数のカラーサンプル、及び前記対応するグラウンドトゥルースイメージデータに基づいてアップデートされることを特徴とする請求項１０に記載のイメージ処理方法。

【請求項14】

前記ニューラルネットワーク（ＮＮ）の前記媒介変数を第２カメラ装置のメモリに保存する段階と、
前記第２カメラ装置のセンサに基づき、前記ニューラルネットワーク（ＮＮ）の前記媒介変数を微細調整する段階と、をさらに含むことを特徴とする請求項１０に記載のイメージ処理方法。

【請求項15】

イメージセンサデータをキャプチャするように構成されたイメージセンサと、
イメージデータを得るために、前記イメージセンサデータに非線形色空間マッピングを適用するように構成されたニューラルネットワーク（ＮＮ）と、
前記イメージデータを保存するように構成されたメモリと、を含むイメージ処理装置。

【請求項16】

カラーサンプル、前記カラーサンプルに対応するグラウンドトゥルースイメージデータ、及び前記ニューラルネットワーク（ＮＮ）によって生成された予測イメージデータに基づき、前記ニューラルネットワーク（ＮＮ）の媒介変数をアップデートするように構成された訓練構成要素をさらに含むことを特徴とする請求項１５に記載のイメージ処理装置。

【請求項17】

前記イメージデータに基づき、イメージを表示するように構成されたディスプレイ構成要素をさらに含むことを特徴とする請求項１５に記載のイメージ処理装置。

【請求項18】

前記非線形色空間マッピング以前、前記イメージセンサデータに色補正を適用するように構成された色補正構成要素をさらに含むことを特徴とする請求項１５に記載のイメージ処理装置。

【請求項19】

前記ニューラルネットワーク（ＮＮ）の各ノードは、負ではない斉次活性関数を含むことを特徴とする請求項１５に記載のイメージ処理装置。

【請求項20】

前記イメージセンサは、多重スペクトルイメージセンサであり、ピクセルアレイ及び多重スペクトルフィルタを含むことを特徴とする請求項１５に記載のイメージ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ処理に係り、さらに具体的には、多重スペクトルイメージセンサ（ＭＩＳ）からの出力信号の色相再構成のためのシステム及びその方法に関する。

【背景技術】

【0002】

多くのイメージングシステムの目標は、人間の目で認識された色相と、細部事項とを正確に再現するイメージを生成することである。実際、標準３カラーフィルタイメージセンサを使用し、場面の実際色相をキャプチャすることは、困難でもある。多重スペクトルイメージセンサ（ＭＩＳ：ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｅ ｓｅｎｓｏｒ）システムのような追加フィルタを使用するイメージセンサでさえも、フィルタだけで人間の目の色相応答に対応することができない。

【0003】

それを解決するために、一部システムは、センサ出力空間に変換をさらに適用し、人間の目の色相応答とさらに密接に一致する新たな色空間でイメージを生成することができる。そのような変換は、一般的に、出力空間と、必要な色空間との伝送行列である。しかしながら、該伝送行列を構成すれば、全てのセンサ設定及びフィルタ設定につき、追加開発時間がかかってしまい、該伝送行列は、ノイズ、基底関数（ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）選択及び調整媒介変数に敏感になってしまう。それにより、具現時間を短縮させると共に、正確性及び堅固性が向上された色相変換のためのシステム及びその方法が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、センサ出力空間において、ＣＩＥ－ＸＹＺのような標準色空間マッピングのために非線形動作を適用することができる色相再構成のためのシステムとその方法とを提供することである。

【課題を解決するための手段】

【0005】

本開示の技術的思想の一態様によるイメージ処理方法は、カメラ装置のイメージセンサからイメージセンサデータを受信する段階、ニューラルネットワーク（ＮＮ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を利用し、イメージセンサデータに、負ではない斉次関数（ｎｏｎ－ｎｅｇａｔｉｖｅ ｈｏｍｏｇｅｎｅｏｕｓ ｆｕｎｃｔｉｏｎ）を含む非線形色空間マッピングを適用し、イメージデータを獲得する段階、及びカメラ装置のメモリにイメージデータを保存する段階を含むことを特徴とする。

【0006】

本開示の技術的思想の一態様によるイメージ処理方法は、第１色空間において、カラーサンプル及びグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージデータを含む訓練データを受信する段階、カメラ装置のセンサから、カラーサンプルに対応するイメージセンサデータを獲得する段階、ニューラルネットワークを使用し、イメージセンサデータに非線形色空間マッピングを適用し、第１色空間において、予測イメージデータを獲得する段階、及び予測イメージデータとグラウンドトゥルースイメージデータとに基づき、ニューラルネットワークの媒介変数をアップデートする段階を含むことを特徴とする。

【0007】

本開示の技術的思想の一態様によるイメージ処理装置は、イメージセンサデータをキャプチャするように構成されたイメージセンサ、イメージデータを得るために、イメージセンサデータに非線形色空間マッピングを適用するように構成されたニューラルネットワーク、及びイメージデータを保存するように構成されたメモリを含むことを特徴とする。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態による多重スペクトルイメージングシステムを示す図である。

【図2】本開示の実施形態による多重スペクトルイメージング装置を示す図である。

【図3】本開示の実施形態によるニューラルネットワークを示す図である。

【図4】本開示の実施形態によるイメージセンサを示す図である。

【図5】本開示の実施形態による多重スペクトルフィルタグループを示す図である。

【図6】本開示の実施形態による透過率グラフである。

【図7】本開示の実施形態による多重スペクトルフィルタを示す図である。

【図8】本開示の実施形態による多重スペクトルイメージを表示する方法を示す図である。

【図9】本開示の実施形態によるイメージセンサデータを変換する方法を示すフローチャートである。

【図10】本開示の実施形態によるイメージを表示する方法を示すフローチャートである。

【図11】本開示の実施形態によるニューラルネットワークを訓練させる方法を示すフローチャートである。

【図12】本開示の実施形態による色相再構成を示す図である。

【図13】本開示の実施形態によるニューラルネットワークを第２カメラ装置に伝送する過程を示す図である。

【発明を実施するための形態】

【0009】

本開示による実施形態は、色相再構成のためのシステムとその方法とを提供する。一部実施形態は、センサ出力空間において、ＣＩＥ－ＸＹＺのような標準色空間にマッピングするために非線形動作を適用しうる。該非線形動作は、ノイズ、露出、及びその他環境要因にさらに強力でもある。一部実施形態は、イメージセンサデータ及びグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）データについて訓練されたニューラルネットワーク（ＮＮ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用し、１以上の斉次（ｈｏｍｏｇｅｎｅｏｕｓ）関数を生成しうる。場合によっては、該ニューラルネットワークには、非線形動作に該当する複数の加重値（ｗｅｉｇｈｔ）が含まれるものでもあり、該ニューラルネットワークには、バイアス（ｂｉａｓｅｓ）が含まれないのである。

【0010】

一部実施形態は、多重スペクトルフィルタがある多重スペクトルイメージセンサ（ＭＩＳ：ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｅ ｓｅｎｓｏｒ）を含むものでもある。場合によっては、多重スペクトルフィルタには、多重スペクトルフィルタグループが含まれるものでもある。該多重スペクトルフィルタグループは、電磁気スペクトルの周波数帯域に対応する単位フィルタを含むものでもある。場合によっては、該単位フィルタは、可視光線スペクトルの帯域に対応しうる。１以上の実施形態において、該多重スペクトルフィルタグループは、４ｘ４アレイに配列された１６個の単位フィルタを含むものでもある。しかしながら、本開示によるシステム及びその方法は、任意のカラーフィルタに適用されうる。

【0011】

ニューラルネットワーク（ＮＮ）の一部実施形態は、斉次関数（ｈｏｍｏｇｅｎｅｏｕｓ ｆｕｎｃｔｉｏｎ）を含むものでもある。例えば、本開示の実施形態によるニューラルネットワークは、整流線形単位（ＲｅＬＵ：ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）活性関数及び行列乗算を含む負ではない斉次レイヤ（ｎｏｎ－ｎｅｇａｔｉｖｅ ｈｏｍｏｇｅｎｅｏｕｓ ｌａｙｅｒ）によって構成されうる。該ニューラルネットワークの加重値が、１つのイメージングシステムで初期化されれば、第２ニューラルネットワークを初期化するために、該加重値を第２イメージングシステムに移すことができる。初期化後、該第２イメージングシステムは、該ニューラルネットワークを調整するために、さらに少数のイメージキャプチャ（場合によっては、一つだけ）を使用することができる。

【0012】

本開示による色相再構成のための方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムについて説明される。当該の方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムの１以上の態様は、カメラ装置のイメージセンサからイメージセンサデータを受信する段階、イメージデータを得るために、ニューラルネットワークを利用し、該イメージセンサデータに、負ではない斉次関数（ｎｏｎ－ｎｅｇａｔｉｖｅ ｈｏｍｏｇｅｎｅｏｕｓ ｆｕｎｃｔｉｏｎ）を含む非線形色空間マッピングを適用する段階、及びカメラ装置のメモリにイメージデータを保存する段階を含むものでもある。

【0013】

本開示による色相再構成のための方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムについて説明される。当該の方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムの１以上の態様は、カラーサンプル、及び第１色空間におけるグラウンドトゥルースイメージデータ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｉｍａｇｅ ｄａｔａ）を含む訓練データを受信する段階、カメラ装置のセンサから、カラーサンプルに該当するイメージセンサデータを獲得する段階、ニューラルネットワークを使用し、イメージセンサデータに非線形色空間マッピングを適用し、第１色空間において、予測イメージデータを獲得する段階、並びに該予測イメージデータ及び該グラウンドトゥルースイメージデータに基づき、該ニューラルネットワークの媒介変数をアップデートする段階を含むものでもある。

【0014】

本開示による色相再構成のための装置、システム及びその方法について説明される。当該の装置、システム及びその方法の１以上の態様は、イメージセンサデータをキャプチャするように構成されたイメージセンサ、該イメージセンサデータに非線形色空間マッピングを適用し、イメージデータを獲得するように構成されたニューラルネットワーク、及びイメージデータを保存するように構成されたメモリを含むものでもある。

【0015】

本開示は、色空間を他の色空間にマッピングするシステムと方法とについて説明する。例えば、本開示の例示的実施形態によるシステム及びその方法は、ニューラルネットワークによって具現された非線形色空間マッピングを使用し、色相再構成を行うことができる。具体的には、多重スペクトルイメージセンサ（ＭＩＳ）は、光をキャプチャし、第１色空間において、イメージを示す信号に変換することができる。そして、該システムは、第１色空間のイメージをＣＩＥ－１９３１ ＸＹＺ色空間のような他の色空間に変換することができる。

【0016】

ＣＩＥ－１９３１ ＸＹＺ色空間（ＸＹＺ）は、人間の目の色相反応に掛かっている標準線形空間である。この空間のイメージデータは、ディスプレイまたは印刷のような他のダウンストリームアプリケーションのために、パッケージ化されたり変換されたりすることができる。該ＸＹＺ色空間から他のダウンストリーム色空間へのそのような変換は、十分に定義されている。しかしながら、多重スペクトルイメージセンサ出力からＸＹＺ色空間への変換は、多重スペクトルイメージセンサ（ＭＩＳ）の構成に大きく依存する。また、該多重スペクトルイメージセンサ出力からＸＹＺ色空間への関係は、線形変換、すなわち、伝送行列だけでは正確に捕捉されないが、それは、該線形伝送行列がノイズや、増大された光度のような環境変数に反応し、不正確になりうるためである。

【0017】

従って、本開示による実施形態は、線形動作及び非線形動作を含む色空間マッピングを具現する。当該の線形動作及び非線形動作には、入力信号と出力信号との関係を調整する加重値が含まれるものでもある。そのような加重値、及びニューラルネットワークの他の媒介変数は、グラウンドトゥルースデータ（例えば、与えられた制御されたセンサ出力信号が知られた対象色空間マッピング）を基に訓練された深層ニューラルネットワークモデルによって調整されうる。

【0018】

例示的な多重スペクトルイメージングシステム及び装置の構造に係わる詳細な内容は、図１ないし図７を参照して説明される。色空間変換及び色相再構成のための例示的な方法は、図８ないし図１０を参照して説明される。ニューラルネットワークに係わる例示的な訓練方法、及び該ニューラルネットワークに係わるさらなる用途が図１１ないし図１３を参照して説明される。

【0019】

多重スペクトルイメージングシステム（ＭＩＳ：ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）

【0020】

本明細書には、色相再構成のための装置について説明されている。本開示の例示的実施形態による装置は、イメージセンサデータをキャプチャするように構成されたイメージセンサ、イメージセンサデータに非線形色空間マッピングを適用し、イメージデータを獲得するように構成されたニューラルネットワーク、及び該イメージデータを保存するように構成されたメモリを含むものでもある。該非線形色空間マッピングは、第１色空間のイメージセンサデータを、第２色空間のイメージデータに変換することができ、ここで、該変換には、非線形動作が含まれるものでもある。

【0021】

本開示による装置、システム及びその方法の一部実施形態には、カラーサンプル、該カラーサンプルに対応するグラウンドトゥルースイメージデータ、及びニューラルネットワークによって生成される予測イメージデータを基に、ニューラルネットワークの媒介変数をアップデートするように構成された訓練構成要素をさらに含むものでもある。一部実施形態には、イメージデータを基にイメージを表示するように構成されたディスプレイ構成要素が含まれるものでもある。一部実施形態において、イメージセンサは、多重スペクトルイメージセンサ（ＭＩＳ）であり、ピクセルアレイ及び多重スペクトルフィルタによって構成されうる。一部実施形態において、該ニューラルネットワークの各ノードは、負ではない斉次活性関数を含むものでもある。

【0022】

本開示による装置、システム及びその方法の一部実施形態において、非線形色空間マッピング前、イメージセンサデータに色補正を適用するように構成された色補正構成要素をさらに含むものでもある。該色補正には、白色均衡調整、露出調整、ガンマ調整のような動作が含まれるものでもある。

【0023】

図１は、本開示の実施形態による多重スペクトルイメージングシステムを示す。
図１を参照すれば、本開示による多重スペクトルイメージングシステムは、多重スペクトルイメージング装置１００、データベース（ｄａｔａｂａｓｅ）１０５、ネットワーク１１０及びユーザ１１５を含むものでもある。

【0024】

本開示による実施形態において、ユーザ１１５は、イメージセンサデータをキャプチャするために、多重スペクトルイメージング装置１００を作動させることができる。多重スペクトルイメージング装置１００は、多重スペクトルイメージセンサ（ＭＩＳ）色空間（以下、「ＭＩＳ色空間」とする）のような第１色空間において、イメージセンサデータをキャプチャすることができる。そして、多重スペクトルイメージング装置１００は、イメージセンサデータに非線形色空間マッピングを適用し、第２色空間において、イメージデータを生成することができる。該第２色空間は、ＸＹＺ色空間でもある。多重スペクトルイメージング装置１００は、イメージデータをメモリに保存することができる。該メモリは、多重スペクトルイメージング装置１００のメモリであるか、あるいはデータベース１０５に属しうる。ネットワーク１１０は、多重スペクトルイメージング装置１００とデータベース１０５との連結が容易に行うことができる。１以上の実施形態において、多重スペクトルイメージング装置１００は、非線形色空間マッピングを適用する前、イメージセンサデータを保存することができる。

【0025】

一部実施形態において、多重スペクトルイメージング装置１００は、ユーザ１１５のローカルマシン（ｌｏｃａｌ ｍａｃｈｉｎｅ）において具現されうる。例えば、多重スペクトルイメージング装置１００は、単一装置内の１、または全ての構成要素を含むものでもある。多重スペクトルイメージング装置１００は、ネットワークサーバにおいてさらに具現されうる。該サーバは、１以上の多様なネットワーク（例えば、ネットワーク１１０）を介して連結されたユーザに、１以上の機能を提供することができる。一実施形態において、該サーバは、該サーバの全ての側面を制御するマイクロプロセッサを含む単一マイクロプロセッサボードを含むものでもある。一部実施形態においては、該サーバが、ＨＴＴＰ（ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）、ＳＭＴＰ（ｓｉｍｐｌｅ ｍａｉｌ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）を介し、１以上のネットワークにおいて、他の装置／ユーザとデータを交換するために、マイクロプロセッサとプロトコルとを使用することができるが、ＦＴＰ（ｆｉｌｅｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）、ＳＮＭＰ（ｓｉｍｐｌｅ ｎｅｔｗｏｒｋ ｍａｎａｇｅｍｅｎｔ ｐｒｏｔｏｃｏｌ）のような他のプロトコルを使用することもできる。場合によっては、該サーバは、ＨＴＭＬ（ｈｙｐｅｒｔｅｘｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形式のファイル（例えば、ウェブページを表示するためのもの）を送受信するように構成されうる。多様な実施形態において、該サーバは、汎用コンピュータ装置、パソコン、ノート型パソコン、メインフレームコンピュータ、スーパーコンピュータ、またはその他適する処理装置を含むものでもある。

【0026】

データベース１０５は、多重スペクトルイメージング装置１００によって使用されるイメージ、ソフトウェアアップデート、追加命令、またはその他データを保存することができる。データベース１０５のようなデータベースは、データの組織化された集合である。例えば、該データベースは、スキーマ（ｓｃｈｅｍａ）という指定された形式でもってデータを保存することができる。データベース１０５は、単一データベース、分散データベース、多重分散データベースまたは非常バックアップデータベースによって構成されうる。一実施形態において、データベースコントローラは、データベース１０５のデータの保存及び処理を管理することができる。例えば、ユーザ１１５は、データベースコントローラと相互作用することができる。他の実施形態において、該データベースコントローラは、ユーザの介入なしに、自動的に作動することができる。

【0027】

ネットワーク１１０は、「クラウド（ｃｌｏｕｄ）」とも称される。該クラウドは、データを保存し、コンピュータパワーのようなコンピュータシステム資源のオンデマンド（ｏｎ－ｄｅｍａｎｄ）可用性を提供するように構成されたコンピュータネットワークでもある。一部実施形態において、該クラウドは、ユーザ１１５による積極的な管理なしに資源を提供することができる。クラウドという用語は、折々、インターネットを介し、多くのユーザが使用することができるデータセンターについての説明に使用されうる。一部大規模クラウドネットワークは、中央サーバのさまざまな位置に分散された機能を有することができる。サーバは、ユーザと直接または密接に連結された場合、エッジサーバ（ｅｄｇｅ ｓｅｒｖｅｒ）に指定されうる。場合によっては、該クラウドは、単一組織に制限されうる。他の実施形態においては、該クラウドを多くの組織において使用することができる。一実施形態において、該クラウドは、多重エッジラウタ（ｒｏｕｔｅｒ）及びコアラウタを含む多重通信ネットワークが含まれるものでもある。他の実施形態において、該クラウドは、単一物理的位置のローカルスイッチコレクションを基とすることができる。

【0028】

一部実施形態によれば、多重スペクトルイメージング装置１００は、ＭＩＳ色空間でイメージをキャプチャし、ＸＹＺ色空間のような対象色空間にイメージを変換するために、非線形色空間マッピングを行うことができる。多重スペクトルイメージング装置１００は、図２及び図１３を参照して説明される当該要素の例示または側面を含むものでもある。

【0029】

図２は、本開示の実施形態による多重スペクトルイメージング装置を示す。

【0030】

図２を参照すれば、多重スペクトルイメージング装置２００は、イメージセンサ２０５、プロセッサ２１０、メモリ２１５、ユーザインターフェース２２０、ニューラルネットワーク２２５、ディスプレイ構成要素２３０、色補正構成要素２３５、デモザイク処理構成要素２４０及び訓練構成要素２４５を含むものでもある。多重スペクトルイメージング装置２００は、図１及び図１３を参照して説明された対応要素の一例または側面を含むものでもある。

【0031】

多重スペクトルイメージング装置２００は、局所的に保存されるか、あるいは他の位置にも伝送されるイメージを記録したりキャプチャしたりするためのイメージセンサ２０５のような光学機器を含むものでもある。例えば、イメージセンサ２０５は、可視的な電磁気放射線スペクトルに対する感度のためにも調整される１以上の感光性要素を使用し、視覚的情報をキャプチャすることができる。そのような視覚情報の解像度は、ピクセルでもって測定され、ここで、該ピクセルそれぞれは、キャプチャされた情報の独立した部分と係わるものである。場合によっては、該ピクセルそれぞれは、例えば、イメージの二次元フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）のような１つの構成要素に対応しうる。計算方法は、装置によってキャプチャされたイメージを再構成するために、ピクセル情報を使用することができる。カメラにおいてイメージセンサは、カメラレンズに入射された光を、アナログ信号またはデジタル信号に変換することができる。電子装置は、デジタル信号を基に、ディスプレイパネルにイメージを表示することができる。該イメージセンサは、一般的に、スマートフォン、タブレット個人用コンピュータ（ＰＣ）、ノート型パソコンＰＣ及びウェアラブル（ｗｅａｒａｂｌｅ）装置のような電子製品に装着されうる。一実施形態において、イメージセンサデータには、多重スペクトルイメージセンサデータが含まれるものでもある。

【0032】

一実施形態によれば、イメージセンサ２０５は、カメラ装置のセンサでもって、カラーサンプルに対応するイメージセンサデータを得ることができる。一実施形態において、イメージセンサ２０５は、多重スペクトルイメージセンサ（ＭＩＳ）でもあり、ピクセルアレイと多重スペクトルフィルタとが含まれるものでもある。一部実施形態において、多重スペクトルフィルタは、多重スペクトルフィルタグループを形成する１６個の単位フィルタを含み、複数の多重スペクトルフィルタグループは、ピクセルアレイのピクセルにかけて配列される。イメージセンサ２０５は、図４を参照して説明される対応要素の一例または側面を含むものでもある。
プロセッサ２１０は、多重スペクトルイメージング装置２００の多様な構成要素及び機能を具現するように構成された回路を含み、ニューラルネットワーク２２５、ディスプレイ構成要素２３０、色補正構成要素２３５、デモザイク処理構成要素２４０、訓練構成要素２４５を具現するか、あるいは作動させるのに使用されうる。プロセッサ２１０は、知能型ハードウェア装置でもある（例えば、一般目的処理構成要素、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、グラフィック処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロコントローラ、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラミング可能論理装置、離散ゲート、あるいはトランジスタ論理構成要素、離散ハードウェア構成要素、またはその組み合わせ）。場合によっては、プロセッサ２１０は、メモリコントローラを使用し、メモリ配列（例えば、メモリ２１５）を作動させるように構成されうる。他の場合には、メモリコントローラは、プロセッサ２１０に統合されうる。場合によっては、プロセッサ２１０は、メモリに保存されたコンピュータ読み取り命令を実行し、そこで説明された方法を実行するのに使用される機能のような多様な機能を遂行するように構成されうる。一部実施形態において、プロセッサ２１０は、モデム（ｍｏｄｅｍ）処理、ベースバンド（ｂａｓｅｂａｎｄ）処理、デジタル信号処理または伝送処理のための特殊目的構成要素を含むものでもある。

【0033】

メモリ２１５は、多重スペクトルイメージング装置２００で使用するデータを保存するのに使用されうる。一実施形態によれば、メモリ２１５は、ニューラルネットワーク２２５を使用して再構成されたイメージデータを保存することができる。メモリ２１５には、イメージを保存するように構成されたメモリ装置、プロセッサ２１０によって実行可能な命令などが含まれるものでもある。メモリ装置の例示としては、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）またはハードディスク（ｈａｒｄ ｄｉｓｋ）がある。該メモリ装置の他の例示としては、ソリッドステートメモリ（ｓｏｌｉｄ ｓｔａｔｅ ｍｅｍｏｒｙ）及びハードディスクドライブがある。一部実施形態において、メモリ２１５は、実行されるとき、プロセッサ２１０をして、多様な機能を遂行させる、あるいはそこに説明された多様な構成要素を具現する命令を含むコンピュータで読み取り可能であり、コンピュータで実行可能であるソフトウェアを保存するのに使用される。場合によっては、メモリ２１５には、基本ハードウェア、あるいは周辺の構成要素または装置との相互作用のようなソフトウェア作業を制御する基本入力／出力システム（ＢＩＯＳ：ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）が含まれるものでもある。場合によっては、メモリコントローラがメモリセルを作動させることができる。例えば、該メモリコントローラは、行（ｒｏｗ）デコーダ、列（ｃｏｌｕｍｎ）デコーダ、またはいずれをも含むものでもある。場合によっては、メモリ２１５内のメモリセルは、論理的状態の形態で情報を保存することができる。

【0034】

ユーザインターフェース２２０は、ユーザが装置と相互作用することができるようにする。例えば、ユーザインターフェース２２０を使用すれば、ユーザは、多重スペクトルイメージング装置２００でイメージをキャプチャし、保存することができる。一部実施形態において、ユーザインターフェース２２０は、外部スピーカシステムのようなオーディオ装置、ディスプレイ画面のような外部ディスプレイ装置または入力装置（例えば、ユーザインターフェース２２０と直接、または入出力（ＩＯ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）コントローラモジュールを介してインターフェースされるリモートコントロール装置）を含むものでもある。場合によっては、ユーザインターフェース２２０は、グラフィックユーザインターフェース（ＧＵＩ）をさらに含むものでもある。

【0035】

ニューラルネットワーク２２５は、本開示に説明されているように、非線形色空間マッピングを具現するのに使用される媒介変数及び関数を含むものでもある。ニューラルネットワーク２２５は、特定パターンを明示的にプログラミングするものではなく、知られたデータに対する繰り返しを介して学習することができるコンピュータアルゴリズム（ａｌｇｏｒｉｔｈｍ）の一類型でもある。ニューラルネットワーク２２５は、入力ノード、隠れノード及び出力ノードを含む認知モデルを称することができる。ニューラルネットワーク２２５内のノードは、以前ノードの出力に基づき、ノードの活性化いかんを計算する活性関数を有することができる。システム訓練は、入力に係わる値を提供し、結果が所望する出力セットに近接するまで、エッジ加重値（ｅｄｇｅ ｗｅｉｇｈｔ）と活性関数（アルゴリズム的またはランダム的）を修正することを含むものでもある。例えば、所望する出力は、正確な色相再構成後、ＭＩＳ色空間の入力値に対応するように生成されるＸＹＺ色空間の値でもある。

【0036】

ニューラルネットワーク２２５は、線形動作及び非線形動作を具現するレイヤを含むものでもある。一部実施形態において、該非線形動作は、ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）活性化を含むものでもある。ニューラルネットワーク２２５において、活性関数は、ノードにおいて、合算加重入力を該ノードの活性化、または出力への変換に使用されうる。該ＲｅＬＵ活性関数は、正数である場合、入力を直接出力し、そうではない場合、０を出力する部分線形関数によって構成される。該ＲｅＬＵ活性関数は、さまざまな類型のニューラルネットワークに係わる基本活性関数として使用される。該ＲｅＬＵ活性関数を使用する深層ニューラルネットワークを訓練するために、誤謬の逆転波（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ｏｆ ｅｒｒｏｒ）と共に、ＳＧＤ（ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を使用することができる。該ＲｅＬＵ活性関数は、線形関数と類似して作動することができるが、データの複雑な関係を学習することができるようにする。該ＲｅＬＵ活性関数は、また飽和を避けるために、活性化和入力（ａｃｔｉｖａｔｉｏｎ ｓｕｍ ｉｎｐｕｔ）にさらに多くの感度（ｓｅｎｓｉｔｉｖｉｔｙ）を提供することができる。該ＲｅＬＵ活性関数を具現するノードまたは単位を、整流された線形活性化単位、またはＲｅＬＵと称することができる。隠れレイヤ（ｈｉｄｄｅｎ ｌａｙｅｒ）に整流機能を使用するネットワークは、整流ネットワーク（ｒｅｃｔｉｆｉｅｄ ｎｅｔｗｏｒｋ）と称されうる。

【0037】

一部実施形態によれば、ニューラルネットワーク２２５は、ニューラルネットワーク２２５を利用し、イメージセンサデータに非線形色空間マッピングを適用し、イメージデータを得ることができ、このとき、非線形色空間マッピングは、負ではない斉次関数を含むものでもある。一部実施形態において、ニューラルネットワーク２２５は、イメージセンサデータを、第１色空間から第２色空間に変換し、イメージデータを得ることができ、ここで、該イメージデータは、第２色空間に基づく形式を使用して保存されうる。一部実施形態において、非線形色空間マッピングは、イメージセンサデータを三次元色空間に変換することができる。例えば、第２色空間は、ＣＩＥ－ＸＹＺ色空間でもある。

【0038】

ディスプレイ構成要素２３０は、メモリからのイメージ表示を処理することができる。一部実施形態によれば、ディスプレイ構成要素２３０は、メモリ２１５において、イメージデータを検索することができる。一部実施形態において、ディスプレイ構成要素２３０は、イメージデータを基にイメージを表示することができる。該イメージデータは、対象空間（例えば、ＸＹＺ色空間）から変換されたディスプレイ装置色空間にあり得る。

【0039】

色補正構成要素２３５は、イメージセンサデータまたはイメージデータに色補正を適用するか、あるいは適用しないのである。色補正の例示としては、ホワイトバランス（ｗｈｉｔｅ－ｂａｌａｎｃｅ）調整、露出調整、ガンマ調整などが含まれるものでもある。一部実施形態によれば、色補正構成要素２３５は、非線形色空間マッピングを適用する前、イメージセンサデータに色補正を適用することができる。一部実施形態において、色補正構成要素２３５は、イメージデータを保存する前、イメージデータに色補正を適用することができる。

【0040】

デモザイク処理（ｄｅｍｏｓａｉｃｉｎｇ）構成要素２４０は、選択的には、イメージセンサデータにおいて、デモザイク処理動作を遂行することができる。デモザイク処理動作には、与えられたピクセルに対する単位フィルタによってキャプチャされた色成分だけではなく、全ての色成分の色相レベルを推定する補間作業が含まれるものでもある。そのような方式により、該デモザイク処理動作は、各ピクセルが空間的にアンダーサンプリングされた原始（ｒａｗ）センサデータのイメージを、各ピクセルが全ての色成分を示すＭＩＳ色空間に再構成することができる。該デモザイク処理のためのいくつかの既存アルゴリズムが使用されうる。該デモザイク処理は、ＭＩＳ色空間において全体色イメージを生成するが、必ずしも、ＸＹＺ色空間のような対象色空間においてイメージを生成する必要はない。それは、別途の再構成であり、追って詳細に説明する。少なくとも１つの実施形態において、システムは、信号出力空間を対象色空間に変換する前、該デモザイク処理動作を遂行しないのである。一実施形態によれば、デモザイク処理構成要素２４０は、非線形色空間マッピングを適用する前、イメージセンサデータに該デモザイク処理を適用することができる。

【0041】

訓練構成要素２４５は、第２色空間の予測データと、第２色空間のグラウンドトゥルースデータとの差を基に、ニューラルネットワーク２２５をアップデートすることができる。一実施形態によれば、訓練構成要素２４５は、第１色空間において、カラーサンプル及びグラウンドトゥルースイメージデータを含む訓練データを受信することができる。一実施形態において、訓練構成要素２４５は、予測イメージデータ及びグラウンドトゥルースイメージデータに基づき、ニューラルネットワーク２２５の媒介変数をアップデートすることができる。カラーサンプルは、第１色空間における分布に基づいて選択されたカラーセットを含むものでもあり、カラーセットに基づき、ニューラルネットワーク２２５の媒介変数がアップデートされうる。一実施形態において、訓練データは、カラーサンプルのセット、及び各カラーサンプルのセットに対応するグラウンドトゥルースイメージデータセットを含み、ここで、ニューラルネットワーク２２５の媒介変数は、カラーサンプルのセット、及び対応するグラウンドトゥルースイメージデータに基づいてアップデートされうる。

【0042】

一実施形態によれば、訓練構成要素２４５は、カラーサンプル、カラーサンプルに対応するグラウンドトゥルースイメージデータ、及びニューラルネットワーク２２５によって生成された予測イメージデータを基に、ニューラルネットワーク２２５の媒介変数をアップデートするように構成されうる。一実施形態において、訓練構成要素２４５は、多重スペクトルイメージング装置２００ではない他の装置で具現されうる。

【0043】

図３は、本開示の実施形態によるニューラルネットワークを示す。

【0044】

図３を参照すれば、本開示によるニューラルネットワークは、入力３００、隠れ層３０５及び出力３１０を含むものでもある。

【0045】

一実施形態において、入力（Ｃ_１ないしＣ_ｎ）３００は、多重スペクトルイメージング装置から出力される第１色空間のイメージセンサデータに該当しうる。第１色空間は、ＭＩＳ色空間でもある。そして、隠れ層３０５は、イメージセンサデータにおいて、線形変換及び非線形変換を行って出力３１０を生成し、出力３１０は、第２色空間におけるイメージデータが含まれるものでもある。

【0046】

以上で述べたように、ＣＩＥ－１９３１ ＸＹＺ色空間（ＸＹＺ）は、人間の目の色相反応に掛かっている標準線形空間である。一実施形態において、出力３１０は、ＸＹＺ色空間値を含むベクターでもある。一部実施形態において、入力３００は、多重スペクトルイメージング装置のイメージセンサからの１６次元情報を含むベクターでもある。

【0047】

波長λ当たりのＸＹＺ値は、負ではなく、与えられたスペクトルの総ＸＹＺは、強度Ｉ及び物体反射率Ｒによって加重された波長当たりのＸＹＺ和ある。この関係は、数式１によって表現されうる。

【数1】

【0048】

従って、ＸＹＺ色空間値は、強度Ｉの全域スケーリング（ｇｌｏｂａｌ ｓｃａｌｉｎｇ）により、線形的にスケーリングされうる。それにより、ノイズに対する敏感度と、露出変化が生じうる。従って、本実施形態は、そのような変化に堅固性を付与する非線形動作をさらに含むものでもある。

【0049】

図４は、本開示の実施形態によるイメージセンサを示す。

【0050】

図４を参照すれば、イメージセンサ４００は、ピクセルアレイ４０５、多重スペクトルフィルタ４１０（または、フィルタとも称される）、タイミングコントローラ４１５、行デコーダ４２０及び出力回路４２５を含むものでもある。イメージセンサ４００は、図２を参照して説明された当該要素の一例または側面を含むものでもある。多重スペクトルフィルタ４１０は、図７を参照して説明された対応要素の一例であるか、あるいはその一側面を含むものでもある。

【0051】

一実施形態において、多重スペクトルフィルタ４１０を使用し、多重スペクトルイメージセンサ（ＭＩＳ）信号（以下、ＭＩＳ信号とする）を生成することができる。例えば、多重スペクトルフィルタ４１０を通過する光がピクセルアレイ４０５上に伝達されれば、イメージセンサ４００は、ＭＩＳ色空間で信号を生成することができる。一実施形態によれば、ＭＩＳ信号をＸＹＺと共に、所望する出力空間に変換するために、負ではない斉次レイヤで構成されたニューラルネットワークを使用することができる。

【0052】

多重スペクトルイメージング装置の実施形態は、１６個のチャネルを含むものでもあり、該チャネルそれぞれは、波長帯域に対応しうる。多重スペクトルイメージング装置の他の実施形態は、一般的に、少なくとも３個のチャネルがあるが、８、３１または任意の数のチャネルを使用することができる。多重スペクトルイメージセンサ（ＭＩＳ）の各チャネルの帯域幅（例えば、３個以上のチャネルが含まえる）は、Ｒ、Ｇ及びＢ帯域よりも狭く、全てのチャネルの総帯域幅は、ＲＧＢ帯域幅を含むものでもある。一実施形態において、全てのチャネルの総帯域幅がＲＧＢ帯域幅よりも広く、可視光線だけではなく、近紫外線及び近赤外線を含むものでもある。

【0053】

一実施形態において、多重スペクトルイメージング装置は、３５０ｎｍにおいて、約１，０００ｎｍの帯域幅を含むものでもある。そのような場合、多重スペクトルイメージセンサによって得られた多重スペクトルイメージは、超スペクトル（ｈｙｐｅｒｓｐｅｃｔｒａｌ）イメージでもあり、紫外線から赤外線までの波長を含むものでもある。該多重スペクトルイメージは、該多重スペクトルイメージセンサの全てのチャネルを使用して得ることができるか、あるいはチャネルグループを選択して得ることができる。該チャネルは、多重スペクトルイメージセンサのピクセルアレイ上に配されたフィルタに対応しうる。該フィルタは、正確な帯域ではない周波数分布をキャプチャするために、一部見えない光（可視光線ではない）がセンサに達しうる。それにより、色相が不正確に再現されうる。従って、一実施形態は、イメージセンサ４００に対する見えない光の影響を最小化させることができる非線形色空間マッピングを具現することができる。

【0054】

イメージセンサ４００は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅ ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含むものでもあるが、それらに限定されるものではない。一部実施形態において、ピクセルアレイ４０５は、行と列とに配列され、入射光を電気的信号に変換するように構成された複数のピクセルを含むものでもある。一実施形態において、ピクセルアレイ４０５は、ピクセル上に配されたマイクロレンズ、または複数のマイクロレンズをさらに含むものでもある。

【0055】

フィルタ４１０は、互いに異なる波長範囲の光を透過する複数の単位フィルタを含むものでもある。フィルタ４１０は、ピクセルアレイ４０５上に配されうる。例えば、フィルタ４１０に含まれた複数個の単位フィルタは、二次元に配列され、ピクセルアレイ４０５から対応するピクセルと直接重畳されうる。

【0056】

行デコーダ４２０は、行アドレス信号（ｒｏｗ ａｄｄｒｅｓｓ ｓｉｇｎａｌ）に応答し、ピクセルアレイ４０５に含まれた複数行のうち１行を選択することができる。該行アドレス信号は、タイミングコントローラ４１５から出力されうる。

【0057】

出力回路４２５は、ピクセルアレイ４０５のピクセルに光検出信号を出力することができる。該光検出信号は、ピクセルに、光をキャプチャし、電荷を蓄積するように指示するか、あるいは以前に蓄積された電荷を放出するように指示することができる。一部実施形態において、出力回路４２５は、列単位で、行デコーダ４２０によって選択された行に配列されたピクセルから光検出信号を出力することができる。そのために、出力回路４２５は、列デコーダ（ｃｏｌｕｍｎ ｄｅｃｏｄｅｒ）及びアナログ・デジタル変換器（ＡＤＣ：ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）を含むものでもある。一実施形態において、出力回路４２５は、列デコーダとピクセルアレイ４０５との間の各列について配列された複数のＡＤＣを含むものでもある。

【0058】

一実施形態において、行デコーダ４２０、タイミングコントローラ４１５及び出力回路４２５は、別途のチップによって具現されうる。しかしながら、行デコーダ４２０、タイミングコントローラ４１５及び出力回路４２５の任意の組み合わせは、単一チップによっても具現される。一実施形態において、図２を参照して説明した出力回路４２５を介して出力されるイメージ信号を処理するように構成されたプロセッサ２１０（図２）は、タイミングコントローラ４１５、行デコーダ４２０及び出力回路４２５と共に、単一チップに具現されうる。

【0059】

図５は、本開示の実施形態による多重スペクトルフィルタグループを示す。

【0060】

図５を参照すれば、多重スペクトルフィルタグループ５００は、１６個の単位フィルタＦ１～Ｆ１６を含むものでもあり、１６個の単位フィルタＦ１～Ｆ１６それぞれは、４００Ｎｍないし７００Ｎｍのピーク波長を伝送することができる。

【0061】

図６は、本開示の実施形態による透過率グラフを示す。

【0062】

透過率グラフ６００は、一実施形態による多重スペクトルフィルタに係わる透過率スペクトルを含む。図６を参照すれば、第１単位フィルタＦ１ないし第１６単位フィルタＦ１６に係わる透過率スペクトルを示す１６個のラインが示されている。図６を参照すれば、第１単位フィルタＦ１ないし第１６単位フィルタＦ１６は、中心波長、例えば、約４００ｎｍにおいて、約７００ｎｍ範囲の波長を効果的に捕捉することができる。グラフから分かるように、単位フィルタは、その帯域外部の一部波長をさらにキャプチャすることができる。可視スペクトル以外の光がイメージセンサに伝送されれば、不正確な再現でもってイメージが生成されうる。従って、本開示による実施形態は、そのような効果を最小化させることができる非線形色空間マッピングを具現しうる。それは、追って詳細に説明する。

【0063】

図７は、本開示の実施形態による多重スペクトルフィルタを示す。

【0064】

図７を参照すれば、多重スペクトルフィルタ７００及び多重スペクトルフィルタグループ７０５を含むものでもある。多重スペクトルフィルタ７００は、図４を参照して説明された対応要素の一例であるか、あるいはその一側面を含むものでもある。

【0065】

多重スペクトルフィルタ７００は、複数の多重スペクトルフィルタグループ７０５を含むものでもある。一実施形態において、多重スペクトルフィルタグループ７０５は、多重スペクトルフィルタ７００にわたって二次元に配列されうる。多重スペクトルフィルタグループ７０５それぞれは、図６を参照して説明されたように、複数の単位フィルタを含むものでもある。

【0066】

一実施形態において、多重スペクトルフィルタグループ７０５それぞれは、４ｘ４アレイに配列された１６個の単位フィルタＦ１～Ｆ１６を含むものでもある。例えば、単位フィルタＦ１及びＦ２は、紫外線帯域ＵＶ１または近紫外線帯域ＵＶ２に対応し、単位フィルタＦ３～Ｆ５は、ブルー色相帯域Ｂ１～Ｂ３に対応し、単位フィルタＦ６～Ｆ１１は、グリーン色相帯域Ｇ１～Ｇ６に対応し、単位フィルタＦ１２～Ｆ１４は、レッド色相帯域Ｒ１～Ｒ３に対応し、単位フィルタＦ１５及びＦ１６は、赤外線帯域ＮＲ１または近赤外線帯域ＮＲ２に対応しうる。多重スペクトルイメージング装置の他の実施形態は、可視スペクトル外部、または他の帯域における光に係わる情報を含むイメージを生成するように設計されうる。従って、他の実施形態は、異なる波長帯域に相応する単位フィルタを含むものでもある。

【0067】

多重スペクトルフィルタグループ７０５の単位フィルタは、２枚の反射板を含む共振構造を有することができる。単位フィルタによって透過される波長帯域は、共振構造の特性によっても決定される。例えば、透過波長帯域は、反射板の材料、空洞（ｃａｖｉｔｙ）の材料、及び空洞の厚みを変更させることによって調節されうる。一部実施形態において、該単位フィルタは、格子を利用した構造、ナノ構造、分散ブラッグ反射器（ＤＢＲ：ｄｉｓｔｒｉｂｕｔｅｄ Ｂｒａｇｇ ｒｅｆｌｅｃｔｏｒ）を利用した構造、または透過帯域を調節するための他の手段を含むものでもある。一部実施形態において、イメージセンサのピクセルは、センサの色相及び透過特性により、多様に配列されうる。

【0068】

多重スペクトル色相再構成（ｍｕｌｔｉｓｐｅｃｔｒａｌ ｃｏｌｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）

【0069】

本開示による色相再構成方法について説明される。本開示による当該方法の実施形態は、カメラ装置のイメージセンサからイメージセンサデータ受信する段階、イメージデータを獲得するために、ニューラルネットワークを利用し、該イメージセンサデータに非線形色空間マッピングを適用する段階、及び該イメージデータをメモリに保存する段階を含むものでもある。非線形色空間マッピングは、負ではない斉次関数を含むものでもある。一実施形態において、該イメージセンサデータは、多重スペクトルイメージセンサデータを含むものでもある。

【0070】

本開示による方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムの一部実施形態は、メモリにおいてイメージデータを検索する段階をさらに含むものでもある。一部実施形態には、イメージデータを基に、イメージを表示する段階をさらに含むものでもある。前述の方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムの一部実施形態は、イメージセンサデータを、第１色空間から第２色空間に変換する段階をさらに含むものでもあり、ここで、該イメージデータは、第２色空間に基づく形式を使用して保存されうる。

【0071】

本開示による方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムの一部実施形態には、非線形色空間マッピングを適用する前、イメージセンサデータに色補正を適用する段階をさらに含むものでもある。一部実施形態において、該色補正は、イメージデータを保存する前、イメージデータに適用されうる。

【0072】

一部実施形態において、非線形色空間マッピングは、イメージセンサデータを三次元色空間に変換することができる。一部実施形態において、その色空間は、ＣＩＥ－ＸＹＺ色空間でもある。本開示による方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムの一部実施形態は、非線形色空間マッピングを適用する前、イメージセンサデータにデモザイク処理を適用する段階をさらに含むものでもある。

【0073】

図８は、本開示の実施形態による多重スペクトルイメージを表示する方法８００を示す。

【0074】

本開示による実施形態において、そのような動作は、装置の機能的要素を制御するために、コードセットを実行するプロセッサを含むシステムによって遂行されうる。追加されるか、あるいは代案として、特定プロセスは、特殊目的ハードウェアを使用して遂行されうる。一般的に、そのような動作は、本開示による実施形態によって説明された方法及びプロセスによって遂行される。場合によっては、本開示において説明された動作は、多様な下位段階によって構成されるか、あるいは他の動作と共に遂行されうる。

【0075】

図８を参照すれば、８０５動作において、ユーザは、第１色空間において、イメージセンサデータを獲得するために、多重スペクトルイメージング装置を作動させることができる。その動作は、被写体に向かうように、多重スペクトルイメージング装置をフレーム化することと、該多重スペクトルイメージング装置がフレームをキャプチャするように指示するために、ユーザインターフェースを使用することと、を含むものでもある。該多重スペクトルイメージング装置は、選択的に、イメージセンサデータにデモザイク処理を適用することができる。

【0076】

動作８１０において、システムは、イメージセンサデータを、第２色空間において、イメージデータに変換するために、色空間マッピングを適用することができる。一部実施形態において、該色空間マッピングは、ニューラルネットワークによって具現され、ニューラルネットワークには、負ではない斉次レイヤが含まれるものでもある。

【0077】

動作８１５において、システムは、イメージデータをメモリに保存することができる。該メモリは、多重スペクトルイメージング装置の一部でもあり、該多重スペクトルイメージング装置とネットワーク化されたデータベースの一部でもある。

【0078】

動作８２０において、システムは、メモリにおいてイメージデータを検索し、イメージを表示することができる。一実施形態により、第２色空間のイメージデータは、表示される前にさらに変換されうる。例えば、該イメージデータがＸＹＺ色空間を基盤とする形式に保存される場合、ディスプレイのために、ＲＧＢ色空間に変換されうる。

【0079】

図９は、本開示の実施形態によるイメージセンサデータを変換する方法９００を示すフローチャートである。

【0080】

本開示による一部実施形態において、そのような動作は、装置の機能的要素を制御するために、コードセットを実行するプロセッサを含むシステムによって遂行されうる。追加されるか、あるいは代案として、特定プロセスは、特殊目的ハードウェアを使用して遂行されうる。一般的に、そのような動作は、本開示の実施形態によって記述された方法及びプロセスによって遂行されうる。場合によっては、本開示に記述された動作は、多様な下位段階によって構成されるか、あるいは他の動作と共に遂行されうる。

【0081】

前述のように、一実施形態は、第１色空間と第２色空間との斉次特性を保存するニューラルネットワークを含むものでもある。負ではない斉次関数Ｆ（数式２参照）は、負ではない誤謬スカラによって入力をスケーリングするとき、出力が線形的にスケールされる関数によって定義されうる。

【数2】

負ではない斉次関数には、行列による乗算、ＲｅＬＵ活性関数、標準（ｎｏｒｍ）関数などが含まれるものでもある。例えば、該ＲｅＬＵは、数式３のように斉次でもある。

【数3】

しかしながら、０ではない整数を斉次演算に加えることは、数式４から分かるように、斉次ではないのである。

【数4】

従って、本開示によるニューラルネットワークの実施形態は、加重値を含むが、０ではない整数であるバイアス（ｂｉａｓ）を含まないのである。任意の２個の斉次関数Ｆ及び斉次関数Ｇの構成も、斉次関数でもある（数式５参照）。

【数5】

【0082】

従って、斉次関数及び０バイアスを有するレイヤのように、負ではない斉次レイヤによって構成されたニューラルネットワークによって遂行される変換は、負ではない斉次関数でもある。

【0083】

多重スペクトルイメージセンサ出力（ＭＩＳ出力）に対し、ＸＹＺのような目標色空間において正確な変換を行うために、一実施形態は、多重スペクトルイメージング装置から、ＭＩＳ出力が線形応答領域にあると仮定することができる。すなわち、信号出力が、強度によって線形にスケーリングされうる。測定されたスペクトルのＸＹＺ表現と、ＭＩＳ出力は、強度により、線形的にスケーリングされるので、２つの空間は、互いに負ではない斉次関数と説明されうる。従って、２つの空間間のマッピングは、斉次特性を保存することができる。

【0084】

一部比較システムは、２つの空間間の線形マッピングを仮定し、ＭＩＳ信号とＸＹＺ再構成とのような２つの空間間においてマッピングを行うことができる。そのような線形マッピングは、信号伝送行列を特徴とするのである。行列を求めるために、比較システムは、ペンローズ・ムーア（Ｐｅｎｒｏｓｅ－Ｍｏｏｒｅ）、主固有ベクトル（ｐｒｉｎｃｉｐａｌ ｅｉｇｅｎｖｅｃｔｏｒ）及びその他回帰手続きのようなセンサ測定の類似逆（ｐｓｅｕｄｏ ｉｎｖｅｒｓｉｏｎ）行列を使用することができる。しかしながら、そのような方法は、ノイズに敏感であり、一般的に、基底関数（ｂａｓｉｓ－ｆｕｎｃｔｉｏｎ）の明示的選択、及び正規化媒介変数の手動調整にも依存する。

【0085】

また、線形マッピングは、大きい仮定であり、不正確でもある。多重スペクトルイメージセンサの互いに異なる色チャネルが重畳され、ＭＩＳ色空間とＸＹＺ色空間とがいずれも異なるスペクトルの下位空間であるので、空間間の変換を、簡単な行列乗算で特徴づけられるか否かということは、明確ではない。

【0086】

斉次関数には、行列乗算と、さまざまな非線形関数が含まれるものでもある。行列乗算、ＲｅＬＵ活性化及び比較演算（例えば、最小値、最大値、中位数）のように、前述の負ではない斉次関数は、２つの空間間の斉次特性を保存し、環境変化に強い空間間の互いに異なる関係を許容することができる。例えば、斉次マッピングは、利得、露出及び照度の変化のような全体規模の変化に強力である。

【0087】

従って、本実施形態は、行列乗算だけではなく、全ての負ではない斉次関数を含むマッピングを具現することができる。一実施形態は、そのマッピングを具現するために、負ではない斉次レイヤを含む負ではない斉次ニューラルネットワークを含むものでもある。それにより、本開示による実施形態によって提供される色相再構成は、正確度、堅固性、及びさらに早い具現時間を有することができる。

【0088】

図９を参照すれば、動作９０５において、システムは、カメラ装置のイメージセンサから、イメージセンサデータを受信することができる。場合によっては、本段階の動作は、図２及び図４を参照して説明されたようなイメージセンサによって遂行されうる。

【0089】

動作９１０において、システムは、ニューラルネットワークを利用し、イメージセンサデータに、負ではない斉次関数を含む非線形色空間マッピングを適用し、イメージデータを獲得することができる。前述の負ではない斉次関数は、前述のように、ＲｅＬＵ動作、比較動作などを含むものでもある。一部実施形態によれば、本段階の動作は、図２を参照して説明されたように、ニューラルネットワークによって遂行されうる。

【0090】

動作９１５において、システムは、イメージデータをカメラ装置のメモリに保存することができる。一部実施形態によれば、本段階の動作は、図２を参照して説明されたようなメモリによって遂行されうる。少なくとも１つの実施形態において、該システムは、イメージデータを、カメラ装置とネットワークで連結されたデータベースに保存することができる。

【0091】

図１０は、本開示の実施形態によるイメージを表示する方法１０００を示すフローチャートである。

【0092】

図１０を参照すれば、本開示によるカメラ装置、すなわち、多重スペクトルイメージング装置に保存されたイメージを表示する方法を示す。

【0093】

一部実施形態において、そのような動作は、装置の機能的要素を制御するために、コードセットを実行するプロセッサを含むシステムによって遂行されうる。追加されるか、あるいは代案として、特定プロセスは、特殊目的ハードウェアを使用して遂行されうる。一般的に、そのような動作は、本開示の一態様によって記述された方法及びプロセスによって遂行されうる。本明細書において説明された動作は、多様な下位段階によって構成されるか、あるいは他の動作と共に遂行されうる。

【0094】

動作１００５において、システムは、イメージセンサデータにデモザイク処理を適用することができる。場合によっては、本段階の動作は、図２を参照して説明されたように、デモザイク処理構成要素によって遂行されうる。該デモザイク処理動作は、ピクセルによってキャプチャされた単一色成分を取り囲む全ての色成分に対する色相レベルを推定する補間動作を含むものでもある。

【0095】

動作１０１０において、システムは、イメージセンサデータに色補正を適用することができる。場合によっては、本段階の動作は、図２及び図４を参照して説明されたようなイメージセンサによって遂行されうる。色補正は、ホワイトバランス（ｗｈｉｔｅ－ｂａｌａｎｃｅ）調整、露出調整、ガンマ調整などの動作を含むものでもある。

【0096】

動作１０１５において、システムは、非線形色空間マッピングを適用し、イメージセンサデータを、第１色空間から第２色空間に変換し、イメージデータは、第２色空間に基づく形式を使用して保存されうる。一部実施形態において、その段階の動作は、図２を参照して説明されたように、ニューラルネットワークによって遂行されうる。

【0097】

動作１０２０において、システムは、メモリにおいてイメージデータを検索することができる。一部実施形態において、本段階の動作は、図２を参照して説明されたようなメモリによって遂行されうる。

【0098】

動作１０２５において、システムは、イメージデータに基づき、イメージを表示することができる。一部実施形態において、第２色空間のイメージデータは、表示前、さらに変換されうる。例えば、イメージデータがＸＹＺ色空間を基盤とする形式に保存される場合、表示のために、ＲＧＢ色空間に変換されうる。

【0099】

訓練（ｔｒａｉｎｉｎｇ）

【0100】

本開示による色相再構成方法について説明される。前記方法の１以上の実施形態は、第１色空間において、カラーサンプル及びグラウンドトゥルースイメージデータを含む訓練データを受信する段階、カメラ装置のセンサから、カラーサンプルに対応するイメージセンサデータを獲得する段階、ニューラルネットワークを利用し、イメージセンサデータに非線形色空間マッピングを適用し、第１色空間において、予測イメージデータを得る段階、並びに予測イメージデータ及びグラウンドトゥルースイメージデータを基に、ニューラルネットワークの媒介変数をアップデートする段階を含むものでもある。一実施形態において、非線形色空間マッピングは、負ではない斉次関数を含むものでもある。

【0101】

一部実施形態において、カラーサンプルは、第１色空間における分布に基づいて選択された複数の色相を含み、ニューラルネットワークの媒介変数は、複数の色相に基づいてアップデートされうる。一部実施形態において、訓練データは、複数のカラーサンプル、及び複数のカラーサンプルそれぞれに対応するグラウンドトゥルースイメージデータを含み、該ニューラルネットワークの媒介変数は、複数のカラーサンプル、及び対応するグラウンドトゥルースイメージデータに基づいてアップデートされうる。

【0102】

本開示による方法、装置、非一時的コンピュータで読み取り可能な媒体、及びシステムの一部実施形態は、ニューラルネットワークの媒介変数を、第２カメラ装置のメモリに保存する段階をさらに含むものでもある。一部実施形態は、第２カメラ装置のセンサに基づき、ニューラルネットワークの媒介変数を微細調整することをさらに含むものでもある。それに係わっては、図１３を参照して詳細に説明する。

【0103】

図１１は、本開示の実施形態によるニューラルネットワークを訓練させる方法１１００を示すフローチャートである。

【0104】

図１１を参照すれば、一部実施形態において、そのような動作は、装置の機能的要素を制御するために、コードセットを実行するプロセッサを含むシステムによって遂行されうる。追加されるか、あるいは代案として、特定プロセスは、特殊目的ハードウェアを使用して遂行されうる。一般的に、そのような動作は、本発明の実施形態によって説明された方法及び過程によって遂行されうる。本開示による動作は、多様な下位段階によって構成されるか、あるいは他の動作と共に遂行されうる。

【0105】

一部実施形態において、ニューラルネットワークの訓練は、色空間にまばらに分布されるスペクトル測定セットを取ることによって遂行されうる。本開示の実施形態は、相対的に小さいスペクトル測定セットを介する訓練を許容する。例えば、一部実施形態は、１以上のカラーサンプルに対応するイメージセンサデータを得ることができる。

【0106】

図１１を参照すれば、動作１１０５において、システムは、第１色空間において、カラーサンプル及びグラウンドトゥルースイメージデータを含む訓練データを受信することができる。一実施形態によれば、本段階の動作は、図２を参照して説明されたような訓練構成要素によって遂行されうる。

【0107】

各サンプルについてＭＩＳ信号が記録され（例えば、キャプチャされる）、ＸＹＺ値がサンプルの知られたスペクトルから計算されうる。動作１１１０において、システムは、カメラ装置のセンサから、カラーサンプルに対応するイメージセンサデータを獲得することができる。一実施形態により、本段階の動作は、図２及び図４を参照して説明されたようなイメージセンサによって遂行されうる。

【0108】

動作１１１５において、システムは、第１色空間において、予測イメージデータを獲得するために、ニューラルネットワークを利用し、イメージセンサデータに、非線形色空間マッピングを適用することができる。場合によっては、本段階の動作は、図２を参照して説明されたようにニューラルネットワークによって遂行されうる。

【0109】

動作１１２０において、システムは、予測イメージデータとグラウンドトゥルースイメージデータとに基づき、ニューラルネットワークの媒介変数をアップデートすることができる。場合によっては、本段階の動作は、図２を参照して説明されたような訓練構成要素によって遂行されうる。一部実施形態において、ニューラルネットワークの訓練は、小さいサンプルセット測定のランダムに選択された線形組み合わせについて遂行されうる。一部実施形態において、イメージセンサ色空間及び目標色空間は、いずれも付加的なものと仮定される。

【0110】

図１２は、本開示の実施形態による色相再構成を示す。

【0111】

図１２を参照すれば、ＭＩＳ入力信号１２００及びＸＹＺ再構成１２０５が示されている。

【0112】

図１２は、１６個のチャネルを含む多重スペクトルイメージング装置からの例示キャプチャの黒白再生を示す。ＭＩＳ入力信号１２００は、ピクセルアレイに重畳された１６個単位フィルタそれぞれの信号再生を示し、それぞれは、１６個チャネルのうち一つに該当する。ＸＹＺ再構成１２０５は、一実施形態によるニューラルネットワークが、ＭＩＳ入力信号１２００に、非線形色空間マッピングを適用した後の色相再構成を示す。

【0113】

図１３は、本開示の実施形態によるニューラルネットワークを第２カメラ装置に伝送する過程を示す。

【0114】

図１３は、多重スペクトルイメージング装置１３００及び第２カメラ装置１３０５を含む。多重スペクトルイメージング装置１３００は、図１及び図２を参照して説明された対応要素の一例であるか、あるいはその一側面を含む。

【0115】

ＭＩＳ出力から対象色空間への変換は、類似した多重スペクトルイメージング装置の他のＭＩＳ出力から対象色空間への変換と類似していなければならない。従って、一実施形態は、他のモジュールに係わる加重値を初期化するために、１モジュールによって訓練されたニューラルネットワークを使用することができる。例えば、一実施形態は、第２カメラ装置１３０５に係わる加重値を初期化するために、多重スペクトルイメージング装置１３００の訓練されたニューラルネットワークを使用する。一部の場合、第２カメラ装置１３０５をチューニングするために、いくつかのイメージキャプチャだけ使用されうる。場合によっては、ＸＹＺ値を事前に知っているとき、単一映像キャプチャだけ使用されうる。それにより、一実施形態は、カメラ装置の迅速であって効率的な矯正を可能にし、具現時間を短縮させることができる。

【0116】

一部実施形態によれば、第２カメラ装置１３０５は、第２カメラ装置１３０５のメモリに、ニューラルネットワークの媒介変数を保存することができる。一部実施形態において、第２カメラ装置１３０５は、第２カメラ装置１３０５のセンサに基づき、ニューラルネットワークの媒介変数を微細調整することができる。

【0117】

本明細書に説明された説明及び図面は、例示的な構成を示し、特許請求の範囲内の全ての具現を示すものではない。例えば、動作と段階は、再配列、結合または修正されうる。また、構成要素との関係を示して説明された概念を曖昧にさせないように、構造物及び装置をブロックダイヤグラムの形態で表現することができる。類似した構成要素または特徴は、同一名称を有しうるが、互いに異なる図面に対応する互いに異なる参照番号を有しうる。

【0118】

本発明に対する一部変形は、当業者に容易に明白でもあり、本明細書に定義された原則は、本発明の範囲を外れずに、他の変形にも適用されうる。従って、本開示は、本明細書に説明された実施形態及び設計に限定されるものではなく、本明細書に開示された原則、及び新たな特徴と一致する最も広範囲な範囲が付与される。

【0119】

説明された方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、アプリケーション特定集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、または他のプログラマブルロジック装置、離散ゲートまたはトランジスタロジック、離散ハードウェア構成要素、またはそれらの組み合わせを含む装置によって具現されるか、あるいは遂行されうる。汎用プロセッサは、マイクロプロセッサ、一般的なプロセッサ、コントローラ、マイクロコントローラまたはステートマシンでもある。該プロセッサは、またコンピュータ装置の組み合わせによっても具現される（例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、多数のマイクロプロセッサ、ＤＳＰコアのような１以上のマイクロプロセッサ、またはそのような他の構成）。従って、本明細書に説明された機能は、ハードウェアまたはソフトウェアで具現されうる、プロセッサ、ファームウェア、またはそれらの任意の組み合わせによって実行されうる。プロセッサによって実行されるソフトウェアで具現される場合、機能は、コンピュータで読み取り可能な媒体に、命令語やコードの形態でもって保存されうる。

【0120】

コンピュータで読み取り可能な媒体は、コードやデータの伝送を容易にする媒体を含む非一時的コンピュータ記録媒体と通信媒体とをいずれも含む。該非一時的記録媒体は、コンピュータがアクセスすることができる任意の使用可能な媒体でもある。例えば、非一時的コンピュータで読み取り可能な媒体は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ（ｃｏｍｐａｃｔ ｄｉｓｋ）、またはその他光学ディスク保存所、磁気ディスク保存所、またはデータやコードを運んだり保存したりするための非一時的媒体によって構成されうる。

【0121】

また、連結構成要素は、コンピュータで読み取り可能な媒体と適切に命名されうる。例えば、同軸ケーブル、光ファイバケーブル、ツイスト対、ＤＳＬ（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ）、あるいは赤外線、無線またはマイクロ波信号のような無線技術を使用し、ウェブサイト、サーバ、またはその他遠隔ソースから、コードまたはデータが伝送される場合、その後、同軸ケーブル、光ファイバケーブル、ツイスト対、ＤＳＬまたは無線技術が媒体の定義に含まれるものでもある。該媒体の組み合わせは、またコンピュータで読み取り可能な媒体の範囲に含まれるものでもある。

【0122】

本開示、及び以下の請求項において、「または」という単語は、例えば、Ｘ、ＹまたはＺのリストが、Ｘ、ＹまたはＺ；ＸＹ、ＸＺまたはＹＺ；あるいはＸＹＺを意味する包括的なリストを意味する。また、「基づく」という文言は、閉じられた条件集合を示すのに使用されない。例えば、「条件Ａに基づく」と説明される段階は、条件Ａと条件Ｂとのいずれもに基づきうる。すなわち、「基づく」という文言は、「少なくとも部分的に」を意味すると解釈されなければならない。

【産業上の利用可能性】

【0123】

本発明の、斉次ニューラルネットワークを使用した色相再構成のための方法及びそのイメージ処理装置は、例えば、イメージ再現関連の技術分野に効果的に適用可能である。

【符号の説明】

【0124】

１００ 多重スペクトルイメージングシステム
１０５ データベース
１１０ ネットワーク
１１５ ユーザ
２００，１３００ 多重スペクトルイメージング装置
２０５，４００ イメージセンサ
２１０ プロセッサ
２１５ メモリ
２２０ ユーザインターフェース
２２５ ニューラルネットワーク
２３０ ディスプレイ構成要素
２３５ 色補正構成要素
２４０ デモザイク処理構成要素
２４５ 訓練構成要素
４０５ ピクセルアレイ
４１０ 多重スペクトルフィルタ
４１５ タイミングコントローラ
４２０ 行デコーダ
４２５ 出力回路
５００，７０５ 多重スペクトルフィルタグループ
７００ 多重スペクトルフィルタ
１３０５ 第２カメラ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】