(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】画像処理装置、および画像処理方法、並びにプログラム
(51)【国際特許分類】
H04N 23/76 20230101AFI20241016BHJP
H04N 23/12 20230101ALI20241016BHJP
H04N 23/55 20230101ALI20241016BHJP
H04N 25/10 20230101ALI20241016BHJP
【FI】
H04N23/76
H04N23/12
H04N23/55
H04N25/10
(21)【出願番号】P 2021558250
(86)(22)【出願日】2020-10-28
(86)【国際出願番号】 JP2020040441
(87)【国際公開番号】W WO2021100426
(87)【国際公開日】2021-05-27
【審査請求日】2023-08-31
(31)【優先権主張番号】P 2019208567
(32)【優先日】2019-11-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】高嶋 昌利
【審査官】辻本 寛司
(56)【参考文献】
【文献】特開2008-206090(JP,A)
【文献】国際公開第2018/135315(WO,A1)
【文献】特開2016-152445(JP,A)
【文献】特開2013-092885(JP,A)
【文献】特開2011-146936(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/76
H04N 23/12
H04N 23/55
H04N 25/10
(57)【特許請求の範囲】
【請求項1】
マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲイン、またはゲイン算出用パラメータを算出する信号処理部を有し、
前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出する
処理を実行し、
前記信号処理部は、帯域対応画素値の算出処理において、
帯域対応画素値算出対象カメラの撮像素子出力値に基づく画素単位のRAW画像ベース画素値信号と、前記帯域対応画素値算出対象カメラの分光特性パラメータを用いた帯域対応画素値算出処理を実行する画像処理装置。
【請求項2】
前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて、特定帯域内の画素値である帯域対応画素値の平均値を算出する基準機帯域対応画素値平均値算出部と、
前記調整カメラの撮像素子の出力値に基づいて、帯域対応画素値の平均値を算出する調整機帯域対応画素値平均値算出部を有し、
算出した基準機帯域対応画素値平均値と、調整機帯域対応画素値平均値を、前記帯域対応ゲイン算出用パラメータとして算出し、前記調整カメラのメモリに格納する請求項1に記載の画像処理装置。
【請求項3】
前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて算出した基準機帯域対応画素値代表値と、
前記調整カメラの撮像素子の出力値に基づいて算出した調整機帯域対応画素値代表値を、前記帯域対応ゲイン算出用パラメータとして算出し、前記調整カメラのメモリに格納する請求項1に記載の画像処理装置。
【請求項4】
前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて、特定帯域内の画素値である帯域対応画素値を算出する基準機帯域対応画素値算出部と、
前記調整カメラの撮像素子の出力値に基づいて、帯域対応画素値を算出する調整機帯域対応画素値算出部と、
前記基準機帯域対応画素値算出部の算出した基準機帯域対応画素値と、前記調整機帯域対応画素値算出部の算出した調整機帯域対応画素値との比較結果に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲインを算出する帯域対応ゲイン算出部を有する請求項1に記載の画像処理装置。
【請求項5】
前記基準カメラ、および前記調整カメラは、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラである請求項1に記載の画像処理装置。
【請求項6】
前記信号処理部は、
帯域対応画素値算出対象カメラの撮像素子出力値に基づく画素単位のRAW画像ベース画素値信号と、前記帯域対応画素値算出対象カメラの分光特性パラメータを用いた帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する
請求項1に記載の画像処理装置。
【請求項7】
前記分光特性パラメータは、
前記帯域対応画素値算出対象カメラの撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である
請求項6に記載の画像処理装置。
【請求項8】
前記特定帯域は、
前記基準カメラ、および前記調整カメラに装着されたマルチバンドパスフィルタの透過光帯域である
請求項7に記載の画像処理装置。
【請求項9】
前記信号処理部は、
基準機帯域対応画素値に対する温度特性補償処理を実行する基準機温度特性補償部と、
調整機帯域対応画素値に対する温度特性補償処理を実行する調整機温度特性補償部を有し、
前記基準機温度特性補償部の生成した温特補償後の基準機帯域対応画素値と、前記調整機温度特性補償部の生成した温特補償後の調整機帯域対応画素値を利用して前記帯域対応ゲイン、または前記帯域対応ゲイン算出用パラメータを算出する請求項1に記載の画像処理装置。
【請求項10】
前記信号処理部は、
特定帯域内の光を出力する特殊光源の出力光を前記基準カメラと前記調整カメラによって撮影することで取得される画素値を、そのまま前記基準機帯域対応画素値と、前記調整機帯域対応画素値とする請求項1に記載の画像処理装置。
【請求項11】
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲインを算出する信号処理部を有し、
前記信号処理部が、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出する
処理を実行し、
前記信号処理部は、帯域対応画素値の算出処理において、
帯域対応画素値算出対象カメラの撮像素子出力値に基づく画素単位のRAW画像ベース画素値信号と、前記帯域対応画素値算出対象カメラの分光特性パラメータを用いた帯域対応画素値算出処理を実行する画像処理方法。
【請求項12】
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲインを算出する信号処理部を有し、
前記プログラムは、前記信号処理部に、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出させ
、さらに、
前記プログラムは、前記信号処理部における帯域対応画素値の算出処理において、
帯域対応画素値算出対象カメラの撮像素子出力値に基づく画素単位のRAW画像ベース画素値信号と、前記帯域対応画素値算出対象カメラの分光特性パラメータを用いた帯域対応画素値算出処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には、撮像装置(カメラ)の個体差に基づく出力値のばらつきを低減させる画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【0002】
撮像装置(カメラ)は、撮像素子(イメージセンサ)に例えばRGBカラーフィルタを介した光を入力する。撮像素子の各画素は、フィルタの各波長光(RGB)対応の入力光強度に応じた画素値を信号処理部に出力する。信号処理部は、撮像素子の出力画素値、すなわちRGB画素値信号を用いてカラー画像を生成する。
【0003】
撮像素子は多数の画素により構成され、RGBカラーフィルタのR(赤)領域の通過光を受光する画素をR画素、カラーフィルタのG(緑)領域通過光を受光する画素をG画素、カラーフィルタのB(青)領域の通過光を受光する画素をB画素と呼ぶ。
【0004】
しかし、RGBカラーフィルタの各色(RGB)領域の通過光には、本来、含まれてほしくない波長(色)信号も含まれる。
例えば、RGBカラーフィルタのR(赤)領域の通過光のほとんどはR(赤)成分の波長光となるが、R(赤)以外の緑(G)、青(B)、さらに赤外光(IR)等の波長光もわずかに含まれる。
【0005】
RGBカラーフィルタのR(赤)以外のG(緑)、B(青)領域の通過光も同様であり、G(緑)フィルタの通過光のほとんどはG(緑)成分の波長光であるが、その他の波長光も含まれ、B(青)フィルタの通過光のほとんどはB(青)成分の波長光であるが、その他の波長光も含まれる。
【0006】
結果として、RGBカラーフィルタを介した光を入力する撮像素子のRGB各画素の画素値は、RGB各色の信号のみからなる画素値ではなく、その他の色成分であるノイズ成分を含む画素値となってしまう。
このようなノイズ成分を含む画素値に基づいて生成されるカラー画像はノイズ成分を含み、画質が低下してしまう。
【0007】
さらに、昨今、例えばドローン等に備えられたカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術がある。
植物の活性度を示す植生指標として、例えばNDVI(Normalized Difference Vegetation Index)がある。
カメラ撮影画像の解析により、画像内に撮影された植物のNDVIを算出することで、撮影された画像内の植物の活性度を推定することができる。
【0008】
このNDVI算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。
しかし、撮像素子の撮影画像のRGB各画素値に上述したノイズ成分が含まれると、高精度なNDVI算出が不可能となり、撮影画像内の植物の活性度を正確に推定することができなくなる。
【0009】
なお、被写体の色成分解析を高精度に行うためのカメラとしてマルチスペクトルカメラがある。
マルチスペクトルカメラは、カラーフィルタに併せて特定の波長光のみを通過させるバンドパスフィルタ(BPフィルタ)を用いたカメラである。
【0010】
バンドパスフィルタ(BPフィルタ)とカラーフィルタを通過させた光を撮像素子に入力することで、バンドパスフィルタ(BPフィルタ)を通過する特定の波長光成分を選択的に撮像素子の画素に入力させることが可能となる。
【0011】
なお、マルチスペクトルカメラについて開示した従来技術として例えば特許文献1(米国特許第7,375,803号公報)がある。
この特許文献1に開示の技術はRGBとIR(赤外)画素を持つ撮像素子を用いて、被写体までの距離を検出する際に、IR成分値を抽出して利用する構成を開示している。
【0012】
しかし、ここで問題となるのが、撮像装置(カメラ)の個体差に基づく出力値のばらつきである。
工場で撮像装置を製造する場合、各撮像装置に各々撮像素子(イメージセンサ)およびカラーフィルタを取り付けるが、これら撮像素子やカラーフィルタには個体差がある。すなわち特性にばらつきがある。
このように撮像装置(カメラ)の撮像素子やフィルタの特性に個体差があると、各撮像装置の出力値にもばらつきが発生してしまう。
【0013】
このような出力値のばらつく撮像装置を利用して、例えば上述した植物の活性度を示す植生指標であるNDVI値を算出すると、撮像装置ごとに異なる値が算出されることになり、植物の活性度を正確に算出することができなくなる。
【先行技術文献】
【特許文献】
【0014】
【発明の概要】
【発明が解決しようとする課題】
【0015】
本開示は、例えば上記問題点に鑑みてなされたものであり、撮像装置(カメラ)の特性の個体差に基づく出力値のばらつきを低減させる画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0016】
本開示の第1の側面は、
マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲイン、またはゲイン算出用パラメータを算出する信号処理部を有し、
前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出する画像処理装置にある。
【0017】
さらに、本開示の第2の側面は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記信号処理部は、
メモリから特定帯域単位のゲインである帯域対応ゲインを算出するための帯域対応ゲイン算出用パラメータを取得し、取得した帯域対応ゲイン算出用パラメータに基づいて帯域対応ゲインを算出し、
算出した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する画像処理装置にある。
【0018】
さらに、本開示の第3の側面は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記信号処理部は、
メモリから特定帯域単位のゲインである帯域対応ゲインを取得し、
取得した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する画像処理装置にある。
【0019】
さらに、本開示の第4の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲインを算出する信号処理部を有し、
前記信号処理部が、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出する画像処理方法にある。
【0020】
さらに、本開示の第5の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記信号処理部が、
メモリから特定帯域単位のゲインである帯域対応ゲインを算出するための帯域対応ゲイン算出用パラメータを取得し、取得した帯域対応ゲイン算出用パラメータに基づいて帯域対応ゲインを算出し、
算出した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する画像処理方法にある。
【0021】
さらに、本開示の第6の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲインを算出する信号処理部を有し、
前記プログラムは、前記信号処理部に、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出させるプログラムにある。
【0022】
さらに、本開示の第7の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記プログラムは、前記信号処理部に、
メモリから特定帯域単位のゲインである帯域対応ゲインを算出するための帯域対応ゲイン算出用パラメータを取得し、取得した帯域対応ゲイン算出用パラメータに基づいて帯域対応ゲインを算出させ、
算出した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行させるプログラムにある。
【0023】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0024】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0025】
本開示の一実施例の構成によれば、マルチスペクトルカメラの撮像素子の出力を基準機の出力に一致させるためのゲイン算出処理やゲイン調整処理を実行する装置、方法が実現される。
具体的には、例えば、マルチスペクトルカメラ製造時に調整カメラの出力を基準カメラの出力に一致させるためのゲイン算出処理として、基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、調整カメラの出力を基準カメラの出力に一致させる帯域対応ゲインを算出する。また、カメラ利用時には、メモリから帯域対応ゲインを取得して、取得した帯域対応ゲインを撮像素子の出力に乗じて、撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する。
これらの構成により、マルチスペクトルカメラの撮像素子の出力を基準機の出力に一致させるためのゲイン算出処理やゲイン調整処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0026】
【
図1】マルチスペクトルカメラの構成例について説明する図である。
【
図2】マルチスペクトルカメラのフィルタの分光特性の例について説明する図である。
【
図3】マルチスペクトルカメラの画素値について説明する図である。
【
図4】撮像装置の出力ばらつきを解消するための一般的な調整例について説明する図である。
【
図5】本開示の処理による撮像装置の出力ばらつき調整例について説明する図である。
【
図6】本開示の処理による撮像装置の出力ばらつき調整例について説明する図である。
【
図7】マルチスペクトルカメラの構成例について説明する図である。
【
図8】マルチバンドパススフィルタ(MBP)と、カラーフィルタ(RGBIRカラーフィルタ)の分光特性について説明する図である。
【
図9】4種類の異なる波長信号A~Dを透過させるABCDカラーフィルタの構成例について説明する図である。
【
図10】
図9に示すABCDカラーフィルタを用いた本開示の画像処理装置の一構成例であるマルチスペクトルカメラの構成例について説明する図である。
【
図11】マルチバンドパスフィルタ(MBP)と、カラーフィルタ(ABCDカラーフィルタ)の分光特性について説明する図である。
【
図12】信号処理部の実行する処理について説明する図である。
【
図13】帯域対応画素値算出式を利用した反復計算による算出値の収束例について説明する図である。
【
図14】本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
【
図15】本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
【
図16】帯域対応画素値算出式を用いた反復計算の手法について説明する図である。
【
図17】帯域対応画素値算出式を用いた反復計算の手法について説明する図である。
【
図18】本開示の処理による撮像装置の出力ばらつき調整例について説明する図である。
【
図19】本開示の処理による撮像装置の出力ばらつき調整例について説明する図である。
【
図20】本開示の画像処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。
【
図21】特殊光源(パターンボックス)の一例について説明する図である。
【
図22】マルチスペクトルカメラの構成例について説明する図である。
【
図23】マルチバンドパスフィルタ(MBP)と、カラーフィルタ(ABCDカラーフィルタ)の分光特性について説明する図である。
【
図24】マルチスペクトルカメラの画素値について説明する図である。
【
図25】本開示の実施例2の撮像装置の出力ばらつき調整例について説明する図である。
【
図26】本開示の実施例2の撮像装置の出力ばらつき調整例について説明する図である。
【
図27】本開示の実施例2の画像処理シーケンスについて説明するフローチャートを示す図である。
【
図28】本開示の実施例2において実行する温特補償処理について説明する図である。
【
図29】本開示の実施例2の撮像装置の出力ばらつき調整例について説明する図である。
【
図30】本開示の実施例2の撮像装置の出力ばらつき調整例について説明する図である。
【
図31】本開示の実施例2の画像処理シーケンスについて説明するフローチャートを示す図である。
【
図32】本開示の実施例3の撮像装置の出力ばらつき調整例について説明する図である。
【
図33】本開示の実施例3で利用する特集光源について説明する図である。
【
図34】本開示の実施例3で利用する特集光源と、各フィルタの特性と、撮像素子の画素値について説明する図である。
【
図35】本開示の実施例3の画像処理シーケンスについて説明するフローチャートを示す図である。
【
図36】本開示の実施例3において、分光特性パラメータ(分離係数)を算出して記録する処理について説明する図である。
【
図37】本開示の実施例4で利用する特集光源について説明する図である。
【
図38】本開示の実施例4で利用する特集光源と、各フィルタの特性と、撮像素子の画素値について説明する図である。
【
図39】本開示の実施例4の撮像装置の出力ばらつき調整例について説明する図である。
【
図40】本開示の実施例4の画像処理シーケンスについて説明するフローチャートを示す図である。
【
図41】本開示の実施例4bで利用するマルチスペクトルカメラについて説明する図である。
【
図42】本開示の実施例4bで利用する特集光源について説明する図である。
【
図43】本開示の実施例4bの撮像装置の出力ばらつき調整例について説明する図である。
【
図44】実施例1~4の処理をまとめて説明する図である。
【
図45】帯域対応ゲイン等のカメラ固有の調整データの転送、および利用処理構成について説明する図である。
【
図46】本開示の画像処理装置の一例である撮像装置(マルチスペクトルカメラ)の構成例について説明する図である。
【
図47】本開示の画像処理装置、および画像処理システムの構成例について説明する図である。
【
図48】本開示の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0027】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.マルチスペクトルカメラの概要について
2.マルチスペクトルカメラの個体ばらつきを調整する一般的手法について
3.本開示の撮像装置、画像処理装置の実行する処理の概要について
4.帯域対応画素値算出処理について
5.帯域対応ゲイン算出処理と、帯域対応ゲイン調整処理について
6.本開示の画像処理装置が実行する処理のシーケンスについて
7.帯域対応ゲイン算出処理をカメラ利用時に実行する構成と処理例について
8.マルチスペクトルカメラの分光特性パラメータ(分離係数)の算出処理について
9.本開示の処理を適用した具体的実施例について
9-1(実施例1)デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例
9-2(実施例2)温度補償を実行して帯域対応ゲイン算出、帯域対応ゲイン調整を行う実施例
9-3(実施例3)特殊光源を用いた帯域対応ゲインの算出処理、および分光特性パラメータ(分離係数)の算出処理を実行する実施例
9-4(実施例4)基準機の測定済み分光特性パラメータ(分離係数)と特殊光源を併用し、帯域対応ゲインおよび分光特性パラメータ(分離係数)の算出処理を実行する実施例
10.実施例1~4の処理のまとめ
11.帯域対応ゲイン等のカメラ固有の調整データの転送、および利用処理構成について
12.本開示の画像処理装置、および画像処理システムの構成例について
13.画像処理装置のハードウェア構成例について
14.本開示の構成のまとめ
【0028】
[1.マルチスペクトルカメラの概要について]
まず、マルチスペクトルカメラの概要について説明する。
前述したように、マルチスペクトルカメラは、カラーフィルタに併せて特定の波長光のみを通過させるバンドパスフィルタ(BPフィルタ)を用いたカメラである。
【0029】
バンドパスフィルタ(BPフィルタ)とカラーフィルタを通過させた光を撮像素子に入力することで、バンドパスフィルタ(BPフィルタ)を通過する特定波長光成分を高精度に撮像素子の画素に入力させることが可能となる。
【0030】
図1にマルチスペクトルカメラ10の一構成例を示す。
図1に示すマルチスペクトルカメラ10は、例えば植物の活性度を解析するために用いられる。具体的には、例えば撮影画像に含まれるR(赤)成分とNIR(近赤外)成分を解析するための画像を撮影するカメラである。
【0031】
前述したように植物の活性度の指標値としてNDVI(Normalized Difference Vegetation Index)がある。
カメラ撮影画像の解析により、画像内に撮影された植物のNDVIを算出することで、撮影された画像内の植物の活性度を推定することができる。
このNDVI算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。
【0032】
図1に示すマルチスペクトルカメラ10のレンズ11を介して入力した被写体の撮影光は、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13を介して撮像素子(イメージセンサ)14に入力する。
【0033】
デュアルバンドパスフィルタ(DBP)12は、2つの異なる波長光成分の光を選択的に透過するフィルタである。
ここで説明するデュアルバンドパスフィルタ(DBP)12は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
【0034】
カラーフィルタ(RGBカラーフィルタ)13は、RGB各色成分の波長光を各画素単位で透過させるフィルタである。例えばベイヤ配列のRGBフィルタである。
【0035】
撮像素子(イメージセンサ)14の各画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のR(赤)またはG(緑)またはB(青)フィルタを通過した光が入力される。
【0036】
撮像素子(イメージセンサ)14のR画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のR(赤)フィルタを通過した光が入力する。
撮像素子(イメージセンサ)14のG画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のG(緑)フィルタを通過した光が入力する。
撮像素子(イメージセンサ)14のB画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のB(青)フィルタを通過した光が入力する。
【0037】
図2は、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13の分光特性を説明するグラフを示す図である。
横軸が波長(400~1000nm)、縦軸がフィルタ透過光の信号強度(相対値)を示している。
【0038】
カラーフィルタ(RGBカラーフィルタ)13を構成するカラーフィルタ(B)の透過光は、その多くが約450nm近傍の波長光であるB(青)成分であるが、その他の波長成分の光も少なからず透過していることが分かる。
また、カラーフィルタ(G)の透過光は、その多くが約540nm近傍の波長光であるG(緑)成分であるが、その他の波長成分の光も含まれる。
同様に、カラーフィルタ(R)の透過光は、その多くが約650nm近傍の波長光であるR(赤)成分であるが、その他の波長成分の光も含まれる。
【0039】
デュアルバンドパスフィルタ(DBP)12の透過光は、約650nm近傍の波長光であるR(赤)成分と、約900nm近傍の波長光であるNIR(近赤外)成分の2つの波長光成分である。
【0040】
次に、
図3を参照して、
図2に示す分光特性を持つデュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13を利用して画像撮影を行った場合の撮像素子(イメージセンサ)14の構成画素であるR画素とB画素各画素の画素値算出例について説明する。
【0041】
図3には、以下の各画素の画素値算出例を示している。
(1)R画素の画素値
(2)B画素の画素値
【0042】
まず、(1)R画素の画素値算出例について説明する。
撮像素子(イメージセンサ)14の構成画素であるR画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のR(赤)フィルタを通過した光が入力する。
【0043】
前述したように、カラーフィルタ(R)の透過光は、その多くが約650nm近傍の波長光であるR(赤)成分であるが、その他の波長成分の光も含まれる。
デュアルバンドパスフィルタ(DBP)12の透過光は、約650nm近傍の波長光であるR(赤)成分と、約900nm近傍の波長光であるNIR(近赤外)成分の2つの波長光成分である。
【0044】
結果として、撮像素子(イメージセンサ)14の構成画素であるR画素の画素値は、
図3(1)に示す信号S1と信号S2の加算信号に相当する画素値となる。
すなわち、
R画素の画素値:Rraw=S1+S2
である。
なお、Rrawのrawは、ロー画像(RAW画像)を意味する。すなわち、信号処理の施されていない撮像素子上の画素値である。
【0045】
次に、(2)B画素の画素値算出例について説明する。
撮像素子(イメージセンサ)14の構成画素であるB画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のB(青)フィルタを通過した光が入力する。
【0046】
カラーフィルタ(B)の透過光は、その多くが約450nm近傍の波長光であるB(青)成分であるが、その他の波長成分の光も含まれる。
デュアルバンドパスフィルタ(DBP)12の透過光は、約650nm近傍の波長光であるR(赤)成分と、約900nm近傍の波長光であるNIR(近赤外)成分の2つの波長光成分である。
【0047】
結果として、撮像素子(イメージセンサ)14の構成画素であるB画素の画素値は、
図3(2)に示す信号S3と信号S4の加算信号に相当する画素値となる。
すなわち、
B画素の画素値:Braw=S3+S4
である。
【0048】
なお、これらR画素の画素値とB画素の画素値を用いて、以下のようなR(赤)信号、およびNIR(近赤外)信号、各波長光成分の算出が可能となる。
図3(1),(2)を見ると、S2≒S4であり、S3≒0であることが分かる。
この関係から、約650nm近傍の波長光であるR(赤)成分信号は、以下の算出式によって算出できる。
R=(S1+S2)-(S3+S4)
=Rraw-Braw
上記式を用いれば、被写体に含まれるR(赤)成分信号の高精度な値を撮像素子のロー画像(RAW画像)のR画素値(Rraw)とB画素値(Braw)から算出することができる。
【0049】
同様に、約900nm近傍の波長光であるNIR(近赤外)成分信号は、
NIR=S4
≒(S3+S4)
=Braw
である。
上記式を用いれば、被写体に含まれるNIR(近赤外)成分信号の高精度な値を撮像素子のB画素値(Braw)から算出することができる。
【0050】
このように、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13を介して撮像素子(イメージセンサ)14に入力する画素の画素値(Rraw,Braw)に基づいて、特定波長帯域の信号(R,NIR)の高精度な値を算出することが可能となる。
この解析値を用いることで例えば植物の活性度指数を高精度に算出することができる。
【0051】
なお、
図1に示すようなマルチスペクトルカメラ10の撮像素子(イメージセンサ)14から出力されるRAW画像の画素値から特定波長帯域の真の画素値を算出する場合、一般的にはマトリクス演算が利用される。例えば、以下の(式11)に従って、撮像素子の出力として得られるRAW画像画素値であるR画素値(Rraw)とB画素値(Braw)を用いて、R(赤)成分信号とNIR(近赤外)成分信号の高精度な値を算出することができる。
【0052】
【0053】
上記(式11)のマトリクスのマトリクス要素であるG1、G2、G3、G4の値を適切に選択することで、RED帯域、NIR帯域の信号を効率的かつ高精度に算出することが可能となる。
【0054】
最も簡単な例としては、B画素値(Braw)に含まれるR(赤)帯域の信号レベル(
図3(2)の信号S3)は小さいとみなし、マトリクス要素を、
G1=1、G2=-1、G3=0、G4=1
とする。このようなマトリクスを用いることで、先に説明したと同様な信号算出式、すなわち、
R=Rraw-Braw
NIR=Braw
上記と同じ算出処理を行うことができる。
【0055】
しかし、R(赤)帯域の信号と、NIR(近赤外)帯域の信号の分離特性が不十分であり、精度の高い結果を得るのは難しい。
【0056】
さらに、光源や被写体が変わると、「B画素値(Braw)に含まれるNIR(近赤外)帯域の信号レベル(
図3(2)の信号S4)」と、「R画素値(Rraw)に含まれるR(赤)帯域の信号レベル(
図3(1)の信号S1)」との割合が変化するため、上記のマトリクス要素(G1~G4)と同一の値を用いて各帯域の画素値を算出しても、高精度な値が得られ難いという問題がある。
【0057】
[2.マルチスペクトルカメラの個体ばらつきを調整する一般的手法について]
次に、マルチスペクトルカメラの個体ばらつきを調整する一般的手法について説明する。
【0058】
前述したように、マルチスペクトルカメラの利用例の一つとして植物の活性度の解析処理がある。マルチスペクトルカメラの撮影画像に含まれるR(赤)成分とNIR(近赤外)成分を解析することで植物の活性度を判定するものである。
具体的には、例えば前述した植物の活性度の指標値であるNDVI値を算出するために用いられる。
このNDVI算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。
【0059】
しかし、ここで問題となるのが、撮像装置(カメラ)の個体差である。特にカラーフィルタの特性は均一にすることが困難であり、各撮像装置に装着されるフィルタの特性にばらつきが発生する。この結果、撮像装置の撮影画像に基づく出力値もばらついてしまうという問題がある。
【0060】
このように出力値がばらつく撮像装置を利用して上述した植物活性度を示す植生指標であるNDVI値を算出すると、撮像装置ごとに異なる値が算出されることになり、植物の活性度を正確に算出することができなくなる。
【0061】
まず、
図4以下を参照して、撮像装置の出力ばらつきを解消するための一般的な調整例について説明する。
図4には、以下の2つの図を示している。
(1)カメラ製造時の処理
(2)カメラ利用時(撮影時)の処理
【0062】
(1)カメラ製造時の処理は、例えばカメラ製造工場において、マルチスペクトルカメラを大量生産する場合に、各カメラの出力値を均一にするための調整値、具体的にはゲインを算出して、各カメラのメモリに格納する処理を説明する図である。
(2)カメラ利用時(撮影時)の処理は、カメラ製造時にカメラ内のメモリに記録したゲインの値を利用して出力値を調整して均一化する処理を説明する図である。
【0063】
まず、「(1)カメラ製造時の処理」について説明する。
基準カメラX(基準機)21は、1台の基準となるカメラである。調整カメラY(調整機)22は、製造、販売するカメラである。
調整カメラY(調整機)22の出力を、基準カメラX(基準機)21の出力に一致させるための出力調整パラメータ、すなわちゲインを算出して、調整カメラY(調整機)22のメモリ23に格納する。
【0064】
基準カメラX(基準機)21と、調整カメラY(調整機)22により同一被写体を撮影し、それぞれの撮像素子出力値を取得する。それぞれのカメラはフィルタと撮像素子が備えられており、これらの特性は完全一致していいないものであるため、各カメラの出力値には差がある。
【0065】
基準カメラX(基準機)21の撮像素子出力値Xoutを
Xout=(Rx,Gx,Bx)とする。
RxはRフィルタの透過画素値であり、GxはGフィルタの透過画素値、BxはBフィルタの透過画素値である。
調整カメラY(調整機)22の撮像素子出力値Youtを
Yout=(Ry,Gy,By)とする。
XoutとYoutの各画素値は、各カメラの個体差、特にカラーフィルタの特性の差によって異なる値となってしまう。
【0066】
基準カメラX(基準機)21の撮像素子出力値Xout、
Xout=(Rx,Gx,Bx)と、
調整カメラY(調整機)22の撮像素子出力値Yout、
Yout=(Ry,Gy,By)
これらの2つの出力値を、各色対応ゲイン算出部31に入力する。
【0067】
各色対応ゲイン算出部31は、2つのカメラ21,22の各色(RGB)の出力値を比較し、調整カメラY(調整機)22の撮像素子出力値Yout、
Yout=(Ry,Gy,By)を、
基準カメラX(基準機)21の撮像素子出力値Xout、
Xout=(Rx,Gx,Bx)
に一致させるためのゲイン(Gain)を算出する。
【0068】
ゲインGainは、以下の各色(RGB)対応のゲインである。
Gain=(Rg,Gg,Bg)
各色対応のゲインの具体的な値は、以下の通りである。
Rg=Rx/Ry
Gg=Gx.Gy
Bg=Bx/Yb
【0069】
このようにして算出した各色対応のゲイン、
Gain=(Rg,Gg,Bg)
このゲインの値を調整カメラY(調整機)22のメモリ23に格納する。
【0070】
次に、「(2)カメラ利用時(撮影時)の処理」について説明する。
調整カメラY(調整機)22は、メモリ23に「(1)カメラ製造時の処理」において算出した各色対応ゲイン、すなわち、
Gain=(Rg,Gg,Bg)
=((Rx/Ry),(Gx/Gy),(Bx/By))
この各色対応ゲインを格納している。
【0071】
まず、調整カメラY(調整機)22により、ある被写体、例えば植物を撮影する。
この撮影処理における撮像素子出力値Youtを
Yout=(Ry,Gy,By)とする。
【0072】
次に、この撮像素子出力値Youtを各色対応ゲイン調整部33に入力して、ゲイン調整による各色の出力値調整を行う。
具体的には、撮像素子出力値Yout=(Ry,Gy,By)に対して、メモリ23に格納したGain=(Rg,Gg,Bg)=((Rx/Ry),(Gx/Gy),(Bx/By))
この各色対応のゲインを乗算して、出力値を調整し、調整出力値Y2を算出する。
調整出力値Y2は、以下の値となる。
出力調整値Y2=(Ry2,Gy2,By2)
=(Ry×Rg,Gy×Gg,By×Bg)
=(Ry×(Rx/Ry),Gy×(Gx/Gy),By×(Bx/By))
=(Rx,Gx,Bx)
【0073】
このようにして、調整カメラY(調整機)22の出力値Yout=(Ry,Gy,By)を基準カメラ(基準機)21の出力値に一致させた後、画像処理部34に入力して、先に
図2、
図3を参照して説明した演算等を実行して、R(赤)成分信号とNIR(近赤外)成分信号の信号値を算出する処理等を行う。
【0074】
この
図4に示す処理に従えば、調整カメラY(調整機)22の出力値Yout=(Ry,Gy,By)を基準カメラ(基準機)21の出力値に一致させて、調整カメラY(調整機)22でも、基準カメラ(基準機)21と全く同じ解析値を得ることができるように見える。
【0075】
しかし、実際には、この
図4に示すような処理によって算出した各色対応ゲインを適用した出力値調整を行っても調整カメラY(調整機)22の出力値に基づいて算出されるR(赤)成分信号とNIR(近赤外)成分信号の信号値は、基準カメラ(基準機)21の出力値に基づいて算出されるR(赤)成分信号とNIR(近赤外)成分信号の信号値とは異なってしまう場合がある。
【0076】
この理由について説明する。
マルチスペクトルカメラの撮像素子の出力値から、R(赤)成分信号とNIR(近赤外)成分信号の値を算出する場合、例えば先に説明したマトリクス演算、すなわち、(式11)に示すマトリクス演算によって算出する。
このマトリクス演算には、撮像素子の出力として得られるRAW画像画素値であるR画素値(Rraw)とB画素値(Braw)が用いられる。
【0077】
しかし、マルチスペクトルカメラの撮像素子のR画素値(Rraw)とB画素値(Braw)は、先に
図3を参照して説明したように、複数の異なる帯域(バンド)信号の加算値である。すなわち、
R=S1+S2
B=S3+S4
マルチスペクトルカメラの撮像素子のR画素値(Rraw)とB画素値(Braw)は、このように複数の異なる帯域(バンド)の信号値の加算値である。
【0078】
なお、S1~S4は、
図1に示すマルチスペクトルカメラのデュアルバンドパスフィルタ(DBP)12を透過する2つの帯域(バンド)の信号値である。
S1,S3は、デュアルバンドパスフィルタ(DBP)12の透過光中、約650nm近傍の波長光のR(赤)成分である。
S2,S4は、デュアルバンドパスフィルタ(DBP)12の透過光中、約900nm近傍の波長光であるNIR(近赤外)成分である。
【0079】
図4を参照して説明した基準カメラ(基準機)21も、調整カメラY(調整機)22も、R画素値は、R=S1+S2として取得され、B画素値はS3+S4として取得される。
【0080】
しかし、これらの信号比率、すなわちR画素値の構成信号であるS1,S2の比率や、B画素値の構成信号であるS3,S4の比率は、光源や被写体が変わると変化する。従って、ある一つの条件の下で算出したゲインを、異なる条件下での撮影画像に適用しても正確な調整ができない。
すなわち、カメラ製造時に算出したゲインを、製造時と異なる条件下で撮影した画像に対して適用しても、調整機の出力を基準機の出力に一致させることができなくなる。
【0081】
[3.本開示の撮像装置、画像処理装置の実行する処理の概要について]
次に、本開示の撮像装置、画像処理装置の実行する処理の概要について説明する。
【0082】
上述したように、マルチスペクトルカメラの撮像素子の出力は、バンドパスフィルタの透過帯域(バンド)各々に対応する帯域信号の混在信号となる。
本開示の撮像装置、および画像処理装置では、マルチスペクトルカメラの撮像素子の出力に含まれる各帯域信号を分離して、分離した帯域信号単位のゲインを算出して適用する。この処理によって算出されるゲインは、全て1つの帯域対応のゲインであり、複数帯域の混在信号に対応するゲインとならない。
【0083】
前述したように、複数帯域の信号の混在信号では、撮影条件の変化により画素値に含まれる各帯域信号の比率が変化してしまうため、1つのある条件下で算出したゲインを異なる条件下で撮影した画像に適用しても正確なゲイン調整が困難となるが、本開示の処理で算出するゲインは、全て1つの帯域対応のゲインであり、撮影条件が変化しても利用可能であり、調整機の出力を基準機に一致させることが可能となる。
【0084】
図5、
図6を参照して、本開示の処理による撮像装置の出力ばらつき調整例について説明する。
図5、
図6には、先に
図4を参照して説明したと同様、以下の2つの図を示している。
(1)カメラ製造時の処理
(2)カメラ利用時(撮影時)の処理
【0085】
図5に示す本開示の処理を適用した「(1)カメラ製造時の処理」では、
図4を参照して説明した色対応ゲイン、すなわちRGB各色対応のゲイン算出ではなく、各色に含まれる帯域(バンド)単位のゲイン算出を行う。
また、
図6に示す本開示の処理を適用した「(2)カメラ利用時(撮影時)の処理」では、
図4を参照して説明した色対応ゲインの適用処理、すなわちRGB色単位のゲイン適用処理ではなく、各色に含まれる帯域(バンド)単位のゲイン適用処理による出力値調整処理を行う。
【0086】
まず、
図5を参照して、本開示の「(1)カメラ製造時の処理」について説明する。
この処理は、例えばカメラ製造工場において、マルチスペクトルカメラを大量生産する場合に、各カメラの出力値を均一にするための調整値、具体的にはゲインを算出して、各カメラのメモリに格納する処理を説明する図である。
本開示の処理では、上述したように、RGB各色単対応のゲイン算出ではなく、各色に含まれる帯域(バンド)単位のゲイン算出を行う。
【0087】
基準カメラX(基準機)50は、1台の基準となるカメラである。調整カメラY(調整機)120は、製造、販売するカメラである。
調整カメラY(調整機)60の出力を、基準カメラX(基準機)50の出力に一致させるための出力調整パラメータとして、各色に含まれる帯域(バンド)対応ゲインを算出して、調整カメラY(調整機)60のメモリ61に格納する。
【0088】
基準カメラX(基準機)50と、調整カメラY(調整機)60により同一被写体を撮影し、それぞれの撮像素子出力値を取得する。それぞれのカメラはフィルタと撮像素子が備えられており、これらの特性は完全一致していいないものであるため、各カメラの出力値には差がある。
【0089】
基準カメラX(基準機)50の撮像素子出力値Xoutを
Xout=(Rx,Gx,Bx)とする。
RxはRフィルタの透過画素値であり、GxはGフィルタの透過画素値、BxはBフィルタの透過画素値である。
調整カメラY(調整機)60の撮像素子出力値Youtを
Yout=(Ry,Gy,By)とする。
XoutとYoutの各画素値は、各カメラの個体差、特にカラーフィルタの特性の差によって異なる値となってしまう。
【0090】
基準カメラX(基準機)50の撮像素子出力値Xout、
Xout=(Rx,Gx,Bx)と、
調整カメラY(調整機)60の撮像素子出力値Yout、
Yout=(Ry,Gy,By)
これらの2つの出力値を、それぞれ基準機帯域対応画素値算出部71、調整機帯域対応画素値算出部72に入力する。
【0091】
なお、
図5に示す基準機帯域対応画素値算出部71、調整機帯域対応画素値算出部72、帯域対応ゲイン算出部73、これらの処理部は、各カメラ50,60外の画像処理装置内に構成してもよいし、各カメラ50,60内部に構成してもよい。
例えば、基準機帯域対応画素値算出部71は、基準カメラX(基準機)50内に構成し、調整機帯域対応画素値算出部72と帯域対応ゲイン算出部73は、調整カメラY(調整機)内に構成するといった設定が可能である。
【0092】
基準機帯域対応画素値算出部71は、基準カメラX(基準機)50の撮像素子出力値Xout=(Rx,Gx,Bx)を入力し、これらの各色対応の画素値に含まれる各帯域(バンド)単位の信号値、すなわち、基準機帯域対応画素値(Xbandout)を算出する。
具体的には、例えば先に
図3を参照して説明した帯域(バンド)単位の信号値S1等を算出する。
この帯域対応画素値の算出処理の詳細については後段で説明する。
【0093】
同様に、調整機帯域対応画素値算出部72は、調整カメラY(調整機)60の撮像素子出力値Yout=(Ry,Gy,By)を入力し、これらの各色対応の画素値に含まれる各帯域(バンド)単位の信号値、すなわち、調整機帯域対応画素値(Ybandout)を算出する。
【0094】
基準機帯域対応画素値算出部71の算出した基準カメラX(基準機)60の基準機帯域対応画素値Xbandoutと、調整機帯域対応画素値算出部72の算出した調整カメラY(調整機)の調整機帯域対応画素値Ybandoutは、帯域対応ゲイン算出部73に入力する。
【0095】
帯域対応ゲイン算出部73は、2つのカメラ50,60の帯域対応画素値同士を比較して、調整カメラY(調整機)60の調整機帯域対応画素値Ybandoutを、基準カメラX(基準機)50の基準機帯域対応画素値Xbandoutに一致させるためのゲイン、すなわち帯域対応ゲイン(BandGain)を算出する。
帯域対応ゲイン算出部73が算出した帯域対応ゲインは、調整カメラY(調整機)60のメモリ61に格納される。
【0096】
なお、1つの基準カメラX(基準機)50が、多数の調整カメラY(調整機)60の帯域対応ゲインの算出処理に用いられる。
すなわち、基準カメラX(基準機)50の撮影画像に基づく基準機帯域対応画素値算出部71によって算出された基準機帯域対応画素値は、多数の調整カメラY(調整機)60の帯域対応ゲインの算出処理に用いることができる。
【0097】
従って、基準カメラX(基準機)50の撮影画像に基づく基準機帯域対応画素値算出部71によって算出された基準機帯域対応画素値を、例えば基準カメラX(基準機)50のメモリ、あるいは外部装置のメモリに格納し、このメモリ格納データを、その後の他の調整カメラY(調整機)60の帯域対応ゲイン算出処理に適用することができる。
基準カメラの測定値をメタデータとして伝送することで、後段の処理で分離性能をあげるような改善が可能となる。この場合には、ゲイン調整も含めて後段で行うことになり、基準カメラの演算を毎回行うことになる。
【0098】
次に、
図6を参照して、本開示の処理を適用した「(2)カメラ利用時(撮影時)の処理」について説明する。
【0099】
(2)カメラ利用時(撮影時)には、カメラ製造時にカメラ内のメモリに記録したゲインの値を利用して出力値を調整して、出力値を基準機と同様の値に調整する処理を実行する。
【0100】
調整カメラY(調整機)60は、メモリ61には「(1)カメラ製造時の処理」において算出した帯域対応ゲイン(BandGain)が格納されている。
【0101】
まず、調整カメラY(調整機)60により、ある被写体、例えば植物を撮影する。
この撮影処理における撮像素子出力値Youtを
Yout=(Ry,Gy,By)とする。
【0102】
次に、この撮像素子出力値Youtを調整機帯域対応画素値算出部81に入力する。
なお、
図6に示す調整機帯域対応画素値算出部81、帯域対応ゲイン調整部82、これらの処理部は、調整カメラY(調整機)60外の画像処理装置内に構成してもよいし、調整カメラY(調整機)60内部に構成してもよい。
【0103】
調整機帯域対応画素値算出部81は、調整カメラY(調整機)60の撮像素子出力値Yout=(Ry,Gy,By)を入力し、これらの各色対応の画素値に含まれる各帯域(バンド)単位の信号値を算出する。
図6に示す調整機帯域対応画素値Ybandoutである。
撮像素子の各色対応の画素値に含まれる各帯域(バンド)対応の信号値の算出処理の具体例については後段で詳細に説明する。
【0104】
調整機帯域対応画素値算出部81の算出した調整機帯域対応画素値Ybandoutは、帯域対応ゲイン調整部82に入力される。
【0105】
帯域対応ゲイン調整部82は、調整機帯域対応画素値算出部81から入力した調整機帯域対応画素値(Ybandout)に対して、調整カメラY(調整機)60のメモリ61に格納されている帯域対応ゲイン(BandGain)を適用して出力値を調整し、帯域対応ゲイン調整出力値Yout2を算出する。
【0106】
この処理により、帯域対応ゲイン調整出力値Yout2は、撮影条件に関わらず、基準機の出力値と一致する出力となる。帯域対応ゲイン調整出力値Yout2は、画像処理部83に入力され、例えば先に
図2、
図3を参照して説明した演算等を実行して、R(赤)成分信号とNIR(近赤外)成分信号の信号値を算出する処理等を行う。
【0107】
この
図5、
図6を参照して説明した処理では、各カメラの撮像素子の各色出力値をさらに各帯域(バンド)信号に分離し、帯域信号対応ゲインを算出して、帯域対応ゲインを用いて調整カメラY(調整機)60の出力値を調整する。
このような処理を行うことで、各カメラのフィルタ特性の差異に基づく出力値のずれを解消して、調整カメラY(調整機)60の出力値Yout=(Ry,Gy,By)を基準カメラ(基準機)50の出力値に一致させることが可能となる。
【0108】
[4.帯域対応画素値算出処理について]
次に、帯域対応画素値算出処理について説明する。
図5を参照して説明した「(1)カメラ製造時の処理」における基準機帯域対応画素値算出部71、および調整機帯域対応画素値算出部72では、各々、基準カメラX(基準機)50と、調整カメラY(調整機)60の帯域対応画素値を算出する。
【0109】
前述したように、基準機帯域対応画素値算出部71は、基準カメラX(基準機)50の撮像素子出力値Xout=(Rx,Gx,Bx)を入力し、これらの各色対応の画素値に含まれる各帯域(バンド)単位の信号値、すなわち、基準機帯域対応画素値(Xbandout)を算出する。
具体的には、例えば先に
図3を参照して説明したように、バンドパスフィルタの透過光帯域(バンド)単位の信号値を基準機帯域対応画素値(Xbandout)として算出する。
【0110】
同様に、調整機帯域対応画素値算出部72は、調整カメラY(調整機)60の撮像素子出力値Yout=(Ry,Gy,By)を入力し、これらの各色対応の画素値に含まれる各帯域(バンド)単位の信号値、すなわち、バンドパスフィルタの透過光帯域(バンド)単位の信号値を調整機帯域対応画素値(Ybandout)として算出する。
【0111】
また、
図6を参照して説明した「(2)カメラ利用時(撮影時)の処理」における調整機帯域対応画素値算出部81も、調整カメラY(調整機)60の撮像素子出力値Yout=(Ry,Gy,By)を入力し、これらの各色対応の画素値に含まれる各帯域(バンド)単位の信号値、すなわち、バンドパスフィルタの透過光帯域(バンド)単位の信号値を調整機帯域対応画素値(Ybandout)として算出する。
【0112】
以下、本開示の撮像装置、画像処理装置が実行する撮像素子の出力画素値から帯域対応画素値を算出する処理の詳細について説明する。なお、撮像装置は、画像処理装置の一構成例であり、以下の説明において、画像処理装置は撮像装置を含むものである。
【0113】
本開示の画像処理装置は、カラーフィルタとマルチバンドパスフィルタ(MBP)の透過光に基づく撮影画像に対する信号処理を行うことで限定された波長帯域単位のノイズの少ない狭帯域信号、例えばR,G,B,IR各々のノイズの少ない特定帯域の信号を取得し、取得した帯域信号に対応するゲインの算出と適用を行う。
ゲインは調整機の出力を基準機の出力に一致させるための調整パラメータである。
【0114】
図7に本開示の画像処理装置の一例であるマルチスペクトルカメラ100の構成例を示す。
図7に示すマルチスペクトルカメラ100の構成は、
図5に示す基準カメラX(基準機)50、および、
図5、
図6に示す調整カメラY(調整機)60の構成に相当する。
【0115】
図5を参照して説明した「(1)カメラ製造時の処理」を実行する際は、
図7に示す構成を有する基準カメラX(基準機)50と、調整カメラY(調整機)60を用いて、
図5を参照して説明した処理を実行する。
また、
図6を参照して説明した「(2)カメラ利用時(撮影時)の処理」を実行する際は、
図7に示す構成を有する調整カメラY(調整機)60を用いて、
図6を参照して説明した処理を実行する。
【0116】
図7に示すマルチスペクトルカメラ100の構成と処理について説明する。
図7に示すマルチスペクトルカメラ100において、レンズ101を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103を介して撮像素子(イメージセンサ)104に入力する。
【0117】
さらに、撮像素子(イメージセンサ)104の画素値(Rraw,Graw,Braw,IRraw)は信号処理部105に入力され、信号処理がなされる。
信号処理部105は、撮像素子(イメージセンサ)104の画素値(Rraw,Graw,Braw,IRraw)からノイズ成分を除去し、R,G,B,IRの各信号の高精度な値、すなわちR,G,B,IR各帯域に相当する帯域対応画素値を算出する。
【0118】
なお、この信号処理部105は、マルチスペクトルカメラ100内に構成してもよいし、外部の装置に構成してもよい。
この信号処理部105は、上述した帯域対応画素値算出処理の他、帯域対応ゲイン算出処理、帯域対応ゲイン調整処理等も実行する。
【0119】
信号処理部105が実行する帯域対応画素値算出処理は、例えば、
図5に示す基準機帯域対応画素値算出部71、調整機帯域対応画素値算出部72や、
図6に示す調整機帯域対応画素値算出部81の実行する処理に相当する。
また、信号処理部105が実行する帯域対応ゲイン算出処理は、例えば、
図5に示す帯域対応ゲイン算出部73が実行する処理に相当する。
また、信号処理部105が実行する帯域対応ゲイン調整処理は、例えば、
図6に示す帯域対応ゲイン調整部82が実行する処理に相当する。
【0120】
マルチバンドパスフィルタ(MBP)102は、複数の帯域光を選択的に透過させるフィルタである。
【0121】
図7に示す構成では、カラーフィルタ(RGBIRカラーフィルタ)103は、R,G,B,IRの4種類のフィルタ領域を有しており、マルチバンドパスフィルタ(MBP)102も、これらR,G,B,IRの4種類の波長を選択的に透過するフィルタとして構成した例である。
【0122】
撮像素子104のRGBIR画素に入力する各波長光の分布データの一例について
図8を参照して説明する。
図8は、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103の分光特性を示す図である。
横軸が波長(400~1000nm)、縦軸がフィルタ透過光の信号強度(相対値)を示している。
【0123】
カラーフィルタ(RGBカラーフィルタ)103を構成するカラーフィルタ(B)の透過光は、その多くが約450nm近傍の波長光であるB(青)成分であるが、その他の波長成分の光も少なからず透過していることが分かる。
また、カラーフィルタ(G)の透過光は、その多くが約540nm近傍の波長光であるG(緑)成分であるが、その他の波長成分の光も含まれる。
カラーフィルタ(R)の透過光は、その多くが約650nm近傍の波長光であるR(赤)成分であるが、その他の波長成分の光も含まれる。
同様に、カラーフィルタ(IR)の透過光は、その多くが約950nm近傍の波長光であるNIR(近赤外)成分であるが、その他の波長成分の光も含まれる。
【0124】
また、マルチバンドパスフィルタ(MBP)102の透過光は、全面において、以下の4種類の波長成分を選択的に透過する。
(1)約450nm近傍の波長光であるB(青)成分、
(2)約540nm近傍の波長光であるG(緑)成分、
(3)約650nm近傍の波長光であるR(赤)成分、
(4)約900nm近傍の波長光であるNIR(近赤外)成分、
【0125】
撮像素子(イメージセンサ)104のR画素、すなわちカラーフィルタ103のR領域透過光受光画素であるR画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のR(赤)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のR画素の画素値をRrawとする。
【0126】
撮像素子(イメージセンサ)104のG画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のG(緑)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のG画素の画素値をGrawとする。
【0127】
撮像素子(イメージセンサ)104のB画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のB(青)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のB画素の画素値をBrawとする。
【0128】
撮像素子(イメージセンサ)104のIR画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のNIR(近赤外)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のIR画素の画素値をIRrawとする。
【0129】
撮像素子104のRAW画像画素値:Rraw,Graw,Braw,IRraw、これらの各画素値は、RGBIR各々の狭帯域信号のみならず、その他の波長のノイズが含まれたものとなる。
信号処理部105は、撮像素子104のRAW画像画素値(Rraw,Graw,Braw,IRraw)を入力して、これらの画素値からノイズ成分を除去して、RGBIRの各波長の高精度な画素値、すなわち帯域対応画素値を算出する。
【0130】
図9以下を参照して信号処理部105の実行する具体的な信号処理例について説明する。
なお、以下の説明においては、本開示の構成、処理を一般化して説明するため、カラーフィルタ103を、
図9に示すように4種類の異なる波長信号A~Dを透過させるABCDカラーフィルタによって構成されたものとして説明する。
【0131】
ABCDカラーフィルタは、
主に帯域Aの波長光を透過させるA帯域フィルタ、
主に帯域Bの波長光を透過させるB帯域フィルタ、
主に帯域Cの波長光を透過させるC帯域フィルタ、
主に帯域Dの波長光を透過させるD帯域フィルタ、
これら4種類の帯域フィルタによって構成されたカラーフィルタである。
【0132】
なお、本開示の画像処理装置は、カラーフィルタとしては様々な構成が利用可能である。RGB3色のカラーフィルタ、RGBIR4色のカラーフィルタ、その他様々な異なるカラーフィルタが利用できる。
以下では、代表例として
図9に示すように4種類の異なる波長帯域A~Dを透過させるフィルタによって構成されたカラーフィルタを用いた場合の構成と処理例について説明する。
【0133】
図10は、
図9に示すABCDカラーフィルタを用いた本開示の画像処理装置の一構成例であるマルチスペクトルカメラ100を示した図である。
図10に示すマルチスペクトルカメラ100は、先に
図7を参照して説明したマルチスペクトルカメラ100のRGBIRカラーフィルタを、
図9に示す構成を持つABCD各帯域フィルタからなるABCDカラーフィルタに置き換えた構成である。
【0134】
マルチバンドパスフィルタ(MBP)102は、ABCDカラーフィルタを構成する4種類のフィルタA~Dに対応する4種類の異なる波長帯域の信号を選択的に透過させるフィルタである。
【0135】
図11は、先に説明した
図8と同様、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103の分光特性を示す図である。
横軸が波長(400~1000nm)、縦軸がフィルタ透過光の信号強度(相対値)を示している。
【0136】
カラーフィルタ(RGBカラーフィルタ)103を構成するカラーフィルタ(A)の透過光は、その多くが帯域A近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ(B)の透過光は、その多くが帯域B近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ(C)の透過光は、その多くが帯域C近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ(D)の透過光は、その多くが帯域D近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
【0137】
また、マルチバンドパスフィルタ(MBP)102の透過光は、全面において帯域A~Dの4種類の波長成分を選択的に透過する。
【0138】
撮像素子(イメージセンサ)104のA画素、すなわちカラーフィルタ103の領域Aの透過光を受光するA画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のA帯域フィルタを通過した光が入力する。A画素のRAW画像画素値をArawとする。
【0139】
撮像素子(イメージセンサ)104のB画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のB帯域フィルタを通過した光が入力する。B画素のRAW画像画素値をBrawとする。
【0140】
撮像素子(イメージセンサ)104のC画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のC帯域フィルタを通過した光が入力する。C画素のRAW画像画素値をCrawとする。
【0141】
撮像素子(イメージセンサ)104のD画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のD帯域フィルタを通過した光が入力する。D画素のRAW画像画素値をDrawとする。
【0142】
撮像素子104のRAW画像画素値:Araw,Braw,Craw,Draw、これらの各画素値は、ABCD各々の狭帯域信号のみならず、その他の波長のノイズが含まれたものとなる。
信号処理部105は、撮像素子104のRAW画像画素値(Araw,Braw,Craw,Draw)を入力して、これらの画素値からノイズ成分を除去して、ABCD各帯域の高精度な画素値を算出する。
【0143】
図11の下部には、撮像素子104のAraw,Braw,Craw,Drawの各画素値の算出式を示している。撮像素子104のAraw,Braw,Craw,Drawの各RAW画像画素値は以下の算出式によって算出できる。
Araw=a1+a2+a3+a4
Braw=b1+b2+b3+b4
Craw=c1+c2+c3+c4
Draw=d1+d2+d3+d4
【0144】
a1,b2,c3,d4は、
図11のグラフに示す点に対応し、以下の各信号に相当する。
a1=RAW画像画素値Arawに含まれる帯域Aの信号成分、
a2=RAW画像画素値Arawに含まれる帯域Bの信号成分、
a3=RAW画像画素値Arawに含まれる帯域Cの信号成分、
a4=RAW画像画素値Arawに含まれる帯域Dの信号成分、
【0145】
b1=RAW画像画素値Brawに含まれる帯域Aの信号成分、
b2=RAW画像画素値Brawに含まれる帯域Bの信号成分、
b3=RAW画像画素値Brawに含まれる帯域Cの信号成分、
b4=RAW画像画素値Brawに含まれる帯域Dの信号成分、
【0146】
c1=RAW画像画素値Crawに含まれる帯域Aの信号成分、
c2=RAW画像画素値Crawに含まれる帯域Bの信号成分、
c3=RAW画像画素値Crawに含まれる帯域Cの信号成分、
c4=RAW画像画素値Crawに含まれる帯域Dの信号成分、
【0147】
d1=RAW画像画素値Drawに含まれる帯域Aの信号成分、
d2=RAW画像画素値Drawに含まれる帯域Bの信号成分、
d3=RAW画像画素値Drawに含まれる帯域Cの信号成分、
d4=RAW画像画素値Drawに含まれる帯域Dの信号成分、
【0148】
なお、撮像素子104のA画素のRAW画像画素値Arawに含まれる信号成分a1~a4の内、帯域Aに相当する信号はa1のみであり、その他のa2,a3,a4はノイズ信号に相当する。
同様に、撮像素子104のB画素のRAW画像画素値Brawに含まれる信号成分b1~b4の内、帯域Bに相当する信号はb2のみであり、その他のb1,b3,b4はノイズ信号に相当する。
同様に、撮像素子104のC画素のRAW画像画素値Crawに含まれる信号成分c1~c4の内、帯域Cに相当する信号はc3のみであり、その他のc1,c2,c4はノイズ信号に相当する。
同様に、撮像素子104のD画素のRAW画像画素値Drawに含まれる信号成分d1~d4の内、帯域Dに相当する信号はd4のみであり、その他のd1,d2,d3はノイズ信号に相当する。
【0149】
信号処理部105は、撮像素子104から、これらノイズ成分を含むRAW画像画素値(Araw~Draw)を入力して、ノイズ成分を除去した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する処理を実行する。
信号処理部105の実行する処理について
図12以下を参照して説明する。
【0150】
図12は、信号処理部105の実行する帯域対応画素値(a1,b2,c3,d4)算出処理を説明する図である。
信号処理部105は
図12に示すステップS01~S03の処理を実行する。
【0151】
(ステップS01)
図12に示すステップS01は、信号処理部105による撮像素子104からの入力画素値に基づく画素単位のRAW画像ベース画素値(Araw~Draw)の算出式生成処理である。
【0152】
図12(S01)には撮像素子104から入力するRAW画像に基づいて生成される画素単位のRAW画像ベース画素値(Araw~Draw)の算出式、すなわち以下のRAW画像ベース画素値算出式(式21)を示している。
Araw=a1+a2+a3+a4
Braw=b1+b2+b3+b4
Craw=c1+c2+c3+c4
Draw=d1+d2+d3+d4
・・・・・・・・(式21)
【0153】
なお、これらRAW画像ベース画素値(Araw~Draw)は、撮像素子の各画素単位で生成し、画素単位でステップS01~S03の処理を実行し、信号処理部105は、画素単位でノイズ成分を除去した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する。
【0154】
撮像素子104から出力するRAW画像は、ABCDカラーフィルタの配置に応じて各画素にABCD画素値が設定されたRAW画像であるが、信号処理部105は、このRAW画像にデモザイク処理を実行し、撮像素子104の各画素にABCD各画素値を設定する。上記(式21)に示すRAW画像ベース画素値(Araw~Draw)は、このデモザイク処理後の1つの同一画素の画素値である。
【0155】
なお、このようなデモザイク処理を省略し、所定の画素ブロック単位でステップS01~S03の処理を実行する構成としてもよい。
例えば撮像素子の2×2のABCD画素、すなわち4画素のブロックを1つの処理ブロックとして、この1つの処理ブロックの4つのRAW画像画素値(Araw~Draw)を、その4画素全体のRAW画像ベース画素値(Araw~Draw)として処理を行う構成も可能である。この場合、解像度は低下するがノイズ低減効果としては同様の効果が得られる。
【0156】
(ステップS02)
次に、信号処理部105は、ステップS02において、上記のRAW画像ベース画素値(Araw~Draw)から、ノイズ成分を除去した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する式を生成する。
【0157】
図12(S02)に示すように、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)算出式は、以下の(式22)として示される。
a1=Araw-a2-a3-a4
b2=Braw-b1-b3-b4
c3=Craw-c1-c2-a4
d4=Draw-d1-d2-d3
・・・・・・・・(式22)
【0158】
この(式22)は、上記(ステップS01)に示すRAW画像ベース画素値(Araw~Draw)算出式(式21)を展開して得られる式である。
【0159】
(ステップS03)
次に、信号処理部105は、ステップS03において、上記(ステップS02)で生成した真の帯域対応画素値(a1,b2,c3,d4)算出式に含まれるノイズ成分データを、マルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)に置き換えて、以下の(式23)として示す帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する帯域対応画素値算出式を生成する。
【0160】
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
【0161】
なお、分光特性パラメータ(Kan~Kdn)は、カメラ固有のパラメータであり、分離係数とも呼ばれる。
この分光特性パラメータ(Kan~Kdn)は、予め測定した値をメモリ内に格納しておく。なお、分光特性パラメータ(Kan~Kdn)は、例えば特殊光源を利用した画像撮影データに基づいて測定可能であり、この測定値をメモリに格納してもよい。この特殊光源を用いた画像撮影データに基づく分光特性パラメータ(Kan~Kdn)の算出処理の詳細については後段で説明する。
【0162】
上記(式23)に利用されるマルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)は以下のパラメータである。
Ka2=a2/b2
Ka3=a3/c3
Ka4=a4/d4
Kb1=b1/a1
Kb3=b3/c3
Kb4=b4/d4
Kc1=c1/a1
Kc2=c2/b2
Kc4=c4/d4
Kd1=d1/a1
Kd2=d2/b2
Kd3=d3/c3
【0163】
例えば、Ka2=a2/b2は、
図11に示すグラフの帯域B領域のフィルタAの透過信号a2と、フィルタBの透過信号b2の比率(a2/b2)である。
Ka3=a3/c3は、
図11に示すグラフの帯域C領域のフィルタAの透過信号a3と、フィルタCの透過信号c3の比率(a3/c3)である。
Ka4=a4/cdは、
図11に示すグラフの帯域D領域のフィルタAの透過信号a4と、フィルタDの透過信号d4の比率(a4/d4)である。
Kb1=b1/a1は、
図11に示すグラフの帯域A領域のフィルタBの透過信号b1と、フィルタAの透過信号a1の比率(b1/a1)である。
【0164】
以下、同様であり、マルチスペクトルカメラ100の分光特性パラメータは、カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域、すなわち、マルチバンドパスフィルタの透過光帯域における強度比である。
本例では、マルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)は帯域A~Dにおけるカラーフィルタを構成する各フィルタA~Dの透過信号の比率データである。
この分光特性パラメータ(Kan~Kdn)はカメラ固有のパラメータであり、予め測定可能な値である。
【0165】
本開示の画像処理装置であるマルチスペクトルカメラ100は、このマルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)をメモリに格納しており、メモリから取得したパラメータを用いて、
図12(ステップS03)に示す真の帯域対応画素値(a1,b2,c3,d4)算出式、すなわち帯域対応画素値算出式である(式23)に代入してa1,b2,c3,d4を算出する。
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
【0166】
なお、マルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)は、例えば外部機器や外部サーバから取得する構成としてもよい。
【0167】
信号処理部105は、まず、上記(式23)の等式の右側部分のa1,b2,c3,d4の初期値として、以下のRAW画像ベース画素値(Araw~Draw)を入力する。
a1=Araw
b2=Braw
c3=Craw
d4=Draw
【0168】
これらの値の代入処理により、帯域対応画素値算出式の初期設定式(式24)を生成する。
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・・・・・・(式24)
【0169】
信号処理部105は、上記初期設定式(式24)に従って算出したa1,b2,c3,d4を、さらに、先に説明した帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。
さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。
この演算を繰り返す。すなわち、帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返す「繰り返し演算」を実行する。
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
実際の反復計算によるa1,b2,c3,d4の収束例を
図13に示す。
【0170】
図13には、横軸に上記帯域対応画素値算出式(式23)による計算の実行回数、縦軸に真値との誤差(%)を示したグラフである。
グラフには、上記(式23)による計算を繰り返して得られるa1,b2,c3,d4の値の推移を示している。
グラフから理解されるように反復計算を6~7回実行することで、a1,b2,c3,d4の値は、ほぼ収束する。
【0171】
信号処理部105は、上記帯域対応画素値算出式(式23)を適用した反復計算による収束値を、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)とする。
【0172】
上記帯域対応画素値算出式(式23)を適用した反復計算によって画素値(a1,b2,c3,d4)が収束したか否かの判定については、例えば、n回目の反復計算による複数の画素値の算出結果と、直前のn-1回目の反復計算による算出結果との差分が、すべて所定のしきい値以下、例えば5%以下となった場合に収束したと判定するといった方法が適用可能である。
あるいは予め反復計算の実行回数を6回、あるいは7回等の規定回数として予め設定し、規定回数の反復計算終了時点で、収束したと判定する構成としてもよい。
【0173】
信号処理部105は、ステップS103における反復計算結果の収束値を、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)とする。
信号処理部105は、ステップS01~S03の処理を画素単位で実行することで、撮像素子を構成する全画素について、画素単位で帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する。
【0174】
なお、前述したように所定の画素ブロック単位で処理を実行し、ブロック単位で帯域対応画素値(a1,b2,c3,d4)を算出する構成としてもよい。
【0175】
なお、信号処理部105は、算出した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を利用して、その後、帯域対応ゲイン算出処理、あるいは帯域対応ゲイン調整処理を行う。
以下、これらの処理について説明する。
【0176】
[5.帯域対応ゲイン算出処理と、帯域対応ゲイン調整処理について]
次に、帯域対応ゲイン算出処理と、帯域対応ゲイン調整処理について説明する。
【0177】
先に
図5を参照して説明した「(1)カメラ製造時の処理」を実行する場合は、
帯域対応ゲイン算出部73が、基準カメラX(基準機)50と、調整カメラY(調整機)60の各々について、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出し、これらの2組の帯域対応画素値(a1,b2,c3,d4)に基づいて、帯域対応ゲインを算出する。
【0178】
また、先に
図6を参照して説明した「(2)カメラ利用時(撮影時)の処理」を実行する場合は、帯域対応ゲイン調整部82が、調整カメラY(調整機)60の真の帯域対応画素値(a1,b2,c3,d4)を算出し、メモリに格納済みの帯域対応ゲインを利用して、ゲイン調整を実行して、調整カメラY(調整機)60の帯域対応ゲイン調整出力値を算出する。
【0179】
これら、
図5に示す帯域対応ゲイン算出部73、および
図6に示す帯域対応ゲイン調整部82の処理は、例えば
図10に示すマルチスペクトルカメラ100の信号処理部105の処理として実行可能である。
【0180】
先に説明したように、帯域対応画素値算出処理や、帯域対応ゲイン算出処理、および帯域対応ゲイン調整処理は、カメラ内部の信号処理部で行ってもよいし、外部装置で実行してもよい。
ここでは、
図10に示すマルチスペクトルカメラ100の信号処理部105、例えば基準カメラX(基準機)50と、調整カメラY(調整機)60内の信号処理部各々において実行するものとして説明する。
【0181】
まず、
図5に示す「(1)カメラ製造時の処理」の帯域対応ゲイン算出部73の実行する処理について説明する。
信号処理部105は、
図5に示す帯域対応ゲイン算出部73における処理、すなわち帯域対応ゲインの算出処理を行う。
【0182】
信号処理部105は、前述したように、基準カメラX(基準機)50と、調整カメラY(調整機)60の各々について、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出し、これらの2組の帯域対応画素値(a1,b2,c3,d4)に基づいて、帯域対応ゲインを算出する。
【0183】
信号処理部105の算出する帯域対応ゲインは、例えば以下のようなゲインである。
基準カメラX(基準機)50の帯域A~D各々の帯域対応画素値を(ax1,bx2,cx3,dx4)、
調整カメラY(調整機)60の帯域A~D各々の帯域対応画素値を(ay1,by2,cy3,dy4)、
としたとき、信号処理部105は、以下の帯域対応ゲインを算出する。
帯域A対応ゲイン=ax1/ay1
帯域B対応ゲイン=bx2/by2
帯域C対応ゲイン=cx3/cy3
帯域D対応ゲイン=dx4/dy4
【0184】
信号処理部105(=帯域対応ゲイン算出部73)の算出した帯域対応ゲインは、先に
図5を参照して説明したように、調整カメラY(調整機)60のメモリ61に格納される。
【0185】
次に、先に
図6を参照して説明した「(2)カメラ利用時(撮影時)の処理」の帯域対応ゲイン調整部82の実行する処理について説明する。
調整カメラY(調整機)60の信号処理部105は、
図6に示す帯域対応ゲイン調整部82における処理、すなわち帯域対応ゲインに基づく出力値調整処理を行う。
【0186】
信号処理部105は、先に説明した帯域対応画素値算出処理により、調整カメラY(調整機)60の真の帯域対応画素値(a1,b2,c3,d4)を算出し、メモリ61に格納済みの帯域対応ゲインを利用して、ゲイン調整を実行して、調整カメラY(調整機)60の帯域対応ゲイン調整出力値を算出する。
【0187】
信号処理部105の算出する帯域対応ゲイン調整出力値は、例えば以下のような出力値である。
調整カメラY(調整機)60の帯域A~D各々の帯域対応画素値を(ay1,by2,cy3,dy4)、
メモリに格納済みの帯域A~D各々の帯域対応ゲインを、
帯域A対応ゲイン=ax1/ay1
帯域B対応ゲイン=bx2/by2
帯域C対応ゲイン=cx3/cy3
帯域D対応ゲイン=dx4/dy4
としたとき、信号処理部105は、以下の帯域対応ゲイン調整出力値を算出する。
帯域A対応ゲイン調整出力値=(ax1/ay1)×ay1=ax1
帯域B対応ゲイン調整出力値=(bx2/by2)×by2=bx2
帯域C対応ゲイン調整出力値=(cx3/cy3)×cy3=cx3
帯域D対応ゲイン調整出力値=(dx4/dy4)×dy4=dx4
【0188】
このような帯域対応ゲイン調整出力値算出処理により、調整カメラY(調整機)60の帯域対応画素値は、基準カメラX(基準機)50の出力値に一致した出力値となる。
この処理によって算出されるゲインは、帯域対応ゲインであり、複数の異なる帯域信号の混在信号に対応するゲインではないため、撮影条件(光源や被写体)によって大きく変化することがない。
従って、カメラ利用時(撮影時)撮影条件がカメラ製造時の撮影条件と異なる場合でも、カメラ製造時に算出したゲインを適用して調整機の出力を基準機に一致させることが可能となる。
【0189】
なお、例えば、先に
図6を参照して説明した「(2)カメラ利用時(撮影時)の処理」においては、信号処理部105は、さらに、帯域対応ゲイン調整出力値を算出後、算出した帯域対応ゲイン調整出力値に基づいてカラー画像の生成や、被写体の色成分の解析等を実行する。
【0190】
被写体の色成分の解析とは、例えば、前述した植物の活性度の指標値であるNDVI(Normalized Difference Vegetation Index)の解析処理等である。画像内に撮影された植物のNDVIの算出には、被写体である植物の色成分として含まれる赤(RED)と近赤外(NIR)の値が必要となる。
【0191】
具体的には、NDVIは、以下の式に従って算出することができる。
NDVI=(NIR-RED)/(NIR+RED)
上記式において、
RED,NIRは画像の各画素におけるRED波長とNIR波長の強度(画素値)である。
【0192】
なお、カラー画像の生成や被写体の色成分の解析等は、信号処理部105自身が行ってもよいが、信号処理部105の算出した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を後段のデータ処理部に出力して、データ処理部において実行してもよい。
【0193】
[6.本開示の画像処理装置が実行する処理のシーケンスについて]
次に、本開示の画像処理装置が実行する処理のシーケンスについて説明する。
【0194】
図14に、以下の2つの処理フローを示している。
(1)カメラ製造時の処理フロー
(2)カメラ利用時(撮影時)の処理フロー
【0195】
(1)カメラ製造時の処理フローは、先に
図5を参照して説明した「(1)カメラ製造時の処理」に相当する処理のシーケンスを説明するフローである。
(2)カメラ利用時(撮影時)の処理フローは、先に
図6を参照して説明した「(2)カメラ利用時(撮影時)の処理」に相当する処理のシーケンスを説明するフローである。
以下、これらのフローの各ステップの処理について説明する。
【0196】
なお、
図14以下に示すフローチャートに従った処理は、撮像装置やPC等の画像処理装置内の記憶部に格納されたプログラムに従って実行することが可能である。撮像装置や画像処理装置のデータ処理部は、記憶部に格納されたプログラムに従って
図14以下に示すフローチャートに従った処理を実行する。
【0197】
まず、(1)カメラ製造時の処理フローについて説明する。
(ステップS101)
まず、ステップS101において、基準カメラX(基準機)と、調整カメラY(調整機)による画像撮影処理を実行する。この画像撮影は同一条件の下で実行するのが好ましい。
【0198】
(ステップS102,S103)
次のステップS102とステップS103の処理は、並列に実行する。
ステップS102において、基準カメラX(基準機)の帯域対応画素値を算出し、ステップS103において、調整カメラY(調整機)の帯域対応画素値を算出する。
これらの処理は、先に
図11~
図13を参照して説明した処理に相当する。
【0199】
これらの処理は、
図5に示す基準機帯域対応画素値算出部71、調整機帯域対応画素値算出部72の実行する処理である。先に説明したように、これらの処理部は、例えば、
図10に示すマルチスペクトルカメラ100と同じ構成を有する基準カメラX(基準機)50や調整カメラY(調整機)60の信号処理部105内に設けてもよいし、カメラ外のPC等の画像処理装置内に設けてもよい。
【0200】
なお、このステップS102,S103において実行する帯域対応画素値算出処理の詳細フローについては、後段で
図15を参照して説明する。
【0201】
(ステップS104)
次に、ステップS104において、基準カメラX(基準機)の帯域対応画素値と、調整カメラY(調整機)の帯域対応画素値を利用して帯域対応ゲインを算出する。
【0202】
この処理は、
図5に示す帯域対応ゲイン算出部73の実行する処理である。先に説明したように、この処理部は、例えば、
図10に示すマルチスペクトルカメラ100の信号処理部105内に設けてもよいし、カメラ外のPC等の画像処理装置内に設けてもよい。
【0203】
算出する帯域対応ゲインは、例えば以下のようなゲインである。
基準カメラX(基準機)50の帯域A~D各々の帯域対応画素値を(ax1,bx2,cx3,dx4)、
調整カメラY(調整機)60の帯域A~D各々の帯域対応画素値を(ay1,by2,cy3,dy4)、
としたとき、信号処理部105は、以下の帯域対応ゲインを算出する。
帯域A対応ゲイン=ax1/ay1
帯域B対応ゲイン=bx2/by2
帯域C対応ゲイン=cx3/cy3
帯域D対応ゲイン=dx4/dy4
【0204】
(ステップS105)
最後にステップS105において、ステップS104で算出した帯域対応ゲインを調整カメラY(調整機)のメモリに格納する。
【0205】
なお、先に
図5を参照して説明したように、基準カメラX(基準機)の撮影画像に基づいて算出された基準機帯域対応画素値は、多数の調整カメラY(調整機)の帯域対応ゲインの算出処理に用いられる。従って、ステップS102で算出した基準機帯域対応画素値は、例えば基準カメラX(基準機)のメモリ、あるいは外部装置のメモリに格納して、このメモリ格納データを、その後の他の調整カメラY(調整機)の帯域対応ゲイン算出処理に適用する構成としてもよい。
【0206】
この設定とした場合、2台目以降の調整カメラ(調整機)に対する処理を行う場合、ステップS101では、調整カメラY(調整機)のみによる画像撮影を行い、ステップS102の処理は省略し、ステップS104では、メモリに格納済みの基準機帯域対応画素値を読み出して調整機の帯域対応ゲインを算出する処理を行うことが可能となる。
【0207】
次に、(2)カメラ利用時(撮影時)の処理フローについて説明する。
(ステップS121)
まず、ステップS121において、調整カメラY(調整機)による画像撮影処理を実行する。
【0208】
(ステップS122)
次に、ステップS122において、調整カメラY(調整機)の帯域対応画素値を算出する。
この処理は、先に
図11~
図13を参照して説明した処理に相当する。
【0209】
この処理は、
図6に示す調整機帯域対応画素値算出部81の実行する処理である。先に説明したように、この処理部は、例えば、
図10に示すマルチスペクトルカメラ100と同様の構成を持つ調整カメラY(調整機)60の信号処理部105内に設けてもよいし、カメラ外のPC等の画像処理装置内に設けてもよい。
【0210】
なお、このステップS122において実行する帯域対応画素値算出処理の詳細フローについては、後段で
図15を参照して説明する。
【0211】
(ステップS123)
次に、ステップS123において、ステップS122で算出した帯域対応画素値に、
メモリに格納された帯域対応ゲインを乗じて帯域対応ゲイン調整出力値を算出する。
【0212】
この処理は、
図6に示す帯域対応ゲイン調整部82の実行する処理である。先に説明したように、この処理部は、例えば、
図10に示すマルチスペクトルカメラ100の信号処理部105内に設けてもよいし、カメラ外のPC等の画像処理装置内に設けてもよい。
【0213】
算出する帯域対応ゲイン調整出力値は、例えば以下のような出力値ある。
調整カメラY(調整機)60の帯域A~D各々の帯域対応画素値を(ay1,by2,cy3,dy4)、
メモリに格納済みの帯域A~D各々の帯域対応ゲインを、
帯域A対応ゲイン=ax1/ay1
帯域B対応ゲイン=bx2/by2
帯域C対応ゲイン=cx3/cy3
帯域D対応ゲイン=dx4/dy4
としたとき、信号処理部105は、以下の帯域対応ゲイン調整出力値を算出する。
帯域A対応ゲイン調整出力値=(ax1/ay1)×ay1=ax1
帯域B対応ゲイン調整出力値=(bx2/by2)×by2=bx2
帯域C対応ゲイン調整出力値=(cx3/cy3)×cy3=cx3
帯域D対応ゲイン調整出力値=(dx4/dy4)×dy4=dx4
【0214】
このような帯域対応ゲイン調整出力値算出処理により、調整カメラY(調整機)60の帯域対応画素値は、基準カメラX(基準機)50の出力値に一致した出力値となる。
この処理によって算出されるゲインは、帯域対応ゲインであり、複数の異なる帯域信号の混在信号に対応するゲインではないため、撮影条件(光源や被写体)によって大きく変化することがない。
従って、カメラ利用時(撮影時)撮影条件がカメラ製造時の撮影条件と異なる場合でも、カメラ製造時に算出したゲインを適用して調整機の出力を基準機に一致させることが可能となる。
【0215】
(ステップS124)
さらに、ステップS124において、ステップS123で算出した帯域対応ゲイン調整出力値に基づいてカラー画像の生成や、被写体の色成分の解析等を実行する。
具体的には、植物の活性化指標値の算出処理等を実行する。
【0216】
次に、
図14に示すフローのステップS102、S103、S122において実行する帯域対応画素値算出処理の詳細シーケンスについて、
図15に示すフローを参照して説明する。
以下、フローの各ステップの処理について、順次、説明する。
【0217】
(ステップS201)
ステップS201の処理は、
図14のフローのステップS101、S121の処理、すなわち、マルチスペクトルカメラによる画像撮影後に実行される。
【0218】
画像処理装置の信号処理部105は、ステップS201において、撮像素子(イメージセンサ)104から入力するRAW画像に基づくデモザイク処理によって生成される画素単位のRAW画像ベース画素値(Araw~Draw)と、カメラの分光特性パラメータ(Kan~Kdn)を用いて、各帯域(波長)対応の真の画素値(a1,b2,c3,d4)を算出する帯域対応画素値算出式を生成する。
なお、ステップS201~S205の処理は、画素単位で実行する。
【0219】
画像処理装置の信号処理部105は、ステップS201において、処理対象画素についての帯域対応画素値算出式、すなわち、先に説明した以下に示す帯域対応画素値算出式(式23)を生成する。
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
【0220】
(ステップS202)
次に、画像処理装置は、ステップS202において、ステップS201で生成した帯域対応画素値算出式を用いた反復計算処理を実行する。
【0221】
すなわち、まず、上記(式23)の等式の右側部分のa1,b2,c3,d4の初期値として、以下のRAW画像ベース画素値(Araw~Draw)を入力する。
a1=Araw
b2=Braw
c3=Craw
d4=Draw
【0222】
これらの値の代入処理により、帯域対応画素値算出式の初期設定式(式24)を生成する。
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・・・・・・(式24)
【0223】
信号処理部105は、上記初期設定式(式24)に従って算出したa1,b2,c3,d4を、さらに、前記した帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。この反復計算を繰り返して実行する。
先に
図13を参照して説明したように、上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
【0224】
(ステップS203)
画像処理装置は、ステップS203において、帯域対応画素値算出式を用いて算出される帯域対応画素値(a1,b2,c3,d4)が収束したか否かを判定する。
【0225】
なお、上記帯域対応画素値算出式(式23)を適用した反復計算によって帯域対応画素値(a1,b2,c3,d4)が収束したか否かの判定については、前述したように、例えば、n回目の反復計算による複数の画素値の算出結果と、直前のn-1回目の反復計算による算出結果との差分が、すべて所定のしきい値以下、例えば5%以下となった場合に収束したと判定するといった方法が適用可能である。
あるいは予め反復計算の実行回数を6回、7回等として規定回数として決定し、規定回数の反復計算が終了した時点で収束したと判定してもよい。
【0226】
ステップS203において、帯域対応画素値(a1,b2,c3,d4)が収束していないと判定した場合は、ステップS202に戻り反復計算を繰り返す。一方、帯域対応画素値(a1,b2,c3,d4)が収束したと判定した場合はステップS204に進む。
【0227】
(ステップS204)
ステップS203において、帯域対応画素値(a1,b2,c3,d4)が収束したと判定した場合はステップS204に進む。
ステップS204において、画像処理装置の信号処理部105は、収束した帯域対応画素値(a1,b2,c3,d4)を、処理対象画素の画素値として設定する。
【0228】
(ステップS205)
次に、画像処理装置の信号処理部105は、ステップS205において、撮像素子の全画素の帯域対応画素値(a1,b2,c3,d4)の算出が完了したか否かを判定する。
【0229】
帯域対応画素値(a1,b2,c3,d4)の算出が完了していない画素がある場合は、ステップS201に戻り、未処理画素について、ステップS201~S205の処理を実行する。
全画素の帯域対応画素値(a1,b2,c3,d4)の算出が完了したと判定した場合は、帯域対応画素値算出処理を終了し、次のステップ、すなわち、
図14に示すフローのステップS104、またはステップS123に進む。
【0230】
なお、上述した説明では、帯域対応画素値算出式の反復計算による帯域対応画素値(a1,b2,c3,d4)の算出処理を画素単位で実行するものとして説明したが、前述したように所定の画素ブロック単位で実行する構成としてもよい。
【0231】
フローを参照して説明したように本開示の画像処理装置、例えば
図7や
図10に示すマルチスペクトルカメラは、マルチバンドパスフィルタとカラーフィルタを介して撮影されるRAW画像の画素値に基づいて画素単位で設定されるRAW画像ベース画素値(Araw~Draw)と、カメラの分光特性パラメータ(Kan~Kdn)を用いて、各帯域(波長)対応の真の画素値(a1,b2,c3,d4)を算出する帯域対応画素値算出式(式23)を生成し、この帯域対応画素値算出式を用いた反復計算により、帯域対応の真の画素値(a1,b2,c3,d4)を算出する。
【0232】
なお、帯域対応画素値算出式を用いた反復計算の手法として、複数の異なる手法がある。
図16、
図17を参照して反復計算の2つの手法について説明する。
【0233】
図16は、上述した
図15に示すフローに従って説明した処理と同様の処理である。
図16は、
図15に示すステップS202において実行する帯域対応画素値算出式の反復計算を詳細に説明する図である。
【0234】
ステップS202-1において、先に説明した帯域対応画素値算出式(式23)の等式の右側部分のa1,b2,c3,d4の初期値として、RAW画像ベース画素値(Araw~Draw)を入力して、以下の帯域対応画素値算出式の初期設定式(式24)を生成する。
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・・・・・・(式24)
【0235】
次にステップS202-2において、上記初期設定式(式24)に従って算出したa1,b2,c3,d4を、帯域対応画素値算出式(式23)、すなわち、
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
【0236】
上記の帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。この反復計算を繰り返して実行する。
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
【0237】
このような反復計算の処理手法と異なる手法について
図17を参照して説明する。
図17も、
図15に示すステップS202において実行可能な帯域対応画素値算出式の反復計算を詳細に説明する図である。
【0238】
図17に示すステップS202-1において、まず、上述した帯域対応画素値算出式の初期設定式(式24)のa1算出式、
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
・・・(式24-a)
上記式(式24-1)を用いて、a1を算出する。
【0239】
次に、帯域対応画素値算出式の初期設定式(式24)のb2算出式、すなわち、
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
・・・(式24-2)
上記式(式24-2)のArawを、(式24-1)によって算出されたa1に置き換えた式、すなわち、
b2=Braw-Kb1×a1-Kb3×Craw-Kb4×Draw
・・・(式24-3)
上記式(式24-3)を用いて、b2を算出する。
【0240】
次に、帯域対応画素値算出式の初期設定式(式24)のc3算出式、すなわち、
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
・・・(式24-4)
上記式(式24-4)のArawとBrawを、(式24-1)、(式24-3)によって算出されたa1,b2に置き換えた式、すなわち、
c3=Craw-Kc1×a1-Kc2×b2-Kc4×Draw
・・・(式24-5)
上記式(式24-5)を用いて、c3を算出する。
【0241】
次に、帯域対応画素値算出式の初期設定式(式24)のd4算出式、すなわち、
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・(式24-6)
上記式(式24-6)のArawとBrawとCrawを、(式24-1)、(式24-3),(式24-5)によって算出されたa1,b2,c3に置き換えた式、すなわち、
d4=Draw-Kd1×Aa1-Kd2×b2-Kd3×c3
・・・(式24-7)
上記式(式24-7)を用いて、d4を算出する。
【0242】
次にステップS202-2において、上記ステップS202-1で算出したa1,b2,c3,d4を、帯域対応画素値算出式(式23)、すなわち、
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
【0243】
上記の帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。この反復計算を繰り返して実行する。
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
【0244】
この
図17に示す手法では、帯域対応画素値算出式の初期設定式(式24)を構成する複数の式の1つの式を用いて算出される値を、初期設定式のその他の式に代入する処理を実行している。このような処理を行うことで、より早く収束し、演算回数を減らすことが可能となる
【0245】
[7.帯域対応ゲイン算出処理をカメラ利用時に実行する構成と処理例について]
次に、帯域対応ゲイン算出処理をカメラ利用時に実行する構成と処理例について説明する。
【0246】
図5~
図14を参照した説明では、例えば、
図5や
図14のフローに示すように、帯域対応ゲイン算出処理は、カメラ製造時に実行する構成として説明した。
しかし、この帯域対応ゲイン算出処理は、カメラ利用時に実行する構成としてもよい。
以下、帯域対応ゲイン算出処理をカメラ利用時に実行する構成と処理例について説明する。
【0247】
図18と、
図19には、先に
図5、
図6を参照して説明したと同様、以下の2つの図を示している。
(1)カメラ製造時の処理
(2)カメラ利用時(撮影時)の処理
【0248】
まず、
図18を参照して、本開示の「(1)カメラ製造時の処理」について説明する。
この処理は、例えばカメラ製造工場において、マルチスペクトルカメラを大量生産する場合に、各カメラの出力値を均一にするためのゲイン算出に利用する以下の各値を調整カメラY(調整機)60のメモリ61に格納する処理を説明する図である。
(a)基準カメラX(基準機)50の画素値から算出される基準機撮像素子帯域対応画素値平均値(Xoutave)
(b)調整カメラY(調整機)60の画素値から算出される調整機撮像素子帯域対応画素値平均値(Youtave)
【0249】
基準カメラX(基準機)50は、1台の基準となるカメラである。調整カメラY(調整機)120は、製造、販売するカメラである。
調整カメラY(調整機)60の出力を、基準カメラX(基準機)50の出力に一致させるための出力調整パラメータとして、各色に含まれる帯域(バンド)対応ゲインを算出するために利用する上記の各値、すなわち、
(a)基準カメラX(基準機)50の画素値から算出される基準機撮像素子帯域対応画素値平均値(Xoutave)
(b)調整カメラY(調整機)60の画素値から算出される調整機撮像素子帯域対応画素値平均値(Youtave)
これらを算出して調整カメラY(調整機)60のメモリ61に格納する。
【0250】
基準カメラX(基準機)50と、調整カメラY(調整機)60により同一被写体を撮影し、それぞれの撮像素子出力値を取得する。それぞれのカメラはフィルタと撮像素子が備えられており、これらの特性は完全一致していいないものであるため、各カメラの出力値には差がある。
【0251】
基準カメラX(基準機)50の撮像素子出力値Xoutを
Xout=(Rx,Gx,Bx)とする。
調整カメラY(調整機)60の撮像素子出力値Youtを
Yout=(Ry,Gy,By)とする。
XoutとYoutの各画素値は、各カメラの個体差、特にカラーフィルタの特性の差によって異なる値となってしまう。
【0252】
図18に示す基準機帯域対応画素値平均値算出部75は、基準カメラX(基準機)50の撮像素子出力値Xout=(Rx,Gx,Bx)を入力し、撮像素子の構成画素の全ての同一色(各帯域)の画素値の平均値を算出して、調整カメラY(調整機)60のメモリ61に格納する。
すなわち、
図18に示す基準機撮像素子帯域対応画素値平均値(Xoutave)=(Rxave,Gxave,Bxave)を算出して、調整カメラY(調整機)60のメモリ61に格納する。
【0253】
また、
図18に示す調整機帯域対応画素値平均値算出部76は、調整カメラY(調整機)60の撮像素子出力値Yout=(Ry,Gy,By)を入力し、撮像素子の構成画素の全ての同一色(各帯域)の画素値の平均値を算出する。すなわち、
図18に示す調整機撮像素子帯域対応画素値平均値(Youtave)を算出して、調整カメラY(調整機)60のメモリ61に格納する。
すなわち、
図18に示す調整機撮像素子帯域対応画素値平均値(Youtave)=(Ryave,Gyave,Byave)を算出して、調整カメラY(調整機)60のメモリ61に格納する。
なお、これらの撮像素子帯域対応画素値平均値算出処理は、先に
図11~
図13を参照して説明した処理を適用して実行する。
【0254】
なお、
図18に示す基準機帯域対応画素値平均値算出部75と、調整機帯域対応画素値平均値算出部76は、例えば、
図10に示すマルチスペクトルカメラ100と同じ構成を有する基準カメラX(基準機)50や調整カメラY(調整機)60の信号処理部105内に設けてもよいし、カメラ外のPC等の画像処理装置内に設けてもよい。
【0255】
次に、
図19を参照して、(2)カメラ利用時(撮影時)の処理」について説明する。
(2)カメラ利用時(撮影時)には、カメラ製造時にカメラ内のメモリに記録した値、すなわち、
(a)基準カメラX(基準機)50の画素値から算出される基準機撮像素子帯域対応画素値平均値(Xoutave)
(b)調整カメラY(調整機)60の画素値から算出される調整機撮像素子帯域対応画素値平均値(Youtave)
これらの値を利用して帯域対応ゲイン(BandGain)を算出し、算出した帯域対応ゲイン(BandGain)の値を利用して、調整カメラY(調整機)60の出力値を調整して、出力値を基準機と同様の値に調整する処理を実行する。
【0256】
まず、調整カメラY(調整機)60により、ある被写体、例えば植物を撮影する。
この撮影処理における撮像素子出力値Youtを
Yout=(Ry,Gy,By)とする。
次に、この撮像素子出力値Youtを調整機帯域対応画素値算出部81に入力する。
【0257】
調整機帯域対応画素値算出部81は、調整カメラY(調整機)60の撮像素子出力値Yout=(Ry,Gy,By)を入力し、これらの各色対応の画素値に含まれる各帯域(バンド)単位の信号値を算出する。
図19に示す調整機帯域対応画素値Ybandoutである。
【0258】
調整機帯域対応画素値算出部81の算出した調整機帯域対応画素値Ybandoutは、帯域対応ゲイン調整部82に入力される。
【0259】
一方、
図19に示す帯域対応ゲイン算出部84は、メモリ81に格納された以下の値、すなわち、
(a)基準カメラX(基準機)50の画素値から算出される基準機撮像素子帯域対応画素値平均値(Xoutave)
(b)調整カメラY(調整機)60の画素値から算出される調整機撮像素子帯域対応画素値平均値(Youtave)
これらの値を利用して帯域対応ゲイン(BandGain)を算出する。
【0260】
帯域対応ゲイン算出部84は、メモリ81に格納された2つのカメラ50,60の同じ色(帯域)の帯域対応画素値平均値同士を比較して、調整カメラY(調整機)60の調整機帯域対応画素値平均値を、基準カメラX(基準機)50の基準機帯域対応画素値平均値に一致させるためのゲイン、すなわち帯域対応ゲイン(BandGain)を算出する。
帯域対応ゲイン算出部84が算出した帯域対応ゲインは、帯域対応ゲイン調整部82に入力される。
【0261】
帯域対応ゲイン調整部82は、調整機帯域対応画素値算出部81から入力した調整機帯域対応画素値(Ybandout)に対して、帯域対応ゲイン算出部84が算出した帯域対応ゲイン(BandGain)を適用して出力値を調整し、帯域対応ゲイン調整出力値Yout2を算出する。
【0262】
この処理により、帯域対応ゲイン調整出力値Yout2は、撮影条件に関わらず、基準機の出力値と一致する出力となる。帯域対応ゲイン調整出力値Yout2は、画像処理部83に入力され、例えば先に
図2、
図3を参照して説明した演算等を実行して、R(赤)成分信号とNIR(近赤外)成分信号の信号値を算出する処理等を行う。
【0263】
この
図18、
図19を参照して説明した処理においても、先に
図5、
図6を参照して説明した処理と同様、各カメラの撮像素子の各色出力値をさらに各帯域(バンド)信号に分離し、帯域信号対応ゲインを算出して、帯域対応ゲインを用いて調整カメラY(調整機)60の出力値を調整する。
このような処理を行うことで、各カメラのフィルタ特性の差異に基づく出力値のずれを解消して、調整カメラY(調整機)60の出力値Yout=(Ry,Gy,By)を基準カメラ(基準機)50の出力値に一致させることが可能となる。
【0264】
なお、
図18、
図19を参照した説明では、
(a)基準カメラX(基準機)50の基準機撮像素子帯域対応画素値平均値(Xoutave)
(b)調整カメラY(調整機)60の調整機撮像素子帯域対応画素値平均値(Youtave)
これら、画素値平均値を調整カメラY(調整機)60のメモリ61に格納して、これらの画素値平均値を用いて帯域対応ゲインを算出する構成として説明した。
この画素値平均値の代わりに、各カメラの各色(各帯域)の代表値をメモリ61に格納して、これらの画素値代表値を用いて帯域対応ゲインを算出する構成としてもよい。
【0265】
次に、
図18、
図19を参照して説明した処理を行なう場合に、本開示の画像処理装置が実行する処理のシーケンスについて
図20を参照して説明する。
【0266】
図20には、以下の2つの処理フローを示している。
(1)カメラ製造時の処理フロー
(2)カメラ利用時(撮影時)の処理フロー
【0267】
(1)カメラ製造時の処理フローは、先に
図18を参照して説明した「(1)カメラ製造時の処理」に相当する処理のシーケンスを説明するフローである。
(2)カメラ利用時(撮影時)の処理フローは、先に
図19を参照して説明した「(2)カメラ利用時(撮影時)の処理」に相当する処理のシーケンスを説明するフローである。
以下、これらのフローの各ステップの処理について説明する。
【0268】
なお、
図20以下に示すフローチャートに従った処理は、撮像装置やPC等の画像処理装置内の記憶部に格納されたプログラムに従って実行することが可能である。撮像装置や画像処理装置のデータ処理部は、記憶部に格納されたプログラムに従って
図20以下に示すフローチャートに従った処理を実行する。
【0269】
まず、(1)カメラ製造時の処理フローについて説明する。
(ステップS131)
まず、ステップS131において、基準カメラX(基準機)と、調整カメラY(調整機)による画像撮影処理を実行する。この画像撮影は同一条件の下で実行するのが好ましい。
【0270】
(ステップS132,S133)
次のステップS132とステップS133の処理は、並列に実行する。
ステップS132において、基準カメラX(基準機)の帯域対応画素値平均値を算出し、ステップS133において、調整カメラY(調整機)の帯域対応画素値平均値を算出する。
これらの処理は、
図18に示す基準機帯域対応画素値平均値算出部75と、調整機帯域対応画素値平均値算出部76の実行する処理である。
これらの撮像素子帯域対応画素値平均値算出処理は、先に
図11~
図13を参照して説明した処理を適用して実行する。
【0271】
これらの処理は、
図5に示す基準機帯域対応画素値算出部71、調整機帯域対応画素値算出部72の実行する処理である。先に説明したように、これらの処理部は、例えば、
図10に示すマルチスペクトルカメラ100と同じ構成を有する基準カメラX(基準機)50や調整カメラY(調整機)60の信号処理部105内に設けてもよいし、カメラ外のPC等の画像処理装置内に設けてもよい。
【0272】
なお、このステップS132,S133において実行する帯域対応画素値平均値算出処理は、まず、先に説明した
図15に示すフローに従って個別の帯域対応画素値を算出し、その平均値を算出する処理として実行することが可能である。
【0273】
(ステップS134)
次に、ステップS134において、ステップS132,S133において算出した以下の値を調整カメラY(調整機)60のメモリ61に格納する。
(a)基準カメラX(基準機)50の画素値から算出される基準機撮像素子帯域対応画素値平均値(Xoutave)
(b)調整カメラY(調整機)60の画素値から算出される調整機撮像素子帯域対応画素値平均値(Youtave)
【0274】
なお、基準カメラX(基準機)の撮影画像に基づいて算出された基準機帯域対応画素値平均値は、多数の調整カメラY(調整機)の帯域対応ゲインの算出処理に用いられる。従って、ステップS132で算出した基準機帯域対応画素値平均値は、例えば基準カメラX(基準機)のメモリ、あるいは外部装置のメモリに格納して、このメモリ格納データを、その後の他の調整カメラY(調整機)のメモリに格納する構成としてもよい。
【0275】
この設定とした場合、2台目以降の調整カメラ(調整機)に対する処理を行う場合、ステップS131では、調整カメラY(調整機)のみによる画像撮影を行い、ステップS132の処理は省略することができる。
【0276】
次に、(2)カメラ利用時(撮影時)の処理フローについて説明する。
(ステップS141)
まず、ステップS141において、調整カメラY(調整機)による画像撮影処理を実行する。
【0277】
(ステップS142)
次に、ステップS142において、調整カメラY(調整機)の帯域対応画素値を算出する。
この処理は、先に
図11~
図13を参照して説明した処理に相当する。
【0278】
この処理は、
図19に示す調整機帯域対応画素値算出部81の実行する処理である。
【0279】
なお、このステップS142において実行する帯域対応画素値算出処理は、先に説明した
図15に示すフローに従って実行することができる。
【0280】
(ステップS143)
次に、ステップS143において、調整カメラY(調整機)のメモリに格納された、
(a)基準機撮像素子帯域対応画素値平均値(Xoutave)
(b)調整機撮像素子帯域対応画素値平均値(Youtave)
これらの値を利用して帯域対応ゲインを算出する。
【0281】
この処理は、
図19に示す帯域対応ゲイン算出部84の実行する処理である。
帯域対応ゲイン算出部84の算出する帯域対応ゲインは、例えば以下のようなゲインである。
基準カメラX(基準機)50の帯域A~D各々の帯域対応画素値平均値を(ax1ave,bx2ave,cx3ave,dx4ave)、
調整カメラY(調整機)60の帯域A~D各々の帯域対応画素値平均値を(ay1ave,by2ave,cy3ave,dy4ave)、
としたとき、信号処理部105は、以下の帯域対応ゲインを算出する。
帯域A対応ゲイン=ax1ave/ay1ave
帯域B対応ゲイン=bx2ave/by2ave
帯域C対応ゲイン=cx3ave/cy3ave
帯域D対応ゲイン=dx4ave/dy4ave
【0282】
(ステップS144)
次に、ステップS144において、ステップS142で算出した帯域対応画素値に、ステップS143で算出した帯域対応ゲインを乗じて帯域対応ゲイン調整出力値を算出する。
この処理は、
図19に示す帯域対応ゲイン調整部82の実行する処理である。
【0283】
算出する帯域対応ゲイン調整出力値は、例えば以下のような出力値ある。
調整カメラY(調整機)60の帯域A~D各々の帯域対応画素値を(ay1,by2,cy3,dy4)、
ステップS143で算出した帯域A~D各々の帯域対応ゲインを、
帯域A対応ゲイン=ax1ave/ay1ave
帯域B対応ゲイン=bx2ave/by2ave
帯域C対応ゲイン=cx3ave/cy3ave
帯域D対応ゲイン=dx4ave/dy4ave
としたとき、以下の帯域対応ゲイン調整出力値を算出する。
帯域A対応ゲイン調整出力値=(ax1ave/ay1ave)×ay1=ax1
帯域B対応ゲイン調整出力値=(bx2ave/by2ave)×by2=bx2
帯域C対応ゲイン調整出力値=(cx3ave/cy3ave)×cy3=cx3
帯域D対応ゲイン調整出力値=(dx4ave/dy4ave)×dy4=dx4
【0284】
このような帯域対応ゲイン調整出力値算出処理により、調整カメラY(調整機)60の帯域対応画素値は、基準カメラX(基準機)50の出力値に一致した出力値となる。
この処理によって算出されるゲインは、帯域対応ゲインであり、複数の異なる帯域信号の混在信号に対応するゲインではないため、撮影条件(光源や被写体)によって大きく変化することがない。
従って、カメラ利用時(撮影時)撮影条件がカメラ製造時の撮影条件と異なる場合でも、カメラ製造時に算出したゲインを適用して調整機の出力を基準機に一致させることが可能となる。
【0285】
(ステップS145)
さらに、ステップS145において、ステップS144で算出した帯域対応ゲイン調整出力値に基づいてカラー画像の生成や、被写体の色成分の解析等を実行する。
具体的には、植物の活性化指標値の算出処理等を実行する。
【0286】
[8.マルチスペクトルカメラの分光特性パラメータ(分離係数)の算出処理について]
次に、マルチスペクトルカメラの分光特性パラメータ(分離係数)の算出処理について説明する。
例えば先に
図12を参照して説明したように、マルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)は、カメラ固有のパラメータであり、予め測定した値をメモリ内に格納しておくものとして説明した。
【0287】
このマルチスペクトルカメラの分光特性パラメータは、特定帯域の光を出力する特殊光源の出力光をマルチスペクトルカメラで撮影して計測することも可能である。
以下、この処理について説明する。
【0288】
図21を参照して、マルチスペクトルカメラの分光特性パラメータの算出を行うための構成と処理について説明する。
図21には、特殊光源(パターンボックス)200と、特殊光源(パターンボックス)200の出力光を撮影して分光特性パラメータを算出するマルチスペクトルカメラ210を示している。
【0289】
特殊光源(パターンボックス)200は、ハロゲン光源201、拡散板202、フィルタ203を有し、ハロゲン光源201の出力光が拡散板202と、フィルタ203を介して出力され、この出力光をカメラ210が撮影する。
【0290】
ハロゲン光源201は図左下部に示すような特性を有する。このハロゲン光源201の出力光が比較的フラットな特性を有する拡散板202を通過し、フィルタ203を介して出力される。フィルタ203には、4つのウィンドウに異なるフィルタが装着されている。
各フィルタの光透過特性は、図右下に示す特性である。すなわち、フィルタ203には以下の4種類のフィルタが装着される。
帯域1の光を透過させる帯域1フィルタ、
帯域2の光を透過させる帯域2フィルタ、
帯域3の光を透過させる帯域3フィルタ、
帯域4の光を透過させる帯域4フィルタ、
【0291】
これらの4種類のフィルタの3つを閉じ、1つのフィルタの透過光をマルチスペクトルカメラ210で撮影する。光を透過させるフィルタを順次、切り替えて、4つの異なる帯域の光をマルチスペクトルカメラ210で、順次、撮影する。これらの撮影画像を後段のデータ処理部(分光特性パラメータ)220に入力して、マルチスペクトルカメラ210の分光特性パラメータを算出する。
または、4つのフィルタの透過光を同時に撮影し、各フィルタの透過光部分をそれぞれ切り出し、後段のデータ処理部(分光特性パラメータ)220に入力して、マルチスペクトルカメラ210の分光特性パラメータを算出することもできる。
【0292】
データ処理部(分光特性パラメータ)220は、PC等の外部装置でもよく、マルチスペクトルカメラ210内の構成でもよい。
以下、データ処理部(分光特性パラメータ)220において実行するマルチスペクトルカメラ210の分光特性パラメータの算出処理の詳細について説明する。
【0293】
特殊光源(パターンボックス)200のフィルタ203の4種類のフィルタの透過光帯域を各々、
帯域1=band1Light、
帯域2=band2Light、
帯域3=band3Light、
帯域4=band4Light、
とする。
【0294】
また、マルチスペクトルカメラ200は、
図9に示すカラーフィルタ(ABCDフィルタ)を備えた
図10に示す構成を持つカメラであるとする。
【0295】
マルチスペクトルカメラ200によって各帯域1~4(band1light~band4light)の光を受光した場合のABCD各画素の4chのRaw出力Araw、Braw、Craw、Drawを以下のように表す。
【0296】
(1)帯域1=band1Light受光時のABCD各画素のraw出力
Araw@ band1Light
Braw@ band1Light
Craw@ band1Light
Draw@ band1Light
【0297】
(2)帯域2=band2Light受光時のABCD各画素のraw出力
Araw@ band2Light
Braw@ band2Light
Craw@ band2Light
Draw@ band2Light
【0298】
(3)帯域3=band3Light受光時のABCD各画素のraw出力
Araw@ band3Light
Braw@ band3Light
Craw@ band3Light
Draw@ band3Light
【0299】
(4)帯域4=band4Light受光時のABCD各画素のraw出力
Araw@ band4Light
Braw@ band4Light
Craw@ band4Light
Draw@ band4Light
【0300】
データ処理部(分光特性パラメータ算出部)220は、こられを利用して、先に
図11を参照して説明したと同様、ABCD各画素値(raw画素値)に含まれる帯域A,B,C,D各々の帯域対応画素値、すなわち、
図11に示す以下の各帯域対応画素値を算出する。
A画素の画素値に含まれる帯域ABCDの画素値a1,a2,a3,a4、
B画素の画素値に含まれる帯域ABCDの画素値b1,b2,b3,b4、
C画素の画素値に含まれる帯域ABCDの画素値c1,c2,c3,c4、
D画素の画素値に含まれる帯域ABCDの画素値d1,d2,d3,d4、
【0301】
a1,a2,a3,a4、b1,b2,b3,b4、c1,c2,c3,c4、d1,d2,d3,d4は次のように示される。
a1=Araw@band1Light、
b1=Braw@band1Light、
c1=Craw@band1Light、
d1=Draw@band1Light
a2=Araw@band2Light、
b2=Braw@band2Light、
c2=Craw@band2Light、
d2=Draw@band2Light
a3=Araw@band3Light、
b3=Braw@band3Light、
c3=Craw@band3Light、
d3=Draw@band3Light
a4=Araw@band4Light、
b4=Braw@band4Light、
c4=Craw@band4Light、
d4=Draw@band4Light
【0302】
これらa1~d4を用いて、分光特性パラメータ(分離係数)は、以下の関係式によって示すことができる。
Ka2=a2/b2、Ka3=a3/c3、Ka4=a4/d4
Kb1=b1/a1、Kb3=b3/c3、Kb4=b4/d4
Kc1=c1/a1、Kc2=c2/b2、Kc4=c4/d4
Kd1=d1/a1、Kd2=d2/b2、Kd3=d3/c3
【0303】
この分光特性パラメータ(分離係数)は、基準カメラX(基準機)50、調整カメラY(調整機)60、各々について算出することが可能である。
【0304】
なお、基準カメラX(基準機)50は、1台のカメラを継続して利用する場合、分光特性パラメータ(分離係数)は一度、算出すればよい。
【0305】
なお、帯域1~4に対応するゲイン、すなわち、調整カメラY(調整機)60の出力を基準カメラX(基準機)50に一致させるための帯域対応ゲイン1~4(Ga1~Ga4)は以下のように示すことができる。
Ga1=a1(x)/a1(y)
Gb2=b2(x)/b2(y)
Gc3=c3(x)/c3(y)
Gd4=d4(x)/d4(y)
【0306】
なお、a1(x),b2(x),c3(x),d4(x)は、基準カメラX(基準機)50の帯域1~4に対応する帯域対応画素値であり、a1(y),b2(y),c3(y),d4(y)は、調整カメラY(調整機)60の帯域1~4に対応する帯域対応画素値である。
【0307】
[9.本開示の処理を適用した具体的実施例について]
次に、上述した本開示の処理を適用した具体的実施例について説明する。
以下の複数の実施例について、順次説明する。
(実施例1)デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例
(実施例2)温度補償を実行して帯域対応ゲイン算出、帯域対応ゲイン調整を行う実施例
(実施例3)特殊光源を用いた帯域対応ゲインの算出処理、および分光特性パラメータ(分離係数)の算出処理を実行する実施例
(実施例4)基準機の測定済み分光特性パラメータ(分離係数)と特殊光源を併用することで、帯域対応ゲインの算出処理、および分光特性パラメータ(分離係数)の算出処理を実行する実施例
以下、これらの各実施例について、順次、説明する。
【0308】
(9-1.(実施例1)デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例)
まず、(実施例1)として、デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例について説明する。
【0309】
本実施例1では、カメラ製造時は、先に説明した
図5の「(1)カメラ製造時の処理」の構成に従った処理を実行する。また、カメラ利用時(撮影時)は、
図6を参照して説明した「(2)カメラ利用時(撮影時)の処理」の構成に従った処理を実行する。
【0310】
本実施例は、
図5に示す基準カメラX(基準機)50と、
図5、
図6に示す調整カメラY(調整機)60として、最もシンプルなマルチスペクトルカメラ、すなわち、バンドパスフィルタとしてDBPフィルタを用いたマルチスペクトルカメラを利用した実施例である。
【0311】
基準カメラX(基準機)50、調整カメラY(調整機)60は、
図22に示す構成を有する。
図22に示すマルチスペクトルカメラ300は、先に
図1を参照して説明したマルチスペクトルカメラ10と同様の構成を有する。
図22に示すマルチスペクトルカメラ300のレンズ301を介して入力した被写体の撮影光は、デュアルバンドパスフィルタ(DBP)302と、カラーフィルタ(RGBカラーフィルタ)303を介して撮像素子(イメージセンサ)304に入力する。
【0312】
デュアルバンドパスフィルタ(DBP)302は、2つの異なる波長光成分の光を選択的に透過するフィルタである。
ここで説明するデュアルバンドパスフィルタ(DBP)302は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
【0313】
カラーフィルタ(RGBカラーフィルタ)303は、RGB各色成分の波長光を各画素単位で透過させるフィルタである。例えばベイヤ配列のRGBフィルタである。
【0314】
撮像素子(イメージセンサ)304の各画素には、デュアルバンドパスフィルタ(DBP)302と、カラーフィルタ(RGBカラーフィルタ)303のR(赤)またはG(緑)またはB(青)フィルタを通過した光が入力される。
【0315】
撮像素子(イメージセンサ)304のR画素には、デュアルバンドパスフィルタ(DBP)302と、カラーフィルタ(RGBカラーフィルタ)303のR(赤)フィルタを通過した光が入力する。
撮像素子(イメージセンサ)304のG画素には、デュアルバンドパスフィルタ(DBP)302と、カラーフィルタ(RGBカラーフィルタ)303のG(緑)フィルタを通過した光が入力する。
撮像素子(イメージセンサ)304のB画素には、デュアルバンドパスフィルタ(DBP)302と、カラーフィルタ(RGBカラーフィルタ)303のB(青)フィルタを通過した光が入力する。
【0316】
図23は、デュアルバンドパスフィルタ(DBP)302と、カラーフィルタ(RGBカラーフィルタ)303の分光特性を説明するグラフを示す図である。
横軸が波長(400~1000nm)、縦軸がフィルタ透過光の信号強度(相対値)を示している。
【0317】
カラーフィルタ(RGBカラーフィルタ)303を構成するカラーフィルタ(B)の透過光は、その多くが約450nm近傍の波長光であるB(青)成分であるが、その他の波長成分の光も少なからず透過していることが分かる。
また、カラーフィルタ(G)の透過光は、その多くが約540nm近傍の波長光であるG(緑)成分であるが、その他の波長成分の光も含まれる。
同様に、カラーフィルタ(R)の透過光は、その多くが約650nm近傍の波長光であるR(赤)成分であるが、その他の波長成分の光も含まれる。
【0318】
デュアルバンドパスフィルタ(DBP)302の透過光は、約650nm近傍の波長光であるR(赤)成分に相当する帯域1(band1)と、約900nm近傍の波長光であるNIR(近赤外)成分に相当する帯域2(band2)の2つの波長光帯域成分である。
【0319】
次に、
図24を参照して、
図23に示す分光特性を持つデュアルバンドパスフィルタ(DBP)302と、カラーフィルタ(RGBカラーフィルタ)303を利用して画像撮影を行った場合の撮像素子(イメージセンサ)304の構成画素であるR画素とB画素各画素の画素値について説明する。
【0320】
図24には、以下の各画素の画素値に含まれる帯域成分例を示している。
(1)R画素の画素値(Rraw)
(2)B画素の画素値(BRaw)
【0321】
R画素の画素値(Rraw)には帯域1(band1)のRED帯域と、帯域2(band2)のNIR帯域の信号が混在する。
B画素の画素値(Braw)も同様に、帯域1(band1)のRED帯域と、帯域2(band2)のNIRの帯域の信号が混じって出力される。
なお、帯域1(band1)のRED帯域と、帯域2(band2)のNIR帯域は、デュアルバンドパスフィルタ(DBP)302の透過光帯域である。
【0322】
本実施例1において、カメラ製造時は、先に説明した
図5の「(1)カメラ製造時の処理」の構成に従った処理を実行する。
すなわち、処理シーケンスとしては、
図14(1)に示すフローに従った処理を行う。
図5と、
図14(1)に示すフローを参照して本実施例1のカメラ製造時の処理について説明する。
(ステップS101)
まず、ステップS101において、基準カメラX(基準機)と、調整カメラY(調整機)による画像撮影処理を実行する。この画像撮影は同一条件の下で実行するのが好ましい。
【0323】
(ステップS102,S103)
次のステップS102において、基準カメラX(基準機)の帯域対応画素値を算出し、ステップS103において、調整カメラY(調整機)の帯域対応画素値を算出する。
これらの処理は、先に
図11~
図13を参照して説明した処理に相当する。
なお、このステップS102,S103において実行する帯域対応画素値算出処理は、先に
図15を参照して説明したフローに従って実行される。すなわち、先に
図12、
図13を参照して説明した繰り返し演算によって収束する値を算出する処理を伴う処理である。
【0324】
本実施例1において、算出する帯域対応画素値は以下の帯域対応画素値である。
基準カメラX(基準機)50の帯域対応画素値として以下の帯域対応画素値を算出する。
基準カメラX(基準機)50のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(x)、
基準カメラX(基準機)50のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(x)、
【0325】
また、調整カメラY(調整機)60の帯域対応画素値として以下の帯域対応画素値を算出する。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0326】
(ステップS104)
次に、ステップS104において、基準カメラX(基準機)の帯域対応画素値と、調整カメラY(調整機)の帯域対応画素値を利用して帯域対応ゲインを算出する。
【0327】
本実施例1において、算出する帯域対応ゲインは以下の帯域対応ゲインである。
帯域1(band1)の帯域対応ゲイン=band1@Rraw(x)/band1@Rraw(y)
帯域2(band2)の帯域対応ゲイン=band2@Braw(x)/band2@Braw(y)
これら2つの帯域、すなわちデュアルバンドバスフィルタ302の透過光帯域に対応する2つの帯域の帯域対応ゲインを算出する。
【0328】
(ステップS105)
最後にステップS105において、ステップS104で算出した帯域対応ゲインを調整カメラY(調整機)のメモリに格納する。
【0329】
なお、先に
図5を参照して説明したように、基準カメラX(基準機)の撮影画像に基づいて算出された基準機帯域対応画素値は、多数の調整カメラY(調整機)の帯域対応ゲインの算出処理に用いられる。従って、ステップS102で算出した基準機帯域対応画素値は、例えば基準カメラX(基準機)のメモリ、あるいは外部装置のメモリに格納して、このメモリ格納データを、その後の他の調整カメラY(調整機)の帯域対応ゲイン算出処理に適用する構成としてもよい。
【0330】
この設定とした場合、2台目以降の調整カメラ(調整機)に対する処理を行う場合、ステップS101では、調整カメラY(調整機)のみによる画像撮影を行い、ステップS102の処理は省略し、ステップS104では、メモリに格納済みの基準機帯域対応画素値を読み出して調整機の帯域対応ゲインを算出する処理を行うことが可能となる。
【0331】
次に、本実施例1におけるカメラ利用時(撮影時)の処理について説明する。
本実施例1のカメラ利用時には、先に説明した
図6の「(2)カメラ利用時(撮影時)の処理」の構成に従った処理を実行する。
すなわち、処理シーケンスとしては、
図14(2)に示すフローに従った処理を行う。
図6と、
図14(2)に示すフローを参照して本実施例1のカメラ利用時(撮影時)の処理について説明する。
【0332】
(ステップS121)
まず、ステップS121において、調整カメラY(調整機)による画像撮影処理を実行する。
【0333】
(ステップS122)
次に、ステップS122において、調整カメラY(調整機)の帯域対応画素値を算出する。
この処理は、先に
図11~
図13を参照して説明した処理に相当する。
なお、このステップS122において実行する帯域対応画素値算出処理は、先に
図15を参照して説明したフローに従って実行される。すなわち、先に
図12、
図13を参照して説明した繰り返し演算によって収束する値を算出する処理を伴う処理である。
【0334】
本実施例1において、算出する調整カメラY(調整機)60の帯域対応画素値は以下の帯域対応画素値である。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0335】
(ステップS123)
次に、ステップS123において、ステップS122で算出した帯域対応画素値に、メモリに格納された帯域対応ゲインを乗じて帯域対応ゲイン調整出力値を算出する。
【0336】
この帯域対応ゲイン調整出力値算出処理により、調整カメラY(調整機)60の帯域対応画素値は、基準カメラX(基準機)50の出力値に一致した出力値となる。
この処理によって算出されるゲインは、帯域対応ゲインであり、複数の異なる帯域信号の混在信号に対応するゲインではないため、撮影条件(光源や被写体)によって大きく変化することがない。
従って、カメラ利用時(撮影時)撮影条件がカメラ製造時の撮影条件と異なる場合でも、カメラ製造時に算出したゲインを適用して調整機の出力を基準機に一致させることが可能となる。
【0337】
(ステップS124)
さらに、ステップS124において、ステップS123で算出した帯域対応ゲイン調整出力値に基づいてカラー画像の生成や、被写体の色成分の解析等を実行する。
具体的には、先に説明したNDVI等、植物の活性化指標値の算出処理等を実行する。
【0338】
なお、本実施例1の変形例として、カメラ製造時は、先に説明した
図18の「(1)カメラ製造時の処理」の構成に従った処理、また、カメラ利用時(撮影時)は、
図19を参照して説明した「(2)カメラ利用時(撮影時)の処理」の構成に従った処理を実行する構成としもよい。
【0339】
すなわち、帯域対応ゲイン算出処理をカメラ製造時に行うのではなく、カメラ利用時(撮影時)に行う構成としてもよい。
カメラ製造時には、画素値平均値、または代表値を調整カメラY(調整機)60のメモリ61に格納して、カメラ利用時(撮影時)にメモリ61に格納された画素値平均値、または代表値を用いて帯域対応ゲインを算出する。
この場合の処理フローは、先に
図20を参照して説明したフローに従った処理となる。
【0340】
(9-2(実施例2)温度補償を実行して帯域対応ゲイン算出、帯域対応ゲイン調整を行う実施例)
次に、(実施例2)として、温度補償を実行して帯域対応ゲイン算出、帯域対応ゲイン調整を行う実施例について説明する。
【0341】
撮像素子やフィルタの特性は、温度変化によってわずかながら変化する。実施例2は、この温度変化に伴う出力値の変化についても考慮して、ゲイン算出、ゲイン調整を行う実施例である。
本実施例2では帯域対応画素値算出部が算出した帯域対応画素値に対して、帯域単位の温特係数(温度特性係数)を用いて温特補償(温度特性補償)を行った後、この温特補償された帯域対応画素値を用いて帯域対応のゲイン算出、ゲイン調整を実行する。
【0342】
本実施例2は、先に説明した実施例1と同様、デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例として説明する。
すなわち、基準カメラX(基準機)50、調整カメラY(調整機)60は、
図22に示す構成を有する。
デュアルバンドパスフィルタ(DBP)302は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
【0343】
本実施例2において、カメラ製造時には、
図25の「(1)カメラ製造時の処理」の構成に従った処理を実行する。また、カメラ利用時(撮影時)は、
図26の「(2)カメラ利用時(撮影時)の処理」の構成に従った処理を実行する。
【0344】
図25の「(1)カメラ製造時の処理」に示す構成は、先に説明した
図5の「(1)カメラ製造時の処理」に示す構成中の帯域対応ゲイン算出部73の前段に基準機温度特性保証部321と、調整機温度特性保証部322を追加した構成となる。
図26の「(2)カメラ利用時(撮影時)の処理」に示す構成は、先に説明した
図6の「(1)カメラ利用時(撮影時)の処理」に示す構成中の帯域対応ゲイン調整部82の前段に基準機温度特性保証部331を追加した構成となる。
【0345】
また、カメラ製造時の処理シーケンスは、
図27(1)に示すフローに従った処理となる。
図27(1)に示すフローは、先に(実施例1)の処理フローとして説明した
図14(1)に示すフローのステップS102,S103の後に、ステップS102b,S103bの処理ステップを追加したフローである。
このステップS102b,S103bにおいて、帯域対応画素値算出部が算出した帯域対応画素値に対して、帯域単位の温特係数(温度特性係数)を用いて温特補償(温度特性補償)を行う。
【0346】
また、カメラ利用時(撮影時)の処理シーケンスは、
図27(2)に示すフローに従った処理となる。
図27(2)に示すフローは、先に(実施例1)の処理フローとして説明した
図14(2)に示すフローのステップS122の後に、ステップS122bの処理ステップを追加したフローである。
このステップS122bにおいて、帯域対応画素値算出部が算出した帯域対応画素値に対して、帯域単位の温特係数(温度特性係数)を用いて温特補償(温度特性補償)を行う。
【0347】
まず、
図25と、
図27(1)に示すフローを参照して本実施例2のカメラ製造時の処理について説明する。
(ステップS101)
まず、ステップS101において、基準カメラX(基準機)と、調整カメラY(調整機)による画像撮影処理を実行する。この画像撮影は同一条件の下で実行するのが好ましい。
【0348】
(ステップS102,S103)
次のステップS102において、基準カメラX(基準機)の帯域対応画素値を算出し、ステップS103において、調整カメラY(調整機)の帯域対応画素値を算出する。
これらの処理は、先に
図11~
図13を参照して説明した処理に相当する。
なお、このステップS102,S103において実行する帯域対応画素値算出処理は、先に
図15を参照して説明したフローに従って実行される。すなわち、先に
図12、
図13を参照して説明した繰り返し演算によって収束する値を算出する処理を伴う処理である。
【0349】
本実施例1において、算出する帯域対応画素値は以下の帯域対応画素値である。
基準カメラX(基準機)50の帯域対応画素値として以下の帯域対応画素値を算出する。
基準カメラX(基準機)50のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(x)、
基準カメラX(基準機)50のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(x)、
【0350】
また、調整カメラY(調整機)60の帯域対応画素値として以下の帯域対応画素値を算出する。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0351】
(ステップS102b,S103b)
次に、ステップS102b,S103bにおいて、基準カメラX(基準機)の帯域対応画素値と、調整カメラY(調整機)の帯域対応画素値に対する温特補償(温度特性補償処理)を実行する。
【0352】
この温特補償処理について、
図28を参照して説明する。
図28に示すグラフは、帯域対応画素値の温度特製を示すグラフである。
横軸が温度、縦軸が帯域対応画素値(比率)を示している。縦軸の帯域対応画素値(比率(ppm))は、0度の出力値を1.0とした比率(ppm)で示している。
【0353】
図28には、赤(R)色光帯域である帯域1(band1)の温度特性と、赤外光(NIR)帯域である帯域2(band2)の温度特性を示している。
赤(R)色光帯域である帯域1(band1)の温度特性の傾きをAred(ppm/度)、
赤外光(NIR)帯域である帯域2(band2)の温度特性の傾きをAnir(ppm/度)、
とする。
また、基準温度を25度とする。
【0354】
ステップS102b,S103bで実行する温特補償処理は、各カメラで撮影された画像に基づいて算出した帯域対応画素値を、基準温度で撮影された画像に基づいて算出した帯域対応画素値に補正する処理である。
【0355】
ここで、
図27のフローのステップS101における撮影処理時の温度が以下の温度であったとする。
基準カメラX(基準機)50による撮影処理が実行された温度をTx、
調整カメラY(調整機)60による撮影処理が実行された温度をTy、
【0356】
これらの各温度で撮影された画像に基づく帯域対応画素値が、基準カメラX(基準機)50と、基準カメラX(基準機)50各々について以下の値であったとする。
基準カメラX(基準機)50
赤(R)色光帯域である帯域1(band1)の帯域対応画素値=X1
赤外光(NIR)帯域である帯域2(band2)の帯域対応画素値=X2
調整カメラY(調整機)60
赤(R)色光帯域である帯域1(band1)の帯域対応画素値=Y1
赤外光(NIR)帯域である帯域2(band2)の帯域対応画素値=Y2
【0357】
これらの帯域対応画素値を基準温度、例えば本例では25度で画像撮影がなされたと仮定した場合の帯域対応画素値に変更する。温特補償では、このような画素値補正処理を実行する。
すなわち、各カメラによる画像撮影処理が基準温度で実行された場合に出力されると推定される帯域対応画素値を算出する。
【0358】
温特補償後の帯域対応画素値は以下のようにして算出される。
なお、基準温度は25度とする。
【0359】
温度Txで撮影された基準カメラX(基準機)50の撮影画像に基づいて算出したR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値と、B画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値をそれぞれ以下のように示す。
band1@Rraw(x)(Tx)、
band2@Braw(x)(Tx)、
【0360】
これらの基準カメラX(基準機)50の温度Txの撮影画像に基づいて算出された上記の2つの帯域対応画素値に基づいて、温特補償後の帯域対応画素値、すなわち、基準温度(25度)での撮影画像から算出されると推定される温特補償後帯域対応画素値を、
band1@Rraw(x)(T25)、
band2@Braw(x)(T25)、
とする。
【0361】
また、温度Tyで撮影された調整カメラY(調整機)60の撮影画像に基づいて算出したR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値と、B画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値をそれぞれ以下のように示す。
band1@Rraw(y)(Ty)、
band2@Braw(y)(Ty)、
【0362】
これらの調整カメラY(調整機)60の温度Tyの撮影画像に基づいて算出された上記の2つの帯域対応画素値に基づいて、温特補償後の帯域対応画素値、すなわち、基準温度(25度)での撮影画像から算出されると推定される温特補償後帯域対応画素値を、
band1@Rraw(y)(T25)、
band2@Braw(y)(T25)、
とする。
【0363】
まず、ステップS102bでは、基準カメラX(基準機)50の温特補償後帯域対応画素値を、以下の式に従って算出する。
R画素値(Rraw)に含まれる帯域1(band1)の温特補償後帯域対応画素値:band1@Rraw(x)(T25)
=(band1@Rraw(x)(Tx))×((1+Ared×25)/(1+Ared×Tx))
【0364】
B画素値(Braw)に含まれる帯域2(band2)の温特補償後帯域対応画素値:band2@Braw(x)(T25)、
=(band2@Braw(x)(Tx))×((1+Anir×25)/(1+Anir×Tx))
【0365】
また、ステップS103bでは、調整カメラY(調整機)60の温特補償後帯域対応画素値を、以下の式に従って算出する。
R画素値(Rraw)に含まれる帯域1(band1)の温特補償後帯域対応画素値:band1@Rraw(y)(T25)
=(band1@Rraw(y)(Ty))×((1+Ared×25)/(1+Ared×Ty))
【0366】
B画素値(Braw)に含まれる帯域2(band2)の温特補償後帯域対応画素値:band2@Braw(y)(T25)、
=(band2@Braw(y)(Ty))×((1+Anir×25)/(1+Anir×Ty))
【0367】
ステップS102b,S103bでは、このようにして、基準カメラX(基準機)の帯域対応画素値と、調整カメラY(調整機)の帯域対応画素値に対する温特補償(温度特性補償処理)を実行する。
【0368】
この結果、基準カメラX(基準機)の温特補償後帯域対応画素値と、調整カメラY(調整機)の温特補償後帯域対応画素値が算出され、その後のステップでは、これらの温特補償された帯域対応画素値を用いて処理、すなわち帯域対応ゲインの算出処理が行われる。
【0369】
(ステップS104)
次に、ステップS104において、基準カメラX(基準機)の帯域対応画素値と、調整カメラY(調整機)の帯域対応画素値を利用して帯域対応ゲインを算出する。
ただし、ここでゲイン算出に利用するのは、ステップS102b,S103bで算出された温特補償された帯域対応画素値である。
【0370】
本実施例2において、算出する帯域対応ゲインは以下の帯域対応ゲインである。
ただし基準温度は25度とする。
帯域1(band1)の帯域対応ゲイン=band1@Rraw(x)(T25)/band1@Rraw(y)(T25)
帯域2(band2)の帯域対応ゲイン=band2@Braw(x)(T25)/band2@Braw(y)(T25)
これら2つの帯域、すなわちデュアルバンドバスフィルタ302の透過光帯域に対応する2つの帯域の温特補償後の帯域対応ゲインを算出する。
【0371】
(ステップS105)
最後にステップS105において、ステップS104で算出した帯域対応ゲインを調整カメラY(調整機)のメモリに格納する。
【0372】
なお、先に
図5を参照して説明したように、基準カメラX(基準機)の撮影画像に基づいて算出された基準機帯域対応画素値は、多数の調整カメラY(調整機)の帯域対応ゲインの算出処理に用いられる。従って、ステップS102bで算出した温特補償後基準機帯域対応画素値は、例えば基準カメラX(基準機)のメモリ、あるいは外部装置のメモリに格納して、このメモリ格納データを、その後の他の調整カメラY(調整機)の帯域対応ゲイン算出処理に適用する構成としてもよい。
【0373】
この設定とした場合、2台目以降の調整カメラ(調整機)に対する処理を行う場合、ステップS101では、調整カメラY(調整機)のみによる画像撮影を行い、ステップS102とステップS102bの処理は省略し、ステップS104では、メモリに格納済みの温特補償後基準機帯域対応画素値を読み出して調整機の帯域対応ゲインを算出する処理を行うことができる。
【0374】
次に、本実施例2におけるカメラ利用時(撮影時)の処理について説明する。
本実施例2のカメラ利用時には、
図26の「(2)カメラ利用時(撮影時)の処理」の構成に従った処理を実行する。処理シーケンスとしては、
図27(2)に示すフローに従った処理を行う。
図26と、
図27(2)に示すフローを参照して本実施例2のカメラ利用時(撮影時)の処理について説明する。
【0375】
(ステップS121)
まず、ステップS121において、調整カメラY(調整機)による画像撮影処理を実行する。
【0376】
(ステップS122)
次に、ステップS122において、調整カメラY(調整機)の帯域対応画素値を算出する。
この処理は、先に
図11~
図13を参照して説明した処理に相当する。
なお、このステップS122において実行する帯域対応画素値算出処理は、先に
図15を参照して説明したフローに従って実行される。すなわち、先に
図12、
図13を参照して説明した繰り返し演算によって収束する値を算出する処理を伴う処理である。
【0377】
本実施例2において、算出する調整カメラY(調整機)60の帯域対応画素値は以下の帯域対応画素値である。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0378】
(ステップS122b)
次に、ステップS122bにおいて、調整カメラY(調整機)の帯域対応画素値の温特補償を実行して温特補償後の帯域対応画素値を算出する。
【0379】
この処理は、先に説明した
図27(1)のフローのステップS103bの処理と同様の処理である。
ステップS121における画像撮影時の温度をTyとし、基準温度を25度とした場合、調整カメラY(調整機)60の温特補償後帯域対応画素値を、以下の式に従って算出する。
【0380】
R画素値(Rraw)に含まれる帯域1(band1)の温特補償後帯域対応画素値:band1@Rraw(y)(T25)
=(band1@Rraw(y)(Ty))×((1+Ared×25)/(1+Ared×Ty))
B画素値(Braw)に含まれる帯域2(band2)の温特補償後帯域対応画素値:band2@Braw(y)(T25)、
=(band2@Braw(y)(Ty))×((1+Anir×25)/(1+Anir×Ty))
以下の処理は、これらの温特補償後の帯域対応画素値を用いて実行する。
【0381】
(ステップS123)
次に、ステップS123において、ステップS122bで算出した温特補償後の帯域対応画素値に、メモリに格納された帯域対応ゲインを乗じて帯域対応ゲイン調整出力値を算出する。
【0382】
この帯域対応ゲイン調整出力値算出処理により、調整カメラY(調整機)60の帯域対応画素値は、基準カメラX(基準機)50の出力値に一致した出力値となる。
この処理によって算出されるゲインは、帯域対応ゲインであり、複数の異なる帯域信号の混在信号に対応するゲインではないため、撮影条件(光源や被写体)によって大きく変化することがない。
【0383】
また、温特補償された帯域対応ゲインであり、撮影温度が異なる場合であっても、出力値を基準温度で撮影された場合と同じ値とすることができる。
従って、カメラ利用時(撮影時)撮影条件がカメラ製造時の撮影条件と異なる場合でも、カメラ製造時に算出したゲインを適用して調整機の出力を基準機に一致させることが可能となる。
【0384】
(ステップS124)
さらに、ステップS124において、ステップS123で算出した帯域対応ゲイン調整出力値に基づいてカラー画像の生成や、被写体の色成分の解析等を実行する。
具体的には、先に説明したNDVI等、植物の活性化指標値の算出処理等を実行する。
【0385】
なお、本実施例2においても、先に説明した実施例1と同様、帯域対応ゲイン算出処理をカメラ製造時に行うのではなく、カメラ利用時(撮影時)に行う構成としてもよい。
【0386】
帯域対応ゲイン算出処理をカメラ製造時に行うのではなく、カメラ利用時(撮影時)に行う構成とした場合の処理構成を
図29、
図30に示す。、
図29は、「(1)カメラ製造時の処理」を示す構成である。
図30は、「(2)カメラ利用時(撮影時)の処理」を示す構成である。
また、これらの処理構成を利用した場合の処理シーケンスを
図31に示す。
【0387】
図29に示すように、カメラ製造時に、調整カメラY(調整機)60のメモリ61に、以下の各値を格納する。
(a)基準カメラX(基準機)50の画素値から算出される基準機撮像素子帯域対応画素値平均値(Xoutave)の温度特性補償後の値である温特補償後基準機帯域対応画素値平均値
(b)調整カメラY(調整機)60の画素値から算出される調整機撮像素子帯域対応画素値平均値(Youtave)の温度特性補償後の値である温特補償後調整機帯域対応画素値平均値
これらを算出して調整カメラY(調整機)60のメモリ61に格納する。
【0388】
また、
図30に示すように、カメラ利用時(撮影時)には、調整カメラY(調整機)60のメモリ61から、
(a)基準カメラX(基準機)50の温特補償後基準機帯域対応画素値平均値
(b)調整カメラY(調整機)60の温特補償後調整機帯域対応画素値平均値
これらを取得して、帯域対応ゲイン算出部が帯域対応ゲイインを算出する。
【0389】
これら
図29、
図30の処理構成を用いた処理シーケンスが
図31に示す処理フローである。
図31に示す処理フローは、先に
図27を参照して説明した(1)カメラ製造時フローのステップS104の帯域対応ゲイン算出処理を省略し、この処理を(2)カメラ利用時(撮影時)フローのステップS143bとして追加した点が異なる。
【0390】
このように、本実施例2においても、先に説明した実施例1と同様、帯域対応ゲイン算出処理をカメラ製造時に行うのではなく、カメラ利用時(撮影時)に行う構成としてもよい。
カメラ製造時には、温度特性補償処理を施した画素値平均値、または代表値を調整カメラY(調整機)60のメモリ61に格納して、カメラ利用時(撮影時)にメモリ61に格納された温度特性補償処理を施した画素値平均値、または代表値を用いて帯域対応ゲインを算出する。
【0391】
(9-3(実施例3)特殊光源を用いた帯域対応ゲインの算出処理、および分光特性パラメータ(分離係数)の算出処理を実行する実施例)
次に、(実施例3)として、特殊光源を用いた帯域対応ゲインの算出処理、および分光特性パラメータ(分離係数)の算出処理を実行する実施例について説明する。
【0392】
本実施例3も、先に説明した実施例1,2と同様、デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例として説明する。
すなわち、基準カメラX(基準機)50、調整カメラY(調整機)60は、
図22に示す構成を有する。
デュアルバンドパスフィルタ(DBP)302は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
【0393】
本実施例3では、特殊光源を用いて帯域対応ゲインを算出する。さらに分光特性パラメータ(分離係数)の算出処理も実行する。
本実施例3では、カメラ製造時には、
図32の「(1)カメラ製造時の処理」の構成に従って、調整カメラY(調整機)60の帯域対応ゲイン算出、メモリ格納処理を実行する。
図32を参照して本実施例3の処理について説明する。
【0394】
本実施例3では、
図32に示すように、まず、基準カメラ(基準機)50と、調整カメラY(調整機)60が特殊光源(パターンボックス(PTB))400の出力光を撮影する。
【0395】
特殊光源(パターンボックス(PTB))は、先に
図21を参照して説明したように、ハロゲン光源、拡散板、フィルタを有し、フィルタを介して特定帯域の光を選択的に出力する構成を持つ光源である。
【0396】
ただし、本実施例3において利用する特殊光源(パターンボックス(PTB))は、先に
図21を参照して説明した特殊光源(パターンボックス(PTB))200と異なるフィルタ構成を有している。
【0397】
図33を参照して本実施例3において利用する特殊光源(パターンボックス(PTB))400の構成について説明する。
図33に示すように、特殊光源(パターンボックス)400は、ハロゲン光源401、拡散板402、フィルタ403を有し、ハロゲン光源401の出力光が拡散板402と、フィルタ403を介して出力され、この出力光をマルチスペクトルカメラ、すなわち、基準カメラ(基準機)50と、調整カメラY(調整機)60が撮影する。
【0398】
ハロゲン光源401は図左下部に示すような特性を有する。このハロゲン光源401の出力光が比較的フラットな特性を有する拡散板402を通過し、フィルタ403を介して出力される。フィルタ403には、2つのウィンドウに異なるフィルタ、IRCフィルタとVCフィルタが装着されている。
【0399】
IRCフィルタとVCフィルタの光透過特性は、
図33右下のグラフに示す通りである。
すなわち、IRCフィルタは赤外光(IR)カットフィルタであり、赤外光成分を透過せず、可視光成分を透過する特性を有する。
一方、VCフィルタは、可視光(Visible)カットフィルタであり、IRCフィルタとは逆に、可視光成分は透過せず、赤外光成分を透過する特性を有する。
【0400】
このような異なる光透過特性を持つIRCフィルタとVCフィルタの一方を閉じ、1つのフィルタのみの透過光をマルチスペクトルカメラ(基準カメラ(基準機)50と、調整カメラY(調整機)60)で撮影する。光を透過させるフィルタを順次、切り替えて、2つの異なる帯域の光をマルチスペクトルカメラで、順次、撮影する。これらの撮影画像から得られる出力値が、
図32に示す出力値となる。
【0401】
すなわち、基準カメラX(基準機)50のR画素とB画素の画素値(出力値Xout)(=Rraw,Braw)は、以下の画素値となる。
IRCフィルタ透過光撮影時、
Rraw(x)=band1@Rraw(x)
Braw(x)=band1@Braw(x)
VCフィルタ透過光撮影時、
Rraw(x)=band2@Rraw(x)
Braw(x)=band2@Braw(x)
【0402】
一方、調整カメラY(調整機)60のR画素とB画素の画素値(出力値Xout)(=Rraw,Braw)は、以下の画素値となる。
IRCフィルタ透過光撮影時、
Rraw(y)=band1@Rraw(y)
Braw(y)=band1@Braw(y)
VCフィルタ透過光撮影時、
Rraw(y)=band2@Rraw(y)
Braw(y)=band2@Braw(y)
【0403】
これらの出力値が得られる理由について、
図34を参照して説明する。
図34に示すグラフは、横軸に波長、縦軸に信号強度を設定したグラフである。
グラフには、先に
図33を参照して説明したIRCフィルタとVCフィルタの透過特性を示している。
【0404】
さらに、画像撮影を行うマルチスペクトル(基準カメラ(基準機)50と、調整カメラY(調整機)60)のカラーフィルタとデュアルバンドパスフィルタの光透過特性を示している。
なお、本実施例3で利用するマルチスペクトル(基準カメラ(基準機)50と、調整カメラY(調整機)60)は、先に説明した実施例1と同様、
図22に示す構成を有する。
すなわち、デュアルバンドパスフィルタ(DBP)302は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
【0405】
図34には、デュアルバンドパスフィルタ(DBP)302の光透過特性を示している。帯域1(Band1)と帯域2(band2)の光を選択的に透過させる。
図34に示す(Rraw),(Braw)は、カラーフィルタ303のRとBの光透過特性である。
【0406】
画像撮影を行うマルチスペクトル(基準カメラ(基準機)50と、調整カメラY(調整機)60)の撮像素子304に入力する光は、
(1)特殊光源400のIRCフィルタまたはVCフィルタ
(2)帯域1(Band1)と帯域2(band2)の光を選択的に透過させるデュアルバンドパスフィルタ(DBP)302
(3)カラーフィルタ
これら3つのフィルタを通過した光となる。
【0407】
図34から理解されるように、特殊光源400のIRCフィルタの透過光撮影時には、デュアルバンドパスフィルタ(DBP)302の帯域1(Band1)の透過光のみが、カラーフィルタ303のRB各画素を透過して撮像素子304に入力する。
この結果、撮像素子304のR画素の画素値(Rraw)は、
図34に示すように、
Rraw=band1@Rraw
となる。
また、撮像素子304のB画素の画素値(Braw)は、
図34に示すように、
Braw=band1@Braw
となる。
【0408】
一方、特殊光源400のVCフィルタの透過光撮影時には、デュアルバンドパスフィルタ(DBP)302の帯域2(Band2)の透過光のみが、カラーフィルタ303のRB各画素を透過して撮像素子304に入力する。
この結果、撮像素子304のR画素の画素値(Rraw)は、
図34に示すように、
Rraw=band2@Rraw
となる。
また、撮像素子304のB画素の画素値(Braw)は、
図34に示すように、
Braw=band2@Braw
となる。
【0409】
このように、特殊光源400のIRCフィルタとVCフィルタを順次、切り替えてマルチスペクトルカメラ(基準カメラ(基準機)50と、調整カメラY(調整機)60)で撮影することで、
図26に示す出力値、すなわち、基準カメラX(基準機)50のR画素とB画素の画素値(出力値Xout)(=Rraw,Braw)として、以下の画素値を取得できる。
または、2つのフィルタの透過光を同時に撮影し、各フィルタの透過光部分をそれぞれ切り出すことで、同様に以下の画素値を取得できる。
IRCフィルタ透過光撮影時、
Rraw(x)=band1@Rraw(x)
Braw(x)=band1@Braw(x)
VCフィルタ透過光撮影時、
Rraw(x)=band2@Rraw(x)
Braw(x)=band2@Braw(x)
【0410】
一方、調整カメラY(調整機)60のR画素とB画素の画素値(出力値Xout)(=Rraw,Braw)の画素値(出力値Xout)(=Rraw,Braw)として、以下の画素値を取得できる。
IRCフィルタ透過光撮影時、
Rraw(y)=band1@Rraw(y)
Braw(y)=band1@Braw(y)
VCフィルタ透過光撮影時、
Rraw(y)=band2@Rraw(y)
Braw(y)=band2@Braw(y)
【0411】
図32に示す帯域対応ゲイン算出部73は、上記の各値を基準カメラ(基準機)50と、調整カメラY(調整機)60から入力して、調整カメラY(調整機)60の帯域対応ゲインを算出する。
帯域対応ゲイン算出部73の算出する帯域対応ゲインは以下の値となる。
帯域1(band1)の帯域対応ゲイン=band1@Rraw(x)/band1@Rraw(y)
帯域2(band2)の帯域対応ゲイン=band2@Braw(x)/band2@Braw(y)
これら2つの帯域、すなわちデュアルバンドバスフィルタ302の透過光帯域に対応する2つの帯域の帯域対応ゲインを算出することができる。
【0412】
本実施例3の帯域対応ゲイン算出処理の処理シーケンスについて、
図35に示すフローチャートを参照して説明する。
【0413】
(ステップS301)
まず、ステップS301において、基準カメラX(基準機)と、調整カメラY(調整機)による特殊光源の撮影処理を実行する。この画像撮影は同一条件の下で実行するのが好ましい。
【0414】
(ステップS302,S303)
次のステップS302,S303において、基準カメラX(基準機)と調整カメラY(調整機)の撮影画素値、すなわちR画素値(Rraw)とB画素値(Braw)を取得する。
【0415】
この取得画素値は、先に
図34を参照して説明したように、帯域1(band1)と帯域2(band2)の帯域対応画素値になっている画素である。
従って、本実施例3では、実施例1で実行していた帯域対応画素値の算出処理を行う必要がない。
【0416】
ステップS302,S303において、撮影画像の画素値として、以下の各帯域対応画素値を取得することができる。
すなわち、基準カメラX(基準機)の画素値から、以下の帯域対応画素値を得ることができる。
IRCフィルタ透過光撮影時、
Rraw(x)=band1@Rraw(x)
Braw(x)=band1@Braw(x)
VCフィルタ透過光撮影時、
Rraw(x)=band2@Rraw(x)
Braw(x)=band2@Braw(x)
【0417】
一方、調整カメラY(調整機)の画素値から、以下の帯域対応画素値を得ることができる。
IRCフィルタ透過光撮影時、
Rraw(y)=band1@Rraw(y)
Braw(y)=band1@Braw(y)
VCフィルタ透過光撮影時、
Rraw(y)=band2@Rraw(y)
Braw(y)=band2@Braw(y)
【0418】
(ステップS304)
次に、ステップS304において、基準カメラX(基準機)の帯域対応画素値と、調整カメラY(調整機)の帯域対応画素値を利用して帯域対応ゲインを算出する。
【0419】
本実施例3において、算出する帯域対応ゲインは以下の帯域対応ゲインである。
帯域1(band1)の帯域対応ゲイン=band1@Rraw(x)/band1@Rraw(y)
帯域2(band2)の帯域対応ゲイン=band2@Braw(x)/band2@Braw(y)
これら2つの帯域、すなわちデュアルバンドバスフィルタ302の透過光帯域に対応する2つの帯域の帯域対応ゲインを算出する。
【0420】
(ステップS305)
最後にステップS305において、ステップS304で算出した帯域対応ゲインを調整カメラY(調整機)のメモリに格納する。
【0421】
なお、先に
図5を参照して説明したように、基準カメラX(基準機)の撮影画像の画素値から得られる基準機帯域対応画素値は、多数の調整カメラY(調整機)の帯域対応ゲインの算出処理に用いられる。従って、ステップS302で取得した基準機帯域対応画素値は、例えば基準カメラX(基準機)のメモリ、あるいは外部装置のメモリに格納して、このメモリ格納データを、その後の他の調整カメラY(調整機)の帯域対応ゲイン算出処理に適用する構成としてもよい。
【0422】
この設定とした場合、2台目以降の調整カメラ(調整機)に対する処理を行う場合、ステップS301では、調整カメラY(調整機)のみによる画像撮影を行い、ステップS302の処理は省略し、ステップS304では、メモリに格納済みの基準機帯域対応画素値を読み出して調整機の帯域対応ゲインを算出する処理を行うことが可能となる。
【0423】
なお、本実施例3では、上述した調整カメラY(調整機)に格納する帯域対応ゲインの算出処理に併せて、分光特性パラメータ(分離係数)の算出と、メモリ格納を行うことも可能である。
【0424】
分光特性パラメータ(分離係数)は、マルチスペクトルカメラのカラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域、すなわち、マルチバンドパスフィルタの透過光帯域における強度比である。
【0425】
図34に示す帯域1(band1)と、帯域2(band2)各々のカラーフィルタのRB各画素の透過光の強度比は、本実施例3において特殊光源400の光を撮影したマルチスペクトルカメラの画素値(Rraw,Braw)から直接算出することができる。
【0426】
帯域1(band1)と、帯域2(band2)各々の分光特性パラメータ(分離係数)は、以下のように算出することができる。
基準カメラX(基準機)
帯域1(band1)対応の分光特性パラメータ(分離係数)
Kband1(x)=band1@Braw(x)/band1@Rraw(x)
帯域2(band2)対応の分光特性パラメータ(分離係数)
Kband2(x)=band2@Rraw(x)/band2@Braw(x)
【0427】
調整カメラY(調整機)
帯域1(band1)対応の分光特性パラメータ(分離係数)
Kband1(y)=band1@Braw(y)/band1@Rraw(y)
帯域2(band2)対応の分光特性パラメータ(分離係数)
Kband2(y)=band2@Rraw(y)/band2@Braw(y)
【0428】
このように、本実施例3では、特殊光源400の光を撮影したマルチスペクトルカメラの画素値(Rraw,Braw)から、帯域1(band1)と、帯域2(band2)各々のカラーフィルタのRB各画素の透過光の強度比、すなわち、分光特性パラメータ(分離係数)を算出することが可能となる。
【0429】
従って、例えば
図36に示すように、基準カメラX(基準機)50の撮影画像を入力して、基準機対応の分光特性パラメータ(分離係数)を算出する分光特性パラメータ(分離係数)算出部331と、調整カメラY(調整機)60の撮影画像を入力して、調整機対応の分光特性パラメータ(分離係数)を算出する分光特性パラメータ(分離係数)算出部332を設ける構成としてもよい。
【0430】
これら各部で算出した分光特性パラメータ(分離係数)を各カメラのメモリ、または外部装置のメモリに格納することで、例えば実施例1や実施例2等、実施例3以外の方法で帯域対応ゲインを算出する場合に利用することが可能となる。
【0431】
なお、本実施例3においても、先に説明した実施例1,2の変形例と同様、帯域対応ゲイン算出処理をカメラ製造時ではなく、カメラ利用時(撮影時)に実行する構成としてもよい。
カメラ製造時には、画素値平均値、または代表値を調整カメラY(調整機)60のメモリ61に格納して、カメラ利用時(撮影時)にメモリ61に格納された画素値平均値、または代表値を用いて帯域対応ゲインを算出する。
【0432】
(9-4(実施例4)基準機の測定済み分光特性パラメータ(分離係数)と特殊光源を併用し、帯域対応ゲインおよび分光特性パラメータ(分離係数)の算出処理を実行する実施例)
次に、(実施例4)基準機の測定済み分光特性パラメータ(分離係数)と特殊光源を併用し、帯域対応ゲインおよび分光特性パラメータ(分離係数)の算出処理を実行する実施例について説明する。
【0433】
先に
図36を参照して説明したように、例えば特殊光源を利用した光源の撮影データに基づいて分光特性パラメータ(分離係数)を算出することができる。
以下に説明する実施例4は、基準機の測定済み分光特性パラメータ(分離係数)を利用した帯域対応ゲインの算出処理を実行する実施例である。
【0434】
本実施例4においても実施例3と同様、特殊光源(パターンボックス(PTB))の出力光の撮影画像を利用して調整カメラY(調整機)60の帯域対応ゲインを算出する。
【0435】
なお、本実施例4においても、先に説明した実施例1~3と同様、デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例について説明する。
すなわち、基準カメラX(基準機)50、調整カメラY(調整機)60は、
図22に示す構成を有する。
デュアルバンドパスフィルタ(DBP)302は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
【0436】
図37を参照して、本実施例4において利用する特殊光源(パターンボックス(PTB))の構成例について説明する。
図37に示すように、特殊光源(パターンボックス)420は、ハロゲン光源421、拡散板422、フィルタ423を有し、ハロゲン光源421の出力光が拡散板422と、フィルタ423を介して出力され、この出力光をマルチスペクトルカメラ、すなわち、基準カメラ(基準機)50と、調整カメラY(調整機)60が撮影する。
【0437】
ハロゲン光源421は図左下部に示すような特性を有する。このハロゲン光源421の出力光が比較的フラットな特性を有する拡散板422を通過し、フィルタ423を介して出力される。フィルタ423には、2つのウィンドウが構成され、1つが全帯域透過窓(ALL)であり、もう一方にVCフィルタが装着されている。
【0438】
全帯域透過窓(ALL)は、可視光、赤外光領域をすべて透過する窓である。VCフィルタの光透過特性は、
図37右下のグラフに示す通りである。
すなわち、VCフィルタは、可視光(Visible)カットフィルタであり、可視光成分は透過せず、赤外光成分を透過する特性を有する。
【0439】
このような異なる光透過特性を持つ全帯域透過窓(ALL)とVCフィルタの一方を閉じ、1方のみの透過光をマルチスペクトルカメラ(基準カメラ(基準機)50と、調整カメラY(調整機)60)で撮影する。光透過ウィンドウを順次、切り替えて、2つの異なる帯域の光をマルチスペクトルカメラで、順次、撮影する。これらの撮影画像から得られる画素値(出力値)について、
図38を参照して説明する。
【0440】
図38に示すグラフは、横軸に波長、縦軸に信号強度を設定したグラフである。
グラフには、先に
図37を参照して説明したVCフィルタの透過特性を示している。
【0441】
さらに、画像撮影を行うマルチスペクトル(基準カメラ(基準機)50と、調整カメラY(調整機)60)のカラーフィルタとデュアルバンドパスフィルタの光透過特性を示している。
なお、本実施例4で利用するマルチスペクトル(基準カメラ(基準機)50と、調整カメラY(調整機)60)は、先に説明した実施例1と同様、
図22に示す構成を有する。
すなわち、デュアルバンドパスフィルタ(DBP)302は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
【0442】
図38には、デュアルバンドパスフィルタ(DBP)302の光透過特性を示している。帯域1(Band1)と帯域2(band2)の光を選択的に透過させる。
図38に示す(Rraw),(Braw)は、カラーフィルタ303のRとBの光透過特性である。
【0443】
画像撮影を行うマルチスペクトル(基準カメラ(基準機)50と、調整カメラY(調整機)60)の撮像素子304に入力する光は、
(1)特殊光源420の全帯域透過窓(ALL)またはVCフィルタ
(2)帯域1(Band1)と帯域2(band2)の光を選択的に透過させるデュアルバンドパスフィルタ(DBP)302
(3)カラーフィルタ
これら3つのフィルタを通過した光となる。
【0444】
特殊光源420の全帯域透過窓(ALL)の透過光撮影時には、デュアルバンドパスフィルタ(DBP)302の帯域1(Band1)と、帯域2(Band2)の透過光が、カラーフィルタ303のRB各画素を透過して撮像素子304に入力する。
この結果、撮像素子304のR画素の画素値(Rraw)は、
図38に示すように、
Rraw=band1@Rraw+band2@Rraw
=band(1+2)@Rraw
となる。
また、撮像素子304のB画素の画素値(Braw)は、
図38に示すように、
Braw=band1@Braw+band2@Braw
=band(1+2)@Braw
となる。
【0445】
一方、特殊光源420のVCフィルタの透過光撮影時には、デュアルバンドパスフィルタ(DBP)302の帯域2(Band2)の透過光のみが、カラーフィルタ303のRB各画素を透過して撮像素子304に入力する。
この結果、撮像素子304のR画素の画素値(Rraw)は、
図38に示すように、
Rraw=band2@Rraw
となる。
また、撮像素子304のB画素の画素値(Braw)は、
図38に示すように、
Braw=band2@Braw
となる。
【0446】
このように、本実施例4においては、特殊光源420の全帯域透過窓(ALL)とVCフィルタを順次、切り替えてマルチスペクトルカメラ(基準カメラ(基準機)50と、調整カメラY(調整機)60)で撮影する。
【0447】
この撮影データを用いて調整カメラY(調整機)60の帯域対応ゲインを算出する。
本実施例4では、
図39に示す「(1)カメラ製造時の処理」の構成に従って、調整カメラY(調整機)60の帯域対応ゲイン算出、メモリ格納処理を実行する。
図39を参照して本実施例4の処理について説明する。
【0448】
本実施例4では、
図39に示すように、まず、基準カメラ(基準機)50と、調整カメラY(調整機)60が特殊光源(パターンボックス(PTB))420の出力光を撮影する。
【0449】
特殊光源(パターンボックス(PTB))420は、
図37を参照して説明した構成を有する。すなわち、全帯域透過窓(ALL)またはVCフィルタを有する。
このような特殊光源(パターンボックス(PTB))420の出力光を、透過ウィンドウを順次切り替えて撮影することで、
図39に示す出力値、すなわち、基準カメラX(基準機)50のR画素とB画素の画素値(出力値Xout)(=Rraw,Braw)として、以下の画素値を取得できる。
全帯域透過窓(ALL)透過光撮影時、
Rraw(xALL)=band(1+2)@Rraw(xALL)
Braw(xALL)=band(1+2)@Braw(xALL)
VCフィルタ透過光撮影時、
Rraw(xVC)=band2@Rraw(xVC)
Braw(xVC)=band2@Braw(xVC)
【0450】
なお、(xALL)は、基準カメラX(基準機)50による全帯域透過窓(ALL)透過光撮影時の画素値であることを示している。
(xVC)は、基準カメラX(基準機)50によるVCフィルタ透過光撮影時の画素値であることを示している。
【0451】
一方、調整カメラY(調整機)60のR画素とB画素の画素値(出力値Xout)(=Rraw,Braw)の画素値(出力値Xout)(=Rraw,Braw)として、以下の画素値を取得できる。
全帯域透過窓(ALL)透過光撮影時、
Rraw(yALL)=band(1+2)@Rraw(yALL)
Braw(yALL)=band(1+2)@Braw(yALL)
VCフィルタ透過光撮影時、
Rraw(yVC)=band2@Rraw(yVC)
Braw(yVC)=band2@Braw(yVC)
【0452】
なお、(yALL)は、調整カメラY(調整機)60による全帯域透過窓(ALL)透過光撮影時の画素値であることを示している。
(yVC)は、調整カメラY(調整機)60によるVCフィルタ透過光撮影時の画素値であることを示している。
【0453】
さらに、本実施例4では、基準カメラX(基準機)50のメモリ51に、予め算出済みの分光特性パラメータ(分離係数)が格納されている。このメモリ51に格納されている分光特性パラメータ(分離係数)は、帯域1(band1)と帯域2(band2)のRB各画素の出力比率データであり、以下のパラメータである。
Kband1(x)=band1@Braw/band1@Rraw
Kband2(x)=band2@Rraw/band2@Braw
【0454】
図39に示す基準機帯域対応画素値算出部71は、
図39に示す基準カメラX(基準機)50の出力、すなわち、
全帯域透過窓(ALL)透過光撮影時、
Rraw(xALL)=band(1+2)@Rraw(xALL)
Braw(xALL)=band(1+2)@Braw(xALL)
VCフィルタ透過光撮影時、
Rraw(xVC)=band2@Rraw(xVC)
Braw(xVC)=band2@Braw(xVC)
これらの画素値と、基準カメラX(基準機)50のメモリ51に格納された分光特性パラメータ(分離係数)、
Kband1(x)=band1@Braw/band1@Rraw
Kband2(x)=band2@Rraw/band2@Braw
これらを入力して、基準機帯域対応画素値を算出する。
【0455】
一方、調整機帯域対応画素値算出部72は、
図39に示す調整カメラY(調整機)60の出力、すなわち、
全帯域透過窓(ALL)透過光撮影時、
Rraw(yALL)=band(1+2)@Rraw(yALL)
Braw(yALL)=band(1+2)@Braw(yALL)
VCフィルタ透過光撮影時、
Rraw(yVC)=band2@Rraw(yVC)
Braw(yVC)=band2@Braw(yVC)
これらの画素値と、基準機帯域対応画素値算出部71の算出値を入力して、調整機帯域対応画素値を算出する。
【0456】
まず、
図39に示す基準機帯域対応画素値算出部71は、
図39に示す基準カメラX(基準機)50の出力、すなわち、
全帯域透過窓(ALL)透過光撮影時、
Rraw(xALL)=band(1+2)@Rraw(xALL)
Braw(xALL)=band(1+2)@Braw(xALL)
これらの撮影画像に基づく画素値と、メモリ51から取得した分光特性パラメータ(分離係数)、
Kband1(x)=band1@Braw/band1@Rraw
Kband2(x)=band2@Rraw/band2@Braw
これらの値を利用して、先に
図12、
図13を参照して説明した繰り返し演算を実行して、以下の帯域対応画素値を算出する。
band(1)@Rraw(xALL)
band(2)@Braw(xALL)
【0457】
まず、
図12のステップS01に示す式に相当する式を生成する。
本実施例4では、RB各画素について帯域1(band1)、帯域2(band2)の信号のみに対する処理を実行すればよい。従って、
図12のステップS01に示す式に相当する本実施例の式は、以下のようになる。
Araw=a1+a2
Braw=b1+b2
【0458】
この式に、上記の基準カメラX(基準機)50の各帯域(band)の出力を代入すると、以下の(式41)となる。
Rraw(xALL)=band1@Rraw(xALL)+band2@Rraw(xALL)
Braw(xALL)=band1@Braw(xALL)+band2@Braw(xALL)
・・・・(式41)
【0459】
さらに、上記(式41)を
図12のステップS02に示す式に展開して、以下の(式42)を生成する。
band1@Rraw(xALL)=Rraw(xALL)-band2@Rraw(xALL)
band2@Braw(xALL)=Braw(xALL)-band1@Braw(xALL)
・・・・(式42)
【0460】
さらに、上記(式42)を
図12のステップS02に示す式に展開して、以下の(式43)を生成する。
band1@Rraw(xALL)=Rraw(xALL)-(Kband2(x))(band2@Braw(xALL))
band2@Braw(xALL)=Braw(xALL)-(Kband1(x))(band1@Rraw(xALL))
・・・・(式43)
【0461】
上記(式43)は、先に
図12を参照して説明したステップS03の式、すなわち先に説明した(式23)の帯域対応画素値算出式に相当する
【0462】
以下、この(式43)によって算出される以下の各値、
band1@Rraw(xALL)
band2@Braw(xALL)
すなわち、
図12のステップS03に示す式のa1,b2に相当する上記各値を、
再度、上記(式43)の右側部分に代入して、a1,b2の新たな値、すなわち、
band1@Rraw(xALL)
band2@Braw(xALL)
これらの新たな値を算出する。
【0463】
以下、この演算を繰り返す。すなわち、上記の帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返す「繰り返し演算」を実行する。
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2の値、すなわち、
band1@Rraw(xALL)
band2@Braw(xALL)
これらの各値は次第に収束する。すなわち、先に
図13を参照して説明したように収束する。
【0464】
本実施例4では、一例として、上記(式43)を用いた繰り返し演算を5回実行する。この結果、以下の収束値が算出される。
band1@Rraw(xALL)(5)
band2@Braw(xALL)(5)
末尾の(5)は、上記(式43)を用いた繰り返し演算を5回実行した結果の収束値であることを示す。
【0465】
band1@Rraw(xALL)(5)は、基準カメラX(基準機)50が、全帯域透過窓(ALL)透過光を撮影した際のR画素素の画素値、すなわち、
Rraw(xALL)=band(1+2)@Rraw(xALL)
この画素値に含まれる帯域1(band1)の帯域対応画素値に相当する。
【0466】
また、band2@Braw(xALL)(5)は、基準カメラX(基準機)50が、全帯域透過窓(ALL)透過光を撮影した際のB画素素の画素値、すなわち、
Braw(xALL)=band(1+2)@Braw(xALL)
この画素値に含まれる帯域2(band2)の帯域対応画素値に相当する。
【0467】
次に、
図39に示す基準機帯域対応画素値算出部71は、上記の繰り返し演算によって取得された帯域1(band1)の帯域対応画素値、
band1@Rraw(xALL)(5)
この帯域1(band1)の帯域対応画素値と、
VCフィルタ透過光撮影時の出力として取得される、
Braw(xVC)=band2@Braw(xVC)
この帯域2(band2)の帯域対応画素値を、帯域対応ゲイン算出部73に出力する。
【0468】
次に、調整機帯域対応画素値算出部72の実行する処理について説明する。
調整機帯域対応画素値算出部72は、
全帯域透過窓(ALL)透過光撮影時の画素値、すなわち、
Rraw(yALL)=band(1+2)@Rraw(yALL)
Braw(yALL)=band(1+2)@Braw(yALL)
これらの画素値から、以下の調整機帯域対応画素値を算出する。
band1@Rraw(yALL)
band2@Braw(yALL)
これらの帯域対応画素値を算出する。
【0469】
調整機帯域対応画素値算出部72は、基準機帯域対応画素値算出部71において実行された繰り返し演算の結果、算出された以下の収束値を利用して、上記の調整機帯域対応画素値を算出する。
band1@Rraw(xALL)(5)
band2@Braw(xALL)(5)
【0470】
なお、調整カメラY(調整機)60による全帯域透過窓(ALL)透過光撮影時のR画素とB画素の画素値(出力値Xout)であるRraw(yALL)と、Braw(yALL)は、以下の(式44)として示すことができる。
Rraw(yALL)=band1@Rraw(yALL)+band2@Rraw(yALL)
Braw(yALL)=band1@Braw(yALL)+band2@Braw(yALL)
・・・(式44)
【0471】
また、帯域1(band1)や帯域2(band2)の帯域幅が、光源の変化や、カメラの分光特性の変化に対して十分に小さいと仮定すると、特殊光源420のVCフィルタ透過光撮影時の光源出力から得られる帯域(band)の基準機と調整機間のバンドゲインはほぼ一定とみなすことができる。
この想定に基づくと、以下の(式45)が導かれる。
band2@Rraw(yALL)=((band1@Rraw(xALL)(5))/(band2@Rraw(xVC)))×(band2@Rraw(yVC))
band2@Braw(yALL)=((band2@Braw(xALL)(5))/(band2@Braw(xVC)))×band2@Braw(yVC))
・・・(式45)
【0472】
調整機帯域対応画素値算出部72は、以上の結果に基づいて、以下の調整機帯域対応画素値を算出する。すなわち、上記(式45)を上記(式44)に代入して以下の(式46)に示す調整機帯域対応画素値を算出する。
band1@Rraw(yALL)=Rraw(yALL)-band2@Rraw(yALL)
band1@Braw(yALL)=Braw(yALL)-band2@Braw(yALL)
・・・(式45)
【0473】
なお、調整カメラY(調整機)60に対応する分光特性パラメータ(分離係数)、
は、以下の(式46)によって示すことができる。
Kband1(y)=band1@Braw(yALL)/band1@Rraw(yALL)
Kband2(y)=band2@Rraw(yVC)/band2@Braw(yVC)
・・・(式46)
【0474】
調整機帯域対応画素値算出部72は、上記の(式45)によって示される調整カメラY(調整機)60の帯域1(band1)の帯域対応画素値、
band1@Rraw(yALL)=Rraw(yALL)-band2@Rraw(yALL)
この帯域1(band1)の帯域対応画素値と、
VCフィルタ透過光撮影時の出力として取得される、
Braw(yVC)=band2@Braw(yVC)
この帯域2(band2)の帯域対応画素値を、帯域対応ゲイン算出部73に出力する。
【0475】
帯域対応ゲイン算出部73は、基準機帯域対応画素値算出部71から以下の基準カメラX(基準機)50の各帯域1,2(band1,2)の帯域対応画素値を入力する。
帯域1(band1)対応画素値:band1@Rraw(xALL)(5)
帯域2(band2)対応画素値:Braw(xVC)=band2@Braw(xVC)
さらに、調整機帯域対応画素値算出部72から入力する調整カメラY(調整機)60から、以下の各帯域1,2(band1,2)の帯域対応画素値を入力する。
帯域1(band1)対応画素値:band1@Rraw(yALL)=Rraw(yALL)-band2@Rraw(yALL)
帯域2(band2)対応画素値:Braw(yVC)=band2@Braw(yVC)
【0476】
帯域対応ゲイン算出部73は、これらの入力値に基づいて以下の(式47)に示す帯域対応ゲインを算出する。
帯域1(band1)対応ゲイン=(band1@Rraw(xALL)(5))/(band1@Rraw(yALL))
帯域2(band2)対応ゲイン=Braw(xVC)/Braw(yVC)
・・・(式47)
【0477】
本実施例4の帯域対応ゲイン算出処理の処理シーケンスについて、
図40に示すフローチャートを参照して説明する。
【0478】
(ステップS401)
まず、ステップS401において、基準カメラX(基準機)と、調整カメラY(調整機)による特殊光源の撮影処理を実行する。この画像撮影は同一条件の下で実行するのが好ましい。
【0479】
(ステップS402,S403)
次のステップS402,S403において、基準カメラX(基準機)と調整カメラY(調整機)の撮影画素値、すなわちR画素値(Rraw)とB画素値(Braw)を取得する。
【0480】
この取得画素値は、以下の各画素値である。
全帯域透過窓(ALL)透過光撮影時、
Rraw(ALL)=band(1+2)@Rraw(ALL)
Braw(ALL)=band(1+2)@Braw(ALL)
VCフィルタ透過光撮影時、
Rraw(VC)=band2@Rraw(VC)
Braw(VC)=band2@Braw(VC)
【0481】
帯域2(band2)については、帯域対応画素値として取得できているが、帯域1(band1)についての帯域対応画素値は取得できていない。
本実施例では上述したように、基準カメラ(基準機)50対応の分光特性パラメータ(分離係数)をメモリ51から取得し、分光特性パラメータ(分離係数)を利用して、先に
図12を参照して説明した繰り返し演算によって、基準カメラ(基準機)50の帯域1(band1)対応画素値を算出する。
【0482】
その後、この基準カメラ(基準機)50の帯域1(band1)対応画素値を用いた演算処理により、調整カメラ(調整機)60の帯域1(band1)対応画素値を算出する。
【0483】
ステップS402,S403において、以下の帯域対応画素値を算出または取得する。
基準カメラX(基準機)50の帯域対応画素値、
帯域1(band1)対応画素値:band1@Rraw(xALL)(5)
帯域2(band2)対応画素値:Braw(xVC)=band2@Braw(xVC)
調整カメラY(調整機)60の帯域対応画素値、
帯域1(band1)対応画素値:band1@Rraw(yALL)=Rraw(yALL)-band2@Rraw(yALL)
帯域2(band2)対応画素値:Braw(yVC)=band2@Braw(yVC)
【0484】
(ステップS404)
次に、ステップS404において、基準カメラX(基準機)の帯域対応画素値と、調整カメラY(調整機)の帯域対応画素値を利用して帯域対応ゲインを算出する。
【0485】
本実施例4において、算出する帯域対応ゲインは以下の帯域対応ゲインである。
帯域1(band1)対応ゲイン=(band1@Rraw(xALL)(5))/band1@Rraw(yALL)
帯域2(band2)対応ゲイン=Braw(xVC)/Braw(yVC)
これら2つの帯域、すなわちデュアルバンドバスフィルタ302の透過光帯域に対応する2つの帯域の帯域対応ゲインを算出する。
【0486】
(ステップS405)
最後にステップS405において、ステップS404で算出した帯域対応ゲインを調整カメラY(調整機)のメモリに格納する。
【0487】
なお、先に
図5を参照して説明したように、基準カメラX(基準機)の撮影画像の画素値から得られる基準機帯域対応画素値は、多数の調整カメラY(調整機)の帯域対応ゲインの算出処理に用いられる。従って、ステップS402で取得した基準機帯域対応画素値は、例えば基準カメラX(基準機)のメモリ、あるいは外部装置のメモリに格納して、このメモリ格納データを、その後の他の調整カメラY(調整機)の帯域対応ゲイン算出処理に適用する構成としてもよい。
【0488】
この設定とした場合、2台目以降の調整カメラ(調整機)に対する処理を行う場合、ステップS401では、調整カメラY(調整機)のみによる画像撮影を行い、ステップS402の処理は省略し、ステップS404では、メモリに格納済みの基準機帯域対応画素値を読み出して調整機の帯域対応ゲインを算出する処理を行うことが可能となる。
【0489】
次に、実施例4のもう一つの具体例として実施例4bについて説明する。
この実施例4bは、基準カメラX(基準機)50と、調整カメラY(調整カメラ)60として、
図41に示す構成を持つマルチスペクトルカメラを用いた実施例である。
【0490】
図41に示すマルチスペクトルカメラ430は、先に
図10を参照して説明したマルチスペクトルカメラと同様の構成を有する。
図9に示すABCDカラーフィルタを用いたマルチスペクトルカメラ430である。
【0491】
図41に示すマルチスペクトルカメラ430において、レンズ431を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(MBP)432と、カラーフィルタ(RGBIRカラーフィルタ)433を介して撮像素子(イメージセンサ)434に入力する。撮像素子(イメージセンサ)434の出力が信号処理部435に入力され、様々な信号処理を行う。
【0492】
マルチバンドパスフィルタ(MBP)432は、複数の帯域光を選択的に透過させるフィルタである。
図41に示すマルチスペクトルカメラ430のカラーフィルタ(ABCDカラーフィルタ)433は、A,B,C,Dの4種類のフィルタ領域を有しており、マルチバンドパスフィルタ(MBP)432も、これらA,B,C,Dの4種類の波長を選択的に透過するフィルタである。
【0493】
本実施例4bにおいても前述した実施例4と同様、特殊光源の出力光を撮影する。
図42を参照して本実施例4で用いる特殊光源(パターンボックス(PTB))440の構成例について説明する。
図42に示すように、特殊光源(パターンボックス)440は、ハロゲン光源441、拡散板442、フィルタ443を有し、ハロゲン光源441の出力光が拡散板442と、フィルタ443を介して出力され、この出力光をマルチスペクトルカメラ、すなわち、基準カメラ(基準機)50と、調整カメラY(調整機)60が撮影する。
【0494】
ハロゲン光源441は図左下部に示すような特性を有する。このハロゲン光源441の出力光が比較的フラットな特性を有する拡散板442を通過し、フィルタ443を介して出力される。フィルタ443には、4つのウィンドウが構成され、それぞれ、全帯域透過窓(ALL)と、帯域2(band2)、帯域3(band3)、帯域4(band4)の各帯域の光を選択的に透過するフィルタが装着されている。
【0495】
全帯域透過窓(ALL)は、可視光、赤外光領域をすべて透過する窓である。その他の3つのフィルタの光透過特性は、
図42右下のグラフに示す通りである。
すなわち、帯域2(band2)、帯域3(band3)、帯域4(band4)の各帯域の光を選択的に透過する特性を有する。
【0496】
このような異なる光透過特性を持つ4つの窓またはフィルタの1つのみの透過光をマルチスペクトルカメラ(基準カメラ(基準機)50と、調整カメラY(調整機)60)で撮影する。光透過ウィンドウを順次、切り替えて、4つの異なる帯域の光をマルチスペクトルカメラで、順次、撮影する。これらの撮影画像から得られる画素値と、基準カメラX(基準機)50のメモリ51に格納された分光特性パラメータ(分離係数)を用いて、各カメラの帯域対応画素値を算出し、算出した帯域対応画素値に基づいて帯域対応ゲインを算出する。
【0497】
本実施例4bにおけるカメラ製造時の処理を
図43に示す。
図43に示す構成は、先に実施例4として説明した
図39の構成と同様である。ただし、各カメラの出力値と、基準カメラX(基準機)50のメモリ51に格納された分光特性パラメータ(分離係数)は異なる。
【0498】
本実施例4bにおいて、基準カメラX(基準機)50のメモリ51に格納された分光特性パラメータ(分離係数)は以下のパラメータである。なお、以下に示すa1~d4は、先に説明した
図11のグラフ上の各点に対応する。
Ka2(x)=a2(x)/b2(x)
Ka3(x)=a3(x)/c3(x)
Ka4(x)=a4(x)/d4(x)
Kb1(x)=b1(x)/a1(x)
Kb3(x)=b3(x)/c3(x)
Kb4(x)=b4(x)/d4(x)
Kc1(x)=c1(x)/a1(x)
Kc2(x)=c2(x)/b2(x)
Kc4(x)=c4(x)/d4(x)
Kd1(x)=d1(x)/a1(x)
Kd2(x)=d2(x)/b2(x)
Kd3(x)=d3(x)/c3(x)
なお、(x)は基準機対応の値であることを示す。
【0499】
例えば、Ka2(x)=a2(x)/b2(x)は、
図11に示すグラフの帯域B領域の信号a2と、信号b2の比率(a2(x)/b2(x))である。
Ka3(x)=a3(x)/c3(x)は、
図11に示すグラフの帯域C領域の信号a3と、信号c3の比率(a3(x)/c3(x))である。
Ka4(x)=a4(x)/cd(x)は、
図11に示すグラフの帯域D領域の信号a4と、信号d4の比率(a4(x)/d4(x))である。
Kb1(x)=b1(x)/a1(x)は、
図11に示すグラフの帯域A領域の信号b1と、信号a1の比率(b1(x)/a1(x))である。
【0500】
以下、同様である。マルチスペクトルカメラ430の分光特性パラメータは、カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域、すなわち、マルチバンドパスフィルタの透過光帯域における強度比である。
本実施例4bでは、基準カメラX(基準機)50のメモリ51に、上記の分光特性パラメータ(分離係数)が格納されているものとする。
【0501】
図43に示す構成において、特殊光源(パターンボックス)440の各帯域2~4(band2~4)フィルタを切り替えて各カメラ(基準カメラX(基準機)50と、調整カメラY(調整機)60)で画像撮影を行う。
なお、各カメラのカラーフィルタは、
図41に示すように、ABCD4種類のフィルタが設定されている。従って、画素値出力として、ABCD各画素値Araw,Braw,Craw,Drawが得られる。
【0502】
特殊光源(パターンボックス)440の帯域2(band2)フィルタ透過光の撮影時の基準カメラX(基準機)50のABCD各画素の画素値は、以下の通りである。
Araw@band2(x)
Braw@band2(x)
Craw@band2(x)
Draw@band2(x)
調整カメラY(調整機)60のABCD各画素の画素値は、以下の通りである。
Araw@band2(y)
Braw@band2(y)
Craw@band2(y)
Draw@band2(y)
【0503】
特殊光源(パターンボックス)440の帯域3(band3)フィルタ透過光の撮影時の基準カメラX(基準機)50のABCD各画素の画素値は、以下の通りである。
Araw@band3(x)
Braw@band3(x)
Craw@band3(x)
Draw@band3(x)
調整カメラY(調整機)60のABCD各画素の画素値は、以下の通りである。
Araw@band3(y)
Braw@band3(y)
Craw@band3(y)
Draw@band3(y)
【0504】
特殊光源(パターンボックス)440の帯域4(band4)フィルタ透過光の撮影時の基準カメラX(基準機)50のABCD各画素の画素値は、以下の通りである。
Araw@band4(x)
Braw@band4(x)
Craw@band4(x)
Draw@band4(x)
調整カメラY(調整機)60のABCD各画素の画素値は、以下の通りである。
Araw@band4(y)
Braw@band4(y)
Craw@band4(y)
Draw@band4(y)
【0505】
これらの画素値を利用して、調整カメラY(調整機)60のABCD各画素に府含まれる各帯域2~4(band2~4)の信号値(a2,b2,c2,d2、a3,b3,c3,d3、a4,b4,c4,d4)は次の(式51)のように示される。
【0506】
a2(y)=Araw@band2(y)、
b2(y)=Braw@band2(y)、
c2(y)=Craw@band2(y)、
d2(y)=Draw@band2(y)、
a3(y)=Araw@band3(y)、
b3(y)=Braw@band3(y)、
c3(y)=Craw@band3(y)、
d3(y)=Draw@band3(y)
a4(y)=Araw@band4(y)、
b4(y)=Braw@band4(y)、
c4(y)=Craw@band4(y)、
d4(y)=Draw@band4(y)
・・・(式51)
【0507】
また、調整カメラY(調整機)60の分光特性パラメータ(分離係数)は以下の(式52)kように示すことができる。
Ka2(y)=a2(y)/b2(y)、
Ka3(y)=a3(y)/c3(y)、
Ka4(y)=a4(y)/d4(y)、
Kb3(y)=b3(y)/c3(y)、
Kb4(y)=b4(y)/d4(y)、
Kc2(y)=c2(y)/b2(y)、
Kc4(y)=c4(y)/d4(y)
Kd2(y)=d2(y)/b2(y)、
Kd3(y)=d3(y)/c3(y)
・・・(式52)
【0508】
また、基準カメラ(基準機)50についても、ABCD各画素に府含まれる各帯域2~4(band2~4)の信号値(a2,b2,c2,d2、a3,b3,c3,d3、a4,b4,c4,d4)は次の(式53)のように示される。
【0509】
a2(x)=Araw@band2(x)、
b2(x)=Braw@band2(x)、
c2(x)=Craw@band2(x)、
d2(x)=Draw@band2(x)、
a3(x)=Araw@band3(x)、
b3(x)=Braw@band3(x)、
c3(x)=Craw@band3(x)、
d3(x)=Draw@band3(x)
a4(x)=Araw@band4(x)、
b4(x)=Braw@band4(x)、
c4(x)=Craw@band4(x)、
d4(x)=Draw@band4(x)
・・・(式53)
【0510】
特殊光源420の全帯域透過窓(ALL)を介した光を撮影した場合の画素値は以下のように示す。
基準カメラX(基準機)50のABCD画素値は以下のように示す。
Araw(xAll)
Braw(xAll)
Craw(xAll)
Draw(xAll)
調整カメラY(調整機)60のABCD画素値は以下のように示す。
Araw(yAll)
Braw(yAll)
Craw(yAll)
Draw(yAll)
【0511】
特殊光源420の全帯域透過窓(ALL)を介した光を撮影した場合の調整カメラY(調整機)60のABCD画素値は、以下の(式54)のように示すことができる。
Araw(yAll)=band1@Araw(yALL)+band2@Araw(yALL)+band3@Araw(yALL)+band4@Araw(yALL)
Braw(yAll)=band1@Braw(yALL)+band2@Braw(yALL)+band3@Braw(yALL)+band4@Braw(yALL)
Craw(yAll)=band1@Craw(yALL)+band2@Craw(yALL)+band3@Craw(yALL)+band4@Craw(yALL)
Draw(yAll)=band1@Draw(yALL)+band2@Draw(yALL)+band3@Draw(yALL)+band4@Draw(yALL)
・・・(式54)
【0512】
また、特殊光源420の全帯域透過窓(ALL)を介した光を撮影した場合の基準カメラX(基準機)50のABCD画素値は、以下の(式55)のように示すことができる。
Araw(xAll)=band1@Araw(xALL)+band2@Araw(xALL)+band3@Araw(xALL)+band4@Araw(xALL)
Braw(xAll)=band1@Braw(xALL)+band2@Braw(xALL)+band3@Braw(xALL)+band4@Braw(xALL)
Craw(xAll)=band1@Craw(xALL)+band2@Craw(xALL)+band3@Craw(xALL)+band4@Craw(xALL)
Draw(xAll)=band1@Draw(xALL)+band2@Draw(xALL)+band3@Draw(xALL)+band4@Draw(xALL)
・・・(式55)
【0513】
図43に示す基準機帯域対応画素値算出部71は以下の処理を実行する。
基準カメラX(基準機)50の分光特性パラメータ(分離係数)は、メモリ51から取得可能であるので、上記(式55)に対して、先に
図12を参照して説明した繰り返し演算を実行する。この繰り返し演算により、各帯域1~4(band1~4)の収束信号値(a1,b2,c3,d4)を算出する。すなわち、以下の(式56)に示す各帯域対応画素値を算出することができる。
band1@Araw(xALL)
band2@Braw(xALL)
band3@Craw(xALL)
band4@Draw(xALL)
・・・(式56)
【0514】
図43に示す基準機帯域対応画素値算出部71は、上記(式56)に示す各帯域対応画素値を帯域対応ゲイン算出部73に出力する。
【0515】
次に、調整機帯域対応画素値算出部72の実行する処理について説明する。
先に説明した実施例4と同様、帯域1~4(band1~4)の帯域幅が、光源の変化や、カメラの分光特性の変化に対して十分に小さいと仮定すると、特殊光源440の光源出力から得られる帯域(band)の基準機と調整機間のバンドゲインはほぼ一定とみなすことができる。
【0516】
この想定に基づいて、調整機帯域対応画素値算出部72は、以下の(式57)を生成する。
band2@Araw(yAll)=(band2@Braw(xAll))/b2(x)×a2(y)
band3@Araw(yAll)=(band3@Craw(xAll))/c3(x)×a3(y)
band4@Araw(yAll)=(band4@Draw(xAll))/d4(x)×d4(y)
band2@Braw(yAll)=(band2@Braw(xAll))/b2(x)×b2(y)
band3@Braw(yAll)=(band3@Craw(xAll))/c3(x)×b3(y)
band4@Braw(yAll)=(band4@Draw(xAll))/d4(x)×b4(y)
band2@Craw(yAll)=(band2@Braw(xAll))/b2(x)×c2(y)
band3@Craw(yAll)=(band3@Craw(xAll))/c3(x)×c3(y)
band4@Craw(yAll)=(band4@Draw(xAll))/d4(x)×c4(y)
band2@Draw(yAll)=(band2@Braw(xAll))/b2(x)×d2(y)
band3@Draw(yAll)=(band3@Craw(xAll))/c3(x)×d3(y)
band4@Draw(yAll)=(band4@Draw(xAll))/d4(x)×d4(y)
・・・(式57)
【0517】
上記(式57)を先に説明した(式54)の式、すなわち、
Araw(yAll)=band1@Araw(yALL)+band2@Araw(yALL)+band3@Araw(yALL)+band4@Araw(yALL)
Braw(yAll)=band1@Braw(yALL)+band2@Braw(yALL)+band3@Braw(yALL)+band4@Braw(yALL)
Craw(yAll)=band1@Craw(yALL)+band2@Craw(yALL)+band3@Craw(yALL)+band4@Craw(yALL)
Draw(yAll)=band1@Draw(yALL)+band2@Draw(yALL)+band3@Draw(yALL)+band4@Draw(yALL)
・・・(式54)
【0518】
この(式54)に代入することで、調整カメラY(調整機)60の帯域対応画素値算出式として、以下の(式58)に示す各帯域1~4(band1~4)の帯域対応画素値算出式が求められる。
【0519】
band1@Araw(yALL)=Araw(yALL)-band2@Araw(yALL)-band3@Araw(yALL)-band4@Araw(yALL)
band2@Braw(yALL)=Braw(yALL)-band1@Braw(yALL)-band3@Braw(yALL)-band4@Braw(yALL)
band3@Craw(yALL)=Craw(yALL)-band1@Craw(yALL)-band2@Craw(yALL)-band4@Craw(yALL)
band4@Draw(yALL)=Draw(yALL)-band1@Draw(yALL)-band2@Craw(yALL)-band3@Craw(yALL)
・・・(式58)
【0520】
調整機帯域対応画素値算出部72は、上記の(式58)によって示される調整カメラY(調整機)60の帯域1~4(band1~4)の帯域対応画素値を、帯域対応ゲイン算出部73に出力する。
【0521】
帯域対応ゲイン算出部73は、基準機帯域対応画素値算出部71から、先の(式56)で示した以下の基準カメラX(基準機)50の各帯域1~4(band1~4)の帯域対応画素値を入力する。
band1@Araw(xALL)
band2@Braw(xALL)
band3@Craw(xALL)
band4@Draw(xALL)
【0522】
また、帯域対応ゲイン算出部73は、調整機帯域対応画素値算出部72から、先の(式58)で示した以下の基準カメラX(基準機)50の各帯域1~4(band1~4)の帯域対応画素値を入力する。
band1@Araw(yALL)=Araw(yALL)-band2@Araw(yALL)-band3@Araw(yALL)-band4@Araw(yALL)
band2@Braw(yALL)=Braw(yALL)-band1@Braw(yALL)-band3@Braw(yALL)-band4@Braw(yALL)
band3@Craw(yALL)=Craw(yALL)-band1@Craw(yALL)-band2@Craw(yALL)-band4@Craw(yALL)
band4@Draw(yALL)=Draw(yALL)-band1@Draw(yALL)-band2@Craw(yALL)-band3@Craw(yALL)
【0523】
帯域対応ゲイン算出部73は、これらの入力値に基づいて以下の(式59)に示す帯域対応ゲインを算出する。
帯域1(band1)対応ゲイン=(band1@Araw(xALL))/(band1@Araw(yALL))
帯域2(band2)対応ゲイン=(band2@Braw(xALL))/(band2@Braw(yALL))
帯域3(band3)対応ゲイン=(band3@Craw(xALL))/(band3@Craw(yALL))
帯域4(band4)対応ゲイン=(band4@Draw(xALL))/band4@Draw(yALL)
【0524】
本実施例4bの帯域対応ゲイン算出処理の処理シーケンスは先に説明した
図40に示すフローチャートにおいて説明した実施例4の処理フローと基本的には同じシーケンスとなる。利用帯域数と、分光特性パラメータ(分離係数)が異なるのみであり、処理の基本的流れは同様の処理となる。
【0525】
なお、本実施例4、実施例4bにおいても、先に説明した実施例1~3の変形例と同様、帯域対応ゲイン算出処理をカメラ製造時ではなく、カメラ利用時(撮影時)に実行する構成としてもよい。
カメラ製造時には、画素値平均値、または代表値を調整カメラY(調整機)60のメモリ61に格納して、カメラ利用時(撮影時)にメモリ61に格納された画素値平均値、または代表値を用いて帯域対応ゲインを算出する構成としてもよい。
【0526】
[10.実施例1~4の処理のまとめ]
次に、
図44を参照して上述した実施例1~4の処理をまとめて説明する。
【0527】
図44には、
(1)カメラ製造時の処理
(2)カメラ利用時(撮影時)の処理
これらを上下に分離して示している。
また、(1)カメラ製造時の処理として、(1a)設計段階処理(測定処理)と、(1b)カメラ製造段階処理、これらの2つの処理を示している。
(2)カメラ利用時(撮影時)の処理として、(2a)調整機Yの帯域対応ゲイン算出処理と、(2b)撮影画像分析処理を示している。
【0528】
なお、実施例1~4のいずれも、最終的な撮影画像分析処理では、以下の帯域対応画素値を算出するものとしている。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0529】
また、
図44に示す実施例1~4は、いずれも、調整機Yの帯域対応ゲイン算出処理を、カメラ利用時(撮影時)の処理として実行する例である。
【0530】
以下、各実施例1~4における
(1)カメラ製造時の処理である(1a)設計段階処理(測定処理)、(1b)カメラ製造段階処理、
(2)カメラ利用時(撮影時)の処理である(2a)調整機Yの帯域対応ゲイン算出処理、(2b)撮影画像分析処理、
これらについて順次、説明する。
なお、カメラ利用時(撮影時)の処理である(2a)調整機Yの帯域対応ゲイン算出処理、(2b)撮影画像分析処理、これらの処理は、調整機Yであるカメラ内部で実行してもよいし、調整機Yであるカメラからデータを取得可能な外部装置、例えばPCやクラウド上のサーバ等の外部装置で実行することも可能である。
【0531】
なお、実施例1~4は、先に説明したように以下の処理を行なう実施例である。
(実施例1)デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例
(実施例2)温度補償を実行して帯域対応ゲイン算出、帯域対応ゲイン調整を行う実施例
(実施例3)特殊光源を用いた帯域対応ゲインの算出処理、および分光特性パラメータ(分離係数)の算出処理を実行する実施例
(実施例4)基準機の測定済み分光特性パラメータ(分離係数)と特殊光源を併用し、帯域対応ゲインおよび分光特性パラメータ(分離係数)の算出処理を実行する実施例
【0532】
(実施例1)デュアルバンドパス(DBP)を用いたマルチスペクトルカメラを用いた実施例
この実施例1では、以下の処理が実行される。
【0533】
(1)カメラ製造時の処理
(1a)設計段階処理(測定処理)
実施例1における設計段階の処理(測定処理)として、基準機Xの分離係数(Kband1,Kband2)の測定処理を実行する。
【0534】
なお、ここでは、基準機Xの帯域1(band1)と、帯域2(band2)各々の分光特性パラメータ(分離係数)を計測し、この計測値をそのまま調整機Yの帯域1(band1)と、帯域2(band2)各々の分光特性パラメータ(分離係数)としても利用する例を示している。
【0535】
基準カメラX(基準機)の分光特性パラメータ(分離係数)は、以下のように算出することができる。
基準カメラX(基準機)
帯域1(band1)対応の分光特性パラメータ(分離係数)
Kband1(x)=band1@Braw(x)/band1@Rraw(x)
帯域2(band2)対応の分光特性パラメータ(分離係数)
Kband2(x)=band2@Rraw(x)/band2@Braw(x)
【0536】
(1b)カメラ製造段階処理、
実施例1では、カメラ製造段階処理として帯域対応ゲインを算出するために適用するパラメータを調整機Yのメモリに格納する処理を実行する。
図44に示す例は、以下の値を算出してメモリに格納する例を示している。
【0537】
基準機Xの帯域対応出力画素値:Rraw(x),Braw(x)の平均値
(Rrawave(x)、Brawave(x))、および、
調整機Yの帯域対応出力画素値:Rraw(y), Braw(y)の平均値
(Rraeave(y),Brawave(y))、
これらを算出して、調整機Yのメモリに格納する。
なお、平均値の代わりに代表値を算出してメモリに格納する構成としてもよい。
【0538】
調整機Yのメモリに格納されたデータが、以下に説明する(2)カメラ利用時(撮影時)の処理である(2a)調整機Yの帯域対応ゲイン算出処理において利用される。
【0539】
次に、(2)カメラ利用時(撮影時)の処理について説明する。
(2a)調整機Yの帯域対応ゲイン算出処理、
調整機Yの帯域対応ゲイン算出処理では、上述した(1b)カメラ製造段階処理で調整機Yのメモリに格納されたデータを利用して調整機Yの固有値である調整機Yの帯域対応ゲインの算出処理が実行される。
【0540】
すなわち、調整機Yのメモリに格納された、
基準機Xの帯域対応出力画素値:Rraw(x),Braw(x)の平均値(Rrawave(x)、Brawave(x))、または代表値、および、
調整機Yの帯域対応出力画素値:Rraw(y),Braw(y)の平均値
(Rraeave(y),Brawave(y))、または代表値、
これらのメモリ格納データを利用して、調整機Yの帯域対応ゲイン、例えば、
REDgain(y)
NIRgain(y)
これらの帯域対応ゲインを算出する。
【0541】
(2b)撮影画像分析処理、
最終的な撮影画像分析処理では、調整機Yによって撮影された画像に対して、上記の(2a)調整機Yの帯域対応ゲイン算出処理において算出した帯域対応ゲインを適用して出力値の調整を行う。
この調整結果として、最終的な調整後の帯域対応画素値として以下の帯域対応画素値を算出する。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0542】
次に、(実施例2)温度補償を実行して帯域対応ゲイン算出、帯域対応ゲイン調整を行う実施例2における処理について説明する。
【0543】
(1)カメラ製造時の処理
(1a)設計段階処理(測定処理)
実施例2における設計段階の処理(測定処理)では、上記実施例1と同様、基準機Xの分離係数(Kband1,Kband2)の測定処理を実行する。
基準機Xの帯域1(band1)と、帯域2(band2)各々の分光特性パラメータ(分離係数)を計測し、この計測値をそのまま調整機Yの帯域1(band1)と、帯域2(band2)各々の分光特性パラメータ(分離係数)としても利用する。
【0544】
さらに、実施例2では、設計段階で温度特性補償に適用するためのパラメータである温特係数を、基準機Xを用いて測定する。この基準機Xを用いて測定した温特係数も基準機Xと、調整機Yで共通の値として利用する。
【0545】
(1b)カメラ製造段階処理、
実施例2においても、カメラ製造段階処理として、実施例1と同様、帯域対応ゲインを算出するために適用するパラメータを調整機Yのメモリに格納する処理を実行する。
ただし、実施例2では、基準機X、調整機Yデータ測定時の機器の温度(T)も計測し、温度情報とともに、計測データをメモリに記録する。
図44に示す例は、以下の値を算出してメモリに格納する例を示している。
【0546】
計測時温度=Tにおける基準機Xの帯域対応出力画素値:Rraw(x),Braw(x)の平均値
(Rrawave(x)、Brawave(x))、および、
計測時温度=Tにおける調整機Yの帯域対応出力画素値:Rraw(y), Braw(y)の平均値
(Rraeave(y),Brawave(y))、
これらを算出して、調整機Yのメモリに格納する。
なお、平均値の代わりに代表値を算出してメモリに格納する構成としてもよい。
【0547】
調整機Yのメモリに格納されたデータが、以下に説明する(2)カメラ利用時(撮影時)の処理である(2a)調整機Yの帯域対応ゲイン算出処理において利用される。
【0548】
次に、(2)カメラ利用時(撮影時)の処理について説明する。
(2a)調整機Yの帯域対応ゲイン算出処理、
調整機Yの帯域対応ゲイン算出処理では、上述した(1b)カメラ製造段階処理で調整機Yのメモリに格納されたデータを利用して調整機Yの固有値である調整機Yの帯域対応ゲインの算出処理が実行される。
【0549】
すなわち、調整機Yのメモリに格納された、
基準機Xの帯域対応出力画素値:Rraw(x),Braw(x)の平均値(Rrawave(x)、Brawave(x))、または代表値、および、
調整機Yの帯域対応出力画素値:Rraw(y),Braw(y)の平均値
(Rraeave(y),Brawave(y))、または代表値、
および、これらの値算出時の温度情報(T)を利用して温度特性補償を行って、調整機Yの帯域対応ゲイン、例えば、
REDgain(y)
NIRgain(y)
これらの帯域対応ゲインを算出する。
【0550】
(2b)撮影画像分析処理、
最終的な撮影画像分析処理では、調整機Yによって撮影された画像に対して、上記の(2a)調整機Yの帯域対応ゲイン算出処理において算出した帯域対応ゲインを適用して出力値の調整を行う。
この調整結果として、最終的な調整後の帯域対応画素値として以下の帯域対応画素値を算出する。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0551】
次に、(実施例3)特殊光源を用いた帯域対応ゲインの算出処理、および分光特性パラメータ(分離係数)の算出処理を実行する実施例3における処理について説明する。
【0552】
(1)カメラ製造時の処理
(1a)設計段階処理(測定処理)
実施例3における設計段階の処理(測定処理)では、基準機Xの分離係数(Kband1,Kband2)の測定処理は実行しない。実施例3では、次の(1b)カメラ製造段階処理で観測される複数光源から基準機X、調整機Yの分離係数を算出する。
【0553】
従って、実施例3における設計段階の処理(測定処理)では、温度特性補償に適用するためのパラメータである温特係数を、基準機Xを用いて測定する。この基準機Xを用いて測定した温特係数は基準機Xと、調整機Yで共通の値として利用する。
【0554】
(1b)カメラ製造段階処理、
実施例3では、この(1b)カメラ製造段階処理で観測される複数光源から基準機X、調整機Yの分離係数を算出する。
【0555】
実施例3では、先に
図33を参照して説明した特殊光源(パターンボックス(PTB))400を利用して、この特殊光源(パターンボックス(PTB))400の出力光をマルチスペクトルカメラ、すなわち、基準カメラ(基準機)50と、調整カメラY(調整機)60が撮影する。
【0556】
特殊光源(パターンボックス(PTB))400は、赤外光(IR)カットフィルタであるIRCフィルタと、可視光(Visible)カットフィルタであるVCフィルタを有する。
【0557】
このような異なる光透過特性を持つIRCフィルタとVCフィルタの一方を閉じ、1つのフィルタのみの透過光をマルチスペクトルカメラ(基準カメラ(基準機)50と、調整カメラY(調整機)60)で撮影する。光を透過させるフィルタを順次、切り替えて、2つの異なる帯域の光をマルチスペクトルカメラで、順次、撮影する。
【0558】
この撮影処理によって得られる帯域対応画素値(出力値)の平均値を算出して、調整機Yのメモリに格納する。すなわち、
図44に示すように、以下の各値を算出して調整機Yのメモリに格納する。
【0559】
基準機Xの帯域対応画素値(出力値)、すなわち、
IRC-Rraw(x),IRC-Braw(x),
VC-Rraw(x),VC-Braw(x)
これらの平均値、すなわち、
IRC-Rrawave(x),IRC-Brawave(x),
VC-Rrawave(x),VC-Brawave(x)
これらを算出して調整機Yのメモリに格納する。
【0560】
さらに、調整機Yの帯域対応画素値(出力値)、すなわち、
IRC-Rraw(y),IRC-Braw(y)
VC-Rraw(y),VC-Braw(y)
これらの平均値、すなわち、
IRC-Rrawave(y),IRC-Brawave(y),
VC-Rrawave(y),VC-Brawave(y)
これらを算出して調整機Yのメモリに格納する。
なお、平均値の代わりに代表値を算出してメモリに格納する構成としてもよい。
【0561】
調整機Yのメモリに格納されたデータが、以下に説明する(2)カメラ利用時(撮影時)の処理である(2a)調整機Yの帯域対応ゲイン算出処理において利用される。
【0562】
次に、(2)カメラ利用時(撮影時)の処理について説明する。
(2a)調整機Yの帯域対応ゲイン算出処理、
調整機Yの帯域対応ゲイン算出処理では、上述した(1b)カメラ製造段階処理で調整機Yのメモリに格納されたデータを利用して調整機Yの固有値である調整機Yの帯域対応ゲインの算出処理が実行される。
さらに実施例3では、基準機Xと調整機Y各々の分離係数も算出される。
【0563】
(2b)撮影画像分析処理、
最終的な撮影画像分析処理では、調整機Yによって撮影された画像に対して、上記の(2a)調整機Yの帯域対応ゲイン算出処理において算出した帯域対応ゲインを適用して出力値の調整を行う。
この調整結果として、最終的な調整後の帯域対応画素値として以下の帯域対応画素値を算出する。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0564】
次に、(実施例4)基準機の測定済み分光特性パラメータ(分離係数)と特殊光源を併用し、帯域対応ゲインおよび分光特性パラメータ(分離係数)の算出処理を実行する実施例4における処理について説明する。
【0565】
実施例4では、先に
図37を参照して説明したように特殊光源は1系統で、もう1系統はフィルタなし(すなわち全波長の光が通過する)の2つの光源を有する特殊光源(パターンボックス(PTB))の出力光をマルチスペクトルカメラ、すなわち、基準カメラ(基準機)50と、調整カメラY(調整機)60が撮影する。
【0566】
特殊光源(パターンボックス(PTB))は、全帯域透過窓(ALL)と、可視光(Visible)カットフィルタであるVCフィルタを有する。
【0567】
このような異なる光透過特性を持つ全帯域透過窓(ALL)とVCフィルタの一方を閉じ、1つのフィルタのみの透過光をマルチスペクトルカメラ(基準カメラ(基準機)50と、調整カメラY(調整機)60)で撮影する。光を透過させるフィルタを順次、切り替えて、2つの異なる帯域の光をマルチスペクトルカメラで、順次、撮影する。
【0568】
この撮影処理によって得られる帯域対応画素値(出力値)の平均値を算出して、調整機Yのメモリに格納する。すなわち、
図44に示すように、以下の各値を算出して調整機Yのメモリに格納する。
【0569】
基準機Xの帯域対応画素値(出力値)、すなわち、
all-Rraw(x),all-Braw(x),
VC-Rraw(x),VC-Braw(x)
これらの平均値、すなわち、
all-Rrawave(x),all-Brawave(x),
VC-Rrawave(x),VC-Brawave(x)
これらを算出して調整機Yのメモリに格納する。
【0570】
さらに、調整機Yの帯域対応画素値(出力値)、すなわち、
all-Rraw(y),all-Braw(y)
VC-Rraw(y),VC-Braw(y)
これらの平均値、すなわち、
all-Rrawave(y),all-Brawave(y),
VC-Rrawave(y),VC-Brawave(y)
これらを算出して調整機Yのメモリに格納する。
なお、平均値の代わりに代表値を算出してメモリに格納する構成としてもよい。
【0571】
調整機Yのメモリに格納されたデータが、以下に説明する(2)カメラ利用時(撮影時)の処理である(2a)調整機Yの帯域対応ゲイン算出処理において利用される。
【0572】
次に、(2)カメラ利用時(撮影時)の処理について説明する。
(2a)調整機Yの帯域対応ゲイン算出処理、
調整機Yの帯域対応ゲイン算出処理では、上述した(1b)カメラ製造段階処理で調整機Yのメモリに格納されたデータを利用して調整機Yの固有値である調整機Yの帯域対応ゲインの算出処理が実行される。
さらに実施例4では、調整機Yの分離係数も算出する。
【0573】
(2b)撮影画像分析処理、
最終的な撮影画像分析処理では、調整機Yによって撮影された画像に対して、上記の(2a)調整機Yの帯域対応ゲイン算出処理において算出した帯域対応ゲインを適用して出力値の調整を行う。
この調整結果として、最終的な調整後の帯域対応画素値として以下の帯域対応画素値を算出する。
調整カメラY(調整機)60のR画素値(Rraw)に含まれる帯域1(band1)の帯域対応画素値:band1@Rraw(y)、
調整カメラY(調整機)60のB画素値(Braw)に含まれる帯域2(band2)の帯域対応画素値:band2@Braw(y)、
【0574】
[11.帯域対応ゲイン等のカメラ固有の調整データの転送、および利用処理構成について]
次に、帯域対応ゲイン等のカメラ固有の調整データの転送、および利用処理構成について説明する。
【0575】
調整カメラ(調整機)60の帯域対応ゲイン等のカメラ固有データは、例えばカメラ対応のメタデータ、あるいはカメラの撮影画像に付属させるメタデータとして機器間で転送し、各機器においてメタデータに基づく処理、例えば画素値補正等の処理を行なうことが可能である。
また、例えば、メタデータに対して様々な処理プログラムを適用することで分離性能の改善も可能であり、植物の活性度の測定精度を向上させることも可能となる。
【0576】
前述した実施例1~4のような処理を行う場合、基準機X、調整機Yの測定値である分離係数や、温特係数、各帯域対応画素値の平均値や代表値、さらに、調整機Yの帯域対応ゲイン等のデータは、メタデータとして、「設計⇒工場⇒カメラ⇒PC、クラウド等」という手順で、様々な機器間でメタデータとして伝搬させることが可能である。
後段に行くほどインテリジェントな処理を行なうことが可能となり、画素値補正精度や、植物の活性度の測定精度を向上させることが可能となる。
【0577】
図45は、基準機X、調整機Yの測定値である分離係数や、各帯域対応画素値の平均値や代表値、さらに、調整機Yの帯域対応ゲイン等のデータであるメタデータの転送例を示す図である。
【0578】
図45は、以下の4つの段階の処理と各処理間のデータの流れの一例を示す図である。
(a)設計段階処理
(b)カメラ製造時処理
(c)カメラ利用時(撮影時)処理
(d)カメラ撮影後処理(カメラ、PC、クラウドサーバ)
【0579】
(a)設計段階処理では、基準機Xから、例えば、分離係数や温特係数等の基準機固定データが取得される。
この(a)設計段階処理で取得された分離係数や温特係数等の基準機固定データは、次の(b)カメラ製造時処理で利用される。
【0580】
例えばカメラ工場での(b)カメラ製造時処理では、基準機Xおよび、調整機Yの画像撮影に基づく帯域対応画素値の取得、取得画素値に基づく帯域対応画素値の平均値や代表値算出処理等が行われる。さらに、画像撮影時の温度測定等も行なわれる。
これらのデータが、例えば調整機Yのメモリ(図に示すカメラストレージ)に記録される。
【0581】
なお、カメラ工場での(b)カメラ製造時処理において、調整機Yの測定と同時に基準機Xの測定が行われるのは、光源が常に一定の出力、分光特性をキープしているとは限らないため、調整機Yの測定と同時に、基準機X測定を行うものである。
【0582】
次の、(c)カメラ利用時(撮影時)処理では、調整機Yによる画像撮影が実行される。
図45に示す例では、撮影画像の画素値(出力値)に対して適用する帯域対応ゲインの算出処理は、次の(d)カメラ撮影後処理(カメラ、PC、クラウドサーバ)において実行する構成としている。
【0583】
図45に示す(c)カメラ利用時(撮影時)処理では、調整機Yによる画像撮影を実行し、この撮影画像に対応するメタデータとして、調整機Yのメモリ(図に示すカメラストレージ)に記録されたデータを記録する。
例えば、基準機Xおよび、調整機Yの撮影画像の画素値に基づいて算出した帯域対応画素値の平均値や代表値を、撮影画像対応のメタデータとして記録する。
なお、メタデータは、画像と別のメタデータ専用記録領域に記録してもよい。
【0584】
撮影画像と撮影画像対応のメタデータは、次の(d)カメラ撮影後処理(カメラ、PC、クラウドサーバ)を実行する装置、例えば、カメラ、あるいはPC、あるいはクラウド上のサーバ等に転送される。
【0585】
ここで、例えば、カメラ、あるいはPC、あるいはクラウド上のサーバは、画像対応のメタデータを利用して、帯域対応ゲインの算出処理を行ない、さらに算出した帯域対応ゲインを適用して撮影画像の画素値に基づく帯域対応画素値の算出処理を行なう。
【0586】
ここでの帯域対応画素値の算出処理に適用するプログラムは、様々な異なる処理プログラムの適用が可能であり、撮影画像の状況によって異なるプログラムを適用するなど、より高精度な分析値を算出するための様々なプログラムを適用した処理を行なうことができる。
【0587】
[12.本開示の画像処理装置、および画像処理システムの構成例について]
次に、本開示の画像処理装置、および画像処理システムの構成例について説明する。
【0588】
本開示の画像処理装置は、例えば
図46に示すような構成を有する撮像装置(マルチスペクトルカメラ)450である。
撮像装置(マルチスペクトルカメラ)450のレンズ451を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(MBP)452と、カラーフィルタ(RGBIRカラーフィルタ等)453を介して撮像素子(イメージセンサ)454に入力する構成を持つ。
【0589】
さらに、撮像素子(イメージセンサ)454のRAW画像画素値(Rraw等)が信号処理部455に入力され、信号処理がなされる。
信号処理部455は、撮像素子(イメージセンサ)454のRAW画像画素値(Rraw等)を用いて、各帯域(波長)対応の帯域対応画素値を算出し、さらに帯域対応ゲインの算出、あるいは帯域対応ゲインに基づく出力値調整を実行する。
【0590】
さらに、信号処理部455、あるいは後段処理部において、帯域対応の高精度画素値を用いたノイズ成分の少ない高精度カラー画像の生成処理や、被写体の色成分の解析処理等を実行する。
なお、信号処理部455は、プログラム(ソフトウェア)によるデータ処理を実行する構成としてもよいし、FPGA等のハードウェアを用いた構成としてもよい。
【0591】
なお、本開示の画像処理装置は、
図46に示すようなカメラ単体の構成のみならず、例えば、
図47に示すシステムを利用した構成としてもよい。
図47(1)は、マルチスペクトルカメラ450の撮影画像(RAW画像)をPC等の画像処理装置460に入力して、画像処理装置460でデータ処理を実行する構成である。
【0592】
PC等の画像処理装置460が、マルチスペクトルカメラ450から入力したRAW画像画素値(Rraw等)を用いて、各帯域(波長)対応の帯域対応画素値の算出処理や、帯域対応ゲインの算出、あるいは帯域対応ゲインに基づく出力値調整を実行する。
【0593】
さらに、
図47(2)に示すように、マルチスペクトルカメラ450の撮影画像(RAW画像)を、ネットワークを介して画像処理実行サーバ470に入力して、画像処理実行サーバ470でデータ処理を実行する構成である。
【0594】
画像処理実行サーバ470が、マルチスペクトルカメラ450から入力したRAW画像画素値(Rraw等)を用いて、各帯域(波長)対応の帯域対応画素値の算出処理や、帯域対応ゲインの算出、あるいは帯域対応ゲインに基づく出力値調整を実行する。
このように本開示の画像処理装置やシステムは様々な構成が可能である。
【0595】
[13.画像処理装置のハードウェア構成例について]
次に、
図48を参照して画像処理装置のハードウェア構成例について説明する。
図48は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
【0596】
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
【0597】
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、撮像部521の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部506、表示部522やスピーカなどに対するデータ出力を実行する出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
【0598】
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0599】
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
【0600】
[14.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0601】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲイン、またはゲイン算出用パラメータを算出する信号処理部を有し、
前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出する画像処理装置。
【0602】
(2) 前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて、特定帯域内の画素値である帯域対応画素値の平均値を算出する基準機帯域対応画素値平均値算出部と、
前記調整カメラの撮像素子の出力値に基づいて、帯域対応画素値の平均値を算出する調整機帯域対応画素値平均値算出部を有し、
算出した基準機帯域対応画素値平均値と、調整機帯域対応画素値平均値を、前記帯域対応ゲイン算出用パラメータとして算出し、前記調整カメラのメモリに格納する(1)に記載の画像処理装置。
【0603】
(3) 前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて算出した基準機帯域対応画素値代表値と、
前記調整カメラの撮像素子の出力値に基づいて算出した調整機帯域対応画素値代表値を、前記帯域対応ゲイン算出用パラメータとして算出し、前記調整カメラのメモリに格納する(1)または(2)に記載の画像処理装置。
【0604】
(4) 前記信号処理部は、
前記基準カメラの撮像素子の出力値に基づいて、特定帯域内の画素値である帯域対応画素値を算出する基準機帯域対応画素値算出部と、
前記調整カメラの撮像素子の出力値に基づいて、帯域対応画素値を算出する調整機帯域対応画素値算出部と、
前記基準機帯域対応画素値算出部の算出した基準機帯域対応画素値と、前記調整機帯域対応画素値算出部の算出した調整機帯域対応画素値との比較結果に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲインを算出する帯域対応ゲイン算出部を有する(1)~(3)いずれかに記載の画像処理装置。
【0605】
(5) 前記基準カメラ、および前記調整カメラは、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラである(1)~(4)いずれかに記載の画像処理装置。
【0606】
(6) 前記信号処理部は、
帯域対応画素値算出対象カメラの撮像素子出力値に基づく画素単位のRAW画像ベース画素値信号と、前記帯域対応画素値算出対象カメラの分光特性パラメータを用いて帯域対応画素値を算出する(1)~(5)いずれかに記載の画像処理装置。
【0607】
(7) 前記信号処理部は、
帯域対応画素値算出対象カメラの撮像素子出力値に基づく画素単位のRAW画像ベース画素値信号と、前記帯域対応画素値算出対象カメラの分光特性パラメータを用いた帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する(6)に記載の画像処理装置。
【0608】
(8) 前記分光特性パラメータは、
前記カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である(7)に記載の画像処理装置。
【0609】
(9) 前記特定帯域は、
前記基準カメラ、および前記調整カメラに装着されたマルチバンドパスフィルタの透過光帯域である(8)に記載の画像処理装置。
【0610】
(10) 前記信号処理部は、
基準機帯域対応画素値に対する温度特性補償処理を実行する基準機温度特性補償部と、
調整機帯域対応画素値に対する温度特性補償処理を実行する調整機温度特性補償部を有し、
前記基準機温度特性補償部の生成した温特補償後の基準機帯域対応画素値と、前記調整機温度特性補償部の生成した温特補償後の調整機帯域対応画素値を利用して前記帯域対応ゲイン、または前記帯域対応ゲイン算出用パラメータを算出する(1)~(9)いずれかに記載の画像処理装置。
【0611】
(11) 前記信号処理部は、
特定帯域内の光を出力する特殊光源の出力光を前記基準カメラと前記調整カメラによって撮影することで取得される画素値を、そのまま前記基準機帯域対応画素値と、前記調整機帯域対応画素値とする(1)~(10)いずれかに記載の画像処理装置。
【0612】
(12) 特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記信号処理部は、
メモリから特定帯域単位のゲインである帯域対応ゲインを算出するための帯域対応ゲイン算出用パラメータを取得し、取得した帯域対応ゲイン算出用パラメータに基づいて帯域対応ゲインを算出し、
算出した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する画像処理装置。
【0613】
(13) 前記メモリに格納された前記帯域対応ゲイン算出用パラメータは、
基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値の平均値または代表値と、
前記画像処理装置に相当する調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値の平均値または代表値である(12)に記載の画像処理装置。
【0614】
(14) 前記画像処理装置は、
前記撮像素子の出力値に基づいて、帯域対応画素値を算出する帯域対応画素値算出部を有し、
前記信号処理部は、
前記帯域対応画素値算出部の算出した帯域対応画素値に対して、
前記メモリから取得した帯域対応ゲイン算出用パラメータに基づいて算出した帯域対応ゲインを乗じて、前記出力値調整処理を実行する(12)または(13)に記載の画像処理装置。
【0615】
(15) 前記画像処理装置は、
前記撮像素子の出力値に基づいて、帯域対応画素値を算出する帯域対応画素値算出部と、
前記帯域対応画素値算出部の算出した帯域対応画素値に対する温度特性補償処理を実行する温度特性補償部を有し、
前記信号処理部は、
前記温度特性補償部の生成した温特補償後の帯域対応画素値に対して、前記メモリから取得した帯域対応ゲイン算出用パラメータに基づいて算出した帯域対応ゲインを乗じて、前記出力値調整処理を実行する(12)~(14)いずれかに記載の画像処理装置。
【0616】
(16) 特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記信号処理部は、
メモリから特定帯域単位のゲインである帯域対応ゲインを取得し、
取得した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する画像処理装置。
【0617】
(17) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲインを算出する信号処理部を有し、
前記信号処理部が、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出する画像処理方法。
【0618】
(18) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記信号処理部が、
メモリから特定帯域単位のゲインである帯域対応ゲインを算出するための帯域対応ゲイン算出用パラメータを取得し、取得した帯域対応ゲイン算出用パラメータに基づいて帯域対応ゲインを算出し、
算出した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する画像処理方法。
【0619】
(19) 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、マルチスペクトルカメラである調整カメラの出力を基準カメラの出力に一致させるためのゲインを算出する信号処理部を有し、
前記プログラムは、前記信号処理部に、
前記基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、
前記調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、前記調整カメラの出力を前記基準カメラの出力に一致させる帯域対応ゲイン、または帯域対応ゲイン算出用パラメータを算出させるプログラム。
【0620】
(20) 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の出力に対する信号処理を実行する信号処理部を有し、
前記プログラムは、前記信号処理部に、
メモリから特定帯域単位のゲインである帯域対応ゲインを算出するための帯域対応ゲイン算出用パラメータを取得し、取得した帯域対応ゲイン算出用パラメータに基づいて帯域対応ゲインを算出させ、
算出した帯域対応ゲインを前記撮像素子の出力に乗じて、前記撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行させるプログラム。
【0621】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0622】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0623】
以上、説明したように、本開示の一実施例の構成によれば、マルチスペクトルカメラの撮像素子の出力を基準機の出力に一致させるためのゲイン算出処理やゲイン調整処理を実行する装置、方法が実現される。
具体的には、例えば、マルチスペクトルカメラ製造時に調整カメラの出力を基準カメラの出力に一致させるためのゲイン算出処理として、基準カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である基準機帯域対応画素値と、調整カメラの撮像素子の出力値に基づいて取得される特定帯域内の画素値である調整機帯域対応画素値に基づいて、調整カメラの出力を基準カメラの出力に一致させる帯域対応ゲインを算出する。また、カメラ利用時には、メモリから帯域対応ゲインを取得して、取得した帯域対応ゲインを撮像素子の出力に乗じて、撮像素子の出力を基準機の出力に一致させる出力値調整処理を実行する。
これらの構成により、マルチスペクトルカメラの撮像素子の出力を基準機の出力に一致させるためのゲイン算出処理やゲイン調整処理を実行する装置、方法が実現される。
【符号の説明】
【0624】
10 マルチスペクトルカメラ
11 レンズ
12 デュアルバンドパスフィルタ
13 カラーフィルタ
14 撮像素子(イメージセンサ)
21 基準カメラX(基準機)
22 調整カメラY(調整機)
31 各色対応ゲイン算出部
33 各色対応ゲイン調整部
34 画像処理部
50 基準カメラX(基準機)
60 調整カメラY(調整機)
71 基準機帯域対応画素値算出部
72 調整機帯域対応画素値算出部
73 帯域対応ゲイン算出部
81 調整機帯域対応画素値算出部
82 帯域対応ゲイン調整部
83 画像処理部
100 マルチスペクトルカメラ
101 レンズ
102 マルチバンドパスフィルタ
103 カラーフィルタ
104 撮像素子(イメージセンサ)
105 信号処理部
200 特殊光源(パターンボックス)
201 ハロゲン光源
202 拡散板
203 フィルタ
300 マルチスペクトルカメラ
301 レンズ
302 マルチバンドパスフィルタ
303 カラーフィルタ
304 撮像素子(イメージセンサ)
321 基準機温度特性補償部
322 調整機温度特性補償部
331,332 分光特性パラメータ(分離係数)算出部
400 特殊光源(パターンボックス)
401 ハロゲン光源
402 拡散板
403 フィルタ
420 特殊光源(パターンボックス)
421 ハロゲン光源
422 拡散板
423 フィルタ
430 マルチスペクトルカメラ
431 レンズ
432 マルチバンドパスフィルタ
433 カラーフィルタ
434 撮像素子(イメージセンサ)
435 信号処理部
440 特殊光源(パターンボックス)
441 ハロゲン光源
442 拡散板
443 フィルタ
450 撮像装置(マルチスペクトルカメラ)
451 レンズ
452 マルチバンドパスフィルタ
453 カラーフィルタ
454 撮像素子(イメージセンサ)
455 信号処理部
460 画像処理装置
470 画像処理実行サーバ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
521 撮像部
522 表示部