(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143764
(43)【公開日】2024-10-11
(54)【発明の名称】表示条件決定方法、表示条件決定装置、及びプログラム
(51)【国際特許分類】
H04N 23/63 20230101AFI20241003BHJP
G01N 21/27 20060101ALI20241003BHJP
H04N 23/60 20230101ALI20241003BHJP
【FI】
H04N23/63
G01N21/27 A
G01N21/27 F
H04N23/60 500
【審査請求】未請求
【請求項の数】44
【出願形態】OL
(21)【出願番号】P 2023056626
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】岸根 慶延
(72)【発明者】
【氏名】和田 武士
(72)【発明者】
【氏名】川中子 睦
(72)【発明者】
【氏名】岡田 和佳
【テーマコード(参考)】
2G059
5C122
【Fターム(参考)】
2G059AA05
2G059BB09
2G059BB11
2G059EE05
2G059EE12
2G059EE13
2G059FF01
2G059JJ03
2G059JJ11
2G059JJ19
2G059KK04
2G059MM02
2G059MM17
2G059MM18
2G059PP04
5C122EA22
5C122EA47
5C122FH01
5C122FH09
5C122FH11
5C122FH24
5C122GG01
5C122HA13
5C122HA35
5C122HA88
(57)【要約】
【課題】例えば、表示レンジが予め定められた表示レンジに固定されている場合に比して、第1被写体と第2被写体との差を判別することができる表示条件決定方法、表示条件決定装置、及びプログラムを提供する。
【解決手段】表示条件決定方法は、分光撮像装置で撮像された第1被写体及び第2被写体を含む第1撮像データを取得すること、第1撮像データから、第1被写体及び第2被写体の判別に関連する指標を表す第1画像データを取得すること、及び、第1被写体と第2被写体との関係に基づいて、第1画像データの表示条件を決定することを備える。
【選択図】
図21
【特許請求の範囲】
【請求項1】
分光撮像装置で撮像された第1被写体及び第2被写体を含む第1撮像データを取得すること、
前記第1撮像データから、前記第1被写体及び前記第2被写体の判別に関連する指標を表す第1画像データを取得すること、及び、
前記第1被写体と前記第2被写体との関係に基づいて、前記第1画像データの表示条件を決定すること
を備える表示条件決定方法。
【請求項2】
前記表示条件は、表示レンジを含む
請求項1に記載の表示条件決定方法。
【請求項3】
前記指標は、複数の波長帯域の光の輝度に基づく指標である
請求項1に記載の表示条件決定方法。
【請求項4】
前記複数の波長帯域は、組み合わせから選択される
請求項3に記載の表示条件決定方法。
【請求項5】
前記複数の波長帯域は、前記第1被写体及び前記第2被写体の属性に基づいて選択される
請求項3に記載の表示条件決定方法。
【請求項6】
前記複数の波長帯域は、前記第1被写体及び前記第2被写体の撮像条件に基づいて選択される
請求項3に記載の表示条件決定方法。
【請求項7】
前記撮像条件は、照明条件を含む
請求項6に記載の表示条件決定方法。
【請求項8】
前記指標は、複数の波長帯域の光の輝度のコントラストを含む
請求項1に記載の表示条件決定方法。
【請求項9】
前記指標は、正規化植生指数を含む
請求項1に記載の表示条件決定方法。
【請求項10】
前記関係は、前記第1画像データによって示される画像内における前記第1被写体と前記第2被写体との関係を含む
請求項1に記載の表示条件決定方法。
【請求項11】
前記画像内における前記第1被写体と前記第2被写体との関係は、前記画像がノイズを含んだ状態での関係を含む
請求項10に記載の表示条件決定方法。
【請求項12】
前記関係は、前記第1被写体及び前記第2被写体の属性を含む
請求項1に記載の表示条件決定方法。
【請求項13】
前記関係は、前記第1被写体及び前記第2被写体の撮像条件を含む
請求項1に記載の表示条件決定方法。
【請求項14】
前記関係は、前記第1被写体と前記第2被写体との前記指標の関係を含む
請求項1に記載の表示条件決定方法。
【請求項15】
前記指標は、
前記第1被写体に対応する第1指標と、
前記第2被写体に対応する第2指標と、
を含み、
前記指標の関係は、前記第1指標と前記第2指標との相違度に基づく関係を含む
請求項14に記載の表示条件決定方法。
【請求項16】
前記関係は、前記画像に対して画像処理が実行された状態での関係を含む
請求項10に記載の表示条件決定方法。
【請求項17】
前記画像処理は、前記画像に含まれるノイズに関する処理を含む
請求項16に記載の表示条件決定方法。
【請求項18】
前記ノイズに関する処理は、エッジ強調処理及び/又はノイズリダクション処理を含む
請求項17に記載の表示条件決定方法。
【請求項19】
前記関係は、前記画像に対して演算処理が実行された状態での関係を含む
請求項10に記載の表示条件決定方法。
【請求項20】
前記演算処理は、前記画像の視認性に関する処理を含む
請求項19に記載の表示条件決定方法。
【請求項21】
前記視認性に関する処理は、階調処理及び/又はガンマ補正処理を含む
請求項20に記載の表示条件決定方法。
【請求項22】
前記関係は、前記分光撮像装置によって過去に撮像された被写体に対する前記第1被写体と前記第2被写体との関係を含む
請求項1に記載の表示条件決定方法。
【請求項23】
前記表示条件を決定することは、前記関係に基づいて複数の表示条件から前記表示条件を選択することを含む
請求項1に記載の表示条件決定方法。
【請求項24】
前記指標は、
前記第1被写体に対応する第1指標と、
前記第2被写体に対応する第2指標と、
を含み、
前記関係は、前記第1指標と前記第2指標との相違度に基づく関係を含み、
前記複数の表示条件から前記表示条件を選択することを、前記相違度と閾値との関係に基づいて行う
請求項23に記載の表示条件決定方法。
【請求項25】
前記相違度が前記閾値よりも大きい場合には、
前記表示条件の上限値を、前記第1指標及び前記第2指標のうちの大きい方の指標に基づいて決定し、
前記表示条件の下限値を、前記第1指標及び前記第2指標のうちの小さい方の指標に基づいて決定する
請求項24に記載の表示条件決定方法。
【請求項26】
前記表示条件の上限値を、前記大きい方の指標と第1補正値とに基づいて決定し、
前記表示条件の下限値を、前記小さい方の指標と第2補正値とに基づいて決定する
請求項25に記載の表示条件決定方法。
【請求項27】
前記第1補正値及び前記第2補正値を、前記第1画像データによって示される画像に含まれるノイズに基づいて決定する
請求項26に記載の表示条件決定方法。
【請求項28】
前記相違度が前記閾値以下である場合には、
前記表示条件の上限値と下限値との差を、前記閾値に決定する
請求項24に記載の表示条件決定方法。
【請求項29】
前記表示条件の上限値及び下限値を、前記第1指標と前記第2指標との平均値に基づいて決定する
請求項28に記載の表示条件決定方法。
【請求項30】
前記表示条件の上限値を、前記平均値と第3補正値とに基づいて決定し、
前記表示条件の下限値を、前記平均値と第4補正値とに基づいて決定する
請求項29に記載の表示条件決定方法。
【請求項31】
前記第3補正値及び前記第4補正値を、前記第1画像データによって示される画像に含まれるノイズに基づいて決定する
請求項30に記載の表示条件決定方法。
【請求項32】
前記分光撮像装置は、マルチスペクトルカメラである
請求項1に記載の表示条件決定方法。
【請求項33】
前記第1撮像データは、複数の波長帯域の光に対応するスペクトル画像データを含む
請求項32に記載の表示条件決定方法。
【請求項34】
前記第2被写体は、前記第1被写体と比べて前記指標の大きい被写体である
請求項1に記載の表示条件決定方法。
【請求項35】
前記第1画像データは、前記指標をヒートマップにより表示する画像データである
請求項1に記載の表示条件決定方法。
【請求項36】
前記第1画像データを取得することを、前記第1被写体及び/又は前記第2被写体のうちの選択された領域に基づいて行う
請求項1に記載の表示条件決定方法。
【請求項37】
前記判別は、前記第1被写体及び前記第2被写体の良否の判別を含む
請求項1に記載の表示条件決定方法。
【請求項38】
プロセッサを備え、
前記プロセッサは、
分光撮像装置で撮像された第1被写体及び第2被写体を含む第1撮像データを取得し、
前記第1撮像データから、前記第1被写体及び前記第2被写体の判別に関連する指標を表す第1画像データを取得し、
前記第1被写体と前記第2被写体との関係に基づいて、前記第1画像データの表示条件を決定する
表示条件決定装置。
【請求項39】
前記プロセッサは、
前記分光撮像装置のキャリブレーションに関する複数のタイマの値を取得し、
前記値に基づいて、前記キャリブレーションの更新に関する更新データを出力する
請求項38に記載の表示条件決定装置。
【請求項40】
前記プロセッサは、前記第1撮像データに基づいて、前記指標に関するヒストグラムデータを出力する
請求項38に記載の表示条件決定装置。
【請求項41】
前記ヒストグラムデータは、前記指標の割合を示す第1ヒストグラムデータを含む
請求項40に記載の表示条件決定装置。
【請求項42】
前記ヒストグラムデータは、前記第1被写体及び/又は前記第2被写体から発せられた光の波長成分の輝度の割合を示す第2ヒストグラムデータを含む
請求項40に記載の表示条件決定装置。
【請求項43】
前記ヒストグラムデータを表示させることを、前記第1被写体及び/又は前記第2被写体のうちの選択された領域に基づいて行う
請求項40に記載の表示条件決定装置。
【請求項44】
分光撮像装置で撮像された第1被写体及び第2被写体を含む第1撮像データを取得すること、
前記第1撮像データから、前記第1被写体及び前記第2被写体の判別に関連する指標を表す第1画像データを取得すること、及び、
前記第1被写体と前記第2被写体との関係に基づいて、前記第1画像データの表示条件を決定すること
を含む処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、表示条件決定方法、表示条件決定装置、及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別システムが開示されている。莢果選別システムは、撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えている。画像解析手段は、撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査とを実行する。
【0003】
特許文献2には、補正ゲイン算出部と、補正部とを備える検査装置が開示されている。補正ゲイン算出部は、検査対象物に応じた特性を有する基準反射板又は基準透過板の基準光源下における基準スペクトル情報、及び、測定光源下でのセンシングにより得られた基準反射板又は基準透過板の測定スペクトル情報に基づいて、スペクトルの補正ゲインを算出する。補正部は、算出された補正ゲインに基づいて、測定光源下でのセンシングにより得られた検査対象物の測定スペクトル情報を補正する。
【0004】
特許文献3には、植物の画像を撮像し、画像に基づいて植物の生育指標を演算する撮像装置が開示されている。撮像装置は、プリズムと、赤外カットフィルタと、光学フィルタと、第1のイメージセンサと、第2のイメージセンサと、出力部とを備える。プリズムは、入射面を通して植物から入射した反射光を分光し、分光された反射光を、少なくとも第1の出射面及び第2の出射面から出射する。赤外カットフィルタは、第1の出射面と対向して配置され、植物の可視光画像の撮像に用いられる。光学フィルタは、第2の出射面と対向するように配置され、植物の生育指標の演算に使用される画像の撮像に用いられる。第1のイメージセンサは、赤外カットフィルタを介して、第1の出射面からの出射光を受光し、可視光画像を撮像する。第2のイメージセンサは、光学フィルタを介して、第2の出射面からの出射光を受光し、植物の生育指標の演算に使用される画像を撮像する。出力部は、可視光画像と植物の生育指標の演算に使用される画像を出力する。
【0005】
特許文献4には、検出部と、制御部とを備える検査装置が開示されている。検出部は、検査の対象となる検査対象物で環境光が反射された反射光の複数の異なる波長域の成分を検出する。制御部は、複数の異なる波長域の成分ごとの感度を制御する。
【0006】
特許文献5には、穀粒中に含まれる特定成分を分光法により粒単位で定量分析する穀粒成分分析装置が開示されている。穀粒成分分析装置は、発光手段と、スペクトル検出手段と、演算手段とを備えている。発光手段は、分析対象の穀粒に光を照射する。スペクトル検出手段は、光が照射された穀粒からの透過光及び/又は反射光のスペクトルを検出する。演算手段は、分析対象の穀粒に関して特定波長のスペクトル値と特定成分の含量との間の関係を示す検量線を用いて、粒単位で穀粒の像の定量分析に適した有効部分から検出されたスペクトル値によって穀粒の特定成分の含量を算出する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】国際公開第2016/133175号パンフレット
【特許文献2】国際公開第2017/010258号パンフレット
【特許文献3】特開2017-009396号公報
【特許文献4】国際公開第2016/208415号パンフレット
【特許文献5】特開2013-238579号公報
【発明の概要】
【0008】
本開示の技術に係る一つの実施形態は、例えば、表示レンジが予め定められた表示レンジに固定されている場合に比して、第1被写体と第2被写体との差を判別することができる表示条件決定方法、表示条件決定装置、及びプログラムを提供する。
【課題を解決するための手段】
【0009】
本開示の技術に係る第1態様は、分光撮像装置で撮像された第1被写体及び第2被写体を含む第1撮像データを取得すること、第1撮像データから、第1被写体及び第2被写体の判別に関連する指標を表す第1画像データを取得すること、及び、第1被写体と第2被写体との関係に基づいて、第1画像データの表示条件を決定することを備える表示条件決定方法である。
【0010】
本開示の技術に係る第2態様は、第1態様に係る表示条件決定方法において、表示条件は、表示レンジを含む表示条件決定方法である。
【0011】
本開示の技術に係る第3態様は、第1態様又は第2態様に係る表示条件決定方法において、指標は、複数の波長帯域の光の輝度に基づく指標である表示条件決定方法である。
【0012】
本開示の技術に係る第4態様は、第3態様に係る表示条件決定方法において、複数の波長帯域は、組み合わせから選択される表示条件決定方法である。
【0013】
本開示の技術に係る第5態様は、第3態様又は第4態様に係る表示条件決定方法において、複数の波長帯域は、第1被写体及び第2被写体の属性に基づいて選択される表示条件決定方法である。
【0014】
本開示の技術に係る第6態様は、第3態様から第5態様の何れか一つの態様に係る表示条件決定方法において、複数の波長帯域は、第1被写体及び第2被写体の撮像条件に基づいて選択される表示条件決定方法である。
【0015】
本開示の技術に係る第7態様は、第6態様に係る表示条件決定方法において、撮像条件は、照明条件を含む表示条件決定方法である。
【0016】
本開示の技術に係る第8態様は、第1態様から第7態様の何れか一つの態様に係る表示条件決定方法において、指標は、複数の波長帯域の光の輝度のコントラストを含む表示条件決定方法である。
【0017】
本開示の技術に係る第9態様は、第1態様から第8態様の何れか一つの態様に係る表示条件決定方法において、指標は、正規化植生指数を含む表示条件決定方法である。
【0018】
本開示の技術に係る第10態様は、第1態様から第9態様の何れか一つの態様に係る表示条件決定方法において、関係は、第1画像データによって示される画像内における第1被写体と第2被写体との関係を含む表示条件決定方法である。
【0019】
本開示の技術に係る第11態様は、第10態様に係る表示条件決定方法において、画像内における第1被写体と第2被写体との関係は、画像がノイズを含んだ状態での関係を含む表示条件決定方法である。
【0020】
本開示の技術に係る第12態様は、第1態様から第11態様の何れか一つの態様に係る表示条件決定方法において、関係は、第1被写体及び第2被写体の属性を含む表示条件決定方法である。
【0021】
本開示の技術に係る第13態様は、第1態様から第12態様の何れか一つの態様に係る表示条件決定方法において、関係は、第1被写体及び第2被写体の撮像条件を含む表示条件決定方法である。
【0022】
本開示の技術に係る第14態様は、第1態様から第13態様の何れか一つの態様に係る表示条件決定方法において、関係は、第1被写体と第2被写体との指標の関係を含む表示条件決定方法である。
【0023】
本開示の技術に係る第15態様は、第14態様に係る表示条件決定方法において、指標は、第1被写体に対応する第1指標と、第2被写体に対応する第2指標と、を含み、指標の関係は、第1指標と第2指標との相違度に基づく関係を含む表示条件決定方法である。
【0024】
本開示の技術に係る第16態様は、第10態様、第10態様に従属する第11態様から第14態様、及び第15態様の何れか一つの態様に係る表示条件決定方法において、関係は、画像に対して画像処理が実行された状態での関係を含む表示条件決定方法である。
【0025】
本開示の技術に係る第17態様は、第16態様に係る表示条件決定方法において、画像処理は、画像に含まれるノイズに関する処理を含む表示条件決定方法である。
【0026】
本開示の技術に係る第18態様は、第17態様に係る表示条件決定方法において、ノイズに関する処理は、エッジ強調処理及び/又はノイズリダクション処理を含む表示条件決定方法である。
【0027】
本開示の技術に係る第19態様は、第10態様、第10態様に従属する第11態様から第14態様、及び第15態様から第18態様の何れか一つの態様に係る表示条件決定方法において、関係は、画像に対して演算処理が実行された状態での関係を含む表示条件決定方法である。
【0028】
本開示の技術に係る第20態様は、第19態様に係る表示条件決定方法において、演算処理は、画像の視認性に関する処理を含む表示条件決定方法である。
【0029】
本開示の技術に係る第21態様は、第20態様に係る表示条件決定方法において、視認性に関する処理は、階調処理及び/又はガンマ補正処理を含む表示条件決定方法である。
【0030】
本開示の技術に係る第22態様は、第1態様から第21態様の何れか一つの態様に係る表示条件決定方法において、関係は、分光撮像装置によって過去に撮像された被写体に対する第1被写体と第2被写体との関係を含む表示条件決定方法である。
【0031】
本開示の技術に係る第23態様は、第1態様から第22態様の何れか一つの態様に係る表示条件決定方法において、表示条件を決定することは、関係に基づいて複数の表示条件から表示条件を選択することを含む表示条件決定方法である。
【0032】
本開示の技術に係る第24態様は、第23態様に係る表示条件決定方法において、指標は、第1被写体に対応する第1指標と、第2被写体に対応する第2指標と、を含み、関係は、第1指標と第2指標との相違度に基づく関係を含み、複数の表示条件から表示条件を選択することを、相違度と閾値との関係に基づいて行う表示条件決定方法である。
【0033】
本開示の技術に係る第25態様は、第24態様に係る表示条件決定方法において、相違度が閾値よりも大きい場合には、表示条件の上限値を、第1指標及び第2指標のうちの大きい方の指標に基づいて決定し、表示条件の下限値を、第1指標及び第2指標のうちの小さい方の指標に基づいて決定する表示条件決定方法である。
【0034】
本開示の技術に係る第26態様は、第25態様に係る表示条件決定方法において、表示条件の上限値を、大きい方の指標と第1補正値とに基づいて決定し、表示条件の下限値を、小さい方の指標と第2補正値とに基づいて決定する表示条件決定方法である。
【0035】
本開示の技術に係る第27態様は、第26態様に係る表示条件決定方法において、第1補正値及び第2補正値を、第1画像データによって示される画像に含まれるノイズに基づいて決定する表示条件決定方法である。
【0036】
本開示の技術に係る第28態様は、第24態様から第27態様の何れか一つの態様に係る表示条件決定方法において、相違度が閾値以下である場合には、表示条件の上限値と下限値との差を、閾値に決定する表示条件決定方法である。
【0037】
本開示の技術に係る第29態様は、第28態様に係る表示条件決定方法において、表示条件の上限値及び下限値を、第1指標と第2指標との平均値に基づいて決定する表示条件決定方法である。
【0038】
本開示の技術に係る第30態様は、第29態様に係る表示条件決定方法において、表示条件の上限値を、平均値と第3補正値とに基づいて決定し、表示条件の下限値を、平均値と第4補正値とに基づいて決定する表示条件決定方法である。
【0039】
本開示の技術に係る第31態様は、第30態様に係る表示条件決定方法において、第3補正値及び第4補正値を、第1画像データによって示される画像に含まれるノイズに基づいて決定する表示条件決定方法である。
【0040】
本開示の技術に係る第32態様は、第1態様から第31態様の何れか一つの態様に係る表示条件決定方法において、分光撮像装置は、マルチスペクトルカメラである表示条件決定方法である。
【0041】
本開示の技術に係る第33態様は、第32態様に係る表示条件決定方法において、第1撮像データは、複数の波長帯域の光に対応するスペクトル画像データを含む表示条件決定方法である。
【0042】
本開示の技術に係る第34態様は、第1態様から第33態様の何れか一つの態様に係る表示条件決定方法において、第2被写体は、第1被写体と比べて指標の大きい被写体である表示条件決定方法である。
【0043】
本開示の技術に係る第35態様は、第1態様から第34態様の何れか一つの態様に係る表示条件決定方法において、第1画像データは、指標をヒートマップにより表示する画像データである表示条件決定方法である。
【0044】
本開示の技術に係る第36態様は、第1態様から第35態様の何れか一つの態様に係る表示条件決定方法において、第1画像データを取得することを、第1被写体及び/又は第2被写体のうちの選択された領域に基づいて行う表示条件決定方法である。
【0045】
本開示の技術に係る第37態様は、第1態様から第36態様の何れか一つの態様に係る表示条件決定方法において、判別は、第1被写体及び第2被写体の良否の判別を含む表示条件決定方法である。
【0046】
本開示の技術に係る第38態様は、プロセッサを備え、プロセッサは、分光撮像装置で撮像された第1被写体及び第2被写体を含む第1撮像データを取得し、第1撮像データから、第1被写体及び第2被写体の判別に関連する指標を表す第1画像データを取得し、第1被写体と第2被写体との関係に基づいて、第1画像データの表示条件を決定する表示条件決定装置である。
【0047】
本開示の技術に係る第39態様は、第38態様に係る表示条件決定装置において、プロセッサは、分光撮像装置のキャリブレーションに関する複数のタイマの値を取得し、値に基づいて、キャリブレーションの更新に関する更新データを出力する表示条件決定装置である。
【0048】
本開示の技術に係る第40態様は、第38態様又は第39態様に係る表示条件決定装置において、プロセッサは、第1撮像データに基づいて、指標に関するヒストグラムデータを出力する表示条件決定装置である。
【0049】
本開示の技術に係る第41態様は、第40態様に係る表示条件決定装置において、ヒストグラムデータは、指標の割合を示す第1ヒストグラムデータを含む表示条件決定装置である。
【0050】
本開示の技術に係る第42態様は、第40態様又は第41態様に係る表示条件決定装置において、ヒストグラムデータは、第1被写体及び/又は第2被写体から発せられた光の波長成分の輝度の割合を示す第2ヒストグラムデータを含む表示条件決定装置である。
【0051】
本開示の技術に係る第43態様は、第40態様から第42態様の何れか一つの態様に係る表示条件決定装置において、ヒストグラムデータを表示させることを、第1被写体及び/又は第2被写体のうちの選択された領域に基づいて行う表示条件決定装置である。
【0052】
本開示の技術に係る第44態様は、分光撮像装置で撮像された第1被写体及び第2被写体を含む第1撮像データを取得すること、第1撮像データから、第1被写体及び第2被写体の判別に関連する指標を表す第1画像データを取得すること、及び、第1被写体と第2被写体との関係に基づいて、第1画像データの表示条件を決定することを含む処理をコンピュータに実行させるためのプログラムである。
【図面の簡単な説明】
【0053】
【
図1】検査システムの一例を示すブロック図である。
【
図3】瞳分割フィルタの一例を示す分解斜視図である。
【
図4】撮像装置のハードウェア構成の一例を示すブロック図である。
【
図5】光電変換素子の一部の一例を示す分解斜視図である。
【
図6】撮像装置の機能的な構成の一例を示すブロック図である。
【
図7】出力値取得部及び混信除去処理部の動作の一例を示すブロック図である。
【
図8】第1実施形態に係る処理装置における検査処理を実行するための機能的な構成の一例を示すブロック図である。
【
図9】第1実施形態に係る処理装置における撮像データ取得部、波長帯域選択部、及び画像処理部の動作の一例を示すブロック図である。
【
図10】第1実施形態に係る処理装置における画像領域選択部、画像データ取得部、及び表示制御部の動作の一例を示すブロック図である。
【
図11】第1被写体及び第2被写体を含むコントラストマップについて表示レンジを異ならせた場合の第1例を示す説明図である。
【
図12】第1被写体及び第2被写体を含むコントラストマップについて表示レンジを異ならせた場合の第2例を示す説明図である。
【
図13】第1被写体及び第2被写体を含むコントラストマップについて表示レンジを異ならせた場合の第3例を示す説明図である。
【
図14】第1実施形態に係る処理装置における表示レンジ決定処理を実行するための機能的な構成の一例を示すブロック図である。
【
図15】第1実施形態に係る処理装置における撮像データ取得部の動作の一例を示すブロック図である。
【
図16】第1実施形態に係る処理装置における撮像データ取得部、波長帯域選択部、及び画像処理部の動作の一例を示すブロック図である。
【
図17】第1実施形態に係る処理装置における画像領域選択部、画像データ取得部、及び表示レンジ決定部の動作の一例を示すブロック図である。
【
図18】第1実施形態に係る処理装置における画像データ取得部、表示レンジ決定部、及び表示制御部の動作の一例を示すブロック図である。
【
図19】第1実施形態に係る処理装置における画像データ取得部、表示レンジ決定部、及び表示制御部の動作の一例を示すブロック図である。
【
図20】スペクトル画像生成処理の流れの一例を示すフローチャートである。
【
図21】表示レンジ決定処理の流れの一例を示すフローチャートである。
【
図22】検査処理の流れの一例を示すフローチャートである。
【
図23】第2実施形態に係る処理装置における画像領域選択部、スライダ生成部、ヒストグラム生成部、及び表示制御部の動作の一例を示すブロック図である。
【
図24】ヒストグラム生成処理の流れの一例を示すフローチャートである。
【
図25】第3実施形態に係る処理装置における第1タイマ、第2タイマ、及びキャリブレーション更新部の動作の一例を示すブロック図である。
【
図26】キャリブレーション更新処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0054】
以下、添付図面に従って本開示の技術に係る表示条件決定方法、表示条件決定装置、及びプログラムの実施形態の一例について説明する。
【0055】
先ず、以下の説明で使用される文言について説明する。
【0056】
LEDとは、“light emitting diode”の略称を指す。NDVIとは、“Normalized Difference Vegetation Index”の略称を指す。RGBとは、“Red Green Blue”の略称を指す。ELとは、“Electro Luminescence”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。I/Fとは、“Interface”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。DRAMとは、“Dynamic Random Access Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。TPUとは、“Tensor processing unit”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。IRとは、“Infrared Rays”の略称を指す。
【0057】
本明細書の説明において、「同一」とは、完全な同一の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの同一を指す。本明細書の説明において、「直交」とは、完全な直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直交を指す。本明細書の説明において、「直線」とは、完全な直線の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直線を指す。
【0058】
[第1実施形態]
はじめに、本開示の技術の第1実施形態について説明する。
【0059】
一例として
図1に示すように、第1実施形態に係る検査システム130は、複数の光源132と、筐体134と、撮像装置10と、処理装置90とを備える。処理装置90は、本開示の技術に係る「表示条件決定装置」の一例である。
【0060】
複数の光源132は、例えば、LED光源、レーザ光源、又は白熱電球等である。複数の光源132から照射される光は、無偏光である。複数の光源132は、一例として、筐体134の内部の上部に配置されている。複数の光源132の個数は、いくつでもよく、複数の光源132の代わりに、一つの光源132が用いられてもよい。
【0061】
筐体134は、撮像空間136を覆う構成とされている。撮像空間136には、複数の光源132、撮像装置10の入射部10A、及び被写体200が配置される。撮像装置10は、筐体134の天井部134Aに設けられている。被写体は、筐体134の底部134Bに配置される。被写体200は、一例として、透明なシャーレ202に入れられた複数の種子である。以下、被写体200が複数の種子であることを前提に説明する。なお、被写体200は、種子以外の植物でもよく、植物以外のどのようなものでもよい。
【0062】
複数の種子には、良品である種子と、不良品である種子とが含まれる。種子の良否は、例えば、植生正規化指数NDVIを用いて評価される。植生正規化指数が既定の閾値以上である種子は、良品である種子とされ、植生正規化指数が既定の閾値未満である種子は、不良品である種子とされる。種子の良否を決定する既定の閾値は、種子の品種等に基づいて任意に設定可能である。
【0063】
撮像装置10は、一例として、マルチスペクトルカメラである。ここでは、撮像装置10がマルチスペクトルカメラである例が挙げられているが、撮像装置10は、ハイパースペクトルカメラ等のスペクトルカメラでもよい。また、撮像装置10は、分光フィルタ付きのRGBカメラでもよい。また、撮像装置10は、波長の異なる照明を切り替えながら複数回撮像するカメラでもよい。以下、撮像装置10がマルチスペクトルカメラであることを例に挙げて説明する。撮像装置10は、本開示の技術に係る「分光撮像装置」の一例である。
【0064】
撮像装置10は、光学系26と、イメージセンサ28とを備える。光学系26は、第1レンズ30と、瞳分割フィルタ16と、第2レンズ32とを備える。第1レンズ30、瞳分割フィルタ16、及び第2レンズ32は、被写体200側からイメージセンサ28側にかけて、光軸OAに沿って第1レンズ30、瞳分割フィルタ16、及び第2レンズ32の順に配置されている。
【0065】
瞳分割フィルタ16は、分光フィルタ20A~20Cを有する。各分光フィルタ20A~20Cは、特定の波長帯域の光を透過させるバンドパスフィルタである。分光フィルタ20A~20Cは、互いに異なる波長帯域を有する。具体的には、分光フィルタ20Aは、第1波長帯域λ1を有しており、分光フィルタ20Bは、第2波長帯域λ2を有しており、分光フィルタ20Cは、第3波長帯域λ3を有する。
【0066】
以下、分光フィルタ20A~20Cを区別して説明する必要が無い場合には、各分光フィルタ20A~20Cを「分光フィルタ20」と称する。また、第1波長帯域λ1、第2波長帯域λ2、及び第3波長帯域λ3を区別して説明する必要が無い場合には、第1波長帯域λ1、第2波長帯域λ2、及び第3波長帯域λ3をそれぞれ「波長帯域λ」と称する。
【0067】
撮像装置10では、後に詳述する通り、被写体200を撮像することにより得られた撮像データ70に基づいて各波長帯域λに対応するスペクトル画像データ72A~72Cが生成される。スペクトル画像データ72Aは、第1波長帯域λ1に対応するスペクトル画像データであり、スペクトル画像データ72Bは、第2波長帯域λ2に対応するスペクトル画像データであり、スペクトル画像データ72Cは、第3波長帯域λ3に対応するスペクトル画像データである。以下、スペクトル画像データ72A~72Cを区別して説明する必要が無い場合には、各スペクトル画像データ72A~72Cを「スペクトル画像データ72」と称する。
【0068】
第1実施形態では、一例として、3つの波長帯域λに分光された光に基づいて3つのスペクトル画像データ72が生成される場合を例に挙げて説明する。ただし、3つの波長帯域λは、あくまでも一例に過ぎず、2つ以上の波長帯域λでもよい。
【0069】
撮像装置10は、ズーム機能を有している。被写体200が撮像装置10によって撮像される場合、ズーム機能により、撮像装置10の画角が調節される。撮像装置10の画角は、撮像装置10の撮像範囲に被写体200が含まれる画角に設定される。
【0070】
処理装置90は、撮像装置10と通信可能に接続されている。処理装置90は、例えば、パーソナルコンピュータ又はサーバ等の情報処理装置である。処理装置90は、表示装置122と、受付装置124とを備える。表示装置122は、例えば、液晶表示器又はELディスプレイである。受付装置124は、例えば、キーボード、マウス、及びタッチパッド等を備える。処理装置90は、後に詳述する通り、受付装置124によって受け付けられた情報、及び撮像装置10から受信した撮像データ等に基づいて、被写体200に対する検査を実行し、検査の結果及び/又は画像等を表示装置122に表示する。
【0071】
次に、第1実施形態に係る撮像装置10について詳しく説明する。
【0072】
一例として
図2に示すように、撮像装置10は、レンズ装置12と、撮像装置ボディ14とを備える。レンズ装置12は、瞳分割フィルタ16を有する。撮像装置10は、上述の通り、瞳分割フィルタ16によって複数の波長帯域λに分光された光を撮像することにより複数のスペクトル画像データ72A~72Cを生成して出力するマルチスペクトルカメラである。
【0073】
一例として
図3に示すように、瞳分割フィルタ16は、枠体18と、分光フィルタ20A~20Cと、偏光フィルタ22A~22Cとを有する。
【0074】
枠体18は、開口24A~24Cを有する。開口24A~24Cは、光軸OAの周りに並んで形成されている。以下、開口24A~24Cを区別して説明する必要が無い場合には、各開口24A~24Cを「開口24」と称する。分光フィルタ20A~20Cは、開口24A~開口24Cにそれぞれ設けられることにより、光軸OAの周りに並んで配置されている。これにより、各分光フィルタ20A~20Cの重心位置は、光軸OAとは異なる位置にある。
【0075】
偏光フィルタ22A~22Cは、分光フィルタ20A~20Cにそれぞれ対応して設けられている。具体的には、偏光フィルタ22Aは、開口24Aに設けられており、分光フィルタ20Aと重ね合わされている。偏光フィルタ22Bは、開口24Bに設けられており、分光フィルタ20Bと重ね合わされている。偏光フィルタ22Cは、開口24Cに設けられており、分光フィルタ20Cと重ね合わされている。
【0076】
各偏光フィルタ22A~22Cは、特定の方向に振動する光を透過させる光学フィルタである。偏光フィルタ22A~22Cは、互いに異なる偏光角度の偏光軸を有する。具体的には、偏光フィルタ22Aは、第1偏光角度α1を有しており、偏光フィルタ22Bは、第2偏光角度α2を有しており、偏光フィルタ22Cは、第3偏光角度α3を有する。なお、偏光軸を透過軸と称してもよい。一例として、第1偏光角度α1は、0°に設定されており、第2偏光角度α2は、45°に設定されており、第3偏光角度α3は、90°に設定されている。
【0077】
以下、偏光フィルタ22A~22Cを区別して説明する必要が無い場合には、各偏光フィルタ22A~22Cを「偏光フィルタ22」と称する。また、第1偏光角度α1、第2偏光角度α2、及び第3偏光角度α3を区別して説明する必要が無い場合には、第1偏光角度α1、第2偏光角度α2、及び第3偏光角度α3をそれぞれ「偏光角度α」と称する。
【0078】
なお、
図3に示す例では、複数の波長帯域λの数に対応して、複数の開口24の数が3つとされているが、複数の開口24の数は、複数の波長帯域λの数(すなわち、複数の分光フィルタ20の数)よりも多くてもよい。また、複数の開口24のうちの使用しない開口24は、遮蔽部材(図示省略)によって塞がれていてもよい。また、
図3に示す例では、複数の分光フィルタ20は、互いに異なる波長帯域λを有するが、複数の分光フィルタ20には、同一の波長帯域λを有する分光フィルタ20が含まれていてもよい。
【0079】
一例として
図4に示すように、レンズ装置12は、光学系26を備えており、撮像装置ボディ14は、イメージセンサ28を備えている。光学系26は、瞳分割フィルタ16と、第1レンズ30と、第2レンズ32とを有する。
【0080】
第1レンズ30は、被写体200で反射した光を瞳分割フィルタ16に入射させる。第2レンズ32は、瞳分割フィルタ16を透過した光をイメージセンサ28に設けられた光電変換素子34の受光面34A上に結像させる。
【0081】
瞳分割フィルタ16は、光学系26の瞳位置に配置されている。瞳位置とは、光学系26の明るさを制限する絞り面を指す。ここでの瞳位置には、近傍位置も含まれ、近傍位置とは入射瞳から射出瞳までの範囲を指す。瞳分割フィルタ16の構成は、
図3を用いて説明した通りである。
図4では、便宜上、複数の分光フィルタ20及び複数の偏光フィルタ22が光軸OAと直交する方向に沿って直線状に配列された状態で示されている。
【0082】
イメージセンサ28は、光電変換素子34及び信号処理回路36を備えている。イメージセンサ28は、一例として、CMOSイメージセンサである。第1実施形態では、イメージセンサ28としてCMOSイメージセンサが例示されているが、本開示の技術はこれに限定されず、例えば、イメージセンサ28がCCDイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
【0083】
一例として
図4中には、光電変換素子34の模式的な構成を示す。また、一例として
図5には、光電変換素子34の一部の構成が具体的に示されている。光電変換素子34は、画素層38、偏光フィルタ層40、及び分光フィルタ層42を有する。なお、
図5に示す光電変換素子34の構成は一例であって、光電変換素子34が分光フィルタ層42を有しなくても本開示の技術は成立する。
【0084】
画素層38は、複数の画素44を有する。複数の画素44は、マトリクス状に配置されており、光電変換素子34の受光面34Aを形成している。各画素44は、フォトダイオード(図示省略)を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。
【0085】
以下、スペクトル画像データ72によって示されるスペクトル画像を形成する画素と区別するために、光電変換素子34に設けられた画素44を「物理画素44」と称する。また、スペクトル画像を形成する画素を「画像画素」と称する。
【0086】
光電変換素子34は、複数の物理画素44から出力された電気信号を撮像データとして信号処理回路36に対して出力する。信号処理回路36は、光電変換素子34から入力されたアナログの撮像データ70をデジタル化する。撮像データ70は、撮像画像を示す画像データである。
【0087】
複数の物理画素44は、複数の画素ブロック46を形成している。各画素ブロック46は、縦横2個ずつの合計4個の物理画素44によって形成されている。
図4では、便宜上、各画素ブロック46を形成する4個の物理画素44が光軸OAと直交する方向に沿って直線状に配列された状態で示されているが、4個の物理画素44は、光電変換素子34の縦方向及び横方向にそれぞれ隣接して配置されている(
図5参照)。
【0088】
偏光フィルタ層40は、複数種類の偏光子48A~48Dを有する。各偏光子48A~48Dは、特定の方向に振動する光を透過させる光学フィルタである。偏光子48A~48Dは、互いに異なる偏光角度の偏光軸を有する。具体的には、偏光子48Aは、第1偏光角度β1を有しており、偏光子48Bは、第2偏光角度β2を有しており、偏光子48Cは、第3偏光角度β3を有しており、偏光子48Dは、第4偏光角度β4を有する。一例として、第1偏光角度β1は、0°に設定されており、第2偏光角度β2は、45°に設定されており、第3偏光角度β3は、90°に設定されており、第4偏光角度β4は、135°に設定されている。
【0089】
以下、偏光子48A~48Dを区別して説明する必要が無い場合には、各偏光子48A~48Dを「偏光子48」と称する。また、第1偏光角度β1、第2偏光角度β2、第3偏光角度β3、及び第4偏光角度β4を区別して説明する必要が無い場合には、第1偏光角度β1、第2偏光角度β2、第3偏光角度β3、及び第4偏光角度β4をそれぞれ「偏光角度β」と称する。
【0090】
分光フィルタ層42は、Bフィルタ50A、Gフィルタ50B、及びRフィルタ50Cを有する。Bフィルタ50Aは、複数の波長帯域の光のうちの青色の波長帯域の光を最も多く透過させる青色域フィルタである。Gフィルタ50Bは、複数の波長帯域の光のうちの緑色の波長帯域の光を最も多く透過させる緑色域フィルタである。Rフィルタ50Cは、複数の波長帯域の光のうちの赤色の波長帯域の光を最も多く透過させる赤色域フィルタである。Bフィルタ50A、Gフィルタ50B、及びRフィルタ50Cは、各画素ブロック46に割り当てられている。なお、分光フィルタ層42は、一般的にIRカットフィルタ(図示無し)を有するが、撮像装置10で近赤外光を撮像する場合には、IRカットフィルタを取り外すことが好ましい。
【0091】
図4では、便宜上、Bフィルタ50A、Gフィルタ50B、及びRフィルタ50Cが光軸OAと直交する方向に沿って直線状に配列された状態で示されているが、一例として
図5に示すように、Bフィルタ50A、Gフィルタ50B、及びRフィルタ50Cは既定のパターン配列でマトリクス状に配置されている。
図5に示す例では、Bフィルタ50A、Gフィルタ50B、及びRフィルタ50Cは、既定のパターン配列の一例として、ベイヤ配列でマトリクス状に配置されている。なお、既定のパターン配列は、ベイヤ配列以外に、RGBストライプ配列、R/G市松配列、X-Trans(登録商標)配列、又はハニカム配列等でもよい。
【0092】
以下、Bフィルタ50A、Gフィルタ50B、及びRフィルタ50Cを区別して説明する必要がない場合には、Bフィルタ50A、Gフィルタ50B、及びRフィルタ50Cをそれぞれ「フィルタ50」と称する。
【0093】
一例として
図4に示すように、撮像装置ボディ14は、イメージセンサ28に加えて、制御ドライバ52、入出力I/F54、コンピュータ56、及び通信装置58を備える。入出力I/F54には、信号処理回路36、制御ドライバ52、コンピュータ56、及び通信装置58が接続されている。
【0094】
コンピュータ56は、プロセッサ60、ストレージ62、及びRAM64を有する。プロセッサ60は、撮像装置10の全体を制御する。プロセッサ60は、例えば、CPU及びGPUを含む演算処理装置であり、GPUは、CPUの制御下で動作し、画像に関する処理の実行を担う。ここでは、プロセッサ60の一例としてCPU及びGPUを含む演算処理装置を挙げているが、これはあくまでも一例に過ぎず、プロセッサ60は、GPU機能を統合した1つ以上のCPUであってもよいし、GPU機能を統合していない1つ以上のCPUであってもよい。
【0095】
プロセッサ60、ストレージ62、及びRAM64は、バス66を介して接続されており、バス66は、入出力I/F54に接続されている。ストレージ62は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えば、ストレージ62は、フラッシュメモリ(例えば、EEPROM)である。但し、これは、あくまでも一例に過ぎず、フラッシュメモリと共に、HDD等をストレージ62として適用してもよい。RAM64は、各種情報を一時的に記憶し、ワークメモリとして用いられる。RAM64としては、例えば、DRAM及び/又はSRAM等が挙げられる。
【0096】
プロセッサ60は、ストレージ62から必要なプログラムを読み出し、読み出したプログラムをRAM64上で実行する。プロセッサ60は、RAM64上で実行するプログラムに従って、制御ドライバ52及び信号処理回路36を制御する。制御ドライバ52は、プロセッサ94の制御下で光電変換素子34を制御する。
【0097】
通信装置58は、入出力I/F54及びバス66を介してプロセッサ60と接続されている。また、通信装置58は、有線又は無線により処理装置90と通信可能に接続されている。通信装置58は、処理装置90との間の情報の授受を司る。例えば、通信装置58は、プロセッサ60からの要求に応じたデータを処理装置90に対して送信する。また、通信装置58は、処理装置90から送信されたデータを受信し、受信したデータを、バス66を介してプロセッサ60に出力する。
【0098】
一例として
図6に示すように、ストレージ62には、スペクトル画像生成プログラム80が記憶されている。プロセッサ60は、ストレージ62からスペクトル画像生成プログラム80を読み出し、読み出したスペクトル画像生成プログラム80をRAM64上で実行する。プロセッサ60は、RAM64上で実行するスペクトル画像生成プログラム80に従って、複数のスペクトル画像データ72を生成するためのスペクトル画像生成処理を実行する。スペクトル画像生成処理は、プロセッサ60がスペクトル画像生成プログラム80に従って、出力値取得部82及び混信除去処理部84として動作することで実現される。
【0099】
一例として
図7に示すように、出力値取得部82は、イメージセンサ28から出力された撮像データ70がプロセッサ60に入力された場合に、撮像データ70に基づいて、各物理画素44の出力値Yを取得する。各物理画素44の出力値Yは、撮像データ70に含まれる各画像画素の輝度値に対応する。
【0100】
ここで、各物理画素44の出力値Yは、混信(すなわち、クロストーク)が含まれた値である。すなわち、各物理画素44には、第1波長帯域λ1、第2波長帯域λ2、及び第3波長帯域λ3の各波長帯域λの光が入射するため、出力値Yは、第1波長帯域λ1の光量に応じた値、第2波長帯域λ2の光量に応じた値、及び第3波長帯域λ3の光量に応じた値が混合した値となる。
【0101】
スペクトル画像データ72を得るためには、プロセッサ60が、物理画素44毎に、出力値Yから各波長帯域λに対応した値を分離して抽出する処理、すなわち、混信を除去する処理である混信除去処理を出力値Yに対して行う必要がある。そこで、第1実施形態では、スペクトル画像データ72を取得するために、混信除去処理部84が、出力値取得部82によって取得された各物理画素44の出力値Yに対して混信除去処理を実行する。
【0102】
ここで、混信除去処理について説明する。各物理画素44の出力値Yは、赤色、緑色、及び青色について、偏光角度β毎の各輝度値を出力値Yの成分として含む。各物理画素44の出力値Yは、式(1)によって表される。
【数1】
【0103】
ただし、Yβ1_Rは、出力値Yのうちの赤色で偏光角度が第1偏光角度β1である成分の輝度値、Yβ2_Rは、出力値Yのうちの赤色で偏光角度が第2偏光角度β2である成分の輝度値、Yβ3_Rは、出力値Yのうちの赤色で偏光角度が第3偏光角度β3である成分の輝度値、Yβ4_Rは、出力値Yのうちの赤色で偏光角度が第4偏光角度β4である成分の輝度値である。
【0104】
また、Yβ1_Gは、出力値Yのうちの緑色で偏光角度が第1偏光角度β1である成分の輝度値、Yβ2_Gは、出力値Yのうちの緑色で偏光角度が第2偏光角度β2である成分の輝度値、Yβ3_Gは、出力値Yのうちの緑色で偏光角度が第3偏光角度β3である成分の輝度値、Yβ4_Gは、出力値Yのうちの緑色で偏光角度が第4偏光角度β4である成分の輝度値である。
【0105】
また、Yβ1_Bは、出力値Yのうちの青色で偏光角度が第1偏光角度β1である成分の輝度値、Yβ2_Bは、出力値Yのうちの青色で偏光角度が第2偏光角度β2である成分の輝度値、Yβ3_Bは、出力値Yのうちの青色で偏光角度が第3偏光角度β3である成分の輝度値、Yβ4_Bは、出力値Yのうちの青色で偏光角度が第4偏光角度β4である成分の輝度値である。
【0106】
スペクトル画像データ72を形成する各画像画素の画素値Xは、第1偏光角度α
1を有する第1波長帯域λ
1の偏光(以下、「第1波長帯域偏光」と称する)の輝度値X
λ1と、第2偏光角度α
2を有する第2波長帯域λ
2の偏光(以下、「第2波長帯域偏光」と称する)の輝度値X
λ2と、第3偏光角度α
3を有する第3波長帯域λ
3の偏光(以下、「第3波長帯域偏光」と称する)の輝度値X
λ3とを画素値Xの成分として含む。各画像画素の画素値Xは、式(2)によって表される。
【数2】
【0107】
各物理画素44の出力値Yは、式(3)によって表される。
【数3】
【0108】
式(3)において、Aは、混信行列である。混信行列A(図示省略)は、混信の特性を示す行列である。混信行列Aは、入射光のスペクトル、第1レンズ30の分光透過率、第2レンズ32の分光透過率、複数の分光フィルタ20の分光透過率、及びイメージセンサ28の分光感度等の複数の既知の値に基づいて事前に規定される。
【0109】
混信行列Aの一般逆行列である混信除去行列をA
+とした場合、各画像画素の画素値Xは、式(4)によって表される。
【数4】
【0110】
混信除去行列A+も、混信行列Aと同様に、入射光のスペクトル、第1レンズ30の分光透過率、第2レンズ32の分光透過率、複数の分光フィルタ20の分光透過率、及びイメージセンサ28の分光感度等に基づいて規定される行列である。混信除去行列A+は、ストレージ62に予め記憶される。
【0111】
混信除去処理部84は、ストレージ62に記憶されている混信除去行列A+と、出力値取得部82によって取得された各物理画素44の出力値Yとを取得し、取得した混信除去行列A+と各物理画素44の出力値Yとに基づいて、式(4)により、各画像画素の画素値Xを出力する。
【0112】
ここで、上述の通り、各画像画素の画素値Xは、第1波長帯域偏光の輝度値Xλ1と、第2波長帯域偏光の輝度値Xλ2と、第3波長帯域偏光の輝度値Xλ3とを画素値Xの成分として含む。
【0113】
撮像データ70のうちのスペクトル画像データ72Aは、第1波長帯域λ1の光の輝度値Xλ1に対応する画像(すなわち、輝度値Xλ1に依拠した画像)である。撮像データ70のうちのスペクトル画像データ72Bは、第2波長帯域λ2の光の輝度値Xλ2に対応する画像(すなわち、輝度値Xλ2に依拠した画像)である。撮像データ70のうちのスペクトル画像データ72Cは、第3波長帯域λ3の光の輝度値Xλ3に対応する画像(すなわち、輝度値Xλ3に依拠した画像)である。
【0114】
このように、混信除去処理部84によって混信除去処理が実行されることにより、撮像データ70が、第1波長帯域偏光の輝度値Xλ1に対応するスペクトル画像データ72Aと、第2波長帯域偏光の輝度値Xλ2に対応するスペクトル画像データ72Bと、第3波長帯域偏光の輝度値Xλ3に対応するスペクトル画像データ72Cとに分離される。すなわち、撮像データ70が、複数の分光フィルタ20の波長帯域λ毎のスペクトル画像データ72に分離される。
【0115】
次に、第1実施形態に係る処理装置90について詳しく説明する。
【0116】
一例として
図8に示すように、処理装置90は、コンピュータ92を備えている。コンピュータ92は、プロセッサ94、ストレージ96、及びRAM98を備える。プロセッサ94、ストレージ96、及びRAM98は、上述のプロセッサ60、ストレージ62、及びRAM64(
図4参照)と同様のハードウェアによって実現される。プロセッサ94は、本開示の技術に係る「プロセッサ」の一例である。
【0117】
ストレージ96には、検査プログラム100が記憶されている。プロセッサ94は、ストレージ96から検査プログラム100を読み出し、読み出した検査プログラム100をRAM98上で実行する。プロセッサ94は、RAM98上で実行する検査プログラム100に従って、検査処理を実行する。検査処理は、プロセッサ94が検査プログラム100に従って、撮像データ取得部102、波長帯域選択部104、画像処理部106、画像領域選択部108、画像データ取得部110、及び表示制御部112として動作することで実現される。検査処理によって被写体200に対する検査が実行される。検査は、どのような検査でもよい。例えば、検査としては、被写体200の良否を判別する検査が挙げられる。以下、被写体200の良否を判別する検査を行う場合を例に挙げて、検査処理を説明する。
【0118】
一例として
図9に示すように、被写体200には、複数の光源132によって光が照射される。撮像装置10は、複数の光源132によって被写体200に光が照射されている状態で、被写体200を撮像する。そして、撮像装置10は、被写体200を撮像することによって得た撮像データ70を処理装置90に対して送信する。撮像データ70は、複数のスペクトル画像データ72を含む画像データである。撮像データは、本開示の技術に係る「第2撮像データ」の一例である。
【0119】
撮像データ取得部102は、処理装置90で受信された撮像データ70を取得する。波長帯域選択部104は、撮像データ取得部102によって取得された撮像データ70に含まれる複数のスペクトル画像データ72のうちの2つのスペクトル画像データ72を選択する。
図9に示す例では、2つのスペクトル画像データ72として、第1波長帯域λ
1の光に対応するスペクトル画像データ72Aと、第2波長帯域λ
2の光に対応するスペクトル画像データ72Bとが選択されている。2つのスペクトル画像データ72に対応する2つの波長帯域λは、本開示の技術に係る「複数の波長帯域」の一例である。
【0120】
2つの波長帯域λは、例えば、受付装置124(
図1参照)によって受け付けられたユーザ等からの波長帯域選択指示に基づいて選択されてもよいし、複数のスペクトル画像データ72に対して画像解析処理が実行された結果に基づいて選択されてもよい。また、
図9に示す例では、瞳分割フィルタ16が有する3つの分光フィルタ20に対応する3つの波長帯域λから2つの波長帯域λが選択されるが、瞳分割フィルタ16が4つ以上の分光フィルタ20を有する場合に、4以上の波長帯域λから2つの波長帯域λが選択されてもよい。
【0121】
また、2つの波長帯域λは、例えば2種類以上の既定の組み合わせから選択されてもよいし、被写体200の属性(例えば、被写体の種類等)に基づいて選択されてもよい。また、2つの波長帯域λは、被写体200の撮像条件(例えば、複数の光源132による照明条件)に基づいて選択されてもよい。照明条件は、複数の光源132によって照射される光の波長帯域λ及び/又は光の出力を含んでいてもよい。
【0122】
例えば、被写体200が植物である場合、850nmを中心波長とする近赤外波長帯域と650nmを中心波長とする赤色波長帯域との組み合わせである第1の組み合わせと、717nmを中心波長とする赤色波長帯域と560nmを中心波長とする緑色波長帯域との組み合わせである第2の組み合わせとから、2つの波長帯域λが選択されてもよい。
【0123】
画像処理部106は、波長帯域選択部104によって選択された2つの波長帯域λの光に対応するスペクトル画像データ72を含む撮像データ70を取得し、撮像データ70によって示される撮像画像74に対して画像処理を実行する。画像処理は、撮像画像74に含まれるノイズに関する処理を含んでいてもよい。ノイズに関する処理は、エッジ強調処理及び/又はノイズリダクション処理を含んでいてもよい。また、画像処理部106は、撮像画像74に対して演算処理を実行してもよい。演算処理は、撮像画像74の視認性に関する処理を含んでいてもよい。視認性に関する処理は、階調処理及び/又はガンマ補正処理を含んでいてもよい。なお、スペクトル画像データ72に対して、ノイズに関する処理の前後などで、照明の照度分布、照明の分光強度、撮像装置10の周辺光量低下、及び/又は画像の歪みなどを補正する処理を実施してもよい。
【0124】
なお、画像処理部106は、撮像データ70によって示される撮像画像74に対して画像処理を実行する代わりに、後述する画像データ140によって示されるコントラストマップ142(
図10参照)に対して画像処理を実行してもよい。また、画像処理部106は、撮像データ70によって示される撮像画像74に対して演算処理を実行する代わりに、後述する画像データ140によって示されるコントラストマップ142に対して演算処理を実行してもよい。
【0125】
一例として
図10に示すように、撮像画像74には、被写体200が像として含まれる。被写体200は、波長帯域選択部104によって選択された2つの波長帯域λに対応する色で表される。
【0126】
画像領域選択部108は、撮像画像74から画像領域76を選択する。画像領域76は、例えば、受付装置124(
図1参照)によって受け付けられたユーザ等からの画像領域選択指示に基づいて選択されてもよいし、撮像画像74に対して画像解析処理が実行された結果に基づいて選択されてもよい。画像領域76は、撮像画像74に像として含まれる被写体200の外縁よりも内側の領域から選択される。
図10に示す例では、画像領域76として四角形の領域が選択されているが、画像領域76の形状はどのような形状でもよい。また、画像領域76は、フリーハンドによって選択されてもよい。画像領域76は、被写体200のうちの選択された領域に対応する画像領域である。
【0127】
画像データ取得部110は、画像領域選択部108によって画像領域76が選択された撮像データ70から、コントラストマップ142を表す画像データ140を取得する。具体的には、画像データ取得部110は、画像領域76に含まれる各画像画素に対して、式(5)により、2つの波長帯域λの光の輝度のコントラストCを導出し、各画像画素のコントラストCをヒートマップにより表す画像であるコントラストマップ142を生成する。ただし、L1は各画像画素における2つの波長帯域λのうちの一方の波長帯域λの光の輝度を示し、L2は各画像画素における2つの波長帯域λのうちの他方の波長帯域λの光の輝度を示す。
【数5】
【0128】
なお、式(5)はマイケルソンコントラストの式であり、式(6)から導出される。
【数6】
【0129】
また、被写体200が植物であり、2つの波長帯域λとして、近赤外波長帯域と赤色波長帯域とが選択された場合、上述のコントラストCとして、式(7)により、植生正規化指数NDVIが導出されてもよい。そして、コントラストマップ142として、各画像画素の植生正規化指数NDVIを表す画像であるNDVIマップが生成されてもよい。ただし、NIRは各画像画素における近赤外波長帯域の光の輝度を示し、Redは各画像画素における赤色波長帯域の光の輝度を示す。
【数7】
【0130】
また、ここでは、コントラストCを導出する例が挙げられているが、式(5)以外の式等を用いて、被写体200の良否の判別に関連する指標が導出されてもよい。また、指標は、被写体200の良否の判別以外の判別に関連する指標でもよい。また、指標は、コントラストC以外に、2つの波長帯域λの光の輝度に基づく指標でもよい。また、コントラストマップ142は、ヒートマップ以外に等値線図等により表されてもよい。また、指標の一例として、「波長帯域λの光の輝度」及び/又は「複数の波長帯域λの光の輝度の和」でもよい。
【0131】
コントラストマップ142に含まれる各画像画素に対応するコントラストCは、本開示の技術に係る「指標」及び「コントラスト」の一例である。NDVIマップに含まれる各画像画素に対応する植生正規化指数NDVIは、本開示の技術に係る「正規化植生指数」の一例である。
【0132】
表示制御部112は、画像データ取得部110によって取得された画像データ140を取得する。そして、表示制御部112は、表示装置122に対して画像データ140を表示させる制御を行う。これにより、画像データ140によって示されるコントラストマップ142が表示装置122に表示される。
【0133】
このように、処理装置90によれば、表示装置122にコントラストマップ142を表示することができる。これにより、コントラストマップ142に基づいて、被写体200の良否の判別を目視観察により行うことができる。
【0134】
ところで、目視観察に適したコントラストマップ142の表示レンジは、被写体200及び/又は照明等の撮像条件によって変化するため、撮像条件によっては、目視観察に適さない表示レンジになる虞がある。
【0135】
ここで、
図11には、第1被写体200A及び第2被写体200Bを含むコントラストマップ142について表示レンジを異ならせた場合の第1例が示されている。
図11において、コントラストマップ142の濃淡は、コントラストCの大きさを表している。一例として、第2被写体200Bは、第1被写体200Aと比べてコントラストCの大きい被写体である。ここで言うコントラストCが大きいとは、例えば、コントラストCの代表値(すなわち、平均値、最大値、又は中央値等)が大きいことを指す。例えば、第1被写体200Aは、不良品である複数の種子を想定した被写体であり、第2被写体200Bは、良品である複数の種子を想定した被写体である。
【0136】
図11(A)には、目視観察に適した表示レンジよりも表示レンジが広い場合、すなわち、表示レンジが広過ぎる場合の一例が示されている。一方、
図11(B)には、
図11(A)に示す表示レンジに対して表示レンジを狭めることにより、表示レンジを目視観察に適した表示レンジに設定した場合の一例が示されている。目視観察に適した表示レンジは、観察者であるユーザの識別能力によって定まる。
【0137】
図11(A)に示すように、表示レンジが広過ぎる場合、コントラストマップ142に含まれるノイズは目立たないが、第1被写体200Aと第2被写体200Bとの差を目視観察により確認することが困難である。一方、
図11(B)に示すように、表示レンジを狭めると、ノイズが増えるが、第1被写体200Aと第2被写体200Bとの差を目視観察により確認することが可能になる。
【0138】
図12には、第1被写体200A及び第2被写体200Bを含むコントラストマップ142について表示レンジを異ならせた場合の第2例が示されている。
図12に示す第2例は、
図11に示す第1例よりもコントラストマップ142に含まれるノイズの量が多い例である。
【0139】
図12(A)には、目視観察に適した表示レンジよりも表示レンジが狭い場合、すなわち、表示レンジが狭過ぎる場合の一例が示されている。一方、
図12(B)には、
図12(A)に示す表示レンジに対して表示レンジを広げることにより、表示レンジを目視観察に適した表示レンジに設定した場合の一例が示されている。
【0140】
図12(A)に示すように、表示レンジが狭過ぎる場合、コントラストマップ142に含まれるノイズが目立ってしまい、第1被写体200Aと第2被写体200Bとの差を目視観察により確認することが困難である。一方、
図12(A)に示すように、表示レンジを広げると、第2被写体200Bの方が第1被写体200Aよりも若干であるがコントラストCが高くなり、第1被写体200Aと第2被写体200Bとの差を目視観察により確認することが可能になる。
【0141】
図13には、第1被写体200A及び第2被写体200Bを含むコントラストマップ142について表示レンジを異ならせた場合の第3例が示されている。
図13に示す第3例は、
図11に示す第1例とコントラストマップ142に含まれるノイズの量が同じ例である。
【0142】
図13(A)には、目視観察に適した表示レンジよりも表示レンジが低い場合、すなわち、表示レンジが低過ぎる場合の一例が示されている。一方、
図13(B)には、目視観察に適した表示レンジよりも表示レンジが高い場合、すなわち、表示レンジが高過ぎる場合の一例が示されている。
【0143】
図13(A)に示すように、表示レンジが低過ぎる場合、第1被写体200Aと第2被写体200Bとの差を目視観察により確認することが困難である。同様に、
図13(B)に示すように、表示レンジが高過ぎる場合、第1被写体200Aと第2被写体200Bとの差を目視観察により確認することが困難である。
【0144】
このように、コントラストマップ142を表示する場合に、表示レンジが適正でないと、第1被写体200Aと第2被写体200Bとの差を目視観察により確認することが困難になる。そこで、処理装置90では、検査処理が実行される場合に、以下の表示レンジ決定処理が実行されることにより、検査処理に用いられる表示レンジとして、目視観察に適した表示レンジが決定される。
【0145】
一例として
図14に示すように、処理装置90のストレージ96には、表示レンジ決定プログラム150が記憶されている。表示レンジ決定プログラム150は、本開示の技術に係る「プログラム」の一例である。プロセッサ94は、ストレージ96から表示レンジ決定プログラム150を読み出し、読み出した表示レンジ決定プログラム150をRAM98上で実行する。プロセッサ94は、RAM98上で実行する表示レンジ決定プログラム150に従って、表示レンジを決定するための表示レンジ決定処理を実行する。表示レンジは、本開示の技術に係る「表示条件」の一例である。表示レンジ決定処理は、プロセッサ94が表示レンジ決定プログラム150に従って、撮像データ取得部152、波長帯域選択部154、画像処理部156、画像領域選択部158、画像データ取得部160、表示レンジ決定部161、及び表示制御部162として動作することで実現される。
【0146】
一例として
図15に示すように、表示レンジ決定処理では、被写体200として、第1被写体200A及び第2被写体200Bが用いられる。第1被写体200Aと第2被写体200Bとは、同じ種類の被写体である。第2被写体200Bは、第1被写体200AよりもコントラストCが大きい被写体である。ここで言うコントラストCが大きいとは、例えば、コントラストCの代表値(すなわち、平均値、最大値、又は中央値等)が大きいことを指す。
【0147】
例えば、第1被写体200Aは、不良品である複数の種子であり、第2被写体200Bは、良品である複数の種子である。第1被写体200Aは、本開示の技術に係る「第1被写体」の一例であり、第2被写体200Bは、本開示の技術に係る「第2被写体」の一例である。第1被写体200A及び第2被写体200Bは、複数の光源132によって光が照射されている状態で、同じ撮像条件下において撮像装置10によって順次に撮像される。
【0148】
撮像データ取得部152は、第1被写体200Aが撮像された場合に、撮像装置10から送信され処理装置90で受信された撮像データである第1撮像データ70Aを取得する。また、撮像データ取得部152は、第2被写体200Bが撮像された場合に、撮像装置10から送信され処理装置90で受信された撮像データである第2撮像データ70Bを取得する。これにより、撮像装置10で撮像された第1被写体200A及び第2被写体200Bを含む撮像データ、すなわち、第1被写体200Aに対応する第1撮像データ70Aと、第2被写体200Bに対応する第2撮像データ70Bとを含む撮像データ70が撮像データ取得部152によって取得される。第1被写体200A及び第2被写体200Bを含む撮像データ70は、本開示の技術に係る「第1撮像データ」の一例である。
【0149】
なお、第1被写体200A及び第2被写体200Bは、別々に撮像される以外に一緒に撮像されてもよい。そして、第1被写体200Aに対応する第1撮像データ70Aと、第2被写体200Bに対応する第2撮像データ70Bとを含む撮像データ70が撮像データ取得部152によって取得されてもよい。
【0150】
一例として
図16に示すように、波長帯域選択部154は、上述の波長帯域選択部104と同様に、撮像データ取得部152によって取得された撮像データ70に含まれる複数のスペクトル画像データ72のうちの2つのスペクトル画像データ72を選択する。すなわち、波長帯域選択部154は、第1撮像データ70Aに含まれる複数のスペクトル画像データ72のうちの2つのスペクトル画像データ72を選択し、第2撮像データ70Bに含まれる複数のスペクトル画像データ72のうちの2つのスペクトル画像データ72を選択する。この場合に、波長帯域選択部154は、第1撮像データ70A及び第2撮像データ70Bから同じ2つの波長帯域λの光に対応するスペクトル画像データ72をそれぞれ選択する。また、波長帯域選択部154は、検査処理で選択される2つの波長帯域λと同じ2つの波長帯域λを選択する。
【0151】
図16に示す例では、2つのスペクトル画像データ72として、第1波長帯域λ
1の光に対応するスペクトル画像データ72Aと、第2波長帯域λ
2の光に対応するスペクトル画像データ72Bとが選択されている。
【0152】
画像処理部156は、波長帯域選択部154によって2つの波長帯域λが選択された第1撮像データ70A及び第2撮像データ70Bを含む撮像データ70を取得し、第1撮像データ70Aによって示される第1撮像画像74Aと、第2撮像データ70Bによって示される第2撮像画像74Bとに対して画像処理を実行する。この場合の画像処理は、上述の画像処理部106によって実行される画像処理と同様である。また、画像処理部156は、第1撮像画像74Aと第2撮像画像74Bとに対して演算処理を実行してもよい。この場合の演算処理は、上述の画像処理部106によって実行される演算処理と同様である。画像処理は、本開示の技術に係る「画像処理」の一例である。演算処理は、本開示の技術に係る演算処理の一例である。
【0153】
なお、画像処理部156は、撮像データ70によって示される第1撮像画像74A及び第2撮像画像74Bに対して画像処理を実行する代わりに、後述する画像データ140によって示される第1コントラストマップ142A及び第2コントラストマップ142B(
図17参照)に対して画像処理を実行してもよい。また、画像処理部156は、撮像データ70によって示される第1撮像画像74A及び第2撮像画像74Bに対して演算処理を実行する代わりに、後述する画像データ140によって示される第1コントラストマップ142A及び第2コントラストマップ142Bに対して演算処理を実行してもよい。
【0154】
一例として
図17に示すように、第1撮像画像74Aには、第1被写体200Aが像として含まれ、第2撮像画像74Bには、第2被写体200Bが像として含まれる。第1被写体200A及び第2被写体200Bは、波長帯域選択部154によって選択された2つの波長帯域λに対応する色でそれぞれ表される。
【0155】
画像領域選択部158は、第1撮像画像74Aから第1画像領域76Aを選択する。同様に、画像領域選択部158は、第2撮像画像74Bから第2画像領域76Bを選択する。第1画像領域76Aと第2画像領域76Bとの大きさ及び/又は形状は、同じでもよいし、互いに異なっていてもよい。第1画像領域76A及び第2画像領域76Bは、例えば、受付装置124(
図1参照)によって受け付けられたユーザ等からの画像領域選択指示に基づいて選択されてもよいし、第1撮像画像74A及び第2撮像画像74Bに対して画像解析処理が実行された結果に基づいて選択されてもよい。
【0156】
第1画像領域76Aは、第1撮像画像74Aに像として含まれる第1被写体200Aの外縁よりも内側の領域から選択される。同様に、第2画像領域76Bは、第2撮像画像74Bに像として含まれる第2被写体200Bの外縁よりも内側の領域から選択される。
図17に示す例では、第1画像領域76Aとして四角形の領域が選択されているが、第1画像領域76Aの形状はどのような形状でもよい。同様に、
図17に示す例では、第2画像領域76Bとして四角形の領域が選択されているが、第2画像領域76Bの形状はどのような形状でもよい。また、第1画像領域76A及び第2画像領域76Bは、フリーハンドによって選択されてもよい。第1画像領域76Aは、第1被写体200Aのうちの選択された領域に対応する画像領域であり、第2画像領域76Bは、第2被写体200Bのうちの選択された領域に対応する画像領域である。
【0157】
画像データ取得部160は、上述の画像データ取得部110と同様に、画像領域選択部158によって第1画像領域76Aが選択された第1撮像データ70Aから、第1コントラストマップ142Aを表す第1画像データ140Aを取得する。また、画像データ取得部160は、上述の画像データ取得部110と同様に、画像領域選択部158によって第2画像領域76Bが選択された第2撮像データ70Bから、第2コントラストマップ142Bを表す第2画像データ140Bを取得する。
【0158】
具体的には、画像データ取得部160は、第1画像領域76Aに含まれる各画像画素に対して、上述の式(5)により、2つの波長帯域λの光の輝度のコントラストCを導出し、各画像画素のコントラストCをヒートマップにより表す画像である第1コントラストマップ142Aを生成する。また、画像データ取得部160は、第2画像領域76Bに含まれる各画像画素に対して、上述の式(5)により、2つの波長帯域λの光の輝度のコントラストCを導出し、各画像画素のコントラストCをヒートマップにより表す画像である第2コントラストマップ142Bを生成する。これにより、第1コントラストマップ142A及び第2コントラストマップ142Bを含むコントラストマップ画像144が得られる。コントラストマップ画像144は、上述の画像処理及び/又は演算処理が実行された画像である。ただし、以下の説明では、コントラストマップ画像144にノイズが残存することを前提とする。
【0159】
第1画像データ140A及び第2画像データ140Bを含む画像データ140は、本開示の技術に係る「第1画像データ」の一例である。コントラストマップ画像144は、本開示の技術に係る「第1画像データによって示される画像」の一例である。第1コントラストマップ142Aに含まれる各画像画素に対応するコントラストCは、本開示の技術に係る「第1指標」の一例であり、第2コントラストマップ142Bに含まれる各画像画素に対応するコントラストCは、本開示の技術に係る「第2指標」の一例である。
【0160】
表示レンジ決定部161は、第1画像データ140A及び第2画像データ140Bに基づいて、次の要領により表示レンジを決定する。先ず、表示レンジ決定部161は、第1コントラストマップ142Aに含まれるコントラストCの代表値(以下、「第1コントラスト代表値Ca」と称する)を導出する。また、表示レンジ決定部161は、第2コントラストマップ142Bに含まれるコントラストCの代表値(以下、「第2コントラスト代表値Cb」と称する)を導出する。代表値は、コントラストCの平均値、最大値、及び中央値等のいずれでもよい。
【0161】
続いて、表示レンジ決定部161は、第1コントラスト代表値Caと第2コントラスト代表値Cbとの差(以下、単に「差」とも称する)を導出する。第1コントラスト代表値Caと第2コントラスト代表値Cbとの差は、ノイズを含んだ状態でのコントラストマップ画像144内における第1被写体200Aと第2被写体200Bとの関係を示すものである。なお、上述の通り、撮像データ70及び/又は画像データ140に対しては画像処理及び/又は演算処理が実行されるので、第1コントラスト代表値Caと第2コントラスト代表値Cbとの差は、コントラストマップ画像144に対して画像処理及び/又は演算処理が実行された状態での差である。差は、本開示の技術に係る「第1被写体と第2被写体との関係」、「第1被写体と第2被写体との指標の関係」、及び「第1指標と第2指標との相違度」の一例である。そして、表示レンジ決定部161は、差に基づいて、第1表示レンジ及び第2表示レンジのうちのどちらを選択することにより、表示レンジを決定する。
【0162】
具体的には、差が予め定められた閾値Dよりも大きい場合には、表示レンジ決定部161は、第1表示レンジ及び第2表示レンジのうちの第1表示レンジを選択する。一方、差が閾値D以下である場合には、表示レンジ決定部161は、第1表示レンジ及び第2表示レンジのうちの第2表示レンジを選択する。このように、表示レンジは、第1コントラスト代表値Caと第2コントラスト代表値Cbとの差の大きさに基づいて、第1表示レンジ及び第2表示レンジから選択される。第1表示レンジ及び第2表示レンジは、本開示の技術に係る「複数の表示レンジ」の一例である。
【0163】
表示レンジを選択するための閾値Dは、例えば、予め得られた第1コントラストマップ142A及び第2コントラストマップ142Bに含まれるノイズの量に基づいて任意に決定されてもよい。例えば、ノイズの量が多いほど閾値Dを大きくしてもよく、ノイズの量が少ないほど閾値Dを小さくしてもよい。閾値Dは、例えば、0.06に設定されてもよい。閾値Dは、本開示の技術に係る「閾値」の一例である。
【0164】
表示レンジ決定部161は、第1表示レンジを選択した場合、第1表示レンジの上限値MAXを、式(8)により決定し、第1表示レンジの下限値MINを、式(9)により決定する。ただし、C1は、第1コントラスト代表値Ca及び第2コントラスト代表値Cbのうちの大きい方の値であり、B1は、第1補正値である。また、C2は、第1コントラスト代表値Ca及び第2コントラスト代表値Cbのうちの小さい方の値であり、B2は、第2補正値である。
【数8】
【数9】
【0165】
このように、差が閾値Dよりも大きい場合には、表示レンジの上限値MAXが、第1コントラスト代表値Ca及び第2コントラスト代表値Cbのうちの大きい方の値に基づいて決定され、表示レンジの下限値MINが、第1コントラスト代表値Ca及び第2コントラスト代表値Cbのうちの小さい方の値に基づいて決定される。
【0166】
なお、第1補正値B1及び第2補正値B2は、予め得られた第1コントラストマップ142A及び第2コントラストマップ142Bに含まれるノイズの量に基づいて任意に決定されてもよい。例えば、ノイズの量が多いほど第1補正値B1及び第2補正値B2を大きくしてもよく、ノイズの量が少ないほど第1補正値B1及び第2補正値B2を小さくしてもよい。第1補正値B1及び第2補正値B2は、例えば、0.03に設定されてもよい。第1補正値B1と第2補正値B2とは、同じ値でもよく、互いに異なる値でもよい。第1補正値B1は、本開示の技術に係る「第1補正値」の一例であり、第2補正値B2は、本開示の技術に係る「第2補正値」の一例である。
【0167】
一方、表示レンジ決定部161は、第2表示レンジを選択した場合、第2表示レンジの上限値MAXと下限値MINとの差を閾値Dに決定し、かつ、第2表示レンジの上限値MAXを、式(10)により決定し、第2表示レンジの下限値MINを、式(11)により決定する。ただし、(Ca+Cb)÷2は、第1コントラスト代表値Caと第2コントラスト代表値Cbとの平均値であり、B3は、第3補正値であり、B4は、第4補正値である。
【数10】
【数11】
【0168】
このように、差が閾値D以下である場合には、表示レンジの上限値MAX及び下限値MINが、第1コントラスト代表値Caと第2コントラスト代表値Cbとの平均値に基づいて決定される。また、表示レンジの上限値MAXは、平均値と第3補正値とに基づいて決定され、表示レンジの下限値MINは、平均値と第4補正値とに基づいて決定される。
【0169】
なお、第3補正値B3及び第4補正値B4は、予め得られた第1コントラストマップ142A及び第2コントラストマップ142Bに含まれるノイズの量に基づいて任意に決定されてもよい。例えば、ノイズの量が多いほど第3補正値B3及び第4補正値B4を大きくしてもよく、ノイズの量が少ないほど第3補正値B3及び第4補正値B4を小さくしてもよい。第3補正値B3及び第4補正値B4は、例えば、0.03に設定されてもよい。第3補正値B3と第4補正値B4とは、同じ値でもよく、互いに異なる値でもよい。また、第1補正値B1、第2補正値B2、第3補正値B3、及び第4補正値B4は、どのような値の組み合わせでもよい。第3補正値B3は、本開示の技術に係る「第3補正値」の一例であり、第4補正値B4は、本開示の技術に係る「第4補正値」の一例である。
【0170】
このように、表示レンジは、差と閾値Dとの関係に基づいて、第1表示レンジ及び第2表示レンジのうちのどちらが選択されることにより決定される。なお、ここでは、第1表示レンジ及び第2表示レンジから表示レンジが選択される例が挙げられているが、3つ以上の表示レンジから表示レンジが選択されてもよい。以上の要領により、第1画像データ140A及び第2画像データ140Bに基づいて、表示レンジが決定される。
【0171】
一例として
図18に示すように、表示制御部162は、画像データ取得部160によって取得された画像データ140と、表示レンジ決定部161によって決定された表示レンジとを取得する。そして、表示制御部162は、取得した表示レンジで画像データ140を表示装置122に表示させる制御を行う。これにより、表示レンジ決定部161によって決定された表示レンジで、第1被写体200Aを含む第1コントラストマップ142Aと、第2被写体200Bを含む第2コントラストマップ142Bとが、表示装置122に表示される。
【0172】
このようにして表示レンジ決定処理において表示レンジが決定された後に実行される検査処理では、検査対象である新たな被写体200が撮像されることにより撮像データ70が取得され、取得された撮像データ70に基づいて、上述の検査処理の各段階(
図9及び
図10参照)を経て画像データ140が取得される。
【0173】
そして、一例として
図19に示すように、表示レンジ決定処理において表示レンジが決定された後に実行される検査処理では、表示制御部112は、画像データ取得部110によって取得された画像データ140と、表示レンジ決定部161によって決定された表示レンジとを取得し、取得した表示レンジで、画像データ140を表示装置122に表示させる制御を行う。これにより、表示レンジ決定部161によって決定された表示レンジで、検査対象である新たな被写体200を含むコントラストマップ142が表示装置122に表示される。
【0174】
表示レンジ決定処理において表示レンジが決定された後に実行される検査処理において、撮像装置10によって撮像される新たな被写体200は、本開示の技術に係る「第3被写体」の一例であり、新たな被写体200に対応するコントラストマップ142に含まれる各画像画素に対応するコントラストCは、本開示の技術に係る「第3指標」の一例である。また、表示レンジ決定処理において表示レンジが決定された後に実行される検査処理において、撮像データ取得部102によって取得される撮像データ70は、本開示の技術に係る「第2撮像データ」の一例であり、画像データ取得部110によって取得される画像データ140は、本開示の技術に係る「第2画像データ」の一例である。
【0175】
なお、上記説明では、画像データ140について、表示レンジが決定される例が挙げられているが、表示レンジ以外の表示条件が決定されてもよい。また、上記説明では、第1コントラスト代表値Caと第2コントラスト代表値Cbとの差に基づいて、表示レンジが決定されるが、第1コントラスト代表値Caと第2コントラスト代表値Cbとの差以外に、第1被写体200Aと第2被写体200Bとの関係に基づいて、表示レンジが決定されてもよい。また、この場合の第1被写体200Aと第2被写体200Bとの関係は、例えば、第1被写体200A及び第2被写体200Bの種類等の属性を含んでいてもよいし、第1被写体200A及び第2被写体200Bの照明条件等の撮像条件を含んでいてもよい。
【0176】
また、上記説明では、コントラストマップ画像144内における第1被写体200Aと第2被写体200Bとの関係に基づいて、表示レンジが決定されるが、撮像装置10によって過去に撮像された被写体に対する第1被写体200Aと第2被写体200Bとの関係(すなわち、実物同士を比較した関係)に基づいて、表示レンジが決定されてもよい。また、この場合の過去に撮像された被写体は、第1被写体200Aと同じ種類の第3被写体と、第2被写体200Bと同じ種類の第4被写体とを含んでいてもよい。そして、第1被写体200Aと第3被写体との関係、及び/又は、第2被写体200Bと第4被写体との関係に基づいて、表示レンジが決定されてもよい。
【0177】
次に、第1実施形態に係る検査システム130の作用について説明する。先ず、第1実施形態に係る撮像装置10で実行されるスペクトル画像生成処理について説明する。
図20には、第1実施形態に係るスペクトル画像生成処理の流れの一例を示す。
【0178】
図20に示すスペクトル画像生成処理では、先ず、ステップST10で、出力値取得部82は、イメージセンサ28から出力された撮像データ70に基づいて、各物理画素44の出力値Yを取得する(
図7参照)。ステップST10の処理が実行された後、スペクトル画像生成処理は、ステップST12へ移行する。
【0179】
ステップST12で、混信除去処理部84は、ストレージ62に記憶されている混信除去行列A
+と、ステップST10で取得された各物理画素44の出力値Yとを取得し、取得した混信除去行列A
+と各物理画素44の出力値Yとに基づいて、各画像画素の画素値Xを出力する(
図7参照)。ステップST12で混信除去処理が実行されることにより、撮像データ70が、第1波長域偏光の輝度値X
λ1に対応するスペクトル画像データ72Aと、第2波長域偏光の輝度値X
λ2に対応するスペクトル画像データ72Bと、第3波長域偏光の輝度値X
λ3に対応するスペクトル画像データ72Cとに分離される。ステップST12の処理が実行された後、スペクトル画像生成処理は終了する。
【0180】
続いて、第1実施形態に係る処理装置90で実行される表示レンジ決定処理について説明する。
図21には、第1実施形態に係る表示レンジ決定処理の流れの一例を示す。
【0181】
図21に示す表示レンジ決定処理では、先ず、ステップST20で、撮像データ取得部152は、撮像装置10で撮像された第1被写体200Aに対応する第1撮像データ70Aと、撮像装置10で撮像された第2被写体200Bに対応する第2撮像データ70Bとを含む撮像データ70を取得する(
図15参照)。ステップST20の処理が実行された後、表示レンジ決定処理は、ステップST22へ移行する。
【0182】
ステップST22で、波長帯域選択部154は、ステップST20で取得された第1撮像データ70A及び第2撮像データ70Bについて、複数のスペクトル画像データ72のうちの2つのスペクトル画像データ72を選択する(
図16参照)。ステップST22の処理が実行された後、表示レンジ決定処理は、ステップST24へ移行する。
【0183】
ステップST24で、画像処理部156は、ステップST22で選択された2つのスペクトル画像データ72を含む第1撮像データ70Aを取得し、第1撮像データ70Aによって示される第1撮像画像74Aに対して画像処理を実行する(
図16参照)。また、画像処理部156は、ステップST22で選択された2つのスペクトル画像データ72を含む第2撮像データ70Bを取得し、第2撮像データ70Bによって示される第2撮像画像74Bに対して画像処理を実行する(
図16参照)。ステップST24の処理が実行された後、表示レンジ決定処理は、ステップST26へ移行する。
【0184】
ステップST26で、画像領域選択部158は、ステップST24で画像処理が実行された第1撮像画像74Aから第1画像領域76Aを選択する(
図17参照)。また、画像領域選択部158は、ステップST24で画像処理が実行された第2撮像画像74Bから第2画像領域76Bを選択する(
図17参照)。ステップST26の処理が実行された後、表示レンジ決定処理は、ステップST28へ移行する。
【0185】
ステップST28で、画像データ取得部160は、ステップST26で第1画像領域76Aが選択された第1撮像データ70Aから、第1コントラストマップ142Aを表す第1画像データ140Aを取得する(
図17参照)。また、画像データ取得部160は、ステップST26で第2画像領域76Bが選択された第2撮像データ70Bから、第2コントラストマップ142Bを表す第2画像データ140Bを取得する(
図17参照)。ステップST28の処理が実行された後、表示レンジ決定処理は、ステップST30へ移行する。
【0186】
ステップST30で、表示レンジ決定部161は、ステップST28で取得された第1画像データ140A及び第2画像データ140Bに基づいて、表示レンジを決定する(
図17参照)。ステップST30の処理が実行された後、表示レンジ決定処理は、ステップST32へ移行する。
【0187】
ステップST32で、表示制御部162は、ステップST28で取得された第1画像データ140A及び第2画像データ140Bを含む画像データ140と、ステップST30によって決定された表示レンジとを取得し、取得した表示レンジで、画像データ140を表示装置122に表示させる制御を行う(
図18参照)。これにより、ステップST30によって決定された表示レンジで、第1被写体200Aを含む第1コントラストマップ142Aと第2被写体200Bを含む第2コントラストマップ142Bとが表示装置122に表示される。ステップST32の処理が実行された後、表示レンジ決定処理は終了する。なお、上述の表示レンジ決定処理によって実行される表示レンジ決定方法は、本開示の技術に係る「表示条件決定方法」の一例である。
【0188】
続いて、第1実施形態に係る処理装置90で実行される検査処理について説明する。
図22には、第1実施形態に係る検査処理の流れの一例を示す。
【0189】
図22に示す検査処理では、先ず、ステップST40で、撮像データ取得部102は、撮像装置10で撮像された被写体200に対応する撮像データ70を取得する(
図9参照)。ステップST40の処理が実行された後、検査処理は、ステップST42へ移行する。
【0190】
ステップST42で、波長帯域選択部104は、ステップST40で取得された撮像データ70に含まれる複数のスペクトル画像データ72のうちの2つのスペクトル画像データ72を選択する(
図9参照)。ステップST42の処理が実行された後、検査処理は、ステップST44へ移行する。
【0191】
ステップST44で、画像処理部106は、ステップST42で選択された2つのスペクトル画像データ72を含む撮像データ70を取得し、撮像データ70によって示される撮像画像74に対して画像処理を実行する(
図9参照)。ステップST44の処理が実行された後、検査処理は、ステップST46へ移行する。
【0192】
ステップST46で、画像領域選択部108は、ステップST44で画像処理が実行された撮像画像74から画像領域76を選択する(
図10参照)。ステップST46の処理が実行された後、検査処理は、ステップST48へ移行する。
【0193】
ステップST48で、画像データ取得部110は、ステップST46で画像領域76が選択された撮像データ70から、コントラストマップ142を表す画像データ140を取得する(
図10及び
図19参照)。ステップST48の処理が実行された後、検査処理は、ステップST50へ移行する。
【0194】
ステップST50で、表示制御部112は、ステップST48で取得された画像データ140と、ステップST30によって決定された表示レンジとを取得し、取得した表示レンジで、画像データ140を表示装置122に表示させる制御を行う(
図19参照)。これにより、ステップST30によって決定された表示レンジで、被写体200を含むコントラストマップ142が表示装置122に表示される。ステップST50の処理が実行された後、検査処理は終了する。なお、上述の検査処理によって実行される検査方法は、本開示の技術に係る「検査方法」の一例である。また、ステップST30によって決定された表示レンジで、被写体200を含むコントラストマップ142を表示装置122に表示させる画像表示方法は、本開示の技術に係る「画像表示方法」の一例である。
【0195】
次に、第1実施形態の効果について説明する。
【0196】
以上説明した通り、第1実施形態に係る処理装置90では、プロセッサ94は、撮像装置10で撮像された第1被写体200A及び第2被写体200Bを含む撮像データ70を取得し、撮像データ70から、第1被写体200Aに対応する第1コントラストマップ142Aを表す第1画像データ140Aと、第2被写体200Bに対応する第2コントラストマップ142Bを表す第2画像データ140Bとを含む画像データ140を取得する。そして、プロセッサ94は、第1コントラストマップ142Aに含まれる第1コントラスト代表値Caと、第2コントラストマップ142Bに含まれる第2コントラスト代表値Cbとの差に基づいて、画像データ140の表示レンジを決定する。したがって、例えば、表示レンジが予め定められた表示レンジに固定されている場合、又は、第1被写体200Aと第2被写体200Bとの関係に関わらずに表示レンジが決定される場合に比して、第1被写体200Aと第2被写体200Bとの差を判別することができる。これにより、検査処理では、被写体200の良否を判別することができる。
【0197】
また、上述の第1コントラスト代表値Caと第2コントラスト代表値Cbとの差は、ノイズを含んだ状態でのコントラストマップ画像144内における第1被写体200Aと第2被写体200Bとの関係を示すものである。したがって、コントラストマップ画像144がノイズを含んでいても、表示レンジが第1コントラスト代表値Caと第2コントラスト代表値Cbとの差に対応する表示レンジに決定されることにより、第1被写体200Aと第2被写体200Bとの差を判別することができる。
【0198】
また、画像データ140は、2つの波長帯域λの光の輝度のコントラストCに基づいて生成される。したがって、2つの波長帯域λの光の輝度のコントラストCに基づいて、第1被写体200Aと第2被写体200Bとの差を判別することができる。
【0199】
また、2つの波長帯域λは、第1被写体200A及び第2被写体200Bの属性に基づいて選択される。したがって、第1被写体200A及び第2被写体200Bの属性に対応するコントラストマップ画像144を得ることができる。
【0200】
また、2つの波長帯域λは、第1被写体200A及び第2被写体200Bの撮像条件に基づいて選択される。したがって、第1被写体200A及び第2被写体200Bの撮像条件に対応するコントラストマップ画像144を得ることができる。
【0201】
また、コントラストマップ画像144は、画像処理及び/又は演算処理が実行された画像である。したがって、コントラストマップ画像144に対して画像処理及び/演算処理が実行されていない場合に比して、第1被写体200Aと第2被写体200Bとの差に関する視認性を高めることができる。
【0202】
また、表示レンジは、第1コントラスト代表値Caと第2コントラスト代表値Cbとの差の大きさに基づいて、第1表示レンジ及び第2表示レンジから選択される。したがって、表示レンジを、第1コントラスト代表値Caと第2コントラスト代表値Cbとの差の大きさに対応する表示レンジに決定することができる。
【0203】
[第2実施形態]
次に、本開示の技術の第2実施形態について説明する。
【0204】
一例として
図23に示すように、第2実施形態では、プロセッサ94は、上述の検査処理及び/又は表示レンジ決定処理を実行する場合に、ヒストグラム生成処理を実行する。ヒストグラム生成処理は、例えば、上述の検査処理及び/又は表示レンジ決定処理に対して割り込み処理で実行される。ヒストグラム生成処理は、プロセッサ94が、画像領域選択部172、スライダ生成部174、ヒストグラム生成部176、及び表示制御部178として動作することで実現される。
【0205】
なお、以下の説明における撮像画像74とは、検査処理において取得される撮像画像74、表示レンジ決定処理において取得される第1撮像画像74A、及び表示レンジ決定処理において取得される第2撮像画像74Bのうちの何れかのことを指す。
【0206】
また、以下の説明における被写体200とは、検査処理における被写体200、表示レンジ決定処理における第1被写体200A、及び表示レンジ決定処理における第2被写体200Bのうちの何れかのことを指す。
【0207】
スライダ生成部174は、表示装置122に表示されるスライダ180を示す画像データを生成する。スライダ180は、表示装置122に表示される。スライダ180は、画像領域選択部172によって選択される画像領域76の大きさを指示するためのGUIである。スライダ180は、ガイドバー182と、スライドバー184とを有する。
【0208】
受付装置124によってユーザからのスライダ180を操作する指示(すなわち、スライドバー184の位置を変更する指示)が受け付けられると、受付装置124によって受け付けられた指示に対応するユーザ指示が受付装置124から画像領域選択部172、スライダ生成部174、及びヒストグラム生成部176に出力される。
【0209】
スライダ生成部174は、ユーザ指示に従って、スライダ180を示す画像データを生成する。すなわち、ユーザ指示に対応する位置にスライドバー184の位置が変更されたスライダ180を示す画像データを生成する。
【0210】
画像領域選択部172は、ユーザ指示に従って、画像領域76を選択する。例えば、スライドバー184の位置が「大」の側に変更されると、スライドバー184の位置に応じて画像領域76の選択範囲が拡大され、スライドバー184の位置が「小」の側に変更されると、スライドバー184の位置に応じて画像領域76の選択範囲が縮小される。そして、画像領域選択部172は、画像領域76を示す画像データを生成する。
【0211】
ヒストグラム生成部176は、ユーザ指示に従って、画像領域76に関するヒストグラム186を示す画像データを生成する。ヒストグラム186を示す画像データは、本開示の技術に係る「ヒストグラムデータ」及び「第1ヒストグラムデータ」の一例である。一例として、ヒストグラム186は、画像領域76に含まれる各画像画素のコントラストCの割合に関するヒストグラムであり、具体的には、コントラストCと頻度との関係を示すヒストグラムである。
【0212】
なお、ここでは、ヒストグラム186の一例として、コントラストCと頻度との関係を示すヒストグラムが生成される例が挙げられているが、コントラストCに関するその他のヒストグラムが生成されてもよい。
【0213】
表示制御部178は、スライダ180を示す画像データと、画像領域76を示す画像データと、ヒストグラム186を示す画像データとを含む表示データ190を生成し、表示データ190を表示装置122に表示させる制御を行う。これにより、画像領域76、スライダ180、及びヒストグラム186を含む画像が表示装置122に表示される。
【0214】
次に、第2実施形態に係る検査システム130の作用について説明する。
図24には、第2実施形態に係るヒストグラム生成処理の流れの一例を示す。
【0215】
図24に示すヒストグラム生成処理では、先ず、ステップST60で、スライダ生成部174は、ユーザ指示に従って、スライダ180を示す画像データを生成する(
図23参照)。ステップST60の処理が実行された後、ヒストグラム生成処理は、ステップST62へ移行する。
【0216】
ステップST62で、画像領域選択部172は、ユーザ指示に従って、画像領域76を選択し、選択した画像領域76を示す画像データを生成する(
図23参照)。ステップST62の処理が実行された後、ヒストグラム生成処理は、ステップST64へ移行する。
【0217】
ステップST64で、ヒストグラム生成部176は、ユーザ指示に従って、画像領域76に関するヒストグラム186を示す画像データを生成する(
図23参照)。ステップST64の処理が実行された後、ヒストグラム生成処理は、ステップST66へ移行する。
【0218】
ステップST66で、表示制御部178は、スライダ180を示す画像データと、画像領域76を示す画像データと、ヒストグラム186を示す画像データとを含む表示データ190を生成し、表示データ190を表示装置122に表示させる制御を行う(
図23参照)。これにより、画像領域76、スライダ180、及びヒストグラム186を含む画像が表示装置122に表示される。ステップST66の処理が実行された後、ヒストグラム生成処理は終了する。
【0219】
以上説明した通り、第2実施形態に係る処理装置90では、プロセッサ94は、ユーザ指示に従って選択された画像領域76について、各画像画素のコントラストCと頻度との関係を示すヒストグラム186を示す画像データを生成し、生成した画像データを表示装置122に出力する。したがって、表示装置122にヒストグラム186が表示されることにより、ユーザが、選択した画像領域76について、各画像画素のコントラストCの割合、ひいては、被写体200における良否の領域の割合を把握することができる。
【0220】
なお、第2実施形態では、撮像画像74に含まれるスペクトル画像から画像領域76が選択され、選択された画像領域76に関するヒストグラム186が生成されてもよい。また、この場合に、ヒストグラム186は、被写体200から発せられた光の波長成分の輝度の割合(すなわち、スペクトル画像に含まれる各画像画素の輝度の割合)を示すヒストグラムでもよい。輝度の割合を示すヒストグラムデータは、本開示の技術に係る「第2ヒストグラムデータ」の一例である。このように構成されていると、表示装置122にヒストグラム186が表示されることにより、ユーザが、選択した画像領域76について、被写体200から発せられた光の波長成分の輝度の割合を把握することができる。
【0221】
[第3実施形態]
次に、本開示の技術の第3実施形態について説明する。
【0222】
一般的に、検査システム130の起動直後は、光源132及び/又は撮像装置10の特性が不安定なことがある。つまり、光源132から照射される光の波長毎の強度の差及び/又は光源132の位置に依存する特性(以下、「光源132の特性」と称する)は、経時的に変化する。また、撮像装置10の波長毎の感度の差及び/又は撮像装置10の位置に依存する特性(以下、「撮像装置10の特性」と称する)も、経時的に変化する。これにより、検査システム130の起動後の時間に応じてコントラストCが変化する虞がある。このため、検査システム130の起動後は、撮像装置10に対してキャリブレーションを行う必要が望ましい。なお、光源132及び/又は撮像装置10の特性は、経年劣化に加えて、撮像装置10及び/又は撮影環境の温湿度などによっても経時変化するため、光源132及び/又は撮像装置10の起動時間に応じてキャリブレーションしてもよい。また、起動時間の他に、温湿度変化をトリガーとしてキャリブレーションしてもよい。
【0223】
キャリブレーションは、撮像装置10によって白基準板を撮像し、撮像により得た撮像データに基づいて実行される。キャリブレーションにより、光源132の特性及び撮像装置10の特性が、白基準板を撮像した場合の状態にリセットされる。なお、白基準板が汚れていたり、誤って白基準板以外でキャリブレーションしてしまったりすることを防止するために、キャリブレーション用の白基準板の汚れ及び/又は色不備の有無を検出する検出器を設け、異常が検出された場合には検査システム130から警告を出してもよい。
【0224】
一例として
図25に示すように、第3実施形態では、プロセッサ94は、上述の検査処理及び/又は表示レンジ決定処理を実行する場合に、キャリブレーション更新処理を実行する。キャリブレーション更新処理は、例えば、上述の検査処理及び/又は表示レンジ決定処理に対して割り込み処理で実行される。キャリブレーション更新処理は、プロセッサ94が、第1タイマ212、第2タイマ214、及びキャリブレーション更新部216として動作することで実現される。
【0225】
第1タイマ212は、光源132が連続して点灯している時間(以下、「光源連続点灯時間」と称する)をカウントする。第2タイマ214は、キャリブレーションが実行された後の経過時間(以下、「キャリブレーション後の経過時間」と称する)をカウントする。第1タイマ212及び第2タイマ214は、本開示の技術に係る「複数のタイマ」の一例である。光源連続点灯時間及びキャリブレーション後の経過時間は、本開示の技術に係る「複数のタイマの値」の一例である。
【0226】
ストレージ96には、テーブル218が格納されている。テーブル218は、光源連続点灯時間と、キャリブレーション後の撮像可能時間との関係を規定している。
図25には、光源連続点灯時間及びキャリブレーション後の撮像可能時間について、具体的な数値が示されているが、数値は、あくまでも例示あり、例示した数値以外でもよい。キャリブレーション後の撮像可能時間は、光源132の特性及び/又は撮像装置10の特性が、時間の経過に伴って、検査処理及び/又は表示レンジ決定処理を実行する上での許容範囲の上限値に達する場合の時間に設定される。すなわち、キャリブレーション後の撮像可能時間内であれば、検査処理及び/又は表示レンジ決定処理を、各処理に対応する適切な条件で実行することができる。
【0227】
キャリブレーション更新部216は、光源連続点灯時間と、キャリブレーション後の経過時間とを順次に取得する。続いて、キャリブレーション更新部216は、テーブル218に基づいて、光源連続点灯時間に対応するキャリブレーション後の撮像可能時間を取得する。続いて、キャリブレーション更新部216は、キャリブレーション後の経過時間が、キャリブレーション後の撮像可能時間を超えているか否かを判定する。
【0228】
キャリブレーション更新部216は、キャリブレーション後の経過時間がキャリブレーション後の撮像可能時間を超えている場合には、キャリブレーションの更新に関するキャリブレーション更新データ220を生成する。キャリブレーション更新データ220は、例えば、ユーザに対してキャリブレーションの実行を促すメッセージ等を示すデータである。キャリブレーション更新データ220は、本開示の技術に係る「更新データ」の一例である。
【0229】
そして、キャリブレーション更新部216は、キャリブレーション更新データ220を生成した場合には、キャリブレーション更新データ220を表示装置122に出力する。これにより、ユーザに対してキャリブレーションの実行を促すメッセージ等が表示装置122に表示される。
【0230】
次に、第3実施形態に係る検査システム130の作用について説明する。
図26には、第3実施形態に係るキャリブレーション更新処理の流れの一例を示す。
【0231】
図26に示すキャリブレーション更新処理では、先ず、ステップST70で、キャリブレーション更新部216は、第1タイマ212によってカウントされた光源連続点灯時間を取得する(
図25参照)。ステップST70の処理が実行された後、キャリブレーション更新処理は、ステップST72へ移行する。
【0232】
ステップST72で、キャリブレーション更新部216は、第2タイマ214によってカウントされたキャリブレーション後の経過時間を取得する(
図25参照)。ステップST70の処理が実行された後、キャリブレーション更新処理は、ステップST72へ移行する。
【0233】
ステップST74で、キャリブレーション更新部216は、テーブル218に基づいて、ステップST70で取得した光源連続点灯時間に対応するキャリブレーション後の撮像可能時間を取得する(
図25参照)。ステップST74の処理が実行された後、キャリブレーション更新処理は、ステップST76へ移行する。
【0234】
ステップST76で、キャリブレーション更新部216は、ステップST72で取得したキャリブレーション後の経過時間が、ステップST74で取得したキャリブレーション後の撮像可能時間を超えているか否かを判定する(
図25参照)。ステップST76において、キャリブレーション後の経過時間が、キャリブレーション後の撮像可能時間を超えている場合には、判定が肯定されて、キャリブレーション更新処理はステップST78に移行する。ステップST76において、キャリブレーション後の経過時間が、キャリブレーション後の撮像可能時間を超えていない場合には、判定が否定されて、キャリブレーション更新処理はステップST70に移行する。
【0235】
ステップST78で、キャリブレーション更新部216は、キャリブレーション更新データ220を生成する(
図25参照)。ステップST78の処理が実行された後、キャリブレーション更新処理は、ステップST80へ移行する。
【0236】
ステップST80で、キャリブレーション更新部216は、キャリブレーション更新データ220を表示装置122に出力する(
図25参照)。これにより、ユーザに対してキャリブレーションの実行を促すメッセージ等が表示装置122に表示される。ステップST80の処理が実行された後、キャリブレーション更新処理は、ステップST82へ移行する。
【0237】
ステップST82で、プロセッサ94は、キャリブレーション更新処理を終了する条件(以下、「終了条件」と称する)が成立したか否かを判定する。終了条件としては、検査処理及び/又は表示レンジ決定処理が終了したという条件が挙げられる。終了条件が成立していない場合には、キャリブレーション更新処理は、ステップST70へ移行する。終了条件が成立した場合には、キャリブレーション更新処理は終了する。
【0238】
以上説明した通り、第3実施形態に係る処理装置90では、プロセッサ94は、第1タイマ212によってカウントされた光源連続点灯時間と、第2タイマ214によってカウントされたキャリブレーション後の経過時間とを取得し、光源連続点灯時間とキャリブレーション後の経過時間とに基づいて、キャリブレーションの更新に関するキャリブレーション更新データ220を表示装置122に出力する。したがって、表示装置122に表示されたメッセージ等に基づいてユーザが撮像装置10に対してキャリブレーションを実行することにより、キャリブレーションが実行されない場合に比して、2つの波長帯域λの光の輝度に対する測定精度を向上させることができる。
【0239】
なお、上記第1実施形態から第3実施形態において説明した複数の技術のうち組み合わせ可能な技術は、適宜組み合わされてもよい。
【0240】
また、上記実施形態では、撮像装置10について、プロセッサ60を例示したが、プロセッサ60に代えて、又は、プロセッサ60と共に、他の少なくとも1つのCPU、少なくとも1つのGPU、及び/又は、少なくとも1つのTPUを用いるようにしてもよい。
【0241】
また、上記実施形態では、処理装置90について、プロセッサ94を例示したが、プロセッサ94に代えて、又は、プロセッサ94と共に、他の少なくとも1つのCPU、少なくとも1つのGPU、及び/又は、少なくとも1つのTPUを用いるようにしてもよい。
【0242】
また、上記実施形態では、処理装置90のストレージ96に検査プログラム100及び表示レンジ決定プログラム150が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像装置10のストレージ62に検査プログラム100及び/又は表示レンジ決定プログラム150が記憶され、撮像装置10のプロセッサ60によって検査プログラム100及び/又は表示レンジ決定プログラム150が実行されてもよい。
【0243】
また、上記実施形態では、撮像装置10について、ストレージ62にスペクトル画像生成プログラム80が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、スペクトル画像生成プログラム80がSSD又はUSBメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体(以下、単に「非一時的記憶媒体」と称する)に記憶されていてもよい。非一時的記憶媒体に記憶されているスペクトル画像生成プログラム80は、撮像装置10のコンピュータ56にインストールされてもよい。
【0244】
また、ネットワークを介して撮像装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置にスペクトル画像生成プログラム80を記憶させておき、撮像装置10の要求に応じてスペクトル画像生成プログラム80がダウンロードされ、撮像装置10のコンピュータ56にインストールされてもよい。
【0245】
また、撮像装置10に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ62にスペクトル画像生成プログラム80の全てを記憶させておく必要はなく、スペクトル画像生成プログラム80の一部を記憶させておいてもよい。
【0246】
また、上記実施形態では、処理装置90について、ストレージ96に検査プログラム100及び表示レンジ決定プログラム150が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、検査プログラム100及び/又は表示レンジ決定プログラム150が非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている検査プログラム100及び/又は表示レンジ決定プログラム150は、処理装置90のコンピュータ92にインストールされてもよい。
【0247】
また、ネットワークを介して処理装置90に接続される他のコンピュータ又はサーバ装置等の記憶装置に検査プログラム100及び/又は表示レンジ決定プログラム150を記憶させておき、処理装置90の要求に応じて検査プログラム100及び/又は表示レンジ決定プログラム150がダウンロードされ、処理装置90のコンピュータ92にインストールされてもよい。
【0248】
また、処理装置90に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ96に検査プログラム100及び/又は表示レンジ決定プログラム150の全てを記憶させておく必要はなく、検査プログラム100及び/又は表示レンジ決定プログラム150の一部を記憶させておいてもよい。
【0249】
また、撮像装置10には、コンピュータ56が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ56が撮像装置10の外部に設けられるようにしてもよい。
【0250】
また、処理装置90には、コンピュータ92が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ92が処理装置90の外部に設けられるようにしてもよい。
【0251】
また、上記実施形態では、撮像装置10について、プロセッサ60、ストレージ62、及びRAM64を含むコンピュータ56が例示されているが、本開示の技術はこれに限定されず、コンピュータ56に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ56に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0252】
また、上記実施形態では、処理装置90について、プロセッサ94、ストレージ96、及びRAM98を含むコンピュータ92が例示されているが、本開示の技術はこれに限定されず、コンピュータ92に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ92に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0253】
また、上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
【0254】
各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、各種処理を実行するハードウェア資源は1つのプロセッサであってもよい。
【0255】
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
【0256】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の視線検出処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0257】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0258】
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
【0259】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【0260】
上記実施形態に関して、以下の付記を開示する。
(付記1)
第1態様から第37態様の何れか一つの態様に係る表示条件決定方法によって決定された表示条件で第1画像データを表示すること
を備える画像表示方法。
(付記2)
分光撮像装置によって第3被写体を撮像することで第2撮像データを取得すること、
第2撮像データに基づいて、第3被写体に対応する第3指標を示す第2画像データを取得すること、及び、
第1態様から第37態様の何れか一つの態様に係る表示条件決定方法によって決定された表示条件で第2画像データを表示すること
を備える画像表示方法。
【符号の説明】
【0261】
10 撮像装置
10A 入射部
12 レンズ装置
14 撮像装置ボディ
16 瞳分割フィルタ
18 枠体
20 分光フィルタ
22 偏光フィルタ
24 開口
26 光学系
28 イメージセンサ
30 第1レンズ
32 第2レンズ
34 光電変換素子
34A 受光面
36 信号処理回路
38 画素層
40 偏光フィルタ層
42 分光フィルタ層
44 物理画素
46 画素ブロック
48 偏光子
50A Bフィルタ
50B Gフィルタ
50C Rフィルタ
52 制御ドライバ
54 入出力I/F
56 コンピュータ
58 通信装置
60 プロセッサ
62 ストレージ
64 RAM
66 バス
70 撮像データ
70A 第1撮像データ
70B 第2撮像データ
72 スペクトル画像データ
74 撮像画像
74A 第1撮像画像
74B 第2撮像画像
76 画像領域
76A 第1画像領域
76B 第2画像領域
80 スペクトル画像生成プログラム
82 出力値取得部
84 混信除去処理部
90 処理装置
92 コンピュータ
94 プロセッサ
96 ストレージ
98 RAM
100 検査プログラム
102 撮像データ取得部
104 波長帯域選択部
106 画像処理部
108 画像領域選択部
110 画像データ取得部
112 表示制御部
122 表示装置
124 受付装置
130 検査システム
132 光源
134 筐体
134A 天井部
134B 底部
136 撮像空間
140 画像データ
140A 第1画像データ
140B 第2画像データ
142 コントラストマップ
142A 第1コントラストマップ
142B 第2コントラストマップ
144 コントラストマップ画像
150 表示レンジ決定プログラム
152 撮像データ取得部
154 波長帯域選択部
156 画像処理部
158 画像領域選択部
160 画像データ取得部
161 表示レンジ決定部
162 表示制御部
172 画像領域選択部
174 スライダ生成部
176 ヒストグラム生成部
178 表示制御部
180 スライダ
182 ガイドバー
184 スライドバー
186 ヒストグラム
190 表示データ
200 被写体
200A 第1被写体
200B 第2被写体
202 シャーレ
212 第1タイマ
214 第2タイマ
216 キャリブレーション更新部
218 テーブル
220 キャリブレーション更新データ