ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】撮像装置、携帯型端末装置、及び撮像方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20240910BHJP
H04N 23/55 20230101ALI20240910BHJP
H04N 23/73 20230101ALI20240910BHJP
H04N 23/45 20230101ALI20240910BHJP
H04N 25/53 20230101ALI20240910BHJP
G03B 7/093 20210101ALI20240910BHJP
G03B 11/00 20210101ALI20240910BHJP
【ＦＩ】
H04N23/60
H04N23/55
H04N23/73
H04N23/60 500
H04N23/45
H04N25/53
G03B7/093
G03B11/00
【請求項の数】
9
(21)【出願番号】P 2020092970
(22)【出願日】2020-05-28
(65)【公開番号】P2021190785
(43)【公開日】2021-12-13
【審査請求日】2023-03-07
(73)【特許権者】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110000637
【氏名又は名称】弁理士法人樹之下知的財産事務所
(72)【発明者】
【氏名】西村 晃幸
【審査官】村山 絢子
(56)【参考文献】
【文献】特開２０１８－１８２７４１（ＪＰ，Ａ）
【文献】特開２０１４－１２６４９３（ＪＰ，Ａ）
【文献】国際公開第２０１９／０２６６１８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ２５／５３
Ｇ０３Ｂ ７／００－７／３０
Ｇ０３Ｂ １１／００
(57)【特許請求の範囲】
【請求項1】
赤色波長域の光を透過させる赤色カラーフィルター、緑色波長域の光を透過させる緑色カラーフィルター、及び青色波長域の光を透過させる青色カラーフィルターを含むカラーフィルター部と、カラーフィルター部を透過した光を受光する第一受光部とを備え、赤色カラーフィルターを透過した赤色光の階調値、緑色カラーフィルターを透過した緑色光の階調値、及び青色カラーフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する第一カメラと、入射光から所定の分光波長の光を分光し、かつ、前記分光波長を４つ以上に変更可能な分光素子と、前記分光素子により分光された光を受光する第二受光部とを備え、前記分光素子により分光された各波長の分光画像を撮像する第二カメラと、
前記第一カメラの撮像条件である第一撮像条件を設定する第一撮像条件設定部と、
前記第一撮像条件に、補正係数記憶部に記憶された所定の補正係数を乗算して、前記第二カメラの撮像条件である第二撮像条件を設定する第二撮像条件設定部と、
を備え、
前記第一撮像条件、及び、前記第二撮像条件は、露光時間、絞り値、及びＩＳＯ感度を含み、
前記補正係数は、前記露光時間に対する露光補正係数、前記絞り値に対する絞り補正係数、前記ＩＳＯ感度に対するＩＳＯ補正係数を含み、
前記第二撮像条件設定部は、前記第一撮像条件の前記露光時間に露光補正係数を乗算して前記第二撮像条件の前記露光時間を設定し、前記第一撮像条件の前記絞り値に絞り補正係数を乗算して前記第二撮像条件の前記絞り値を設定し、前記第一撮像条件の前記ＩＳＯ感度にＩＳＯ補正係数を乗算して前記第二撮像条件の前記ＩＳＯ感度を設定する、
ことを特徴とする撮像装置。
【請求項2】
請求項１に記載の撮像装置において、前記第二撮像条件設定部は、前記分光素子で変更可能な各前記分光波長に対してそれぞれ設定された前記補正係数に基づいて、前記分光波長毎の前記第二撮像条件を設定する
ことを特徴とする撮像装置。
【請求項3】
請求項１または請求項２に記載の撮像装置において、前記補正係数は、前記分光素子の各波長に対する透過率を示す分光特性、及び前記第二受光部の各波長に対する受光感度を示す受光感度特性を乗算したカメラ光学特性に基づいて設定されている
ことを特徴とする撮像装置。
【請求項4】
請求項３に記載の撮像装置において、前記補正係数は、前記カメラ光学特性の特性値の最大値に基づいて設定されている
ことを特徴とする撮像装置。
【請求項5】
請求項３に記載の撮像装置において、前記補正係数は、前記カメラ光学特性の特性値の最小値に基づいて設定されている
ことを特徴とする撮像装置。
【請求項6】
請求項１から請求項５のいずれか１項に記載の撮像装置において、前記第二撮像条件により前記第二カメラで対象物を撮像した前記分光画像を評価する画像評価部と、
前記補正係数を記憶する補正係数記録部と、
前記画像評価部による評価結果に基づいて、前記補正係数記録部に記憶された前記補正係数を更新する補正係数更新部と、をさらに備える
ことを特徴とする撮像装置。
【請求項7】
請求項１または請求項２に記載の撮像装置において、前記第二撮像条件により前記第二カメラで対象物を撮像した前記分光画像を評価する画像評価部と、
前記第一撮像条件、前記補正係数、及び当該補正係数を用いて設定された前記第二撮像条件で撮像された前記分光画像に対する前記画像評価部の評価結果を教師データとして、前記第一撮像条件を入力とし、前記補正係数を出力とした補正係数出力モデルを生成するモデル生成部と、を備え、
前記第二撮像条件設定部は、前記第一撮像条件を前記補正係数出力モデルに入力することで前記補正係数を取得し、前記補正係数に基づいて前記第二撮像条件を設定する
ことを特徴とする撮像装置。
【請求項8】
請求項１から請求項７のいずれか１項に記載の撮像装置と、前記撮像装置が組み込まれた筐体と、
を備えることを特徴とする携帯型端末装置。
【請求項9】
赤色波長域の光を透過させる赤色カラーフィルター、緑色波長域の光を透過させる緑色カラーフィルター、及び青色波長域の光を透過させる青色カラーフィルターを含むカラーフィルター部と、カラーフィルター部を透過した光を受光する第一受光部とを備え、赤色カラーフィルターを透過した赤色光の階調値、緑色カラーフィルターを透過した緑色光の階調値、及び青色カラーフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する第一カメラと、入射光から所定の分光波長の光を分光し、かつ、前記分光波長を４つ以上に変更可能な分光素子と、前記分光素子により分光された光を受光する第二受光部とを備え、前記分光素子により分光された各波長の分光画像を撮像する第二カメラと、を備えた撮像装置の撮像方法であって、前記第一カメラの撮像条件である第一撮像条件を設定する第一撮像条件設定ステップと、
前記第一撮像条件に、補正係数記憶部に記憶された所定の補正係数を乗算して、前記第二カメラの撮像条件である第二撮像条件を設定する第二撮像条件設定ステップと、
を実施し、
前記第一撮像条件、及び、前記第二撮像条件は、露光時間、絞り値、及びＩＳＯ感度を含み、
前記補正係数は、前記露光時間に対する露光補正係数、前記絞り値に対する絞り補正係数、前記ＩＳＯ感度に対するＩＳＯ補正係数を含み、
前記第二撮像条件設定ステップでは、前記第一撮像条件の前記露光時間に露光補正係数を乗算して前記第二撮像条件の前記露光時間を設定し、前記第一撮像条件の前記絞り値に絞り補正係数を乗算して前記第二撮像条件の前記絞り値を設定し、前記第一撮像条件の前記ＩＳＯ感度にＩＳＯ補正係数を乗算して前記第二撮像条件の前記ＩＳＯ感度を設定する、ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、携帯型端末装置、及び撮像方法に関する。
【背景技術】
【0002】
従来、カラー画像を撮像するＲＧＢカメラと、分光画像を撮像する分光カメラとを備えた撮像装置が知られている（例えば、特許文献１参照）。
特許文献１に記載の撮像装置は、ＲＧＢカメラであるＲＧＢセンサーと、分光カメラであるＮＩＲセンサーとを備えた撮像システムである。このような撮像システムでは、ＲＧＢセンサーで撮像したカラー画像に対して、ＮＩＲセンサーで撮像した分光画像を重ねて表示することができる。
特許文献１に記載の撮像装置は、ＲＧＢカメラであるＲＧＢセンサーと、分光カメラであるＮＩＲセンサーとを備えた撮像システムである。このような撮像システムでは、ＲＧＢセンサーで撮像したカラー画像に対して、ＮＩＲセンサーで撮像した分光画像を重ねて表示することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１５－５０２０５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載のような、ＲＧＢカメラと分光カメラとを備える撮像装置では、通常、ＲＧＢカメラの撮像条件と、分光カメラの撮像条件とを、それぞれ個別に設定する必要があり、利便性が損なわれるとの課題があった。
特に、分光カメラの撮像条件を設定するためには、分光カメラで所定の較正対象物を、複数の波長で撮像し、撮像により得られる各分光画像に基づいて、各波長に対する撮像条件をそれぞれ設定する必要があり、撮像条件の設定作業が煩雑であり、かつ、ユーザーも専門の知識を有する必要がある、との課題があった。
特に、分光カメラの撮像条件を設定するためには、分光カメラで所定の較正対象物を、複数の波長で撮像し、撮像により得られる各分光画像に基づいて、各波長に対する撮像条件をそれぞれ設定する必要があり、撮像条件の設定作業が煩雑であり、かつ、ユーザーも専門の知識を有する必要がある、との課題があった。
【課題を解決するための手段】
【0005】
第一態様の撮像装置は、赤色波長域の光を透過させる赤色カラーフィルター、緑色波長域の光を透過させる緑色カラーフィルター、及び青色波長域の光を透過させる青色カラーフィルターを含むカラーフィルター部と、カラーフィルター部を透過した光を受光する第一受光部とを備え、赤色カラーフィルターを透過した赤色光の階調値、緑色カラーフィルターを透過した緑色光の階調値、及び青色カラーフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する第一カメラと、入射光から所定の分光波長の光を分光し、かつ、前記分光波長を４つ以上に変更可能な分光素子と、前記分光素子により分光された光を受光する第二受光部とを備え、前記分光素子により分光された各波長の分光画像を撮像する第二カメラと、前記第一カメラの撮像条件である第一撮像条件を設定する第一撮像条件設定部と、前記第一撮像条件に基づいて、前記第二カメラの撮像条件である第二撮像条件を設定する第二撮像条件設定部と、を備える。
【0006】
第二態様の携帯型端末装置は、上述したような第一態様の撮像装置と、前記撮像装置が組み込まれた筐体と、を備えることを特徴とする。
【0007】
第三態様の撮像方法は、赤色波長域の光を透過させる赤色カラーフィルター、緑色波長域の光を透過させる緑色カラーフィルター、及び青色波長域の光を透過させる青色カラーフィルターを含むカラーフィルター部と、カラーフィルター部を透過した光を受光する第一受光部とを備え、赤色カラーフィルターを透過した赤色光の階調値、緑色カラーフィルターを透過した緑色光の階調値、及び青色カラーフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する第一カメラと、入射光から所定の分光波長の光を分光し、かつ、前記分光波長を４つ以上に変更可能な分光素子と、前記分光素子により分光された光を受光する第二受光部とを備え、前記分光素子により分光された各波長の分光画像を撮像する第二カメラと、を備えた撮像装置の撮像方法であって、前記第一カメラの撮像条件である第一撮像条件を設定する第一撮像条件設定ステップと、前記第一撮像条件に基づいて、前記第二カメラの撮像条件である第二撮像条件を設定する第二撮像条件設定ステップと、を実施する。
【図面の簡単な説明】
【0008】
【図1】第一実施形態の電子デバイスの概略構成を示す側断面図。
【図2】第一実施形態の電子デバイスの概略構成を示すブロック図。
【図3】第一実施形態の分光画像の撮像方法を示すフローチャート。
【図4】第一実施形態において、第二受光部の受光感度特性、分光素子の分光特性、及び光源の光源特性と、これらの特性をかけ合わせた第二カメラのカメラ光学特性を示す図。
【図5】第三実施形態の補正係数の概要を示す図。
【図6】第四実施形態の電子デバイスの概略構成を示すブロック図。
【図7】第四実施形態の分光画像の撮像方法を示すフローチャート。
【発明を実施するための形態】
【0009】
［第一実施形態］
以下、第一実施形態について説明する。
図１は、本実施形態の電子デバイス１の一例を示す図であり、電子デバイス１の概略構成を示す側断面図である。図２は、電子デバイス１の概略構成を示すブロック図である。
この電子デバイス１は、ユーザーが携帯可能な携帯型端末装置であり、例えば、スマートフォンやタブレット端末、携帯電話、ヘッドマウントディスプレイ等を例示することができる。
本実施形態では、電子デバイス１の一例として、スマートフォンを例示する。電子デバイス１は、図１に示すように、筐体１０と、筐体１０の内部に配置される第一カメラ２１と、第二カメラ２２と、制御部３０（図２参照）と、を備えている。第一カメラ２１、第二カメラ２２、及び制御部３０により、本開示の撮像装置が構成される。
筐体１０は、例えば薄型箱状に形成されており、一面側に、画像を表示するとともに、ユーザーからの入力操作を受け付けるタッチパネル１１が設けられている。なお、電子デバイス１は、タッチパネル１１の他、ユーザーからの入力操作を受け付ける入力ボタン等を備えてもよい。
また、筐体１０のタッチパネル１１が設けられる面とは反対側の面には、第一窓１２及び第二窓１３が設けられている。第一窓１２は、第一カメラ２１に対向して設けられ、第二窓１３は、第二カメラ２２に対向して設けられている。
さらに、電子デバイス１は、第一カメラ２１及び第二カメラ２２で対象物を撮像するときに、対象物に対して照明光を照射する光源等を備えていてもよく、第一カメラ２１による撮像条件である第一撮像条件を自動設定するための光量検出センサー等が設けられていてもよい。
以下、第一実施形態について説明する。
図１は、本実施形態の電子デバイス１の一例を示す図であり、電子デバイス１の概略構成を示す側断面図である。図２は、電子デバイス１の概略構成を示すブロック図である。
この電子デバイス１は、ユーザーが携帯可能な携帯型端末装置であり、例えば、スマートフォンやタブレット端末、携帯電話、ヘッドマウントディスプレイ等を例示することができる。
本実施形態では、電子デバイス１の一例として、スマートフォンを例示する。電子デバイス１は、図１に示すように、筐体１０と、筐体１０の内部に配置される第一カメラ２１と、第二カメラ２２と、制御部３０（図２参照）と、を備えている。第一カメラ２１、第二カメラ２２、及び制御部３０により、本開示の撮像装置が構成される。
筐体１０は、例えば薄型箱状に形成されており、一面側に、画像を表示するとともに、ユーザーからの入力操作を受け付けるタッチパネル１１が設けられている。なお、電子デバイス１は、タッチパネル１１の他、ユーザーからの入力操作を受け付ける入力ボタン等を備えてもよい。
また、筐体１０のタッチパネル１１が設けられる面とは反対側の面には、第一窓１２及び第二窓１３が設けられている。第一窓１２は、第一カメラ２１に対向して設けられ、第二窓１３は、第二カメラ２２に対向して設けられている。
さらに、電子デバイス１は、第一カメラ２１及び第二カメラ２２で対象物を撮像するときに、対象物に対して照明光を照射する光源等を備えていてもよく、第一カメラ２１による撮像条件である第一撮像条件を自動設定するための光量検出センサー等が設けられていてもよい。
【0010】
［第一カメラ２１及び第二カメラ２２の構成］
第一カメラ２１は、第一窓１２に対向して配置されているＲＧＢカメラである。このＲＧＢカメラは、一般的なスマートフォン等の携帯型端末で広く利用されるカラー画像の撮像用のカメラである。
この第一カメラ２１は、カラーフィルター部２１１と、第一受光部２１２と、第一結像光学系２１３と、を備えている。
第一カメラ２１は、第一窓１２に対向して配置されているＲＧＢカメラである。このＲＧＢカメラは、一般的なスマートフォン等の携帯型端末で広く利用されるカラー画像の撮像用のカメラである。
この第一カメラ２１は、カラーフィルター部２１１と、第一受光部２１２と、第一結像光学系２１３と、を備えている。
【0011】
カラーフィルター部２１１は、赤色波長域の光を透過させる赤色カラーフィルター（Ｒフィルター）、緑色波長域の光を透過させる緑色カラーフィルター（Ｇフィルター）、及び青色波長域の光を透過させる青色カラーフィルター（Ｂフィルター）を含む。なお、以降の説明において、Ｒフィルター、Ｇフィルター、及びＢフィルターを総称してカラーフィルターと称する場合がある。これらのＲフィルター、Ｇフィルター、及びＢフィルターは、それぞれ複数設けられ、例えばベイヤー配列で配置されている。
【0012】
第一受光部２１２は、一般的なＣＣＤ（Charge-Coupled Device）センサーや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーにより構成される撮像素子である。第一受光部２１２は、カラーフィルター部２１１の各色に対応する撮像画素を有し、対応するカラーフィルターを透過した光を受光する。
第一受光部２１２は、例えば、１つのＲフィルター、１つのＢフィルター、及び２つのＧフィルターを透過した光を各フィルターに対応する撮像画素で受光することで、画像データの１画素分のＲＧＢ階調値を取得する。これにより、第一カメラ２１は、画像データの各画素のＲＧＢ階調値を第一受光部２１２の各撮像画素から取得してカラー画像を生成する。
第一受光部２１２は、例えば、１つのＲフィルター、１つのＢフィルター、及び２つのＧフィルターを透過した光を各フィルターに対応する撮像画素で受光することで、画像データの１画素分のＲＧＢ階調値を取得する。これにより、第一カメラ２１は、画像データの各画素のＲＧＢ階調値を第一受光部２１２の各撮像画素から取得してカラー画像を生成する。
【0013】
第一結像光学系２１３は、第一窓１２から入射した光を第一受光部２１２に導く光学系であり、例えば複数のレンズ等により構成されている。また、第一結像光学系２１３には、図２に示すように、第一受光部２１２に入射する光の入射範囲を調整可能な第一絞り機構２１３Ａが設けられており、入射範囲を調整することで第一受光部２１２での受光量を調整する。
【0014】
第二カメラ２２は、第二窓１３に対向して配置されている分光カメラであり、複数の波長に対するそれぞれの分光画像を撮像する。
この第二カメラ２２は、分光素子２２１と、第二受光部２２２と、第二結像光学系２２３と、を備えている。
この第二カメラ２２は、分光素子２２１と、第二受光部２２２と、第二結像光学系２２３と、を備えている。
【0015】
分光素子２２１は、入射光から所定の分光波長の光を分光して透過させ、かつ、分光する分光波長を任意の波長に切り替えることが可能な素子である。本実施形態では、分光素子２２１として、互いに対向する一対の反射膜と、電圧印加によって一対の反射膜の間のギャップを変化させる静電アクチュエーターとを備えた、波長可変型のファブリ―ペロー素子を用いる。このような波長可変型のファブリーペロー素子を用いた分光素子２２１は、素子サイズの小型化、薄型化が可能であり、特に、携帯型端末装置のような配置スペースが限られた電子デバイス１に対して好適に組み込むことができる。
なお、分光素子２２１としては、上記のようなファブリーペロー素子に限定されず、例えば、ＡＯＴＦ（Acousto-Optic Tunable Filter）やＬＣＴＦ（Liquid Crystal Tunable Filter）等を用いてもよい。
本実施形態の分光素子２２１は、透過させる光の分光波長を４つ以上に切り替えることが可能であり、可視光域においては、ＲＧＢの３色によるカラー画像を撮像する第一カメラ２１よりも高い精度で対象物の色を分析可能な画像を撮像することができる。
なお、分光素子２２１としては、上記のようなファブリーペロー素子に限定されず、例えば、ＡＯＴＦ（Acousto-Optic Tunable Filter）やＬＣＴＦ（Liquid Crystal Tunable Filter）等を用いてもよい。
本実施形態の分光素子２２１は、透過させる光の分光波長を４つ以上に切り替えることが可能であり、可視光域においては、ＲＧＢの３色によるカラー画像を撮像する第一カメラ２１よりも高い精度で対象物の色を分析可能な画像を撮像することができる。
【0016】
第二受光部２２２は、第一受光部２１２が設けられるカメラ基板２３と同一基板に設けられている。なお、図１の例では、第一受光部２１２及び第二受光部２２２が同一のカメラ基板２３上に配置されているが、第一受光部２１２が設けられる回路基板と、第二受光部２２２が設けられる回路基板とが別体であってもよい。
この第二受光部２２２は、第一受光部２１２と同様、一般的なＣＣＤ（Charge-Coupled Device）センサーや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーにより構成される撮像素子である。つまり、第二受光部２２２は、複数の撮像画素を有し、各撮像画素は、受光した光の強度に応じた電気信号を出力する。これにより、第二カメラ２２は、各撮像画素から出力される光強度値を１画素のデータとした分光画像を生成する。第一受光部２１２のような一般的なＲＧＢカメラは、周辺画素のデータからデータ補間をしており、例えば、Ｒフィルターに対応する画素では、青色及び緑色のデータを周辺のＢフィルター及びＧフィルターに対応する画素のデータから算出している。これに対して、分光カメラである第二受光部２２２は、複数の波長に対するデータを各画素で直接取得できるので、上記のような補間が不要となり、一般的なＲＧＢカメラよりも高精彩な画像を生成することができる。
この第二受光部２２２は、第一受光部２１２と同様、一般的なＣＣＤ（Charge-Coupled Device）センサーや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーにより構成される撮像素子である。つまり、第二受光部２２２は、複数の撮像画素を有し、各撮像画素は、受光した光の強度に応じた電気信号を出力する。これにより、第二カメラ２２は、各撮像画素から出力される光強度値を１画素のデータとした分光画像を生成する。第一受光部２１２のような一般的なＲＧＢカメラは、周辺画素のデータからデータ補間をしており、例えば、Ｒフィルターに対応する画素では、青色及び緑色のデータを周辺のＢフィルター及びＧフィルターに対応する画素のデータから算出している。これに対して、分光カメラである第二受光部２２２は、複数の波長に対するデータを各画素で直接取得できるので、上記のような補間が不要となり、一般的なＲＧＢカメラよりも高精彩な画像を生成することができる。
【0017】
第二結像光学系２２３は、第二窓１３から入射した光を第二受光部２２２に導く光学系であり、例えば複数のレンズ等により構成されている。また、第二結像光学系２２３には、図２に示すように、第二受光部２２２に入射する光の入射範囲を調整可能な第二絞り機構２２３Ａが設けられており、入射範囲を調整することで第二受光部２２２での受光量を調整する。なお、図１，２では、第二結像光学系２２３は、分光素子２２１の第二受光部２２２とは反対側に設けられる例を示すが、分光素子２２１と第二受光部２２２との間にも、第二結像光学系２２３を構成するレンズ等の光学部品が設けられてもよい。
【0018】
［制御部３０の構成］
制御部３０は、筐体１０の内部に配置されたメインボード１４に搭載されたＣＰＵ（Central Processing Unit）や、半導体メモリー等の各種電子回路により構成され、記憶部３１と、プロセッサー３２とを備える。
記憶部３１は、例えば半導体メモリーなどにより構成され、各種プログラムや各種データを記憶する。この記憶部３１は、本開示の補正係数記録部として機能し、第二撮像条件を設定するための補正係数βを記憶する。なお、補正係数βに関する説明は後述する。
制御部３０は、筐体１０の内部に配置されたメインボード１４に搭載されたＣＰＵ（Central Processing Unit）や、半導体メモリー等の各種電子回路により構成され、記憶部３１と、プロセッサー３２とを備える。
記憶部３１は、例えば半導体メモリーなどにより構成され、各種プログラムや各種データを記憶する。この記憶部３１は、本開示の補正係数記録部として機能し、第二撮像条件を設定するための補正係数βを記憶する。なお、補正係数βに関する説明は後述する。
【0019】
プロセッサー３２は、記憶部３１に記憶されたプログラムを読み出し実行することで、電子デバイス１における各種処理を実行する。具体的には、プロセッサー３２は、第一撮像条件設定部３２１、第二撮像条件設定部３２２、第一撮像制御部３２３、第二撮像制御部３２４、画像評価部３２５、及び補正係数更新部３２６として機能する。
【0020】
第一撮像条件設定部３２１は、第一カメラ２１を用いた撮像処理を実施する際の、第一カメラの撮像条件である第一撮像条件を取得する。この第一撮像条件には、露光時間（シャッタースピード）、絞り値（Ｆ値）、フォーカス距離、及びＩＳＯ感度等が含まれる。第一撮像条件設定部３２１は、第一受光部２１２から撮像対象物までの距離や明るさ（受光量）に基づいて、自動で第一撮像条件を設定する。また、第一撮像条件は、ユーザーの操作によって適宜変更可能であり、例えばユーザーがタッチパネル１１から第一撮像条件を入力することで、第一撮像条件設定部３２１は、入力された第一撮像条件を設定する。
【0021】
第二撮像条件設定部３２２は、第二カメラ２２を用いた撮像処理を実施する際の、第二カメラ２２の撮像条件である第二撮像条件を設定する。第二撮像条件には、第一撮像条件と同様、露光時間、絞り値、フォーカス距離、及びＩＳＯ感度等が含まれる。第二撮像条件設定部３２２は、第一撮像条件設定部３２１によって設定された第一撮像条件に基づいて、第二撮像条件を設定する。すなわち、第二撮像条件設定部３２２は、記憶部３１に記憶される補正係数βを用いて第一撮像条件を補正して第二撮像条件とする。なお、第二撮像条件設定部３２２のより詳細な処理については後述する。
【0022】
第一撮像制御部３２３は、第一撮像条件に基づいて第一カメラ２１を制御し、第一カメラ２１によりカラー画像（ＲＧＢ画像）を撮像させる。
第二撮像制御部３２４は、第二撮像条件に基づいて第二カメラ２２を制御し、第二カメラ２２により、複数の分光波長に対する分光画像を撮像させる。
第二撮像制御部３２４は、第二撮像条件に基づいて第二カメラ２２を制御し、第二カメラ２２により、複数の分光波長に対する分光画像を撮像させる。
【0023】
画像評価部３２５は、第二カメラ２２で撮像された各波長の分光画像が適正な分光画像であるか否かを評価する。例えば、画像評価部３２５は、各分光画像がハレーションを起こしていないか、言い換えると、第二受光部２２２の各撮像画素が、検出可能な光量を超えた光を受光していないか否かを評価する。具体的には、分光画像において、所定数以上（例えば１つ以上）の画素で階調値が最大値となっていないか否かを判定する。
なお、画像評価部３２５は、所定のテスト対象を撮像した際の各波長の分光画像において、各画素の階調値が所定の基準範囲内であるか否かを判定してもよい。テスト対象としては、例えば、各波長の光に対して９９％以上の反射率を有する白色基準板等が挙げられる。この場合、画像評価部３２５は、上記ハレーションの有無の他、分光画像のＳ／Ｎ比が適正であるかをも評価することができる。
なお、画像評価部３２５は、所定のテスト対象を撮像した際の各波長の分光画像において、各画素の階調値が所定の基準範囲内であるか否かを判定してもよい。テスト対象としては、例えば、各波長の光に対して９９％以上の反射率を有する白色基準板等が挙げられる。この場合、画像評価部３２５は、上記ハレーションの有無の他、分光画像のＳ／Ｎ比が適正であるかをも評価することができる。
【0024】
補正係数更新部３２６は、画像評価部３２５の評価結果に基づいて、第二撮像条件を設定する際の補正係数を更新する。つまり、画像評価部３２５による評価結果において、分光画像にハレーションが発生しないように、補正係数を更新する。
【0025】
［電子デバイス１における撮像方法］
次に、上記のような撮像装置を内蔵した電子デバイス１における撮像方法について説明する。
本実施形態の電子デバイス１では、第一カメラ２１を用いたカラー画像の撮像処理、第二カメラ２２を用いた分光画像の撮像処理、及び第一カメラ２１及び第二カメラ２２の双方を用いたカラー画像と分光画像との撮像処理などの複数の撮像モードでの撮像処理を実施することができる。カラー画像と分光画像との双方の撮像処理を実施した場合では、カラー画像に対して、分光画像を重畳させてタッチパネル１１上に表示したり、分光画像に基づいた解析処理（例えば、成分分析等）を実施した結果をカラー画像に重畳してタッチパネル１１上に表示したりすることができる。
次に、上記のような撮像装置を内蔵した電子デバイス１における撮像方法について説明する。
本実施形態の電子デバイス１では、第一カメラ２１を用いたカラー画像の撮像処理、第二カメラ２２を用いた分光画像の撮像処理、及び第一カメラ２１及び第二カメラ２２の双方を用いたカラー画像と分光画像との撮像処理などの複数の撮像モードでの撮像処理を実施することができる。カラー画像と分光画像との双方の撮像処理を実施した場合では、カラー画像に対して、分光画像を重畳させてタッチパネル１１上に表示したり、分光画像に基づいた解析処理（例えば、成分分析等）を実施した結果をカラー画像に重畳してタッチパネル１１上に表示したりすることができる。
【0026】
ここで、第一カメラ２１を用いたカラー画像の撮像処理では、一般的なスマートフォン等による従来の撮像処理と同様である。
すなわち、ユーザーがタッチパネル１１等を操作してカラー画像を撮像するアプリケーションを選択すると、制御部３０は、第一カメラ２１を起動させる。また、第一撮像条件設定部３２１は、第一受光部２１２が受光する光の受光量、及び対象物までの距離に基づいて、露光時間、絞り値、フォーカス距離、及びＩＳＯ感度等の第一撮像条件を自動で設定する。なお、ユーザーの入力操作によって、第一撮像条件を変更する旨が入力された場合、ユーザーによって設定入力された第一撮像条件を取得してもよい。
以上により、第一撮像条件設定部３２１により第一撮像条件が設定された後、ユーザーの入力操作によって、撮像を指令する撮像指令が入力されることで、第一撮像制御部３２３は、第一カメラ２１を制御して、カラー画像を撮像する。
すなわち、ユーザーがタッチパネル１１等を操作してカラー画像を撮像するアプリケーションを選択すると、制御部３０は、第一カメラ２１を起動させる。また、第一撮像条件設定部３２１は、第一受光部２１２が受光する光の受光量、及び対象物までの距離に基づいて、露光時間、絞り値、フォーカス距離、及びＩＳＯ感度等の第一撮像条件を自動で設定する。なお、ユーザーの入力操作によって、第一撮像条件を変更する旨が入力された場合、ユーザーによって設定入力された第一撮像条件を取得してもよい。
以上により、第一撮像条件設定部３２１により第一撮像条件が設定された後、ユーザーの入力操作によって、撮像を指令する撮像指令が入力されることで、第一撮像制御部３２３は、第一カメラ２１を制御して、カラー画像を撮像する。
【0027】
一方、本実施形態の電子デバイス１は、分光画像の撮像処理を実施する場合、第一撮像条件に基づいた第二撮像条件を設定する。以下、分光画像の撮像処理について、詳細に説明する。
図３は、本実施形態の分光画像の撮像方法を示すフローチャートである。
本実施形態において、ユーザーがタッチパネル１１等を操作して分光画像を撮像するアプリケーションを選択すると、制御部３０は、第一カメラ２１及び第二カメラ２２を起動させる（ステップＳ１）。
この後、第一撮像条件設定部３２１は、第一カメラ２１の第一撮像条件を設定する（ステップＳ２）。このステップＳ２は、上述した第一カメラ２１によるカラー画像の撮像処理で実施した第一撮像条件の設定と同様である。すなわち、第一撮像条件設定部３２１は、第一受光部２１２が受光する光の受光量、及び対象物までの距離に基づいて、露光時間、絞り値、フォーカス距離、及びＩＳＯ感度等の第一撮像条件を自動で設定、あるいは、ユーザーによって入力された第一撮像条件を設定する。
図３は、本実施形態の分光画像の撮像方法を示すフローチャートである。
本実施形態において、ユーザーがタッチパネル１１等を操作して分光画像を撮像するアプリケーションを選択すると、制御部３０は、第一カメラ２１及び第二カメラ２２を起動させる（ステップＳ１）。
この後、第一撮像条件設定部３２１は、第一カメラ２１の第一撮像条件を設定する（ステップＳ２）。このステップＳ２は、上述した第一カメラ２１によるカラー画像の撮像処理で実施した第一撮像条件の設定と同様である。すなわち、第一撮像条件設定部３２１は、第一受光部２１２が受光する光の受光量、及び対象物までの距離に基づいて、露光時間、絞り値、フォーカス距離、及びＩＳＯ感度等の第一撮像条件を自動で設定、あるいは、ユーザーによって入力された第一撮像条件を設定する。
【0028】
また、第一撮像制御部３２３は、第一撮像条件に基づいて第一カメラ２１により対象物のカラー画像を撮像し、タッチパネル１１上に表示させる （ステップＳ３）。つまり、対象物のリアルタイム画像をタッチパネル１１に表示させる。これにより、ユーザーは、被写体である対象物を確認しながら、分光画像の撮像位置を調整することができる。
【0029】
さらに、第二撮像条件設定部３２２は、第一撮像条件に基づいて、第二撮像条件を設定する（ステップＳ４）。
ここで、本実施形態では、記憶部３１に補正係数βが記録されている。補正係数βは、露光時間に対する露光補正係数βｔ、絞り値に対する絞り補正係数βａ、及びＩＳＯ感度に対するＩＳＯ補正係数βｉを含む。
そして、第二撮像条件設定部３２２は、第一撮像条件である露光時間Ｔ１に対して、露光補正係数βｔを乗算して、第二撮像条件の露光時間Ｔ２（＝Ｔ１×βｔ）を設定する。同様に、第二撮像条件設定部３２２は、第一撮像条件である絞り値Ａ１に対して、絞り補正係数βａを乗算して、第二撮像条件の絞り値Ａ２（＝Ａ１×βａ）を設定する。同様に、第二撮像条件設定部３２２は、第一撮像条件であるＩＳＯ感度Ｉ１に対して、ＩＳＯ補正係数βｉを乗算して、第二撮像条件のＩＳＯ感度Ｉ２（＝Ｉ１×βｉ）を設定する。
ここで、本実施形態では、記憶部３１に補正係数βが記録されている。補正係数βは、露光時間に対する露光補正係数βｔ、絞り値に対する絞り補正係数βａ、及びＩＳＯ感度に対するＩＳＯ補正係数βｉを含む。
そして、第二撮像条件設定部３２２は、第一撮像条件である露光時間Ｔ１に対して、露光補正係数βｔを乗算して、第二撮像条件の露光時間Ｔ２（＝Ｔ１×βｔ）を設定する。同様に、第二撮像条件設定部３２２は、第一撮像条件である絞り値Ａ１に対して、絞り補正係数βａを乗算して、第二撮像条件の絞り値Ａ２（＝Ａ１×βａ）を設定する。同様に、第二撮像条件設定部３２２は、第一撮像条件であるＩＳＯ感度Ｉ１に対して、ＩＳＯ補正係数βｉを乗算して、第二撮像条件のＩＳＯ感度Ｉ２（＝Ｉ１×βｉ）を設定する。
【0030】
本実施形態では、補正係数βの初期値と、更新値とがそれぞれ記憶されており、ステップＳ１によりアプリケーションが実行された後、最初に実施されるステップＳ４では、補正係数βの初期値が使用され、２回目以降のステップＳ４では、補正係数βの更新値が使用される。すなわち、本実施形態では、補正係数更新部３２６により、補正係数βが順次更新されていくことで、分光画像を撮像する毎に第二撮像条件が最適化されていく。
【0031】
補正係数βの初期値は、第二受光部２２２の受光感度特性、及び分光素子の分光特性に基づいて設定される。なお、電子デバイス１が対象物に照明光を照射する光源部を備える場合では、第二受光部２２２の受光感度特性、分光素子２２１の分光特性、及び光源部の光源特性に基づいて設定される。
図４は、受光感度特性、分光特性、及び光源特性と、これらの特性をかけ合わせた第二カメラ２２の特性（以降、カメラ光学特性と称す）を示す図である。
第二受光部２２２の受光感度特性は、各波長に対する第二受光部の感度を示す特性である。
分光素子２２１の分光特性は、分光素子２２１で所定の分光波長を透過させた場合の各波長の光の透過率を示す特性である。ここで、分光素子２２１は、透過させる光の波長を所定波長範囲内で変化させることが可能であり、分光素子２２１により、所定の分光波長の光を透過させた場合の透過率特性は、図４の線Ｐのように、当該分光波長で透過率がピークとなる。
光源特性は、照明光の各波長の光量（光強度）を示す特性である。
カメラ特性値は、これらの受光感度特性、分光特性、光源特性を掛け合わせた特性である。
図４は、受光感度特性、分光特性、及び光源特性と、これらの特性をかけ合わせた第二カメラ２２の特性（以降、カメラ光学特性と称す）を示す図である。
第二受光部２２２の受光感度特性は、各波長に対する第二受光部の感度を示す特性である。
分光素子２２１の分光特性は、分光素子２２１で所定の分光波長を透過させた場合の各波長の光の透過率を示す特性である。ここで、分光素子２２１は、透過させる光の波長を所定波長範囲内で変化させることが可能であり、分光素子２２１により、所定の分光波長の光を透過させた場合の透過率特性は、図４の線Ｐのように、当該分光波長で透過率がピークとなる。
光源特性は、照明光の各波長の光量（光強度）を示す特性である。
カメラ特性値は、これらの受光感度特性、分光特性、光源特性を掛け合わせた特性である。
【0032】
そして、本実施形態では、上記のようなカメラ光学特性において、最大特性値に基づいて補正係数βの初期値が設定されている。つまり、特性値が最大となる波長λＭの分光画像を第二カメラ２２で撮像した場合に、各画素の階調値が最大階調値未満となる補正係数βが設定される。これにより、いずれの分光波長に対しても、ハレーションの発生を抑制した分光画像の撮像が可能となる。
【0033】
図３に戻り、ステップＳ４の後、第二撮像制御部３２４は、第二カメラ２２を制御して分光画像を撮像する（ステップＳ５）。この際、第一カメラ２１を制御して同時にカラー画像を撮像してもよい。
具体的には、第二撮像制御部３２４は、分光素子２２１から透過させる光の波長を、指定された分光波長に設定し、第二絞り機構２２３Ａを第二撮像条件の絞り値Ａ２に基づいて調整する。そして、第二撮像制御部３２４は、第二撮像条件の露光時間Ｔ２で第二受光部２２２での光の受光量を検出し、各撮像素子から出力される受光量に応じた受光信号を、第二撮像条件のＩＳＯ感度Ｉ２に基づいて増幅する。これにより、第二撮像条件に基づいた分光画像が撮像される。
なお、対象物に対する複数波長の分光画像を撮像する場合、分光素子から透過させる光の波長を順次切り替えて、上記と同様にして第二撮像条件に従った第二カメラ２２による分光画像の撮像処理を実施すればよい。
具体的には、第二撮像制御部３２４は、分光素子２２１から透過させる光の波長を、指定された分光波長に設定し、第二絞り機構２２３Ａを第二撮像条件の絞り値Ａ２に基づいて調整する。そして、第二撮像制御部３２４は、第二撮像条件の露光時間Ｔ２で第二受光部２２２での光の受光量を検出し、各撮像素子から出力される受光量に応じた受光信号を、第二撮像条件のＩＳＯ感度Ｉ２に基づいて増幅する。これにより、第二撮像条件に基づいた分光画像が撮像される。
なお、対象物に対する複数波長の分光画像を撮像する場合、分光素子から透過させる光の波長を順次切り替えて、上記と同様にして第二撮像条件に従った第二カメラ２２による分光画像の撮像処理を実施すればよい。
【0034】
この後、画像評価部３２５は、ステップＳ５で撮像された分光画像が適正な画像であるか否かを判定する（ステップＳ６）。つまり、画像評価部３２５は、各分光波長に対する分光画像での各画素での階調値が、予め設定された最大階調値未満となっているか否かを判定する。
分光画像において、階調値が最大階調値となる画素がある場合、第二受光部２２２で検出可能な受光量を超えた光が受光されている可能性がある。このような場合、本実施形態では、ハレーションが発生していると判定する。
分光画像において、階調値が最大階調値となる画素がある場合、第二受光部２２２で検出可能な受光量を超えた光が受光されている可能性がある。このような場合、本実施形態では、ハレーションが発生していると判定する。
【0035】
ステップＳ６でＮＯと判定される場合、第二撮像制御部３２４は、第二カメラ２２による再撮影を実施するか否かを判定する（ステップＳ７）。例えば、ユーザーの入力操作により、再撮影が指示された場合にステップＳ７でＹＥＳと判定されてもよい。また、予め再撮影回設定数が設定されており、ステップＳ６により連続してＮＯと判定される回数が、設定された再撮影回設定数となった場合に、ステップＳ７でＮＯと判定され、再撮影回設定数未満であればステップＳ７でＹＥＳと判定されてもよい。
そして、ハレーションの発生等によってステップＳ６でＮＯと判定され、かつ、ステップＳ７においてＹＥＳと判定された場合、補正係数更新部３２６は、記憶部３１に記憶している補正係数βの更新値を更新する（ステップＳ８）。１回目のステップＳ４が実施された後では、補正係数更新部３２６は、補正係数βの初期値から、新たな補正係数βを算出して更新値として記録する。２回目のステップＳ４が実施された後では、前回の補正係数βの更新値から、新たな補正係数βを算出して更新値を更新する。
更新値である補正係数βの算出方法としては、例えば、補正係数更新部３２６は、ステップＳ４で用いた補正係数βに対して、予め設定された値を減算することで更新値を算出してもよく、１未満の所定の値を乗算することで更新値を算出してもよい。また、補正係数更新部３２６は、ハレーションを起こしている画素数に応じて、補正係数βの減少量を変化させてもよい。
さらに、補正係数更新部３２６は、露光補正係数βｔ、絞り補正係数βａ、及びＩＳＯ補正係数βｉのうちの１つ、または２つのみを更新してもよい。例えば、露光補正係数βｔのみを更新してもよく、露光補正係数βｔと絞り補正係数βａとを更新してもよい。
そして、ハレーションの発生等によってステップＳ６でＮＯと判定され、かつ、ステップＳ７においてＹＥＳと判定された場合、補正係数更新部３２６は、記憶部３１に記憶している補正係数βの更新値を更新する（ステップＳ８）。１回目のステップＳ４が実施された後では、補正係数更新部３２６は、補正係数βの初期値から、新たな補正係数βを算出して更新値として記録する。２回目のステップＳ４が実施された後では、前回の補正係数βの更新値から、新たな補正係数βを算出して更新値を更新する。
更新値である補正係数βの算出方法としては、例えば、補正係数更新部３２６は、ステップＳ４で用いた補正係数βに対して、予め設定された値を減算することで更新値を算出してもよく、１未満の所定の値を乗算することで更新値を算出してもよい。また、補正係数更新部３２６は、ハレーションを起こしている画素数に応じて、補正係数βの減少量を変化させてもよい。
さらに、補正係数更新部３２６は、露光補正係数βｔ、絞り補正係数βａ、及びＩＳＯ補正係数βｉのうちの１つ、または２つのみを更新してもよい。例えば、露光補正係数βｔのみを更新してもよく、露光補正係数βｔと絞り補正係数βａとを更新してもよい。
【0036】
ステップＳ８の後、ステップＳ４に戻り、第二撮像条件設定部３２２は、更新された補正係数βに基づいて、第二撮像条件を設定しなおし、第二撮像制御部３２４は、その第二撮像条件に基づいて、第二カメラ２２で分光画像を撮像する。
【0037】
また、ステップＳ６でＹｅｓと判定される場合、及びステップＳ７でＮＯと判定される場合では、電子デバイス１は、第二カメラ２２で撮像された分光画像をタッチパネル１１上に表示させる（ステップＳ９）。
分光画像の表示方法は、ユーザーにより選択された撮像モードに基づいて行われ、例えば、分光画像のみをタッチパネル１１上に表示させてもよく、カラー画像に分光画像を重畳させて表示させてもよい。或いは、分光画像に基づいて解析された解析結果をカラー画像に重畳させて表示させてもよい。
分光画像の表示方法は、ユーザーにより選択された撮像モードに基づいて行われ、例えば、分光画像のみをタッチパネル１１上に表示させてもよく、カラー画像に分光画像を重畳させて表示させてもよい。或いは、分光画像に基づいて解析された解析結果をカラー画像に重畳させて表示させてもよい。
【0038】
［本実施形態の作用効果］
本実施形態の電子デバイス１は、第一カメラ２１、第二カメラ２２、及び制御部３０により構成される撮像装置を備える。第一カメラ２１は、赤色波長域の光を透過させるＲフィルター、緑色波長域の光を透過させるＧフィルター、及び青色波長域の光を透過させるＢフィルターを含むカラーフィルター部２１１と、カラーフィルター部２１１を透過した光を受光する第一受光部２１２とを備える。この第一カメラ２１は、Ｒフィルターを透過した赤色光の階調値、Ｇフィルターを透過した緑色光の階調値、及びＢフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する。第二カメラ２２は、入射光から所定の分光波長の光を分光し、かつ、分光波長を４つ以上に変更可能な分光素子２２１と、分光素子２２１により分光された光を受光する第二受光部２２２とを備える。この第二カメラ２２は、分光素子２２１により分光された各波長の分光画像を撮像する。制御部３０は、記憶部３１とプロセッサー３２とを備え、プロセッサー３２は、記憶部３１に記憶されたプログラムを読み込み実行することで、第一撮像条件設定部３２１、及び第二撮像条件設定部３２２等として機能する。第一撮像条件設定部３２１は、第一カメラ２１の撮像条件である第一撮像条件を設定する。第二撮像条件設定部３２２は、第一撮像条件に基づいて、第二カメラ２２の撮像条件である第二撮像条件を設定する。
本実施形態の電子デバイス１は、第一カメラ２１、第二カメラ２２、及び制御部３０により構成される撮像装置を備える。第一カメラ２１は、赤色波長域の光を透過させるＲフィルター、緑色波長域の光を透過させるＧフィルター、及び青色波長域の光を透過させるＢフィルターを含むカラーフィルター部２１１と、カラーフィルター部２１１を透過した光を受光する第一受光部２１２とを備える。この第一カメラ２１は、Ｒフィルターを透過した赤色光の階調値、Ｇフィルターを透過した緑色光の階調値、及びＢフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する。第二カメラ２２は、入射光から所定の分光波長の光を分光し、かつ、分光波長を４つ以上に変更可能な分光素子２２１と、分光素子２２１により分光された光を受光する第二受光部２２２とを備える。この第二カメラ２２は、分光素子２２１により分光された各波長の分光画像を撮像する。制御部３０は、記憶部３１とプロセッサー３２とを備え、プロセッサー３２は、記憶部３１に記憶されたプログラムを読み込み実行することで、第一撮像条件設定部３２１、及び第二撮像条件設定部３２２等として機能する。第一撮像条件設定部３２１は、第一カメラ２１の撮像条件である第一撮像条件を設定する。第二撮像条件設定部３２２は、第一撮像条件に基づいて、第二カメラ２２の撮像条件である第二撮像条件を設定する。
【0039】
このような本実施形態では、分光画像を撮像する第二カメラ２２に関して、ユーザーが第二撮像条件を自ら設定する必要がなく、ユーザーに専門の知識も要求されない。したがって、電子デバイス１による第二カメラ２２を使用する際の利便性の向上を図れる。また、第一撮像条件に基づいて、第二撮像条件を設定するため、第二撮像条件を設定するために、複数回の分光画像を撮像する予備動作等が不要であり、迅速な第二撮像条件の設定が可能となる。
【0040】
本実施形態の電子デバイス１では、第二撮像条件設定部３２２は、第二撮像条件として、少なくとも露光時間を設定する。
第二受光部２２２で光を受光する場合に、受光量が許容値を超えると分光画像にハレーションが発生し、適正な分光画像が撮像できない。このようなハレーションの発生に対して最も関連するのが露光時間であり、本実施形態では、露光時間Ｔ２を含む第二撮像条件を適正に設定することで、ハレーションによる画像異常を効果的に抑制することができる。
第二受光部２２２で光を受光する場合に、受光量が許容値を超えると分光画像にハレーションが発生し、適正な分光画像が撮像できない。このようなハレーションの発生に対して最も関連するのが露光時間であり、本実施形態では、露光時間Ｔ２を含む第二撮像条件を適正に設定することで、ハレーションによる画像異常を効果的に抑制することができる。
【0041】
本実施形態の電子デバイス１では、第二撮像条件設定部３２２は、第一撮像条件に補正係数βを乗算して、第二撮像条件を設定する。
これにより、第二撮像条件設定部３２２は、第一撮像条件に補正係数βを乗算するだけの簡単な処理で、容易に第二撮像条件を設定することができ、分光画像の撮像までに要する時間を短縮できる。
これにより、第二撮像条件設定部３２２は、第一撮像条件に補正係数βを乗算するだけの簡単な処理で、容易に第二撮像条件を設定することができ、分光画像の撮像までに要する時間を短縮できる。
【0042】
本実施形態の電子デバイス１では、補正係数βは、分光素子２２１の各分光波長に対する透過率を示す分光特性、及び第二受光部２２２の各波長に対する受光感度を示す受光感度特性を乗算したカメラ光学特性に基づいて設定されている。
このようなカメラ光学特性を用いることで、分光画像を撮像した場合に、第二受光部２２２での受光量が許容値を超えやすい分光波長を特定することができ、各分光波長で適正な分光画像を撮像可能な第二撮像条件を算出するための補正係数を適正に設定することができる。
このようなカメラ光学特性を用いることで、分光画像を撮像した場合に、第二受光部２２２での受光量が許容値を超えやすい分光波長を特定することができ、各分光波長で適正な分光画像を撮像可能な第二撮像条件を算出するための補正係数を適正に設定することができる。
【0043】
そして、本実施形態では、補正係数βは、上記のようなカメラ光学特性の特性値の最大値に基づいて設定されている。
カメラ光学特性において、特定値が最大値となる波長は、撮像した分光画像においてハレーションが発生しやすい波長である。よって、当該波長において、ハレーションが発生しないような補正係数を設定すれば、他の各分光波長に対してもハレーションの発生を抑制することができる。
カメラ光学特性において、特定値が最大値となる波長は、撮像した分光画像においてハレーションが発生しやすい波長である。よって、当該波長において、ハレーションが発生しないような補正係数を設定すれば、他の各分光波長に対してもハレーションの発生を抑制することができる。
【0044】
本実施形態の電子デバイス１では、第二撮像条件により第二カメラ２２で対象物を撮像した分光画像を評価する画像評価部３２５と、補正係数βが記録される記憶部３１と、画像評価部３２５による評価結果に基づいて、記憶部３１に記憶された補正係数βの更新値を更新する補正係数更新部と、をさらに備える。
これにより、最初に設定されていた補正係数βの初期値を用いた第二撮像条件で撮像された分光画像に、ハレーション等の異常がある場合でも、補正係数更新部３２６が補正係数βを更新することで、適正な分光画像を撮像可能な補正係数βを設定することができる。これにより、ハレーション等が見られない、適正な分光画像を撮像することができる。
これにより、最初に設定されていた補正係数βの初期値を用いた第二撮像条件で撮像された分光画像に、ハレーション等の異常がある場合でも、補正係数更新部３２６が補正係数βを更新することで、適正な分光画像を撮像可能な補正係数βを設定することができる。これにより、ハレーション等が見られない、適正な分光画像を撮像することができる。
【0045】
［第二実施形態］
次に第二実施形態について説明する。
第一実施形態では、初期の補正係数βは、第二カメラのカメラ光学特性において、最大特性値の波長に基づいて設定された。これに対して、第二実施形態は、最小特性値に基づいて設定される点で、第一実施形態と相違する。
なお、以降の説明にあたり、既に説明した事項に関してはその説明を省略、又は簡略化する。
次に第二実施形態について説明する。
第一実施形態では、初期の補正係数βは、第二カメラのカメラ光学特性において、最大特性値の波長に基づいて設定された。これに対して、第二実施形態は、最小特性値に基づいて設定される点で、第一実施形態と相違する。
なお、以降の説明にあたり、既に説明した事項に関してはその説明を省略、又は簡略化する。
【0046】
第二実施形態の電子デバイス１は、第一実施形態と同様の構成を有し、図１及び図２に示すように、第一カメラ２１、第二カメラ２２、及び制御部３０等を備える。
また、第二実施形態の電子デバイス１は、分光画像を撮像する場合に、第一実施形態と略同様、図３に示すような撮像方法により分光画像を撮像する。
ここで、本実施形態では、第二撮像条件設定部３２２が第二撮像条件を設定する際に用いる初期の補正係数βの設定方法が、第一実施形態と異なる。
また、第二実施形態の電子デバイス１は、分光画像を撮像する場合に、第一実施形態と略同様、図３に示すような撮像方法により分光画像を撮像する。
ここで、本実施形態では、第二撮像条件設定部３２２が第二撮像条件を設定する際に用いる初期の補正係数βの設定方法が、第一実施形態と異なる。
【0047】
すなわち、本実施形態では、図４に示すような第二カメラのカメラ光学特性のうち、特性値の最小値に基づいて、補正係数βの初期値を設定する。
つまり、分光素子２２１で最小特性値の光を分光させて分光画像を撮像した場合に、分光画像の各画素の階調値が、予め設定された閾値以上となるように、補正係数βを設定する。これにより、分光画像の各画素のＳ／Ｎ比の悪化を抑制することができる。
つまり、分光素子２２１で最小特性値の光を分光させて分光画像を撮像した場合に、分光画像の各画素の階調値が、予め設定された閾値以上となるように、補正係数βを設定する。これにより、分光画像の各画素のＳ／Ｎ比の悪化を抑制することができる。
【0048】
この場合、ステップＳ６において、画像評価部３２５は、分光画像として鮮明な画像が撮像されているか否かを評価する。例えば、画像評価部３２５は、分光画像の各画素の階調値のうちの最大階調値が、閾値以上であるかを判定する。
そして、ステップＳ６で適正な分光画像ではないと判定（ＮＯと判定）される場合に、補正係数更新部３２６が補正係数βを更新する。
この場合では、ステップＳ８において、補正係数更新部３２６は、ステップＳ４で用いた補正係数βに対して、予め設定された値を加算する、又は、１より大きい所定の値を乗算することで更新値を算出すればよい。
そして、ステップＳ６で適正な分光画像ではないと判定（ＮＯと判定）される場合に、補正係数更新部３２６が補正係数βを更新する。
この場合では、ステップＳ８において、補正係数更新部３２６は、ステップＳ４で用いた補正係数βに対して、予め設定された値を加算する、又は、１より大きい所定の値を乗算することで更新値を算出すればよい。
【0049】
［第二実施形態の作用効果］
本実施形態の電子デバイス１では、補正係数βは、カメラ光学特性の特性値の最小値に基づいて設定されている。
カメラ光学特性を用いることで、分光画像を撮像した場合に、第二受光部２２２での受光量が小さくなる傾向の分光波長を特定することができる。つまり、カメラ光学特性において、特定値が最小となる波長は、撮像した分光画像の各画素の階調値が低く、不鮮明な画像となりやすい（Ｓ／Ｎ比が悪化しやすい）波長である。よって、当該波長において、Ｓ／Ｎ比の悪化を抑制するような補正係数を設定することで、他の各分光波長に対してもＳ／Ｎ比の悪化を抑制することができる。
本実施形態の電子デバイス１では、補正係数βは、カメラ光学特性の特性値の最小値に基づいて設定されている。
カメラ光学特性を用いることで、分光画像を撮像した場合に、第二受光部２２２での受光量が小さくなる傾向の分光波長を特定することができる。つまり、カメラ光学特性において、特定値が最小となる波長は、撮像した分光画像の各画素の階調値が低く、不鮮明な画像となりやすい（Ｓ／Ｎ比が悪化しやすい）波長である。よって、当該波長において、Ｓ／Ｎ比の悪化を抑制するような補正係数を設定することで、他の各分光波長に対してもＳ／Ｎ比の悪化を抑制することができる。
【0050】
［第三実施形態］
次に第三実施形態について説明する。
上記第一実施形態では、第一撮像条件に基づいて、第二撮像条件である露光時間Ｔ２、絞り値Ａ２、及びＩＳＯ感度Ｉ２の３つのパラメーターを設定した。これに対して、第三実施形態では、分光素子２２１で分光する各分光波長に対してそれぞれ独立して第二撮像条件を設定する点で第一実施形態と相違する。
次に第三実施形態について説明する。
上記第一実施形態では、第一撮像条件に基づいて、第二撮像条件である露光時間Ｔ２、絞り値Ａ２、及びＩＳＯ感度Ｉ２の３つのパラメーターを設定した。これに対して、第三実施形態では、分光素子２２１で分光する各分光波長に対してそれぞれ独立して第二撮像条件を設定する点で第一実施形態と相違する。
【0051】
図５は、第三実施形態で記憶部３１に記憶される補正係数の概要を示す図である。
第一実施形態では、記憶部３１に、露光補正係数βｔ、絞り補正係数βａ、及び、ＩＳＯ補正係数βｉを記録していた。これに対して、本実施形態では、図５に示すように、分光素子２２１で分光可能な各分光波長に対して、それぞれ、補正係数β_λ（露光補正係数βｔ＿λ、絞り補正係数βａ＿λ、及び、ＩＳＯ補正係数βｉ＿λ）が対応付けられて記憶部３１に記憶されている。
例えば、波長４００ｎｍに対して、露光補正係数βｔ＿４００、絞り補正係数βａ＿４００、ＩＳＯ補正係数βｉ＿４００が対応付けられ、波長７００ｎｍに対して、露光補正係数βｔ＿７００、絞り補正係数βａ＿７００、ＩＳＯ補正係数βｉ＿７００が対応付けられている。
第一実施形態では、記憶部３１に、露光補正係数βｔ、絞り補正係数βａ、及び、ＩＳＯ補正係数βｉを記録していた。これに対して、本実施形態では、図５に示すように、分光素子２２１で分光可能な各分光波長に対して、それぞれ、補正係数β_λ（露光補正係数βｔ＿λ、絞り補正係数βａ＿λ、及び、ＩＳＯ補正係数βｉ＿λ）が対応付けられて記憶部３１に記憶されている。
例えば、波長４００ｎｍに対して、露光補正係数βｔ＿４００、絞り補正係数βａ＿４００、ＩＳＯ補正係数βｉ＿４００が対応付けられ、波長７００ｎｍに対して、露光補正係数βｔ＿７００、絞り補正係数βａ＿７００、ＩＳＯ補正係数βｉ＿７００が対応付けられている。
【0052】
これらの補正係数β_λは、各波長のカメラ光学特性に基づいて設定される。
つまり、補正係数β_λの初期値は、分光波長λの分光画像を撮像した場合に、分光画像の各画素の階調値が上限値未満となり、かつ、所定の閾値以上となるように設定される。
つまり、補正係数β_λの初期値は、分光波長λの分光画像を撮像した場合に、分光画像の各画素の階調値が上限値未満となり、かつ、所定の閾値以上となるように設定される。
【0053】
そして、本実施形態では、ステップＳ４において、第二撮像条件設定部３２２は、撮像する分光画像の分光波長に対して、それぞれ第二撮像条件を設定する。例えば、撮像対象の分光画像の分光波長がλａである場合、第二撮像条件設定部３２２は、当該波長λａに対応した補正係数β_λａ、つまり、露光補正係数βｔ_λａ、絞り補正係数βａ_λａ、及びＩＳＯ補正係数βｉ_λａをそれぞれ読み込む。そして、第二撮像条件設定部３２２は、分光波長λａに対する第二撮像条件の露光時間Ｔ２＿λａを、第一撮像条件の露光時間Ｔ１と、露光補正係数βｔ_λａとを用いて、Ｔ２＿λａ＝Ｔ１×βｔ_λａにより算出する。同様に、第二撮像条件設定部３２２は、分光波長λａに対する第二撮像条件の絞り値Ａ２＿λａを、第一撮像条件の絞り値Ａ１と、絞り補正係数βａ_λａとを用いて、Ａ２＿λａ＝Ａ１×βａ_λａにより算出する。同様に、第二撮像条件設定部３２２は、分光波長λａに対する第二撮像条件のＩＳＯ感度Ｉ２＿λａを、第一撮像条件のＩＳＯ感度Ｉ１と、ＩＳＯ補正係数βｉ_λａとを用いて、Ｉ２＿λａ＝Ｉ１×βｉ_λａにより算出する。
したがって、複数の分光波長に対する分光画像を撮像する場合では、第二撮像条件設定部３２２は、各分光波長に対してそれぞれ第二撮像条件を設定する。
したがって、複数の分光波長に対する分光画像を撮像する場合では、第二撮像条件設定部３２２は、各分光波長に対してそれぞれ第二撮像条件を設定する。
【0054】
また、本実施形態では、ステップＳ６において、画像評価部３２５は、各分光画像に対して適正であるか否かの判定を行い、不適切と判定された分光波長に対して、ステップＳ８による補正係数更新部３２６による補正係数βの更新が実施される。
例えば、４００ｎｍの分光画像においてハレーションが発生し、５５０ｎｍの分光画像において輝度が不足し、７００ｎｍの分光画像において適正な分光画像と判定される場合、補正係数更新部３２６は、補正係数β＿４００を所定の補正量だけ低減させた更新値を算出し、補正係数β＿５５０を所定の補正量だけ増加させた更新値を算出し、補正係数β＿７００の更新は行わない。
例えば、４００ｎｍの分光画像においてハレーションが発生し、５５０ｎｍの分光画像において輝度が不足し、７００ｎｍの分光画像において適正な分光画像と判定される場合、補正係数更新部３２６は、補正係数β＿４００を所定の補正量だけ低減させた更新値を算出し、補正係数β＿５５０を所定の補正量だけ増加させた更新値を算出し、補正係数β＿７００の更新は行わない。
【0055】
［第三実施形態の作用効果］
本実施形態の電子デバイス１では、第二撮像条件設定部３２２は、分光素子２２１で変更可能な各分光波長に対してそれぞれ設定された補正係数β＿λに基づいて、分光波長毎の第二撮像条件を設定する。
つまり、複数の分光波長に対して共通の第二撮像条件を用いるのではなく、分光波長毎に異なる補正係数を設定し、当該補正係数に基づいて、分光波長毎の第二撮像条件を設定する。これにより、分光画像にハレーション等の異常が発生する確率が低くなり、適正な分光画像を撮像することができる。
本実施形態の電子デバイス１では、第二撮像条件設定部３２２は、分光素子２２１で変更可能な各分光波長に対してそれぞれ設定された補正係数β＿λに基づいて、分光波長毎の第二撮像条件を設定する。
つまり、複数の分光波長に対して共通の第二撮像条件を用いるのではなく、分光波長毎に異なる補正係数を設定し、当該補正係数に基づいて、分光波長毎の第二撮像条件を設定する。これにより、分光画像にハレーション等の異常が発生する確率が低くなり、適正な分光画像を撮像することができる。
【0056】
［第四実施形態］
次に、第四実施形態について説明する。
第一実施形態では、補正係数更新部３２６が、画像評価部３２５による分光画像の評価結果に基づいて、記憶部３１に記憶された補正係数を更新した。これに対して、第四実施形態では、画像評価部３２５による分光画像の評価結果に基づいて、補正係数を算出するモデルを生成する点で、上記第一実施形態と相違する。
次に、第四実施形態について説明する。
第一実施形態では、補正係数更新部３２６が、画像評価部３２５による分光画像の評価結果に基づいて、記憶部３１に記憶された補正係数を更新した。これに対して、第四実施形態では、画像評価部３２５による分光画像の評価結果に基づいて、補正係数を算出するモデルを生成する点で、上記第一実施形態と相違する。
【0057】
図６は、本実施形態における電子デバイス１Ａの概略構成を示すブロック図である。
本実施形態のプロセッサー３２は、記憶部３１に記憶されたプログラムを読み込み実行することで、図６に示すように、第一撮像条件設定部３２１、第二撮像条件設定部３２２Ａ、第一撮像制御部３２３、第二撮像制御部３２４、画像評価部３２５、補正係数更新部３２６、及びモデル生成部３２７として機能する。
本実施形態のプロセッサー３２は、記憶部３１に記憶されたプログラムを読み込み実行することで、図６に示すように、第一撮像条件設定部３２１、第二撮像条件設定部３２２Ａ、第一撮像制御部３２３、第二撮像制御部３２４、画像評価部３２５、補正係数更新部３２６、及びモデル生成部３２７として機能する。
【0058】
本実施形態では、第一実施形態や第二実施形態と同様、第一撮像条件及び補正係数に基づいて第二撮像条件を設定し、その第二撮像条件で撮像された分光画像が適正であるか否か、つまり、ハレーションなどの異常が発生していないか否かを画像評価部３２５が評価する。そして、モデル生成部３２７は、この画像評価部３２５による評価結果と、第一撮像条件と、補正係数βとを用いて、第一撮像条件を入力とし、補正係数βを出力とする補正係数出力モデルを機械学習により生成する。モデル生成時に用いる第一撮像条件、及び補正係数βは、評価対象の分光画像を撮像した時の第二撮像条件を設定するために用いた第一撮像条件、及び補正係数βである。機械学習としては、例えば、線形回帰、最小二乗法、ｋ－ＮＮなどの各種アルゴリズム、又はディープラーニング（深層学習）を用いることができる。
【0059】
なお、モデル生成部３２７は、さらに、分光画像の分光波長を教師データとして用いて補正係数算出モデルを生成してもよい。この場合、モデル生成部３２７は、第一撮像条件、及び撮像する分光画像の分光波長λを入力とし、当該分光波長λに対する補正係数β＿λを出力とする補正係数出力モデルを生成することができる。
さらには、モデル生成部３２７は、第一カメラ２１で撮像されるカラー画像を教師データとして加えて補正係数算出モデルを生成してもよい。この場合、第一撮像条件に加え、さらに、カラー画像におけるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色成分の平均階調値、最大階調値、最小階調値等の統計データを教師データとして補正係数出力モデルを生成することができ、精度の高い補正係数を算出することができる。
さらには、モデル生成部３２７は、第一カメラ２１で撮像されるカラー画像を教師データとして加えて補正係数算出モデルを生成してもよい。この場合、第一撮像条件に加え、さらに、カラー画像におけるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色成分の平均階調値、最大階調値、最小階調値等の統計データを教師データとして補正係数出力モデルを生成することができ、精度の高い補正係数を算出することができる。
【0060】
次に、本実施形態の撮像方法について説明する。
図７は、本実施形態の撮像方法を示すフローチャートである。
本実施形態では、第一実施形態と略同様の手法により、分光画像を撮像する。
すなわち、ユーザーがタッチパネル１１等を操作して分光画像を撮像するアプリケーションを選択することで、ステップＳ１の処理を実施して、制御部３０は、第一カメラ２１及び第二カメラ２２を起動させる。
次に、ステップＳ２の処理を実施して、第一撮像条件設定部３２１が、第一カメラ２１の第一撮像条件を設定し、ステップＳ３により、第一撮像制御部３２３がタッチパネル１１上に第一カメラ２１で撮像したカラー画像表示させる。
図７は、本実施形態の撮像方法を示すフローチャートである。
本実施形態では、第一実施形態と略同様の手法により、分光画像を撮像する。
すなわち、ユーザーがタッチパネル１１等を操作して分光画像を撮像するアプリケーションを選択することで、ステップＳ１の処理を実施して、制御部３０は、第一カメラ２１及び第二カメラ２２を起動させる。
次に、ステップＳ２の処理を実施して、第一撮像条件設定部３２１が、第一カメラ２１の第一撮像条件を設定し、ステップＳ３により、第一撮像制御部３２３がタッチパネル１１上に第一カメラ２１で撮像したカラー画像表示させる。
【0061】
この後、第二撮像条件設定部３２２Ａは、取得した第一撮像条件を、モデル生成部３２７によって生成された補正係数出力モデルに入力し、出力された補正係数βに基づいて、第二撮像条件を設定する（ステップＳ４Ａ）。第二撮像条件の算出方法は、第一実施形態等と同様であり、例えば、第一撮像条件に対して補正係数βを乗算することで第二撮像条件を算出する。
なお、ここでは、補正係数出力モデルから、複数の分光波長に対して共通の補正係数βが出力される例を示すが、複数の分光波長に対応したそれぞれの補正係数β＿λが出力されてもよい。
なお、ここでは、補正係数出力モデルから、複数の分光波長に対して共通の補正係数βが出力される例を示すが、複数の分光波長に対応したそれぞれの補正係数β＿λが出力されてもよい。
【0062】
この後、ステップＳ５により、第二撮像制御部３２４は、設定された第二撮像条件で第二カメラ２２を制御して分光画像を撮像し、ステップＳ６を実施して、画像評価部３２５は、撮像された分光画像が適正な画像であるか否かを評価する。
【0063】
また、本実施形態では、ステップＳ６でＮＯと判定された場合、補正係数更新部３２６は、ステップＳ４Ａで補正係数出力モデルから出力された補正係数βを更新し、さらに、第二撮像条件設定部３２２Ａは、更新された補正係数βに基づいて第二撮像条件を設定する（ステップＳ８Ａ）。補正係数更新部３２６の更新方法は、第四実施形態と同様であり、分光画像にハレーションが発生している場合は、補正係数βを所定量だけ低減させ、分光画像が不鮮明である場合は、補正係数βを所定量だけ増加させる。この後、ステップＳ５に戻る。
【0064】
一方、ステップＳ６でＹＥＳと判定される場合、ステップＳ９の処理を実施し、撮像された分光画像、又は分光画像に基づいた画像をタッチパネル１１に表示させる。
そして、本実施形態では、モデル生成部３２７は、一連の処理で得られた第一撮像条件、補正係数β、及び評価結果を記憶部３１に蓄積する（ステップＳ１０）。ステップＳ６で１度もＮＯと判定されることがない場合では、モデル生成部３２７は、第一撮像条件と、ステップＳ４Ａで得られた補正係数βと、各分光波長に対する分光画像の評価結果とを関連付けた履歴データを記憶部３１に蓄積する。また、ステップＳ６でＮＯと判定されている場合では、モデル生成部３２７は、第一撮像条件、ステップＳ４Ａで得られた補正係数β、及び分光画像の評価結果を関連付けた履歴データの他、さらに、第一撮像条件、ステップＳ８Ａで更新された補正係数、及び当該補正係数に基づいた第二撮像条件で撮像された分光画像に対するステップＳ６での評価結果を関連付けた履歴データを記憶部３１に蓄積する。
そして、本実施形態では、モデル生成部３２７は、一連の処理で得られた第一撮像条件、補正係数β、及び評価結果を記憶部３１に蓄積する（ステップＳ１０）。ステップＳ６で１度もＮＯと判定されることがない場合では、モデル生成部３２７は、第一撮像条件と、ステップＳ４Ａで得られた補正係数βと、各分光波長に対する分光画像の評価結果とを関連付けた履歴データを記憶部３１に蓄積する。また、ステップＳ６でＮＯと判定されている場合では、モデル生成部３２７は、第一撮像条件、ステップＳ４Ａで得られた補正係数β、及び分光画像の評価結果を関連付けた履歴データの他、さらに、第一撮像条件、ステップＳ８Ａで更新された補正係数、及び当該補正係数に基づいた第二撮像条件で撮像された分光画像に対するステップＳ６での評価結果を関連付けた履歴データを記憶部３１に蓄積する。
【0065】
この後、モデル生成部３２７は、蓄積された履歴データに基づいて、補正係数出力モデルを再構築して更新する（ステップＳ１１）。
なお、ステップＳ１１は、分光画像を撮像した直後でなくてもよい。例えば、分光画像が撮像される毎に、一定周期で実施されてもよく、或いは、一定量の履歴データが蓄積される毎に実施されてもよい。
このようにして、蓄積された履歴データに基づいて補正係数出力モデルが更新されることで、補正係数出力モデルから出力される補正係数をより高精度にすることができ、分光画像を撮像する際の第二撮像条件をより適正に設定することが可能となる。
なお、ステップＳ１１は、分光画像を撮像した直後でなくてもよい。例えば、分光画像が撮像される毎に、一定周期で実施されてもよく、或いは、一定量の履歴データが蓄積される毎に実施されてもよい。
このようにして、蓄積された履歴データに基づいて補正係数出力モデルが更新されることで、補正係数出力モデルから出力される補正係数をより高精度にすることができ、分光画像を撮像する際の第二撮像条件をより適正に設定することが可能となる。
【0066】
［第四実施形態の作用効果］
本態様の電子デバイス１Ａでは、プロセッサー３２は、さらに、画像評価部３２５及びモデル生成部３２７として機能する。画像評価部３２５は、第二撮像条件により第二カメラ２２で対象物を撮像した分光画像を評価する。モデル生成部３２７は、第一撮像条件、補正係数β、及び補正係数βを用いて設定された第二撮像条件で撮像された分光画像に対する画像評価部３２５の評価結果を教師データとして、第一撮像条件を入力とし、補正係数βを出力とした補正係数出力モデルを生成する。そして、第二撮像条件設定部３２２Ａは、第一撮像条件を補正係数出力モデルに入力することで補正係数βを取得し、補正係数βに基づいて第二撮像条件を設定する。
本態様の電子デバイス１Ａでは、プロセッサー３２は、さらに、画像評価部３２５及びモデル生成部３２７として機能する。画像評価部３２５は、第二撮像条件により第二カメラ２２で対象物を撮像した分光画像を評価する。モデル生成部３２７は、第一撮像条件、補正係数β、及び補正係数βを用いて設定された第二撮像条件で撮像された分光画像に対する画像評価部３２５の評価結果を教師データとして、第一撮像条件を入力とし、補正係数βを出力とした補正係数出力モデルを生成する。そして、第二撮像条件設定部３２２Ａは、第一撮像条件を補正係数出力モデルに入力することで補正係数βを取得し、補正係数βに基づいて第二撮像条件を設定する。
【0067】
本実施形態では、モデル生成部３２７が機械学習によって、第一撮像条件に対して最適な補正係数を出力する補正係数出力モデルを生成することができる。これにより、第二撮像条件設定部３２２Ａは、補正係数出力モデルに第一撮像条件を入力するだけで、第一撮像条件に応じた適切な補正係数βを得ることができ、当該補正係数βに基づいて、容易に第二撮像条件を算出することができる。
また、第一撮像条件、分光画像を撮像した際の補正係数β、及びその分光画像に対する評価結果を履歴データとして蓄積しておくことで、モデル生成部３２７は、これらの蓄積された履歴データを教師データとして機械学習を行い、補正係数出力モデルの精度を向上させることができる。
また、第一撮像条件、分光画像を撮像した際の補正係数β、及びその分光画像に対する評価結果を履歴データとして蓄積しておくことで、モデル生成部３２７は、これらの蓄積された履歴データを教師データとして機械学習を行い、補正係数出力モデルの精度を向上させることができる。
【0068】
［変形例］
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0069】
［変形例１］
上記第一実施形態から第四実施形態では、第二撮像条件設定部３２２は、露光補正係数、絞り補正係数、及びＩＳＯ補正係数のそれぞれを用いて第二撮像条件を設定する例を示したが、これに限定されない。第二撮像条件設定部３２２は、少なくとも露光補正係数を設定し、露光補正係数に基づいて露光時間を設定すればよい。絞り値及びＩＳＯ感度に関しては、例えば、絞り補正係数及びＩＳＯ補正係数を「１」として、第一撮像条件の絞り値、及びＩＳＯ感度をそのまま用いてもよい。
上記第一実施形態から第四実施形態では、第二撮像条件設定部３２２は、露光補正係数、絞り補正係数、及びＩＳＯ補正係数のそれぞれを用いて第二撮像条件を設定する例を示したが、これに限定されない。第二撮像条件設定部３２２は、少なくとも露光補正係数を設定し、露光補正係数に基づいて露光時間を設定すればよい。絞り値及びＩＳＯ感度に関しては、例えば、絞り補正係数及びＩＳＯ補正係数を「１」として、第一撮像条件の絞り値、及びＩＳＯ感度をそのまま用いてもよい。
【0070】
［変形例２］
上記第一実施形態から第三実施形態では、第一撮像条件に対して、予め設定された補正係数βの初期値を用いて第二撮像条件を設定して分光画像を撮像し、画像評価部によって適正な分光画像でないとされた場合に、補正係数βを更新することで、適正な分光画像が撮像されるように制御した。これに対して、第二撮像条件設定部３２２は、第一撮像条件や第一カメラ２１で撮像されるカラー画像に基づいて、最初に使用する補正係数βの初期値を変更してもよい。例えば、第一カメラで撮像されるカラー画像が暗く、各画素の階調値が低い場合では、第一撮像条件である、露光時間、絞り値、フォーカス距離、及びＩＳＯ感度に大きい値が設定される。この場合、補正係数βとして「１」を設定し、第二撮像条件を第一撮像条件と同一条件にして第二カメラ２２による分光画像を撮像してもよい。
上記第一実施形態から第三実施形態では、第一撮像条件に対して、予め設定された補正係数βの初期値を用いて第二撮像条件を設定して分光画像を撮像し、画像評価部によって適正な分光画像でないとされた場合に、補正係数βを更新することで、適正な分光画像が撮像されるように制御した。これに対して、第二撮像条件設定部３２２は、第一撮像条件や第一カメラ２１で撮像されるカラー画像に基づいて、最初に使用する補正係数βの初期値を変更してもよい。例えば、第一カメラで撮像されるカラー画像が暗く、各画素の階調値が低い場合では、第一撮像条件である、露光時間、絞り値、フォーカス距離、及びＩＳＯ感度に大きい値が設定される。この場合、補正係数βとして「１」を設定し、第二撮像条件を第一撮像条件と同一条件にして第二カメラ２２による分光画像を撮像してもよい。
【0071】
［変形例３］
上記第一実施形態から第四実施形態において、第二撮像条件設定部３２２は、第二カメラ２２による分光画像の撮像前に、第二撮像条件をタッチパネル１１上に表示させてもよい。さらに、第二撮像条件設定部３２２は、ユーザーの第二撮像条件の変更指示を受け付け、ユーザーの指示よって、設定した第二撮像条件または補正係数を変更してもよい。
これにより、ユーザーが分光画像の撮像前に、第二撮像条件を確認することができ、さらに、第二撮像条件や補正係数を微調整することができる。よって、ユーザーが所望する条件で分光画像を撮像することができる。
上記第一実施形態から第四実施形態において、第二撮像条件設定部３２２は、第二カメラ２２による分光画像の撮像前に、第二撮像条件をタッチパネル１１上に表示させてもよい。さらに、第二撮像条件設定部３２２は、ユーザーの第二撮像条件の変更指示を受け付け、ユーザーの指示よって、設定した第二撮像条件または補正係数を変更してもよい。
これにより、ユーザーが分光画像の撮像前に、第二撮像条件を確認することができ、さらに、第二撮像条件や補正係数を微調整することができる。よって、ユーザーが所望する条件で分光画像を撮像することができる。
【0072】
さらには、第四実施形態において、モデル生成部３２７は、ユーザーによって設定された補正係数と、当該補正係数が設定された時の第一撮像条件とを履歴データとして蓄積してもよい。これにより、ユーザーの嗜好に応じた条件を学習することができ、ユーザー毎に最適化された補正係数出力モデルを生成することができる。
【0073】
［変形例４］
上記第一実施形態から第四実施形態において、第二撮像条件設定部３２２は、補正係数βと第一撮像条件とを乗算することで第二撮像条件を算出したが、これに限定されない。例えば、第二撮像条件設定部３２２は、第一撮像条件に対して補正係数を加減算することで、第二撮像条件を算出してもよい。
上記第一実施形態から第四実施形態において、第二撮像条件設定部３２２は、補正係数βと第一撮像条件とを乗算することで第二撮像条件を算出したが、これに限定されない。例えば、第二撮像条件設定部３２２は、第一撮像条件に対して補正係数を加減算することで、第二撮像条件を算出してもよい。
【0074】
［変形例５］
上記第四実施形態では、モデル生成部３２７は、第一撮像条件を入力とし、補正係数βを出力とする補正係数出力モデルを生成する例を示したが、これに限定されない。例えば、第一撮像条件を入力とし、補正係数βに基づいて算出される第二撮像条件を出力とする補正係数出力モデルを生成してもよい。また、モデル生成部３２７は、第一撮像条件及び第一カメラ２１により撮像されるカラー画像を入力とし、第二撮像条件を出力とする補正係数出力モデルを生成してもよい。さらに、出力される第二撮像条件は、分光波長毎の第二撮像条件であってもよい。
上記第四実施形態では、モデル生成部３２７は、第一撮像条件を入力とし、補正係数βを出力とする補正係数出力モデルを生成する例を示したが、これに限定されない。例えば、第一撮像条件を入力とし、補正係数βに基づいて算出される第二撮像条件を出力とする補正係数出力モデルを生成してもよい。また、モデル生成部３２７は、第一撮像条件及び第一カメラ２１により撮像されるカラー画像を入力とし、第二撮像条件を出力とする補正係数出力モデルを生成してもよい。さらに、出力される第二撮像条件は、分光波長毎の第二撮像条件であってもよい。
【0075】
［発明のまとめ］
本開示の第一態様に係る撮像装置は、赤色波長域の光を透過させる赤色カラーフィルター、緑色波長域の光を透過させる緑色カラーフィルター、及び青色波長域の光を透過させる青色カラーフィルターを含むカラーフィルター部と、カラーフィルター部を透過した光を受光する第一受光部とを備え、赤色カラーフィルターを透過した赤色光の階調値、緑色カラーフィルターを透過した緑色光の階調値、及び青色カラーフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する第一カメラと、入射光から所定の分光波長の光を分光し、かつ、前記分光波長を４つ以上に変更可能な分光素子と、前記分光素子により分光された光を受光する第二受光部とを備え、前記分光素子により分光された各波長の分光画像を撮像する第二カメラと、前記第一カメラの撮像条件を設定する第一撮像条件設定部と、前記第一カメラの撮像条件に基づいて、前記第二カメラの撮像条件を設定する第二撮像条件設定部と、を備える。
本開示の第一態様に係る撮像装置は、赤色波長域の光を透過させる赤色カラーフィルター、緑色波長域の光を透過させる緑色カラーフィルター、及び青色波長域の光を透過させる青色カラーフィルターを含むカラーフィルター部と、カラーフィルター部を透過した光を受光する第一受光部とを備え、赤色カラーフィルターを透過した赤色光の階調値、緑色カラーフィルターを透過した緑色光の階調値、及び青色カラーフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する第一カメラと、入射光から所定の分光波長の光を分光し、かつ、前記分光波長を４つ以上に変更可能な分光素子と、前記分光素子により分光された光を受光する第二受光部とを備え、前記分光素子により分光された各波長の分光画像を撮像する第二カメラと、前記第一カメラの撮像条件を設定する第一撮像条件設定部と、前記第一カメラの撮像条件に基づいて、前記第二カメラの撮像条件を設定する第二撮像条件設定部と、を備える。
【0076】
これにより、分光画像を撮像する第二カメラに関して、ユーザーが撮像条件を設定する必要がなく、ユーザーに専門の知識も要求されないので、第二カメラを使用する際の利便性の向上を図れる。また、第一撮像条件に基づいて、第二撮像条件を設定するため、第二撮像条件を設定するために、複数回の分光画像を撮像する予備動作が不要であり、迅速な第二撮像条件の設定が可能となる。
【0077】
本態様の撮像装置において、前記第二撮像条件設定部は、前記第二撮像条件として、少なくとも露光時間を設定する。
第二受光部で光を受光する場合に、受光量が許容値を超えると分光画像にハレーションが発生し、適正な分光画像が撮像できない。このようなハレーションの発生に対して最も関連するのが露光時間であり、本態様のように、第二撮像条件として露光時間を適正に設定することで、ハレーションによる画像異常を効果的に抑制することができる。
第二受光部で光を受光する場合に、受光量が許容値を超えると分光画像にハレーションが発生し、適正な分光画像が撮像できない。このようなハレーションの発生に対して最も関連するのが露光時間であり、本態様のように、第二撮像条件として露光時間を適正に設定することで、ハレーションによる画像異常を効果的に抑制することができる。
【0078】
本態様の撮像装置において、前記第二撮像条件設定部は、前記第一撮像条件に所定の補正係数を乗算して、前記第二撮像条件を設定することが好ましい。
これにより、第二撮像条件設定部は、第一撮像条件に補正係数を乗算するだけで、容易に第二撮像条件を設定することができ、分光画像の撮像までに要する時間を短縮できる。
これにより、第二撮像条件設定部は、第一撮像条件に補正係数を乗算するだけで、容易に第二撮像条件を設定することができ、分光画像の撮像までに要する時間を短縮できる。
【0079】
本態様の撮像装置において、前記第二撮像条件設定部は、前記分光素子で変更可能な各前記分光波長に対してそれぞれ設定された前記補正係数に基づいて、前記分光波長毎の前記第二撮像条件を設定することが好ましい。
本態様では、複数の分光波長に対して共通の第二撮像条件を用いるのではなく、分光波長毎に異なる補正係数を設定し、当該補正係数に基づいて、分光波長毎の第二撮像条件を設定する。これにより、分光画像にハレーション等の異常が発生する確率が低くなり、適正な分光画像を撮像することができる。
本態様では、複数の分光波長に対して共通の第二撮像条件を用いるのではなく、分光波長毎に異なる補正係数を設定し、当該補正係数に基づいて、分光波長毎の第二撮像条件を設定する。これにより、分光画像にハレーション等の異常が発生する確率が低くなり、適正な分光画像を撮像することができる。
【0080】
本態様の撮像装置において、前記補正係数は、前記分光素子の各波長に対する透過率を示す分光特性、及び前記第二受光部の各波長に対する受光感度を示す受光感度特性を乗算したカメラ光学特性に基づいて設定されていることが好ましい。
このようなカメラ光学特性を用いることで、分光画像を撮像した場合に、第二受光部での受光量が許容値を超えやすい分光波長、受光量を検出しにくく分光画像が不鮮明になりやすい分光波長を特定することができ、各分光波長で適正な分光画像を撮像可能な第二撮像条件を算出するための補正係数を容易に設定することができる。
このようなカメラ光学特性を用いることで、分光画像を撮像した場合に、第二受光部での受光量が許容値を超えやすい分光波長、受光量を検出しにくく分光画像が不鮮明になりやすい分光波長を特定することができ、各分光波長で適正な分光画像を撮像可能な第二撮像条件を算出するための補正係数を容易に設定することができる。
【0081】
本態様の撮像装置において、前記補正係数は、前記カメラ光学特性の特性値の最大値に基づいて設定されていることが好ましい。
上述したカメラ光学特性において、特定値が最大値となる波長は、撮像した分光画像においてハレーションが発生しやすい波長であり、当該波長において、ハレーションが発生しない第二撮像条件を算出可能な補正係数を設定することで、他の各分光波長に対してもハレーションの発生を抑制することができる。
上述したカメラ光学特性において、特定値が最大値となる波長は、撮像した分光画像においてハレーションが発生しやすい波長であり、当該波長において、ハレーションが発生しない第二撮像条件を算出可能な補正係数を設定することで、他の各分光波長に対してもハレーションの発生を抑制することができる。
【0082】
本態様の撮像装置において、前記補正係数は、前記カメラ光学特性の特性値の最小値に基づいて設定されていてもよい。
上述したカメラ光学特性において、特定値が最小値となる波長は、撮像した分光画像の各画素の階調値が低く、不鮮明な画像となりやすい（Ｓ／Ｎ比が悪化しやすい）波長である。よって、当該波長において、Ｓ／Ｎ比の悪化を抑制するような補正係数を設定することで、他の各分光波長に対してもＳ／Ｎ比の悪化を抑制することができる。
上述したカメラ光学特性において、特定値が最小値となる波長は、撮像した分光画像の各画素の階調値が低く、不鮮明な画像となりやすい（Ｓ／Ｎ比が悪化しやすい）波長である。よって、当該波長において、Ｓ／Ｎ比の悪化を抑制するような補正係数を設定することで、他の各分光波長に対してもＳ／Ｎ比の悪化を抑制することができる。
【0083】
本態様の撮像装置において、前記第二撮像条件により前記第二カメラで対象物を撮像した前記分光画像を評価する画像評価部と、前記補正係数を記憶する補正係数記録部と、前記画像評価部による評価結果に基づいて、前記補正係数記録部に記憶された前記補正係数を更新する補正係数更新部と、をさらに備えることが好ましい。
本態様では、第二カメラで撮像された分光画像を画像評価部によって評価し、その評価結果において、分光画像が適正でないと判定された場合に、補正係数更新部が補正係数を更新する。これにより、複数回の分光画像の撮像処理と、画像評価部による分光画像の評価とを繰り返すことで、適正な分光画像を撮像可能な補正係数を設定することができる。
本態様では、第二カメラで撮像された分光画像を画像評価部によって評価し、その評価結果において、分光画像が適正でないと判定された場合に、補正係数更新部が補正係数を更新する。これにより、複数回の分光画像の撮像処理と、画像評価部による分光画像の評価とを繰り返すことで、適正な分光画像を撮像可能な補正係数を設定することができる。
【0084】
本態様の撮像装置において、前記第二撮像条件により前記第二カメラで対象物を撮像した前記分光画像を評価する画像評価部と、前記第一撮像条件、前記補正係数、及び当該補正係数を用いて設定された前記第二撮像条件で撮像された前記分光画像に対する前記画像評価部の評価結果を教師データとして、前記第一撮像条件を入力とし、前記補正係数を出力とした補正係数出力モデルを生成するモデル生成部と、を備え、前記第二撮像条件設定部は、前記第一撮像条件を前記補正係数出力モデルに入力することで前記補正係数を取得し、前記補正係数に基づいて前記第二撮像条件を設定することが好ましい。
【0085】
この場合、モデル生成部が機械学習によって、第一撮像条件に対して最適な補正係数を出力する補正係数出力モデルを生成することができる。これにより、第二撮像条件設定部は、補正係数出力モデルに第一撮像条件を入力することで、第一撮像条件に応じた適切な補正係数βを得ることができ、当該補正係数βに基づいて、容易に第二撮像条件を算出することができる。
また、第一撮像条件、分光画像を撮像した際の補正係数β、及びその分光画像に対する評価結果を履歴データとして蓄積しておくことで、モデル生成部は、これらの蓄積された履歴データを教師データとして機械学習を行い、補正係数出力モデルの精度を向上させることができる。
また、第一撮像条件、分光画像を撮像した際の補正係数β、及びその分光画像に対する評価結果を履歴データとして蓄積しておくことで、モデル生成部は、これらの蓄積された履歴データを教師データとして機械学習を行い、補正係数出力モデルの精度を向上させることができる。
【0086】
本開示の第二態様の携帯型端末装置は、第一態様の撮像装置と、前記撮像装置が組み込まれた筐体と、を備えることを特徴とする。
本態様のような携帯型端末装置は、例えばスマートフォンやタブレット端末、ヘッドマウントディスプレイ等の端末装置であり、ユーザーの利便性の向上が求められる。このような携帯型端末装置において、上記のような撮像装置が組み込まれることで、ユーザーの利便性を向上させることができる。
本態様のような携帯型端末装置は、例えばスマートフォンやタブレット端末、ヘッドマウントディスプレイ等の端末装置であり、ユーザーの利便性の向上が求められる。このような携帯型端末装置において、上記のような撮像装置が組み込まれることで、ユーザーの利便性を向上させることができる。
【0087】
本開示の第三態様の撮像方法は、赤色波長域の光を透過させる赤色カラーフィルター、緑色波長域の光を透過させる緑色カラーフィルター、及び青色波長域の光を透過させる青色カラーフィルターを含むカラーフィルター部と、カラーフィルター部を透過した光を受光する第一受光部とを備え、赤色カラーフィルターを透過した赤色光の階調値、緑色カラーフィルターを透過した緑色光の階調値、及び青色カラーフィルターを透過した青色光の階調値に基づいたカラー画像を撮像する第一カメラと、入射光から所定の分光波長の光を分光し、かつ、前記分光波長を４つ以上に変更可能な分光素子と、前記分光素子により分光された光を受光する第二受光部とを備え、前記分光素子により分光された各波長の分光画像を撮像する第二カメラと、を備えた撮像装置の撮像方法であって、前記第一カメラの撮像条件である第一撮像条件を設定する第一撮像条件設定ステップと、前記第一撮像条件に基づいて、前記第二カメラの撮像条件である第二撮像条件を設定する第二撮像条件設定ステップと、を実施することを特徴とする。
これにより、上述した第一態様と同様、分光画像を撮像する第二カメラに関して、ユーザーが撮像条件を設定する必要がなく、ユーザーに専門の知識も要求されないので、第二カメラを使用する際の利便性の向上を図れる。また、第一撮像条件に基づいて、第二撮像条件を設定するため、第二撮像条件を設定するために、複数回の分光画像を撮像する予備動作が不要であり、迅速な第二撮像条件の設定が可能となる。
これにより、上述した第一態様と同様、分光画像を撮像する第二カメラに関して、ユーザーが撮像条件を設定する必要がなく、ユーザーに専門の知識も要求されないので、第二カメラを使用する際の利便性の向上を図れる。また、第一撮像条件に基づいて、第二撮像条件を設定するため、第二撮像条件を設定するために、複数回の分光画像を撮像する予備動作が不要であり、迅速な第二撮像条件の設定が可能となる。
【符号の説明】
【0088】
１、１Ａ…電子デバイス（携帯型端末装置）、１０…筐体、１１…タッチパネル、１２…第一窓、１３…第二窓、２１…第一カメラ、２２…第二カメラ、３０…制御部、３１…記憶部、３２…プロセッサー、２１１…カラーフィルター部、２１２…第一受光部、２１３…第一結像光学系、２１３Ａ…第一絞り機構、２２１…分光素子、２２２…第二受光部、２２３…第二結像光学系、２２３Ａ…第二絞り機構、３２１…第一撮像条件設定部、３２２，３２２Ａ…第二撮像条件設定部、３２３…第一撮像制御部、３２４…第二撮像制御部、３２５…画像評価部、３２６…補正係数更新部、３２７…モデル生成部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】