(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-28
(45)【発行日】2024-11-06
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06V 40/19 20220101AFI20241029BHJP
A61B 5/1171 20160101ALI20241029BHJP
A61B 3/11 20060101ALI20241029BHJP
A61B 3/13 20060101ALI20241029BHJP
G06T 7/00 20170101ALI20241029BHJP
【FI】
G06V40/19
A61B5/1171 300
A61B3/11
A61B3/13
G06T7/00 510D
(21)【出願番号】P 2023205147
(22)【出願日】2023-12-05
(62)【分割の表示】P 2023064693の分割
【原出願日】2019-09-04
【審査請求日】2023-12-05
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】塚田 正人
(72)【発明者】
【氏名】舟山 知里
(72)【発明者】
【氏名】荻野 有加
(72)【発明者】
【氏名】今井 浩
(72)【発明者】
【氏名】蝶野 慶一
(72)【発明者】
【氏名】北川 恵美
(72)【発明者】
【氏名】吉田 康彦
(72)【発明者】
【氏名】山田 洋志
(72)【発明者】
【氏名】谷内田 尚司
(72)【発明者】
【氏名】柴田 剛志
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開2018-073369(JP,A)
【文献】特開2003-016434(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06V 40/18 -40/19
A61B 3/10 - 3/16
A61B 5/117- 5/1178
(57)【特許請求の範囲】
【請求項1】
対象の目部分の領域である目領域を含む第1の入力画像を取得する取得手段と、
前記第1の入力画像に含まれる対象の瞳孔サイズに基づいて、前記目領域を照射する照明の光量を決定する決定手段と、
を備え、
前記取得手段は、前記決定手段が決定した前記光量で照射された前記目領域を含む第2の入力画像を取得し、
前記第2の入力画像を用いて対象を認証する認証手段
をさらに備える情報処理装置。
【請求項2】
前記第1の入力画像から前記目領域の瞳孔の領域を検出し、検出された前記瞳孔の領域に基づいて、前記目部分の瞳孔のサイズを推定し、推定された前記瞳孔のサイズと、照度と瞳孔のサイズとの関係である照度サイズ関係とに基づいて、前記目部分の照度を推定する推定手段
を備える請求項1に記載の情報処理装置。
【請求項3】
前記推定手段は、取得した前記第1の入力画像に基づいて、虹彩の色を推定し、
前記決定手段は、推定された前記虹彩の色に応じた眩しさ条件を選択し、前記目領域の照度が、当該照度に基づいて定まる眩しさの指標が前記眩しさ条件を満たすように、前記照明の光量を決定する
請求項2に記載の情報処理装置。
【請求項4】
前記推定手段は、取得した前記第1の入力画像に基づいて、虹彩の色を推定し、
前記決定手段は、虹彩の色に応じた複数の照度サイズ関係から、推定された前記虹彩の色に基づいて前記照度サイズ関係を選択し、選択された前記照度サイズ関係に基づいて、前記照明の光量を決定する
請求項2に記載の情報処理装置。
【請求項5】
推定された前記照度と、前記照度サイズ関係とに基づいて、前記瞳孔のサイズがサイズ条件を満たすように前記照明の光量を制御することが可能であるか判定する判定手段と、
前記瞳孔のサイズが前記サイズ条件を満たすように前記照明の光量を制御できないと判定された場合、通知を行う通知手段と、
をさらに備える請求項2乃至4のいずれか1項に記載の情報処理装置。
【請求項6】
前記照明が、決定された前記照明の光量の可視光を照射するように、前記照明を制御する制御手段
をさらに備える請求項1乃至5のいずれか1項に記載の情報処理装置。
【請求項7】
前記第1の入力画像から前記目領域の強膜の領域を検出し、検出した前記強膜の領域の情報に基づいて、前記目部分の照度を推定する推定手段を備え、
前記決定手段は、前記目部分の瞳孔のサイズが所定の条件を満たすように、前記目部分を照射する可視光の前記照明の光量を決定する、
請求項1に記載の情報処理装置。
【請求項8】
取得した前記第1の入力画像から、前記目部分の照度を推定する推定手段を備え、
前記決定手段は、前記目領域の照度が、当該照度に基づいて定まる眩しさの指標が眩しさ条件を満たすように、前記目部分を照射する前記照明の光量を決定する、
請求項1に記載の情報処理装置。
【請求項9】
対象の目部分の領域である目領域を含む第1の入力画像を取得し、
前記第1の入力画像に含まれる対象の瞳孔サイズに基づいて、前記目領域を照射する照明の光量を決定し、
決定した前記光量で照射された前記目領域を含む第2の入力画像を取得し、
前記第2の入力画像を用いて対象を認証する、
情報処理方法。
【請求項10】
プログラムであって、前記プログラムは、
対象の目部分の領域である目領域を含む第1の入力画像を取得する取得処理と、
前記第1の入力画像に含まれる対象の瞳孔サイズに基づいて、第1の瞳孔サイズの対象を照射する際は、前記目領域を照射する照明の光量を決定する決定処理と、
をコンピュータに実行させ、
前記取得処理は、前記決定処理が決定した前記光量で照射された前記目領域を含む第2の入力画像を取得し、
前記プログラムは、
前記第2の入力画像を用いて対象を認証する認証処理、
をさらにコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、装置を制御する技術に関し、特に、人に光を照射する照明を制御する技術に関する。
【背景技術】
【0002】
生体による個人認証の方法として、虹彩の画像を使用して認証を行う虹彩認証がある。虹彩の形状は、瞳孔に照射される光の量によって変化する。例えば、暗い環境では、瞳孔が開く。虹彩認証に使用される画像では、瞳孔が開きすぎている場合、虹彩の領域が狭くなる。その結果、認証の精度が低下する可能性が高くなる。瞳孔に強い光が照射されている場合、瞳孔は収縮し小さくなる。瞳孔が小さすぎる場合、瞳孔の検出が失敗すること、及び、画像として取得される虹彩の形状が、認証に使用される画像における虹彩の形状と大きく異なることにより、認証精度が低下する恐れがある。虹彩を著しく小さくするような強い光の照射は、ユーザに不快感を与えるだけでなく、網膜を傷める可能性もある。虹彩認証では、瞳孔のサイズが所定の範囲に含まれている虹彩の画像を使用することによって、安全で精度の高い虹彩認証が実現できる。
【0003】
特許文献1には、個人認証に適した虹彩画像を撮像する虹彩撮像装置が記載されている。特許文献1の虹彩撮像装置は、撮影した画像に基づいて明るさを推定する。環境が暗い場合は、虹彩撮像装置は、可視光の照明光を目方向に照射する。虹彩撮像装置は、可視発光量を適宜制御し、瞳孔の大きさの異なる複数の虹彩画像を撮像する。
【0004】
特許文献2には、左右いずれか一方の眼に向けて光を照射し、光を照射している間に、他方の眼尾を撮像するよう撮像部を制御する制御システムが記載されている。特許文献4には、瞳孔のサイズが目的のサイズになるまで、照明を弱くするか強くすることによって、瞳孔が目的のサイズである虹彩画像を得る。
【0005】
特許文献3には、撮影時の環境光の明るさを考慮して表示装置の発光部を制御する表示装置及びその制御方法が記載されている。
【0006】
特許文献4には、検出した瞳孔領域の周囲の少なくとも一部の肌領域の輝度から、対象者の生体情報を計測する生体情報計測装置が記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2004-261515号公報
【文献】国際公開第2016/080031号
【文献】特開2014-155005号公報
【文献】国際公開第2014/073645号
【発明の概要】
【発明が解決しようとする課題】
【0008】
例えばウォークスルーゲートにおいて虹彩認証を行う場合、虹彩認証に適した虹彩画像を素早く得る必要がある。特許文献1の技術では、適切な虹彩画像を得るために、複数回撮影した虹彩画像から適切な虹彩画像を選択する必要がある。特許文献2の技術では、瞳孔のサイズが目的のサイズである虹彩画像が得られるまで、照明の明るさを変えながら撮影を繰り返す必要がある。これらの技術では、瞳孔のサイズが目的のサイズである虹彩画像を短時間で得られない可能性がある。
【0009】
本開示の目的は、目的の状態の虹彩画像を得るために要する時間を短縮できる制御装置等を提供することにある。
【課題を解決するための手段】
【0010】
本開示の一態様に係る情報処理装置は、対象の目部分の領域である目領域を含む第1の入力画像を取得する取得手段と、前記第1の入力画像に含まれる対象の瞳孔サイズに基づいて、前記目領域を照射する照明の光量を決定する決定手段と、を備え、前記取得手段は、前記決定手段が決定した前記光量で照射された前記目領域を含む第2の入力画像を取得し、前記第2の入力画像を用いて対象を認証する認証手段をさらに備える。
【0011】
本開示の一態様に係る情報処理方法は、対象の目部分の領域である目領域を含む第1の入力画像を取得し、前記第1の入力画像に含まれる対象の瞳孔サイズに基づいて、前記目領域を照射する照明の光量を決定し、決定した前記光量で照射された前記目領域を含む第2の入力画像を取得し、前記第2の入力画像を用いて対象を認証する。
【0012】
本開示の一態様に係るプログラムは、対象の目部分の領域である目領域を含む第1の入力画像を取得する取得処理と、前記第1の入力画像に含まれる対象の瞳孔サイズに基づいて、第1の瞳孔サイズの対象を照射する際は、前記目領域を照射する照明の光量を決定する決定処理と、をコンピュータに実行させ、前記取得処理は、前記決定処理が決定した前記光量で照射された前記目領域を含む第2の入力画像を取得し、前記第2の入力画像を用いて対象を認証する認証処理、をさらにコンピュータに実行させる。
【発明の効果】
【0013】
本開示には、目的の状態の虹彩画像を得るために要する時間を短縮できるという効果がある。
【図面の簡単な説明】
【0014】
【
図1】
図1は、本開示の第1の実施形態に係る撮像システムの構成の例を表すブロック図である。
【
図2】
図2は、人物に対する、撮像装置、可視光照明装置及び近赤外光照明装置の配置の一例を模式的に表す図である。
【
図3】
図3は、本開示の第1の実施形態に係る撮像システムの動作の一例を表すフローチャートである。
【
図4】
図4は、本開示の第1の実施形態の第1の変形例に係る制御装置の動作の例を表すフローチャートである。
【
図5】
図5は、本開示の第1の実施形態の第1の変形例に係る制御装置の動作の例を表すフローチャートである。
【
図6】
図6は、本開示の第1の実施形態の第2の変形例の撮像システムの構成の一例を表すブロック図である。
【
図7】
図7は、本開示の第1の実施形態の第3の変形例の撮像システムの構成の一例を表すブロック図である。
【
図8】
図8は、本開示の第1の実施形態の第4の変形例の撮像システムの構成を表すブロック図である。
【
図9】
図9は、本開示の第2の実施形態に係る撮像システムの構成の例を表すブロック図である。
【
図10】
図10は、本開示の第3の実施形態に係る制御装置の構成の一例を表すブロック図である。
【
図11】
図11は、本開示の第3の実施形態の制御装置の動作の一例を表すフローチャートである。
【
図12】
図12は、本開示の実施形態に係る制御装置を実現できる、コンピュータのハードウェア構成の一例を表す図である。
【
図13】
図13は、本開示の第1の実施形態に係るルックアップテーブルの一例を模式的に表す図である。
【発明を実施するための形態】
【0015】
次に、本開示の実施形態について、図面を使用して詳細に説明する。
【0016】
<第1の実施形態>
まず、本開示の第1の実施形態について、図面を使用して詳細に説明する。
【0017】
<<構成>>
図1は、本実施形態の撮像システムの構成の例を表すブロック図である。
【0018】
図1の撮像システム1は、制御装置100と、撮像装置200と、可視光照明装置300と、通知先装置500とを含む。撮像システム1は、さらに、近赤外光照明装置400を含んでいてもよい。
図1では、可視光照明装置300は、制御装置100の下に描かれているが、実際の配置は、この例の通りでなくてよい。
【0019】
図2は、人物に対する、撮像装置200、可視光照明装置300及び近赤外光照明装置400の配置の一例を模式的に表す図である。
図2に示すように、撮像装置200は、人物の頭部を撮像するように配置されていてよい。可視光照明装置300は、撮像されている人物の頭部に可視の光を照射するように配置されていてよい。近赤外光照明装置400は、撮像されている人物の頭部に近赤外光を照射するように配置されていてよい。制御装置100は、撮像装置200と通信可能に接続されている。制御装置100は、可視光照明装置300と通信可能に接続されている。制御装置100は、撮像装置200、可視光照明装置300及び近赤外光照明装置400と離れた場所に設置されていてもよい。制御装置100は、撮像装置200、可視光照明装置300及び近赤外光照明装置400に隣接して設置されていてもよい。
【0020】
以下の説明では、人物は、歩行によって移動しているとして説明を行う。しかし、人物は、歩行以外の手段で移動していてもよい。人物は、移動していなくてもよい。
【0021】
<<撮像装置200>>
撮像装置200は、動画や静止画(以下、画像と総称する)を撮像できるカメラである。撮像装置200は、撮像した画像を、制御装置100に送信する。撮像装置200は、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等のイメージセンサを含んでいてよい。撮像装置200のイメージセンサは、近赤外の波長帯(例えば、780nm(nanometer)~1000nm)の少なくとも一部を含む波長帯に感度があるセンサである。撮像装置200は、例えば、IR(Infrared)カットフィルタが取り付けられていないイメージセンサを備える可視光カメラであってもよい。この場合、撮像装置200は、カラー画像を撮像できるカメラであってもよい。撮像装置200は、グレースケールの画像を撮像できるカメラであってもよい。撮像装置200は、近赤外光カメラであってもよい。
【0022】
撮像装置200は、例えば、ウォークスルーゲートや通路などに設置されていてもよい。そして、撮像装置200は、ウォークスルーゲートや通路など(以下、歩行経路とも表記)を通行する人の顔を撮像できるように設置されていてもよい。撮像装置200の数は1つでなくてもよい。撮像装置200は、異なる範囲を撮像する複数のカメラによって実現されてもよい。具体的には、撮像装置200は、例えば、様々な身長の人が歩行経路を歩行した場合に、顔が通過しうる範囲がいずれかのカメラによって撮像されうるように並べられた、複数のカメラによって実現されていてもよい。
【0023】
撮像装置200は、ピント位置が固定された状態で撮像を行うように設定されていてもよい。ピント位置は、例えば、撮像装置200のカメラ中心から、ピントが合う位置までの距離である。この場合、撮像装置200の焦点距離及び絞り値と、撮像装置200からピントが合う平面までの距離と、に応じて、被写界深度が定められていてよい。
【0024】
本実施形態の説明では、撮像装置200の被写界深度は、撮像装置200のカメラ中心から、撮像装置200が撮像した画像においてピントが合っているとみなされる対象までの距離の範囲を表す。言い換えると、撮像装置200の被写界深度の下限は、撮像装置200から、撮像装置200が撮像した画像においてピントが合っているとみなされる最も近い対象までの距離である。撮像装置200の被写界深度の上限は、撮像装置200から、撮像装置200が撮像した画像においてピントが合っているとみなされる最も遠い対象までの距離である。撮像装置200の被写界深度は、上述の下限から、上述の上限までの範囲を表す。例えば、ピント位置が固定されている撮像装置200の前方から、移動する人物が撮像装置200に接近する状況で、撮像装置200が人物を撮像する場合、人物までの距離が、被写界深度が表す距離の範囲の上限に一致した場合、ピントが合ったとみなせる。このような状況では、ピント位置は、被写界深度の上限に設定されていてよい。撮像装置200のピント位置が固定されている場合、撮像装置200の撮像範囲は、撮像装置200までの距離が被写界深度に含まれる範囲である。
【0025】
撮像装置200は、人物等の被写体が撮像範囲に進入した場合に自動的に合焦するように設定されていてもよい。この撮像範囲は、撮像装置200がピントを合わせることができる被写体が存在しうる範囲であってよい。その場合、撮像装置200は、撮像によって得られる画像において目を検出し、目が検出された場合目に合焦するように設定されていてもよい。撮像装置200は、目に合焦する既存の様々な方法のいずれかによって、目に合焦してよい。この場合のピント位置は、撮像装置200のカメラ中心から、撮像装置200が撮像する画像において最も厳密にピントが合っているとみなされる対象までの距離であってよい。撮像装置200は、合焦の動作の間も撮像を行うよう設定されていてもよい。撮像装置200は、連続する複数の画像(フレーム)で、移動する人物の虹彩にピントが合うように設定されていてよい。言い換えると、撮像装置200は、撮像装置200が撮像範囲内を移動する人物を複数回撮像している間、その人物の虹彩の位置が撮像装置200の被写界深度に含まれるように設定されていてよい。
【0026】
撮像装置200は、撮像範囲内における人物(例えば、歩行経路における歩行者など)の有無に関わらず継続的に撮像を続けるよう設定されていてもよい。撮像装置200は、撮像範囲に歩行者などの人物が進入した場合に撮像を開始し、移動物体が撮像範囲に存在しなくなるまで撮像を続けるように、設定されていてもよい。その場合、例えば近赤外光センサや超音波センサ等によって実現される物体検出センサによって、歩行経路において人物を検出し、人物が検出された場合、検出を示す信号を撮像装置200に送信する検出装置が、撮像装置200に接続されていてもよい。以下の本実施形態の説明では、撮像装置200は、動作を開始した後、継続的に撮像を続けるように設定されている。
【0027】
撮像装置200は、撮像によって得られた画像(具体的には、画像のデータ)を、制御装置100に送出する。撮像装置200が制御装置100に送出する画像は、動画像であってもよい。撮像装置200が制御装置100に送出する画像は、複数の静止画像であってもよい。撮像装置200は、さらに、撮像時のカメラパラメータ等(以下、撮像情報と表記)を制御装置100に送出する。撮像情報は、例えば、シャッタースピード、絞り値、感度、焦点距離、ピント位置などの情報である。
【0028】
撮像装置200が複数のカメラによって実現されている場合、撮像装置200は、複数のカメラによって撮像された全ての画像を、制御装置100に送出してもよい。その場合、撮像装置200は、カメラ毎に、画像と撮像情報との組を、制御装置100に送出してよい。撮像装置200が含む全てのカメラが同一の条件で撮像するように設定され、全てのカメラの撮像情報が同一である場合、撮像装置200は、撮像情報と、カメラ毎の画像とを、制御装置100に送出してもよい。
【0029】
<<可視光照明装置300>>
可視光照明装置300は、可視光を照射する照明である。可視光照明装置300は、可視光照明装置300が照射する光の光量を、例えば制御装置100等の他の装置が制御できるように構成されている。言い換えると、可視光照明装置300は、制御装置100の制御によって、照射する光の強度を変更できるように構成されている。可視光照明装置300は、撮像装置200によって撮像される人物(例えば、歩行経路を歩行する人物)の顔の、撮像装置200によって撮像される目部分を照射するように取り付けられていてよい。なお、目部分は、人物の顔の目を含む範囲を指す。具体的には、可視光照明装置300は、可視光照明装置300が照射する光が、撮像装置200によって撮像される人物の瞳孔に入射するように取り付けられている。可視光照明装置300は、撮像装置200に取り付けられていてもよい。可視光照明装置300は、撮像装置200の光軸の方向と同じ方向に向けて取り付けられていてもよい。可視光照明装置300は、撮像装置200の近くに、撮像装置200の光軸の方向と同様の方向に向けて取り付けられていてもよい。
【0030】
可視光照明装置300の位置及び方向と、撮像装置200の位置及び方向と、の間の関係は、予め測定され、制御装置100に与えられている。
【0031】
<<近赤外光照明装置400>>
近赤外光照明装置400は、近赤外光を照射する装置である。近赤外光照明装置400は、撮像装置200が撮像を行うことが想定されている位置を照らすように設置されていてよい。近赤外光照明装置400は、撮像装置200によって撮像される人物の顔(特に目部分)が存在しうる範囲において、照射される近赤外光の強度が所定の範囲(例えば、網膜を傷めない強度)に含まれるように構成されていてよい。例えば、撮像装置200のピント位置が固定されている場合、ピント位置の面の、人物の顔が通過しうる範囲において、照射される近赤外光の強度が所定の範囲に含まれるように構成されていてよい。近赤外光照明装置400は、並べられた複数の近赤外光照明装置によって実現されていてもよい。近赤外光照明装置400は、撮像システム1が動作を開始した後、継続的に近赤外光を照射するように構成されていてもよい。近赤外光照明装置400は、撮像装置200が撮像を行っている間、近赤外光を照射するように構成されていてもよい。近赤外光照明装置400は、撮像装置200に取り付けられていてもよい。近赤外光照明装置400は、撮像装置200の近くに取り付けられていてもよい。近赤外光照明装置400は、撮像装置200の光軸の方向と同じ又は同様の方向に向けて取り付けられていてもよい。近赤外光照明装置400は、上述の物体検出センサに接続され、上述の物体検出センサによって歩行経路において動物体が検出された場合に、近赤外光を照射するよう構成されていてもよい。以下の本実施形態の説明では、近赤外光照明装置400は、撮像装置200が撮像を行っているか否かに関わらず、近赤外光の照射を継続するよう構成されている。
【0032】
<<制御装置100>>
制御装置100は、取得部110と、推定部120と、関係記憶部130と、決定部140と、制御部150と、通知部160とを含む。制御装置100は、さらに、画像記憶部170を含んでいてもよい。
【0033】
<<取得部110>>
取得部110は、撮像装置200が撮像によって得た画像(具体的には、その画像のデータ)を、撮像装置200から取得する。取得部110は、さらに、撮像情報を撮像装置200から取得する。取得部110は、撮像装置200から静止画像を取得した場合、その静止画像と撮像情報とを、推定部120に送出する。取得部110は、撮像装置200から動画像を取得した場合、取得した動画像のデータから、例えばフレーム毎の静止画像のデータを生成してもよい。そして、取得部110は、生成した静止画像のデータと、撮像情報とを、推定部120に送出してもよい。
【0034】
取得部110は、取得した画像から瞳孔を検出してもよい。取得した画像から瞳孔が検出された場合、取得部110は、その画像を推定部120に送出してよい。取得した画像から瞳孔が検出されなかった場合、取得部110は、その画像を推定部120に送出しなくてよい。
【0035】
取得部110は、取得した画像の目領域にピントがあっているか否かを判定してもよい。この目領域は、画像において、人物の顔の目を含む範囲の領域を表す。取得部110が、画像の目領域にピントがあっているか否かを判定する方法は、既存の方法のいずれかであってよい。取得部110は、例えば、取得した画像からコントラストが高い領域を検出し、検出したコントラストが高い領域から、瞳孔の領域を検出してもよい。コントラストの高い領域から瞳孔の領域が検出された場合、取得部110は、目領域にピントがあっていると判定してもよい。取得した画像の目領域にピントが合っている場合、取得部110は、その画像を推定部120に送出してもよい。取得した画像の目領域にピントが合っていない場合、取得部110は、その画像を推定部120に送出しなくてよい。
【0036】
撮像装置200が複数のカメラによって実現されている場合、上述のように、取得部110は、複数のカメラによって撮像された複数の画像を受け取る。その場合、取得部110は、受け取った複数の画像から瞳孔の領域を検出してもよい。取得部110は、取得した複数の画像のうち、瞳孔が検出された画像を推定部120に送出し、瞳孔が検出されない画像を推定部120に送出しなくてもよい。
【0037】
取得部110は、受け取った複数の画像から、目領域にピントがあっている画像を抽出してもよい。受け取った複数の画像から、目領域にピントがあっている画像が抽出された場合、取得部110は、抽出された、目領域にピントがあっている画像を、推定部120に送出してよい。受け取った複数の画像から、目領域にピントがあっている画像が抽出されなかった場合、取得部110は、画像を推定部120に送出しなくてよい。
【0038】
取得部110は、取得した、画像及び撮像情報を、画像記憶部170に格納してもよい。
【0039】
<<推定部120>>
推定部120は、取得部110から、画像(具体的には、画像のデータ)と、撮像情報とを受け取る。推定部120は、受け取った撮像情報に基づいて、受け取った画像から、目部分における照度を推定する。上述のように、目部分は、目を含む顔の領域を指す。本実施形態では、目部分は、少なくとも、瞳孔を含む虹彩と、強膜とを含む。本実施形態では、瞳孔の照度は、目部分の照度と同じであるとみなされる。言い換えると、本実施形態では、瞳孔の照度は、強膜の照度と同じであるとみなされる。
【0040】
推定部120は、受け取った画像から、まず、目の強膜の領域を検出する。具体的には、推定部120は、受け取った画像において、瞳孔の領域を抽出してよい。推定部120は、抽出された瞳孔の位置に基づいて、強膜の領域を抽出してよい。具体的には、推定部120は、例えば、瞳孔を囲む虹彩の輪郭と、虹彩を含む目の輪郭とを検出してもよい。推定部120は、虹彩の輪郭と目の輪郭との間の、虹彩の領域よりも明るい領域を、強膜の領域として抽出してよい。推定部120による強膜の領域を抽出する方法は、以上の例に限られない。
【0041】
推定部120は、さらに、撮像情報と、強膜の領域の画素値とに基づいて、強膜の照度を推定する。具体的には、推定部120は、感度、絞り値、シャッタースピードなどの撮像情報と、強膜の領域の画素値によって表される強膜の領域の明度とに基づいて、強膜の照度を推定する。推定部120は、所与の反射特性を備える強膜が、受け取った撮像情報によって表される条件で撮像された場合に、画像から抽出された強膜の画素値になる場合の、強膜の照度を推定してよい。強膜の反射特性は、近似的に適宜定められていてよい。例えば、推定部120は、強膜の、鏡面反射に近い反射が起きている部分以外の部分は、一定の反射率を持つ均等拡散反射面であるとみなしてもよい。推定部120は、検出した強膜の領域において、所定の基準よりも明るい画素を、鏡面反射に近い反射が起きている部分の画素として検出してよい。推定部120は、鏡面反射に近い反射が起きている部分の画素として検出された画素を、画素値が照度の算出に使用される強膜の領域から除外してよい。そして、推定部120は、画像における強膜の領域の画素値と、強膜の反射率とに基づいて、強膜の領域における照度を算出してよい。制御装置100の管理者が、例えば反射率を予め実験的に得ておき、推定部120に与えていてよい。推定部120は、推定した強膜の照度を、瞳孔を含む目部分の照度とする。
【0042】
推定部120は、撮像装置200による撮像によって得られる画像がカラー画像である場合、カラー画像における強膜の領域の輝度を、以下で説明する算出方法に従って算出してよい。
【0043】
例えば撮像装置200などのカメラで撮影されたカラー画像中の強膜の輝度の算出方法について説明する。カラー画像に含まれる各画素の画素値は、R(Red)成分の値と、G(Green)成分の値と、B(Blue)成分の値とによって表されているとする。言い換えると、カラー画像はRGBで構成されているものとする。このRGBの色度および白色の色度は、カメラの色特性としてあらかじめ指定され得る。RGBの色度および白色の色度は、推定部120に予め与えられていてよい。RGB表色系のRGBのデータ(RGBの3つの値)は、XYZ表色系における三刺激値XYZに一意に変換できるように設定されている。以下では、RGBのデータを三刺激値XYZのデータに変換する変換方法の一例を示す。入力画像のRGBと三刺激値XYZとの関係は、例えば、次式(1)のように定められる。
【数1】
【0044】
式(1)において、M
RXは、3×3変換行列である。ここで、カメラから出力される撮影画像は、一般にガンマ補正が施されたRGBであるが、式(1)におけるRGBは、ガンマ補正が施されていないリニアな特性(γ=1.0)を有するものとする。RGBをXYZに変換する変換式は、式(1)の例に限られない。変換式は、RGBからXYZに一意に変換できる式であればよく、例えば、2次の項を追加した形として次のように定められていてもよい。
【数2】
【0045】
ここで、M’RXは、3×9変換行列である。
【0046】
なお、MRXやM’RXは、例えば、既知のカラーパッチを用いたカメラのカラーキャリブレーションを実施することで予め算出され、推定部120に与えられていてよい。
【0047】
撮影時におけるカメラレンズの絞り値F、シャッタースピード、及び、ゲインの情報が得られていれば、三刺激値Yを、絶対輝度L(cd/m2)に変換することができる。
【0048】
撮像装置200は、撮影時における絞り値F、シャッタースピード、及び、ゲインの情報を、制御装置100の取得部110に送出してよい。取得部110は、撮影時における絞り値F、シャッタースピード、及び、ゲインの情報を、制御装置100から受け取り、受け取った撮影時における絞り値F、シャッタースピード、及び、ゲインの情報を、推定部120に送出してよい。推定部120は、取得部110から、撮影時における絞り値F、シャッタースピード、及び、ゲインの情報を受け取ってよい。推定部120は、撮影時における絞り値F、シャッタースピード、及び、ゲインの情報とから、例えば以下に示す方法に従って、三刺激値Yを絶対輝度L(cd/m2)に変換してよい。
【0049】
式(2)で算出される三刺激値Yを絶対輝度L(cd/m2)(Candera/meter2)に変換する方法の一例を示す。三刺激値Yは、三刺激値XYZのうち、刺激値Yを表す。推定部120は、以下の方法に従って、三刺激値Yを絶対輝度Lに変換してよい。一般に、カメラによる撮影では、例えばカメラが、適正露出を得るために、レンズの絞り値F、シャッタースピード、ゲインを設定する。以下の説明では、入力画像を撮像した際のゲインは、1.0に設定されているものする。すなわち、推定部120は、撮像装置200から取得部110を介して、入力画像を撮影した際に設定されていたゲインの値として、1.0を示すデータを取得したとする。この場合、カメラへの入射光の量である絶対輝度Lに対する撮像画像上の画素値(R、G、B)に対応する三刺激値Yは、レンズ絞り値Fとシャッタースピードの2つの変数によって決定される。
【0050】
まず、使用するカメラについて、あらかじめキャリブレーションを実施しておく。具体的には、キャリブレーションでは、例えば、撮像の条件(すなわち、入射光の量(絶対輝度L(cd/m2))と、レンズ絞り値Fと、シャッタースピードと)を変化させながら、複数の撮像画像を撮像する。撮像画像の画素値(R、G、B)から、式(1)又は式(2)によって、三刺激値Yを算出する。そして、撮像画像を撮像した時の撮像の条件(すなわち、入射光の量である絶対輝度L、レンズ絞り値F、及びシャッタースピード)と、撮像画像から得られる三刺激値Yとの関係を導出する。
【0051】
具体的には、そのような関係として、LUT(Look Up Table)を生成してよい。このLUTでは、撮像の条件に該当する複数の値(すなわち、絶対輝度Lと、レンズ絞り値Fと、シャッタースピードSと)と、撮像された画像の前述の絶対輝度Lの場所に該当する画素の画素値から算出された三刺激値Yと、が関連付けられていてよい。LUTは、そのような、絶対輝度Lと、レンズ絞り値Fと、シャッタースピードSと、三刺激値Yと、の組み合わせを、複数含んでいてよい。LUTは、レンズ絞り値Fと、シャッタースピードSと、三刺激値Yと、の組み合わせによって、絶対輝度Lが一意に定まるように生成されてよい。
【0052】
レンズ絞り値Fと、シャッタースピードと、撮像された画像の画素値から算出された三刺激値Fとが得られていれば、このLUTによって絶対輝度Lが得られる。従って、このキャリブレーションにより、レンズ絞り値Fと、シャッタースピードと、三刺激値Yとに対応する入射光の量である絶対輝度Lを得るためのLUTが生成される。このLUTを利用することにより、カメラによる撮影時の条件(すなわち、レンズ絞り値F及びシャッタースピード)と、その条件で撮像した画像の画素値(R、G、B)に対応する三刺激値Yとから、撮影時の入射光の量である絶対輝度L(cd/m2)を決定できる。
【0053】
このようなLUTが、あらかじめ推定部120に与えられていてよい。推定部120は、入力画像と、入力画像が撮像されたときのレンズ絞り値F及びシャッタースピードとを受け取る。推定部120は、入力画像から強膜の領域を抽出する。推定部120は、抽出された強膜の領域に含まれる画素の画素値(R、G、B)から、三刺激値Yを算出する。推定部120は、受け取ったレンズ絞り値及びシャッタースピードと、算出された三刺激値Yとから、LUTを使用して、絶対輝度Lを決定する。LUTは、同じ絞り値とシャッタースピードとの組み合わせに対して、異なる複数の絶対輝度Lと三刺激値Yとの組み合わせを含んでいてよい。
【0054】
受け取った絞り値とシャッタースピードとに関連付けられ、画素値から算出された三刺激値と一致する三刺激値がLUTに含まれている場合、推定部120は、LUTにおいてその三刺激値に関連付けられている絶対輝度を特定する。推定部120は、特定した三刺激値を、三刺激値に対応する絶対輝度としてよい。なお、三刺激値に対応する絶対輝度は、三刺激値が算出された画素値として明るさが表されている対象の絶対輝度を表す。
【0055】
図13は、LUTの一例を表す図である。
図13を使用して、LUTの一例を説明する。キャリブレーションでは、完全白色板を、絞り値と、シャッタースピードとを変化させながら、複数回撮影する。例えば、完全白色板からカメラに入射する光の量がL1又はL2であり、絞り値がF1又はF2であり、シャッタースピードがS1又はS2である、8通りの条件で撮影した場合、8つの撮影画像が得られる。得られた各撮影画像の画素値に対する三刺激値を、式(1)又は式(2)によって求めることにより、8つの三刺激値Yが得られる。8つの撮影条件と、8つの撮影条件において得られる8つの三刺激値Yとから、
図13に示すようなLUTを生成する。推定部120は、例えば
図13に示すようなLUTを、あらかじめ保持しておく。
【0056】
次に、LUTを使用して、入射光の量を算出する方法について説明する。推定部120は、受け取った入力画像の画素値から、三刺激値Yを算出する。
【0057】
具体例として、絞り値がF1であり、シャッタースピードがS2である状態で撮影した入力画像から、入射光の量L(すなわち、絶対輝度L)を計算する場合について説明する。推定部120は、絞り値F1、シャッタースピードS2にて撮影した画像の画素値から、三刺激値Y
Xを計算する。そして、推定部120は、LUTから、入力画像の撮影条件と同じ撮影条件(すなわち、絞り値がF1であり、シャッタースピードがS2である状態)で撮影された画像から計算された三刺激値を抽出する。
図13に示す例では、絞り値がF1であり、シャッタースピードがS2である状態で撮影された画像から計算された三刺激値は、Y2とY6とである。推定部120は、LUTから抽出された三刺激値Y2及びY6と、入力画像から計算された三刺激値YXとを比較する。推定部120は、三刺激値がY2である場合の入射光の量と、三刺激値がY6である場合の入射光の量とを、LUTから読み出す。
図13に示す例では、三刺激値がY2である場合の入射光の量はL1であり、三刺激値がY6である場合の入射光の量はL2である。推定部120は、LUTから抽出された三刺激値Y2及びY6と、入力画像から計算された三刺激値YXとの差と、LUTから読み出された入射光の量はL1及びL2とから、既存の方法である内挿計算などにより入射光の量LXを算出する。なお、
図13に示す例では、撮影の条件は8通りであるが、撮影の条件の数は8通りに限られない。LUTを作成する際には、さらに多くの条件での撮影を行い、LUTの情報量を拡充させてよい。そのようなLUTを使用することにより、より精度の高い入射光の量(すなわち、絶対輝度L)が得られる。
【0058】
なお、カメラ(カメラからレンズが取り外せる場合は、カメラ及びレンズ)の機種や個体差により、入射光の量、レンズ絞り値F、シャッタースピード、画像出力値の関係は異なる場合がある。従って、カメラ(カメラからレンズが取り外せる場合は、カメラ及びレンズの組み合わせ)ごとのキャリブレーションを実施することでより、三刺激値Yを精度の高い絶対輝度L(cd/m2)に変換できるLUTを生成できる。
【0059】
次に、強膜の領域における照度の算出方法について説明する。推定部120は、画像中の反射体の各画素位置における見かけの放射照度を計算する。放射照度の計算には、参考文献1に記載されている手法や参考文献2に記載の手法が応用できる。
(参考文献1)佐藤いまり, 佐藤洋一, 池内克史,“物体の陰影に基づく光源環境の推定”,情報処理学会論文誌:コンピュータビジョンとイメージメディア, Vol.41, No. SIG 10(CVIM 1), 2000年12月。
(参考文献2)大石岳史, 大藏苑子, 川上玲, 阪野貴彦, 池内克史, “全方位カメラを用いた光源環境と対象物の同時撮影法に基づく人物モデルおMRシステムへの重畳”, 画像の認識・理解シンポジウム(MIRU2009), 2009年7月。
【0060】
図14は、面光源を考慮した全周光環境モデルを模式的に表す図である。
図14に示す、面光源を考慮した全周光環境モデルを用いて、放射照度の計算について説明する。点Aは、球の中心である。反射体の任意の点が、球の中心Aとして選択され得る。このモデルでは、光源と中心Aを遮る遮蔽物はないものとして球の中心Aにおいて観測される、全周辺からの光源の放射輝度分布がモデル化される。この放射輝度分布をL(θ,φ)とする。ここで、φは方位角、θは天頂角を表わす。
【0061】
中心Aにおける照度E
Aは、微小天頂角dθ
iと微小方位角dφ
iとによって表わされる微小立体角dω
iから受け取る入射光エネルギーを、全方向において積分することによって得られる。照度E
Aは、例えば次式によって表される。
【数3】
【0062】
ここで、dθiは微小天頂角を表し、dφiは微小方位角を表す(iはincidentを示す)。上記式(3)が成り立つ条件は、反射体の光の反射特性がランバート反射であることである。強膜における反射は、必ずしもランバート反射とは言えない。しかし、撮像装置200が通行する人の顔を撮像する状況は、目という微小物体を離れた距離から観測する状況に該当する。そのため、強膜上の点が中心Aとして選択されている場合、中心Aで反射される光は、あらゆる方向から中心Aに入射した周辺環境光が積分された形となっており、視点方向によらず一定となる。従って、上記式(3)は、強膜の照度について妥当であると言える。言い換えると、強膜の照度は、式(3)によって、近似的に表される。
【0063】
画像として記録された反射体における輝度値I
Aは、式(4)によって示されるように、照度E
Aと反射体の表面反射率S
Aとの積によって表わされる。反射体の表面反射率S
Aは、あらかじめ、例えば測定により得ておくことができる。ここで、輝度値I
Aとして、式(1)や式(2)によって計算される三刺激値Yと、撮影時におけるカメラレンズの絞り値Fと、シャッタースピードと、ゲインと、などから決定できる、絶対輝度Lを用いることができる。推定部120は、算出された絶対輝度LであるI
Aを、あらかじめ得られている表面反射率S
Aによって割ることにより、照度E
Aを算出してよい。
【数4】
【0064】
輝度値がカメラによって記録された画像輝度である場合、画像輝度には、波長λの関数として表わされる、カメラの分光感度特性が反映される。ここで、カメラの分光感度特性がデルタ関数によって近似されるとすると、波長λは定数とみなせる。したがって、点Aにおける画像輝度I
A
k(kはr, g, b)は、以下のように表わされる。
【数5】
【0065】
ここで、τ
kはカメラゲインである。推定部120は、カメラからカメラゲインを取得してよい。すなわち、式(5)より、点Aにおける照度E
A
kは、点Aにおける画像輝度I
Aおよびカメラゲインから算出することができる。反射体の表面反射率S
A
k(kはr、g、b)は、あらかじめ、例えば測定によって得られているとする。推定部120は、I
A
kをτ
kとS
A
kとで割ることによって、E
A
kを算出してよい。可視光の照度E
Aは、式(6)に示すように、E
A
r、E
A
g、E
A
bを加算することによって得られる。
【数6】
【0066】
以上の計算により、強膜の周辺の照度EAが得られる。
【0067】
推定部120は、目部分の照度を、決定部140に送出する。推定部120は、さらに、距離情報を決定部140に送出してよい。距離情報は、3次元空間における、可視光照明装置300から目部分までの距離を表す情報であってよい。
【0068】
例えば、可視光照明装置300から目部分までの距離が、撮像装置200から目部分までの距離と同じであるとみなされる場合、推定部120は、撮像装置200から目部分までの距離を表す情報を、上述の距離情報として、決定部140に送出してもよい。例えば、撮像装置200が、ピント距離が固定されているよう構成されており、撮像装置200から目部分までの距離が与えられている場合、推定部120は、その与えられている距離を、可視光照明装置300から目部分までの距離にしてよい。取得部110が、撮像装置200から送出されたピント距離を取得した場合、推定部120は、取得部110によって取得されたピント距離を、可視光照明装置300から目部分までの距離にしてよい。
【0069】
可視光照明装置300から目部分までの距離が、撮像装置200から目部分までの距離と同じであるとみなされる場合、推定部120は、可視光照明装置300から目部分までの距離を推定してよい。具体的には、推定部120は、撮像装置200と可視光照明装置300との間の位置関係、及び、撮像装置200と目部分との間の位置関係に基づいて、可視光照明装置300から目部分までの距離を推定してよい。この場合、撮像装置200と可視光照明装置300との間の位置関係は、予め与えられていてよい。また、推定部120は、撮像装置200によって撮像された目部分の領域を含む画像と、撮像装置200によって目部分の領域を含む画像が撮像された際の撮像情報とに基づいて、撮像装置200と目部分との間の位置関係を算出してよい。
【0070】
(変形例)
次に、推定部120の変形例について説明する。本変形例の推定部120は、LUTを使用して絶対輝度を算出する場合に、以下で説明するように絶対輝度を算出してよい。本変形例の推定部120は、以下の説明のように動作する場合を除いて、上述の推定部120と同様に動作してよい。受け取った絞り値とシャッタースピードとに関連付けられ、画素値から算出された三刺激値と一致する三刺激値がLUTに含まれていない場合、推定部120は、LUTに含まれる三刺激値から、算出された三刺激値に最も近い、例えば2つの三刺激値を抽出する。そして、推定部120は、抽出された三刺激値と算出された三刺激値との差に基づく補間によって、抽出された三刺激値に関連付けられている絶対輝度から、算出された三刺激値に対する絶対輝度を算出してよい。例えば、LUTにおいて、受け取った絞り値とシャッタースピードとに関連付けられている、算出された三刺激値Yaに最も近い2つの三刺激値が、Yb及びYcであり、Ybに関連付けられている絶対輝度がLbであり、Ycに関連付けられている絶対輝度がLcであるとする。この場合、推定部120は、三刺激値Yaが導出された画素値を持つ画素に対応する対象の絶対輝度Laを、例えば、式La=Lb+(Lc-Lb)x(Ya-Yb)/(Yc-Yb)によって算出してもよい。
【0071】
受け取った絞り値とシャッタースピードとに関連付けられ、画素値から算出された三刺激値と一致する三刺激値がLUTに含まれていない場合、推定部120は、それぞれ絶対輝度に関連付けられている3つ以上の三刺激値をLUTから選択してもよい。3つ以上の三刺激値を選択する方法は、例えば、はずれ値を除外して選択する方法など、既存の様々な方法のいずれかであってよい。この場合、推定部120は、選択された三刺激値に基づいて、算出された三刺激値Yに対応する絶対輝度Lを算出する。具体的には、推定部120は、例えば、最小二乗法によって、三刺激値と絶対輝度との間の関係を表す関数を導出してもよい。そのような関数は、あらかじめ定められた種類の曲線(例えば直線)であってよい。推定部120は、導出した関数によって、算出した三刺激値Yから絶対輝度Lを算出してもよい。
【0072】
LUTが、受け取った絞り値とシャッタースピードとの組み合わせを含んでいない場合、推定部120は、撮影条件が、受け取った絞り値とシャッタースピードである場合の、絶対輝度Lと三刺激値Yとの組み合わせを、LUTを使用して算出してもよい。
【0073】
具体的には、推定部120は、まず、LUTに含まれる組み合わせから、受け取った絞り値とシャッタースピードとに最も近い、絞り値とシャッタースピードとを含む組み合わせを抽出してよい。
【0074】
絞り値がF値によって表されている場合、絞り値が2の平方根倍になると、絞りの開口部の面積は半分になる。なお、F値は、レンズの焦点距離を有効口径で割った値である。F値は、文字「F」と有効数字最大2桁の小数又は整数とをつなげた文字列によって表されることもあるが、ここでは、F値は、実数によって表されている。シャッタースピードが、シャッターが開いている時間の長さによって表されている場合、シャッタースピードの値が半分になると、シャッターが開いている時間は半分になる。
【0075】
カメラの光学系と撮影対象とがそれぞれ同一である場合、絞り値の二乗の対数(すなわち、絞り値の対数の2倍)と、シャッタースピードの対数の符号を反転させた値との和が同じであれば、撮像された画像における撮影対象の明るさは同じになるはずである。これらの場合、対数の底は、例えば2でよい。F値である絞り値の二乗の対数と、時間の長さによって表されるシャッタースピードの対数の符号を反転させた値との和を、以下では、明るさ値と表記する。この明るさ値が小さいほど、その明るさ値が算出された絞り値及びシャッタースピードで撮影された画像の明るさは明るくなる。明るさ値の符号は、逆であってもよい。
【0076】
絞り値は、例えば、所定の絞りの状態を基準とした段数によって表されていてもよい。この段数は、2つの絞りの状態の間の差を、絞りの開口部の面積の倍率によって表す数値である。以下、基準である絞りの状態を基準状態と表記する。一般に、絞りが一方の状態である場合の絞りの開口部の面積が、絞りが他方の状態である場合の開口部の面積の2n倍(又は(1/2)n倍)である場合、2つの状態の間の差を表す段数はnである。ここでは、ある状態(状態Aとする)における絞りの開口部の面積が、基準状態における絞りの開口部の面積の(1/2)n倍である場合、状態Aの段数を+nであるとする。ある状態(状態Bとする)における絞りの開口部の面積が、基準状態における絞りの開口部の面積の2n倍である場合、状態Bの段数は-nであるとする。この場合、段数は、絞りの2つの状態を表す2つのF値の、2を底とする対数の差である。
【0077】
シャッタースピードも、例えば、所定のシャッタースピードを基準とした段数によって表されていてもよい。この段数は、2つのシャッタースピードの間の差を、シャッタースピードが表す時間の長さの倍率によって表す数値である。以下、基準であるシャッタースピードを、基準シャッタースピードと表記する。一般に、一方のシャッタースピードが表す時間の長さが、他方のシャッタースピードが表す時間の長さの2n倍(又は(1/2)n倍)である場合、2つのシャッタースピードの間の差を表す段数はnである。ここでは、あるシャッタースピード(シャッタースピードAとする)が表す時間の長さが、基準シャッタースピードが表す時間の長さの(1/2)n倍である場合、シャッタースピードAの段数を-nであるとする。あるシャッタースピード(シャッタースピードとする)が表す時間の長さが、基準シャッタースピードが表す時間の長さの2n倍である場合、シャッタースピードBの段数は-nであるとする。この場合、段数は、2つのシャッタースピードの、2を底とする対数の差である。
【0078】
この場合の明るさ値は、所定絞りからの段数によって表される絞り値から、所定シャッタースピードからの段数によって表されるシャッタースピードを引いた値であってよい。
【0079】
推定部120は、受け取った絞り値とシャッタースピードとから、明るさ値を算出してよい。受け取った絞り値とシャッタースピードとから算出される明るさ値を、以下では対象明るさ値と表記する。推定部120は、LUTに含まれる絞り値とシャッタースピードとの組み合わせの各々について、上述の明るさ値を算出しておいてよい。LUTに含まれる絞り値とシャッタースピードとの組み合わせから算出される明るさ値を、以下ではLUT明るさ値と表記する。
【0080】
推定部120は、LUT明るさ値から、受け取った絞り値及びシャッタースピードから算出された対象明るさ値と一致するLUT明るさ値を抽出してもよい。
【0081】
推定部120は、抽出されたLUT明るさ値が算出された絞り値とシャッタースピードとの組み合わせを、LUTから抽出してよい。抽出された組み合わせに、入力画像から算出された三刺激値Yに一致する三刺激値Yと関連付けられている組み合わせが存在する場合、推定部120は、その組み合わせに関連付けられている絶対輝度を特定する。推定部120は、特定した絶対輝度を、対象の絶対輝度に決定する。
【0082】
抽出された組み合わせに、入力画像から算出された三刺激値Yに一致する三刺激値Yと関連付けられている組み合わせが存在しない場合、推定部120は、抽出された組み合わせから複数の組み合わせを選択する。推定部120は、入力画像から算出された三刺激値に最も近い2つの三刺激値に関連付けられている、2つの組み合わせを選択してもよい。推定部120は、選択した2つの三刺激値Yに関連付けられている2つの絶対輝度から、上述のような補間によって、入力画像から算出された三刺激値に対応する絶対輝度を算出してもよい。推定部120は、3つ以上の三刺激値Yに関連付けられている、3つ以上の組み合わせを選択してもよい。推定部120は、選択した3つ以上の組み合わせに関連付けられている三刺激値と絶対輝度とから、例えば上述のように関数を導出してよい。そして、推定部120は、導出した関数によって、入力画像から算出された三刺激値Yに対応する絶対輝度を算出してもよい。
【0083】
対象明るさ値と一致するLUT明るさ値が存在しない場合、推定部120は、LUT明るさ値から対象明るさ値を引いた値pを算出する。推定部120は、さらに、そのLUT明るさ値が算出された絞り値及びシャッタースピードに関連付けられている三刺激値Yに2pをかけた値(以下、補正三刺激値と表記)を算出してよい。そして、入力画像から算出された三刺激値と一致する補正三刺激値が存在する場合、推定部120は、その補正三刺激値が算出された三刺激値に対応する絶対輝度を、入力画像から算出された三刺激値に対応する絶対輝度に決定してもよい。入力画像から算出された三刺激値と一致する補正三刺激値が存在しない場合、推定部120は、入力画像から算出された三刺激値に近い2つの補正三刺激値を選択してよい。推定部120は、選択した2つの補正三刺激値と、それらの補正三刺激値が算出された三刺激値に対応する2つの絶対輝度とに基づいて、上述のような補間によって、入力画像から算出された三刺激値Yに対応する絶対輝度を算出してもよい。推定部120は、3つ以上の三刺激値を算出する上述の方法と同様の方法で3つ以上の補正三刺激値を選択してもよい。そして、推定部120は、選択した3つ以上の補正三刺激値から、入力画像から算出された三刺激値Yに対応する絶対輝度を導出してもよい。その場合の絶対輝度を導出する方法は、3つ以上の三刺激値に基づいて、入力画像から算出された三刺激値Yに対応する絶対輝度を導出する上述の方法同様の方法であってよい。
【0084】
<<関係記憶部130>>
関係記憶部130は、瞳孔サイズと照度との関係を記憶する。人間の瞳孔の大きさ(すなわち瞳孔サイズ)は、目部分の照度に応じて、約2mm(millimeter)から約8mmの間で変化する。関係記憶部130は、例えば実験的に決定された、瞳孔サイズと照度との関係を表すデータを記憶している。関係記憶部130が記憶する、照度と瞳孔との関係を表すデータは、例えば、照度から、目部分の照度がその照度である場合の瞳孔サイズが得られるデータであり、瞳孔サイズから、瞳孔サイズがその瞳孔サイズである場合の照度が得られるデータである。照度と瞳孔との関係を表すデータを、以下では、照度サイズ関係とも表記する。
【0085】
<<決定部140>>
決定部140は、推定部120から、目部分の照度を受け取る。決定部140は、目部分の照度と、照度サイズ関係とに基づいて、瞳孔のサイズが所定の条件(以下、サイズ条件と表記)を満たすために目部分に照射する照明の光量を決定する。サイズ条件は、例えば、瞳孔サイズの目標値によって表されていてもよい。サイズ条件は、瞳孔サイズの範囲によって表されていてもよい。その場合、決定部140は、サイズ条件に基づいて、所定の方法によって瞳孔サイズの目標値を決定してもよい。決定部140は、例えば、サイズ条件によって表されるサイズの範囲の中心の値を、目標値に決定してもよい。決定部140は、例えば、サイズ条件によって表される範囲のうち最も大きい値を、目標値に決定してもよい。決定部140は、例えば、サイズ条件によって表される範囲のうち最も小さい値を、目標値に決定してもよい。決定部140は、他の値を、目標値に決定してもよい。
【0086】
決定部140は、例えば、照度サイズ関係に基づいて、瞳孔サイズが目標値になる照度(以下、目標照度と表記)を決定する。そして、決定部140は、目標照度と、受け取った目部分の照度との差(以下、追加照度とも表記)を算出する。決定部140は、目部分の照度を目標照度にするために、可視光照明装置300によって目部分に照射する光の量(以下、照明の光量とも表記)を、例えば可視光照明装置300と目部分との距離に基づいて決定する。言い換えると、決定部140は、目部分における可視光照明装置300による照度が追加照度になるように、可視光照明装置300によって照射される光の光量を、例えば可視光照明装置300と目部分との距離に基づいて決定する。決定部140は、決定された光量の光を目部分に照射するのに必要な、可視光照明装置300の明るさの設定値を決定してもよい。
【0087】
可視光照明装置300が照射する光の光量を算出するために、決定部140は、まず、可視光照明装置300から目部分までの距離を算出してよい。決定部140は、例えば、撮像装置200の撮像情報と、撮像装置200と可視光照明装置300との間の位置関係とに基づいて、可視光照明装置300から目部分までの距離を算出してよい。具体的には、決定部140は、撮像装置200のカメラパラメータと、撮像装置200からピントが合っている位置までの距離と、撮像された画像における、目部位の領域である目領域の位置と、に基づいて、撮像装置200と目部位との位置関係を求めてもよい。
【0088】
例えば、決定部140は、まず、撮像された画面における目部位の領域の位置と、カメラパラメータ(例えば、画角)とに基づいて、撮像装置200を基準とした、目部位の方向を算出してよい。撮像された画像において目部位にピントが合っている場合、目部位は、ピントが合う面の上に存在する。ピントが合う面の形状と、撮像装置200に対する位置は、あらかじめ決定部140に与えられていてよい。決定部140は、目部位の方向に向かう直線と、ピントが合う面との交点を、目部位の位置として算出してもよい。決定部140は、目部位の位置として、撮像装置200に対する目部位の相対位置を算出してよい。決定部140は、撮像装置200に対する目部位の相対位置と、撮像装置200と可視光照明装置300との間の相対位置とに基づいて、可視光照明装置300に対する目部位の相対位置を算出してよい。
【0089】
決定部140は、さらに、目部位と可視光照明装置300との間の位置関係(すなわち、上述の相対位置)と、可視光照明装置300の照明の特性(例えば、配光特性)に基づいて、目部位の位置の照度が目標照度になる、可視光照明装置300の光量を算出する。可視光照明装置300の照明の特性は、例えば、可視光照明装置300が向いている方向からの角度に応じた光量を表す配光特性であってよい。配光特性は、例えば、可視光照明装置が向いている方向の光量に対する割合によって表されていてもよい。可視光照明装置300の照明の特性は、あらかじめ与えられていてよい。また、目部位の形状は、例えば、平面であると仮定されていてよい。言い換えると、目部位の形状は、例えば、平面によって近似されていてもよい。目部位の方向は、例えば、歩行経路の方向に垂直な方向であると仮定されていてもよい。例えば推定部120が、取得された画像において顔の検出を行い、検出された顔の方向を推定してもよい。この場合、推定部120は、撮像装置200の向きを基準とした、顔の方向を推定してよい。決定部140は、決定された顔の方向が、目部位を近似する平面の垂線であるとみなしてもよい。この場合、目部位と可視光照明装置300との間の位置関係は、可視光照明装置300の方向と顔の方向との関係(例えば、可視光照明装置300の方向と顔の方向とがなす角度をさらに含んでいてよい。そして、決定部140は、可視光照明装置300の方向と顔の方向との関係にさらに基づいて、可視光照明装置300の光量を算出してよい。
【0090】
なお、撮像装置200の画角及びピント位置が固定されている場合、ピントが合う面における位置と、撮像装置200によって撮像される画像における座標との間の関係は、固定されている。言い換えると、取得部110によって取得された画像から抽出された目部位の位置に基づいて、撮像装置200に対する目部位の位置を算出できる。また、撮像装置200と可視光照明装置300との間の位置関係も固定である。この場合、撮像装置200によって撮像された画像における位置から、可視光照明装置300に対する相対位置を算出するための変換式及びパラメータは、あらかじめ導出されていてよい。そして、決定部140は、あらかじめ導出され決定部140に与えられた、変換式及びパラメータを用いて、撮像された画像における位置から、可視光照明装置300に対する相対位置を算出してよい。
【0091】
決定部140は、算出された光量と、配光特性と、可視光照明装置300の明るさの設定値と可視光照明装置300が照射する光の光量との関係と、に基づいて、可視光照明装置300が算出された光量の光を照射するための設定値を算出してよい。可視光照明装置300の明るさの設定値と可視光照明装置300が照射する光の光量との関係は、あらかじめ与えられていてよい。
【0092】
決定部140は、算出した設定値を制御部150に送出する。
【0093】
なお、決定部140は、算出された光量(具体的には、光量を表す値)を、制御部150に送出してもよい。その場合、制御部150は、決定部140から光量を受け取る。制御部150は、受け取った光量と、可視光照明装置300の配光特性と、可視光照明装置300の明るさの設定値と可視光照明装置300が照射する光との関係と、に基づいて、受け取った光量の光を可視光照明装置300が照射するための設定値を算出してよい。
【0094】
<<<眩しさ度について>>>
決定部140は、眩しさ条件が満たされるように、可視光照明装置300が照射する光の光量を変更してもよい。眩しさ条件は、例えば、可視光照明装置300によって光を照射される人物が感じる眩しさが、所定の基準を超えないことである。
【0095】
具体的には、決定部140は、可視光照明装置300によって光を照射される人物が感じる眩しさが、所定の基準を超えないように、可視光照明装置300が照射する光の光量を決定してもよい。例えば、目部分の照度に応じた眩しさの程度を表す値、言い換えると、眩しさの指標(以下、眩しさ度と表記する)が定められていてもよい。眩しさ度は、例えば実験的に定められた数値であってよい。以下の説明では、眩しさ度の値が大きいほど、眩しさ度は、人物がより眩しいと感じていることを表す。この場合、上述の眩しさ度の所定の基準は、許容される眩しさの限界を表す、眩しさ度の値(以下、眩しさ上限値と表記)によって表される。目部分の照度と眩しさ度との関係を表す情報は、例えば、関係記憶部130に格納されていてよい。目部分の照度と眩しさ度との関係は、例えば、ルックアップテーブルの形で表されていてもよい。決定部140は、目部分の照度と眩しさ度との関係を関係記憶部130から読み出してよい。決定部140は、目部分の照度と眩しさ度との関係に基づいて、眩しさ上限値に対応する、目部分の照度(以下、上限照度と表記)を特定できる。決定部140は、目部分の照度と眩しさ度との関係を表す情報に基づいて、眩しさ度が、上述の所定の基準を表す所定値(すなわち、眩しさ上限値)を超えないように、追加照度を決定してもよい。
【0096】
具体的には、決定部140は、例えば、目部分の照度と眩しさ度との関係に基づいて、眩しさ度が上述の所定の基準(すなわち、眩しさ上限値)を超えない、目部分の照度の最大値(上限照度)を算出してよい。決定部140は、さらに、上限照度と、推定部120によって推定された目部分の照度との差を、追加照度の最大値として算出してよい。決定部140は、照度サイズ関係に基づいて算出された追加照度が、眩しさ上限値に基づいて算出された、追加照度の最大値よりも大きい場合、決定部140は、追加照度の値を、追加照度の最大値に変更してもよい。照度サイズ関係に基づいて算出された追加照度が、眩しさ上限値に基づいて算出された、追加照度の最大値よりも大きくない場合、決定部140は、追加照度の値を変更しなくてよい。
【0097】
照度と眩しさ度との関係は、照明の種類毎に定められていてもよい。関係記憶部130は、照明の種類毎に、目部分の照度と眩しさ度との関係を記憶していてもよい。関係記憶部130は、例えば、自然光(例えば、可視光照明装置300が光を照射していない場合の光)による目部分の照度と眩しさ度との関係と、可視光照明装置300による目部分の照度と眩しさとの関係とを、別々に記憶していてもよい。この場合の眩しさ度は、目部分を2つの光源によって照射した場合の眩しさ度が、目部分を2つの光源の一方によって照射した場合の眩しさ度と、目部分を2つの光源の他方によって照射した場合の眩しさ度とに基づいて算出できるように、定められていてもよい。言い換えると、目部分を2つの光源によって照射した場合の眩しさ度と、目部分を2つの光源の一方によって照射した場合の眩しさ度と、目部分を2つの光源の他方によって照射した場合の眩しさ度と、の関係は、あらかじめ求められていてよい。以下では、目部分を2つの光源によって照射した場合の眩しさ度と、目部分を2つの光源の一方によって照射した場合の眩しさ度と、目部分を2つの光源の他方によって照射した場合の眩しさ度と、の関係を、3つの眩しさ度の関係と表記する。この場合の2つの光源は、自然光と、可視光照明装置300とである。決定部140は、推定された目部分の照度と、3つの眩しさ度の関係とに基づいて、目部分の照度が眩しさ条件を満たすように可視光照明装置300が光を照射する場合の、可視光照明装置300の照度の最大値を算出してもよい。
【0098】
例えば、可視光照明装置300によって照射される光の眩しさ度は、自然光による照度に応じて定められていてもよい。例えば、自然光による照度の大きさは、複数の範囲に分割されていてよい。そして、自然光による照度の範囲毎に、可視光照明装置300による照度と眩しさ度との関係が、あらかじめ求められていてよい。この場合、決定部140は、推定部120によって推定された、目部分の照度が含まれる範囲を特定し、特定された範囲について定められた、可視光照明装置300による照度と眩しさ度との関係に基づいて、可視光照明装置300による照度から眩しさ度を算出できる。また、決定部140は、特定された範囲について定められた、可視光照明装置300による照度と眩しさ度との関係に基づいて、眩しさ度の値(例えば所定の基準を満たす眩しさ度の最大値)から、眩しさ度がその値である場合の可視光照明装置300による照度を算出できる。
【0099】
決定部140は、例えば以上のように、眩しさ度が所定の基準を満たし、可視光照明装置300が光を照射していない状態における目部分の照度が、推定部120によって推定された目部分の照度である場合の、可視光照明装置300による光の照度の最大値を算出する。決定部140は、自然光による照度と眩しさ度との関係と、可視光照明装置300による照度と眩しさ度との関係と、上述の3つの眩しさ度の関係とに基づいて、この最大値を算出してよい。上述のように、照度サイズ関係に基づいて算出された追加照度が、算出された照度の最大値よりも大きい場合、決定部140は、追加照度の値を、算出された照度の最大値に変更してもよい。照度サイズ関係に基づいて算出された追加照度が、算出された照度の最大値よりも大きくない場合、決定部140は、追加照度の値を変更しなくてよい。
【0100】
<<<制御可能性について>>>
決定部140は、瞳孔のサイズがサイズ条件を満たすように、可視光照明装置300の光量を制御できるか判定する。言い換えると、決定部140は、可視光照明装置300による光の照射によって、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できるか否かを判定してよい。
【0101】
具体的には、決定部140は、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度にするために可視光照明装置300が照射する必要がある光の光量が、可視光照明装置300が照射できる光の光量の範囲に含まれるか否かを判定してよい。以下、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度にするために可視光照明装置300が照射する必要がある光の光量を、要求光量と表記する。可視光照明装置300が照射できる光の光量の範囲を、可能範囲と表記する。
【0102】
要求光量が可能範囲に含まれない場合、決定部140は、可視光照明装置300の光量を、目部分の照度が瞳孔のサイズがサイズ条件を満たす照度になるように制御できないと判定してよい。言い換えると、要求光量が可能範囲に含まれない場合、決定部140は、可視光照明装置300の光量を、瞳孔のサイズがサイズ条件を満たすように制御できないと判定してよい。要求光量が可能範囲に含まれる場合、決定部140は、可視光照明装置300の光量を、目部分の照度が瞳孔のサイズがサイズ条件を満たす照度になるよう制御できると判定してよい。言い換えると、要求光量が可能範囲に含まれる場合、決定部140は、可視光照明装置300の光量を、瞳孔のサイズがサイズ条件を満たすように制御できると判定してよい。
【0103】
具体的には、決定部140は、例えば、推定された目部分の照度が、瞳孔のサイズがサイズ条件を満たす照度よりも大きい場合、可視光照明装置300による光の照射によって、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できない、と判定してよい。決定部140は、例えば最大光量の光が照射された目部分の照度が、瞳孔のサイズがサイズ条件を満たす照度よりも小さくなる場合、可視光照明装置300による光の照射によって、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できない、と判定してよい。なお、上述の最大光量は、可視光照明装置300が照射できる、最も強い光の光量である。
【0104】
目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できない、と判定した場合、決定部140は、通知部160を介して、可視光照明装置300によって目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できないことを表す通知を行ってよい。以下、可視光照明装置300によって目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できないことを表す通知を、制御不能通知と表記する。決定部140は、例えば、制御不能通知を送信する指示を、通知部160に送出してもよい。後述のように、制御不能通知を送信する指示を受け取った場合、通知部160は、あらかじめ定められている通知先(例えば通知先装置500)に、制御不能通知を送出する。
【0105】
<<<眩しさ度と制御可能性とについて>>>
なお、決定部140は、照度サイズ関係に基づいて算出された追加照度が、眩しさ条件が満たされるように照度の最大値よりも大きい場合、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できないと判定するよう設定されていてもよい。この場合、決定部140は、制御不能通知を送信する指示を、通知部160に送出してもよい。
【0106】
決定部140は、眩しさ条件が満たされるか否かによらずに、可視光照明装置300による光の照射によって、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できるか否かを判定してよい。そして、決定部140は、瞳孔のサイズがサイズ条件を満たすように、可視光照明装置300の光量を制御できないと判定した場合、決定部140は、制御不能通知を送信する指示を通知部160に送出してよい。さらに、決定部140は、照度サイズ関係に基づいて算出された追加照度が、眩しさ条件が満たされるように照度の最大値よりも大きいか否かを判定してよい。照度サイズ関係に基づいて算出された追加照度が、算出された照度の最大値よりも大きい場合、決定部140は、追加照度の値を、算出された照度の最大値に変更してもよい。さらに、決定部140は、照度サイズ関係に基づいて算出された追加照度が、眩しさ条件が満たされるように照度の最大値よりも大きい場合、眩しさ条件を満たせないことを示す通知を送信する指示を、通知部160に送出してもよい。
【0107】
照度サイズ関係に基づいて算出された追加照度が、眩しさ条件が満たされるように照度の最大値よりも小さい場合、決定部140は、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できると判定してよい。
【0108】
なお、以下の動作の説明では、決定部140は、眩しさ条件が満たされるか否かによらずに、可視光照明装置300による光の照射によって、目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に制御できるか否かを判定する。また、決定部140は、照度サイズ関係に基づいて算出された追加照度が、眩しさ条件が満たされるように照度の最大値よりも大きい場合、眩しさ条件を満たせないことを示す通知を送信する指示の送出を行わない。
【0109】
<<制御部150>>
制御部150は、決定部140によって決定された光量の光を可視光照明装置300が照射するように、可視光照明装置300を制御する。
【0110】
具体的には、制御部150は、可視光照明装置300が、決定部140によって決定された光量の光を照射するための、可視光照明装置300の設定値を、制御部150から受け取る。制御部150は、受け取った設定値を可視光照明装置300に設定する。
【0111】
制御部150は、受け取った設定値を可視光照明装置300に設定した後、撮像装置200に、撮像を行う指示を送信してもよい。撮像装置200が、撮像を続けるように設定されている場合、制御部150は、撮像装置200に、撮像を行う指示を送信しなくてよい。
【0112】
なお、上述のように、決定部140は、算出された光量(具体的には、光量を表す値)を、制御部150に送出してもよい。その場合、制御部150は、決定部140から光量を受け取る。制御部150は、受け取った光量と、可視光照明装置300の配光特性と、可視光照明装置300の明るさの設定値と可視光照明装置300が照射する光との関係と、に基づいて、受け取った光量の光を可視光照明装置300が照射するための設定値を算出してよい。
【0113】
<<通知部160>>
決定部140が設定不能通知を送出した場合、通知部160は、決定部140から、設定不能通知を送信する指示を受け取る。上述のように、設定不能通知を受け取った場合、通知部160は、あらかじめ定められている通知先(例えば通知先装置500)に、設定不能通知を送信する。設定不能通知は、あらかじめ定められた信号等であってよい。設定不能通知は、目部分の照度が目標照度になるよう制御できない理由を示していてもよい。目部分の照度が目標照度になるよう制御できない理由は、例えば、自然光による目部分の照度が明るすぎること、又は、自然光による目部分の照度が暗すぎることである。
【0114】
通知部160は、上述の、眩しさ条件を満たせないことを示す通知(以下、眩しさ通知と表記)を送信する指示を、決定部140から受け取ってもよい。眩しさ通知を送信する指示を受け取った場合、通知部160は、眩しさ通知を、あらかじめ定められている通知先に送信する。眩しさ通知は、あらかじめ定められた、設定不能通知とは異なる信号等であってよい。
【0115】
<<画像記憶部170>>
画像記憶部170は、取得部110によって取得された、画像と撮像情報とを記憶する。例えば、制御部150によって可視光照明装置300が照射する光の光量が制御され、目部分の瞳孔のサイズがサイズ条件を満たすように変化した場合、新たに取得部110によって取得され画像記憶部170に格納される画像では、瞳孔のサイズがサイズ条件を満たす。
【0116】
<<通知先装置500>>
通知先装置500は、通知部160によって送信された設定不能通知を受け取る。通知先装置500は、受け取った設定不能通知に応じた出力を行う。通知先装置500は、例えば、撮像システム1の管理者が保持する端末装置であってもよい。通知先装置500は、例えば、制御装置100から出力される情報を表示する表示装置であってもよい。通知先装置500は、設定不能通知に応じた出力として、例えば、可視光照明装置300によって目部分の照度を瞳孔のサイズがサイズ条件を満たす照度に設定できないことを表す表示(例えば、メッセージ)を表示してもよい。通知先装置500は、設定不能通知に応じた出力として、例えば、あらかじめ定められている音を出力してもよい。通知先装置500は、設定不能通知に応じた出力として、例えば、あらかじめ定められている画像やアニメーションを出力してもよい。通知先装置500は、例えば、設定不能通知に応じた出力として、あらかじめ定められているパターンによって振動してもよい。通知先装置500は、設定不能通知に応じた出力として、以上の例を2つ以上組み合わせた出力を行ってもよい。
【0117】
通知先装置500は、さらに、通知部160によって送信された眩しさ通知を受け取ってよい。通知先装置500は、受け取った眩しさ通知に応じた出力を行う。
【0118】
<<動作>>
次に、本実施形態の制御装置100の動作について、図面を参照して詳細に説明する。
【0119】
図3は、本実施形態の制御装置100の動作の一例を表すフローチャートである。
図3に示す動作では、取得部110が、目部分の領域を含む入力画像を取得する(ステップS101)。次に、推定部120が、取得した入力画像から、目部分の照度を推定する。本実施形態では、推定部120は、取得した入力画像の目領域における、強膜の領域の画素値に基づいて、目部分の照度を推定する。
【0120】
次に、決定部140は、目部分の瞳孔のサイズがサイズ条件を満たすような、照明の光量を決定する。決定部140は、瞳孔のサイズがサイズ条件を満たすように、照明の光量を制御できるか判定する(ステップS104)。瞳孔のサイズがサイズ条件を満たすように、照明の光量を制御できない場合(ステップS104においてNO)、制御装置100は、例えば、通知先装置500に通知を行う。具体的には、決定部140は、設定不能通知を送信する指示を、通知部160に送出する。設定不能通知を送信する指示を受信した場合、通知部160は、通知先装置500に、設定不能通知を送信する。制御装置100は、次に、ステップS106の動作を行う。
【0121】
瞳孔のサイズがサイズ条件を満たすように、照明の光量を制御できる場合(ステップS104においてYES)、制御装置100は、次に、ステップS106の動作を行う。
【0122】
ステップS106において、決定部140は、可視光照明装置300が、ステップS103において決定された光量の光を照射した場合に、眩しさ条件が満たされるか判定する。眩しさ条件が満たされる場合(ステップS106においてYES)、制御装置100は、次に、ステップS108の動作を行う。
【0123】
眩しさ条件が満たされない場合(ステップS106においてNO)、決定部140は、眩しさ条件が満たされるように、可視光照明装置300によって照射される光の光量を変更する(ステップS107)。制御装置100は、次に、ステップS108の動作を行う。
【0124】
ステップS108において、制御部150は、可視光照明装置300の光量が決定された光量になるように、可視光照明装置300の光量を制御する。具体的には、決定部140は、たとえばルックアップテーブルによって表されている、設定値と光量との関係に基づいて、可視光照明装置300の光量を決定された光量にするための、可視光照明装置300の設定値を決定してよい。決定部140は、決定された設定値を、制御部150に送信する。制御部150は、決定部から設定値を受け取り、可視光照明装置300の設定値を、受け取った設定値に設定する。
【0125】
<<効果>>
本実施形態には、目的の状態の虹彩画像を得るために要する時間を短縮できるという効果がある。目的の状態の虹彩画像は、例えば、瞳孔のサイズがサイズ条件を満たす虹彩の画像である。その理由は、推定部120が、取得した入力画像から目部分の照度を推定し、決定部140が、目部分の瞳孔のサイズがサイズ条件を満たすように、可視光照明装置300が照射する光の光量を決定するからである。制御部150が、可視光照明装置300によって照射される光の光量が、決定された光量になるように、可視光照明装置300を制御することによって、目部分の瞳孔のサイズがサイズ条件を満たすように、瞳孔のサイズが変化する。瞳孔のサイズが変化した後に眼部分を撮像することによって、目的の状態の虹彩画像が得られる。
【0126】
<第1の変形例>
次に、第1の変形例について説明する。以下で説明する第1から第5の変形例は、第1の実施形態の変形の例を表す。
【0127】
<<構成>>
本変形例の撮像システム1は、以下で説明する制御装置100における相違を除いて、第1の実施形態の撮像システムと同じである。本変形例の制御装置100は、以下の相違を除いて、第1の実施形態の制御装置100と同じである。
【0128】
第1の変形例では、推定部120が、入力画像において虹彩の領域を検出し、さらに、検出した虹彩の領域に含まれる画素の画素値に基づいて、虹彩の色を推定する。推定部120は、検出された虹彩の領域の画素の画素値に基づいて、虹彩の色があらかじめ定義された複数の色のうちのどの色であるかを推定してよい。推定部120は、推定した虹彩の色を表す情報を、決定部140に送出する。
【0129】
関係記憶部130は、虹彩の色毎に、照度サイズ関係を記憶する。関係記憶部130は、例えば、あらかじめ定義された複数の色のそれぞれについて、照度サイズ関係として、目部分の照度と、瞳孔のサイズとの関係を表すルックアップテーブルを記憶していてよい。
【0130】
決定部140は、推定部120から、推定された虹彩の色を表す情報を受け取る。決定部140は、推定された虹彩の色について記憶されている照度サイズ関係を読み出し、読み出した照度サイズ関係に基づいて、可視光照明装置300が照射する光の光量を決定する。
【0131】
本変形例では、さらに、虹彩の色毎に、眩しさ条件が得られている。例えば、虹彩の色毎に設定された眩しさ条件が、関係記憶部130に格納されていてよい。
【0132】
決定部140は、推定された虹彩の色についての眩しさ条件を、例えば関係記憶部130から読み出してもよい。決定部140が、虹彩の色毎の眩しさ条件を記憶し、推定された虹彩の色についての眩しさ条件を選択してもよい。決定部140は、推定された虹彩の色についての眩しさ条件に基づいて、上述の眩しさ度による、可視光照明装置300が照射する光の光量の変更や、眩しさ通知の送信の指示を行ってもよい。
【0133】
複数の虹彩の色の各々について、同じ眩しさ条件が定められていてもよい。そして、虹彩の色毎に、照度と眩しさ度との関係が定められていてもよい。その場合、関係記憶部130は、虹彩の色毎に、照度と眩しさ度との関係を記憶していてもよい。決定部140は、虹彩の色毎の、照度と眩しさ度との関係を使用して、照度から眩しさ度を決定してもよい。また、決定部140は、虹彩の色毎の、照度と眩しさ度との関係を使用して、眩しさ度の値から、眩しさ度がその値になる照度を決定してもよい。
【0134】
<<動作>>
次に、本変形例の制御装置100の動作について、図面を参照して詳細に説明する。
【0135】
図4及び
図5は、本変形例の制御装置100の動作の例を表すフローチャートである。
【0136】
図4に示す、ステップS101及びステップS102において、制御装置100は、
図3に示す、第1の実施形態の制御装置100の、ステップS101及びステップS102の動作と同じ動作を行う。
【0137】
ステップS203において、推定部120は、入力画像に基づいて、虹彩の色を推定する(ステップS203)。推定部120は、例えば、入力画像から虹彩の領域を検出してよい。推定部120は、虹彩の領域に含まれる画素の画素値から、虹彩の色を推定してよい。推定部120は、例えばあらかじめ定められた複数の虹彩の色のうち、検出された領域の虹彩の色に相当する色を推定してよい。推定部120は、推定した虹彩の色を表す情報を、決定部140に送出する。決定部140は、虹彩の色を表す情報を、推定部120から受け取る。
【0138】
次に、決定部140は、推定された虹彩の色に基づいて、眩しさ条件を決定する(ステップS204)。決定部140は、複数の眩しさ条件から、推定された虹彩の色について定められた、眩しさ条件を選択してよい。
【0139】
次に、決定部140は、推定した虹彩の色に基づいて、照度サイズ関係を選択する(ステップS205)。決定部140は、複数の照度サイズ関係から、推定した虹彩の色について定められた照度サイズ関係を選択してよい。
【0140】
決定部140は、選択した照度サイズ関係に基づいて、目部分の瞳孔のサイズが所定条件(すなわち、上述のサイズ条件)を満たすような、照明の光量(すなわち、可視光照明装置300が照射する光の光量)を決定する(ステップS206)。次に、制御装置100は、
図5のステップS104の動作を行う。
【0141】
図5に示す、本変形例の制御装置100のステップS104からステップS108までの動作は、
図3に示す、第1の実施形態の制御装置100の、ステップS104からステップS108までの動作と同じである。
【0142】
なお、上述のように、決定部140は、虹彩の色によらず同じ眩しさ条件を使用し、虹彩の色に応じた、照度と眩しさ度との関係に基づいて、目部分の照度が、眩しさ度が眩しさ条件を満たす照度になるように可視光照明装置300を制御してもよい。その場合、決定部140は、ステップS204において、推定された虹彩の色について定められた、照度と眩しさ度との関係を選択する。他の動作は、上で説明した動作の例と同じである。
【0143】
<<効果>>
本変形例には、第1の実施形態の効果と同じ効果がある。その理由は、第1の実施形態の効果が生じる理由と同じである。
【0144】
本変形例には、さらに、虹彩の色によらず、目的の状態の虹彩画像を得ることができるという第2の効果がある。その理由は、推定部120が、入力画像から虹彩の色を推定し、決定部140が、推定された虹彩の色に応じた照度サイズ関係に基づいて、可視光照明装置300が照射する光の光量を決定するからである。
【0145】
本変形例には、さらに、虹彩の色によらず、眩しさを適切に軽減できるという第3の効果がある。その理由は、決定部140が、推定された虹彩の色に応じた眩しさ条件に基づいて、可視光照明装置300が照射する光の光量を変更するからである。
【0146】
なお、本変形例において、決定部140は、虹彩の色に関わらず、同じ眩しさ条件に基づいて、可視光照明装置300が照射する光の光量を変更してもよい。その場合、本変形例によって、第1の実施形態と同じ効果と、上述の第2の効果とが得られる。
【0147】
また、本変形例において、決定部140は、虹彩の色に関わらず、同じ照度サイズ関係に基づいて、可視光照明装置300が照射する光の光量を決定してもよい。その場合、本変形例によって、第1の実施形態と同じ効果と、上述の第3の効果とが得られる。
【0148】
<第2の変形例>
次に、第2の変形例について説明する。本変形例の撮像システム1Aは、以下で説明する相違を除いて、第1の実施形態の撮像システム1と同じである。
【0149】
<<構成>>
図6は、本変形例の撮像システム1Aの構成の一例を表すブロック図である。本変形例の撮像システム1Aは、制御装置100と、撮像装置200と、可視光照明装置300と、近赤外光照明装置400と、通知先装置500と、に加えて、検出装置600を含む。
【0150】
検出装置600は、例えば上述の歩行経路において、人物を検出する。検出装置600は、人物が検出され始めた場合、人物が検出され始めたことを表す通知を、撮像装置200と、近赤外光照明装置400と、に送信する。検出装置600は、人物が検出されなくなった場合、人物が検出されなくなったことを表す通知を、撮像装置200と、近赤外光照明装置400と、に送信する。人物が検出され始めたことを表す通知(以下、検出通知と表記)は、所定の信号(以下、検出信号とも表記)の送信によって実現されてもよい。人物が検出されなくなったことを表す通知(以下、非検出通知)は、他の所定の信号(非検出信号)の送信によって実現されてもよい。検出通知は、所定の信号(以下、検出継続信号と表記)の送信の開始によって実現されてもよい。非検出通知は、検出継続信号送信の終了によって実現されてもよい。検出装置600は、例えば、近赤外光や超音波などによって、人物等を検出するセンサによって実現されていてよい。
【0151】
撮像装置200は、検出装置600から検出通知と非検出通知とを受け取る。撮像装置200は、検出装置600から検出通知を受け取ってから非検出通知を受け取るまでの間、継続的に撮像を行い、撮像によって得られた画像を制御装置100に送信する。撮像装置200は、非検出通知を受け取った場合、次に検出通知を受け取るまで、撮像と画像の送信とを中断してよい。
【0152】
近赤外光照明装置400は、検出装置600から検出通知と非検出通知とを受け取る。近赤外光照明装置400は、検出装置600から検出通知を受け取ってから非検出通知を受け取るまでの間、継続的に近赤外光を照射する。近赤外光照明装置400は、非検出通知を受け取った場合、次に検出通知を受け取るまで、近赤外光の照射を中断してよい。
【0153】
<<動作>>
本変形例の制御装置100は、第1の実施形態と同じ動作を行う。
【0154】
<第3の変形例>
次に、第3の変形例について説明する。本変形例の撮像システム1Bは、以下で説明する相違を除いて、第2の変形例の撮像システム1Aと同じである。
【0155】
<<構成>>
図7は、本変形例の撮像システム1Bの構成の一例を表すブロック図である。本変形例の撮像システム1Bは、第1の変形例の撮像システム1Aと同様に、制御装置100と、撮像装置200と、可視光照明装置300と、近赤外光照明装置400と、通知先装置500と、に加えて、検出装置600を含む。
図7では、2つの撮像装置200が描かれている。しかし、制御装置100の上に描かれている撮像装置200は、制御装置100の下に描かれている撮像装置200と同一の撮像装置200である。言い換えると、同じ撮像装置200が、制御装置100の上と、制御装置100の下とに描かれている。本変形例では、撮像装置200は、制御装置100の取得部110及び制御部150の各々と接続されている。近赤外光照明装置400は、制御装置100の制御部150と接続されている。検出装置600は、制御装置100の取得部110と接続されている。
【0156】
検出装置600は、例えば上述の歩行経路において、人物を検出する。本変形例では、検出装置600は、検出通知と非検出通知とを、制御装置100の取得部110に送信する。
【0157】
取得部110は、検出通知と非検出通知とを検出装置600から受け取る。検出装置600から検出通知を受け取った場合、取得部110は、撮像装置200及び近赤外光照明装置400に対して検出通知を送信する指示を、制御部150に送出する。検出装置600から非検出通知を受け取った場合、取得部110は、撮像装置200及び近赤外光照明装置400に対して非検出通知を送信する指示を、制御部150に送出する。
【0158】
制御部150は、取得部110から、検出通知を送信する指示と、非検出通知を送信する指示と、を受信する。検出通知を送信する指示を取得部110から受け取った場合、制御部150は、撮像装置200及び近赤外光照明装置400に対して、検出通知を送信する。非検出通知を送信する指示を取得部110から受け取った場合、制御部150は、撮像装置200及び近赤外光照明装置400に対して、非検出通知を送信する。
【0159】
撮像装置200は、制御部150から検出通知と非検出通知とを受け取る。撮像装置200は、制御部150から検出通知を受け取ってから非検出通知を受け取るまでの間、継続的に撮像を行い、撮像によって得られた画像を制御装置100に送信する。撮像装置200は、非検出通知を受け取った場合、次に検出通知を受け取るまで、撮像と画像の送信とを中断してよい。
【0160】
近赤外光照明装置400は、制御部150から検出通知と非検出通知とを受け取る。近赤外光照明装置400は、制御部150から検出通知を受け取ってから非検出通知を受け取るまでの間、継続的に近赤外光を照射する。近赤外光照明装置400は、非検出通知を受け取った場合、次に検出通知を受け取るまで、近赤外光の照射を中断してよい。
【0161】
<<動作>>
本変形例の制御装置100は、第1の実施形態と同じ動作を行う。
【0162】
<第4の変形例>
次に、第4の変形例について説明する。本変形例の撮像システム1Cは、以下で説明する相違を除いて、第1の実施形態の撮像システム1と同じである。
【0163】
<<構成>>
図8は、本変形例の撮像システム1Cの構成を表すブロック図である。
図8の撮像システム1Cは、撮像装置200の代わりに、撮像装置200Aと撮像装置200Bとを含む。
図8に示す例では、近赤外光照明装置400は、撮像装置200Bに接続されている。
【0164】
撮像装置200A及び撮像装置200Bは、例えば、上述の歩行経路を歩行する人物の頭部を撮像できるように取り付けられている。撮像装置200Aのピント位置、及び、撮像装置200Bのピント位置は、それぞれ固定されている。撮像装置200Aのピント位置、及び、撮像装置200Bのピント位置は、歩行経路を歩行している人物の頭部が、撮像装置200Aのピント位置を通過した後、撮像装置200Bのピント位置を通過するように設定されている。撮像装置200A及び撮像装置200Bは、継続的に撮像を行っていてもよい。近赤外光照明装置400は、継続的に近赤外光を照射し続けていてもよい。
【0165】
制御部150は、可視光照明装置300が照射する光の光量が、決定された光量になるように、可視光照明装置300を制御した後、撮像装置200Bに撮像を行うように指示を送信してもよい。この場合、撮像装置200Bは、制御部150からの指示に従って、撮像を開始してもよい。撮像装置200Bは、撮像を開始する際に、撮像を開始する通知を近赤外光照明装置400に送信してもよい。撮像装置200Bは、撮像を終了する際に、撮像を終了する通知を近赤外光照明装置400に送信してもよい。近赤外光照明装置400は、撮像を開始する通知と、撮像を終了する通知とを、撮像装置200Bから受け取ってもよい。近赤外光照明装置400は、撮像装置200Bが撮像を行っている間、例えば、撮像を開始する通知を受け取ってから撮像を終了する通知を受け取るまでの間、近赤外光を照射し続けていてよい。
【0166】
本変形例の取得部110は、撮像装置200Aが撮像した画像を受け取る。
【0167】
<<動作>>
本変形例の制御装置100は、
図3に示す、第1の実施形態の制御装置100と同じ動作を行う。
【0168】
なお、本実施形態の制御部150は、ステップS108において照明を制御した後、すなわち、可視光照明装置300の明るさの設定値を設定した後、撮像装置200Bに、撮像を行う指示を送信してもよい。この場合、撮像装置200Bは、撮像を行う指示を受信すると、撮像を開始してもよい。撮像装置200Bは、撮像を行う指示を受信すると、撮像を行ってもよい。
【0169】
<第5の変形例>
次に、本変形例の第5の変形例について説明する。
【0170】
第1の変形例と、第2の変形例又は第3の変形例と、第4の変形例と、の少なくともいずれか2つが組み合わせられていてもよい。第5の変形例は、第1の変形例と、第2の変形例又は第3の変形例と、第4の変形例と、の少なくともいずれか2つの組み合わせである。
【0171】
第1の変形例と、第2の変形例又は第3の変形例と、を組み合わせる場合、撮像装置200は、近赤外光照明装置400と接続されていなくてよい。第1の変形例と、第4の変形例と、を組み合わせる場合も、撮像装置200は、近赤外光照明装置400と接続されていなくてよい。第1の変形例と、第4の変形例と、のみを組み合わせる場合は、第5の変形例の撮像システムの構成は、
図8に示す、第4の変形例の撮像システム1Cの構成と同じでよい。
【0172】
第1の変形例と、第2の変形例とを組み合わせる場合、
図6に示す例と同様に、検出装置600が、撮像装置200と、近赤外光照明装置400とに接続される。そして、検出通知と非検出通知とが、検出装置600から、撮像装置200と、近赤外光照明装置400と、に送信される。第1の変形例と、第3の変形例とを組み合わせる場合、
図7に示す例と同様に、制御部150が、撮像装置200と、近赤外光照明装置400とに接続される。そして、検出通知と非検出通知とが、制御部150から、撮像装置200と、近赤外光照明装置400と、に送信される。
【0173】
第2の変形例又は第3の変形例と、第4の変形例とを組み合わせる場合、撮像装置200Bは、近赤外光照明装置400と接続されていなくてよい。第1の変形例と、第2の変形例又は第3の変形例と、第4の変形例とを組み合わせる場合も、同様である。
【0174】
第2の変形例と、第4の変形例とを組み合わせる場合、検出装置600が、撮像装置200Aと、撮像装置200Bと、近赤外光照明装置400とに接続される。そして、検出通知と非検出通知とが、検出装置600から、撮像装置200Aと、撮像装置200Bと、近赤外光照明装置400と、に送信される。撮像装置200A及び撮像装置200Bは、検出通知を受信してから非検出通知を受信するまでの間、継続的に撮像を行ってもよい。近赤外光照明装置400は、検出通知を受信してから非検出通知を受信するまでの間、継続的に近赤外光を照射してもよい。第1の変形例と、第2の変形例と、第4の変形例とを組み合わせる場合も、同様である。
【0175】
第3の変形例と、第4の変形例とを組み合わせる場合、制御部150が、撮像装置200Aと、撮像装置200Bと、近赤外光照明装置400とに接続されてよい。そして、検出通知と非検出通知とが、制御部150から、撮像装置200Aと、撮像装置200Bと、近赤外光照明装置400と、に送信されてよい。そして、検出通知と非検出通知とが、検出装置600から、撮像装置200Aと、撮像装置200Bと、近赤外光照明装置400と、に送信される。撮像装置200A及び撮像装置200Bは、検出通知を受信してから非検出通知を受信するまでの間、継続的に撮像を行ってもよい。近赤外光照明装置400は、検出通知を受信してから非検出通知を受信するまでの間、継続的に近赤外光を照射してもよい。第1の変形例と、第3の変形例と、第4の変形例とを組み合わせる場合も、同様である。
【0176】
第2の変形例と、第4の変形例とを組み合わせる場合、検出装置600が、撮像装置200Aに接続されていてもよい。そして、検出通知と非検出通知とが、検出装置600から、撮像装置200Aに送信されてもよい。撮像装置200Aは、検出通知を受信してから非検出通知を受信するまでの間、継続的に撮像を行ってもよい。この場合、撮像装置200Bは、継続的に撮像を続けてもよく、近赤外光照明装置400は、継続的に近赤外光を照射し続けてもよい。また、この場合、制御部150が、撮像装置200Bに、撮像を開始する指示を送信してもよい。撮像装置200Bは、制御部150からの指示に従って、撮像を開始してもよい。さらに、撮像装置200Bは、撮像を開始する際、近赤外光照明装置400に通知を送信してもよい。その通知を受信した場合、近赤外光照明装置400は、近赤外光の照射を開始してもよい。第1の変形例と、第2の変形例と、第4の変形例とを組み合わせる場合も、同様である。
【0177】
<第2の実施形態>
次に、本開示の第2の実施形態について、図面を参照して詳細に説明する。本実施形態では、撮像装置200が撮像した画像から、撮像された目部位の瞳孔のサイズが推定され、瞳孔のサイズに基づいて、目部位の照度が推定される。
【0178】
<<構成>>
図9は、本実施形態の撮像システム2の構成の例を表すブロック図である。撮像システム2は、第1の実施形態の撮像システム1と、以下で説明する相違を除いて、同じである。
【0179】
撮像システム2は、制御装置100の代わりに、制御装置101を含む。制御装置101は、以下で説明する相違を除いて、第1の実施形態の制御装置100と同じである。
【0180】
制御装置101では、推定部120が、関係記憶部130と接続されている。本実施形態の推定部120は、以下で説明する相違を除いて、第1の実施形態の推定部120と同じである。
【0181】
推定部120は、取得部110が取得した画像(すなわち、入力画像)から、瞳孔の領域を抽出する。推定部120は、瞳孔の領域を抽出する既存の様々な方法のいずれかに従って、瞳孔の領域を抽出してよい。推定部120は、撮像装置200の撮像情報(特に、カメラパラメータ)に基づいて、目部位の瞳孔のサイズを推定する。具体的には、推定部120は、撮像装置200のピント位置、撮像装置200の画角、撮像装置200が撮像した画像のサイズ(すなわち、縦の画素数と横の画素数)、及び、入力画像における瞳孔の領域の直径の画素数に基づいて、瞳孔のサイズを推定してよい。推定部120は、関係記憶部130から照度サイズ関係を読み出してよい。推定部120は、照度サイズ関係に基づいて、推定された瞳孔のサイズから、目部位の照度を推定する。
【0182】
<<動作>>
本実施形態の制御装置101は、以下の相違を除いて、
図3に示す第1の実施形態の制御装置100の動作と同じ動作を行う。
【0183】
本実施形態では、ステップS102において、推定部120は、取得された入力画像から瞳孔の領域を抽出する。推定部120は、撮像情報に基づいて、抽出された瞳孔のサイズを推定する。
【0184】
本実施形態の制御装置101の、ステップS102以外のステップの動作は、第1の実施形態の制御装置100の、同じ符号が付与されているステップの動作と同じである。
【0185】
<<効果>>
本実施形態には、第1の実施形態と同じ効果がある。その理由は、第1の実施形態の効果が生じる理由と同じである。
【0186】
<変形例>
本実施形態には、上述の第1から第5の変形例の変形を適用できる。
【0187】
<第3の実施形態>
次に、本開示の第3の実施形態について図面を用いて詳細に説明する。
【0188】
<<構成>>
まず、本実施形態に係る制御装置102の構成について、図面を用いて詳細に説明する。
【0189】
図10は、本実施形態に係る制御装置102の構成の一例を表すブロック図である。
図10に示す例では、制御装置102は、取得部110と、推定部120と、決定部140と、を備える。取得部110は、目部分の領域である目領域を含む入力画像を取得する。推定部120は、取得した前記入力画像から、前記目部分の照度を推定する。決定部140は、照度と瞳孔のサイズとの関係である照度サイズ関係に基づいて、前記目部分の瞳孔のサイズがサイズ条件を満たすように、前記目部分を照射する可視光の照明の光量を決定する。
【0190】
<<動作>>
次に、本実施形態の制御装置102の動作について図面を用いてイ説明する。
【0191】
図11は、本実施形態の制御装置102の動作の一例を表すフローチャートである。
図11に示す動作の例では、まず、取得部110が、目部分の領域を含む入力画像を取得する(ステップS201)。取得部110は、例えば、上述の、撮像装置200、又は、撮像装置200Aと同等の撮像装置から、入力画像を取得してもよい。次に、推定部120が、取得した入力画像から、目部分の照度を推定する(ステップS202)。推定部120が目部分の照度を推定する方法は、第1の実施形態の推定部120が目部分の照度を推定する方法と同じ方法であってもよい。推定部120が目部分の照度を推定する方法は、第2の実施形態の推定部120が目部分の照度を推定する方法と同じ方法であってもよい。次に、決定部140が、目部分の瞳孔のサイズがサイズ条件を満たすような、可視光の照明の光量を決定する(ステップS203)。可視光の照明は、例えば、第1の実施形態及び第2の実施形態における、可視光照明装置300と同じ装置であってよい。決定部140が、可視光の照明の光量を決定する方法は、第1の実施形態の決定部140及び第2の実施形態の決定部140が、可視光の照明の光量を決定する方法と同じであってよい。その場合、決定部140が、上述の照度サイズ関係を保持していてよい。
【0192】
<<効果>>
本実施形態には、第1の実施形態の効果と同じ効果がある。その理由は、第1の実施形態の効果が生じる理由と同じである。
【0193】
<他の実施形態>
制御装置100、制御装置101、及び、制御装置102は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。制御装置100、制御装置101、及び、制御装置102は、専用のハードウェアによって実現することもできる。制御装置100、制御装置101、及び、制御装置102は、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。
【0194】
図12は、上述の実施形態に係る制御装置(すなわち、制御装置100、制御装置101、及び、制御装置102)を実現できる、コンピュータ1000のハードウェア構成の一例を表す図である。
図12に示すコンピュータ1000は、プロセッサ1001と、メモリ1002と、記憶装置1003と、I/O(Input/Output)インタフェース1004とを含む。また、コンピュータ1000は、記憶媒体1005にアクセスすることができる。メモリ1002と記憶装置1003は、例えば、RAM(Random Access Memory)、ハードディスクなどの記憶装置である。記憶媒体1005は、例えば、RAM、ハードディスクなどの記憶装置、ROM(Read Only Memory)、可搬記憶媒体である。記憶装置1003が記憶媒体1005であってもよい。プロセッサ1001は、メモリ1002と、記憶装置1003に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ1001は、I/Oインタフェース1004を介して、例えば、撮像装置200、撮像装置200A、撮像装置200B、可視光照明装置300、近赤外光照明装置400、通知先装置500、検出装置600にアクセスできる。プロセッサ1001は、記憶媒体1005にアクセスできる。記憶媒体1005には、コンピュータ1000を、上述の実施形態に係る制御装置として動作させるプログラムが格納されている。
【0195】
プロセッサ1001は、記憶媒体1005に格納されている、コンピュータ1000を、上述の実施形態に係る制御装置として動作させるプログラムを、メモリ1002にロードする。そして、プロセッサ1001が、メモリ1002にロードされたプログラムを実行することにより、コンピュータ1000は、上述の実施形態に係る制御装置として動作する。
【0196】
取得部110、推定部120、決定部140、制御部150、通知部160は、例えば、メモリ1002にロードされたプログラムを実行するプロセッサ1001により実現できる。また、関係記憶部130、画像記憶部170は、コンピュータ1000が含むメモリ1002やハードディスク装置等の記憶装置1003により実現することができる。あるいは、取得部110、推定部120、関係記憶部130、決定部140、制御部150、通知部160、画像記憶部170の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
【0197】
<付記>
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0198】
(付記1)
目部分の領域である目領域を含む入力画像を取得する取得手段と、
取得した前記入力画像から、前記目部分の照度を推定する推定手段と、
照度と瞳孔のサイズとの関係である照度サイズ関係に基づいて、前記目部分の瞳孔のサイズがサイズ条件を満たすように、前記目部分を照射する可視光の照明の光量を決定する決定手段と、
を備える制御装置。
【0199】
(付記2)
前記推定手段は、前記入力画像から前記目領域の強膜の領域を検出し、検出した前記強膜の領域の画素の情報に基づいて、前記目部分の照度を推定する
付記1に記載の制御装置。
【0200】
(付記3)
前記推定手段は、前記入力画像から前記目領域の瞳孔の領域を検出し、検出された前記瞳孔の領域に基づいて、前記目部分の瞳孔のサイズを推定し、推定された前記瞳孔のサイズと前記照度サイズ関係とに基づいて、前記目部分の照度を推定する
付記1に記載の制御装置。
【0201】
(付記4)
前記決定手段は、前記目領域の照度が、当該照度に基づいて定まる眩しさの指標が眩しさ条件を満たすように、前記照明の光量を決定する
付記1乃至3のいずれか1項に記載の制御装置。
【0202】
(付記5)
前記推定手段は、取得した前記入力画像に基づいて、虹彩の色を推定し、
前記決定手段は、推定された前記虹彩の色に応じた前記眩しさ条件を選択する
付記4に記載の制御装置。
【0203】
(付記6)
前記推定手段は、取得した前記入力画像に基づいて、虹彩の色を推定し、
前記決定手段は、虹彩の色に応じた複数の照度サイズ関係から、推定された前記虹彩の色に基づいて前記照度サイズ関係を選択し、選択された前記照度サイズ関係に基づいて、前記照明の光量を決定する
付記1乃至4のいずれか1項に記載の制御装置。
【0204】
(付記7)
前記決定手段は、推定された前記照度と、前記照度サイズ関係とに基づいて、前記瞳孔のサイズが前記サイズ条件を満たすように前記照明の光量を制御することが可能であるか判定し、
前記瞳孔のサイズが前記サイズ条件を満たすように前記照明の光量を制御できないと判定された場合、通知を行う通知手段
をさらに備える付記1乃至6のいずれか1項に記載の制御装置。
【0205】
(付記8)
前記照明が、決定された前記照明の光量の可視光を照射するように、前記照明を制御する制御手段
をさらに備える付記1乃至7のいずれか1項に記載の制御装置。
【0206】
(付記9)
付記1乃至8のいずれか1項に記載の制御装置と、
前記照明と、前記入力画像を撮像する撮像装置と、
を含む撮像システム。
【0207】
(付記10)
目部分の領域である目領域を含む入力画像を取得し、
取得した前記入力画像から、前記目部分の照度を推定し、
照度と瞳孔のサイズとの関係である照度サイズ関係に基づいて、前記目部分の瞳孔のサイズがサイズ条件を満たすように、前記目部分を照射する可視光の照明の光量を決定する、
制御方法。
【0208】
(付記11)
前記入力画像から前記目領域の強膜の領域を検出し、検出した前記強膜の領域の画素の情報に基づいて、前記目部分の照度を推定する
付記10に記載の制御方法。
【0209】
(付記12)
前記入力画像から前記目領域の瞳孔の領域を検出し、検出された前記瞳孔の領域に基づいて、前記目部分の瞳孔のサイズを推定し、推定された前記瞳孔のサイズと前記照度サイズ関係とに基づいて、前記目部分の照度を推定する
付記10に記載の制御方法。
【0210】
(付記13)
前記目領域の照度が、当該照度に基づいて定まる眩しさの指標が眩しさ条件を満たすように、前記照明の光量を決定する
付記10乃至12のいずれか1項に記載の制御方法。
【0211】
(付記14)
取得した前記入力画像に基づいて、虹彩の色を推定し、
推定された前記虹彩の色に応じた前記眩しさ条件を選択する
付記13に記載の制御方法。
【0212】
(付記15)
取得した前記入力画像に基づいて、虹彩の色を推定し、
虹彩の色に応じた複数の照度サイズ関係から、推定された前記虹彩の色に基づいて前記照度サイズ関係を選択し、選択された前記照度サイズ関係に基づいて、前記照明の光量を決定する
付記10乃至13のいずれか1項に記載の制御方法。
【0213】
(付記16)
推定された前記照度と、前記照度サイズ関係とに基づいて、前記瞳孔のサイズが前記サイズ条件を満たすように前記照明の光量を制御することが可能であるか判定し、
前記瞳孔のサイズが前記サイズ条件を満たすように前記照明の光量を制御できないと判定された場合、通知を行う
付記10乃至15のいずれか1項に記載の制御方法。
【0214】
(付記17)
前記照明が、決定された前記照明の光量の可視光を照射するように、前記照明を制御する
付記10乃至16のいずれか1項に記載の制御方法。
【0215】
(付記18)
目部分の領域である目領域を含む入力画像を取得する取得処理と、
取得した前記入力画像から、前記目部分の照度を推定する推定処理と、
照度と瞳孔のサイズとの関係である照度サイズ関係に基づいて、前記目部分の瞳孔のサイズがサイズ条件を満たすように、前記目部分を照射する可視光の照明の光量を決定する決定処理と、
をコンピュータに実行させるプログラムを記憶する記憶媒体。
【0216】
(付記19)
前記推定処理は、前記入力画像から前記目領域の強膜の領域を検出し、検出した前記強膜の領域の画素の情報に基づいて、前記目部分の照度を推定する
付記18に記載の記憶媒体。
【0217】
(付記20)
前記推定処理は、前記入力画像から前記目領域の瞳孔の領域を検出し、検出された前記瞳孔の領域に基づいて、前記目部分の瞳孔のサイズを推定し、推定された前記瞳孔のサイズと前記照度サイズ関係とに基づいて、前記目部分の照度を推定する
付記18に記載の記憶媒体。
【0218】
(付記21)
前記決定処理は、前記目領域の照度が、当該照度に基づいて定まる眩しさの指標が眩しさ条件を満たすように、前記照明の光量を決定する
付記18乃至20のいずれか1項に記載の記憶媒体。
【0219】
(付記22)
前記推定処理は、取得した前記入力画像に基づいて、虹彩の色を推定し、
前記決定処理は、推定された前記虹彩の色に応じた前記眩しさ条件を選択する
付記21に記載の記憶媒体。
【0220】
(付記23)
前記推定処理は、取得した前記入力画像に基づいて、虹彩の色を推定し、
前記決定処理は、虹彩の色に応じた複数の照度サイズ関係から、推定された前記虹彩の色に基づいて前記照度サイズ関係を選択し、選択された前記照度サイズ関係に基づいて、前記照明の光量を決定する
付記18乃至21のいずれか1項に記載の記憶媒体。
【0221】
(付記24)
前記決定処理は、推定された前記照度と、前記照度サイズ関係とに基づいて、前記瞳孔のサイズが前記サイズ条件を満たすように前記照明の光量を制御することが可能であるか判定し、
前記プログラムは、
前記瞳孔のサイズが前記サイズ条件を満たすように前記照明の光量を制御できないと判定された場合、通知を行う通知処理
をコンピュータにさらに実行させる付記18乃至23のいずれか1項に記載の記憶媒体。
【0222】
(付記25)
前記プログラムは、
前記照明が、決定された前記照明の光量の可視光を照射するように、前記照明を制御する制御処理
を前記コンピュータにさらに実行させる付記18乃至24のいずれか1項に記載の記憶媒体。
【0223】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0224】
1 撮像システム
1A 撮像システム
1B 撮像システム
1C 撮像システム
2 撮像システム
100 制御装置
101 制御装置
102 制御装置
110 取得部
120 推定部
130 関係記憶部
140 決定部
150 制御部
160 通知部
170 画像記憶部
200 撮像装置
200A 撮像装置
200B 撮像装置
300 可視光照明装置
400 近赤外光照明装置
500 通知先装置
600 検出装置
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 記憶装置
1004 I/Oインタフェース
1005 記憶媒体