特許 7468637 撮像システム、撮像方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】撮像システム、撮像方法、及びコンピュータプログラム

(51)【国際特許分類】

   G03B 15/00 20210101AFI20240409BHJP

   G03B 19/06 20210101ALI20240409BHJP

   G03B 19/07 20210101ALI20240409BHJP

   G06T 7/20 20170101ALI20240409BHJP

   H04N 23/60 20230101ALI20240409BHJP

【ＦＩ】

G03B15/00 Q

G03B15/00 P

G03B19/06

G03B19/07

G06T7/20 300Z

H04N23/60 500

【請求項の数】 11

(21)【出願番号】P 2022522444

(86)(22)【出願日】2020-05-14

(86)【国際出願番号】 JP2020019310

(87)【国際公開番号】W WO2021229761

(87)【国際公開日】2021-11-18

【審査請求日】2022-11-02

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】荻野 有加

(72)【発明者】

【氏名】蝶野 慶一

【審査官】登丸 久寿

(56)【参考文献】

【文献】国際公開第２０２０／０６５８５２（ＷＯ，Ａ１）

【文献】特開２０１０－１５４３９１（ＪＰ，Ａ）

【文献】特開２０１９－１９２９６９（ＪＰ，Ａ）

【文献】特開２００６－１６３６８３（ＪＰ，Ａ）

【文献】大阪大学，第１部 モダリティ別の技術動向，生体認証技術の動向と活用：科学技術に関す る調査プロジェクト，日本，国立国会図書館，2019年03月29日，26-27頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １９／０６

Ｇ０３Ｂ １９／０７

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

被写体を相異なるタイミングで撮像した複数の画像を取得する取得手段と、
前記複数の画像に基づいて、前記被写体の動きを推定する推定手段と、
前記被写体の虹彩を撮像する撮像部の設定値を変更する変更手段と
を備え、
前記変更手段は、前記撮像部の合焦地点において前記被写体の虹彩が、固定された前記撮像部の撮像範囲に含まれるように、前記被写体の動きに応じて、前記撮像部の合焦地点におけるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を変更することを特徴とする撮像システム。

【請求項2】

前記推定手段は、前記合焦地点以前において前記被写体を撮像した前記複数の画像に基づいて、前記被写体の動きを推定し、
前記変更手段は、前記撮像部の合焦地点において前記被写体の虹彩が前記撮像部の撮像範囲に含まれるように、前記ＲＯＩを変更することを特徴とする請求項１に記載の撮像システム。

【請求項3】

前記変更手段は、前記撮像部の合焦地点において前記被写体の虹彩が前記撮像部の撮像範囲に含まれるように、前記被写体が動く方向に前記ＲＯＩを変化させることを特徴とする請求項２に記載の撮像システム。

【請求項4】

前記推定手段は、前記複数の画像の差分から前記被写体の動きを推定することを特徴とする請求項１から３の何れか１項に記載の撮像システム。

【請求項5】

前記推定手段は、前記複数の画像から前記被写体の歩容周期を推定することで、前記被写体の動きを推定することを特徴とする請求項１から３の何れか１項に記載の撮像システム。

【請求項6】

前記推定手段は、前記歩容周期が所定範囲内でない場合に、前記複数の画像の差分から前記被写体の動きを推定することを特徴とする請求項５に記載の撮像システム。

【請求項7】

前記取得手段は、前記撮像部から前記複数の画像を取得することを特徴とする請求項１から６のいずれか一項に記載の撮像システム。

【請求項8】

前記取得手段は、前記撮像部とは異なる第２の撮像部から前記複数の画像を取得することを特徴とする請求項１から６のいずれか一項に記載の撮像システム。

【請求項9】

前記撮像部が撮像した前記被写体の虹彩の画像を用いて、前記被写体の認証処理を実行する認証手段を更に備えることを特徴とする請求項１から８のいずれか一項に記載の撮像システム。

【請求項10】

被写体を相異なるタイミングで撮像した複数の画像を取得し、
前記複数の画像に基づいて、前記被写体の動きを推定し、
前記被写体の虹彩を撮像する撮像部の合焦地点において前記被写体の虹彩が、固定された前記撮像部の撮像範囲に含まれるように、前記被写体の動きに応じて、前記撮像部の合焦地点におけるＲＯＩを変更する
ことを特徴とする撮像方法。

【請求項11】

被写体を相異なるタイミングで撮像した複数の画像を取得し、
前記複数の画像に基づいて、前記被写体の動きを推定し、
前記被写体の虹彩を撮像する撮像部の合焦地点において前記被写体の虹彩が、固定された前記撮像部の撮像範囲に含まれるように、前記被写体の動きに応じて、前記撮像部の合焦地点におけるＲＯＩを変更する
ようにコンピュータを動作させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この開示は、被写体を撮像する撮像システム、撮像方法、及びコンピュータプログラムの技術分野に関する。

【背景技術】

【0002】

この種のシステムとして、被写体の目周辺の画像（例えば、虹彩画像等）を撮像するものが知られている。例えば特許文献１では、広角カメラで撮像した画像に基づいて、狭角カメラの撮像方向を変更する技術が開示されている。特許文献２では、広角レンズが装着された撮像部で虹彩の位置を検出し、狭角レンズ装着された撮像部で虹彩の画像を撮像する技術が開示されている。特許文献３では、ワイドカメラで撮像された画像内の瞳の位置に基づいて、ナローカメラの撮像方向を変更する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１９２３４３号公報

【文献】特開２００８－２９９０４５号公報

【文献】特開２００３－０３０６３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この開示は、上記各引用文献に鑑みてなされたものであり、被写体の画像を適切に撮像することが可能な撮像システム、撮像方法、及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

この開示の撮像システムの一の態様は、被写体を相異なるタイミングで撮像した複数の画像を取得する取得手段と、前記複数の画像に基づいて、前記被写体の動きを推定する推定手段と、前記被写体の動きに応じて、前記被写体の特定部分を撮像する撮像部の設定値を変更する変更手段とを備える。

【0006】

この開示の撮像方法の一の態様は、被写体を相異なるタイミングで撮像した複数の画像を取得し、前記複数の画像に基づいて、前記被写体の動きを推定し、前記被写体の動きに応じて、前記被写体の特定部分を撮像する撮像部の設定値を変更することを特徴とする撮像方法。

【0007】

この開示のコンピュータプログラムの一の態様は、被写体を相異なるタイミングで撮像した複数の画像を取得し、前記複数の画像に基づいて、前記被写体の動きを推定し、前記被写体の動きに応じて、前記被写体の特定部分を撮像する撮像部の設定値を変更するようにコンピュータを動作させる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る撮像システムのハードウェア構成を示すブロック図である。

【図2】第１実施形態に係る撮像システムの機能的構成を示すブロック図である。

【図3】第１実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【図4】第１変形例に係る撮像システムの機能的構成を示すブロック図である。

【図5】第２変形例に係る撮像システムの機能的構成を示すブロック図である。

【図6】第３変形例に係る撮像システムの機能的構成を示すブロック図である。

【図7】歩容による被写体の頭の上下動作を示す概念図である。

【図8】被写体の動きに合わせて虹彩カメラのＲＯＩを移動させる方法の一例を示す概念図である。

【図9】第３実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【図10】オプティカルフローを利用して被写体の移動方向を算出する方法の一例を示す概念図である。

【図11】目位置の変動から被写体の移動方向を算出する方法の一例を示す概念図である。

【図12】第４実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【図13】被写体の歩容周期を推定してＲＯＩを周期振動させる方法の一例を示す概念図である。

【図14】第５実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、撮像システム、撮像方法、及びコンピュータプログラムの実施形態について説明する。

【0010】

＜第１実施形態＞
第１実施形態に係る撮像システムについて、図１から図３を参照して説明する。

【0011】

（ハードウェア構成）
まず、図１を参照しながら、第１実施形態に係る撮像システム１０のハードウェア構成について説明する。図１は、第１実施形態に係る撮像システムのハードウェア構成を示すブロック図である。

【0012】

図１に示すように、第１実施形態に係る撮像システム１０は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。撮像システム１０は更に、入力装置１５と、出力装置１６とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。

【0013】

プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、撮像システム１０の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、被写体を撮像するための機能ブロックが実現される。また、プロセッサ１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のうち一つを用いてもよいし、複数を並列で用いてもよい。

【0014】

ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）であってもよい。

【0015】

ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）であってもよい。

【0016】

記憶装置１４は、撮像システム１０が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。

【0017】

入力装置１５は、撮像システム１０のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。

【0018】

出力装置１６は、撮像システム１０に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、撮像システム１０に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。

【0019】

（機能的構成）
次に、図２を参照しながら、第１実施形態に係る撮像システム１０の機能的構成について説明する。図２は、第１実施形態に係る撮像システムの機能的構成を示すブロック図である。

【0020】

図２に示すように、第１実施形態に係る撮像システム１０は、被写体の虹彩を撮像可能な虹彩カメラ２０と接続されている。ただし、撮像システム１０は、虹彩カメラ２０以外のカメラ（即ち、被写体の虹彩以外の部分を撮像するカメラ）と接続されていてもよい。

【0021】

撮像システム１０は、その機能を実現するための処理ブロックとして、画像取得部１１０と、動き推定部１２０と、設定変更部１３０とを備えている。画像取得部１１０、動き推定部１２０、及び設定変更部１３０は、例えば上述したプロセッサ１１（図１参照）において実現されればよい。

【0022】

画像取得部１１０は、虹彩カメラ２０で虹彩を撮像しようとする被写体の画像を取得可能に構成されている。なお、画像取得部１１０の画像取得先は、虹彩カメラ２０に限られない。画像取得部１１０は、被写体を相異なるタイミングで撮像した複数の画像を取得する。画像取得部１１０で取得された複数の画像は、動き推定部１２０に出力される構成となっている。

【0023】

動き推定部１２０は、画像取得部１１０で取得された複数の画像を用いて、被写体の動き（言い換えれば、移動方向）を推定可能に構成されている。なお、複数の画像から被写体の動きを推定する具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳しい説明は省略する。動き推定部１２０で推定された被写体の動きに関する情報は、設定変更部１３０に出力される構成となっている。

【0024】

設定変更部１３０は、動き推定部１２０で推定された被写体の動きに応じて、虹彩カメラ２０の設定値を変更可能に構成されている。なお、ここでの「設定値」とは、虹彩カメラ２０を撮像画像に影響を与える調整可能なパラメータであり、典型的には虹彩カメラのＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に関する値が一例として挙げられる。設定値は、被写体の動きから算出されてもよいし、予め設定されたマップ等から決定されてもよい。ちなみに、ＲＯＩの初期値（即ち、設定変更部１３０による変更前の値）は、被写体の動き、或いは虹彩カメラ以外のカメラ（例えば、後述する全体俯瞰カメラ３０）やセンサ等で取得した被写体の目の高さを元に設定すればよい。

【0025】

（動作の流れ）
次に、図３を参照しながら、第１実施形態に係る撮像システム１０の動作の流れについて説明する。図３は、第１実施形態に係る撮像システムの動作の流れを示すフローチャートである。

【0026】

図３に示すように、第１実施形態に係る撮像システム１０が動作する際には、まず画像取得１１０が、被写体の複数の画像を取得する（ステップＳ１０１）。そして、動き推定部１２０が、複数の画像から被写体の動きを推定する（ステップＳ１０２）。

【0027】

次に、設定変更部１３０が、被写体の動きに応じて虹彩カメラ２０の設定値を変更する（ステップＳ１０３）。この結果、虹彩カメラ２０による被写体の撮像は、設定値を変更した状態で実行されることになる。

【0028】

（技術的効果）
次に、第１実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0029】

歩行する被写体は、その歩容に応じて体の各部の位置が変化する。このため、事前に撮像したい部分の位置を特定したとしても、実際の撮像タイミングで撮像したい部分を適切に撮像することは容易ではない。

【0030】

図１から図３で説明したように、第１実施形態に係る撮像システム１０では、複数の画像から被写体の動きが推定され、推定された動きに応じて虹彩カメラ２０の設定値が変更される。よって、被写体の動きを考慮した適切な状態で虹彩カメラ２０による撮像を実行できる。

【0031】

＜変形例＞
以下、第１実施形態の変形例について、図４から図６を参照して説明する。なお、図４から図６では、図２で示した構成要素と同様のものに同一の符号を付している。下記変形例は、それぞれ組み合わせることも可能である。また、後述する第２実施形態以降の実施形態にも適用可能である。

【0032】

（第１変形例）
まず、図４を参照して第１変形例について説明する。図４は、第１変形例に係る撮像システムの機能的構成を示すブロック図である。

【0033】

図４に示すように、画像取得部１１０は、虹彩カメラ２０から複数の画像を取得するように構成されてもよい。この場合、虹彩カメラ２０では、まず被写体の動きを推定するための複数の画像が撮像され、その後、被写体の動きに応じて設定値が変更されてから被写体の虹彩画像が撮像されることになる。第１変形例では、虹彩カメラ２０以外のカメラを必要としないため、システムの複雑化やコストの増大を抑制することが可能である。

【0034】

（第２変形例）
次に、図５を参照して第２変形例について説明する。図５は、第２変形例に係る撮像システムの機能的構成を示すブロック図である。

【0035】

図５に示すように、画像取得部１１０は、全体俯瞰カメラ３０から複数の画像を取得するように構成されてもよい。全体俯瞰カメラ３０は、虹彩カメラ２０のより撮像範囲（即ち、画角）が広いカメラとして構成されている。第２変形例では、例えば被写体の全体が写った画像から被写体の動きを推定することができる。よって、虹彩カメラ２０のみで被写体の動きを推定する場合（即ち、第１変形例）と比較すると、より柔軟に被写体の動きを推定することが可能となる。

【0036】

（第３変形例）
次に、図６を参照して第３変形例について説明する。図６は、第３変形例に係る撮像システムの機能的構成を示すブロック図である。

【0037】

図６に示すように、撮像システム１０は、図１の構成に加えて認証処理部１４０を更に備えて構成されてもよい。認証処理部１４０は、虹彩カメラ２０で撮像された画像を用いて虹彩認証（即ち、生体認証）を実行可能に構成されている。ここで特に、虹彩カメラ２０で撮像される虹彩画像は、上述したように被写体の動きを考慮した状態で撮像される。従って、虹彩認証の精度を高めることが可能である。なお、認証処理部１４０は、例えば上述したプロセッサ１１（図１参照）において実現されればよい。或いは、認証処理部１４０は、撮像システム１０の外部（例えば、外部サーバやクラウド等）に設けられていてもよい。

【0038】

＜第２実施形態＞
第２実施形態に係る撮像システム１０について、図７及び図８を参照して説明する。なお、第２実施形態は、上述した第１実施形態における設定値の変更の具体例を説明するものであり、その構成や動作の流れは第１実施形態（図１から図３参照）と同一であってよい。このため、以下では、第１実施形態と重複する部分については適宜説明を省略するものとする。

【0039】

（歩容による頭の上下動作）
まず、図７を参照して、歩容による被写体の頭の上下動作について説明する。図７は、歩容による被写体の頭の上下動作を示す概念図である。

【0040】

図７に示すように、歩行する被写体５００は、その歩容により頭が上下に動く。このため、虹彩カメラ２０で被写体５００の虹彩を撮像しようとする場合、歩容により虹彩位置（即ち、目位置）が移動し続けることになり、適切な画像を撮像することは容易ではない。特に、虹彩カメラ２０では、高精細な画像を撮像して高速通信を行うことが要求されるため、その撮像範囲は比較的狭く設定されることが多い。よって、虹彩カメラ２０の撮像範囲（即ち、ＲＯＩ）内に被写体５００の虹彩を正確に収めることは容易ではない。

【0041】

これに対し、第２実施形態に係る撮像システム１０では、被写体５００の動きに応じてＲＯＩを移動させることで、被写体５００の虹彩画像を撮像する。即ち、第２実施形態では、虹彩カメラ２０の設定値として、虹彩カメラ２０のＲＯＩを変更する。より具体的には、虹彩カメラ２０の合焦地点において、被写体５００の目（即ち、特定部分）が虹彩カメラのＲＯＩ内に含まれるように制御する。

【0042】

次に、図８を参照して、虹彩カメラのＲＯＩを変更する方法について説明する。図８は、被写体の動きに合わせて虹彩カメラのＲＯＩを移動させる方法の一例を示す概念図である。

【0043】

図８に示すように、仮にＲＯＩが固定であったとすると、虹彩カメラ２０の合焦地点直前においてＲＯＩ内に被写体の目位置が含まれていた場合でも、その直後の合焦地点においては、被写体の目位置がＲＯＩの外に出てしまうおそれがある。よって、合焦地点直前において正確に目位置を推定できたとしても、合焦地点において目位置をＲＯＩ内に収めることは難しい。

【0044】

しかるに第２実施形態に係る撮像システム１０では、被写体５００の動きに応じて虹彩カメラ２０のＲＯＩを移動させる。例えば、図に示す例では、被写体５００が撮像範囲の上側に移動していることが分かる。この場合、設定変更部１３０は、虹彩カメラ２０のＲＯＩを上側に移動するように変更する。この結果、虹彩カメラ２０の合焦地点において、被写体５００の目が虹彩カメラのＲＯＩ内に含まれることになる。なお、ＲＯＩの移動は、虹彩カメラ２０の読み込み画素を変更することで移動されてもよいし、虹彩カメラ２０そのものを移動させてもよい。虹彩カメラ２０そのものを移動させる場合には、虹彩カメラ２０本体角をパンチルトさせてもよいし、虹彩カメラ２０本体を上下左右に移動させてもよいし、虹彩カメラ２０の光軸に合わせた稼働ミラーをパンチルトさせてもよいし、これらを組み合わせてもよい。或いは、撮像範囲の異なる複数の虹彩カメラを用意しておき、撮像に利用する虹彩カメラ２０を適宜選択するようにしてもよい。

【0045】

（技術的効果）
次に、第２実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0046】

図７及び図８で説明したように、第２実施形態に係る撮像システム１０では、被写体５００の動きに合わせてＲＯＩが移動される。従って、被写体５００が動いている場合であっても、その虹彩を適切に撮像することが可能である。なお、上述した例では、被写体５００が上下に動く場合を例に挙げたが、被写体が左右方向、或いは斜め方向に移動する場合であっても、その方向にＲＯＩを移動させることで適切な撮像を実現することができる。

【0047】

＜第３実施形態＞
第３実施形態に係る撮像システム１０について、図９から図１１を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比べて一部の動作が異なるのみで、その構成については第１実施形態（図１及び図２参照）、或いはその変形例（図４から図６参照）と同一であってよい。このため、以下では、すでに説明した部分と重複する部分については適宜説明を省略するものとする。

【0048】

（動作の流れ）
まず、図９を参照しながら、第３実施形態に係る撮像システム１０の動作の流れについて説明する。図９は、第３実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図９では、図３に示した処理と同様の処理に同一の符号を付している。

【0049】

図９に示すように、第３実施形態に係る撮像システム１０が動作する際には、まず画像取得１１０が、被写体５００の複数の画像を取得する（ステップＳ１０１）。そして第３実施形態では特に、動き推定部１２０が、複数の画像の差分を用いて被写体５００の動きを推定する（ステップＳ２０１）。

【0050】

次に、設定変更部１３０が、被写体５００の動きに応じて虹彩カメラ２０の設定値を変更する（ステップＳ１０３）。その後、撮像が終了したと判定された場合（ステップＳ２０２：ＹＥＳ）、一連の動作は終了することになる。なお、撮像が終了したか否かは、予め設定された撮像枚数が撮像されたか否かによって判定してもよい。

【0051】

一方、撮像が終了したと判定されない場合（ステップＳ２０２：ＮＯ）、ステップＳ１０１から処理が繰り返し実行される。よって、第３実施形態では、虹彩カメラ２０による虹彩画像の撮像が終了するまで、虹彩カメラ２０の設定値変更が逐次実行されることになる。

【0052】

（具体的な推定方法）
次に、図１０及び図１１を参照して、画像差分を用いて被写体５００の動きを推定する方法の具体例について説明する。図１０は、オプティカルフローを利用して被写体の移動方向を算出する方法の一例を示す概念図である。図１１は、目位置の変動から被写体の移動方向を算出する方法の一例を示す概念図である。

【0053】

図１０に示すように、第３実施形態に係る撮像システム１０では、オプティカルフローを用いて被写体５００の動きが推定されてもよい。具体的には、動き推定部１２０は、虹彩カメラ２０で、合焦地点直前（１）のタイミングで撮像された画像と、その直後の合焦地点直前（２）で撮像された画像とから、オプティカルフローを算出する。そして、設定値変更部１３０は、算出されたオプティカルフローに基づいて、虹彩カメラ２０のＲＯＩを移動させる。この結果、合焦地点直前（２）の直後である合焦地点直前（３）においては、ＲＯＩが上側（即ち、オプティカルフローの方向）に移動された状態で虹彩画像の撮像が実行されることになる。

【0054】

図１１に示すように、第３実施形態に係る撮像システム１０では、被写体５００の目位置を検出して被写体５００の動きが推定されてもよい。具体的には、動き推定部１２０は、全体俯瞰カメラ３０で、合焦地点直前（１）のタイミングで撮像された画像と、その直後の合焦地点直前（２）で撮像された画像とから、それぞれ被写体５００の目位置を検出する。なお、目位置の検出には、既存の技術を適宜採用することができる。動き推定部１２０は、２つの画像の目位置の差分から、被写体５００の目位置の変動方向を算出する。その後、設定値変更部１３０は、算出された目位置の変動方向に基づいて、虹彩カメラ２０のＲＯＩを移動させる。この結果、合焦地点直前（２）の直後である合焦地点直前（３）においては、ＲＯＩが上側（即ち、目位置の変動方向）に移動された状態で虹彩画像の撮像が実行されることになる。

【0055】

（技術的効果）
次に、第３実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0056】

図９から図１１で説明したように、第３実施形態に係る撮像システム１０では、複数の画像の差分から被写体５００の動きが推定され、虹彩カメラ２０のＲＯＩ（即ち、設定値）が変更される。このようにすれば、被写体５００の動きに合わせて逐次虹彩カメラ２０の設定値が変更されることになるため、より適切に被写体５００の画像を撮像することが可能である。

【0057】

＜第４実施形態＞
第４実施形態に係る撮像システム１０について、図１２及び図１３を参照して説明する。
なお、第４実施形態は、上述した第１から第３実施形態と比べて一部の動作が異なるのみで、その構成については第１実施形態（図１及び図２参照）、或いはその変形例（図４から図６参照）と同一であってよい。このため、以下では、すでに説明した部分と重複する部分については適宜説明を省略するものとする。

【0058】

（動作の流れ）
まず、図１２を参照しながら、第４実施形態に係る撮像システム１０の動作の流れについて説明する。図１２は、第４実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図１２では、図３に示した処理と同様の処理に同一の符号を付している。

【0059】

図１２に示すように、第４実施形態に係る撮像システム１０が動作する際には、まず画像取得１１０が、被写体の複数の画像を取得する（ステップＳ１０１）。そして第４実施形態では特に、動き推定部１２０が、複数の画像から被写体５００の歩容周期を推定する（ステップＳ３０１）。なお、複数の画像を用いた歩容周期の推定方法については、既存の技術を適宜採用することが可能である。

【0060】

次に、設定変更部１３０が、被写体５００の歩容周期に応じて虹彩カメラ２０のＲＯＩを周期振動させる（ステップＳ３０２）。このため、虹彩カメラ２０のＲＯＩは、被写体５００の歩容周期に合わせて変動し続けることになる。なお、被写体５００の歩容周期は、典型的に上下動作であるが（図７参照）、例えば左右方向、或いは斜め方向の動作であってもよい。

【0061】

（具体的な動作例）
次に、図１３を参照して、第４実施形態に係る撮像システム１０のより具体的な動作例について説明する。図１３は、被写体の歩容周期を推定してＲＯＩを周期振動させる方法の一例を示す概念図である。

【0062】

図１３に示すように、第４実施形態に係る撮像システム１０では、虹彩カメラの合焦地点よりも手前にあるエリアにおいて、複数の画像が撮像され被写体５００の歩容周期が推定される。なお、歩容周期を推定するエリアは予め設定しておけばよく、例えば各種センサ等を配置しておくことで、被写体５００が歩容周期を推定するエリアに進入したことを検出できる。

【0063】

その後、被写体５００が虹彩カメラ２０の合焦地点の周辺（言い換えれば、虹彩カメラ２０で虹彩画像を撮像するエリア）に到達すると、虹彩カメラ２０のＲＯＩが推定した歩容周期に応じて周期振動される。虹彩カメラ２０のＲＯＩは、典型的には虹彩画像２０の撮像処理（例えば、所定枚数の撮像）が完了するまで振動され続ける。

【0064】

（技術的効果）
次に、第４実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0065】

図１２及び図１３で説明したように、第４実施形態に係る撮像システム１０では、複数の画像から被写体５００の歩容周期が推定され、その歩容周期に合わせて虹彩カメラ２０のＲＯＩ（即ち、設定値）が変更される。このようにすれば、被写体５００の動きを追従するように虹彩カメラ２０のＲＯＩが移動されるため、より適切に被写体５００の虹彩画像を撮像することが可能である。また、第４実施形態に係る撮像システム１０は、上述した第３実施形態（即ち、画像差分から被写体５００の動きを推定する場合）と比較して、被写体の動きを推定する際の処理負荷が小さい。よって、処理時間を短縮することができ、合焦地点付近における虹彩画像撮像時のフレームレートを高速に維持することができる。従って、よりよく合焦した虹彩画像を撮像することが可能である。

【0066】

＜第５実施形態＞
第５実施形態に係る撮像システム１０について、図１４を参照して説明する。なお、第５実施形態は、上述した第３及び第４実施形態を組み合わせたものであり、その構成については第１実施形態（図１及び図２参照）、或いはその変形例（図４から図６参照）と同一であってよい。このため、以下では、すでに説明した部分と重複する部分については適宜説明を省略するものとする。

【0067】

（動作の流れ）
まず、図１４を参照しながら、第５実施形態に係る撮像システム１０の動作の流れについて説明する。図１４は、第５実施形態に係る撮像システムの動作の流れを示すフローチャートである。なお、図１４では、図９及び図１２に示した処理と同様の処理に同一の符号を付している。

【0068】

図１４に示すように、第５実施形態に係る撮像システム１０が動作する際には、まず画像取得１１０が、被写体の複数の画像を取得する（ステップＳ１０１）。そして、動き推定部１２０が、複数の画像から被写体５００の歩容周期を推定する（ステップＳ３０１）。

【0069】

ここで特に、第５実施形態に係る撮像システム１０は、推定した歩容周期が所定範囲内であるか否かを判定する（ステップＳ４０１）。なお、ここでの「所定範囲」とは、歩容周期を用いたＲＯＩの周期振動（即ち、上述した第４実施形態の動作）を実現可能かを判定するための閾値であり、例えば想定される一般的な歩容周期が所定範囲内となる一方で、怪我している人や、足が不自由な人等の不規則な歩容については所定範囲外となるように設定される。

【0070】

歩容周期が所定範囲内であると判定された場合（ステップＳ４０１：ＹＥＳ）、設定変更部１３０が、被写体５００の歩容周期に応じて虹彩カメラ２０のＲＯＩを周期振動させる（ステップＳ３０２）。即ち、第４実施形態と同様の動作が実現される（図１２及び図１３等を参照）。

【0071】

一方、歩容周期が所定範囲内でないと判定された場合（ステップＳ４０１：ＮＯ）、画像取得部１１０が被写体の画像を再取得し（ステップＳ４０２）、動き推定部１２０が、複数の画像の差分を用いて被写体５００の動きを推定する（ステップＳ２０１）。そして、設定変更部１３０が、被写体５００の動きに応じて虹彩カメラ２０の設定値を変更する（ステップＳ１０３）。その後、撮像が終了したと判定された場合（ステップＳ２０２：ＹＥＳ）、一連の動作は終了する一方で、撮像が終了したと判定されない場合（ステップＳ２０２：ＮＯ）、ステップＳ４０１から処理が繰り返し実行される。即ち、第３実施形態と同様の動作が実現される（図９から図１１等を参照）。

【0072】

（技術的効果）
次に、第５実施形態に係る撮像システム１０によって得られる技術的効果について説明する。

【0073】

図１４で説明したように、第５実施形態に係る撮像システム１０では、歩容周期が所定範囲内である場合に、歩容周期に応じてＲＯＩが周期振動される。このため、第４実施形態と同様に、比較的小さい処理負荷で被写体５００の動きを推定できる。一方、歩容周期が所定範囲内でない場合には、画像差分を用いてＲＯＩが変更される。よって、歩容周期によって被写体の動きを推定することが難しい場合にも、確実に被写体の動きを推定し、適切にＲＯＩを変更することができる。

【0074】

＜付記＞
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。

【0075】

（付記１）
付記１に記載の撮像システムは、被写体を相異なるタイミングで撮像した複数の画像を取得する取得手段と、前記複数の画像に基づいて、前記被写体の動きを推定する推定手段と、前記被写体の動きに応じて、前記被写体の特定部分を撮像する撮像部の設定値を変更する変更手段とを備えることを特徴とする撮像システムである。

【0076】

（付記２）
付記２に記載の撮像システムは、前記変更手段は、前記撮像部の合焦地点において前記特定部分が前記撮像部の撮像範囲に含まれるように前記設定値を変更することを特徴とする付記１に記載の撮像システムである。

【0077】

（付記３）
付記３に記載の撮像システムは、前記推定手段は、前記複数の画像の差分から前記被写体の動きを推定することを特徴とする付記1又は２に記載の撮像システムである。

【0078】

（付記４）
前記推定手段は、前記複数の画像から前記被写体の歩容周期を推定することで、前記被写体の動きを推定することを特徴とする付記１又は２に記載の撮像システムである。

【0079】

（付記５）
付記５に記載の撮像システムは、前記推定手段は、前記歩容周期が所定範囲内でない場合に、前記複数の画像の差分から前記被写体の動きを推定することを特徴とする付記４に記載の撮像システムである。

【0080】

（付記６）
付記６に記載の撮像システムは、前記取得手段は、前記撮像部から前記複数の画像を取得することを特徴とする付記１から５のいずれか一項に記載の撮像システムである。

【0081】

（付記７）
付記７に記載の撮像システムは、前記取得手段は、前記撮像部とは異なる第２の撮像部から前記複数の画像を取得することを特徴とする付記１から５のいずれか一項に記載の撮像システムである。

【0082】

（付記８）
付記８に記載の撮像システムは、前記撮像部が撮像した前記特定部分の画像を用いて、前記被写体の認証処理を実行する認証手段を更に備えることを特徴とする付記１から７のいずれか一項に記載の撮像システムである。

【0083】

（付記９）
付記９に記載の撮像方法は、被写体を相異なるタイミングで撮像した複数の画像を取得し、
前記複数の画像に基づいて、前記被写体の動きを推定し、前記被写体の動きに応じて、前記被写体の特定部分を撮像する撮像部の設定値を変更することを特徴とする撮像方法である。

【0084】

（付記１０）
付記１０に記載のコンピュータプログラムは、被写体を相異なるタイミングで撮像した複数の画像を取得し、前記複数の画像に基づいて、前記被写体の動きを推定し、前記被写体の動きに応じて、前記被写体の特定部分を撮像する撮像部の設定値を変更するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。

【0085】

この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像システム、撮像方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。

【符号の説明】

【0086】

１０ 撮像システム
２０ 虹彩カメラ
３０ 全体俯瞰カメラ
１１０ 画像取得部
１２０ 動き推定部
１３０ 設定変更部
１４０ 認証処理部
５００ 被写体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】