特許 7640946 情報処理システム、目状態測定システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-26

(45)【発行日】2025-03-06

(54)【発明の名称】情報処理システム、目状態測定システム、情報処理方法およびプログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20250227BHJP

   A61B 3/11 20060101ALI20250227BHJP

   A61B 5/11 20060101ALI20250227BHJP

   A61B 5/16 20060101ALN20250227BHJP

【ＦＩ】

A61B3/113

A61B3/11

A61B5/11

A61B5/16 120

【請求項の数】 10

(21)【出願番号】P 2022556425

(86)(22)【出願日】2021-08-11

(86)【国際出願番号】 JP2021029657

(87)【国際公開番号】W WO2022085276

(87)【国際公開日】2022-04-28

【審査請求日】2023-04-11

(31)【優先権主張番号】P 2020176066

(32)【優先日】2020-10-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】谷内田 尚司

(72)【発明者】

【氏名】井上 満晶

(72)【発明者】

【氏名】末石 智大

【審査官】渡戸 正義

(56)【参考文献】

【文献】特開２０１８－０８８６４７（ＪＰ，Ａ）

【文献】国際公開第２０２０／１８８６２９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０１２１１０５（ＵＳ，Ａ１）

【文献】特開２０１６－２２０８０１（ＪＰ，Ａ）

【文献】特開２０１８－１０３７４５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２３２５０７（ＵＳ，Ａ１）

【文献】特開平１０－０４０３８６（ＪＰ，Ａ）

【文献】特開２００５－３２３９０５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３２６７７３（ＵＳ，Ａ１）

【文献】国際公開第２０１２／００１７５５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

(57)【特許請求の範囲】

【請求項1】

第１撮像手段から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する第１取得手段と、
第２撮像手段から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する第２取得手段と、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させる移動制御手段と、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する状態評価手段と
を備え、
前記第１取得手段は、前記第２取得手段が前記第２画像にかかる画像データを取得するフレームレート以上のフレームレートで前記第１画像にかかる画像データを取得し、
前記第１取得手段のフレームレートは、４８０[ｆｐｓ]以上１０００[ｆｐｓ]以下であり、
前記第２取得手段のフレームレートは、１２０[ｆｐｓ]以上１０００[ｆｐｓ]以下である、情報処理システム。

【請求項2】

前記移動制御手段は、前記第１画像の時系列データに基づいて前記被験者の前記頭部の位置の変化情報を生成し、前記変化情報に基づいて前記第２撮像手段の視野範囲を移動させる
請求項１に記載の情報処理システム。

【請求項3】

前記第２画像中の前記被験者の瞳孔の重心の位置と、目尻および目頭の少なくとも一方の位置とをそれぞれ推定する要素位置推定手段を有し、
前記状態評価手段は、前記目尻および前記目頭の少なくとも一方の位置情報と前記瞳孔の重心の位置情報とに基づいて、前記被験者の瞳孔の振動状態を評価する
請求項１または２に記載の情報処理システム。

【請求項4】

前記状態評価手段は、前記目尻の位置および前記目頭の位置を結ぶ直線に対する前記瞳孔の重心の相対位置を算出し、前記相対位置に基づいて前記被験者の瞳孔の振動状態を評価する
請求項３に記載の情報処理システム。

【請求項5】

前記状態評価手段は、前記第２画像の時系列データに基づいて前記被験者の瞳孔の収縮量を評価する
請求項１または２に記載の情報処理システム。

【請求項6】

被験者の頭部を第１画角で撮像する第１撮像手段と、
前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像する第２撮像手段と、
情報処理装置と
を備える目状態測定システムであって、
前記情報処理装置は、
前記第１撮像手段から第１画像にかかる画像データを取得する第１取得手段と、
前記第２撮像手段から第２画像にかかる画像データを取得する第２取得手段と、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させる移動制御手段と、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する状態評価手段と
を有し、
前記第１撮像手段は、前記第２撮像手段のフレームレート以上のフレームレートで被写体を撮像し、
前記第１撮像手段のフレームレートは、４８０[ｆｐｓ]以上１０００[ｆｐｓ]以下であり、
前記第２撮像手段のフレームレートは、１２０[ｆｐｓ]以上１０００[ｆｐｓ]以下である、目状態測定システム。

【請求項7】

前記第２撮像手段の光軸を移動させる可動ミラーと、
前記可動ミラーを回転させる駆動手段と
をさらに備え、
前記移動制御手段は、前記第１画像の時系列データに基づいて前記被験者の前記頭部の位置の変化情報を生成し、前記変化情報に基づいて前記可動ミラーの回転量を算出する
請求項６に記載の目状態測定システム。

【請求項8】

前記可動ミラーは、前記第１撮像手段および前記第２撮像手段の光軸を移動させる
請求項７に記載の目状態測定システム。

【請求項9】

第１撮像手段から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得し、
第２撮像手段から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得し、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させ、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する情報処理方法であって、
前記第１撮像手段は、前記第２撮像手段のフレームレート以上のフレームレートで被写体を撮像し、
前記第１撮像手段のフレームレートは、４８０[ｆｐｓ]以上１０００[ｆｐｓ]以下であり、
前記第２撮像手段のフレームレートは、１２０[ｆｐｓ]以上１０００[ｆｐｓ]以下である、情報処理方法。

【請求項10】

第１撮像手段から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する第１取得処理と、
第２撮像手段から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する第２取得処理と、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させる移動制御処理と、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する状態評価処理と
をコンピュータに実行させる、プログラムであって、
前記第１撮像手段は、前記第２撮像手段のフレームレート以上のフレームレートで被写体を撮像し、
前記第１撮像手段のフレームレートは、４８０[ｆｐｓ]以上１０００[ｆｐｓ]以下であり、
前記第２撮像手段のフレームレートは、１２０[ｆｐｓ]以上１０００[ｆｐｓ]以下である、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、目状態測定システム、情報処理方法およびプログラムに関し、特に被験者の目の状態変化を評価する情報処理システム、目状態測定システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

被験者の目の撮像画像に基づいて被験者の目の状態変化を評価する技術が提案されている。例えば特許文献１では、運転者の顔の撮像画像に基づいて検出した瞳孔位置の変化から、瞳孔運動を算出する方法が開示されている。しかし上述の特許文献１に記載の方法では、頭部が移動してカメラの視野範囲から眼球が外れてしまった場合には、瞳孔位置を検出できない。したがって被験者は、カメラの視野範囲から眼球が外れないように頭部を固定する必要がある。

【0003】

また特許文献２では、基準画像の白目領域の血管像の位置を示す基準位置と、検出用画像の白目領域の血管像の位置との間の差に基づいて眼球の移動量を検出する方法が開示されている。この方法では、目頭および目尻の位置を含む３点位置からAffine変換により検出用画像の眼球画像を基準画像の位置に戻すので、映像ブレを防止することができる。しかしこの方法においても、被験者は、カメラの視野範囲から眼球が外れないように頭部をある程度固定することが求められる。

【0004】

一方、画角の異なるカメラを用いて、指定された領域を拡大して撮影する方法が知られている。特許文献３には、広角の第１カメラで撮影した画像において指定されたターゲット領域を、狭角の第２カメラで撮影する情報処理システムが開示されている。しかし上述の特許文献３には、第２カメラは、人の顔などを撮影するにとどまり、微小領域である目領域を撮影することについては開示されていない。また上述の特許文献３には、微小な目の状態変化を測定し、評価するための技術についても開示されていない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１９５３７７号公報

【文献】国際公開第２０１６／１９５０６６号

【文献】国際公開第２０１２／００１７５５号

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示の目的は、上述した課題に鑑み、頭部を固定せずリラックスした状態で、好適に被験者の目の状態変化を評価する情報処理システム、目状態測定システム、情報処理方法および非一時的なコンピュータ可読媒体を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様にかかる情報処理システムは、第１取得手段と、第２取得手段と、移動制御手段と、状態評価手段とを備える。前記第１取得手段は、第１撮像手段から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する。前記第２取得手段は、第２撮像手段から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する。前記移動制御手段は、前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させる。前記状態評価手段は、前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する。

【0008】

本開示の一態様にかかる目状態測定システムは、第１撮像手段と、第２撮像手段と、情報処理装置とを備える。前記第１撮像手段は、被験者の頭部を第１画角で撮像する。前記第２撮像手段は、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像する。前記情報処理装置は、第１取得手段と、第２取得手段と、移動制御手段と、状態評価手段とを有する。前記第１取得手段は、第１撮像手段から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する。前記第２取得手段は、第２撮像手段から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する。前記移動制御手段は、前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させる。前記状態評価手段は、前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する。

【0009】

本開示の一態様にかかる情報処理方法は、第１撮像手段から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得し、第２撮像手段から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得し、前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させ、前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する。

【0010】

本開示の一態様にかかるプログラムは、第１取得処理と、第２取得処理と、移動制御処理と、状態評価処理とをコンピュータに実行させる。前記第１取得処理は、第１撮像手段から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する処理である。前記第２取得処理は、第２撮像手段から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する処理である。前記移動制御処理は、前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像手段の視野範囲を移動させる処理である。前記状態評価処理は、前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する処理である。

【発明の効果】

【0011】

本開示により、頭部を固定せずリラックスした状態で、好適に被験者の目の状態変化を評価する情報処理システム、目状態測定システム、情報処理方法およびプログラムを提供できる。

【図面の簡単な説明】

【0012】

【図1】実施形態１にかかる情報処理システムの機能構成を示すブロック図である。

【図2】実施形態１にかかる情報処理システムのハードウェア構成を示すブロック図である。

【図3】実施形態２にかかる情報処理システムが適用されることができる目状態測定システムのシステム構成図である。

【図4】実施形態２にかかる情報処理装置の機能構成を示すブロック図である。

【図5】実施形態２にかかる移動制御部による移動制御処理を説明するための図である。

【図6】実施形態２にかかる移動制御部による焦点位置制御処理を説明するための図である。

【図7】実施形態２にかかる状態評価部による状態評価処理を説明するための図である。

【図8】実施形態２にかかる情報処理装置の情報処理の手順を示すフローチャートである。

【図9】実施形態３にかかる目状態測定システムのシステム構成図である。

【図10】実施形態４にかかる目状態測定システムのシステム構成図である。

【図11】実施形態４にかかる情報処理装置の機能構成を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、実施形態を通じて本開示を説明するが、請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されている。

【0014】

＜実施形態１＞
まず図１～２を用いて、本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理システム１０の機能構成を示すブロック図である。情報処理システム１０は、被験者の目の状態変化を評価するコンピュータ装置である。情報処理システム１０は、第１取得部１１と、第２取得部１２と、移動制御部１３と、状態評価部１５とを備える。

【0015】

第１取得部１１は、第１取得手段とも呼ばれる。第１取得部１１は、第１撮像部３０に通信可能に接続され、第１撮像部３０から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データ（第１画像データ）を取得する。ここで第１撮像部３０は、被験者の頭部を第１画角で撮像するカメラである。第１撮像部３０は、第１撮像手段とも呼ばれる。

【0016】

第２取得部１２は、第２取得手段とも呼ばれる。第２取得部１２は、第２撮像部４０に通信可能に接続され、第２撮像部４０から、被験者の目領域を第２画角で撮像した第２画像にかかる画像データ（第２画像データ）を取得する。ここで第２撮像部４０は、被験者の目領域を第２画角で撮像するカメラである。第２撮像部４０は、第２撮像手段とも呼ばれる。第２画角は、第１画角よりも狭い。また目領域は、眼球、または眼球を含む周辺領域であってよい。

【0017】

移動制御部１３は、移動制御手段とも呼ばれる。移動制御部１３は、第１画像に基づいて取得される被験者の頭部の位置情報に基づいて、第２撮像部４０の視野範囲を移動させる。第２撮像部４０の視野範囲は、第２撮像部４０が撮像する範囲であり、キャプチャボリュームとも呼ばれる。視野範囲は、画角とカメラ光軸とに基づいて画定され、画角が大きいほど広い。

【0018】

状態評価部１５は、状態評価手段とも呼ばれる。状態評価部１５は、第２画像の時系列データに基づいて被験者の目の状態変化を評価する。

【0019】

図２は、実施形態１にかかる情報処理システム１０のハードウェア構成を示すブロック図である。

【0020】

情報処理システム１０は、主要なハードウェア構成として、プロセッサ１００と、ＲＯＭ１０１（Read Only Memory）と、ＲＡＭ１０２（Random Access Memory）と、インターフェース部１０３（ＩＦ；Interface）とを有する。プロセッサ１００、ＲＯＭ１０１、ＲＡＭ１０２およびインターフェース部１０３は、データバスなどを介して相互に接続されている。

【0021】

プロセッサ１００は、制御処理および演算処理等を行う演算装置としての機能を有する。プロセッサ１００は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）またはＡＳＩＣ（application specific integrated circuit）並びにこれらの組み合わせであってよい。ＲＯＭ１０１は、プロセッサ１００によって実行される制御プログラムおよび演算プログラム等を記憶するための機能を有する。ＲＡＭ１０２は、処理データ等を一時的に記憶するための機能を有する。インターフェース部１０３は、有線または無線を介して外部と信号の入出力を行う。また、インターフェース部１０３は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示する。例えば、インターフェース部１０３は、第１撮像部３０および第２撮像部４０と通信を行う。

【0022】

このように実施形態１の情報処理システム１０によれば、広角の第１画像に基づいて取得した被験者の頭部の位置情報に基づいて狭角のカメラの視野範囲を移動させることで、目領域を拡大撮像し、目の状態変化を評価する。したがって被験者の頭部が固定されていなくても、狭角のカメラの視野範囲から目領域が外れることを回避できる。これにより、情報処理システム１０は、頭部を固定せずリラックスした状態で、好適に被験者の目の状態変化を評価できる。

【0023】

＜実施形態２＞
図３は、実施形態２にかかる情報処理システム（以下、情報処理装置と呼ぶ）が適用されることができる目状態測定システム１ａのシステム構成図である。なお本図では、被験者Ｐの左右方向をＸ軸方向とし、被験者Ｐの前後方向をＹ軸方向とし、被験者Ｐの上下方向をＺ軸方向とする。

【0024】

ここで目状態測定システム１ａは、被験者の目の状態変化を測定し、評価するコンピュータシステムである。本実施形態２では、目状態測定システム１ａは、サッカード現象に由来する瞳孔の振動状態を測定し、評価する。目状態測定システム１ａは、情報処理装置１０ａと、第１撮像部３０ａと、第２撮像部４０と、可動ミラー５０と、駆動部５１と、光源６１とを備える。なおＹ軸方向における第１撮像部３０ａと被験者Ｐとの距離は、Ｄである。Ｄは、例えば２±０．５[ｍ]である。

【0025】

情報処理装置１０ａは、図１の情報処理システム１０に対応する。情報処理装置１０ａは、第１撮像部３０ａ、第２撮像部４０および駆動部５１に接続される。情報処理装置１０ａは、第１撮像部３０ａから第１画像データを受信したことに応じて、被験者Ｐの目領域が第２撮像部４０の視野範囲に収まるために必要な制御信号と、被験者Ｐの目領域で第２撮像部４０を合焦させるために必要な制御信号とを生成する。そして情報処理装置１０ａは、Ｘ軸およびＺ軸方向の視野範囲の制御信号については駆動部５１に、焦点位置の制御信号については第２撮像部４０に送信する。

【0026】

第１撮像部３０ａは、図１の第１撮像部３０と同様の機能を有するカメラである。本実施形態２では、第１撮像部３０ａは、広角カメラ３１を有する。広角カメラ３１は、被験者Ｐの少なくとも顔を第１画角で撮像し、第１画像データを生成する。広角カメラ３１の焦点距離は、Ｄ[ｍ]だけ離れた被験者Ｐの顔が撮像できるように予め設定される。例えば広角カメラ３１の焦点距離は、２００[ｍｍ]未満であってよく、好ましくは７０[ｍｍ]未満であってよく、本実施形態２では２８[ｍｍ]である。なお広角カメラ３１の焦点距離は、１２[ｍｍ]であってもよい。

【0027】

広角カメラ３１のフレームレートは、被験者Ｐの頭部の揺れに伴う目領域の揺れを追跡でき、かつデータ量の過度の増大を抑制するために予め設定される。例えば広角カメラ３１のフレームレートは、１２０[ｆｐｓ]以上１２００[ｆｐｓ]以下であってよく、好ましくは２４０[ｆｐｓ]以上１０００[ｆｐｓ]以下であってよく、さらに好ましくは４８０[ｆｐｓ]以上１０００[ｆｐｓ]以下であってよく、本実施形態２では５００[ｆｐｓ]である。ここで広角カメラ３１は、後述する第２撮像部４０のフレームレート以上のフレームレートで被写体を撮像してよい。これにより目領域の揺れに応じて第２撮像部４０の視野範囲を好適に制御することが容易となる。
広角カメラ３１は、第１画像データを生成したことに応じて、情報処理装置１０ａに第１画像データを送信する。

【0028】

第２撮像部４０は、被験者の目領域を、第１画角よりも狭い第２画角で撮像し、第２画像データを生成するカメラである。後述する瞳孔検出を容易にするために、第２撮像部４０は、近赤外線カメラであってよい。第２撮像部４０の受光素子の検出波長を瞳孔検出用波長と呼ぶと、瞳孔検出用波長は、一例として９４０[ｎｍ]の波長である。また第２撮像部４０は、望遠レンズと、液体レンズとを有する。液体レンズは、焦点位置(フォーカスポイント)を決定するレンズであり、情報処理装置１０ａによる焦点位置の制御信号に基づいて制御されてよい。第２撮像部４０の焦点距離は、可動ミラー５０からＤ[ｍ]だけ離れた被験者Ｐの目領域が撮像できるように設定され、広角カメラ３１の焦点距離よりも長い。例えば第２撮像部４０の焦点距離は、１００[ｍｍ]以上であってよく、好ましくは１５０[ｍｍ]以上であり、本実施形態２では２００±５０[ｍｍ]である。ここで第２撮像部４０は、その焦点距離が長いため、被写界深度が非常に狭くなる。したがって第２撮像部４０は、目領域に焦点（フォーカス）を合わせるために、その距離情報に基づき焦点位置の制御をおこなう。また第２撮像部４０のフレームレートは、目の状態変化、本例ではサッカード現象、が観察でき、かつデータ量の過度の増大を抑制するために予め設定される。例えば第２撮像部４０のフレームレートは、１２０[ｆｐｓ]以上１０００[ｆｐｓ]以下であってよく、好ましくは２４０[ｆｐｓ]以上１０００[ｆｐｓ]以下、さらに好ましくは５００[ｆｐｓ]以上１０００[ｆｐｓ]以下であり、本実施形態２では５００[ｆｐｓ]である。第２撮像部４０は、第２画像データを生成したことに応じて、情報処理装置１０ａに第２画像データを送信する。

【0029】

可動ミラー５０は、第２撮像部４０の光軸を移動させる一対のミラーである。可動ミラー５０は、第１の可動ミラー５０－１と、第２の可動ミラー５０－２とを有する。以下では、第１の可動ミラー５０－１と第２の可動ミラー５０－２とを区別しない場合、単に可動ミラー５０と呼ぶ。各可動ミラー５０は、支持部（不図示）を介して駆動部５１に予め定められた傾斜角度を有するように固定的に接続され、支持部が回転することによりその傾斜角度を変更できるように構成される。例えば第１の可動ミラー５０－１は、接続先の支持部がＺ軸周りに回転するように構成され、第２の可動ミラー５０－２は、接続先の支持部がＸ軸周りに回転するように構成される。これにより可動ミラー５０は、第２撮像部４０の光軸をＸ軸方向およびＺ軸方向に移動させ、すなわち第２撮像部４０の視野範囲をＸ軸およびＺ軸方向に移動させることができる。

【0030】

なお本実施形態１では、可動ミラー５０は、質量が比較的小さく、応答性の高いガルバノミラーである。これにより目状態測定システム１ａは、第２撮像部４０の視野範囲を被験者Ｐの頭部の微小で高速な移動に連動させて目領域を撮像することが容易となる。

【0031】

駆動部５１は、駆動手段とも呼ばれる。駆動部５１は、支持部を介して各可動ミラー５０を回転させる駆動モータである。駆動部５１は、第１の可動ミラー５０－１に対応する第１の駆動部５１－１と、第２の可動ミラー５０－２に対応する第２の駆動部５１－２とを有する。なお第１の駆動部５１－１および第２の駆動部５１－２についても、単に駆動部５１と呼ぶことがある。ここで駆動部５１は、情報処理装置１０ａのＸ軸およびＺ軸方向に関する視野範囲の制御信号に従って、可動ミラー５０を回転させる。

【0032】

光源６１は、被験者Ｐの顔を照射する光源である。光源６１は、瞳孔検出用波長に対応する波長領域を有する光源であり、本実施形態２では９４０[ｎｍ]の近赤外光源である。

【0033】

つまり第２撮像部４０は、被験者Ｐの目領域→第１の可動ミラー５０－１→第２の可動ミラー５０－２→第２撮像部４０という経路の光が入射することで、被験者Ｐの目領域を撮像する。

【0034】

図４は、実施形態２にかかる情報処理装置１０ａの機能構成を示すブロック図である。図４の情報処理装置１０ａは、図１の情報処理装置１０の構成要素に加えて、要素位置推定部１４および出力部１６を有する。

【0035】

第１取得部１１は、第１撮像部３０ａ（広角カメラ３１）に接続され、第１撮像部３０ａから第１画像データを受信し、取得する。第１取得部１１は、第２取得部１２が第２画像データを取得するフレームレート以上のフレームレートで第１画像データを取得してよい。第１取得部１１は、取得した第１画像データを移動制御部１３に供給する。

【0036】

第２取得部１２は、第２撮像部４０に接続され、第２撮像部４０から第２画像データを受信し、取得する。第２取得部１２は、取得した第２画像データを要素位置推定部１４に供給する。また第２取得部１２は、取得した第２画像データを移動制御部１３に供給してよい。

【0037】

移動制御部１３は、第１画像の時系列データに基づいて、Ｘ軸およびＺ軸方向における被験者Ｐの顔の位置の変化情報を生成する。移動制御部１３は、該変化情報に基づいて第１の可動ミラー５０－１および第２の可動ミラー５０－２それぞれの回転量を算出する。移動制御部１３は、当該回転量の算出に、変化情報に加えて第２画像データを用いてもよい。そして移動制御部１３は、各回転量に基づいてＸ軸およびＺ軸方向に関する視野範囲の制御信号を生成し、Ｚ軸方向に関する視野範囲の制御信号を第１の駆動部５１－１に、Ｘ軸方向に関する視野範囲の制御信号を第２の駆動部５１－２に送信する。また移動制御部１３は、第１画像および第２画像の時系列データに基づいて焦点位置制御処理を行い、Ｙ軸方向における被験者Ｐの顔の位置の変化情報を生成し、焦点位置の制御信号を生成する。そして移動制御部１３は、第２撮像部４０に対して当該制御信号を送信することで、液体レンズを制御する。このように第２撮像部４０は、顔の位置の変化情報に基づいてその視野範囲および焦点位置（フォーカスポイント）を移動させる。

【0038】

要素位置推定部１４は、要素位置推定手段とも呼ばれる。要素位置推定部１４は、第２画像中の目の要素の位置を推定する。本実施形態２では、要素位置推定部１４が推定する目の要素の位置は、被験者Ｐの瞳孔の重心位置と、目尻および目頭の位置とを含む。なお目尻および目頭の位置については、いずれか一方であってもよく、これに代えて他の任意の不動点の位置であってもよい。要素位置推定部１４は、目の要素の位置情報を状態評価部１５に供給する。

【0039】

状態評価部１５は、第２画像中の目の要素の位置の差分情報を生成し、差分情報に基づいて被験者Ｐの瞳孔の振動状態を評価する。瞳孔の振動状態は、瞳孔の振動量、振動方向、振動周波数および振動持続時間のうち少なくとも１つであってよい。状態評価部１５は、瞳孔の振動状態に関する情報を出力部１６に供給する。

【0040】

出力部１６は、出力手段とも呼ばれる。出力部１６は、瞳孔の振動状態に関する情報を評価結果として出力する。出力部１６は、評価結果を表示する表示部（不図示）を有してよい。また出力部１６は、評価結果を外部装置（不図示）に送信する送信部（不図示）を有してもよい。

【0041】

ここで図５を用いて、移動制御処理の詳細を説明する。図５は、実施形態２にかかる移動制御部１３による移動制御処理を説明するための図である。本図には、第２画像ＩＭＧ＿ｂが示されている。第２画像ＩＭＧ＿ｂには被験者Ｐの目頭Ｉｂおよび目尻Ｏｂを含む目領域が撮像されている。

【0042】

まず移動制御部１３は、第１画像中の目領域の位置座標（目位置座標と呼ぶ）を算出する。本実施形態２では、目位置座標は、第１画像中の目領域を略楕円形の領域と近似した場合の目領域の重心の位置座標であるが、これに限らず、第１画像中の目領域の位置座標範囲であってもよい。次に移動制御部１３は、第１画像中の目領域を第２画像ＩＭＧ＿ｂに仮想的に投影した場合の、第１画像中の目位置座標に対応する第２画像中の画像領域（投影領域）ＶＡの重心ＶＣの位置座標を算出する。このとき移動制御部１３は、前回と現在の撮影タイミングとの間の第１画像の目位置座標の差分情報と、前回の撮影タイミングでの第２画像とに基づいて、投影領域ＶＡの重心ＶＣの位置座標を算出してよい。なお目位置座標の差分情報は、前述した顔の位置の変化情報の一例である。そして移動制御部１３は、投影領域ＶＡの重心ＶＣが第２画像の中心Ｃに配置されるように第１の可動ミラー５０－１および第２の可動ミラー５０－２の回転量を算出する。これにより移動制御部１３は、常に第２画像ＩＭＧ＿ｂの中央に目領域Ａが配置されるように、第２撮像部４０の視野範囲をＸ軸およびＺ軸方向に移動させることができる。なお本図では、投影領域ＶＡおよび目領域Ａは、長軸および短軸に対して対称な略楕円形の領域であり、投影領域ＶＡおよび目領域Ａの各々について両端に位置する目尻Ｏｂと目頭Ｉｂとの間の中点がその重心と一致している。

【0043】

なお第２画像ＩＭＧ＿ｂに含まれる目領域の幅方向の画素数は、第２画像ＩＭＧ＿ｂの幅方向の画素数に対して所定範囲内になるように設定されている。第２画像ＩＭＧ＿ｂの幅方向の画素数は、ｘｂであり、高さ方向の画素数は、ｚｂである。一例としてｘｂ×ｚｂ＝６４０×４８０である。また第２画像ＩＭＧ＿ｂに撮像される被験者Ｐの目頭Ｉｂから目尻Ｏｂまでの画素数は、ｘ１である。つまりｘ１／ｘｂは、予め定められた範囲内に維持される。例えばｘ１／ｘｂは、０．５以上１未満であってよく、好ましくは０．８以上１未満である。これにより情報処理装置１０ａは、第２画像ＩＭＧ＿ｂから精度よく瞳孔を検出することができる。

【0044】

ここで、第２画像ＩＭＧ＿ｂの中央に目領域Ａが配置されるように、移動制御部１３が第１および第２の可動ミラー５０－１，５０－２を移動制御する際、Ｙ軸方向におけるカメラと被験者Ｐとの間の距離Ｄによってその回転量が異なってくる。したがって移動制御部１３は、第２画像ＩＭＧ＿ｂの焦点を調整することが必要となる。

【0045】

ここで図６は、実施形態２にかかる移動制御部１３による焦点位置制御処理を説明するための図である。本図は、上側に被験者Ｐ、第１撮像部３０ａおよび第２撮像部４０の上面模式図を示し、下側に第１撮像部３０ａの第１画像ＩＭＧ＿ａおよび第２撮像部４０の第２画像ＩＭＧ＿ｂを示している。

【0046】

まず移動制御部１３は、第１画像中ＩＭＧ＿ａ中の被験者Ｐの目頭Ｉａの位置座標（ｘａｉ，ｚａｉ）を算出する。そして移動制御部１３は、可動ミラー５０の回転制御を行うことで、第２画像ＩＭＧ＿ｂを取得する。このときの可動ミラー５０の角度をＧ（ｘｇ，ｚｇ）と表す。移動制御部１３は、第２画像ＩＭＧ＿ｂの目頭Ｉｂの位置座標（ｘｂｉ，ｚｂｉ）を算出する。移動制御部１３は、第１画像中ＩＭＧ＿ａの目頭Ｉａの位置座標（ｘａｉ，ｚａｉ）、第２画像ＩＭＧ＿ｂの目頭Ｉｂの位置座標（ｘｂｉ，ｚｂｉ）および可動ミラー５０の角度Ｇ（ｘｇ，ｚｇ）を用いて、ステレオ画像法により距離Ｄを算出する。そして移動制御部１３は、距離Ｄに基づいて第２撮像部４０の焦点位置を決定し、当該焦点位置に焦点を移動させるための制御情報を生成する。つまり移動制御部１３は、第１撮像部３０ａと第２撮像部４０とをステレオカメラのように扱い、被写界深度が狭い第２撮像部４０の焦点が、被験者Ｐの目位置で合焦するように調整する。
なお上述の例では、移動制御部１３は、目頭Ｉａ、Ｉｂの位置座標を用いたが、これらに代えて目尻Ｏａ，Ｏｂの位置座標を用いてもよい。

【0047】

次に図７を用いて、状態評価処理の詳細を説明する。図７は、実施形態２にかかる状態評価部１５による状態評価処理を説明するための図である。本図にも、第２画像ＩＭＧ＿ｂが示されている。

【0048】

まず状態評価部１５は、各撮影タイミングにおける第２画像ＩＭＧ＿ｂについて、動点である瞳孔の重心Ｇの、基準点からの相対位置を算出する。基準点は、瞼の開き度合または視線の移動によってはその位置がほぼ変化しない不動点であることが好ましい。ここで状態評価部１５は、基準点として、角膜反射像の位置を用いることもできるが、本実施形態２では、目尻Ｏｂおよび目頭Ｉｂの少なくとも一方の位置に基づく点を用いる。つまり、状態評価部１５は、目尻Ｏｂおよび目頭Ｉｂの少なくとも一方の位置情報と瞳孔の重心Ｇの位置情報とに基づいて、相対位置を算出する。例えば状態評価部１５は、目尻Ｏｂの位置および目頭Ｉｂの位置を結ぶ直線Ｌと瞳孔の重心Ｇとの間の相対位置を算出する。状態評価部１５は、瞳孔の重心Ｇの相対位置として、目尻Ｏｂと目頭Ｉｂの中点（第２画像ＩＭＧ＿ｂの中心Ｃと一致してよい）から重心ＧまでのＸ軸およびＺ軸方向の距離Δｘ，Δｚを算出する。状態評価部１５は、Ｘ軸およびＺ軸方向の距離Δｘ，Δｚを距離ｘ_１で規格化した値を、その第２画像ＩＭＧ＿ｂにおける瞳孔の重心Ｇの相対位置として算出してもよい。なお状態評価部１５は、目尻Ｏｂおよび目頭Ｉｂのいずれか一方の位置のみを基準点として用いてもよい。そして状態評価部１５は、瞳孔の重心Ｇの相対位置の、隣接する撮影タイミング間の差分情報に基づいて、瞳孔の振動状態を評価する。

【0049】

このように状態評価部１５は、基準点として目尻Ｏｂおよび目頭Ｉｂの少なくとも一方の位置を用いる。したがって目状態測定システム１ａは、角膜反射像を用いる場合に比べて、角膜反射像形成用の赤外光源を備える必要がなく、システム構成が簡易となる。また状態評価部１５は、相対位置算出のための計算が簡易であり計算量が低減されるため、高速な処理や装置の小型化が可能となる。したがって、本実施形態２では情報処理装置１０ａを独立のコンピュータ装置として説明したが、情報処理装置１０ａは、第１撮像部３０ａ内または第２撮像部４０内に実装されることも可能である。

【0050】

図８は、実施形態２にかかる情報処理装置１０ａの情報処理の手順を示すフローチャートである。

【0051】

まず第１取得部１１は、第１撮像部３０ａからｔ＝ｔ_ｉにおける第１画像データを所定のフレームレートで取得する（ステップＳ１０）。

【0052】

次に移動制御部１３は、第１画像から被験者Ｐの顔を検出する（ステップＳ１１）。例えば移動制御部１３は、第１画像を入力とする学習済の畳み込みニューラルネットワーク（ＣＮＮ）を用いて、被験者Ｐの顔を検出してよい。そして移動制御部１３は、被験者Ｐの顔に対応する画像領域を切り出した正規化画像を生成してよい。

【0053】

次に移動制御部１３は、第１画像における目位置座標を算出する（ステップＳ１２）。例えば移動制御部１３は、生成した正規化画像からテンプレートマッチングにより被験者Ｐの目領域を検出し、第１画像における目領域の重心の位置座標を目位置座標として算出してよい。

【0054】

そして移動制御部１３は、ｔ＝ｔ_ｉにおける第１画像の目位置座標がｔ＝ｔ_ｉ－１における第１画像の目位置座標と比較して変更したか否かを判定する（ステップＳ１３）。移動制御部１３は、目位置座標が変更していない場合（ステップＳ１３でＮｏ）、一連の撮影を終了するか否かを判定し（ステップＳ１６）、終了しない場合（ステップＳ１６でＮｏ）は処理をステップＳ１０に戻す。一方、移動制御部１３は、目位置座標が変更した場合（ステップＳ１３でＹｅｓ）、前述の図５に示した方法により次の撮影タイミング（例えばｔ＝ｔ_ｉ＋１）における可動ミラー５０の回転量を算出する（ステップＳ１４）。このとき移動制御部１３は、第２撮像部４０から現在または以前の撮影タイミングの第２画像データ（例えばｔ＝ｔ_ｉ－１の第２画像データ）を取得してよく、目位置座標および該第２画像に基づいて可動ミラー５０の回転量を算出してよい。そして移動制御部１３は、算出した回転量に基づいてＸ軸およびＺ軸方向に関する視野範囲の制御信号を生成する。なお移動制御部１３は、これに加えて図６に示した方法により第２撮像部４０の焦点位置の移動量を算出し、移動量に基づいて焦点位置の制御信号を生成する。

【0055】

次に移動制御部１３は、第２撮像部４０の視野範囲および焦点位置の移動を制御する（ステップＳ１５）。具体的には、移動制御部１３は、Ｘ軸およびＺ軸方向に関する視野範囲の制御信号を駆動部５１に対して送信する。また移動制御部１３は、焦点位置の制御信号を液体レンズに対して送信する。

【0056】

次に移動制御部１３は、一連の撮影を終了するか否かを判定する（ステップＳ１６）。移動制御部１３は、終了しない場合（ステップＳ１６でＮｏ）は、処理をステップＳ１０に戻し、終了する場合は（ステップＳ１６でＹｅｓ）、処理をステップＳ１７に進める。

【0057】

ステップＳ１７において、第２取得部１２は、第２撮像部４０から第２画像データを取得する。

【0058】

ここで情報処理装置１０ａは、ステップＳ１８～１９の処理を、取得した第２画像のフレーム数だけ繰り返す。

【0059】

ステップＳ１８において、要素位置推定部１４は、第２画像から、例えばテンプレートマッチングにより目領域を検出し、目の要素（目尻、目頭、瞳孔の重心）の位置座標を推定する。瞳孔の重心の位置座標については、要素位置推定部１４は、例えば二値化、エッジ検出およびハフ変換により瞳孔の画像領域を検出し、画像領域の重心の位置座標を算出することで推定してよい。

【0060】

そしてステップＳ１９において、状態評価部１５は、前述の図７に示した方法によって瞳孔の重心の相対位置を算出し、相対位置の差分情報を生成することで、振動状態を評価する。

【0061】

次にステップＳ２０において、出力部１６は、評価した振動状態の情報を出力する。

【0062】

なおステップＳ１７～１９の処理は、ステップＳ１０～１６の処理と並行して実行されてもよい。また各ステップの具体的処理については、上述の説明に限定されない。

【0063】

このように実施形態２の情報処理装置１０ａは、実施形態１と同様の効果を奏することができる。特に眼球の微振動を測定するためには、頭部の振動を厳格に抑制する必要があるため、頭部をしっかりと固定させる必要がある。したがって被験者が脳疾患により頭部の手術を行った直後では頭部を固定することが困難であるため、サッカード現象等の目状態の検査を行うことができなかった。また現状の技術では、頭部の固定により緊張状態にある脳の反応についてしか検査することができなかった。このことは、脳疾患の回復状況の検査においてのみならず、被験者が映像を見た場合の映像に対する興味度を判定する場合等においても同様である。

【0064】

しかし実施形態２の情報処理システム１０ａによれば、このような課題を解決することができる。これにより例えば情報処理システム１０ａにより評価された評価値を脳疾患のリハビリテーションの移行段階の判断材料として活用することが可能となり、医療従事者が患者である被験者の負担を軽減しつつ、病状の回復の程度を容易に診断できる。また情報処理システム１０ａにより評価された評価値を、消費者である被験者の広告画像に対する興味度として収集することで、企業がその広告の効果を定量的に測ることが可能となる。

【0065】

＜実施形態３＞
次に図９を用いて、本開示の実施形態３について説明する。実施形態３は、被験者の頭部の移動に応じて第１撮像部の視野範囲が移動し、第２撮像部の視野範囲もそれに伴って移動することに特徴を有する。

【0066】

図９は、実施形態３にかかる目状態測定システム１ｂのシステム構成図である。
実施形態３にかかる目状態測定システム１ｂは、実施形態２にかかる目状態測定システム１ａと基本的に同様の構成および機能を有する。ただし目状態測定システム１ｂは、第１撮像部３０ａ、情報処理装置１０ａに代えて第１撮像部３０ｂ、情報処理装置１０ｂを有し、さらに光源６３、ロングパスフィルタ７０およびハーフミラー７１を有する点で目状態測定システム１ａと相違する。

【0067】

第１撮像部３０ｂは、その視野範囲が被験者Ｐの頭部の移動に応じて移動するトラッキングカメラ３２を有する。本実施形態３では、トラッキングカメラ３２の視野範囲は、被験者Ｐの目領域が第１画像の中央に撮像されるように、被験者Ｐの目領域の移動に応じて移動される。具体的にはトラッキングカメラ３２の視野範囲は、第２撮像部４０と同様に、情報処理装置１０ｂの視野範囲の制御信号に従った駆動部５１による可動ミラー５０の回転により移動する。つまり可動ミラー５０は、第２撮像部４０の光軸に加えて、第１撮像部３０ｂの光軸を移動させる。その結果、第２撮像部４０の視野範囲は、トラッキングカメラ３２の視野範囲の移動に連動して移動する。ここでトラッキングカメラ３２の受光素子の検出波長をトラッキング用波長と呼ぶと、トラッキング用波長は、第２撮像部４０の受光素子の検出波長である瞳孔検出用波長よりも小さい。一例としてトラッキング用波長は、８５０[ｎｍ]である。なおトラッキングカメラ３２の画角、焦点距離およびフレームレートは、実施形態２の広角カメラ３１と同様である。

【0068】

光源６３は、被験者Ｐの目領域を照射する光源である。光源６３は、トラッキング用波長に対応する波長領域を有する光源であり、本実施形態３では８５０[ｎｍ]の近赤外光源である。

【0069】

ハーフミラー７１は、光源６３から入射した８５０[ｎｍ]の光の一部をロングパスフィルタ７０に向かって反射させるハーフミラーである。またハーフミラー７１は、ロングパスフィルタ７０から入射した８５０[ｎｍ]の光の一部をトラッキングカメラ３２に向かって透過させる。なおハーフミラー７１は、ハーフミラーに代えて透過および反射の比率が任意のビームスプリッタであってもよい。

【0070】

ロングパスフィルタ７０は、瞳孔検出用波長の光を透過させ、トラッキング用波長を反射させる光学フィルタである。ロングパスフィルタ７０は、第２撮像部４０と可動ミラー５０との間に配設され、可動ミラー５０から入射した瞳孔検出用波長の光を第２撮像部４０に向かって透過させる。またロングパスフィルタ７０は、可動ミラー５０から入射したトラッキング用波長の光をハーフミラー７１に向かって反射させる。

【0071】

つまり光源６３の光の一部は、ハーフミラー７１→ロングパスフィルタ７０→第２の可動ミラー５０－２→第１の可動ミラー５０－１という経路を通って被験者Ｐの目領域に到達する。
そして第１撮像部３０ｂのトラッキングカメラ３２は、被験者Ｐの目領域（または顔）→第１の可動ミラー５０－１→第２の可動ミラー５０－２→ロングパスフィルタ７０→ハーフミラー７１→トラッキングカメラ３２という経路の光が入射することで、被験者Ｐの目領域（または顔）を第１画角で撮像する。

【0072】

また第２撮像部４０は、被験者Ｐの目領域→第１の可動ミラー５０－１→第２の可動ミラー５０－２→ロングパスフィルタ７０→第２撮像部４０という経路の光が入射することで、被験者Ｐの目領域を第２画角で撮像する。

【0073】

情報処理装置１０ｂは、情報処理装置１０ａと基本的に同様の構成および機能を有するが、移動制御部１３によるＸ軸およびＺ軸方向の移動制御処理が、実施形態２（図５および図８のステップＳ１４に示す処理）と異なる。

【0074】

実施形態３では移動制御部１３は、まず第１画像中の目位置座標を算出する。そして移動制御部１３は、次の撮影タイミングにおいて第１画像中の目領域の重心が第１画像の中心に配置されるように、第１の可動ミラー５０－１および第２の可動ミラー５０－２の回転量を算出する。ここで第１撮像部３０ｂのトラッキングカメラ３２は、第２撮像部４０のフレームレート以上のフレームレートを有するため、第２撮像部４０が撮像する第２画像においても被験者Ｐの目領域が画像中央に写ることとなる。

【0075】

このように実施形態３によれば、情報処理装置１０ｂは、より精度良く被験者Ｐの頭部の移動に追随して、第２撮像部４０の視野範囲を移動させることができる。これにより、情報処理装置１０ｂは、頭部を固定せずリラックスした状態で、好適に被験者Ｐの目の状態変化を評価できる。

【0076】

＜実施形態４＞
次に図１０～１１を用いて、本開示の実施形態４について説明する。実施形態４は、最も広角の画像により最も狭角のカメラの視野範囲の位置を粗調整し、中間の大きさの画角の画像により該視野範囲の位置を微調整することに特徴を有する。

【0077】

図１０は、実施形態４にかかる目状態測定システム１ｃのシステム構成図である。実施形態４にかかる目状態測定システム１ｃは、実施形態３にかかる目状態測定システム１ｂと基本的に同様の構成および機能を有する。ただし目状態測定システム１ｃは、第３撮像部３３と、情報処理装置１０ｂに代えて情報処理装置１０ｃとを有する点で目状態測定システム１ｂと相違する。

【0078】

第３撮像部３３は、被験者Ｐの少なくとも顔を第３画角で撮像し、第３画像にかかる第３画像データを生成するカメラである。第３画角は、トラッキングカメラ３２の第１画角よりも大きく、かつ第２撮像部４０の第２画角よりも大きい。第３撮像部３３は、第３画像データを生成したことに応じて、情報処理装置１０ｃに第３画像データを送信する。

【0079】

情報処理装置１０ｃは、情報処理装置１０ｂと基本的に同様の機能を有するが、第３画像データに基づいてトラッキングカメラ３２および第２撮像部４０の視野範囲の移動制御を粗調整をする点で情報処理装置１０ｂと相違する。

【0080】

図１１は、実施形態４にかかる情報処理装置１０ｃの機能構成を示すブロック図である。情報処理装置１０ｃは、情報処理装置１０ｂの構成に加えて、第３取得部１７を有する。第３取得部１７は、第３撮像部３３から第３画像データを受信、取得し、第３画像データを移動制御部１３に供給する。

【0081】

移動制御部１３は、第３画像から被験者Ｐの顔を検出し、第３画像における目位置座標を算出し、該目位置座標に基づいて第１画像中に目領域が収まるような可動ミラー５０の回転量を算出する。そして移動制御部１３は、該回転量に基づく視野範囲の制御信号を駆動部５１に送信し、可動ミラー５０の傾斜角度を粗調整する。

【0082】

このような粗調整処理は、図８のステップＳ１０の前に実行されてよい。また粗調整処理は、処理時間の増大を抑制するため、例えば図８のステップＳ１１で第１画像中に被験者Ｐの顔が検出されなかった場合やステップＳ１２で第１画像中に被験者Ｐの目領域が検出されなかった場合にのみ実行されてもよい。

【0083】

なお第３画像よりも狭い第１画角の第１画像を用いた移動制御処理は、図８のステップＳ１０～１５に対応する処理であるが、微調整処理と呼ぶこともできる。本実施形態４の第１画角は、被験者Ｐの少なくとも目領域を撮像するために必要な画角であればよく、実施形態２～３の第１画角よりも狭くてよい。この場合、微調整処理において、図８のステップＳ１１に対応する顔検出処理は省略されてよい。これにより粗調整処理が追加されたことによる一連の処理時間の増大を抑制できる。

【0084】

このように実施形態４の情報処理装置１０ｃは、被験者Ｐの頭部が大きく移動したとしても、被験者Ｐの目領域が第２撮像部４０の視野範囲から外れないように第２撮像部４０の視野範囲を移動させることができる。これにより被験者Ｐは撮影中も自由に動くことができるため、情報処理装置１０ｃは、よりリラックスした状態での目の状態変化を評価できる。

【0085】

以上、実施形態を参照して本開示を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。例えば評価対象である目の状態は、瞳孔の収縮量であり、状態評価部１５は、第２画像の時系列データに基づいて被験者Ｐの瞳孔の収縮量を評価してもよい。そして状態評価部１５は、瞳孔の収縮量に基づいて広告画像等の画像を見た場合の興味度を評価してよい。

【0086】

上述の実施形態では、本開示をハードウェアの構成として説明したが、本開示は、これに限定されるものではない。本開示は、状態評価方法にかかる各種処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

【0087】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0088】

上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。

【0089】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１撮像部から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する第１取得部と、
第２撮像部から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する第２取得部と、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像部の視野範囲を移動させる移動制御部と、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する状態評価部と
を備える情報処理システム。
（付記２）
前記移動制御部は、前記第１画像の時系列データに基づいて前記被験者の前記頭部の位置の変化情報を生成し、前記変化情報に基づいて前記第２撮像部の視野範囲を移動させる
付記１に記載の情報処理システム。
（付記３）
前記第１取得部は、前記第２取得部が前記第２画像にかかる画像データを取得するフレームレート以上のフレームレートで前記第１画像にかかる画像データを取得する
付記２に記載の情報処理システム。
（付記４）
前記第２画像中の前記被験者の瞳孔の重心位置と、目尻および目頭の少なくとも一方の位置とをそれぞれ推定する要素位置推定部を有し、
前記状態評価部は、前記目尻および前記目頭の少なくとも一方の位置情報と前記瞳孔の重心位置情報とに基づいて、前記被験者の瞳孔の振動状態を評価する
付記１から３のいずれか一項に記載の情報処理システム。
（付記５）
前記状態評価部は、前記目尻の位置および前記目頭の位置を結ぶ直線に対する前記瞳孔の重心の相対位置を算出し、前記相対位置に基づいて前記被験者の瞳孔の振動状態を評価する
付記４に記載の情報処理システム。
（付記６）
前記状態評価部は、前記第２画像の時系列データに基づいて前記被験者の瞳孔の収縮量を評価する
付記１から３のいずれか一項に記載の情報処理システム。
（付記７）
被験者の頭部を第１画角で撮像する第１撮像部と、
前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像する第２撮像部と、
情報処理装置と
を備える目状態測定システムであって、
前記情報処理装置は、
前記第１撮像部から第１画像にかかる画像データを取得する第１取得部と、
前記第２撮像部から第２画像にかかる画像データを取得する第２取得部と、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像部の視野範囲を移動させる移動制御部と、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する状態評価部と
を有する目状態測定システム。
（付記８）
前記第２撮像部の光軸を移動させる可動ミラーと、
前記可動ミラーを回転させる駆動部と
をさらに備え、
前記移動制御部は、前記第１画像の時系列データに基づいて前記被験者の前記頭部の位置の変化情報を生成し、前記変化情報に基づいて前記可動ミラーの回転量を算出する
付記７に記載の目状態測定システム。
（付記９）
前記可動ミラーは、前記第１撮像部および前記第２撮像部の光軸を移動させる
付記８に記載の目状態測定システム。
（付記１０）
前記第１撮像部は、前記第２撮像部のフレームレート以上のフレームレートで被写体を撮像する
付記７から９のいずれか一項に記載の目状態測定システム。
（付記１１）
第１撮像部から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する第１取得段階と、
第２撮像部から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する第２取得段階と、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像部の視野範囲を移動させる移動制御段階と、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する状態評価段階と
を備える情報処理方法。
（付記１２）
第１撮像部から、被験者の頭部を第１画角で撮像した第１画像にかかる画像データを取得する第１取得処理と、
第２撮像部から、前記被験者の目領域を前記第１画角よりも狭い第２画角で撮像した第２画像にかかる画像データを取得する第２取得処理と、
前記第１画像に基づいて取得される前記被験者の前記頭部の位置情報に基づいて、前記第２撮像部の視野範囲を移動させる移動制御処理と、
前記第２画像の時系列データに基づいて前記被験者の目の状態変化を評価する状態評価処理と
をコンピュータに実行させるためのプログラム。

【0090】

この出願は、２０２０年１０月２０日に出願された日本出願特願２０２０－１７６０６６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【産業上の利用可能性】

【0091】

本開示にかかる情報処理システムは、被験者の目の状態変化を評価するために利用可能である。

【符号の説明】

【0092】

１ａ，１ｂ，１ｃ 目状態測定システム
１０，１０ａ，１０ｂ，１０ｃ 情報処理システム（情報処理装置）
１１ 第１取得部
１２ 第２取得部
１３ 移動制御部
１４ 要素位置推定部
１５ 状態評価部
１６ 出力部
１７ 第３取得部
３０，３０ａ，３０ｂ 第１撮像部
３１ 広角カメラ
３２ トラッキングカメラ
３３ 第３撮像部
４０ 第２撮像部
５０ 可動ミラー
５１ 駆動部
６１ 光源
６３ 光源
７０ ロングパスフィルタ
７１ ハーフミラー
１００ プロセッサ
１０１ ＲＯＭ
１０２ ＲＡＭ
１０３ インターフェース部（ＩＦ）
Ｐ 被験者
ＩＭＧ＿ａ 第１画像
ＩＭＧ＿ｂ 第２画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】