特許 6972393 注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6972393

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20211111BHJP

   A61B 3/113 20060101ALI20211111BHJP

【ＦＩ】

   A61B5/16ZDM

   A61B3/113

【請求項の数】13

【全頁数】23

(21)【出願番号】特願2020-567668(P2020-567668)

(86)(22)【出願日】2019年1月21日

(86)【国際出願番号】JP2019001586

(87)【国際公開番号】WO2020152732

(87)【国際公開日】20200730

【審査請求日】2021年1月21日

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100083840

【弁理士】

【氏名又は名称】前田 実

(72)【発明者】

【氏名】常道 大智

【審査官】 冨永 昌彦

(56)【参考文献】

【文献】 特開平１１−２７６４６１（ＪＰ，Ａ）

【文献】 特開２０１７−２０２０４７（ＪＰ，Ａ）

【文献】 特許第６４３２７０２（ＪＰ，Ｂ１）

【文献】 特許第６４１８３４２（ＪＰ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０６ − ５／２２

Ａ６１Ｂ ３／００ − ３／１８

(57)【特許請求の範囲】

【請求項1】

撮影された、人の第１の眼球および第２の眼球を含む画像を用いる注意力判定装置であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影された画像内に設定し、前記第１の眼球の瞳孔の前記画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記画像内における座標である第２の瞳孔座標を算出し、前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力する画像処理部と、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出する瞳孔距離算出部と、
前記第１の瞳孔座標の前記少なくとも１つの位置成分と前記第２の瞳孔座標の前記少なくとも１つの位置成分とを用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を備えた注意力判定装置。

【請求項2】

前記第１の瞳孔座標の前記少なくとも１つの位置成分は、前記第１の基準座標から前記第１の瞳孔座標までの距離を含み、
前記第２の瞳孔座標の前記少なくとも１つの位置成分は、前記第２の基準座標から前記第２の瞳孔座標までの距離を含む
請求項１に記載の注意力判定装置。

【請求項3】

前記斜位検出部は、
前記第１の瞳孔座標の前記少なくとも１つの位置成分と前記第２の瞳孔座標の前記少なくとも１つの位置成分とを用いて、前記第１の眼球の瞳孔の位置の変動と前記第２の眼球の瞳孔の位置の変動とを算出し、
前記第１の眼球の瞳孔の位置の変動および前記第２の眼球の瞳孔の位置の変動の算出結果を用いて、前記第１の眼球および前記第２の眼球の状態を判定する
請求項１または２に記載の注意力判定装置。

【請求項4】

前記第１の眼球の瞳孔の位置の変動および前記第２の眼球の瞳孔の位置の変動の両方が閾値以上または前記閾値以下であるとき、前記斜位検出部は、前記第１の眼球および前記第２の眼球が両眼球運動であると判定し、
前記第１の眼球の瞳孔の位置の変動および前記第２の眼球の瞳孔の位置の変動の一方が前記閾値以上であり、他方が前記閾値より小さいとき、前記斜位検出部は、前記第１の眼球および前記第２の眼球の一方が斜位状態であると判定する
請求項１から３のいずれか１項に記載の注意力判定装置。

【請求項5】

前記斜位検出結果は、前記第１の眼球および前記第２の眼球が両眼球運動状態であるか、または前記第１の眼球および前記第２の眼球のうちの一方が斜位状態であるかを示す請求項１から４のいずれか１項に記載の注意力判定装置。

【請求項6】

前記斜位検出結果が前記両眼球運動状態を示す場合、前記注意力判定部は、前記人が注意力維持状態であると判定し、
前記斜位検出結果が前記斜位状態を示す場合、前記注意力判定部は、前記人が注意力低下状態であると判定する
請求項５に記載の注意力判定装置。

【請求項7】

前記注意力判定部は、前記斜位検出結果に応じて、前記人の、前記注意力低下状態または前記注意力維持状態を示す信号を出力する請求項６に記載の注意力判定装置。

【請求項8】

撮影された、人の第１の眼球および第２の眼球を含む画像を用いる注意力判定装置であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影された画像内に設定し、前記第１の眼球の瞳孔の前記画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記画像内における座標である第２の瞳孔座標を算出し、前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力する画像処理部と、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出する瞳孔距離算出部と、
前記第１の瞳孔座標の前記少なくとも１つの位置成分および前記第２の瞳孔座標の前記少なくとも１つの位置成分を正規化し、正規化された値を瞳孔距離補正値として出力する瞳孔距離補正部と、
前記瞳孔距離補正値を用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を備えた注意力判定装置。

【請求項9】

前記人の前記第１の眼球および前記第２の眼球を含む前記画像を撮影する撮像部と、
前記請求項１から８のいずれか１項に記載の注意力判定装置と
を備えた注意力判定システム。

【請求項10】

人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分と前記第２の瞳孔座標の前記少なくとも１つの位置成分とを用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
注意力判定方法。

【請求項11】

人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分および前記第２の瞳孔座標の前記少なくとも１つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
注意力判定方法。

【請求項12】

人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分と前記第２の瞳孔座標の前記少なくとも１つの位置成分とを用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
プログラム。

【請求項13】

人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分および前記第２の瞳孔座標の前記少なくとも１つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、注意力判定装置、注意力判定システム、注意力判定方法、およびプログラムに関する。

【背景技術】

【0002】

人の顔画像から飛越眼球運動を検出し、検出された飛越眼球運動の発生頻度に基づいて、その人の注意力レベル（単に「注意力」とも称する）を判定する情報提示装置が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１−２７６４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の情報提示装置は、高速な眼球運動であるサッカードを検出し、検出されたサッカードの発生頻度に基づき、操作者の注意力レベルを判定する。しかしながら、サッカードのような高速な眼球運動を撮影するためには、高フレームレートで撮影が可能なカメラが必要である。その結果、情報提示装置のコストが増加する。

【0005】

本発明は、上述の問題を解決するためになされたものであり、低フレームレートで撮影された画像を用いて人の注意力を判定することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る注意力判定装置は、
撮影された、人の第１の眼球および第２の眼球を含む画像を用いる注意力判定装置であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影された画像内に設定し、前記第１の眼球の瞳孔の前記画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記画像内における座標である第２の瞳孔座標を算出し、前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力する画像処理部と、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出する瞳孔距離算出部と、
前記第１の瞳孔座標の前記少なくとも１つの位置成分と前記第２の瞳孔座標の前記少なくとも１つの位置成分とを用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を有する。
本発明の他の態様に係る注意力判定装置は、
撮影された、人の第１の眼球および第２の眼球を含む画像を用いる注意力判定装置であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影された画像内に設定し、前記第１の眼球の瞳孔の前記画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記画像内における座標である第２の瞳孔座標を算出し、前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力する画像処理部と、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出する瞳孔距離算出部と、
前記第１の瞳孔座標の前記少なくとも１つの位置成分および前記第２の瞳孔座標の前記少なくとも１つの位置成分を正規化し、正規化された値を瞳孔距離補正値として出力する瞳孔距離補正部と、
前記瞳孔距離補正値を用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力する斜位検出部と、
前記斜位検出結果に応じて前記人の注意力を判定する注意力判定部と
を有する。

【0007】

本発明の他の態様に係る注意力判定システムは、前記注意力判定装置を有する。

【0008】

本発明の他の態様に係る注意力判定方法は、
人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分と前記第２の瞳孔座標の前記少なくとも１つの位置成分とを用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明の他の態様に係る注意力判定方法は、
人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法であって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分および前記第２の瞳孔座標の前記少なくとも１つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。

【0009】

本発明の他の態様に係るプログラムは、
人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分と前記第２の瞳孔座標の前記少なくとも１つの位置成分とを用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。
本発明の他の態様に係るプログラムは、
人の第１の眼球および第２の眼球を含む撮影画像を用いて前記人の注意力を判定する注意力判定方法をコンピュータに実行させるプログラムであって、
前記第１の眼球についての第１の基準座標と前記第２の眼球についての第２の基準座標とを前記撮影画像内に設定し、
前記第１の眼球の瞳孔の前記撮影画像内における座標である第１の瞳孔座標および前記第２の眼球の瞳孔の前記撮影画像内における座標である第２の瞳孔座標を算出し、
前記第１の基準座標、前記第２の基準座標、前記第１の瞳孔座標、および前記第２の瞳孔座標を出力し、
前記第１の基準座標に対する前記第１の瞳孔座標の少なくとも１つの位置成分と、前記第２の基準座標に対する前記第２の瞳孔座標の少なくとも１つの位置成分とを算出し、
前記第１の瞳孔座標の前記少なくとも１つの位置成分および前記第２の瞳孔座標の前記少なくとも１つの位置成分を正規化し、
正規化された値を瞳孔距離補正値として出力し、
前記瞳孔距離補正値を用いて前記第１の眼球および前記第２の眼球の状態を示す斜位検出結果を出力し、
前記斜位検出結果に応じて前記人の注意力を判定する。

【発明の効果】

【0010】

本発明によれば、低フレームレートで撮影された画像を用いて人の注意力を判定することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態１に係る注意力判定システムの構成を概略的に示すブロック図である。

【図2】実施の形態１における注意力判定方法の工程の一例を示すフローチャートである。

【図3】人の第１の眼球、第２の眼球、および鼻の位置と、撮影画像内におけるこれらの要素の位置との間の対応関係を示す図である。

【図4】瞳孔距離の算出方法を示す図である。

【図5】（Ａ）から（Ｄ）は、人の両眼の眼球運動の例を示す図である。

【図6】（Ａ）から（Ｄ）は、人の片眼の眼球運動、具体的には、斜位状態の例を示す図である。

【図7】（Ａ）は、注意力判定装置のハードウェア構成の一例を示す図であり、（Ｂ）は、注意力判定装置１００のハードウェア構成の他の例を示す図である。

【図8】本発明の実施の形態２に係る注意力判定システムの構成を概略的に示すブロック図である。

【図9】実施の形態２における注意力判定方法の工程の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

実施の形態１．
図１は、本発明の実施の形態１に係る注意力判定システム１０１の構成を概略的に示すブロック図である。
注意力判定システム１０１は、撮像部１０と、撮像部１０によって撮影された人Ｈの第１の眼球Ｓ１および第２の眼球Ｓ２を含む画像を用いる注意力判定装置１００とを有する。
注意力判定装置１００は、画像処理部２０と、瞳孔距離算出部３０と、斜位検出部４０と、注意力判定部５０とを有する。注意力判定装置１００は、第１の眼球Ｓ１および第２の眼球Ｓ２を含む画像を用いて人Ｈの注意力を判定する。注意力判定装置１００は、さらに出力装置７０を有してもよい。

【0013】

撮像部１０によって撮影される画像は、例えば、人Ｈの顔を含む画像である。撮像部１０は、少なくとも人Ｈの第１の眼球Ｓ１および第２の眼球Ｓ２を含む画像を撮影する。すなわち、撮像部１０によって撮影される人Ｈの顔を含む画像は、少なくとも人Ｈの第１の眼球Ｓ１および第２の眼球Ｓ２を含む画像である。本実施の形態では、第１の眼球Ｓ１は、人Ｈの右眼であり、第２の眼球Ｓ２は、人Ｈの左眼である。撮像部１０によって撮影される画像は、静止画または動画でもよい。

【0014】

通常、撮像部１０は、人Ｈの第１の眼球Ｓ１、第２の眼球Ｓ２、および鼻Ｓ３を含む画像を撮影する。この場合、撮像部１０によって撮影される人Ｈの顔を含む画像は、人Ｈの第１の眼球Ｓ１、第２の眼球Ｓ２、および鼻Ｓ３を含む画像である。

【0015】

第１の眼球Ｓ１および第２の眼球Ｓ２は、注意力判定部５０によって判定される対象である。

【0016】

撮像部１０によって撮影された画像を「撮影画像Ａ１」と称する。撮像部１０は、撮影画像Ａ１を出力する。本実施の形態では、撮像部１０は、人Ｈの顔を含む画像を周期的または連続的に撮影し、撮影画像Ａ１を周期的または連続的に出力する。

【0017】

撮像部１０は、撮影画像Ａ１を記憶するメモリを有してもよい。この場合、撮像部１０は、撮影画像Ａ１をメモリに記憶することができ、メモリに記憶された撮影画像Ａ１を出力することができる。

【0018】

撮像部１０から出力された撮影画像Ａ１は、画像処理部２０に入力される。

【0019】

図２は、上述の注意力判定システム１０１における人Ｈの注意力を判定する注意力判定方法の工程の一例を示すフローチャートである。

【0020】

ステップＳＴ１では、第１の眼球Ｓ１についての第１の基準座標と第２の眼球Ｓ２についての第２の基準座標とが撮影画像Ａ１内に設定される。

【0021】

ステップＳＴ２では、第１の眼球Ｓ１の瞳孔２４（第１の瞳孔または右瞳孔とも称する）の撮影画像Ａ１内における座標である第１の瞳孔座標および第２の眼球Ｓ２の瞳孔２５（第２の瞳孔または左瞳孔とも称する）の撮影画像Ａ１内における座標である第２の瞳孔座標が算出される。

【0022】

ステップＳＴ３では、第１の基準座標、第２の基準座標、第１の瞳孔座標、および第２の瞳孔座標が出力される。

【0023】

ステップＳＴ４では、第１の基準座標に対する第１の瞳孔座標の少なくとも１つの位置成分と、第２の基準座標に対する第２の瞳孔座標の少なくとも１つの位置成分とが算出される。

【0024】

ステップＳＴ５では、第１の瞳孔座標の少なくとも１つの位置成分と第２の瞳孔座標の少なくとも１つの位置成分とを用いて第１の眼球Ｓ１および第２の眼球Ｓ２の状態を示す斜位検出結果が出力される。

【0025】

ステップＳＴ６では、斜位検出結果に応じて人Ｈの注意力が判定される。

【0026】

ステップＳＴ７では、注意力状態Ｅ１が出力される。

【0027】

以下に、上述の注意力判定方法を具体的に説明する。

【0028】

画像処理部２０は、撮影画像Ａ１を取得する。画像処理部２０は、撮影画像Ａ１を用いて出力座標Ｂ１を生成し、生成された出力座標Ｂ１を出力する。出力座標Ｂ１は、画像処理部２０によって算出された少なくとも１つの座標を含むデータである。出力座標Ｂ１は、例えば、少なくとも１つの基準座標、第１の瞳孔座標Ｒｅ（右瞳孔座標とも称する）、および第２の瞳孔座標Ｌｅ（左瞳孔座標とも称する）を含む。出力座標Ｂ１は、さらに、鼻座標Ｎｔなどの他の座標を含んでもよい。

【0029】

図３は、人Ｈの第１の眼球Ｓ１、第２の眼球Ｓ２、および鼻Ｓ３の位置と、撮影画像Ａ１内におけるこれらの要素の位置との間の対応関係を示す図である。
図３に示される直交座標系において、ｘ軸方向（ｘ軸）は、撮影画像Ａ１内の横方向を示し、ｙ軸方向（ｙ軸）は、撮影画像Ａ１内のｘ軸方向に直交する方向、すなわち、縦方向を示す。

【0030】

ステップＳＴ１では、画像処理部２０は、撮影された画像（すなわち、撮影画像Ａ１）内に少なくとも１つの基準座標を設定する。本実施の形態では、第１の眼球Ｓ１についての基準座標（第１の基準座標とも称する）と、第２の眼球Ｓ２についての基準座標（第２の基準座標とも称する）とを撮影画像Ａ１内に設定する。

【0031】

本実施の形態では、画像処理部２０は、第１の眼球Ｓ１についての基準座標として第１の眼球Ｓ１の目頭２６の座標を選択し、第１の眼球Ｓ１についての基準座標を第１の目頭座標Ｒｃに設定する。同様に、画像処理部２０は、第２の眼球Ｓ２についての基準座標として第２の眼球Ｓ２の目頭２７の座標を選択し、第２の眼球Ｓ２についての基準座標を第２の目頭座標Ｌｃに設定する。

【0032】

本実施の形態では、第１の眼球Ｓ１についての基準座標として第１の目頭座標Ｒｃを用いるが、他の座標を第１の眼球Ｓ１についての基準座標として用いてもよい。同様に、第２の眼球Ｓ２についての基準座標として第２の目頭座標Ｌｃを用いるが、他の座標を第２の眼球Ｓ２についての基準座標として用いてもよい。第１の眼球Ｓ１および第２の眼球Ｓ２についての基準座標として同じ座標を用いてもよい。

【0033】

第１の目頭座標Ｒｃは、第１の眼球Ｓ１の目頭２６の撮影画像Ａ１内における座標であり、第２の目頭座標Ｌｃは、第２の眼球Ｓ２の目頭２７の撮影画像Ａ１内における座標である。

【0034】

第１の目頭座標Ｒｃは、例えば、座標（Ｒｃｘ，Ｒｃｙ）で表され、第２の目頭座標Ｌｃは、例えば、座標（Ｌｃｘ，Ｌｃｙ）で表される。Ｒｃｘは、目頭２６のｘ座標、すなわち、ｘ軸における目頭２６の位置を示す。Ｒｃｙは、目頭２６のｙ座標、すなわち、ｙ軸における目頭２６の位置を示す。Ｌｃｘは、目頭２７のｘ座標、すなわち、ｘ軸における目頭２７の位置を示す。Ｌｃｙは、目頭２７のｙ座標、すなわち、ｙ軸における目頭２７の位置を示す。

【0035】

ステップＳＴ２では、画像処理部２０は、第１の瞳孔座標Ｒｅおよび第２の瞳孔座標Ｌｅを算出する。第１の瞳孔座標Ｒｅは、第１の眼球Ｓ１の瞳孔２４の撮影画像Ａ１内における座標である。第２の瞳孔座標Ｌｅは、第２の眼球Ｓ２の瞳孔２５の撮影画像Ａ１内における座標である。鼻座標Ｎｔは、撮影画像Ａ１内における鼻Ｓ３の鼻先端２８の座標である。鼻先端２８は、鼻Ｓ３のｙ軸方向における先端部である。

【0036】

第１の瞳孔座標Ｒｅは、例えば、座標（Ｒｅｘ，Ｒｅｙ）で表され、第２の瞳孔座標Ｌｅは、例えば、座標（Ｌｅｘ，Ｌｅｙ）で表され、鼻座標Ｎｔは、例えば、座標（Ｎｔｘ、Ｎｔｙ）で表される。Ｒｅｘは、瞳孔２４のｘ座標、すなわち、ｘ軸における瞳孔２４の位置を示す。Ｒｅｙは、瞳孔２４のｙ座標、すなわち、ｙ軸における瞳孔２４の位置を示す。Ｌｅｘは、瞳孔２５のｘ座標、すなわち、ｘ軸における瞳孔２５の位置を示す。Ｌｅｙは、瞳孔２５のｙ座標、すなわち、ｙ軸における瞳孔２５の位置を示す。Ｎｔｘは、鼻先端２８のｘ座標、すなわち、ｘ軸における鼻先端２８の位置を示す。Ｎｔｙは、鼻先端２８のｙ座標、すなわち、ｙ軸における鼻先端２８の位置を示す。

【0037】

ステップＳＴ３では、画像処理部２０は、少なくとも１つの瞳孔座標および少なくとも１つの基準座標を、出力座標Ｂ１として出力する。本実施の形態では、画像処理部２０は、第１の瞳孔座標Ｒｅ、第２の瞳孔座標Ｌｅ、第１の基準座標、および第２の基準座標を出力する。

【0038】

例えば、画像処理部２０が第１の基準座標としての第１の目頭座標Ｒｃと第２の基準座標としての第２の目頭座標Ｌｃを設定した場合、画像処理部２０は、第１の瞳孔座標Ｒｅ、第２の瞳孔座標Ｌｅ、第１の目頭座標Ｒｃ、および第２の目頭座標Ｌｃを出力座標Ｂ１として出力する。この場合、出力座標Ｂ１は、例えば、１次元配列（すなわち、Ｂ１＝［Ｒｅｘ，Ｒｅｙ，Ｌｅｘ，Ｌｅｙ，Ｒｃｘ，Ｒｃｙ，Ｌｃｘ，Ｌｃｙ］）として表される。

【0039】

図４は、瞳孔距離の算出方法を示す図である。
出力座標Ｂ１は、瞳孔距離算出部３０に入力される。瞳孔距離算出部３０は、出力座標Ｂ１を用いて、瞳孔距離３１（第１の瞳孔距離とも称する）、瞳孔距離３２（第２の瞳孔距離とも称する）、瞳孔距離３３（第３の瞳孔距離とも称する）、瞳孔距離３４（第４の瞳孔距離とも称する）、瞳孔距離３５（第５の瞳孔距離とも称する）、および瞳孔距離３６（第６の瞳孔距離とも称する）を算出する。

【0040】

瞳孔距離算出部３０は、瞳孔距離３１，３２，３３，３４，３５，および３６を周期的に算出する。これにより、瞳孔距離算出部３０において時系列データが算出される。

【0041】

具体的には、瞳孔距離算出部３０は、撮影画像Ａ１内の第１の基準座標に対する第１の瞳孔座標Ｒｅの少なくとも１つの位置成分と、撮影画像Ａ１内の第２の基準座標に対する第２の瞳孔座標Ｌｅの少なくとも１つの位置成分とを周期的に算出する。本実施の形態では、第１の瞳孔座標Ｒｅの位置成分は、瞳孔距離３１，３３，および３５であり、第２の瞳孔座標Ｌｅの位置成分は、瞳孔距離３２，３４，および３６である。

【0042】

瞳孔距離３１は、第１の基準位置から瞳孔２４までの距離である。撮影画像Ａ１内では、瞳孔距離３１は、第１の基準座標としての第１の目頭座標Ｒｃから第１の瞳孔座標Ｒｅまでの距離である。本実施の形態では、撮影画像Ａ１内の第１の目頭座標Ｒｃから第１の瞳孔座標Ｒｅまでの距離をＲとする。

【0043】

瞳孔距離３２は、第２の基準位置から瞳孔２５までの距離である。撮影画像Ａ１内では、瞳孔距離３２は、第２の基準座標としての第２の目頭座標Ｌｃから第２の瞳孔座標Ｌｅまでの距離である。本実施の形態では、撮影画像Ａ１内の第２の目頭座標Ｌｃから第２の瞳孔座標Ｌｅまでの距離をＬとする。

【0044】

瞳孔距離３３は、横方向における第１の基準位置から瞳孔２４までの距離である。撮影画像Ａ１内では、瞳孔距離３３は、撮影画像Ａ１内の横方向における第１の基準座標としての第１の目頭座標Ｒｃから第１の瞳孔座標Ｒｅまでの距離である。本実施の形態では、撮影画像Ａ１内の横方向における第１の目頭座標Ｒｃから第１の瞳孔座標Ｒｅまでの距離をＲｈとする。

【0045】

瞳孔距離３４は、横方向における第２の基準位置から瞳孔２５までの距離である。撮影画像Ａ１内では、瞳孔距離３４は、撮影画像Ａ１内の横方向における第２の基準座標としての第２の目頭座標Ｌｃから第２の瞳孔座標Ｌｅまでの距離である。本実施の形態では、撮影画像Ａ１内の横方向における第２の目頭座標Ｌｃから第２の瞳孔座標Ｌｅまでの距離をＬｈとする。

【0046】

瞳孔距離３５は、縦方向における、第１の基準位置から瞳孔２４までの距離である。撮影画像Ａ１内では、瞳孔距離３５は、撮影画像Ａ１内の縦方向における第１の基準座標としての第１の目頭座標Ｒｃから第１の瞳孔座標Ｒｅまでの距離である。本実施の形態では、撮影画像Ａ１内の縦方向における第１の目頭座標Ｒｃから第１の瞳孔座標Ｒｅまでの距離をＲｖとする。

【0047】

瞳孔距離３６は、縦方向における、第２の基準位置から瞳孔２５までの距離である。撮影画像Ａ１内では、瞳孔距離３６は、撮影画像Ａ１内の縦方向における第２の基準座標としての第２の目頭座標Ｌｃから第２の瞳孔座標Ｌｅまでの距離である。本実施の形態では、撮影画像Ａ１内の縦方向における第２の目頭座標Ｌｃから第２の瞳孔座標Ｌｅまでの距離をＬｖとする。

【0048】

画像処理部２０が、第１の基準座標および第２の基準座標として第１の目頭座標Ｒｃおよび第２の目頭座標Ｌｃをそれぞれ選択した場合、距離Ｒｈは、｜Ｒｃｘ−Ｒｅｘ｜で表され、距離Ｌｈは、｜Ｌｃｘ−Ｌｅｘ｜で表され、距離Ｒｖは、｜Ｒｃｙ−Ｒｅｙ｜で表され、距離Ｌｖは、｜Ｌｃｙ−Ｌｅｙ｜で表される。

【0049】

この場合、距離Ｒは、距離Ｒｈおよび距離Ｒｖを用いて式（１）のように表され、距離Ｌは、距離Ｌｈおよび距離Ｌｖを用いて式（２）のように表される。

【数1】

・・・（１）

【数2】

・・・（２）

【0050】

ステップＳＴ４では、瞳孔距離算出部３０は、算出された距離Ｒｈ，Ｌｈ，Ｒｖ，Ｌｖ，Ｒ，およびＬを瞳孔距離出力Ｃ１として出力する。瞳孔距離出力Ｃ１は、例えば、１次元配列（すなわち、Ｃ１＝［Ｒｈ，Ｌｈ，Ｒｖ，Ｌｖ，Ｒ，Ｌ］）として表される。

【0051】

瞳孔距離出力Ｃ１は、斜位検出部４０に入力される。斜位検出部４０は、第１の瞳孔座標Ｒｅの少なくとも１つの位置成分と第２の瞳孔座標Ｌｅの少なくとも１つの位置成分とを用いて予め定められた期間における、瞳孔２４の位置の変動と瞳孔２５の位置の変動とを算出する。さらに、斜位検出部４０は、瞳孔２４の位置の変動および瞳孔２５の位置の変動の算出結果を用いて人Ｈの眼球運動を判定する。

【0052】

すなわち、斜位検出部４０は、時系列データとしての瞳孔距離出力Ｃ１の成分の変動を用いて、人Ｈの眼球運動を判定する。瞳孔距離出力Ｃ１の成分は、距離Ｒｈ，Ｌｈ，Ｒｖ，Ｌｖ，Ｒ，およびＬである。

【0053】

具体的には、斜位検出部４０は、瞳孔距離出力Ｃ１の成分の変動を用いて、人Ｈの両眼の状態が、人Ｈの両眼の眼球運動（両眼球運動状態とも称する）か片眼の眼球運動（例えば、斜位状態）かを判定する。例えば、瞳孔２４の位置の変動および瞳孔２５の位置の変動の両方が閾値以上または閾値以下であるとき、斜位検出部４０は、人Ｈの両眼の状態が両眼球運動状態であると判定する。一方、瞳孔２４の位置の変動および瞳孔２５の位置の変動の一方が閾値以上であり、他方が閾値より小さいとき、斜位検出部４０は、第１の眼球Ｓ１および第２の眼球Ｓ２の一方が斜位状態（すなわち、眼位ずれ）であると判定する。斜位検出部４０が用いる閾値は１個の閾値でもよく２個以上の閾値でもよい。

【0054】

瞳孔距離出力Ｃ１の成分の変動は、例えば、分散で示される。

【0055】

斜位検出部４０が両眼球運動状態か斜位状態かを判定するので、その判定結果に応じて人Ｈの注意力を判定することができる。

【0056】

図５（Ａ）から図５（Ｄ）は、人Ｈの両眼の眼球運動（すなわち、両眼球運動状態）の例を示す図である。
図５（Ａ）は、固視状態を示す。固視状態は、左右の眼球が固定された状態であり、人Ｈが視対象を注視している状態である。

【0057】

図５（Ｂ）は、横方向における視線移動状態を示す図である。
例えば、距離Ｒｈが増加し、距離Ｌｈが減少したとき、人Ｈの視線は右を向いていると判定される。一方、距離Ｒｈが減少し、距離Ｌｈが増加したとき、人Ｈの視線は左を向いていると判定される。

【0058】

図５（Ｃ）は、縦方向における視線移動状態を示す図である。
例えば、距離Ｒｖおよび距離Ｌｖが増加するとき、人Ｈの視線は上を向いていると判定される。一方、距離Ｒｖおよび距離Ｌｖが増加するとき、人Ｈの視線は下を向いていると判定される。距離Ｒおよび距離Ｌが増加するとき、人Ｈの視線は斜めを向いていると判定される。

【0059】

図５（Ｄ）は、輻輳運動状態を示す図である。
輻輳運動は、両眼を鼻側に寄せる運動である。すなわち、輻輳運動状態は、人Ｈの両眼が輻輳運動を行っている状態である。例えば、距離Ｒｈおよび距離Ｌｈが減少するとき、人Ｈの両眼の状態は、輻輳運動状態であると判定される。

【0060】

人Ｈの両眼の眼球運動は、図５（Ａ）から図５（Ｄ）に示される例に限られない。例えば、距離Ｒｈおよび距離Ｌｈが増加するとき、人Ｈの両眼が開散運動を行っていると判定される。開散運動は、両眼を耳側に寄せる運動である。

【0061】

図６（Ａ）から図６（Ｄ）は、人Ｈの片眼の眼球運動、具体的には、斜位状態の例を示す図である。
一般に、人の眼位として、例えば、両眼視の眼位、融像除去眼位、生理学的安静位、および絶対的安静位がある。両眼視の眼位では、外眼筋および内眼筋を緊張させて両眼視機能が働く。融像除去眼位では、左右の眼球に入力される像を融像するための融像性輻輳を除去する。生理学的安静位は、例えば、深い睡眠下に見られ、眼筋の刺激を受ける状態が最小限になる。絶対的安静位は、例えば、死後に見られ、眼筋があらゆる刺激から解放される。

【0062】

斜位とは、通常は眼筋を緊張させて両眼視機能を有しているが、潜在的に融像除去眼位を有することであり、眼筋の緊張が不十分になった場合に一時的に融像除去眼位に近づく状態のことである。両眼視機能が働いている状態から融像性輻輳が失われていくと、片眼に斜位として眼位ずれが見られるようになり、視線の方向は人により異なる。

【0063】

例えば、距離Ｒの分散値である分散値σｒが閾値Ｔｒ未満であり且つ距離Ｌの分散値である分散値σｌがＴｌ以上であるとき、斜位検出部４０は、人Ｈ（すなわち、第１の眼球Ｓ１および第２の眼球Ｓ２）が図６（Ａ）から図６（Ｄ）に示される斜位状態の一つであると判定することができる。

【0064】

図６（Ａ）は、外斜位状態を示す。外斜位状態は、第１の眼球Ｓ１の瞳孔および第２の眼球Ｓ２の瞳孔の一方が耳側に寄っている状態である。例えば、図６（Ａ）に示されるように、距離Ｒｈが一定であり距離Ｌｈが増加するとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、外斜位状態であると判定される。同様に、距離Ｒｈが増加し距離Ｌｈが一定であるとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、外斜位状態であると判定される。

【0065】

図６（Ｂ）は、内斜位状態を示す。内斜位状態は、第１の眼球Ｓ１の瞳孔および第２の眼球Ｓ２の瞳孔の一方が鼻側に寄っている状態である。例えば、図６（Ｂ）に示されるように、距離Ｒｈが一定であり距離Ｌｈが減少するとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、内斜位状態であると判定される。同様に、距離Ｒｈが減少し距離Ｌｈが一定であるとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、内斜位状態であると判定される。

【0066】

図６（Ｃ）は、上斜位状態を示す。上斜位状態は、第１の眼球Ｓ１の瞳孔および第２の眼球Ｓ２の瞳孔の一方が上側に寄っている状態である。例えば、図６（Ｃ）に示されるように、距離Ｒｖが一定であり距離Ｌｖが増加するとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、上斜位状態であると判定される。同様に、距離Ｒｖが増加し距離Ｌｖが一定であるとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、上斜位状態であると判定される。

【0067】

図６（Ｄ）は、下斜位状態を示す。下斜位状態は、第１の眼球Ｓ１の瞳孔および第２の眼球Ｓ２の瞳孔の一方が下側に寄っている状態である。例えば、図６（Ｄ）に示されるように、距離Ｒｖが一定であり距離Ｌｖが減少するとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、下斜位状態であると判定される。同様に、距離Ｒｖが減少し距離Ｌｖが一定であるとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、下斜位状態であると判定される。

【0068】

斜位状態は、図６（Ａ）から図６（Ｄ）に示される例に限定されない。例えば、外斜位状態および内斜位状態の一方と上斜位状態および下斜位状態の一方とが同時に生じているとき、第１の眼球Ｓ１および第２の眼球Ｓ２は、斜め方向の斜位であると判定される。

【0069】

斜位検出部４０が人Ｈの両眼の状態を判定する場合、斜位検出部４０は、例えば、時系列データを用いて、瞳孔距離出力Ｃ１に含まれる各成分の分散値σｒｈ，σｌｈ，σｒｖ，σｌｖ，σｒ，およびσｌを算出する。この場合、時系列データは、斜位検出部４０に周期的に入力される瞳孔距離出力Ｃ１である。

【0070】

分散値σｒｈは、予め定められた期間内に斜位検出部４０に入力された距離Ｒｈの分散値である。分散値σｌｈは、予め定められた期間内に斜位検出部４０に入力された距離Ｌｈの分散値である。分散値σｒｖは、予め定められた期間内に斜位検出部４０に入力された距離Ｒｖの分散値である。分散値σｌｖは、予め定められた期間内に斜位検出部４０に入力された距離Ｌｖの分散値である。分散値σｒは、予め定められた期間内に斜位検出部４０に入力された距離Ｒの分散値である。分散値σｌは、予め定められた期間内に斜位検出部４０に入力された距離Ｌの分散値である。

【0071】

斜位検出部４０は、各成分の分散値と、その分散値に対応する予め定められた閾値（「変動閾値」とも称する）とを比較する。

【0072】

分散値σｒｈに対応する閾値は、閾値Ｔｒｈである。分散値σｌｈに対応する閾値は、閾値Ｔｌｈである。分散値σｒｖに対応する閾値は、閾値Ｔｒｖである。分散値σｌｖに対応する閾値は、閾値Ｔｌｖである。分散値σｒに対応する閾値は、閾値Ｔｒである。分散値σｌに対応する閾値は、閾値Ｔｌである。

【0073】

閾値Ｔｒｈ，Ｔｌｈ，Ｔｒｖ，Ｔｌｖ，Ｔｒ，およびＴｌの各々は、予め定められた値である。例えば、各閾値として、予め定められた期間における瞳孔距離出力Ｃ１に含まれる各成分の分散値を用いてもよく、固視状態における時系列データから得られる分散値に重みを与えて得られる値を用いてもよい。

【0074】

例えば、斜位検出部４０は、第１の眼球Ｓ１についてのデータが第１の条件（すなわち、σｒｈ＜Ｔｒｈ、σｒｖ＜Ｔｒｖ、且つσｒ＜Ｔｒ）を満たすか判定し、第２の眼球Ｓ２についてのデータが第２の条件（すなわち、σｌｈ＜Ｔｌｈ、σｌｖ＜Ｔｌｖ、且つσｌ＜Ｔｌ）を満たすか判定する。

【0075】

第１の条件（すなわち、σｒｈ＜Ｔｒｈ、σｒｖ＜Ｔｒｖ、且つσｒ＜Ｔｒ）の場合、斜位検出部４０は、人Ｈの第１の眼球Ｓ１が固視状態であると判定する。

【0076】

一方、第１の条件を満たさない場合、斜位検出部４０は、人Ｈの第１の眼球Ｓ１が固視状態ではないと判定する。すなわち、斜位検出部４０は、第１の眼球Ｓ１がいずれかの方向に運動していると判定する。

【0077】

第２の条件（すなわち、σｌｈ＜Ｔｌｈ、σｌｖ＜Ｔｌｖ、且つσｌ＜Ｔｌ）の場合、斜位検出部４０は、人Ｈの第２の眼球Ｓ２が固視状態であると判定する。

【0078】

一方、第２の条件を満たさない場合、斜位検出部４０は、人Ｈの第１の眼球Ｓ１が固視状態ではないと判定する。すなわち、斜位検出部４０は、第２の眼球Ｓ２がいずれかの方向に運動していると判定する。

【0079】

第１の眼球Ｓ１および第２の眼球Ｓ２についてのデータが第１の条件および第２の条件の両方を満たさないとき、斜位検出部４０は、第１の眼球Ｓ１および第２の眼球Ｓ２が、上下方向への視線移動、左右方向への視線移動、輻輳運動、または開散運動などの両眼球運動を行っていると判定する。言い換えると、第１の眼球Ｓ１および第２の眼球Ｓ２についてのデータが第１の条件および第２の条件の両方を満たさないとき、斜位検出部４０は、第１の眼球Ｓ１および第２の眼球Ｓ２の状態が、両眼球運動状態であると判定する。

【0080】

第１の眼球Ｓ１および第２の眼球Ｓ２についてのデータが第１の条件および第２の条件のうちの一方のみを満たすとき、斜位検出部４０は、人Ｈの片眼における眼位のずれが生じていると判定する。この場合、斜位検出部４０は、人Ｈの状態は、斜位状態であると判定する。言い換えると、斜位検出部４０は、第１の眼球Ｓ１および第２の眼球Ｓ２の一方が斜位状態であると判定する。

【0081】

人Ｈの両眼の挙動を判定することにより、第１の眼球Ｓ１および第２の眼球Ｓ２が両眼球運動状態か、第１の眼球Ｓ１および第２の眼球Ｓ２のうちの一方が斜位状態であるかを判定することができる。

【0082】

斜位検出部４０は、第１の眼球Ｓ１および第２の眼球Ｓ２が両眼球運動状態であるか、または第１の眼球Ｓ１および第２の眼球Ｓ２のうちの一方が斜位状態であるかさえ判定すればよい。斜位検出部４０における上述の判定方法は一例であり、種々の判定条件が組み合わされていてもよい。

【0083】

ステップＳＴ５では、斜位検出部４０は、判定結果を斜位検出結果Ｄ１として出力する。斜位検出結果Ｄ１は、第１の眼球Ｓ１および第２の眼球Ｓ２の状態を示す。例えば、斜位検出結果Ｄ１は、第１の眼球Ｓ１および第２の眼球Ｓ２が両眼球運動状態であるか、または第１の眼球Ｓ１および第２の眼球Ｓ２のうちの一方が斜位状態であるかを示す。

【0084】

斜位検出結果Ｄ１は、注意力判定部５０に入力される。ステップＳＴ６では、注意力判定部５０は、斜位検出結果Ｄ１に応じて人Ｈの注意力を判定し、判定結果を注意力状態Ｅ１として生成する。

【0085】

注意力状態Ｅ１は、例えば、注意力低下状態または注意力維持状態である。この場合、注意力低下状態は、人Ｈの注意力が低い状態であり、注意力維持状態は、人Ｈの注意力が高い状態である。

【0086】

例えば、斜位検出結果Ｄ１が両眼球運動状態を示す場合、注意力判定部５０は、人Ｈが注意力維持状態であると判定し、注意力維持状態を示す信号である注意力状態Ｅ１を生成する。一方、斜位検出結果Ｄ１が斜位状態を示す場合、注意力判定部５０は、人Ｈが注意力低下状態であると判定し、注意力低下状態を示す信号である注意力状態Ｅ１を生成する。

【0087】

ステップＳＴ７では、注意力判定部５０は、注意力状態Ｅ１を出力する。注意力状態Ｅ１は、例えば、モニタ、ヘッドアップディスプレイ、スピーカ、または振動器などの出力装置７０に入力される。出力装置７０は、例えば、注意力状態Ｅ１に応じて少なくとも画像（例えば、静止画または動画）、音声、および振動の１つを出力する。注意力状態Ｅ１が注意力低下状態でない場合、出力装置７０は何も出力しなくてもよい。

【0088】

図７（Ａ）は、注意力判定装置１００のハードウェア構成の一例を示す図である。
図７（Ｂ）は、注意力判定装置１００のハードウェア構成の他の例を示す図である。

【0089】

注意力判定装置１００は、例えば、少なくとも１つのプロセッサ１０８ａおよび少なくとも１つのメモリ１０８ｂで構成される。プロセッサ１０８ａは、例えば、メモリ１０８ｂに格納されるプログラムを実行するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。この場合、注意力判定装置１００の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとしてメモリ１０８ｂに格納することができる。これにより、注意力判定装置１００の機能（例えば、本実施の形態で説明される注意力判定方法）を実現するためのプログラムは、コンピュータによって実行される。

【0090】

メモリ１０８ｂは、コンピュータで読み取り可能な記録媒体であり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの揮発性メモリ、不揮発性メモリ、または揮発性メモリと不揮発性メモリとの組み合わせである。

【0091】

注意力判定装置１００は、単一回路または複合回路などの専用のハードウェアとしての処理回路１０８ｃで構成されてもよい。この場合、注意力判定装置１００の機能は、処理回路１０８ｃで実現される。

【0092】

上述のように、実施の形態１における注意力判定装置１００は、人Ｈにおける眼位ずれが生じているかを検出する。したがって、注意力判定装置１００は、低フレームレートで撮影された画像を用いて注意力を判定することができる。これにより、注意力判定装置１００は、高速な眼球運動であるサッカードを検出する装置に比べて、ＣＰＵの高い処理能力を必要としない。その結果、注意力判定装置１００の製造コストを下げることができる。

【0093】

実施の形態１に係る注意力判定システム１０１は、注意力判定装置１００を有する。したがって、注意力判定システム１０１は、上述の注意力判定装置１００の利点と同じ利点を持つ。

【0094】

実施の形態２．
図８は、本発明の実施の形態２に係る注意力判定システム２０１の構成を概略的に示すブロック図である。

【0095】

図９は、上述の注意力判定システム２０１における人Ｈの注意力を判定する注意力判定方法の工程の一例を示すフローチャートである。

【0096】

ステップＳＴ１では、第１の眼球Ｓ１についての第１の基準座標と第２の眼球Ｓ２についての第２の基準座標とが撮影画像Ａ１内に設定される。

【0097】

ステップＳＴ２では、第１の眼球Ｓ１の瞳孔の撮影画像Ａ１内における座標である第１の瞳孔座標および第２の眼球Ｓ２の瞳孔の撮影画像Ａ１内における座標である第２の瞳孔座標が算出される。

【0098】

ステップＳＴ３では、第１の基準座標、第２の基準座標、第１の瞳孔座標、および第２の瞳孔座標が出力される。

【0099】

ステップＳＴ４では、第１の基準座標に対する第１の瞳孔座標の少なくとも１つの位置成分と、第２の基準座標に対する第２の瞳孔座標の少なくとも１つの位置成分とが算出される。

【0100】

ステップＳＴ５では、第１の瞳孔座標の少なくとも１つの位置成分および第２の瞳孔座標の少なくとも１つの位置成分が正規化される。

【0101】

ステップＳＴ６では、正規化された値が瞳孔距離補正値として出力される。

【0102】

ステップＳＴ７では、瞳孔距離補正値を用いて第１の眼球Ｓ１および第２の眼球Ｓ２の状態を示す斜位検出結果が出力される。

【0103】

ステップＳＴ８では、斜位検出結果に応じて人Ｈの注意力が判定される。

【0104】

ステップＳＴ９では、注意力状態Ｅ１が出力される。

【0105】

実施の形態２では、実施の形態１と異なる構成および動作を主に説明する。

【0106】

実施の形態２に係る注意力判定システム２０１は、注意力判定装置１００の代わりに注意力判定装置２００を有する。実施の形態２では、注意力判定装置２００は、撮像部１０によって撮影された人Ｈの第１の眼球Ｓ１、第２の眼球Ｓ２、および鼻Ｓ３を含む画像を用いる。

【0107】

注意力判定装置２００は、撮像部１０と、画像処理部２０と、瞳孔距離算出部３０と、斜位検出部４０と、注意力判定部５０と、瞳孔距離補正部６０とを有する。すなわち、実施の形態２に係る注意力判定装置２００は、実施の形態１で説明した、撮像部１０と、画像処理部２０と、瞳孔距離算出部３０と、斜位検出部４０と、注意力判定部５０とに加えて、瞳孔距離補正部６０を有する。注意力判定装置２００は、さらに出力装置７０を有してもよい。

【0108】

注意力判定装置２００は、第１の眼球Ｓ１、第２の眼球Ｓ２、および鼻Ｓ３を含む画像を用いて人Ｈの注意力を判定する。

【0109】

注意力判定装置２００のハードウェア構成は、実施の形態１で説明したハードウェア構成と同じでもよい。この場合、注意力判定装置２００のハードウェア構成は、図７（Ａ）または図７（Ｂ）に示されるハードウェア構成である。

【0110】

ステップＳＴ２において、画像処理部２０は、第１の瞳孔座標Ｒｅおよび第２の瞳孔座標Ｌｅに加えて、第１の眼球Ｓ１の第１の目頭座標Ｒｃ、第２の眼球Ｓ２の第２の目頭座標Ｌｃ、および鼻座標Ｎｔをさらに算出する。

【0111】

ステップＳＴ３では、画像処理部２０は、少なくとも１つの瞳孔座標、鼻座標Ｎｔ、および少なくとも１つの基準座標を、出力座標Ｂ２として出力する。本実施の形態では、画像処理部２０は、第１の瞳孔座標Ｒｅ、第２の瞳孔座標Ｌｅ、鼻座標Ｎｔ、第１の基準座標、および第２の基準座標を、出力座標Ｂ２として出力する。

【0112】

例えば、実施の形態１と同様に画像処理部２０が第１の基準座標としての第１の目頭座標Ｒｃと第２の基準座標としての第２の目頭座標Ｌｃを設定した場合、画像処理部２０は、第１の瞳孔座標Ｒｅ、第２の瞳孔座標Ｌｅ、鼻座標Ｎｔ、第１の目頭座標Ｒｃ、および第２の目頭座標Ｌｃを出力座標Ｂ２として出力する。この場合、出力座標Ｂ２は、例えば、１次元配列（すなわち、Ｂ２＝［Ｒｅｘ，Ｒｅｙ，Ｌｅｘ，Ｌｅｙ，Ｒｃｘ，Ｒｃｙ，Ｌｃｘ，Ｌｃｙ，Ｎｔｘ，Ｎｔｙ］）として表される。

【0113】

出力座標Ｂ２は、瞳孔距離算出部３０に入力される。ステップＳＴ４では、瞳孔距離算出部３０は、出力座標Ｂ２を用いて、瞳孔距離３１，３２，３３，３４，３５，および３６に加えて、目頭距離３７および鼻筋距離３８を周期的に算出する。これにより、瞳孔距離算出部３０において時系列データが算出される。

【0114】

目頭距離３７は、第１の眼球Ｓ１と第２の眼球Ｓ２との間の距離である。具体的には、目頭距離３７は、第１の眼球Ｓ１の目頭２６と第２の眼球Ｓ２の目頭２７との間の距離である。撮影画像Ａ１内では、目頭距離３７は、第１の目頭座標Ｒｃから第２の目頭座標Ｌｃまでの距離である。本実施の形態では、撮影画像Ａ１内の第１の目頭座標Ｒｃから第２の目頭座標Ｌｃまでの距離をＤとする。

【0115】

鼻筋距離３８は、目頭距離３７の中点Ｐ１と鼻先端２８との間の距離である。撮影画像Ａ１内では、鼻筋距離３８は、中点Ｐ１から鼻座標Ｎｔまでの距離である。本実施の形態では、撮影画像Ａ１内の中点Ｐ１から鼻座標Ｎｔまでの距離をＮとする。

【0116】

距離Ｄは式（３）のように表される。

【数3】

・・・（３）

【0117】

距離Ｎは式（４）のように表される。

【数4】

・・・（４）

【0118】

瞳孔距離算出部３０は、算出された距離Ｒｈ，Ｌｈ，Ｒｖ，Ｌｖ，Ｒ，Ｌ，Ｄ，およびＮを瞳孔距離出力Ｃ２として出力する。瞳孔距離出力Ｃ２は、例えば、１次元配列（すなわち、Ｃ２＝［Ｒｈ，Ｌｈ，Ｒｖ，Ｌｖ，Ｒ，Ｌ，Ｄ，Ｎ］）として表される。

【0119】

さらに、瞳孔距離算出部３０は、算出された距離ＤおよびＮを基準値出力Ｇとして出力してもよい。基準値出力Ｇは、例えば、１次元配列（すなわち、Ｇ＝［Ｄ，Ｎ］）として表される。

【0120】

瞳孔距離出力Ｃ２および基準値出力Ｇは、瞳孔距離補正部６０に入力される。ステップＳＴ５では、瞳孔距離補正部６０は、少なくとも１つの任意の値を用いて、瞳孔距離、すなわち、第１の瞳孔座標Ｒｅの少なくとも１つの位置成分および第２の瞳孔座標Ｌｅの少なくとも１つの位置成分を正規化する。

【0121】

本実施の形態では、瞳孔距離補正部６０は、目頭距離３７（すなわち、距離Ｄ）または鼻筋距離３８（すなわち、距離Ｎ）を用いて、瞳孔距離、すなわち、第１の瞳孔座標Ｒｅの少なくとも１つの位置成分および第２の瞳孔座標Ｌｅの少なくとも１つの位置成分を正規化する。

【0122】

具体的には、瞳孔距離補正部６０は、目頭距離３７を用いて、瞳孔距離３３および瞳孔距離３４を正規化する。例えば、瞳孔距離３３は、Ｒｈ／Ｄによって正規化され、瞳孔距離３４は、Ｌｈ／Ｄによって正規化される。

【0123】

瞳孔距離補正部６０は、鼻筋距離３８を用いて、瞳孔距離３５および瞳孔距離３６を正規化する。例えば、瞳孔距離３５は、Ｒｖ／Ｎによって正規化され、瞳孔距離３６は、Ｌｖ／Ｎによって正規化される。

【0124】

瞳孔距離補正部６０は、正規化された瞳孔距離３５を用いて、瞳孔距離３１を更新する。例えば、更新された瞳孔距離３１は、式（５）のように表される。

【数5】

・・・（５）

【0125】

瞳孔距離補正部６０は、正規化された瞳孔距離３６を用いて、瞳孔距離３２を更新する。例えば、更新された瞳孔距離３２は、式（６）のように表される。

【数6】

・・・（６）

【0126】

ステップＳＴ６では、瞳孔距離補正部６０は、正規化された値（すなわち、正規化された位置成分）を瞳孔距離補正値Ｆとして出力する。瞳孔距離補正値Ｆは、例えば、１次元配列（すなわち、Ｆ＝［Ｒｈ／Ｄ，Ｌｈ／Ｄ，Ｒｖ／Ｎ，Ｌｖ／Ｎ，Ｒ，Ｌ］）として表される。

【0127】

瞳孔距離補正値Ｆは、斜位検出部４０に入力される。ステップＳＴ７では、斜位検出部４０は、瞳孔距離補正値Ｆを用いて第１の眼球Ｓ１および第２の眼球Ｓ２の状態を示す斜位検出結果を出力する。具体的には、斜位検出部４０は、瞳孔距離補正値Ｆの変動を用いて、人Ｈの眼球運動、すなわち、人Ｈの両眼の状態を判定する。より具体的には、斜位検出部４０は、瞳孔距離補正値Ｆの変動を用いて、人Ｈの両眼の状態が、人Ｈの両眼の眼球運動か片眼の眼球運動かを判定する。斜位検出部４０は、判定結果を斜位検出結果として出力する。

【0128】

斜位検出部４０が人Ｈの両眼の状態を判定する場合、斜位検出部４０は、例えば、時系列データを用いて、瞳孔距離補正値Ｆに含まれる各成分の分散値を算出する。この場合、時系列データは、斜位検出部４０に周期的に入力される瞳孔距離補正値Ｆである。

【0129】

斜位検出部４０は、各成分の分散値と、その分散値に対応する予め定められた閾値（「変動閾値」とも称する）とを比較する。

【0130】

実施の形態１で説明したように、斜位検出部４０は、斜位検出部４０は、第１の眼球Ｓ１についてのデータが第１の条件を満たすか判定し、第２の眼球Ｓ２についてのデータが第２の条件を満たすか判定し、判定結果を斜位検出結果Ｄ１として出力する。

【0131】

斜位検出結果Ｄ１は、注意力判定部５０に入力される。さらに基準値出力Ｇ、すなわち、目頭距離３７の時系列データおよび鼻筋距離３８の時系列データが、注意力判定部５０に入力される。図８に示される例では、基準値出力Ｇは、瞳孔距離算出部３０から注意力判定部５０に入力される。ただし、基準値出力Ｇは、瞳孔距離算出部３０以外の構成要素（例えば、斜位検出部４０または瞳孔距離補正部６０）から注意力判定部５０に入力されてもよい。

【0132】

ステップＳＴ８では、注意力判定部５０は、目頭距離３７の時系列データを用いて目頭距離３７の分散値σｄを算出し、鼻筋距離３８の時系列データを用いて分散値σｎを算出する。注意力判定部５０は、算出された分散値を変動閾値と比較する。

【0133】

具体的には、注意力判定部５０は、算出された分散値σｄと変動閾値Ｔｄとを比較し、算出された分散値σｎと変動閾値Ｔｎとを比較する。

【0134】

変動閾値Ｔｄは、予め定められた値である。例えば、変動閾値Ｔｄとして、予め定められた期間における目頭距離３７の分散値を用いてもよく、固視状態における時系列データから得られる分散値に重みを与えて得られる値を用いてもよい。同様に、変動閾値Ｔｎは、予め定められた値である。例えば、変動閾値Ｔｎとして、予め定められた期間における鼻筋距離３８の分散値を用いてもよく、固視状態における時系列データから得られる分散値に重みを与えて得られる値を用いてもよい。

【0135】

時系列データ（具体的には、目頭距離３７についての分散値σｄおよび鼻筋距離３８についての分散値σｎ）が注意力条件（すなわち、σｄ＜Ｔｄ且つσｎ＜Ｔｎ）を満たす場合、人Ｈの顔の向きの変化が小さい。したがって、時系列データが注意力条件（すなわち、σｄ＜Ｔｄ且つσｎ＜Ｔｎ）を満たす場合、注意力判定部５０は、人Ｈが注意力低下状態であると判定し、注意力低下状態を示す注意力状態Ｅ１を生成する。

【0136】

一方、分散値σｄが変動閾値Ｔｄ以上である場合、人Ｈの顔の向きは、Ｐｉｔｃｈ方向（図３ではｙ軸方向）に大きく動いている。分散値σｎが変動閾値Ｔｎ以上である場合、人Ｈの顔の向きは、Ｙａｗ方向（図３ではｘ軸方向）に大きく動いている。

【0137】

すなわち、時系列データ（具体的には、目頭距離３７についての分散値σｄおよび鼻筋距離３８についての分散値σｎ）が注意力条件を満たさない場合、（すなわち、σｄ＜Ｔｄ且つσｎ＜Ｔｎ）、人Ｈの顔の向きは、Ｐｉｔｃｈ方向およびＹａｗ方向に大きく動いている。この場合、注意力判定部５０は、人Ｈが周囲を充分に視認していると判定する。したがって、時系列データが注意力条件を満たさない場合、注意力判定部５０は、人Ｈが注意力維持状態であると判定し、注意力維持状態を示す注意力状態Ｅ１を生成する。

【0138】

ステップＳＴ９では、注意力判定部５０は、注意力状態Ｅ１を出力する。

【0139】

実施の形態２における注意力判定装置２００は、実施の形態１における注意力判定装置１００の利点と同じ利点を有する。

【0140】

さらに、実施の形態２に係る注意力判定装置２００は、目頭距離３７および鼻筋距離３８を用いて人Ｈの注意力を判定する。目頭距離３７および鼻筋距離３８は、人Ｈの固定の指標とみなすことができる。したがって、瞳孔距離（例えば、瞳孔距離３３，３４，３５，および３６）を、目頭距離３７または鼻筋距離３８で正規化することにより、人Ｈの顔の向きの微小な変化に起因する瞳孔距離の変動の影響を軽減することができる。その結果、瞳孔距離（例えば、瞳孔距離３３，３４，３５，および３６）の時系列データの解析の精度を高めることができる。

【0141】

注意力判定装置２００を有する注意力判定システム２０１は、上述の注意力判定装置２００の利点と同じ利点を持つ。

【0142】

以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。

【符号の説明】

【0143】

１０ 撮像部、 ２０ 画像処理部、 ３０ 瞳孔距離算出部、 ４０ 斜位検出部、 ５０ 注意力判定部、 ６０ 瞳孔距離補正部、 ７０ 出力装置、 １００，２００ 注意力判定装置、 １０１，２０１ 注意力判定システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】