特開 2024-133228 分類装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133228

(43)【公開日】2024-10-01

(54)【発明の名称】分類装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

   G06V 10/72 20220101ALI20240920BHJP

   G06V 10/82 20220101ALI20240920BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 616

G06V10/72

G06V10/82

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2024112211

(22)【出願日】2024-07-12

(62)【分割の表示】P 2021544974の分割

【原出願日】2020-09-01

(31)【優先権主張番号】P 2019166161

(32)【優先日】2019-09-12

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000153878

【氏名又は名称】株式会社半導体エネルギー研究所

(72)【発明者】

【氏名】小國 哲平

(72)【発明者】

【氏名】福留 貴浩

(57)【要約】

【課題】眼の情報から人物の状態を分類する。
【解決手段】撮像装置、特徴抽出部、および分類器を用いることで眼の情報から人物の状態を分類する。撮像装置は、連続撮影することで画像群を生成する機能を有し、画像群には、眼の領域の画像が含まれることが好ましい。眼は、黒目の領域および白目の領域を有する。特徴抽出部が、画像群から眼の領域を抽出するステップを有し、次に瞬目振幅を抽出するステップを有し、次に瞬目を開始したと判断する画像を検出するステップを有し、次に瞬目が終了したと判断する画像を第１のデータとして記憶するステップを有し、次に第１のデータから任意の時間が経過した画像を第２のデータとして記憶するステップを有する。特徴抽出部が、第１のデータおよび第２のデータから白目の領域を抽出するステップを有する。分類器は、白目の領域を学習データとして用いることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置と、特徴抽出部と、分類器と、を有する分類装置であって、
前記撮像装置は、連続撮影することで画像群を生成する機能を有し、
前記画像群には、眼の領域の画像が含まれており、
前記眼の領域には、白目の領域が含まれており、
前記特徴抽出部は、前記画像群から前記眼の領域を抽出する機能と、前記画像群から瞬目振幅を抽出する機能と、瞬目が開始された瞬間の画像を前記画像群から検出する機能と、前記瞬目が終了した瞬間の第１の画像を前記画像群から検出し、前記第１の画像を第１のデータとして記憶する機能と、前記第１の画像から任意の時間が経過した瞬間の第２の画像を検出し、前記第２の画像を第２のデータとして記憶する機能と、前記第１のデータ及び前記第２のデータから前記白目の領域の面積情報を抽出する機能と、前記白目の領域の面積情報を学習データとして前記分類器に与える機能と、を有し、
前記分類器は、前記学習データを用いて分類モデルを生成する機能を有する、
分類装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一態様は、眼の情報から人物の状態を分類する分類装置および分類方法である。

【0002】

なお、本発明の一態様は、コンピュータ装置を利用した眼の情報から人物の状態を分類することができる分類器の生成方法に関する。または、本発明の一態様は、眼の情報を学習するための学習データの生成方法に関する。または、本発明の一態様は、撮像装置によって連続撮影された画像群の中から眼の領域を抽出し、眼の領域から得られる眼の情報から特徴量を抽出する方法に関する。または、本発明の一態様は、当該特徴量を学習データとして分類器に与えることで分類器を学習させる方法に関する。

【背景技術】

【0003】

近年では、社会的に生活の質の向上が求められてきている。例えば、自分自身では、過労な状態または精神的な病の症状などに気づきにくい。自分自身の状態把握を早期に発見することができれば、状態が悪化する前に対策（休息など）をとるなど適切な手段を講じることができる。例えば、自己カウンセリングでは、自分が気付かない変化をセルフチェックする方法の研究が進められている。

【0004】

例えば、感情、心理状態、または身体的な疲労は、眼の動き、表情、声、または心拍などの身体反応に現れることが知られている。これらの身体反応を測定することは、自分ではわからなかった自分の変化に気づけるようになると考えられている。そこで、感情、心理状態、または身体的な疲労を表す要素として、眼についての様々な研究が進められている。これは、眼が、人の心の部分を司る脳からの指令を直接受けるためである。したがって、眼に現れる変化を解析することで得られる情報（以降、眼の情報）は、脳の研究をするためにも重要な要素として考えられている。

【0005】

眼の情報は、撮像装置で取得した画像を用いることができるため人の動作または作業などを妨害することなく入手することができる。自己カウンセリングの方法の一例として、瞳孔の変化から身体的な疲労の一つである眠気を検出する研究がおこなわれている。例えば、特許文献１では、赤外線を用いて撮影した目の画像から瞳孔の状態を判定し、人物の状態を判定する検出する方法が開示されている。

【0006】

特許文献２では、眼球運動の一つであるマイクロサッカードを検出することで神経疾患を検出するためのシステムが開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平７－２４９１９７号公報

【特許文献2】特表２０１６－５２３１１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

眼の情報を取得する方法の一つに、眼球運動によって発生する電気信号を検出するＥＯＧ（ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）検出方法がある。ただし、ＥＯＧ検出方法は、正確ではあるが複数の電極を眼の周辺に設置する必要があるため日常的に実施するのは難しいのが課題である。例えば、目の情報を用いて自己カウンセリングを行う場合、目の情報は、日常生活の中で負担にならないように取得できることが好ましい。したがって、目の情報を得るためには、低侵襲性および低接触性であることが求められる。

【0009】

例えば、撮像装置を用いることで、眼の情報は、画像として取得することができる。さらに、近年の機械学習の進歩により、取得画像から眼の領域を認識して抽出することができるようになってきた。しかし、眼には、黒目の領域と白目の領域とがある。さらに黒目の領域には、黒目を構成する虹彩と瞳孔がある。虹彩の色は、遺伝的な影響を受けることが知られている。

【0010】

瞳孔は、人物の感情または身体的疲労などと関係があるとされ、眼の情報の中でも注目されている。しかし、瞳孔の状態を検出する場合、虹彩の色の影響を受ける課題がある。例えば、瞳孔と明度が近い色を有する虹彩では、瞳孔と虹彩を識別することが難しい課題がある。しかし、赤外線を用いて撮像できる撮像装置は、虹彩と瞳孔とを識別しやすい画像を取得することができる。ただし、強い赤外線を用いた場合には、眼の角膜、虹彩、水晶体、網膜などに影響を及ぼす問題がある。また、瞳孔は、環境の明るさなどにも反応する。したがって、瞳孔は、人物の感情または身体的疲労などの状態と相関関係を有するが、環境依存性のノイズが多く含まれる課題がある。

【0011】

また、眼の情報を取得する場合、眼は、不定期な瞬き（以下、瞬目）を行う。例えば、瞬目には、眼球の乾燥などから保護するために行う無意識に行われる瞬目反射がある。瞬目には、瞬目反射以外にも様々な種類がある。したがって、目の情報には、瞬目がノイズ成分として含まれる課題がある。また、目の情報を用いた分析をする場合、対象とする目の画像が、不定期な瞬目の間隔、または周囲の環境の明るさなどにより影響を受ける課題がある。

【0012】

上記問題に鑑み、本発明の一態様は、コンピュータ装置を利用した眼の情報から人物の状態を分類する方法を提供することを課題の一とする。本発明の一態様は、眼の情報を学習するための学習データの生成方法を提供することを課題の一とする。本発明の一態様は、撮像装置によって連続撮影された画像群の中から眼の領域を抽出し、眼の情報から特徴量を抽出する方法を提供することを課題の一とする。本発明の一態様は、当該特徴量を学習データとして分類器に与えることで分類器を学習させる方法を提供することを課題の一とする。

【0013】

なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。

【課題を解決するための手段】

【0014】

本発明の一態様は、撮像装置と、特徴抽出部と、分類器と、を用いた分類方法である。なお、分類器は、分類モデルを有する。撮像装置は、連続撮影することで画像群を生成する機能を有する。画像群には、眼の領域の画像が含まれる。眼は、黒目の領域と、白目の領域と、を有する。黒目の領域は、虹彩と、瞳孔と、で構成される領域を有し、白目の領域は、眼球が白色の被膜に覆われた領域である。分類方法において、特徴抽出部が、画像群から眼の領域を抽出するステップを有し、画像群から瞬目振幅を抽出するステップを有し、画像群から瞬目を開始したと判断する画像を検出するステップを有し、画像群から瞬目が終了したと判断する画像を第１のデータとして記憶するステップを有し、画像群から第１のデータから任意の時間が経過した画像を第２のデータとして記憶するステップを有する。分類方法において、特徴抽出部が、第１のデータおよび第２のデータから白目の領域の面積情報を抽出するステップを有する。分類方法において、特徴抽出部が、白目の領域の面積情報を学習データとして分類器に与えるステップを有する。分類方法において、分類器が、学習データを用いて分類モデルを生成するステップを有する。

【0015】

上記構成において、第１のデータおよび第２のデータに含まれる眼の領域の画像には、それぞれ黒目の領域と、白目の領域と、が含まれる。検出された白目の領域の面積情報が独立した第１の領域および第２の領域を有する場合、分類方法は、特徴抽出部が、第１の領域と第２の領域との比を出力するステップを有する。検出された白目の領域の面積情報が第３の領域として検出される場合、分類方法は、特徴抽出部が、第３の領域から円の領域を検出するステップを有し、円の領域から円の中心を求めるステップを有し、円の中心のｘ座標を用いて第３の領域を第１の領域と第２の領域に分割するステップを有し、第１の領域と第２の領域との比を出力するステップを有する。分類方法は、特徴抽出部が、第１の領域と第２の領域との比から白目の振動幅を算出するステップを有する。分類器は、白目の振動幅を学習データとして用いることが好ましい。

【0016】

上記各構成において、分類方法は、特徴抽出部が、白目の振動幅と、瞬目振幅と、を学習データとして分類器に与えるステップを有する。分類方法は、分類器が、白目の振動幅と、瞬目振幅とを用いて分類モデルを生成するステップを有することが好ましい。

【0017】

上記各構成において、分類方法は、分類器が、学習データを用いて学習するステップを有する。分類方法は、特徴抽出部に、新たな第１のデータおよび第２のデータが与えられるステップを有する。分類方法は、分類器が、分類モデルを用いて人物の感情、体調の変化などの状態を分類するステップを有することが好ましい。

【0018】

上記各構成において、分類方法は、学習データに、教師用ラベルが付与されるステップを有する。分類方法は、分類器が、教師用ラベルが付与された学習データを用いて学習するステップを有することが好ましい。

【発明の効果】

【0019】

本発明の一態様は、コンピュータ装置を利用した眼の情報から人物の状態を分類する方法を提供することができる。本発明の一態様は、眼の情報を学習するための学習データの生成方法を提供することができる。本発明の一態様は、撮像装置によって連続撮影された画像群の中から眼の領域を抽出し、眼の情報から特徴量を抽出する方法を提供することができる。本発明の一態様は、学習データとして当該特徴量を与えることで分類器を生成する方法を提供することができる。

【0020】

なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書又は図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び／又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。

【図面の簡単な説明】

【0021】

【図1】図１は、眼の情報から人物の状態を分類する方法を説明するブロック図である。

【図2】図２Ａは、眼の構成を説明する図である。図２Ｂは、学習データの生成方法を説明する図である。

【図3】図３は、学習データの生成方法を説明するフローチャートである。

【図4】図４は、学習データの生成方法を説明するフローチャートである。

【図5】図５Ａ乃至図５Ｃは、眼の情報を説明する図である。

【図6】図６Ａは、眼の情報を説明する図である。図６Ｂおよび図６Ｃは、抽出された白目の領域を説明する図である。

【図7】図７は、白目の領域を検出する方法を説明するフローチャートである。

【図8】図８Ａ乃至図８Ｃは、学習データの生成方法を説明する図である。

【図9】図９は、分類装置を説明するブロック図である。

【発明を実施するための形態】

【0022】

実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。

【0023】

なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。

【0024】

また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。

【0025】

（実施の形態）
本実施の形態では、眼の情報から人物の状態を分類する方法について図１乃至図９を用いて説明する。なお、本実施の形態では、左右の眼のいずれか一方に着目して説明する。ただし、本実施の形態で示す構成、方法は、左右の眼に対して適用することができる。

【0026】

本実施の形態で説明する眼の情報から人物の状態を分類する方法は、コンピュータ装置上で動作するプログラムによって制御される。したがって、コンピュータ装置は、眼の情報から人物の状態を分類する方法を備える分類装置と言い換えることができる。なお、眼の情報から人物の状態を分類する分類装置については、図９で詳細に説明する。当該プログラムは、コンピュータ装置が有するメモリまたはストレージに保存される。もしくは、当該プログラムは、ネットワーク（ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなど）を介して接続されているコンピュータ、又はデータベースを有するサーバコンピュータに保存される。

【0027】

眼の情報から人物の状態を分類する方法を備える分類装置は、撮像装置、特徴抽出部、および分類器を有する。撮像装置は、画像群を生成し、コンピュータ装置が有するメモリまたはストレージに保存することができる。なお、画像群とは、連続撮影された画像または動画などを指し、複数の画像を指す。よって、分類装置は、コンピュータ装置が有するメモリまたはストレージに保存される画像群を用いることができる。例えば、分類装置がモバイル機器などの携帯端末に組み込まれる場合、分類装置は、撮像装置を含むことが好ましい。なお、分類装置には、ｗｅｂカメラ（監視カメラを含む）のようなネットワークに接続されたカメラから画像群が与えられてもよい。

【0028】

画像群には、対象となる人物の顔が含まれることが好ましい。人物の顔が記憶された画像からは、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）を用いて目の領域の画像を抽出することができる。機械学習の処理には、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いることが好ましい。例えば、目の領域の画像を抽出するには、特に、人工ニューラルネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。なお、本発明の一態様において、人工ニューラルネットワークを、単にニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と記す場合がある。ニューラルネットワークの演算処理は、回路（ハードウェア）又はプログラム（ソフトウェア）により実現される。

【0029】

例えば、人物の顔が記憶された画像から眼の領域の画像を検索する場合は、代表的な眼の領域の画像をクエリ画像として与えることができる。画像群に含まれる人物の顔が記憶された画像からクエリ画像と類似度の高い領域を抽出する。一例として、類似度の高い領域を検索する場合、画像検索方法には、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）、パターンマッチングなどを用いることができる。なお、本発明の一態様では、クエリ画像が登録されていればよく、検索をする度にクエリ画像を与えなくてもよい。なお、抽出された眼の領域は、画像として保存される。

【0030】

詳細な目の情報は、抽出された眼の領域の画像から抽出する。眼は、黒目の領域と、白目の領域と、を有する。黒目の領域は、虹彩および瞳孔で構成される領域を有し、白目の領域は、眼球が白色の被膜（強膜と呼ばれる場合がある）によって覆われた領域を指す。また上瞼および下瞼で挟まれた領域の最大幅を瞬目振幅とする。また瞼で挟まれた領域の最小値を、瞬目振幅の最小値とする。なお、画像群には、様々な眼の状態が記憶されている。瞬目振幅は、検出した瞬目振幅の大きいものから上位複数を選択し平均値を算出することで求めることができる。

【0031】

ここで、特徴抽出部の機能について説明する。特徴抽出部は、抽出された眼の領域の画像から詳細な目の情報を抽出する機能を有する。なお、特徴抽出部は、画像群に含まれる人物の顔が記憶されたそれぞれの画像に対し、次に示す処理を行う。なお、次に示す処理は、瞬目によるノイズの影響を低減した眼の学習データを作成する方法である。

【0032】

上記方法は、特徴抽出部が、人物の顔が記憶された画像から眼の領域の画像を抽出するステップを有する。

【0033】

また、上記方法は、特徴抽出部が、眼の領域の画像から瞬目振幅を抽出するステップを有する。特徴抽出部は、瞬目振幅を抽出することで以降のステップにおける瞬目を検出するための判定しきい値を設定することができる。一例として、当該判定しきい値は、瞬目振幅の半分の幅を設定することができる。ただし、判定しきい値は、対象とする人物に対してそれぞれ異なる値を設定できることが好ましい。また、画像群を眼の領域の画像群に変換することで、コンピュータが取り扱う画像のサイズを小さくすることができる。したがって、メモリの使用量を減らし、消費電力を小さくすることができる。

【0034】

また、上記方法は、特徴抽出部が、眼の領域の画像から瞬目を開始したと判断する画像を検出するステップを有する。なお、瞬目の開始とは、瞼が閉じていると判断される画像が検出された場合である。また、瞬目の終了とは、瞼が開いていると判断される画像が検出された場合である。なお、瞼の開閉を判断するには、当該判定しきい値を用いることができる。

【0035】

なお、瞬目は、瞬目の開始の画像から抽出する瞬目振幅、瞬目の終了の画像から抽出する瞬目振幅、ならびに瞬目の開始及び終了から抽出された瞬目振幅よりも小さな振幅が抽出される画像によって判断される。瞬目期間は、人によりばらつきがあるものの約３００ｍｓといわれている。当該撮像装置は、瞬目期間に瞬目振幅が判定しきい値よりも小さな眼の領域の画像を少なくとも３つ以上取得できることが好ましい。

【0036】

また、上記方法は、特徴抽出部が、眼の領域の画像から瞬目が終了したと判断する画像から任意の時間経過した画像を第１のデータとして記憶するステップを有する。第１のデータは、瞬目後の眼の状態を表している。したがって、瞬目が瞬目反射によって発生している場合、第１のデータは、概ね人物の状態を適切に表している。なお、当該任意の時間は、自由に設定できることが好ましい。

【0037】

また、上記方法は、特徴抽出部が、第１のデータから任意の時間が経過した画像を第２のデータとして記憶するステップを有する。第２のデータは、概ね人物の感情または体調の変化などの状態を表している。なお、当該任意の時間は、自由に設定できることが好ましい。

【0038】

例えば、人物の感情が昂っている場合、第２のデータに記憶される眼は、第１のデータに記憶された眼よりも大きくなったり、小さくなったりする。また、人物が眠気などを有する場合、第１のデータよりも第２のデータに記憶される眼の振幅は小さくなることがある。ただし、眠気等を判断する場合は、瞬目率を判断に追加することができる。瞬目率とは、１分間に何回瞬目するかを表している。

【0039】

また、上記方法は、特徴抽出部が、第１のデータおよび第２のデータから白目の領域の面積情報を抽出するステップを有する。本発明の一態様では、白目の領域から得られる情報を用いることで眼球運動の状態を把握することができる。例えば、白目の領域の面積情報とは、黒目の中心座標を用いて白目の領域を第１の領域および第２の領域に分割した場合の面積比、または瞼の開閉によって変化する第１の領域および第２の領域の面積の変化などである。

【0040】

例えば、視線が同じ場所に留まっている場合でも黒目は常に動き続けていることが知られている。これは固視微動と呼ばれ、固視微動の中で１回の動きが最も大きいものは、マイクロサッカードと呼ばれる。マイクロサッカードは、瞳孔から入射した光が網膜の同じ箇所にあたり続けるのを回避する役目がある。例えば、マイクロサッカードが発生せず瞳孔から入射した光が網膜の同じ箇所にあたり続けた場合、網膜は、光の変化を認識できなくなる。よって、網膜は、瞳孔を介して入射する像を認識できなくなることが知られている。本発明の一態様では、マイクロサッカードを検出するために白目の面積比からマイクロサッカードによって発生する黒目の振動幅を検出することができる。なお、マイクロサッカードによって発生する黒目の振動幅のことを、白目の振動幅と言い換えて説明する場合がある。なお、黒目および白目の振動幅は、眼球の振動幅と言い換えることができる。

【0041】

マイクロサッカードの動きが大きく且つ早い場合、眼は視覚を生み出す能力が高い状態であるといわれている。したがって、マイクロサッカードの動きが大きく且つ早い場合、人物は対象物に対し集中力が高い状態にある。また、マイクロサッカードの動きが小さく且つゆっくりの場合、人物は対象物に対し集中力を失っている状態にあるといえる。これは、眠気を感じていると判断することができる。ただし、人物の状態をより正しく分類するためには、白目の面積比、瞬目振幅、または白目の振動幅など複数の条件を用いて判断することが好ましい。

【0042】

また、上記方法は、特徴抽出部が、白目の領域の情報を学習データとして分類器に与えるステップを有する。例えば、学習データには、白目の領域の情報として、白目の面積比、瞬目振幅、白目の振動幅、または瞼の位置の変化などが与えられることが好ましい。

【0043】

また、上記方法は、分類器が、学習データを用いて分類モデルを生成するステップを有する。

【0044】

なお、上述した学習データを用いて教師無しの機械学習による分類を行うことができる。例えば、分類モデルとして、Ｋ－ｍｅａｎｓ、またはＤＢＳＣＡＮ（ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）などのアルゴリズムを用いることができる。

【0045】

異なる例として、分類モデルには、さらに教師データを与えることができる。例えば、教師データには、感情分類または白目の振動幅の判定しきい値などを与えることができる。教師データが付与された学習データを用いて教師ありの機械学習による分類を行うことができる。例えば、分類モデルとして、決定木、ナイーブベイズ、ＫＮＮ（ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）、パーセプトロン、ロジスティック回帰、ニューラルネットワークなどの機械学習のアルゴリズムを用いることができる。

【0046】

続いて、本実施の形態で説明する眼の情報から人物の状態を分類する方法について図１を用いて説明する。以降において、当該分類器の生成方法を分類装置１０と言い換えて説明する場合がある。

【0047】

分類装置１０は、撮像装置２０、特徴抽出部３０、および特徴推定部４０を有する。特徴抽出部３０は、瞬目検出部３１、メモリ管理部３２、記憶部３３、検出部３４、および情報検出部３５を有する。特徴推定部４０は、分類器４０ａを有する。記憶部３３は、記憶装置３３ａ、および記憶装置３３ｂを有する。なお、記憶部３３が有する記憶装置の数は２つに限定されない。１つまたは３つ以上でもよい。

【0048】

撮像装置２０は、撮像装置２０が有する撮像素子を用いて人物の画像２１ａ乃至画像２１ｎを取得することができる。当該画像には、人物の眼の領域が含まれる。なお、眼の領域には、白目の領域１０１、黒目の領域１０２ａ、および瞼１０４が含まれる。なお黒目の領域は、瞳孔の領域と、虹彩の領域とを有する。画像２１ａ乃至画像２１ｎは、瞬目検出部３１に与えられる。なお、ａまたはｎは、正の整数である。また、ｎは、ａよりも大きい。

【0049】

瞬目検出部３１は、画像２１ａ乃至画像２１ｎからそれぞれ眼の領域を抽出することができる。瞬目検出部３１は、当該抽出される眼の領域を画像２２ａ乃至画像２２ｎとして保存する。なお、画像２２ａ乃至画像２２ｎは、画素数が同じ画像に変換することが好ましい。また、眼の幅を同じにするように変換することが好ましい。以降において、画像２２ａ乃至画像２２ｎのいずれか一つの画像について説明する場合、説明を簡略化するために眼の領域の画像２２と呼ぶ場合がある。なお、瞬目検出部３１は、眼の領域を抽出するためにＣＮＮを用いることが好ましい。

【0050】

瞬目検出部３１は、眼の領域の画像から瞬目振幅を抽出することができる。瞬目振幅とは、眼が開いていると判断される状態の上瞼と下瞼間の距離の最大値、または複数の画像から抽出した当該距離の最大値の平均値であることが好ましい。瞬目検出部３１は、当該瞬目振幅を用いて眼の領域の画像が瞬目状態かを判断するための判定しきい値を決定することができる。

【0051】

また、瞬目検出部３１は、判定しきい値を用いて画像２２ａ乃至画像２２ｎから瞬目を開始したと判断する画像２２ｐを検出することができる。例えば、瞬目検出部３１は、画像２２ｐから検出した瞬目振幅が判定しきい値より小さくなったことを検出した場合に眼が瞬目を開始したと判断することができる。次に、瞬目検出部３１は、画像２２ｐ以降の画像から瞬目が終了したと判断する画像を検出する。例えば、瞬目検出部３１は、画像２２ｐ以降の画像から検出した瞬目振幅が判定しきい値より大きくなったことを検出した場合に眼が瞬目を終了したと判断することができる。なお、ｐは、正の整数である。

【0052】

一例として、画像２２ｐ_＋２が、瞬目が終了したと判断された画像の場合、画像２２ｐ_＋３を第１のデータとしてメモリ管理部３２に与えることができる。メモリ管理部３２は、画像２２ｐ_＋３を記憶装置３３ａに保存する。なお、本発明の一態様では、瞬目が終了したと判断された画像２２ｐ_＋２の次の画像２２ｐ_＋３を第１のデータとして記憶装置３３ａに保存したが、第１のデータとして保存するのは画像２２ｐ_＋２の次の画像に限定されない。任意の時間経過後の画像２２ｑを保存することもできる。なお、ｑは、正の整数である。また、ｑは、ｐよりも大きい。

【0053】

さらに、瞬目検出部３１は、画像２２ｐ_＋３から任意の時間経過後の画像２２ｒを第２のデータとしてメモリ管理部３２に与えることができる。メモリ管理部３２は、画像２２ｒを記憶装置３３ｂに保存する。なお、ｒは、正の整数である。また、ｒは、ｑよりも大きい。

【0054】

なお、記憶装置の数は、２つに限定されない。複数の記憶装置には、１回の瞬目に対して異なる時間経過後の眼の領域の画像を保存することができる。なお、瞬目検出部３１の処理内容については、図３および図４を用いて詳細に説明する。

【0055】

検出部３４は、記憶装置３３ａに保存されている第１のデータおよび記憶装置３３ｂに保存されている第２のデータから白目の領域の面積情報を抽出することができる。白目の領域の面積情報を抽出するにはＣＮＮを用いると効率的である。

【0056】

情報検出部３５は、検出部３４で抽出された白目の領域の面積情報からより詳細な白目の領域の情報を検出することができる。例えば、黒目の中心座標を用いることで白目の領域を第１の領域および第２の領域に分割することができる。また、第１の領域および第２の領域の面積比を抽出することができる。または、第１の領域および第２の領域の面積が、瞼の開閉によって変化することを抽出することができる。白目の領域の面積情報の抽出方法については、図６を用いて詳細に説明する。なお、検出部３４および情報検出部３５は、黒目の領域から、瞳孔の大きさを抽出することができる。

【0057】

特徴推定部４０には、特徴抽出部３０で抽出された白目の領域の情報が学習データとして与えられる。例えば、分類器４０ａには、学習データとして、白目の面積比、瞬目振幅、白目の振動幅、または瞼の位置の変化などが与えられる。さらに、瞳孔の大きさなどが与えられてもよい。

【0058】

特徴推定部４０が有する分類器４０ａは、学習データを用いて分類モデルを生成することができる。分類モデルには、さらに、教師データ４１を与えることができる。例えば、教師データ４１として、感情分類、白目の振動幅の判定しきい値などを与えることができる。上述した学習データ、さらに教師データを与えることで、分類モデルは学習を行う。したがって、分類モデルを有する分類器４０ａは、眼の情報から人物の感情または体調の変化などを推定できるようになる。

【0059】

続いて、特徴抽出部３０には、新たな第１のデータおよび第２のデータが与えられる。特徴推定部４０には、新たな学習データが与えられる。特徴推定部４０は、学習済の分類モデルを有する分類器４０ａを用いて人物の感情、または体調の変化などの状態を分類し、分類結果Ｃｏｕｔを出力することができる。

【0060】

図２Ａは、眼の構成を説明する図である。眼の構成要素には、白目の領域、黒目の領域、および瞼１０４などがある。白目の領域は、黒目を中心に分割される白目の領域１０１Ａおよび白目の領域１０１Ｂを有する。黒目の領域は、瞳孔１０２および虹彩１０３を有する。続いて、眼の構成のそれぞれの寸法について定義する。例えば、眼は、眼の横方向の幅ｘ、虹彩の幅ｋ、瞳孔の幅ｍ、および眼の縦方向の幅（瞬目振幅ｙ）として定義することができる。

【0061】

続いて、図２Ｂは、学習データの生成方法を説明する図である。眼には、不定期な瞬目が発生する。一例として、図２Ｂでは、時刻ＢＴ１乃至時刻ＢＴ６を瞬目が発生した時刻として示している。眼の学習データを生成する場合、安定した眼の情報を把握することが重要である。例えば、画像２２ａ乃至画像２２ｎの中から瞬目している画像をノイズとして除去する必要がある。瞬目の画像を含む画像群を学習データとして用いる場合、分類モデルの学習にはより多くの画像を学習させなければならない。また、分類装置１０は、学習すべき画像の量が多くなることで、消費電力が大きくなり、且つ画像を処理する時間を多く必要とする。

【0062】

本発明の一態様では、瞬目をイベント発生のトリガーとして使用する。一例として、時刻ＢＴ２の瞬目について詳細に説明する。

【0063】

時刻Ｔ１は、瞬目が開始される前の状態（イベントが発生していない状態）である。

【0064】

時刻Ｔ２は、瞬目振幅ｙが判定しきい値より小さくなったことを検出した時刻である。詳細に説明すると、瞬目検出部３１が、瞬目が開始されたと判断する画像２２ｐを検出した時刻である。

【0065】

時刻Ｔ３は、瞬目振幅ｙが判定しきい値より小さく、且つ画像２２ｐで検出した瞬目振幅ｙよりも小さいことを検出した時刻である。詳細に説明すると、瞬目検出部３１が、瞬目振幅ｙが最も小さくなっていると判断する画像２２ｐ_＋１を検出した時刻である。

【0066】

時刻Ｔ４は、瞬目振幅ｙが判定しきい値より大きくなったことを検出した時刻である。詳細に説明すると、瞬目検出部３１が、瞬目が終了したと判断する画像２２ｐ_＋２を検出した時刻である。

【0067】

時刻Ｔ５は、瞬目が終了後の画像２２ｐ_＋３を検出した時刻である。なお、画像２２ｐ_＋３は、データＤａｔａ１として記憶装置３３ａに保存される。なお、時刻Ｔ４から任意の時間経過後の画像２２ｑをデータＤａｔａ１としてもよい。

【0068】

時刻Ｔ６は、画像２２ｐ_＋３を検出した時刻からさらに任意の時間経過後の画像２２ｒである。なお、画像２２ｒは、データＤａｔａ２として記憶装置３３ｂに保存される。

【0069】

上述したような時刻Ｔ１乃至時刻Ｔ６の手順によって取得された学習データは、ノイズが含まれる量を低減し、消費電力を低減し、必要とする記憶装置の量を低減した学習データを生成することができる。

【0070】

データＤａｔａ１およびデータＤａｔａ２は、それぞれを独立した学習データとして扱うことができる。または、データＤａｔａ１およびデータＤａｔａ２は、一つの学習データとして扱うことができる。または、データＤａｔａ２からデータの差分を抽出することで第３のデータを生成し、第３のデータを学習データとして用いることができる。なお、データＤａｔａ１、データＤａｔａ２、および第３のデータを他の機械学習の学習データとして用いることができる。なお、データＤａｔａ１、データＤａｔａ２、および第３のデータには、瞬目の発生頻度または瞳孔の幅を加えることができる。瞬目の発生頻度または瞳孔の幅は、人物の感情、または体調の変化を表す学習データの一つとしても使用することができる。

【0071】

図３は、学習データの生成方法を説明するフローチャートである。まず、画像２２ａ乃至画像２２ｎの画像群を用いて瞬目振幅を抽出する。次に、当該瞬目振幅を用いて瞬目の開始および終了の判定をするための判定しきい値を設定する。

【0072】

ステップＳＴ０１は、当該画像群の中の任意の数の画像から瞬目振幅ｙの抽出を行うステップである。なお、ステップＳＴ０１では、瞬目振幅ｙの最大値ｙ＿ｍａｘ、瞬目振幅ｙの最小値ｙ＿ｍｉｎについても抽出する。なお、瞬目振幅ｙの最小値ｙ＿ｍｉｎは、画像から検出された最小値を示している。なお、瞬目振幅ｙの最大値ｙ＿ｍａｘ、瞬目振幅ｙの最小値ｙ＿ｍｉｎは、常に加算平均を行うことで、対象の人物が有する眼の開き具合といった特徴を抽出することができる。

【0073】

ステップＳＴ０２は、瞬目振幅ｙの平均値を算出するステップである。一例として、ステップＳＴ０１で抽出された瞬目振幅ｙの上位３つ以上を用いて平均値ｙ＿ａｖｅを算出する。なお、平均化する数は設定できることが好ましい。

【0074】

ステップＳＴ０３は、瞬目の開始および終了の判定をするための判定しきい値を設定するステップである。一例として、瞬目の開始および終了を判定条件とした場合、平均値ｙ＿ａｖｅの５０％を判定しきい値として設定する。なお、瞬目の開始および終了の判定条件は、５０％に限定されず、それぞれ任意に設定できることが好ましい。

【0075】

ステップＳＴ０４は、データＤａｔａ１およびデータＤａｔａ２を検出および保存するステップである。なお、データＤａｔａ１およびデータＤａｔａ２の検出および保存については、図４を用いて詳細に説明する。

【0076】

ステップＳＴ０５は、学習データの生成を終了するステップである。

【0077】

図４は、学習データの生成方法を説明するフローチャートである。図４では、学習データであるデータＤａｔａ１およびデータＤａｔａ２を検出および保存する方法を詳細に説明する。なお、図４では、眼の領域が画像として保存されている画像２２ａ乃至画像２２ｎの画素群を用いる。

【0078】

ステップＳＴ１１は、画像群の中から任意の画像２２ｐを選択するステップである。

【0079】

ステップＳＴ１２は、新規画像があるかを確認するステップである。画像２２ｐ_＋１が存在するならばステップＳＴ１３に移行する。画像２２ｐ_＋１が存在しないのであればステップＳＴ１Ｂ（ｒｅｔｕｒｎ）に移行した後、ステップＳＴ０５に移行し学習データの生成を終了する。

【0080】

ステップＳＴ１３は、画像から眼の領域を抽出するステップである。

【0081】

ステップＳＴ１４は、当該眼の領域から瞬目振幅ｙを抽出するステップである。

【0082】

ステップＳＴ１５は、瞬目振幅ｙが、判定しきい値よりも小さいかを判定するステップである。瞬目振幅ｙが判定しきい値よりも小さい場合は、瞬目が開始されていると判断されるためステップＳＴ１６に移行する。瞬目振幅ｙが判定しきい値よりも大きい場合は、瞬目が開始されていないと判断されるためステップＳＴ１２に移行する。

【0083】

ステップＳＴ１６は、新規画像があるかを確認するステップである。画像２２ｐ_＋２が存在するならばステップＳＴ１７に移行する。画像２２ｐ_＋２が存在しないのであればステップ１Ｂに移行した後、ステップＳＴ０５に移行し学習データの生成を終了する。なお、ステップＳＴ１６には、ステップＳＴ１３およびステップＳＴ１４の処理が含まれるが図面のスペースの関係により記号“＊１”で表している。以降において記号“＊１”が付与されるステップは、ステップＳＴ１３およびステップＳＴ１４の処理を含む。

【0084】

ステップＳＴ１７は、瞬目振幅ｙが、判定しきい値よりも大きいかを判定するステップである。瞬目振幅ｙが判定しきい値よりも大きい場合は、瞬目が終了したと判断されるためステップＳＴ１８に移行する。瞬目振幅ｙが判定しきい値よりも小さい場合は、瞬目が終了していないと判断されるためステップＳＴ１６に移行する。

【0085】

ステップＳＴ１８は、画像２２ｐ_＋３をデータＤａｔａ１として記憶装置３３ａに保存するステップである。

【0086】

ステップＳＴ１９は、新規画像があるかを確認するステップである。画像２２ｒが存在するならばステップＳＴ１Ａに移行する。画像２２ｒが存在しないのであればステップＳＴ１Ｂに移行した後、ステップＳＴ０５に移行し学習データの生成を終了する。

【0087】

ステップＳＴ１Ａは、画像２２ｒをデータＤａｔａ２として記憶装置３３ｂに保存するステップである。次に、ステップＳＴ１２に移行する。

【0088】

上述したように、瞬目をイベントとして検出し、瞬目が終了してから任意の時間経過後の画像を学習データとして収集することができる。当該学習データは、瞬目後という条件のもと集められた学習データであるためノイズ成分を低減することができる。なお、瞬目の回数などは、ステップＳＴ１６などにカウンタなどを設けることで容易に情報を収集することができる。

【0089】

図５Ａ乃至図５Ｃは、眼の情報を説明する図である。図５Ａは、一例として、瞬目後の眼の状態を示している。よって、図５Ａは、データＤａｔａ１に相当する。瞬目後の眼は、画像の人物の感情、または体調の変化などの自分では意識していない状態を表している場合が多い。なお、図５Ａの瞬目振幅ｙ１は、平均値ｙ＿ａｖｅの－２０％より大きく且つ＋２０より小さいことが好ましい。瞬目振幅ｙ１は、平均値ｙ＿ａｖｅの－１０％より大きく且つ＋１０％より小さいことがより好ましい。瞬目振幅ｙ１は、平均値ｙ＿ａｖｅの－５％より大きく且つ＋５％より小さいことがさらに好ましい。

【0090】

なお、検出部３４および情報検出部３５は、眼の情報として、白目の領域１０１Ａの面積、白目の領域１０１Ｂの面積、白目の領域１０１Ａと白目の領域１０１Ｂの合計面積、および白目の領域１０１Ａと領域１０１Ｂの面積比などを算出することができる。なお、検出部３４および情報検出部３５は、それぞれの面積を抽出するためにＣＮＮを用いることが好ましい。

【0091】

図５Ｂは、一例として、瞬目後から任意の時間経過後の眼の状態を示している。瞬目後から任意の時間が経過した場合、眼は、人物の感情または体調の変化などの状態によって表情筋が影響を受けることがある。当該表情筋が影響を受ける場合、瞬目振幅ｙ２または瞳孔などに変化が表れる。図５Ｂは、一例として、人物が驚いたとき、または感情が昂っているときなどに現れる眼の形状の変化を示している。例えば、上の瞼１０４が、方向ＥＬ１のように上に向かって動いている。この変化は、白目の領域１０１Ａと領域１０１Ｂの合計面積の変化として検出することができる。

【0092】

異なる例として、図５Ｃは、瞬目後から任意の時間経過後の眼の状態を示している図５Ｂとは異なる眼の状態を示している。瞬目後から任意の時間経過後の眼の状態は、瞬目から瞬目までの期間に現れる人物の感情または体調の変化などの状態を表している場合が多い。図５Ｃは、一例として、人物が眠気を催している場合などに現れる眼の形状の変化を示している。当該表情筋が影響を受ける場合、瞬目振幅ｙ３または瞳孔などに変化が表れる。例えば、上の瞼１０４が、方向ＥＬ１のように下に向かってに動いている。なお、瞬目振幅ｙ３は、判定しきい値よりも大きいことが好ましい。

【0093】

この変化は、白目の領域１０１Ａおよび領域１０１Ｂの面積の変化として検出することができる。なお、図５Ｃに示すように方向ＥＬ２、または方向ＥＬ３の変化量は異なる場合がある。このような細かな変化は、人物の感情に影響を受けている場合があり、自己カウンセリングには有効である。

【0094】

よって図５Ｂおよび図５Ｃは、データＤａｔａ２に相当する場合が多い。ただし、図５Ｂまたは図５Ｃが瞬目後の眼の状態の場合もあり、瞬目後に図５Ｂまたは図５Ｃのような状態であれば、人物の感情または体調の変化などの状態が顕著に表れている可能性がある。なお、これらの分類は、学習データを用いて学習した分類モデルを用いて行われる。

【0095】

異なる例として、図５Ｃのような眼の状態の場合、人物の状態は、集中力が高くなっている場合がある。このような場合を差別化する方法としてマイクロサッカードの振動幅を利用する方法がある。

【0096】

本発明の一態様では、白目の面積比からマイクロサッカードによって発生する白目（眼球）の振動幅を検出することができる。白目の振動幅の検出方法は、図６を用いて詳細に説明する。

【0097】

白目の振動幅を検出する方法を説明するために、図６Ａは、図５Ｂを援用して説明をする。白目の振動幅を検出するためには、白目の面積を求める必要がある。しかし、図６Ａに示すように白目の領域が一つのオブジェクトとして検出される場合、白目の領域を分割するための分割ラインＳＬを設定する必要がある。

【0098】

図６Ｂは、検出部３４によって抽出された図５Ｂの白目の領域を説明する図である。なお、白目の領域１０１は、オブジェクトとして抽出される。当該オブジェクトが１つの場合、情報検出部３５は、当該白目の領域から黒目の領域に概ね等しい円の領域を抽出する。次に、当該抽出した円の中心座標Ｃ（ａ，ｂ）を検出する。次に、当該中心座標のｘ座標を用いて白目の領域１０１を、白目の領域１０１Ａおよび白目の領域１０１Ｂに分割する分割ラインＳＬを設定することができる。

【0099】

図６Ｃは、検出部３４によって抽出された図５Ｃの白目の領域を説明する図である。なお、白目の領域１０１は、白目の領域１０１Ａおよび白目の領域１０１Ｂを示す２つのオブジェクトとして抽出される。

【0100】

図６Ｂおよび図６Ｃは、分割ラインＳＬを中心に白目の領域１０１Ａおよび白目の領域１０１Ｂに分割される。例えば、黒目の振動幅を検出する場合、黒目の中心の変動を検出することが好ましい。ただし、黒目の振動幅の検出精度は、画像の画素数の分解能に依存する。しかし、白目の振動幅は、対象とする変動量が面積で比較され、さらに、白目の領域１０１Ａが大きくなれば白目の領域１０１Ｂは必ず小さくなる反比例の関係を有する。よって検出精度は、白目の振動幅の検出の方が黒目の振動幅の検出よりも高くなる。

【0101】

図７は、白目の領域を検出する方法を説明するフローチャートである。

【0102】

ステップＳＴ２０は、ＣＮＮを用いて眼の領域の画像から白目の領域を抽出するステップである。

【0103】

ステップＳＴ２１は、白目の領域が一つのオブジェクトであるかを判定するステップである。白目の領域が一つのオブジェクトで検出された場合、ステップＳＴ２２に移行する。白目の領域が複数のオブジェクトで検出された場合は、ステップＳＴ２５に移行する。

【0104】

ステップＳＴ２２は、一つのオブジェクトで検出された白目の領域から、円（黒目（虹彩・瞳孔））の領域を検出するステップである。

【0105】

ステップＳＴ２３は、当該円の領域の中心座標Ｃ（ａ，ｂ）を検出するステップである。

【0106】

ステップＳＴ２４は、白目の領域を、中心座標Ｃ（ａ，ｂ）のｘ座標を中心に分割するステップである。白目の領域１０１は、白目の領域１０１Ａおよび白目の領域１０１Ｂに分割される。

【0107】

ステップＳＴ２５は、検出された白目の領域１０１Ａおよび白目の領域１０１Ｂのそれぞれの面積を算出するステップである。

【0108】

図８Ａ乃至図８Ｃは、学習データの生成方法を説明する図である。図８Ａ乃至図８Ｃにおいて、時刻Ｔ１１、時刻Ｔ２１、および時刻Ｔ３１は、瞬目が開始される前の時刻である。時刻Ｔ１２、時刻Ｔ２２、および時刻Ｔ３２は、特徴抽出部３０が瞬目の開始を検出する時刻である。時刻Ｔ１３、時刻Ｔ２３、および時刻Ｔ３３は、瞬目検出部３１が、瞬目振幅ｙが最も小さくなっていると判断する画像を検出した時刻である。時刻Ｔ１４、時刻Ｔ２４、および時刻Ｔ３４は、特徴抽出部３０が瞬目の終了を検出する時刻である。時刻Ｔ１５、時刻Ｔ２５、および時刻Ｔ３５は、瞬目が終了後の任意の時間経過後の時刻である。時刻Ｔ１６、時刻Ｔ２６、および時刻Ｔ３６は、瞬目の終了後からさらに任意の時間経過後の時刻である。時刻Ｔ１７、時刻Ｔ２７、および時刻Ｔ３７はそれぞれ、時刻Ｔ１６、時刻Ｔ２６、および時刻Ｔ３６とは異なる、瞬目の終了後からさらに任意の時間経過後の時刻である。

【0109】

図８Ａ乃至図８Ｃでは、特徴抽出部３０が瞬目の終了を検出する時刻Ｔ１４、時刻Ｔ２４、または時刻Ｔ３４の後の異なる時刻の画像をそれぞれ、データＤａｔａ１、データＤａｔａ２、およびデータＤａｔａ３として保存する。

【0110】

図８Ａは、白目が横方向に振動する例である。白目の振動がｘ軸方向の場合は、白目の振動幅を容易に検出することができる。

【0111】

図８Ｂは、白目が斜め方向に振動する例である。白目の振動が斜め方向の場合は、斜め方向の振動をｘ軸方向の変動に置き換えて白目の振動幅として検出することができる。なお、斜め方向の振動を判断する場合、白目の領域をさらに中心座標Ｃ（ａ，ｂ）のｙ座標を中心に分割し、白目の領域１０１Ａ乃至白目の領域１０１Ｄの４つの領域の面積を比較することができる。斜め方向の移動量などを検出する処理を削減することができるので消費電力を低減することができる。

【0112】

図８Ｃは、瞼が上下に変動する場合である。白目の面積比では検出が難しいので瞬目振幅ｙを検出することが好ましい。なお、図８Ｃにおいて、ｘ軸方向または斜め方向に白目が変動する場合は、容易に白目の変動幅を検出することができる。なお、白目の振動幅を組み合わせることで人物の状態をより正確に分類することができる。

【0113】

図９は、眼の情報から人物の状態を分類する方法を備える分類装置１００を説明するブロック図である。

【0114】

分類装置１００は、演算部８１、メモリ８２、入出力インターフェース８３、通信デバイス８４、およびストレージ８５を有している。つまり、分類装置１００による眼の情報から人物の状態を分類する方法は、撮像装置２０、特徴抽出部３０、および特徴推定部４０を含むプログラムによって提供される。なお当該プログラムは、ストレージ８５又は、メモリ８２に保存され、演算部８１を用いてパラメータの探索を行う。

【0115】

入出力インターフェース８３には、表示装置８６ａ、キーボード８６ｂ、カメラ８６ｃ等が電気的に接続される。なお、図９では図示していないが、マウスなどが接続されてもよい。

【0116】

通信デバイス８４は、ネットワークインターフェース８７を介して他のネットワークと電気的に接続される。なお、ネットワークインターフェース８７は、有線、又は無線による通信を含む。当該ネットワークには、監視カメラ８８、Ｗｅｂカメラ８９、データベース８Ａ、リモートコンピュータ８Ｂ、又はリモートコンピュータ８Ｃなどが電気的に接続される。なお、ネットワークを介して電気的に接続される監視カメラ８８、Ｗｅｂカメラ８９、データベース８Ａ、リモートコンピュータ８Ｂ、又はリモートコンピュータ８Ｃは、異なる建物、異なる地域、異なる国に設置されていてもよい。

【0117】

以上、本発明の一態様で示す構成、方法は、その一部を適宜組み合わせて用いることができる。

【符号の説明】

【0118】

：Ｄａｔａ１：データ、Ｄａｔａ２：データ、Ｄａｔａ３：データ、Ｔ１：時刻、Ｔ２：時刻、Ｔ３：時刻、Ｔ４：時刻、Ｔ５：時刻、Ｔ６：時刻、Ｔ１１：時刻、Ｔ１２：時刻、Ｔ１３：時刻、Ｔ１４：時刻、Ｔ１５：時刻、Ｔ１６：時刻、Ｔ１７：時刻、Ｔ２１：時刻、Ｔ２２：時刻、Ｔ２３：時刻、Ｔ２４：時刻、Ｔ２５：時刻、Ｔ２６：時刻、Ｔ２７：時刻、Ｔ３１：時刻、Ｔ３２：時刻、Ｔ３３：時刻、Ｔ３４：時刻、Ｔ３５：時刻、Ｔ３６：時刻、Ｔ３７：時刻、ｙ１：瞬目振幅、ｙ２：瞬目振幅、ｙ３：瞬目振幅、８Ａ：データベース、８Ｂ：リモートコンピュータ、８Ｃ：リモートコンピュータ、１０：分類装置、２０：撮像装置、２１ａ：画像、２１ｎ：画像、２２：画像、２２ａ：画像、２２ｎ：画像、２２ｐ：画像、２２ｑ：画像、２２ｒ：画像、３０：特徴抽出部、３１：瞬目検出部、３２：メモリ管理部、３３：記憶部、３３ａ：記憶装置、３３ｂ：記憶装置、３４：検出部、３５：情報検出部、４０：特徴推定部、４０ａ：分類器、４１：教師データ、８１：演算部、８２：メモリ、８３：入出力インターフェース、８４：通信デバイス、８５：ストレージ、８６ａ：表示装置、８６ｂ：キーボード、８６ｃ：カメラ、８７：ネットワークインターフェース、８８：監視カメラ、８９：Ｗｅｂカメラ、１００：分類装置、１０１：白目の領域、１０１Ａ：白目の領域、１０１Ｂ：白目の領域、１０２：瞳孔、１０２ａ：黒目の領域、１０３：虹彩、１０４：瞼

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-07-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮像装置と、特徴抽出部と、分類器と、を有する分類装置であって、
前記撮像装置は、連続撮影することで画像群を生成する機能を有し、
前記画像群には、眼の領域の画像が含まれており、
前記眼の領域には、白目の領域が含まれており、
前記特徴抽出部は、前記画像群から前記眼の領域を抽出する機能と、前記画像群から瞬目振幅を抽出する機能と、瞬目が開始された瞬間の画像を前記画像群から検出する機能と、前記瞬目が終了した瞬間の第１の画像を前記画像群から検出し、前記第１の画像を第１のデータとして記憶する機能と、前記第１の画像から任意の時間が経過した瞬間の第２の画像を検出し、前記第２の画像を第２のデータとして記憶する機能と、前記第１のデータ及び前記第２のデータから前記白目の領域の面積情報を抽出する機能と、前記白目の領域の面積情報を学習データとして前記分類器に与える機能と、を有し、
前記分類器は、前記学習データを用いて分類モデルを生成する機能を有する、
分類装置。

【請求項2】

請求項１において、
前記特徴抽出部は、抽出された前記白目の領域の面積情報において、前記白目の領域が独立した第１の領域及び第２の領域であった場合に、前記第１の領域と前記第２の領域との面積比を算力する機能を有し、
前記特徴抽出部は、抽出された前記白目の領域の面積情報において、前記白目の領域が１つの第３の領域であった場合に、黒目の領域に該当する円の領域を前記第３の領域から検出する機能と、前記円の領域から前記円の中心を求める機能と、前記円の中心のｘ座標を用いて前記第３の領域を前記第１の領域と前記第２の領域に分割する機能と、前記第１の領域と前記第２の領域との前記面積比を算力する機能と、を有し、
前記特徴抽出部は、算出された前記面積比から前記白目の振動幅を算出する機能を有し、
前記分類器は、前記白目の振動幅を前記学習データとして用いる、
分類装置。

【請求項3】

請求項２において、
前記特徴抽出部は、前記白目の振動幅と、前記瞬目振幅とを、前記学習データとして前記分類器に与える機能を有し、
前記分類器は、前記白目の振動幅と、前記瞬目振幅とを用いて前記分類モデルを生成する機能を有する、
分類装置。

【請求項4】

請求項１乃至請求項３のいずれか一において、
前記分類器は、前記分類モデルを用いて人物の感情、体調の変化などの状態を分類する機能を有する、
分類装置。

【請求項5】

請求項１乃至請求項４のいずれか一において、
前記分類器は、教師用ラベルが付与された前記学習データを用いて学習する機能を有する、
分類装置。