IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特許7503762集中度計測装置、集中度計測方法、及び、プログラム
<>
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図1
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図2A
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図2B
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図2C
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図3
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図4
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図5
  • 特許-集中度計測装置、集中度計測方法、及び、プログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-13
(45)【発行日】2024-06-21
(54)【発明の名称】集中度計測装置、集中度計測方法、及び、プログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20240614BHJP
【FI】
A61B5/16 100
A61B5/16 130
【請求項の数】 11
(21)【出願番号】P 2021511444
(86)(22)【出願日】2020-03-19
(86)【国際出願番号】 JP2020012292
(87)【国際公開番号】W WO2020203350
(87)【国際公開日】2020-10-08
【審査請求日】2022-10-17
(31)【優先権主張番号】P 2019065297
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】鈴木 海友
(72)【発明者】
【氏名】吉岡 元貴
(72)【発明者】
【氏名】ブンヨン スクサコン
(72)【発明者】
【氏名】今村 邦博
【審査官】牧尾 尚能
(56)【参考文献】
【文献】国際公開第2010/032491(WO,A1)
【文献】特開2018-005343(JP,A)
【文献】特開2014-100227(JP,A)
【文献】特開2017-041673(JP,A)
【文献】国際公開第2018/074224(WO,A1)
【文献】特開2018-194292(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06- 5/22
A61M 21/00-21/02
(57)【特許請求の範囲】
【請求項1】
人の集中度を取得する集中度取得部と、
前記人の眠気度を取得する眠気度取得部と、
前記眠気度に基づいて、前記人の集中度を補正する補正部と、
前記補正部によって補正された前記人の集中度を示す補正後集中度を出力する出力部と、
前記人の眠気度及び前記人の補正後集中度に基づいて、前記人の補正後集中度の要因を判定する判定部と、
前記判定部の判定結果に基づいて、前記人の覚醒又は集中を促す電子機器を制御する制御部と、を備え
前記制御部は、
前記人の覚醒を促す場合、
前記人がいる環境の温度を下げる制御、
前記環境の音量を上げる制御、
前記人が利用している表示装置の画面の背景色を暖色系にする制御、
前記表示装置に表示されるタスクの難易度を下げる制御、
の少なくともいずれかの制御を実行させるように前記電子機器を制御し、
前記人の集中を促す場合、
前記環境の温度を上げる制御、
前記環境の音量を下げる制御、
前記表示装置の画面の背景色を寒色系にする制御、
前記タスクの難易度を上げる制御、
の少なくともいずれかを実行させるように前記電子機器を制御する
集中度計測装置。
【請求項2】
前記補正部は、前記人の眠気度が高い程、前記人の集中度が低くなるように補正する
請求項1に記載の集中度計測装置。
【請求項3】
前記補正部は、前記人の眠気度に基づいて、前記人の補正後集中度が前記人の集中度よりも低い集中度を示すように補正する
請求項1又は2に記載の集中度計測装置。
【請求項4】
前記判定部は、前記人の補正後集中度が第1閾値よりも低い集中度を示すか否かを判定し、前記第1閾値よりも低い集中度を示すと判定した場合、前記人の眠気度及び前記人の補正後集中度に基づいて、前記人の補正後集中度が前記第1閾値よりも低い集中度になった要因を判定する
請求項1~3のいずれか1項に記載の集中度計測装置。
【請求項5】
前記制御部は、
前記要因に占める眠気の要因の割合が第2閾値より高いと前記判定部が判定した場合、前記電子機器を制御することで前記人の覚醒を促し、
前記割合が前記第2閾値より高いと前記判定部が判定しない場合、前記電子機器を制御することで前記人の集中を促し、
前記割合は、前記割合をR、前記人の集中度をA、前記人の眠気度をB、前記人の補正後集中度をA’とした場合に、R=B/A’、または、R=B/(A-A’)で算出される
請求項1~4のいずれか1項に記載の集中度計測装置。
【請求項6】
前記補正部は、前記人の環境状態を示す環境情報に基づいて、前記人の集中度の補正のやり方を変更する
請求項1~のいずれか1項に記載の集中度計測装置。
【請求項7】
前記集中度取得部は、撮像部から得られた画像に含まれる前記人の視線及び顔向きの少なくとも一方に基づいて前記人の集中度を算出することで当該集中度を取得し、
前記眠気度取得部は、前記画像に含まれる前記人の瞬きに基づいて前記人の眠気度を算出することで当該眠気度を取得する
請求項1~のいずれか1項に記載の集中度計測装置。
【請求項8】
前記集中度取得部は、前記撮像部から得られた前記人及び所定の対象物を含む複数の画像から、前記所定の対象物に対する前記人の視線及び顔向きの少なくとも一方の時間に対する変化量を算出することで前記集中度を取得する
請求項に記載の集中度計測装置。
【請求項9】
前記補正部は、前記所定の対象物の位置に基づいて、前記集中度の補正に用いる前記眠気度に基づく補正値を変更する
請求項に記載の集中度計測装置。
【請求項10】
人の集中度を取得する集中度取得ステップと、
前記人の眠気度を取得する眠気度取得ステップと、
前記眠気度に基づいて、前記集中度を補正する補正ステップと、
前記補正ステップによって補正された前記集中度を示す補正後集中度を出力する出力ステップと、
前記人の眠気度及び前記人の補正後集中度に基づいて、前記人の補正後集中度の要因を判定する判定ステップと、
前記判定ステップでの判定結果に基づいて、前記人の覚醒又は集中を促す電子機器を制御する制御ステップと、を含み、
前記制御ステップでは、
前記人の覚醒を促す場合、
前記人がいる環境の温度を下げる制御、
前記環境の音量を上げる制御、
前記人が利用している表示装置の画面の背景色を暖色系にする制御、
前記表示装置に表示されるタスクの難易度を下げる制御、
の少なくともいずれかの制御を実行させるように前記電子機器を制御し、
前記人の集中を促す場合、
前記環境の温度を上げる制御、
前記環境の音量を下げる制御、
前記表示装置の画面の背景色を寒色系にする制御、
前記タスクの難易度を上げる制御、
の少なくともいずれかを実行させるように前記電子機器を制御する
集中度計測方法。
【請求項11】
請求項10に記載の集中度計測方法をコンピュータに実行させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、集中度計測装置、集中度計測方法、及び、プログラムに関する。
【背景技術】
【0002】
従来、人の集中度を算出する情報処理装置が知られている。例えば、特許文献1に記載された情報処理装置では、人の顔の向きの変化に基づいて当該人の集中度を算出する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-120137号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の情報処理装置では、1つの対象物を集中して見ている程、算出される集中度が高い値になる。しかしながら、1つの対象物を見ている人の集中度が必ず高いという訳でもない。例えば、学習又は執務作業等の知的作業を行っている人の眠気度が高い状態である場合、集中している状況とは言えないにも関わらず、顔の向きの変化等が少なくなるため、上記従来の情報処理装置では高い集中度が算出される。このように、上記従来の情報処理装置では、算出される集中度の精度が低いという問題がある。
【0005】
そこで、本開示は、集中度を高精度で計測することができる集中度計測装置等を提供する。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本開示の一態様に係る集中度計測装置は、人の集中度を取得する集中度取得部と、前記人の眠気度を取得する眠気度取得部と、前記眠気度に基づいて、前記人の集中度を補正する補正部と、前記補正部によって補正された前記人の集中度を示す補正後集中度を出力する出力部と、前記人の眠気度及び前記人の補正後集中度に基づいて、前記人の補正後集中度の要因を判定する判定部と、前記判定部の判定結果に基づいて、前記人の覚醒又は集中を促す電子機器を制御する制御部と、を備える。
【0007】
また、本開示の一態様に係る集中度計測方法は、人の集中度を取得する集中度取得ステップと、前記人の眠気度を取得する眠気度取得ステップと、前記眠気度に基づいて、前記集中度を補正する補正ステップと、前記補正ステップによって補正された前記集中度を示す補正後集中度を出力する出力ステップと、前記人の眠気度及び前記人の補正後集中度に基づいて、前記人の補正後集中度の要因を判定する判定ステップと、前記判定部の判定結果に基づいて、前記人の覚醒又は集中を促す電子機器を制御する制御ステップと、を含む。
【0008】
また、本開示の一態様は、上記集中度計測方法をコンピュータに実行させるためのプログラムとして実現することができる。或いは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。
【発明の効果】
【0009】
本開示の一態様に係る集中度計測装置等によれば、集中度を高精度で計測することができる。
【図面の簡単な説明】
【0010】
図1図1は、実施の形態1に係る集中度の計測対象であるユーザの状況を示す模式図である。
図2A図2Aは、ユーザの視線を模式的に示す図である。
図2B図2Bは、ユーザの視線を模式的に示す図である。
図2C図2Cは、ユーザの視線を模式的に示す図である。
図3図3は、実施の形態1に係る集中度計測装置の構成を示すブロック図である。
図4図4は、実施の形態1に係る集中度計測装置が実行する処理を示すフローチャートである。
図5図5は、実施の形態2に係る集中度計測装置の構成を示すブロック図である。
図6図6は、実施の形態2に係る集中度計測装置が実行する処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
(本開示の概要)
上記課題を解決するために、本開示の一態様に係る集中度計測装置は、人の集中度を取得する集中度取得部と、前記人の眠気度を取得する眠気度取得部と、前記眠気度に基づいて、前記人の集中度を補正する補正部と、前記補正部によって補正された前記人の集中度を示す補正後集中度を出力する出力部と、を備える。
【0012】
このような構成によれば、集中度計測装置は、人の眠気度に基づいて、当該人の集中度を補正できる。そのため、人の眠気度が高く且つ当該人の集中度が低い状態であるにも関わらず、当該人の集中度を高く算出してしまうことが抑制される。このように、本開示に係る集中度計測装置によれば、集中度を高精度で計測することができる。
【0013】
また、例えば、前記補正部は、前記人の眠気度が高い程、前記人の集中度が低くなるように補正する。
【0014】
人の眠気度が高い状態であるということは、当該人の集中度が低い状態であると考えられる。そのため、人の眠気度が高い程、当該人の集中度が低く補正されることで、当該人の集中度は、高精度で計測される。
【0015】
また、例えば、前記補正部は、前記人の眠気度に基づいて、前記人の補正後集中度が前記人の集中度よりも低い集中度を示すように補正する。
【0016】
人の眠気度が上がる程、当該人の集中度は下がると考えられる。そのため、人の眠気度に基づいて、当該人の集中度を下げるように補正することで、当該人の集中度は、簡便に且つ高精度で計測される。
【0017】
また、例えば、前記集中度計測装置は、さらに、前記人の眠気度及び前記人の補正後集中度に基づいて、前記人の覚醒又は集中を促す電子機器を制御する制御部を備える。
【0018】
このような構成によれば、制御部は、人の集中度と当該人の眠気度とが高精度で計測されるため、適切なタイミングで人の覚醒を促したり、人の集中を促したりすることができる。
【0019】
また、例えば、前記集中度計測装置は、さらに、前記人の補正後集中度が第1閾値よりも低い集中度を示すか否かを判定し、前記第1閾値よりも低い集中度を示すと判定した場合、前記人の眠気度及び前記人の補正後集中度に基づいて、前記人の補正後集中度が前記第1閾値よりも低い集中度になった要因を判定する判定部を備え、前記制御部は、前記判定部の判定結果に基づいて前記電子機器を制御する。
【0020】
このような構成によれば、人の集中度を下げる要因に当該人の眠気度がどれほど関与しているかが算出される。そのため、制御部は、さらに適切なタイミングで人の覚醒を促したり、人の集中を促したりすることができる。
【0021】
また、例えば、前記制御部は、前記要因に占める眠気の要因の割合が第2閾値より高いと前記判定部が判定した場合、前記電子機器を制御することで前記人の覚醒を促し、前記割合が前記第2閾値より高いと前記判定部が判定しない場合、前記電子機器を制御することで前記人の集中を促す。
【0022】
このような構成によれば、判定部によって人の覚醒を促すべきか集中を促すべきかが適切に判定されるため、制御部は、さらに適切に人の覚醒を促したり、人の集中を促したりすることができる。
【0023】
また、例えば、前記制御部は、前記人の覚醒を促す場合と前記人の集中を促す場合とで、前記電子機器に対して逆の制御をする。
【0024】
例えば、環境温度を上げることで人の集中は促される。一方で、環境温度を下げることで人の覚醒は促される。また、例えば、環境ノイズを上げることで人の覚醒は促される。一方で、環境ノイズを下げることで、人の集中は促される。このように、空調機器、音響機器等の1つの電子機器で、制御態様を変更することにより、人の覚醒を促すことと、人の集中を促すこととができる。そのため、制御部が人の覚醒を促す場合と人の集中を促す場合とで電子機器に対して逆の制御をすることで、簡便な構成で、人の覚醒を促したり人の集中を促したりすることができる。
【0025】
また、例えば、前記補正部は、前記人の環境状態を示す環境情報に基づいて、前記人の集中度の補正のやり方を変更する。
【0026】
例えば、環境温度が比較的高い場合、人の集中度及び眠気度は高くなりやすいといった、人の環境条件によって当該人の集中度及び眠気度の変化には傾向がある。そのため、人の環境状態に基づいて当該人の集中度を補正することで、本開示に係る集中度計測装置は、さらに高精度に集中度を計測できるようになる。
【0027】
また、例えば、前記集中度取得部は、撮像部から得られた画像に含まれる前記人の視線及び顔向きの少なくとも一方に基づいて前記人の集中度を算出することで当該集中度を取得し、前記眠気度取得部は、前記画像に含まれる前記人の瞬きに基づいて前記人の眠気度を算出することで当該眠気度を取得する。
【0028】
このような構成によれば、同じ画像から人の眠気度と集中度とが取得され得る。そのため、簡便な構成で人の集中度と人の眠気度とは、算出される。
【0029】
また、例えば、前記集中度取得部は、前記撮像部から得られた前記人及び所定の対象物を含む複数の画像から、前記所定の対象物に対する前記人の視線及び顔向きの少なくとも一方の時間に対する変化量を算出することで前記集中度を取得する。
【0030】
例えば、表示装置に表示された学習等のタスクを人が見ながら当該タスクを実行している場合、所定の対象物となる表示装置を人が見ている時間が長い程、当該人の集中度は高いと判定される。そのため、このような構成によれば、さらに、高精度に人の集中度は、計測される。
【0031】
また、例えば、前記補正部は、前記所定の対象物の位置に基づいて、前記集中度の補正に用いる前記眠気度に基づく補正値を変更する。
【0032】
例えば、人の眠気度は、当該人の瞬きの1回にかかる時間に基づいて算出される。そのため、例えば、表示装置に表示された学習等のタスクを人が見ながら当該タスクを実行している場合、所定の対象物となる表示装置と撮像部と人との位置関係によっては、撮像部によって撮像される瞼の開閉度が変化する。そのため、このような構成によれば、所定の対象物と撮像部と人との位置関係による集中度の計測精度の低下は、抑制される。
【0033】
また、本開示の一態様に係る集中度計測方法は、人の集中度を取得する集中度取得ステップと、前記人の眠気度を取得する眠気度取得ステップと、前記眠気度に基づいて、前記集中度を補正する補正ステップと、前記補正ステップによって補正された前記集中度を示す補正後集中度を出力する出力ステップと、を含む。
【0034】
このような方法によれば、人の眠気度に基づいて、当該人の集中度を補正できる。そのため、人の眠気度が高く且つ当該人の集中度が低い状態であるにも関わらず、当該人の集中度を高く算出してしまうことが抑制される。このように、本開示に係る集中度計測方法によれば、集中度を高精度で計測することができる。
【0035】
また、本開示の一態様は、上記集中度計測方法をコンピュータに実行させるためのプログラムとして実現することができる。或いは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。
【0036】
以下では、実施の形態について、図面を参照しながら具体的に説明する。
【0037】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0038】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
【0039】
また、以下の説明において、「閾値以上」、「閾値以下」等と記載をする場合があるが、厳密な意味で記載するものではない。例えば、「閾値以上」と記載する場合においては、基準値よりも大きいことを意味してもよい。また、「閾値以上」、「閾値未満」と対比して記載する場合に、当該基準値を境に区別されることを意味し、それぞれ、「閾値より大きい」、「閾値以下」であることを意味してもよい。
【0040】
(実施の形態1)
[概要]
まず、実施の形態1に係る集中度計測装置の構成について、図1図3を用いて説明する。
【0041】
図1は、実施の形態1に係る集中度の計測対象であるユーザ10の状況を示す模式図である。
【0042】
実施の形態1に係る集中度計測装置100は、ユーザ10の集中度を計測する。集中度は、ユーザ10が作業に集中している程度を示す指標である。集中度は、例えば、0~1、0~10又は0~100等の所定の範囲の数値で表される。例えば、集中度が高い(例えば、集中度として表される数値が大きい)程、ユーザ10が作業に集中していることを表し、集中度が低い(例えば、集中度として表される数値が小さい)程、ユーザ10が作業に集中していないことを表している。
【0043】
なお、集中度の数値範囲は、特に限定されない。
【0044】
作業(タスク)は、例えば、勉強、学習、読書又は執務等の頭を使う知的作業であるが、これに限らない。作業は、車の運転、機械の操作、物品の制作等の手足を使う作業であってもよい。或いは、作業は、映画、音楽、美術品若しくはスポーツ等の鑑賞、ゲーム、又は、スポーツ等の娯楽に関する作業であってもよい。
【0045】
図1に示す例では、ユーザ10は、表示装置300に表示された学習コンテンツであるタスク21を用いて学習を行っている。タスク21は、例えば、表示装置300が有するディスプレイに表示される教材コンテンツである。また、ユーザ10は、例えば、教科書、参考書又はノート等の学習に用いる書籍310に記載されているタスク22をさらに用いて学習を行っている。ユーザ10が学習に集中している状態(すなわち、集中度が高い状態)である場合、ユーザ10の視線及び顔向きは、タスク21又はタスク22が表示又は記載されている所定の対象物(本実施の形態では、表示装置300又は書籍310)に向かう。
【0046】
図2A図2Cは、ユーザ10の視線を模式的に示す図である。具体的には、図2Aは、ユーザ10の集中度が高い状態を模式的に示す図である。また、図2Bは、ユーザ10の集中度が低い状態であり、且つ、眠気度が低い状態を模式的に示す図である。また、図2Cは、ユーザ10の集中度が低い状態であり、且つ、眠気度が高い状態を模式的に示す図である。
【0047】
図2Aに矢印13で示すように、ユーザ10の集中度が高い状態においては、ユーザ10の視線は、タスクが表示されている集中対象物320に向かい、且つ、ユーザ10の視線の所定の時間内での揺れ量(言い換えると、視線の動き量)は、小さい。
【0048】
一方、図2Bに矢印14で示すように、ユーザ10の集中度が低い状態においては、ユーザ10の視線は、集中対象物320以外に向かう。また、ユーザ10の集中度が低い状態においては、ユーザ10の視線の揺れ量は、ユーザ10の集中度が低い状態と比較して大きい。
【0049】
このように、ユーザ10の視線が集中対象物320に向いている時間の長さ、及び/又は、ユーザ10の視線14の揺れ量に基づいて、ユーザ10の集中度は、判定され得る。
【0050】
ここで、図2Cに示すように、ユーザ10が眠い状態(すなわち、眠気度が高い状態)であるとする。このとき、ユーザ10の視線は、矢印15で示すように、集中対象物320に向かっている状態のままで、且つ、視線の揺れ量が小さいことがある。
【0051】
この場合、ユーザ10が眠いために、タスクに集中していない状態であるにも関わらず、従来の情報処理装置によれば、ユーザ10の集中度として高い値が算出される。つまり、従来の情報処理装置によれば、学習に集中できていないにも関わらず、集中度が高いと判定される。
【0052】
これに対して、本実施の形態に係る集中度計測装置100は、例えば、従来の情報処理装置によって算出された集中度(仮集中度)を、ユーザ10の眠気度を用いて補正することにより、学習に集中できていないことを集中度に反映させることができる。具体的には、集中度計測装置100は、ユーザ10の眠気度が高い場合には、集中度を小さい値に補正する。これにより、集中度計測装置100によれば、集中度を高精度で計測することができる。
【0053】
[構成]
続いて、集中度計測装置100の具体的な構成について、図1及び図3を用いて説明する。
【0054】
図3は、実施の形態1に係る集中度計測装置100の特徴的な機能構成を示すブロック図である。なお、図3には、集中度計測装置100の周辺構成も含めて集中度計測システム200の特徴的な機能構成を示している。
【0055】
集中度計測システム200は、撮像部210によって撮像された画像を用いて集中度計測装置100によって人(例えば、ユーザ10)の集中度を計測して当該人に報知するシステムである。集中度計測システム200は、撮像部210と、集中度計測装置100と、報知部220と、を備える。
【0056】
集中度計測装置100は、ユーザ10の集中度を計測する装置である。集中度計測装置100は、集中度取得部110と、眠気度取得部120と、補正部130と、出力部140と、記憶部160と、を備える。
【0057】
また、集中度取得部110は、ユーザ10の集中度(仮集中度)を取得する。集中度取得部110は、例えば、撮像部210から得られた画像(撮影画像)を用いて演算を行うことで、ユーザ10の仮集中度を取得する。集中度取得部110は、従来知られた集中度の演算方法を用いて仮集中度を算出すればよい。例えば、集中度取得部110は、所定の時間内におけるユーザ10の動き量に基づいて仮集中度を算出する。より具体的には、集中度取得部110は、所定の時間内におけるユーザ10の動きが少ない程、ユーザ10が集中しているとみなして、高い値の仮集中度を算出する。集中度取得部110は、所定の時間内におけるユーザ10の動きが激しい程、ユーザ10が集中していないとみなして、低い値の仮集中度を算出する。
【0058】
本実施の形態では、集中度取得部110は、撮像部210から得られた画像に含まれるユーザ10の視線及び顔向きの少なくとも一方に基づいてユーザ10の集中度を算出することで当該集中度を取得する。より具体的には、集中度取得部110は、撮像部210から得られたユーザ10及び所定の対象物(例えば、タスク21が表示されている表示装置300、タスク22が記載されている書籍310)を含む複数の画像から、所定の対象物に対するユーザ10の視線及び顔向きの少なくとも一方の時間に対する変化量(つまり、所定の時間内の視線及び顔向きの動き量)を算出することで集中度を取得する。
【0059】
このように、集中度取得部110は、撮像部210か得られた画像に基づいて、ユーザ10の視線及び顔向きの少なくとも一方を測定(算出)する。具体的には、集中度取得部110は、画像に対して輪郭抽出等の画像処理を行うことで、視線及び顔向きの少なくとも一方を測定する。
【0060】
視線は、ユーザ10が見ている方向である。具体的に例えば、視線は、図1に示される矢印11、12で表される。例えば、集中度取得部110は、画像に対して虹彩領域の抽出処理を行い、抽出された虹彩の形状及び中心位置に基づいて視線を測定する。
【0061】
顔向きは、ユーザ10の顔の向きである。具体的には、顔向きは、ユーザ10の顔の正面方向で表される。例えば、集中度取得部110は、画像に対して顔検出処理を行い、目及び口等の特徴点を抽出することで、顔向きを測定する。
【0062】
なお、集中度取得部110による視線及び顔向きの測定方法については、いかなる手法を用いてもよい。例えば、集中度取得部110は、ユーザ10の眼電位を検出するセンサを含んでもよく、検出された眼電位に基づいて視線及び顔向きの少なくとも一方を検出してもよい。
【0063】
眠気度取得部120は、ユーザ10の眠気度合いを示す眠気度を検出する。例えば、眠気度取得部120は、眠気度取得部120と接続された撮像部210が撮像したユーザ10を含む動画像から、ユーザ10の眠気度を取得する。本実施の形態では、眠気度取得部120は、撮像部210から得られた画像に含まれるユーザ10の瞬きに基づいてユーザ10の眠気度を算出することで当該眠気度を取得する。
【0064】
ここで、眠気度取得部120が眠気度の算出に用いる瞬きは、例えば、瞬き1回にかかる時間、所定の時間内の瞬きの回数、瞬きの開き度合い(目の開き度合い)等である。
【0065】
例えば、ユーザ10の瞬きの周期が安定している場合は眠気度が低く、つまり、ユーザ10は眠くない状態であるとして、例えば1と判定される。また、例えば、ユーザ10の瞬きが遅い、或いは、瞬きの周期が短く頻繁に行われている場合は、眠気度が高く、つまり、ユーザ10が眠い状態であるとして、例えば10と判定される。つまり、ユーザ10は、ユーザ10の瞬きの周期が安定している場合は眠くないと判定され、ユーザ10の瞬きが遅く且つ頻繁に行われている場合は眠いと判定される。あるいは、眠気度取得部120は、ユーザ10の瞬きの時間が長い場合、つまりユーザ10がうとうとしているような場合は眠気度が高いと判定し、瞬きの時間が短い場合、眠気度が低いと判定してもよい。また、眠気度取得部120は、瞬きの開き度合い(目の開き度合い)が小さくなる場合に眠気度が高いと判定してもよい。さらに、眠気度取得部120は、瞬きにかかる時間、瞬きの頻度、目の開き度合い等、瞬きに関する指標を組み合わせてユーザ10の眠気度を判定してもよい。
【0066】
このように、眠気度取得部120は、撮像部210から得られたユーザ10が含まれる動画像を解析することにより、ユーザ10の眠気度を検出する。眠気度取得部120がユーザ10の眠気度の判定に用いる瞬きの周期の基準値等は、予め任意に定められてよい。
【0067】
なお、眠気度は、ユーザ10の眠気度合いの程度を示す指標である。眠気度は、例えば、0~1、0~10又は0~100等の所定の範囲の数値で表される。例えば、眠気度が高い程、ユーザ10が非常に眠い状態であることを表し、眠気度が低い程、ユーザ10が眠くない状態であること、つまり、覚醒している状態であることを表している。
【0068】
なお、眠気度の数値範囲は、特に限定されない。
【0069】
補正部130は、集中度取得部110により取得された集中度と、眠気度取得部120により取得された眠気度とに基づいて、ユーザ10の集中度を補正し、補正後の集中度を示す補正後集中度を算出する。本実施の形態では、補正部130は、眠気度に基づいて集中度を予め定められた値に補正する。予め定められた値は、例えば、眠気度の値である。
【0070】
例えば、補正部130は、ユーザ10の眠気度が高い程、ユーザ10の集中度が低くなるように補正する。例えば、補正部130は、眠気度が大きい値である程、すなわち、ユーザ10が眠い状態である程に、集中度を小さい値に補正する。
【0071】
また、補正部130は、例えば、ユーザ10の眠気度に基づいて、ユーザ10の補正後集中度がユーザ10の集中度よりも低い集中度を示すように補正する。言い換えると、補正部130は、眠気度取得部120が取得した眠気度に基づいて算出する補正後集中度を、集中度取得部110が取得した集中度より小さい値に補正する。
【0072】
また、例えば、補正部130は、タスク21、22等の所定の対象物の位置に基づいて、集中度の補正のやり方を変更してもよい。例えば、眠気度は、ユーザ10の瞬きの様子から算出される。そのため、例えば、ユーザ10の位置と、撮像部210の位置と、タスク21、22の位置との位置関係によっては、撮像部210で撮像される瞼の動き方が異なってしまう。そのため、補正部130は、ユーザ10の位置、撮像部210の位置、及び、タスク21、22の位置等の所定の対象物の位置で、補正のやり方を変更する。例えば、補正部130は、所定に対象物の位置に基づいて、補正後集中度の算出に用いる補正値を変更する。
【0073】
例えば、記憶部160は、予めタスクの位置を記憶しておく。例えば、タスク21の位置とタスク22の位置とが予め記憶部160に記憶されているとする。図1に示すように、補正部130は、撮像部210が表示装置300に配置されている場合、タスク22を見ているときにはタスク21を見ているときよりユーザ10が下方を向いてしまうため、同じ瞬きをした場合においても、瞬きの開閉度の変化量(つまり、瞼を閉じた状態と瞼を開いた状態との変化量)が少なくなってしまうことから、瞬きがゆっくり動いているように計測されるため、眠気度が低く算出されやすい。そのため、補正部130は、タスク22を見ているときにはタスク21を見ているときよりも眠気度が低くなるように算出することで、タスクの位置による算出結果のばらつきを抑制する。補正部130は、例えば、後述する式(1)及び式(2)のk及び/又はcの値を、タスクが示されている所定の対象物の位置に基づいて変更する。
【0074】
このように、例えば、補正部130は、所定の対象物の位置に基づいて、集中度の補正に用いる眠気度に基づく補正値を変更する。
【0075】
なお、タスク22のように、タスクがカメラの撮像方向と平行な方向に位置しない場合、視線方向を測定(算出)するために、タスクの表示(又は記載)のある所定の対象物の位置を、音声等によって指定してもよい。こうすることで、タスクの位置により補正のやり方を変更せずに、タスクの位置による眠気度の制度の低下が抑制され得る。なお、この場合、集中度計測システム200は、アンプ、スピーカ等の音発生器を備え、当該音発生器は、出力部140と接続されていてもよい。
【0076】
また、タスク22の位置がタスク21に対し、よりユーザ10のより手元側にある場合、ユーザ10はより下を向くこととなり、撮像部210で瞬きが検知(撮像)できない場合もある。つまり、撮像部210側からユーザ10を見た場合、ユーザ10が目を閉じたような状態に見える可能性がある。このような場合、例えば、補正部130は、タスク22をタスク21側に近づけて配置する等、ユーザ10の瞬きが検知しやすい位置に撮像部210を配置することを促す情報を報知部220に報知させる情報を出力部140に出力してもよい。
【0077】
また、撮像部210によって所定の対象物を撮像することにより、補正部130は、所定の対象物(つまり、タスク)の位置を把握してもよい。
【0078】
また、対象物に応じてタスク21の領域を把握し、集中度の補正を行うこととしてもよい。例えば、タスク21がテキスト用紙の場合、ユーザ10は、そのテキスト用紙内の文章又は計算式等を見てタスク21を遂行している場合には集中している可能性があり、一方、そのテキスト用紙外に視線が位置する場合には集中していない可能性がある。また、下方にユーザ10の視線が位置していても、テキスト用紙の大きさによっては、ユーザ10の視線の移動領域が異なるため、ユーザ10が集中している場合とそうではない場合とがあり得る。そのため、補正部130は、例えば、撮像部210にテキスト用紙を撮像させることでテキスト用紙の大きさを算出し、算出したテキスト用紙の大きさに応じて、集中度の補正を制御してもよい。
【0079】
なお、本実施の形態では、タスク22を書籍として説明したが、これに限ったものではない。例えば、机の前方で先生が講義を行いつつ、机上のタスク21を行う状況の場合、先生を見ているときに視線はタスク21に対し上方に向かうこととなる。この場合、視線は撮像方向とは異なる位置に向かうため、同じ瞬きをした場合にも瞬きの変化量が少なくなる場合もある。そこで当該補正により、集中度を補正することとしてもよい。
【0080】
出力部140は、補正部が集中度を補正することで算出した補正後集中度を出力する。出力部140は、例えば、報知部220と通信可能に接続されている通信アダプタ等の通信インターフェースである。出力部140は、例えば、補正後集中度を示す集中度情報を報知部220に送信する。出力部140は、例えば、補正後集中度が所定の閾値を上回った又は下回った場合に、集中度情報を送信する。送信される集中度情報は、報知部220を制御するための制御信号でもよい。
【0081】
或いは、出力部140は、集中度情報として、ユーザ10又はユーザ10の監督者等に提示するための音声データ又は画像データを出力してもよい。
【0082】
記憶部160は、集中度取得部110、眠気度取得部120及び補正部130が実行する各制御プログラムが記憶されている記憶装置である。また、記憶部160には、集中度及び眠気度の各程度を示す指標、閾値等の情報が記憶されている。記憶部160は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ等で実現される。
【0083】
以上の構成を有する集中度計測装置100は、例えば、コンピュータ機器等で実現される。具体的には、集中度計測装置100は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサ等で実現される。集中度計測装置100が有する各機能は、プロセッサで実行されるソフトウェアで実現されてもよく、1つ以上の電子部品を含む電気回路等のハードウェアで実現されてもよい。例えば、集中度取得部110、眠気度取得部120、及び、補正部130は、プロセッサで実行されるソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。
【0084】
なお、集中度計測装置100は、撮像部210から画像を取得するのではなく、他の機器で算出された集中度及び眠気度を取得してもよい。視線及び顔向きについても同様である。
【0085】
撮像部210は、ユーザ10を撮像することで、ユーザ10の顔を含む画像を生成する。撮像部210は、可視光帯域に感度を有するイメージセンサであるが、赤外線イメージセンサ又は熱画像センサであってもよい。画像は、例えば動画像であるが、静止画像であってもよい。
【0086】
本実施の形態では、撮像部210は、タスク21を表示する表示装置300に配置されている。また、本実施の形態では、撮像部210の撮像方向と、タスク21を見るユーザ10の視線方向(矢印11)とは、略平行な方向となっている。
【0087】
報知部220は、出力部140が出力した集中度情報を取得して、取得した集中度情報に基づいてユーザ10の集中度を報知する機器である。報知部220は、画像、音声等によって補正後集中度をユーザ10に報知する。報知部220は、例えば、スピーカ、表示装置300等のディスプレイである。
【0088】
撮像部210は、撮像機能があればよく、例えば、PC(パーソナルコンピュータ)に付属のWebカメラ、タブレット端末に付属のカメラ、スマートフォンに付属のカメラ、テレビに付属のカメラ等でもよい。
【0089】
撮像部210は、ユーザ10の顔向き、視線、体の向き、瞬き、表情等をユーザ10の顔を撮像することで取得する。
【0090】
なお、本実施の形態では、ユーザ10が実行しているタスク21は、表示装置300に表示されており、且つ、タスク22は、書籍310に記載されている。表示装置300は、例えば、PC、タブレット端末、スマートフォン、テレビ等である。書籍310は、例えば、教科書、ノート等である。
【0091】
[集中度計測方法]
続いて、実施の形態1に係る集中度計測装置100が実行する集中度計測方法について、図4を用いて説明する。
【0092】
図4は、実施の形態1に係る集中度計測装置100が実行する処理手順を示すフローチャートである。なお、図4に示すフローチャートにおいては、撮像部210の動作等、集中度計測システム200に含まれる処理手順を示している。
【0093】
まず、撮像部210は、ユーザ10の顔を撮像する(ステップS101)。撮像部210がユーザ10の顔を撮像するタイミング、周期等を特に限定されない。例えば、撮像部210は、集中度計測装置100がユーザ10によって起動されたタイミングで、撮像を開始する。
【0094】
次に、集中度取得部110は、ユーザ10の集中度を取得する(ステップS102)。本実施の形態では、集中度取得部110は、まず、ステップS101で撮像部210が異なる時間に撮像したユーザ10の顔を示す複数の画像を撮像部210から取得する。次に、集中度取得部110は、取得した複数の画像からユーザ10の視線及顔向きの変化量を算出する。次に、集中度取得部110は、算出した変化量と、予め定められた当該変化量と集中度との対応関係を示す集中度情報テーブルとに基づいて、ユーザ10の集中度を算出することで、ユーザ10の集中度を取得する。
【0095】
次に、眠気度取得部120は、ユーザ10の眠気度を取得する(ステップS103)。本実施の形態では、眠気度取得部120は、まず、ステップS101で撮像部210が異なる時間に撮像したユーザ10の顔を示す複数の画像を撮像部210から取得する。次に、眠気度取得部120は、取得した複数の画像からユーザ10の所定の時間内の瞬きの回数、瞬き1回あたりに係る時間等の眠気特徴量を算出する。次に、眠気度取得部120は、算出した眠気特徴量と、予め定められた当該眠気得光量と眠気度との対応関係を示す眠気度情報テーブルとに基づいて、ユーザ10の眠気度を算出することで、ユーザ10の眠気度を取得する。
【0096】
次に、補正部130は、眠気度取得部120が取得したユーザ10の眠気度に基づいて、補正値を算出する(ステップS104)。
【0097】
次に、補正部130は、集中度取得部110が取得したユーザ10の集中度を補正値で補正する(ステップS105)。ステップS104及びステップS105では、例えば、補正部130は、眠気度に予め定められた係数を乗算して補正値を算出し、当該補正値と集中度との差分を算出することで、集中度を補正した値である補正後集中度を算出する。例えば、集中度が「5」、眠気度が「2」、係数が0.5であるとする。この場合、補正部130は、補正後集中度を5-2×0.5=4と算出する。もちろん、係数は、任意に定められてよいし、定数ではなく、例えば、眠気度に応じて値が変化してもよい。
【0098】
例えば、集中度は、デジタル値(整数)として任意の数のレベルとして扱われてもよい。例えば、集中度は、1~10までの10段階として扱われてもよい。
【0099】
また、例えば、眠気度は、デジタル値として任意の数のレベルとして扱われてもよい。例えば、眠気度は、1~10までの10段階として扱われてもよい。
【0100】
集中度のレベルをA、眠気度のレベルをBとした場合、補正後集中度のレベルを示すA’は、次の式(1)、式(2)、又は、式(3)で示すように算出されてもよい。
【0101】
A’=round[A-k×(B-c)] if B>c 式(1)
A’=round[A-k×B] if B≦c 式(2)
A’=0 if A’<0 式(3)
【0102】
なお、k及びcは、予め任意に定められた正の整数である。また、roundは、デジタル値として出力するための関数である。
【0103】
例えば、kが1であり、cが4であり、Aが7であり、Bが5であるとき、A’は6となる。この場合、例えば、k×(B-c)=1が眠気度に基づく補正値であり、補正後集中度は、集中度と補正値との差分に基づいて算出される。
【0104】
なお、眠気度が所定の値を超えている場合に、予め定められた補正値と集中度との差分が算出されることで、補正後集中度が算出されてもよい。
【0105】
また、集中度、補正後集中度、及び、眠気度は、アナログ値(実数)として所定の範囲内の実数値(例えば、0~1)として扱われてもよい。
【0106】
また、補正後集中度の算出方法は、ユーザ10が実行しているタスクの内容、ユーザ10がいる温湿度等の環境、ユーザ10の性別、年齢等の属性に基づいて変更されてもよい。例えば、補正後集中度に眠気度の影響を大きくさせる程、kの値は大きく設定される。
【0107】
また、例えば、ユーザ10の環境、時刻、作業時間から過去にどのように集中度が変化したかを示すユーザ情報を予め取得しておき、当該ユーザ情報に基づいて補正後集中度の算出方法が決定されてもよい。
【0108】
また、例えば、現在の環境がユーザ10にとって眠くなりやすい環境である場合、補正値が大きくなるようにk及び/又はcの値を変更してもよい。
【0109】
また、例えば、集中度計測装置100を用いるユーザ10以外も含めたユーザの環境、時刻、作業時間から過去にどのように集中度が変化したかを示す全ユーザ情報を予め取得しておき、当該全ユーザ情報に基づいて補正後集中度の算出方法が決定されてもよい。
【0110】
また、例えば、補正部130は、所定の対象物(例えば、タスク21が表示されている表示装置、タスク22が記載されている書籍310)の位置に基づいて、集中度の補正に用いる眠気度に基づく補正値を変更してもよい。例えば、補正部130は、所定の対象物の位置に基づいて、k及びcの少なくとも一方の値を決定してもよい。
【0111】
次に、出力部140は、補正後集中度を出力する(ステップS106)。ステップS106では、例えば、出力部140は、報知部220に補正後集中度を示す数値の画像情報、音声情報等を出力する。出力部140は、報知部220の構成に合わせた情報を出力すれよい。例えば、報知部220がディスプレイ等の表示装置である場合、出力部140は、画像情報を出力する。また、例えば、報知部220が音響機器である場合、出力部140は、音声情報を出力する。なお、報知部220で、補正後集中度の数値のみで画像、音声等を生成できる場合、出力部140は、補正後集中度の数値含む情報を出力してもよい。
【0112】
次に、報知部220は、取得した補正後集中度をユーザに報知する(ステップS107)。ステップS107では、例えば、報知部220がディスプレイ等の表示装置である場合、補正後集中度を示す画像を出力する。また、例えば、報知部220が音響機器である場合、出力部140は、補正後集中度を示す音声を出力する。
【0113】
例えば、出力部140は、所定の閾値よりも集中度が高い場合に補正後集中度を示す情報を出力してもよい。或いは、出力部140は、所定の閾値よりも集中度が低い場合に補正後集中度を示す情報を出力してもよい。また、このように補正後集中度を出力部140が出力する条件がある場合、例えば、所定の閾値よりも集中度が高い場合に補正後集中度を示す情報を出力部140が出力するか、所定の閾値よりも集中度が低い場合に補正後集中度を示す情報を出力部140が出力するかをユーザ10が任意に設定できてもよい。この場合、集中度計測システム200は、例えば、ユーザ10から指示を取得するためのタッチパネル等の操作部を有していてもよい。
【0114】
例えば、所定の閾値よりも集中度が高い場合に補正後集中度を示す情報を出力部140が出力する場合、補正部130は、「集中度が高い状態です」、又は「高い集中度を維持しています」等のメッセージを報知部220に表示させる情報等、ユーザ10のモチベーション維持に繋がるメッセージを与える情報を出力部140に出力させてもよい。こうすることで、ユーザ10のタスクへの集中を促すことができる。また、所定の閾値よりも集中度が低い場合に補正後集中度を示す情報を出力部140が出力することで、ユーザ10の集中度が高い場合にはその集中を遮ることなく、且つ、集中度が低い場合に通知(報知)することでユーザ10の集中を促すことができる。例えば、「集中度が低下しています」等のメッセージや、集中度の数値をユーザ10に通知することで、ユーザ10の集中度の向上を促すことができる。また、補正部130は、ユーザ10の集中度(補正後集中度)が高い場合と低い場合とで、出力部140に出力させる情報(つまり、報知部220に報知させる情報)を変更してもよい。例えば、補正部130は、集中度が予め任意に定められた所定の閾値より高い場合には、出力部140に集中度の数値のみを出力させ、所定の閾値よりも低くなった場合には、出力部140に数値とともに励ましのメッセージを含む情報を出力させることで、報知部220にユーザ10の集中度を高めるよう促させてもよい。
【0115】
なお、所定の閾値は、予め任意に定められていればよく、特に限定されない。
【0116】
[効果等]
以上説明したように、実施の形態1に係る集中度計測装置100は、ユーザ10の集中度を取得する集中度取得部110と、ユーザ10の眠気度を取得する眠気度取得部120と、眠気度に基づいて、ユーザ10の集中度を補正する補正部130と、補正部130によって補正されたユーザ10の集中度を示す補正後集中度を出力する出力部140と、を備える。
【0117】
このような構成によれば、補正部130は、ユーザ10の眠気度に基づいて、ユーザ10の集中度を補正できる。そのため、ユーザ10の眠気度が高く且つ集中度が低い状態であるにも関わらず、集中度を高く算出してしまうことが抑制される。このように、本開示の集中度計測装置100によれば、集中度を高精度で計測することができる。
【0118】
また、例えば、補正部130は、ユーザ10の眠気度が高い程、ユーザ10の集中度が低くなるように補正する。
【0119】
ユーザ10の眠気度が高い状態であるということは、ユーザ10の集中度が低い状態であると考えられる。そのため、ユーザ10の眠気度が高い程、ユーザ10の集中度が低く補正されることで、ユーザ10の集中度は、高精度で計測される。
【0120】
また、例えば、補正部130は、ユーザ10の眠気度に基づいて、ユーザ10の補正後集中度がユーザ10の集中度よりも低い集中度を示すように補正する。
【0121】
ユーザ10の眠気度が上がる程、ユーザ10の集中度は下がると考えられる。そのため、ユーザ10の眠気度に基づいて、ユーザ10の集中度を下げるように補正することで、ユーザ10の集中度は、簡便に且つ高精度で計測される。
【0122】
また、例えば、集中度取得部110は、撮像部210から得られた画像に含まれるユーザ10の視線及び顔向きの少なくとも一方に基づいてユーザ10の集中度を算出することで当該集中度を取得する。また、例えば、眠気度取得部120は、当該画像に含まれるユーザ10の瞬きに基づいてユーザ10の眠気度を算出することで当該眠気度を取得する。
【0123】
このような構成によれば、同じ画像からユーザ10の眠気度と集中度とが取得され得る。そのため、簡便な構成でユーザ10の集中度と眠気度とは、算出される。
【0124】
また、例えば、集中度取得部110は、撮像部210から得られたユーザ10及び所定の対象物(例えば、タスク21が表示されている表示装置300、タスク22が記載されている書籍310)を含む複数の画像から、所定の対象物に対するユーザ10の視線及び顔向きの少なくとも一方の時間に対する変化量を算出することで集中度を取得する。
【0125】
例えば、ユーザ10が表示装置300を見ながら学習等のタスク21を実行している場合、所定の対象物となる表示装置300をユーザ10が見ている時間が長い程、ユーザ10の集中度は高いと判定される。そのため、このような構成によれば、さらに、高精度にユーザ10の集中度は、計測される。
【0126】
また、例えば、補正部130は、所定の対象物(例えば、タスク21が表示されている表示装置300、タスク22が記載されている書籍310等)の位置に基づいて、集中度の補正に用いる眠気度に基づく補正値を変更する。
【0127】
例えば、ユーザ10の眠気度は、ユーザ10の瞬きの1回にかかる時間に基づいて算出される。そのため、例えば、ユーザ10が表示装置300を見ながら学習等のタスク21を実行している場合、所定の対象物となる表示装置300と撮像部210とユーザ10との位置関係によっては、撮像部210によって撮像される瞼の開閉度が変化する。そのため、このような構成によれば、所定の対象物と撮像部210とユーザ10との位置関係による集中度の計測精度の低下は、抑制される。
【0128】
また、実施の形態1に係る集中度計測方法は、ユーザ10の集中度を取得する集中度取得ステップと、ユーザ10の眠気度を取得する眠気度取得ステップと、眠気度に基づいて、集中度を補正する補正ステップと、補正ステップによって補正された集中度を示す補正後集中度を出力する出力ステップと、を含む。
【0129】
このような方法によれば、ユーザ10の眠気度に基づいて、ユーザ10の集中度を補正できる。そのため、ユーザ10の眠気度が高く且つユーザ10の集中度が低い状態であるにも関わらず、ユーザ10の集中度を高く算出してしまうことが抑制される。このように、本開示に係る集中度計測方法によれば、集中度を高精度で計測することができる。
【0130】
また、本開示の一態様は、上記集中度計測方法をコンピュータに実行させるためのプログラムとして実現することができる。或いは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。
【0131】
なお、本開示は、上記集中度計測方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なCD-ROM等の記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データ又は信号として実現されてもよい。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信されてもよい。
【0132】
(実施の形態2)
続いて、実施の形態2に係る集中度計測装置について説明する。なお、実施の形態2に係る集中度計測装置の説明においては、実施の形態1に係る集中度計測装置との差異点を中心に説明し、実質的に同一の構成要素には同一の符号を付し、説明を一部簡略化又は省略する場合がある。
【0133】
[構成]
実施の形態2に係る集中度計測装置の具体的な構成について、図5を用いて説明する。
【0134】
図5は、実施の形態2に係る集中度計測装置101の特徴的な機能構成を示すブロック図である。なお、図5には、集中度計測装置101の周辺構成も含めて集中度計測システム201の特徴的な機能構成を示している。
【0135】
集中度計測システム201は、撮像部210によって撮像された画像を用いて集中度計測装置101によって人(例えば、図1に示すユーザ10)の集中度を計測して当該人に報知するシステムである。集中度計測システム200は、撮像部210と、集中度計測装置101と、報知部220と、電子機器230と、環境検出部240と、を備える。
【0136】
集中度計測装置101は、ユーザ10の集中度を計測する装置である。集中度計測装置101は、集中度取得部110と、眠気度取得部120と、補正部131と、出力部140と、記憶部160と、判定部170と、制御部180と、を備える。
【0137】
補正部131は、集中度取得部110により取得された集中度と、眠気度取得部120により取得された眠気度とに基づいて、ユーザ10の集中度(仮集中度)を補正し、補正後の集中度を示す補正後集中度を算出する。本実施の形態では、補正部131は、眠気度に基づいて仮集中度を予め定められた値に補正する。予め定められた値は、例えば、眠気度の値である。
【0138】
また、補正部131は、ユーザ10の環境状態を示す環境情報に基づいて、ユーザ10の集中度の補正のやり方を変更する。補正部131は、例えば、ユーザ10がいる環境の温度、湿度、明るさ、環境音等の情報を環境情報として検出する環境検出部240からこれらの環境情報を取得する。
【0139】
環境によって、ユーザ10が集中しやすい状態になりやすい、ユーザ10が眠くなりやすい等の違いが生じる。そのため、例えば、ユーザ10にとって非常に眠くなりにくい環境である場合には、ユーザ10の眠気度が高くなりにくいため、眠気度が低く算出されやすく、精度が低くなる。そのため、補正部131は、環境によって、補正のやり方を変更する。
【0140】
判定部170は、ユーザ10の眠気度及びユーザ10の補正後集中度に基づいて、ユーザ10の補正後集中度の要因を判定する。例えば、判定部170は、ユーザ10の補正後集中度が第1閾値よりも低い集中度を示すか否かを判定し、第1閾値よりも低い集中度を示すと判定した場合、ユーザ10の眠気度及びユーザ10の補正後集中度に基づいて、ユーザ10の補正後集中度が第1閾値よりも低い集中度になった要因を判定する。
【0141】
例えば、ユーザ10の集中度が低い要因として、テレビ等の外部要因による場合と、眠気等による内部要因による場合とが考えられる。判定部170は、ユーザ10の集中度が低い場合、集中度を低くしている要因が眠気によるものがどの程度影響しているかを判定する。
【0142】
判定部170は、例えば、ユーザ10の補正後集中度が第1閾値よりも低い集中度になった要因に占める眠気の要因の割合が第2閾値より高いか否かを判定する。
【0143】
なお、第1閾値及び第2閾値は、予め任意に定められてよく、その値は特に限定されない。第1閾値及び第2閾値は、例えば、記憶部160に記憶されている。
【0144】
判定部170は、判定結果を制御部180に出力する。
【0145】
制御部180は、ユーザ10の眠気度及びユーザ10の補正後集中度に基づいて、ユーザ10の覚醒又は集中を促す電子機器230を制御する。具体的には、制御部180は、判定部170のから取得した判定結果に基づいて電子機器230を制御する。
【0146】
制御部180は、例えば、ユーザ10の補正後集中度が第1閾値よりも低い集中度になった要因に占める眠気の要因の割合が第2閾値より高いと判定部170が判定した場合、電子機器230を制御することでユーザ10の覚醒を促す。一方で、例えば、制御部180は、ユーザ10の補正後集中度が第1閾値よりも低い集中度になった割合が第2閾値より高いと判定部170が判定しない場合、電子機器230を制御することでユーザ10の集中を促す。このように、制御部180は、ユーザ10の集中度が低い要因が眠気による場合、ユーザ10の眠気を抑制させるように、つまり、ユーザ10を覚醒させるように電子機器230を制御する。
【0147】
一方、制御部180は、ユーザ10の集中度が低い要因が眠気によらない場合、ユーザ10を集中させるように電子機器230を制御する。例えば、眠気によらずに集中度が低い場合、図2Bに示すように、意識がタスク21、22ではなくあちこちに散ってしまっている状態である場合がある。このような場合、環境をユーザ10が落ち着きやすい環境にすることで、ユーザ10の集中度は、高くなる。
【0148】
例えば、ユーザ10の覚醒を促す場合と、ユーザ10の集中を促す場合とでは、環境は、逆の態様に変化されるとよいことがある。ユーザ10は、環境温度が上げられることで集中が促され、環境温度が下げられることで覚醒が促される。このように、ユーザ10の環境条件を逆に制御することで、ユーザ10の覚醒と集中とを区別して促すことができる。そこで、例えば、制御部180は、ユーザ10の覚醒を促す場合とユーザ10の集中を促す場合とで、電子機器230に対して逆の制御をする。これにより、ユーザ10を覚醒又は集中を適切に促すことができる。
【0149】
なお、電子機器230は、集中又は覚醒を促すために、相反する効果を生む音楽の出力、表示装置300の画面の背景色の設定、音声指示等を行ってもよい。例えば、電子機器230は、ユーザ10の覚醒を促すために刺激的な音楽を出力し、ユーザ10の集中を促すためにリラックスさせる音楽を出力してもよい。また、例えば、電子機器230は、ユーザ10の覚醒を促すために表示装置300の画面の背景色を暖色系(赤色系)にし、ユーザ10の集中を促すために背景色を寒色系(青色系)にしてもよい。また、例えば、電子機器230は、ユーザ10の覚醒を促すために環境を快適な温度にし、ユーザ10の集中を促すために環境を不快な温度(例えば、高すぎる又は低すぎる温度)にしてもよい。また、例えば、電子機器230は、ユーザ10の覚醒を促すためにタスク21の難易度を低下させ、ユーザ10の集中を促すためにタスク21の難易度を向上させてもよい。
【0150】
また、ユーザ10の音楽、気温等の好みを示す属性情報が記憶部160に予め記憶されていてもよい。例えば、制御部180は、属性情報に基づいて、ユーザ10の覚醒又は集中を促すように電子機器230を駆動させてもよい。
【0151】
なお、判定部170が算出する眠気の要因の割合を示すRは、例えば、以下の式(4)で算出される。
【0152】
R=B/A’ 式(4)
【0153】
なお、Rは、補正値の大きさに比例した値でもよい。例えば、Rは、以下の式(5)で算出されてもよい。
【0154】
R=B/(A-A’) 式(5)
【0155】
以上の構成を有する集中度計測装置101は、例えば、コンピュータ機器等で実現される。具体的には、集中度計測装置101は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサ等で実現される。集中度計測装置101が有する各機能は、プロセッサで実行されるソフトウェアで実現されてもよく、1つ以上の電子部品を含む電気回路等のハードウェアで実現されてもよい。例えば、集中度取得部110、眠気度取得部120、補正部131、判定部170、及び、制御部180は、プロセッサで実行されるソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。
【0156】
電子機器230は、ユーザ10の覚醒又は集中を促すための機器である。電子機器230は、例えば、温度、湿度等を制御する空調機器、音響機器、照明機器等である。中手度計測システム201に採用される電子機器230の数は、1つでもよいし、複数でもよい。
【0157】
また、例えば、電子機器230は、逆の制御をすることで、ユーザ10の覚醒を促すか、ユーザ10の集中を促すかが変更される電子機器でもよい。例えば、電子機器230が空調機器である場合、電子機器230は、ユーザ10の環境温度を上げることでユーザ10の集中を促し、ユーザ10の環境温度を下げることでユーザ10の覚醒を促す。
【0158】
環境検出部240は、ユーザ10の環境を検出するセンサである。環境検出部240は、例えば、温度を検出する温度センサ、湿度を検出する湿度センサ、音量を検出する音検出器、明るさを検出する光センサ等である。
【0159】
[集中度計測方法]
続いて、実施の形態2に係る集中度計測装置101が実行する集中度計測方法について、図6を用いて説明する。
【0160】
図6は、実施の形態2に係る集中度計測装置101が実行する処理手順を示すフローチャートである。なお、図6に示すフローチャートにおいては、撮像部210の動作等、集中度計測システム201に含まれる処理手順を示している。
【0161】
まず、撮像部210は、ユーザ10の顔を撮像する(ステップS201)。
【0162】
次に、集中度取得部110は、ユーザ10の集中度を取得する(ステップS202)。
【0163】
次に、眠気度取得部120は、ユーザ10の眠気度を取得する(ステップS203)。
【0164】
ステップS201~ステップS203は、図4に示すステップS101~ステップS103と同様の処理である。
【0165】
次に、補正部131は、環境検出部240から環境情報を取得する(ステップS204)。
【0166】
次に、補正部131は、眠気度取得部120が取得したユーザ10の眠気度と環境検出部240から取得した環境情報とに基づいて、補正値を算出する(ステップS205)。
【0167】
次に、補正部131は、集中度取得部110が取得したユーザ10の集中度を補正値で補正する(ステップS206)。
【0168】
ステップS205及びステップS206では、例えば、補正部131は、眠気度に予め定められた係数を乗算して補正値を算出し、当該補正値と集中度との差分を算出することで、集中度を補正した値である補正後集中度を算出する。ここで、例えば、当該係数を、環境情報に基づいて変更する。例えば、環境検出部240が検出した環境情報として検出した温度が所定の範囲内の温度である場合、係数(例えば、式(1)に示すk)を「2」とし、それ以外の場合に係数を「1」とする。このように、例えば、補正部131は、環境情報に基づいて補正値を変更する。
【0169】
次に、出力部140は、補正後集中度を出力する(ステップS207)。ステップS207では、例えば、出力部140は、報知部220に補正後集中度を示す数値の画像情報、音声情報等を出力する。
【0170】
なお、図示しないが、ステップS207の後で、報知部220は、例えば、取得した補正後集中度をユーザ10に報知する。
【0171】
次に、判定部170は、補正部131が算出したユーザ10の補正後集中度を取得し、取得した補正後集中度が第1閾値よりも低い集中度を示すか否かを判定する(ステップS208)。
【0172】
判定部170は、補正後集中度が第1閾値よりも低い集中度を示さないと判定した場合(ステップS208でNo)、ユーザ10の集中度は高い状態であるとして、例えば、処理を終了する。集中度計測システム201は、ステップS201から再度処理を開始してもよい。ユーザ10の集中度が高い状態である旨を示す情報を出力部140が報知部220に出力してもよい。
【0173】
一方、判定部170は、補正後集中度が第1閾値よりも低い集中度を示すと判定した場合(ステップS208でYes)、ユーザ10の眠気度及び補正後集中度に基づいて、補正後集中度が第1閾値よりも低い集中度になった要因を判定する(ステップS209)。具体的には、まず、ステップS209では、判定部170は、例えば、眠気度取得部120からユーザ10の眠気度を取得し、取得したユーザ10の眠気度と、ステップS208で取得したユーザ10の補正後集中度とに基づいて、ユーザ10の集中度が低くなっている全要因のうちの眠気の要因の割合を算出する。判定部170は、例えば、上記の式(4)又は上記の式(5)を用いて、眠気の要因の割合を算出する。
【0174】
次に、判定部170は、ステップS209で算出した眠気の要因の割合が、第2閾値より高いか否かを判定する(ステップS210)。
【0175】
判定部170が、眠気の要因の割合が第2閾値より高いと判定した場合(ステップS210でYes)、制御部180は、電子機器230を制御することで、ユーザ10の覚醒を促す制御をする(ステップS211)。
【0176】
一方、判定部170が、眠気の要因の割合が第2閾値より高いと判定しない場合(ステップS210でNo)、制御部180は、電子機器230を制御することで、ユーザ10の集中を促す制御をする(ステップS212)。
【0177】
[効果等]
以上説明したように、実施の形態2に係る集中度計測装置101は、ユーザ10の集中度を取得する集中度取得部110と、ユーザ10の眠気度を取得する眠気度取得部120と、眠気度に基づいて集中度を補正する補正部131と、補正部131によって補正されたユーザ10の集中度を示す補正後集中度を出力する出力部140と、を備える。集中度計測装置101は、さらに、ユーザ10の眠気度及びユーザ10の補正後集中度に基づいて、ユーザ10の覚醒又は集中を促す電子機器230を制御する制御部180を備える。
【0178】
このような構成によれば、制御部180は、補正部131によって適切な値に補正されたユーザ10の集中度(補正後集中度)に基づいて電子機器230を制御するため、適切なタイミングでユーザ10の覚醒を促したり、ユーザ10の集中を促したりすることができる。
【0179】
また、例えば、集中度計測装置101は、さらに、ユーザ10の補正後集中度が第1閾値よりも低い集中度を示すか否かを判定し、第1閾値よりも低い集中度を示すと判定した場合、ユーザ10の眠気度及びユーザ10の補正後集中度に基づいて、ユーザ10の補正後集中度が第1閾値よりも低い集中度になった要因を判定する判定部170を備える。この場合、制御部180は、判定部170の判定結果に基づいて電子機器230を制御する。
【0180】
このような構成によれば、制御部180は、判定部170の判定結果に基づいて電子機器230を制御するために、ユーザ10の覚醒又は集中を不要に促してしまうことが抑制される。
【0181】
また、例えば、制御部180は、ユーザ10の補正後集中度が第1閾値よりも低い集中度になった要因に占める眠気の要因の割合が第2閾値より高いと判定部170が判定した場合、電子機器230を制御することでユーザ10の覚醒を促し、当該割合が第2閾値より高いと判定部170が判定しない場合、電子機器230を制御することでユーザ10の集中を促す。
【0182】
このような構成によれば、判定部170によってユーザ10の覚醒を促すべきか集中を促すべきかが適切に判定されるため、制御部180は、さらに適切にユーザ10の覚醒を促したり、ユーザ10の集中を促したりすることができる。
【0183】
また、例えば、制御部180は、ユーザ10の覚醒を促す場合とユーザ10の集中を促す場合とで、電子機器230に対して逆の制御をする。
【0184】
例えば、環境温度を上げることでユーザ10の集中は促される。一方で、環境温度を下げることでユーザ10の覚醒は促される。また、例えば、環境ノイズ(環境の音量)を上げることでユーザ10の覚醒は促される。一方で、環境ノイズを下げることで、ユーザ10の集中は促される。このように、空調機器、音響機器等の1つの電子機器230で、制御態様を変更することにより、ユーザ10の覚醒を促すことと、ユーザ10の集中を促すこととができる。そのため、制御部180がユーザ10の覚醒を促す場合とユーザ10の集中を促す場合とで電子機器230に対して逆の制御をすることで、簡便な構成で、ユーザ10の覚醒を促したりユーザ10の集中を促したりすることができる。
【0185】
また、例えば、補正部131は、ユーザ10の環境状態を示す環境情報に基づいて、ユーザ10の集中度の補正のやり方を変更する。
【0186】
例えば、環境温度が比較的高い場合、ユーザ10の集中度及び眠気度は高くなりやすいといった、ユーザ10の環境条件によってユーザ10の集中度及び眠気度の変化には傾向がある。そのため、ユーザ10の環境状態に基づいてユーザ10の集中度を補正することで、本開示に係る集中度計測装置101は、さらに高精度に集中度を計測できるようになる。
【0187】
(その他の実施の形態)
以上、1つ又は複数の態様に係る集中度計測装置等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
【0188】
例えば、図4に示すステップS102とステップS103とは、逆の順序で実行されてもよいし、同時に実行されてもよい。このように、本開示に係るフローチャートはあくまで一例であり、請求の範囲内で任意にステップが変更されてよい。
【0189】
また、上記実施の形態で説明した装置間の通信方法については特に限定されるものではない。装置間で無線通信が行われる場合、無線通信の方式(通信規格)は、例えば、ZigBee(登録商標)、Bluetooth(登録商標)、又は、無線LAN(Local Area Network)等の近距離無線通信である。或いは、無線通信の方式(通信規格)は、インターネット等の広域通信ネットワークを介した通信でもよい。また、装置間においては、無線通信に代えて、有線通信が行われてもよい。有線通信は、具体的には、電力線搬送通信(PLC:Power Line Communication)又は有線LANを用いた通信等である。
【0190】
また、例えば、集中度計測装置100、101は、インターネットを利用した学習形態であるいわゆるe-learning等のタスクと、ユーザ10の回答状況と、眠気度と、集中度(補正後集中度)とを紐づけた情報を、タスクを提供する管理者が用いるサーバに送信してもよい。こうすることで、管理者は、サーバで受信した情報に基づいて、ユーザ10が眠くなりにくく、且つ集中度が高まるようなタスクの内容(コンテンツ)に、現在のタスクを改良でき得る。また、管理者は、サーバで受信した情報に基づいて、ユーザ10がタスクをどの程度できるかの評価をすることができる。
【0191】
また、例えば、ユーザ10の監督者(例えば、ユーザ10が生徒である場合の保護者等)が用いるPC等の装置に、タスクと、ユーザ10の回答状況と、眠気度と、集中度とを紐づけた情報を送信してもよい。これにより、当該監督者は、当該情報を閲覧できるため、ユーザ10が、ユーザ10の能力に見合ったタスクを実行しているかが判断できる。
【0192】
また、例えば、集中度計測装置100、101は、タスクと、ユーザ10の回答状況と、眠気度と、集中度とを紐づけた情報を、ユーザ10がリアルタイムで閲覧できるよう表示装置300等に表示させてもよい。これにより、集中度計測装置100、101は、ユーザ10に客観的な指標を与えることで、ユーザ10に集中度のセルフコントロールを促すことができる。
【0193】
また、例えば、上記実施の形態では、集中度取得部120は、所定の時間内の視線及び顔向きの動き量を取得する。当該所定の時間のように、予め定められる時間は、任意に定められてよい。
【0194】
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよく、或いは、複数の処理が並行して実行されてもよい。また、集中度計測装置100、101が備える構成要素の複数の装置への振り分けてもよい。例えば、一の装置が備える構成要素を他の装置が備えてもよい。
【0195】
例えば、上記実施の形態において説明した処理は、単一の装置(システム)を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
【0196】
また、上記実施の形態において、補正部130等の、集中度計測装置100が備える処理部の構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、或いは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)又はプロセッサ等のプログラム実行部が、HDD(Hard Disk Drive)又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0197】
また、補正部130等の、集中度計測装置100が備える処理部の構成要素は、1つ又は複数の電子回路で構成されてもよい。1つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【0198】
1つ又は複数の電子回路には、例えば、半導体装置、IC(Integrated Circuit)又はLSI(Large Scale Integration)等が含まれてもよい。IC又はLSIは、1つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、IC又はLSIと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、又は、ULSI(Ultra Large Scale Integration)と呼ばれるかもしれない。また、LSIの製造後にプログラムされるFPGA(Field Programmable Gate Array)も同じ目的で使うことができる。
【0199】
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、HDD若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【0200】
また、上記の各実施の形態は、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
【産業上の利用可能性】
【0201】
本開示は、集中度を高精度で計測することができる集中度計測装置として利用でき、例えば、学習又は運転等の各種作業を支援する装置又は方法等に利用することができる。
【符号の説明】
【0202】
10 ユーザ
11、12、13、14、15 矢印
21、22 タスク
100、101 集中度計測装置
110 集中度取得部
120 眠気度取得部
130、131 補正部
140 出力部
160 記憶部
170 判定部
180 制御部
200、201 集中度計測システム
210 撮像部
220 報知部
230 電子機器
240 環境検出部
300 表示装置
310 書籍
320 集中対象物
図1
図2A
図2B
図2C
図3
図4
図5
図6