(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-17
(45)【発行日】2024-10-25
(54)【発明の名称】情報処理システム、及び情報処理方法
(51)【国際特許分類】
G06V 40/16 20220101AFI20241018BHJP
G06T 7/00 20170101ALI20241018BHJP
G06V 10/82 20220101ALI20241018BHJP
【ＦＩ】
G06V40/16 Z
G06T7/00 660A
G06V10/82
G06T7/00 350C
【請求項の数】
2
(21)【出願番号】P 2021562198
(86)(22)【出願日】2020-11-20
(86)【国際出願番号】 IB2020060947
(87)【国際公開番号】W WO2021111234
(87)【国際公開日】2021-06-10
【審査請求日】2023-11-16
(31)【優先権主張番号】P 2019221620
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】岡野 達也
(72)【発明者】
【氏名】小國 哲平
(72)【発明者】
【氏名】秋元 健吾
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１０－８８７５６（ＪＰ，Ａ）
【文献】特開２０１６－９３３１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／００ － ４０／７０
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
撮像部と、第１の処理部と、第２の処理部と、第３の処理部と、第４の処理部と、を有し、前記撮像部は、人物の顔の画像を含む第１乃至第ｎ（ｎは２以上の整数）の画像と、クエリ画像と、を取得する機能を有し、
前記第１の処理部は、前記第１乃至第ｎの画像を基に、参照画像を取得する機能を有し、
前記第２の処理部は、入力層と、中間層と、出力層と、を有するニューラルネットワークによる処理を行う機能を有し、
前記第２の処理部は、前記第１乃至第ｎの画像、又は前記参照画像が前記入力層に入力された場合に、前記出力層から第１乃至第ｎの推定年齢、又は参照推定年齢をそれぞれ出力し、前記中間層から第１乃至第ｎのデータ、又は参照データをそれぞれ出力する機能を有し、
前記第２の処理部は、前記クエリ画像が前記入力層に入力された場合に、前記出力層からクエリ推定年齢を出力し、前記中間層からクエリデータを出力する機能を有し、
前記第３の処理部は、前記第１乃至第ｎの推定年齢と、前記参照推定年齢と、の差の値をそれぞれｘ座標とし、前記第１乃至第ｎのデータと、前記参照データと、の類似度の値をそれぞれｙ座標として、第１乃至第ｎの座標をそれぞれ取得する機能を有し、
前記第３の処理部は、前記クエリ推定年齢と、前記参照推定年齢と、の差の値をｘ座標とし、前記クエリデータと、前記参照データと、の類似度の値をｙ座標として、クエリ座標を取得する機能を有し、
前記第４の処理部は、前記第１乃至第ｎの座標を基に、クラスタリングを行い、前記クラスタリングの結果と、前記クエリ座標と、に基づき、前記クエリ画像に含まれる人物の疲労の有無を判定する機能を有する情報処理システム。
【請求項2】
人物の顔の画像を含む、第１乃至第ｎ（ｎは２以上の整数）の画像を取得し、前記第１乃至第ｎの画像を基に、参照画像を取得し、
入力層と、中間層と、出力層と、を有するニューラルネットワークの前記入力層に、前記第１乃至第ｎの画像、及び前記参照画像を入力して、前記出力層から第１乃至第ｎの推定年齢、及び参照推定年齢を、前記中間層から第１乃至第ｎのデータ、及び参照データをそれぞれ出力し、
前記第１乃至第ｎの推定年齢と、前記参照推定年齢と、の差をそれぞれｘ座標とし、前記第１乃至第ｎのデータと、前記参照データと、の類似度の値をそれぞれｙ座標として、第１乃至第ｎの座標をそれぞれ取得し、
人物の顔の画像を含むクエリ画像を取得し、
前記入力層に、前記クエリ画像を入力して、前記出力層からクエリ推定年齢を、前記中間層からクエリデータをそれぞれ出力し、
前記クエリ推定年齢と、前記参照推定年齢と、の差の値をそれぞれｘ座標とし、前記クエリデータと、前記参照データと、の類似度の値をそれぞれｙ座標として、クエリ座標を取得し、
前記第１乃至第ｎの座標を基に、クラスタリングを行い、前記クラスタリングの結果と、前記クエリ座標と、に基づき、前記クエリ画像に含まれる人物の疲労の有無を判定する情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、情報処理システムに関する。また、本発明の一態様は、情報処理方法に関する。
【背景技術】
【0002】
使用者の疲労、ストレスを検出する機能を有する携帯情報端末が開発されている。例えば、特許文献１には、脈拍を基に、使用者の疲労を検出する携帯情報端末が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－８６５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、携帯情報端末等の電子機器の使用者の疲労を、脈拍を基に検出する場合、当該電子機器を一定期間使用者に密着させる必要がある。このため、使用者に密着させずに疲労等を検出する場合と比較して、利便性が低いという課題がある。
【0005】
本発明の一態様は、利便性が高い情報処理システムを提供することを課題の一とする。又は、短時間で疲労、ストレス等を検出することができる情報処理システムを提供することを課題の一とする。又は、ニューラルネットワークを用いて疲労、ストレス等を検出することができる情報処理システムを提供することを課題の一とする。又は、高い精度で疲労、ストレス等を検出することができる情報処理システムを提供することを課題の一とする。又は、簡易な方法で疲労、ストレス等を検出することができる情報処理システムを提供することを課題の一とする。
【0006】
又は、利便性が高い情報処理方法を提供することを課題の一とする。又は、短時間で疲労、ストレス等を検出することができる情報処理方法を提供することを課題の一とする。又は、ニューラルネットワークを用いて疲労、ストレス等を検出することができる情報処理方法を提供することを課題の一とする。又は、高い精度で疲労、ストレス等を検出することができる情報処理方法を提供することを課題の一とする。又は、簡易な方法で疲労、ストレス等を検出することができる情報処理方法を提供することを課題の一とする。
【0007】
なお、複数の課題の記載は、互いの課題の存在を妨げるものではない。本発明の一形態は、例示したすべての課題を解決する必要はない。また、列記した以外の課題が、本明細書の記載から、自ずと明らかとなり、このような課題も、本発明の一形態の課題となり得る。
【課題を解決するための手段】
【0008】
本発明の一態様は、人物の顔の画像を含むクエリ画像を取得し、当該クエリ画像から、その人物の疲労の有無を判定する情報処理システム、及び情報処理方法である。すなわち、顔の画像を含む第１乃至第ｎ（ｎは２以上の整数）の画像を取得し、これらをニューラルネットワークに入力して、出力層から出力される第１乃至第ｎの推定年齢と、中間層から出力される第１乃至第ｎのデータを取得する。また、顔の画像を含むクエリ画像を取得してニューラルネットワークに入力して、出力層から出力されるクエリ推定年齢と、中間層から出力されるクエリデータを取得する。そして、クエリ推定年齢を第１乃至第ｎの推定年齢と比較し、クエリデータを第１乃至第ｎのデータと比較することにより、クエリ画像に含まれる人物の疲労の有無を判定することができる。
【0009】
具体的には、本発明の一態様は、撮像部と、第１の処理部と、第２の処理部と、第３の処理部と、第４の処理部と、を有し、撮像部は、人物の顔の画像を含む第１乃至第ｎ（ｎは２以上の整数）の画像と、人物の顔の画像を含むクエリ画像と、を取得する機能を有し、第１の処理部は、第１乃至第ｎの画像を基に、参照画像を取得する機能を有し、第２の処理部は、入力層と、中間層と、出力層と、を有するニューラルネットワークによる処理を行う機能を有し、第２の処理部は、第１乃至第ｎの画像、又は参照画像が入力層に入力された場合に、出力層から第１乃至第ｎの推定年齢、又は参照推定年齢をそれぞれ出力し、中間層から第１乃至第ｎのデータ、又は参照データをそれぞれ出力する機能を有し、第２の処理部は、クエリ画像が入力層に入力された場合に、出力層からクエリ推定年齢を出力し、中間層からクエリデータを出力する機能を有し、第３の処理部は、第１乃至第ｎの推定年齢と、参照推定年齢と、の差の値をそれぞれｘ座標とし、第１乃至第ｎのデータと、参照データと、の類似度の値をそれぞれｙ座標として、第１乃至第ｎの座標をそれぞれ取得する機能を有し、第３の処理部は、クエリ推定年齢と、参照推定年齢と、の差の値をｘ座標とし、クエリデータと、参照データと、の類似度の値をｙ座標として、クエリ座標を取得する機能を有し、第４の処理部は、第１乃至第ｎの座標を基に、クラスタリングを行い、クラスタリングの結果と、クエリ座標と、に基づき、クエリ画像に含まれる人物の疲労の有無を判定する機能を有する情報処理システムである。
【0010】
又は、本発明の一態様は、人物の顔の画像を含む第１乃至第ｎ（ｎは２以上の整数）の画像を取得し、第１乃至第ｎの画像を基に、参照画像を取得し、入力層と、中間層と、出力層と、を有するニューラルネットワークの入力層に、第１乃至第ｎの画像、及び参照画像を入力して、出力層から第１乃至第ｎの推定年齢、及び参照推定年齢を、中間層から第１乃至第ｎのデータ、及び参照データをそれぞれ出力し、第１乃至第ｎの推定年齢と、参照推定年齢と、の差をそれぞれｘ座標とし、第１乃至第ｎのデータと、参照データと、の類似度の値をそれぞれｙ座標として、第１乃至第ｎの座標をそれぞれ取得し、人物の顔の画像を含むクエリ画像を取得し、入力層に、クエリ画像を入力して、出力層からクエリ推定年齢を、中間層からクエリデータをそれぞれ出力し、クエリ推定年齢と、参照推定年齢と、の差の値をそれぞれｘ座標とし、クエリデータと、参照データと、の類似度の値をそれぞれｙ座標として、クエリ座標を取得し、第１乃至第ｎの座標を基に、クラスタリングを行い、クラスタリングの結果と、クエリ座標と、に基づき、クエリ画像に含まれる人物の疲労の有無を判定する情報処理方法である。
【発明の効果】
【0011】
本発明の一態様により、利便性が高い情報処理システムを提供することができる。又は、短時間で疲労、ストレス等を検出することができる情報処理システムを提供することができる。又は、ニューラルネットワークを用いて疲労、ストレス等を検出することができる情報処理システムを提供することができる。又は、高い精度で疲労、ストレス等を検出することができる情報処理システムを提供することができる。又は、簡易な方法で疲労、ストレス等を検出することができる情報処理システムを提供することができる。
【0012】
又は、利便性が高い情報処理方法を提供することができる。又は、短時間で疲労、ストレス等を検出することができる情報処理方法を提供することができる。又は、ニューラルネットワークを用いて疲労、ストレス等を検出することができる情報処理方法を提供することができる。又は、高い精度で疲労、ストレス等を検出することができる情報処理方法を提供することができる。又は、簡易な方法で疲労、ストレス等を検出することができる情報処理方法を提供することができる。
【0013】
なお、複数の効果の記載は、他の効果の存在を妨げるものではない。また、本発明の一態様は、必ずしも、例示した効果のすべてを有する必要はない。また、本発明の一態様について、上記以外の課題、効果、及び新規な特徴については、本明細書の記載及び図面から自ずと明らかになるものである。
【図面の簡単な説明】
【0014】
図１は、情報処理システムの構成例を示すブロック図である。
図２Ａ、及び図２Ｂは、ニューラルネットワークの構成例を示す模式図である。
図３は、情報処理方法の一例を示すフローチャートである。
図４Ａ、及び図４Ｂは、情報処理方法の一例を示す模式図である。
図５Ａ、及び図５Ｂは、情報処理方法の一例を示す模式図である。
図６は、情報処理方法の一例を示すグラフである。
図７は、情報処理方法の一例を示すフローチャートである。
図８は、情報処理方法の一例を示す模式図である。
図９Ａ乃至図９Ｃ、並びに図９Ｄ１及び図９Ｄ２は、情報処理方法の一例を示すグラフである。
図１０Ａ乃至図１０Ｄは、電子機器の一例を示す図である。
図２Ａ、及び図２Ｂは、ニューラルネットワークの構成例を示す模式図である。
図３は、情報処理方法の一例を示すフローチャートである。
図４Ａ、及び図４Ｂは、情報処理方法の一例を示す模式図である。
図５Ａ、及び図５Ｂは、情報処理方法の一例を示す模式図である。
図６は、情報処理方法の一例を示すグラフである。
図７は、情報処理方法の一例を示すフローチャートである。
図８は、情報処理方法の一例を示す模式図である。
図９Ａ乃至図９Ｃ、並びに図９Ｄ１及び図９Ｄ２は、情報処理方法の一例を示すグラフである。
図１０Ａ乃至図１０Ｄは、電子機器の一例を示す図である。
【発明を実施するための形態】
【0015】
以下に、本発明の実施の形態を説明する。ただし、本発明の一態様は、以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明の一態様は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。
【0016】
また、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に関わること、又は一つの機能を複数の構成要素で実現することもあり得る。
【0017】
（実施の形態１）
本実施の形態では、本発明の一態様の情報処理システム、及び当該情報処理システムを用いた情報処理方法について説明を行う。本発明の一態様の情報処理システム、及び情報処理方法では、例えばスマートフォン、又はタブレット等の携帯情報端末の使用者の疲労、ストレス等の有無を判定することができる。具体的には、年齢を推定する機能を有するニューラルネットワークを用いて、疲労、ストレス等の有無を判定することができる。
本実施の形態では、本発明の一態様の情報処理システム、及び当該情報処理システムを用いた情報処理方法について説明を行う。本発明の一態様の情報処理システム、及び情報処理方法では、例えばスマートフォン、又はタブレット等の携帯情報端末の使用者の疲労、ストレス等の有無を判定することができる。具体的には、年齢を推定する機能を有するニューラルネットワークを用いて、疲労、ストレス等の有無を判定することができる。
【0018】
＜情報処理システムの構成例＞
図１は、本発明の一態様の情報処理システムである、情報処理システム１０の構成例を示すブロック図である。情報処理システム１０は、電子機器に組み込むことができる。例えば、スマートフォン、タブレット等の携帯情報端末に組み込むことができる。
図１は、本発明の一態様の情報処理システムである、情報処理システム１０の構成例を示すブロック図である。情報処理システム１０は、電子機器に組み込むことができる。例えば、スマートフォン、タブレット等の携帯情報端末に組み込むことができる。
【0019】
情報処理システム１０は、撮像部１１と、記憶部１２と、処理部２０と、出力部１３と、を有する。処理部２０は、画像算出部２１と、年齢推定部２２と、比較部２３と、判定部２４と、を有する。
【0020】
本明細書等において、処理部２０の構成要素である、画像算出部２１、年齢推定部２２、比較部２３、及び判定部２４のそれぞれについても、処理部という場合がある。例えば、画像算出部２１を第１の処理部といい、年齢推定部２２を第２の処理部といい、比較部２３を第３の処理部といい、判定部２４を第４の処理部という場合がある。
【0021】
図１において、情報処理システム１０の構成要素間のデータ等のやり取りを、矢印で示している。なお、図１に示すデータのやり取りは一例であり、例えば矢印によって結合されていない構成要素間でデータ等のやり取りを行うことができる場合がある。また、矢印によって結合されている構成要素間であっても、データのやり取りを行わない場合がある。
【0022】
撮像部１１は、画像を取得する機能を有する。例えば、撮像部１１には、光電変換素子を有する画素がマトリクス状に配列されており、当該画素を用いて撮像を行うことにより、画像を取得することができる。撮像部１１が取得する画像は、人物を含む画像とすることができ、例えば情報処理システム１０が組み込まれている電子機器の使用者を含む画像とすることができる。具体的には、撮像部１１が取得する画像は、例えば顔を含む画像とすることができ、例えば情報処理システム１０が組み込まれている電子機器の使用者の顔を含む画像とすることができる。
【0023】
本明細書等において、情報処理システムが組み込まれている電子機器の使用者を、情報処理システムの使用者という場合がある。例えば、情報処理システム１０が組み込まれている電子機器の使用者を、情報処理システム１０の使用者という場合がある。
【0024】
記憶部１２は、撮像部１１が取得した画像を記憶する機能を有する。記憶部１２に記憶されている画像は、必要に応じて、処理部２０に出力することができる。記憶部１２に記憶されている画像は、例えば画像算出部２１、年齢推定部２２等に出力することができる。
【0025】
また、記憶部１２は、処理部２０が出力するデータ等を記憶する機能を有する。例えば、処理部２０が記憶部１２に記憶されている画像を読み出して処理を行い、当該処理により処理部２０が取得したデータ等を記憶する機能を記憶部１２は有する。
【0026】
記憶部１２は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を有することができる。また、記憶部１２は、例えばフラッシュメモリ、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、抵抗変化型メモリともいう）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、磁気抵抗型メモリともいう）等の不揮発性メモリを有することができる。さらに、記憶部１２は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を有してもよい。
【0027】
画像算出部２１は、複数の画像を基にして、新たな画像を取得する機能を有する。例えば、複数の画像の平均画像を取得する機能を有する。例えば、記憶部１２に、顔を含む画像が複数記憶されている場合、画像算出部２１は、まず、当該複数の画像から顔を抽出する。抽出した顔の画像を、顔画像という。次に、顔画像の解像度をそろえた後、顔画像の平均画像を取得する。画像算出部２１が取得した画像は、記憶部１２に記憶される。
【0028】
本明細書等において、画像算出部２１が取得した画像を、参照画像という。また、顔画像の平均画像を、平均顔画像という場合がある。前述のように、画像算出部２１は、例えば平均顔画像を取得する機能を有する。よって、参照画像は、例えば平均顔画像とすることができる。
【0029】
年齢推定部２２は、ニューラルネットワークＮＮによる処理を行う機能を有する。具体的には、年齢推定部２２に入力された画像に対して、ニューラルネットワークＮＮによる処理を行う機能を有する。処理結果は、比較部２３に出力される。又は、処理結果は、記憶部１２に記憶される。
【0030】
ニューラルネットワークＮＮは、人物を含む画像が入力された場合に、当該人物の年齢を推定する機能を有する。例えば、ニューラルネットワークＮＮは、顔を含む画像が入力された場合に、当該顔の特徴量に基づき、年齢を推定する機能を有する。例えば、しわ、たるみ、しみ、ほうれい線等に基づき、年齢を推定することができる。例えば、口周辺、又は目じりのしわ等に基づき、年齢を推定することができる。
【0031】
図２Ａは、ニューラルネットワークＮＮの構成例を示す図である。ニューラルネットワークＮＮは、層Ｌ［１］乃至層Ｌ［ｍ］（ｍは２以上の整数）を有する。
【0032】
層Ｌ［１］乃至層Ｌ［ｍ］は、ニューロンを有し、各層に設けられているニューロン同士が結合されている。例えば、層Ｌ［１］に設けられているニューロンは、層Ｌ［２］に設けられているニューロンと結合されている。また、層Ｌ［２］に設けられているニューロンは、層Ｌ［１］に設けられているニューロン、及び層Ｌ［３］に設けられているニューロンと結合されている。つまり、層Ｌ［１］乃至層Ｌ［ｍ］により、階層型のニューラルネットワークが構成されている。
【0033】
画像は層Ｌ［１］に入力され、層Ｌ［１］は入力された画像に対応するデータを出力する。当該データは層Ｌ［２］に入力され、層Ｌ［２］は入力されたデータに対応するデータを出力する。層Ｌ［ｍ］には層Ｌ［ｍ－１］から出力されたデータが入力され、層Ｌ［ｍ］は当該入力されたデータに対応するデータを出力する。以上より、層Ｌ［１］を入力層、層Ｌ［２］乃至層Ｌ［ｍ－１］を中間層、層Ｌ［ｍ］を出力層とすることができる。
【0034】
ニューラルネットワークＮＮは、例えば層Ｌ［１］乃至層Ｌ［ｍ］から出力されるデータが、ニューラルネットワークＮＮに入力された画像の特徴に対応するものとなるようにあらかじめ学習されている。学習は、教師なし学習、教師あり学習等により行うことができる。教師なし学習、教師あり学習のどちらの方法で学習を行う場合であっても、学習アルゴリズムとして誤差逆伝播方式等を用いることができる。
【0035】
ニューラルネットワークＮＮは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）とすることができる。図２Ｂは、ニューラルネットワークＮＮとしてＣＮＮを適用した場合の、ニューラルネットワークＮＮの構成例を示す図である。ここで、ＣＮＮを適用したニューラルネットワークＮＮを、ニューラルネットワークＮＮａとする。
【0036】
ニューラルネットワークＮＮａは、畳み込み層ＣＬ、プーリング層ＰＬ、及び全結合層ＦＣＬを有する。図２Ｂでは、ニューラルネットワークＮＮａが、畳み込み層ＣＬとプーリング層ＰＬをそれぞれｍ層（ｍは１以上の整数）ずつ有し、全結合層ＦＣＬを２層有する例を示している。なお、ニューラルネットワークＮＮａは、全結合層ＦＣＬを１層だけ有してもよいし、３層以上有してもよい。
【0037】
畳み込み層ＣＬは、当該畳み込み層ＣＬに入力されたデータに対して畳み込みを行う機能を有する。例えば、畳み込み層ＣＬ［１］は、年齢推定部２２に入力された画像に対して畳み込みを行う機能を有する。また、畳み込み層ＣＬ［２］は、プーリング層ＰＬ［１］から出力されたデータに対して畳み込みを行う機能を有する。また、畳み込み層ＣＬ［ｍ］は、プーリング層ＰＬ［ｍ－１］から出力されたデータに対して畳み込みを行う機能を有する。
【0038】
畳み込みは、畳み込み層ＣＬに入力されたデータと、重みフィルタと、の積和演算を繰り返すことにより行われる。畳み込み層ＣＬにおける畳み込みにより、ニューラルネットワークＮＮａに入力された画像に対応する画像の特徴等が抽出される。
【0039】
畳み込みが施されたデータは、活性化関数によって変換された後、プーリング層ＰＬに出力される。活性化関数としては、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）等を用いることができる。ＲｅＬＵは、入力値が負である場合は“０”を出力し、入力値が“０”以上である場合は入力値をそのまま出力する関数である。また、活性化関数として、シグモイド関数、ｔａｎｈ関数等を用いることもできる。
【0040】
プーリング層ＰＬは、畳み込み層ＣＬから入力されたデータに対してプーリングを行う機能を有する。プーリングは、データを複数の領域に分割し、当該領域ごとに所定のデータを抽出してマトリクス状に配置する処理である。プーリングにより、畳み込み層ＣＬによって抽出された特徴を残しつつ、データ量を小さくすることができる。また、入力データの微小なずれに対するロバスト性を高めることができる。なお、プーリングとしては、最大プーリング、平均プーリング、Ｌｐプーリング等を用いることができる。
【0041】
全結合層ＦＣＬは、入力されたデータを結合し、結合後のデータを活性化関数により変換して出力する機能を有する。活性化関数として、ＲｅＬＵ、シグモイド関数、ｔａｎｈ関数等を用いることができる。全結合層ＦＣＬは、ある層の全てのノードが、次の層の全てのノードと接続された構成を有する。畳み込み層ＣＬ又はプーリング層ＰＬから出力されたデータは２次元の特徴マップであり、全結合層ＦＣＬに入力されると１次元に展開される。そして、全結合層ＦＣＬによる推論によって得られたベクトルが、当該全結合層ＦＣＬから出力される。
【0042】
ニューラルネットワークＮＮａにおいて、１層の全結合層ＦＣＬを、出力層とすることができる。例えば、図２Ｂに示すニューラルネットワークＮＮａでは、全結合層ＦＣＬ［２］を出力層とすることができる。ここで、図２Ｂに示すニューラルネットワークＮＮａでは、全結合層ＦＣＬ［１］は中間層とすることができる。また、ニューラルネットワークＮＮａが、全結合層ＦＣＬとして全結合層ＦＣＬ［１］のみを有する場合は、全結合層ＦＣＬ［１］を出力層とすることができる。さらに、ニューラルネットワークＮＮａが、全結合層ＦＣＬ［１］乃至全結合層ＦＣＬ［３］を有する場合は、全結合層ＦＣＬ［３］を出力層とし、全結合層ＦＣＬ［１］及び全結合層ＦＣＬ［２］を中間層とすることができる。ニューラルネットワークＮＮａが、全結合層ＦＣＬを４層以上有する場合も同様に、１層の全結合層ＦＣＬを出力層とし、残りの全結合層ＦＣＬを中間層とすることができる。
【0043】
なお、ニューラルネットワークＮＮａの構成は図２Ｂの構成に限定されない。例えば、プーリング層ＰＬが複数の畳み込み層ＣＬごとに設けられていてもよい。つまり、ニューラルネットワークＮＮａが有するプーリング層ＰＬの数は、畳み込み層ＣＬの数より少なくてもよい。また、抽出された特徴の位置情報を極力残したい場合は、プーリング層ＰＬを設けなくてもよい。
【0044】
ニューラルネットワークＮＮａは学習を行うことにより、重みフィルタのフィルタ値、全結合層ＦＣＬの重み係数等を最適化することができる。
【0045】
ニューラルネットワークＮＮの入力層に、人物を含む画像が入力されると、ニューラルネットワークＮＮの出力層から、当該人物の推定年齢が出力される。例えば、ニューラルネットワークＮＮが図２Ａに示す構成である場合、入力層である層Ｌ［１］に人物を含む画像が入力されると、出力層である層Ｌ［ｍ］から、当該人物の推定年齢が出力される。また、ニューラルネットワークＮＮが、図２Ｂに示す構成のニューラルネットワークＮＮａである場合、入力層である畳み込み層ＣＬ［１］に人物を含む画像が入力されると、出力層である全結合層ＦＣＬ［２］から、当該人物の推定年齢が出力される。
【0046】
比較部２３は、ニューラルネットワークＮＮの出力層が出力したデータを比較する機能を有する。例えば、ニューラルネットワークＮＮの出力層が出力した推定年齢を比較する機能を有する。具体的には、例えば撮像部１１が取得した画像に含まれる者の推定年齢と、参照画像をニューラルネットワークＮＮに入力することにより取得された推定年齢と、を比較する機能を有する。例えば、撮像部１１が取得した画像に含まれる者の推定年齢と、参照画像をニューラルネットワークＮＮに入力することにより取得された推定年齢と、の差を算出することにより、比較を行うことができる。
【0047】
また、比較部２３は、ニューラルネットワークＮＮの中間層が出力したデータを比較する機能を有する。例えば、ニューラルネットワークＮＮが図２Ａに示す構成である場合、層Ｌ［ｍ－１］が出力したデータを比較する機能を有する。具体的には、例えば撮像部１１が取得した画像をニューラルネットワークＮＮに入力した場合に層Ｌ［ｍ－１］が出力したデータと、参照画像をニューラルネットワークＮＮに入力した場合に層Ｌ［ｍ－１］が出力したデータと、を比較する機能を有する。また、ニューラルネットワークＮＮが図２Ｂに示す構成のニューラルネットワークＮＮａである場合、例えば全結合層ＦＣＬ［１］が出力したデータを比較する機能を有する。又は、プーリング層ＰＬ［ｍ］が出力したデータを比較する機能を有する。ニューラルネットワークＮＮの中間層が出力したデータの比較は、例えば類似度を算出することにより行うことができる。例えば、コサイン類似度、共分散、不偏共分散、ピアソンの積率相関係数等を用いて、類似度を算出することができる。特に、コサイン類似度を用いることが好ましい。
【0048】
さらに、比較部２３は、上記比較結果を基に、座標を取得する機能を有する。例えば、ニューラルネットワークＮＮの出力層が出力した推定年齢の比較結果をｘ座標、ニューラルネットワークＮＮの中間層が出力したデータの比較結果をｙ座標として、座標を取得する機能を有する。
【0049】
なお、ニューラルネットワークＮＮの中間層のうち、２層以上の中間層について、出力データを比較してもよい。例えば、ニューラルネットワークＮＮが図２Ａに示す構成である場合、層Ｌ［ｍ－１］が出力したデータ、及び層Ｌ［ｍ－２］が出力したデータを比較する機能を有する。具体的には、例えば撮像部１１が取得した画像をニューラルネットワークＮＮに入力した場合に層Ｌ［ｍ－１］が出力したデータ、及び層Ｌ［ｍ－２］が出力したデータと、参照画像をニューラルネットワークＮＮに入力した場合に層Ｌ［ｍ－１］が出力したデータ、及び層［ｍ－２］が出力したデータと、を比較する機能を有する。また、ニューラルネットワークＮＮが図２Ｂに示す構成のニューラルネットワークＮＮａである場合、例えば全結合層ＦＣＬ［１］が出力したデータ、及びプーリング層ＰＬ［ｍ］が出力したデータを比較する機能を有する。具体的には、例えば撮像部１１が取得した画像をニューラルネットワークＮＮａに入力した場合に全結合層ＦＣＬ［１］が出力したデータ、及びプーリング層ＰＬ［ｍ］が出力したデータと、参照画像をニューラルネットワークＮＮａに入力した場合に全結合層ＦＣＬ［１］が出力したデータ、及びプーリング層ＰＬ［ｍ］が出力したデータと、を比較する機能を有する。
【0050】
判定部２４は、比較部２３が取得した座標に対して、クラスタリングを行う機能を有する。また、判定部２４は、クラスタリングの結果に基づき、判定を行う機能を有する。例えば、撮像部１１が取得した画像に人物が含まれる場合、当該人物の疲労の有無、又はストレスの有無等を判定する機能を有する。クラスタリングの方法、及び疲労等の有無の判定方法の詳細は後述する。
【0051】
処理部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いて処理を行うことができる。例えば、画像算出部２１、比較部２３、及び判定部２４は、ＣＰＵを用いて処理を行うことができる。また、年齢推定部２２は、ニューラルネットワークＮＮにより構成されるため、ＧＰＵを用いると、高速で処理を行うことができるため好ましい。
【0052】
出力部１３は、判定部２４による判定結果を出力する機能を有する。出力部１３は、例えば表示部を有し、当該表示部に疲労、ストレス等の判定結果を表示することができる。また、出力部１３は、例えばスピーカを有し、疲労、ストレス等があると判定された場合に、警告のための音を発することができる。
【0053】
＜情報処理方法の一例＞
以下では、情報処理システム１０を用いた情報処理方法の一例を説明する。具体的には、情報処理システム１０を用いて、疲労の有無を判定する方法の一例を説明する。
以下では、情報処理システム１０を用いた情報処理方法の一例を説明する。具体的には、情報処理システム１０を用いて、疲労の有無を判定する方法の一例を説明する。
【0054】
図３は、情報処理システム１０に、疲労の有無を判定する機能を持たせる方法の一例を説明するフローチャートである。まず、撮像部１１が、画像３１［１］乃至画像３１［ｎ］（ｎは２以上の整数）を取得する（ステップＳ０１）。画像３１［１］乃至画像３１［ｎ］は、同一人物を含む画像とする。画像３１［１］乃至画像３１［ｎ］は、例えば図４Ａに示すように、同一人物の顔を含む画像とする。画像３１［１］乃至画像３１［ｎ］に含まれる人物は、例えば情報処理システム１０の使用者とすることができる。
【0055】
画像３１［１］乃至画像３１［ｎ］に含まれる人物は、例えば疲労が無い状態とする。例えば、撮像部１１は、情報処理システム１０の使用者に疲労が無い場合に、画像３１［１］乃至画像３１［ｎ］を取得する。
【0056】
画像３１［１］乃至画像３１［ｎ］は、一定の期間内に取得する。例えば、１ヶ月以内、３ヶ月以内、６ヶ月以内、又は１年以内に、画像３１［１］乃至画像３１［ｎ］を取得することが好ましい。例えば、１月１日から１月３１日まで、毎日１つずつ画像３１を取得する場合、ｎは３１となる。また、例えば１月に１０個ずつ、６ヶ月にわたって画像３１を取得する場合、ｎは６０となる。
【0057】
次に、画像算出部２１が、画像３１［１］乃至画像３１［ｎ］を基に、参照画像３２を取得する（ステップＳ０２）。図４Ｂは、ステップＳ０２における動作の一例を示す模式図である。例えば、画像３１［１］乃至画像３１［ｎ］の平均を算出することにより、参照画像３２を取得する。例えば、画像３１［１］乃至画像３１［ｎ］に、顔が含まれる場合、まず、画像３１［１］乃至画像３１［ｎ］のそれぞれから顔を抽出することにより、ｎ個の顔画像を取得する。次に、ｎ個の顔画像の解像度をそろえた後、ｎ個の顔画像の平均画像を取得する。当該平均画像を、参照画像３２とすることができる。
【0058】
その後、年齢推定部２２に、画像３１［１］乃至画像３１［ｎ］をそれぞれ入力する（ステップＳ０３）。図５Ａは、ステップＳ０３における動作の一例を示す模式図である。図５Ａでは、年齢推定部２２が、図２Ａに示す構成のニューラルネットワークＮＮによる処理を行う機能を有するとしている。なお、以降の図においても、年齢推定部２２は、図２Ａに示す構成のニューラルネットワークＮＮによる処理を行う機能を有するものとする。
【0059】
図５Ａに示すように、画像３１［１］乃至画像３１［ｎ］はそれぞれ、入力層としての機能を有する層Ｌ［１］に入力される。これにより、出力層としての機能を有する層Ｌ［ｍ］から、推定年齢３３［１］乃至推定年齢３３［ｎ］が出力される。例えば、画像３１［ｉ］（ｉは１以上ｎ以下の整数）が層Ｌ［１］に入力された場合は、推定年齢３３［ｉ］が層Ｌ［ｍ］から出力される。図５Ａでは、推定年齢３３［１］がａａであり、推定年齢３３［２］がｂｂであり、推定年齢３３［ｎ］がｃｃであるとしている。また、中間層から、データが出力される。当該データは、例えば層Ｌ［１］に入力された画像３１の特徴量を表すものとすることができる。図５Ａでは、画像３１［ｉ］が層Ｌ［１］に入力された場合に、層Ｌ［ｍ－１］から出力されるデータをデータ３４［ｉ］とする。
【0060】
データ３４［１］乃至データ３４［ｎ］は、例えばベクトルとすることができる。図５Ａには、ベクトルであるデータ３４［１］乃至データ３４［ｎ］に含まれる成分を示している。図５Ａでは、データ３４［１］に成分としてＶａ１、及びＶａ２等が含まれ、データ３４［２］に成分としてＶｂ１、及びＶｂ２等が含まれ、データ３４［ｎ］に成分としてＶｃ１、及びＶｃ２等が含まれるとしている。
【0061】
また、年齢推定部２２に、参照画像３２を入力する（ステップＳ０４）。図５Ｂは、ステップＳ０４における動作の一例を示す模式図である。図５Ｂに示すように、参照画像３２は、入力層としての機能を有する層Ｌ［１］に入力される。これにより、出力層としての機能を有する層Ｌ［ｍ］から、参照推定年齢３５が出力される。図５Ｂでは、推定年齢３５がｋｋであるとしている。また、中間層から、データが出力される。当該データは、例えば層Ｌ［１］に入力された参照画像３２の特徴量を表すものとすることができる。図５Ｂでは、参照画像３２が層Ｌ［１］に入力された場合に、層Ｌ［ｍ－１］から出力されるデータを参照データ３６とする。参照データ３６は、例えばベクトルとすることができる。図５Ｂには、ベクトルである参照データ３６に含まれる成分を示している。図５Ｂでは、参照データ３６に成分としてＶｋ１、及びＶｋ２等が含まれるとしている。
【0062】
本明細書等において、年齢推定部２２に参照画像を入力した際に、年齢推定部２２から出力される推定年齢を、参照推定年齢という。また、年齢推定部２２に参照画像を入力した際に、中間層から出力されるデータを、参照データという。
【0063】
参照データ３６は、例えばベクトルとすることができる。図５Ｂには、参照データ３６の成分を示している。
【0064】
ステップＳ０３とステップＳ０４の終了後、比較部２３が、推定年齢３３［１］乃至推定年齢３３［ｎ］と、参照推定年齢３５を基に、値ＸＶ［１］乃至値ＸＶ［ｎ］を取得する（ステップＳ０５）。具体的には、推定年齢３３［ｉ］と、参照推定年齢３５を基に、値ＸＶ［ｉ］を取得する。例えば、推定年齢３３［ｉ］と、参照推定年齢３５との差を、値ＸＶ［ｉ］とすることができる。
【0065】
また、比較部２３が、データ３４［１］乃至データ３４［ｎ］と、参照データ３６を基に、値ＹＶ［１］乃至値ＹＶ［ｎ］を取得する（ステップＳ０６）。具体的には、データ３４［ｉ］と、参照データ３６を基に、値ＹＶ［ｉ］を取得する。例えば、ベクトルであるデータ３４［ｉ］と、参照データ３６との類似度を、値ＹＶ［ｉ］とすることができる。当該類似度は、コサイン類似度、共分散、不偏共分散、ピアソンの積率相関係数等を用いて算出することができる。特に、コサイン類似度を用いることが好ましい。
【0066】
ステップＳ０５とステップＳ０６の終了後、比較部２３は、値ＸＶ［１］乃至値ＸＶ［ｎ］をｘ座標、値ＹＶ［１］乃至値ＹＶ［ｎ］をｙ座標とする座標を取得する（ステップＳ０７）。具体的には、値ＸＶ［ｉ］をｘ座標、値ＹＶ［ｉ］をｙ座標とする座標（ＸＶ［ｉ］，ＹＶ［ｉ］）を取得する。ここで、座標（ＸＶ［ｉ］，ＹＶ［ｉ］）を、第ｉの座標という。図６には、ｘｙ座標系を示している。図６に示す座標系において、座標をプロットで示す。なお、他の図に示す座標系でも同様の表記をする。図６には、第１乃至第ｎの座標が表されているものとする。つまり、ｎ個の座標（プロット）が表されているものとする。
【0067】
比較部２３が第１乃至第ｎの座標を取得した後、例えば判定部２４が、第１乃至第ｎの座標に対してクラスタリングを行う。例えば、第１乃至第ｎの座標を基に、１つのクラスタを形成する。当該クラスタが含まれる領域を、領域３０とする。クラスタリングは、例えば局所外れ値因子法（ＬＯＦ：Ｌｏｃａｌ Ｏｕｔｌｉｅｒ Ｆａｃｔｏｒ）を用いて行うことができる。クラスタリングをＬＯＦにより行う場合、領域３０の外側の座標は、外れ値であるとすることができる。
【0068】
図７は、図３乃至図６に示す処理を行った情報処理システム１０を用いて、疲労の有無を判定する方法の一例を示すフローチャートである。まず、撮像部１１が、画像４１を取得する（ステップＳ１１）。画像４１は、画像３１［１］乃至画像３１［ｎ］に含まれる人物と同一人物を含む画像とする。例えば、画像３１［１］乃至画像３１［ｎ］に顔が含まれる場合、画像４１は、当該顔を有する人物と同一人物の顔を含む画像とする。
【0069】
本明細書等において、画像４１を、クエリ画像という場合がある。また、画像３１［１］乃至画像３１［ｎ］を、第１乃至第ｎの画像という場合、画像４１を第ｎ＋１の画像という場合がある。
【0070】
次に、年齢推定部２２に、画像４１を入力する（ステップＳ１２）。図８は、ステップＳ１２における動作の一例を示す模式図である。図８に示すように、画像４１は、入力層としての機能を有する層Ｌ［１］に入力される。これにより、出力層としての機能を有する層Ｌ［ｍ］から、推定年齢４２が出力される。図８では、推定年齢４２がｑｑであるとしている。また、中間層から、データが出力される。図８では、画像４１が層Ｌ［１］に入力された場合に、層Ｌ［ｍ－１］から出力されるデータをデータ４３とする。データ４３は、例えばベクトルとすることができる。図８には、ベクトルであるデータ４３に含まれる成分を示している。図８では、参照データ３６に成分としてＶｑ１、及びＶｑ２等が含まれるとしている。
【0071】
データ４３は、例えばベクトルとすることができる。図８には、データ４３の成分を示している。
【0072】
なお、例えば画像４１に顔が含まれる場合、画像４１から顔を抽出して顔画像を取得した後、当該顔画像の解像度を、画像３１［１］乃至画像３１［ｎ］から取得された顔画像の解像度とそろえた後に、年齢推定部２２に入力することができる。この処理は、例えば画像算出部２１により行うことができる。
【0073】
本明細書等において、例えば、画像４１を第ｎ＋１の画像という場合、推定年齢４２を第ｎ＋１の推定年齢といい、データ４３を第ｎ＋１のデータという場合がある。また、例えば画像４１をクエリ画像という場合、推定年齢４２をクエリ推定年齢と言い、データ４３をクエリデータという場合がある。
【0074】
その後、比較部２３が、推定年齢４２と、参照推定年齢３５を基に、値ＸＶｑを取得する（ステップＳ１３）。具体的には、値ＸＶ［１］乃至値ＸＶ［ｎ］を取得するために用いた方法と同様の方法により、値ＸＶｑを取得する。例えば、推定年齢３３［ｉ］と参照推定年齢３５の差を値ＸＶ［ｉ］とした場合、推定年齢４２と参照推定年齢３５の差を値ＸＶｑとする。なお、画像３１［１］乃至画像３１［ｎ］を取得してから長期間経過した後に、画像４１を取得する場合、例えば推定年齢４２から当該期間を引いた値と、参照推定年齢３５と、を基に、値ＸＶｑを取得してもよい。例えば、画像３１［１］乃至画像３１［ｎ］のうち、画像３１［ｎ］を最も後に取得された画像とし、画像３１［ｎ］の取得から１年後に画像４１を取得する場合、推定年齢４２と参照推定年齢３５の差から１年を引いた値を、値ＸＶｑとすることができる。これにより、画像３１［１］乃至画像３１［ｎ］の取得から長期間経過した後に画像４１を取得した場合であっても、疲労等の有無を高い精度で判定することができる。
【0075】
また、比較部２３が、データ４３と、参照データ３６を基に、値ＹＶｑを取得する（ステップＳ１４）。具体的には、値ＹＶ［１］乃至値ＹＶ［ｎ］を取得するために用いた方法と同様の方法により、値ＹＶｑを取得する。例えば、データ３４［ｉ］と参照データ３６のコサイン類似度を値ＹＶ［ｉ］とした場合、データ４３と参照データ３６のコサイン類似度を値ＹＶｑとする。
【0076】
ステップＳ１３とステップＳ１４の終了後、比較部２３は、値ＸＶｑをｘ座標、値ＹＶｑをｙ座標とする座標を取得する（ステップＳ１５）。図９Ａ乃至図９Ｃに、座標（ＸＶｑ，ＹＶｑ）を示す。ここで、図９には、図６に示されている座標も示している。なお、画像４１を第ｎ＋１の画像という場合、座標（ＸＶｑ，ＹＶｑ）を第ｎ＋１の座標という場合がある。また、画像４１をクエリ画像という場合、座標（ＸＶｑ，ＹＶｑ）をクエリ座標という場合がある。
【0077】
次に、判定部２４が、座標（ＸＶ［１］，ＹＶ［１］）乃至座標（ＸＶ［ｎ］，ＹＶ［ｎ］）と、座標（ＸＶｑ，ＹＶｑ）を基に、画像４１に含まれる人物の疲労の有無を判定する（ステップＳ１６）。例えば、画像４１に顔が含まれる場合は、当該顔を有する者の疲労の有無を判定する。具体的には、座標（ＸＶｑ、ＹＶｑ）が、図９Ａ乃至図９Ｃ等に示す領域５０に含まれる場合は疲労ありと判定し、含まれない場合は疲労なしと判定する。
【0078】
領域５０について、以下説明する。前述のように、画像３１［１］乃至画像３１［ｎ］に含まれる人物は、例えば疲労が無い状態であるとしている。よって、座標（ＸＶ［１］，ＹＶ［１］）乃至座標（ＸＶ［ｎ］，ＹＶ［ｎ］）を基にＬＯＦ等を用いて形成された領域３０に座標（ＸＶｑ，ＹＶｑ）が含まれる場合は、画像４１に含まれる人物は疲労なしと判定することができる。また、人間は疲労があると、顔等のしわ、たるみ等が増加し、疲労がない場合より年齢が高く見える傾向がある。言い換えると、疲労がある人間は、疲労がない人間より、同一年齢の同一人物であっても年齢推定部２２による推定年齢を高くさせる特徴を多く有するということができる。よって、例えば画像４１から取得された値ＸＶｑを、画像４１から取得された推定年齢４２と、参照画像３２から取得された参照推定年齢３５の差とする場合、値ＸＶｑが負の値である場合は、画像４１に含まれる人物は疲労なしと判定することができる。以上より、領域５０は図９Ａ乃至図９Ｃに示すように、例えば領域３０に含まれず、座標ＸＶｑが０以上である領域とすることができる。
【0079】
図９Ａは、座標（ＸＶｑ，ＹＶｑ）が領域５０に含まれる場合を示している。この場合、画像４１に含まれる人物は疲労ありと判定することができる。また、図９Ｂは、座標（ＸＶｑ，ＹＶｑ）が領域３０に含まれる場合を示している。この場合、画像４１に含まれる人物は疲労なしと判定することができる。さらに、図９Ｃは、座標（ＸＶｑ，ＹＶｑ）が領域３０にも領域５０にも含まれない場合を示している。この場合であっても、図９Ｂに示す場合と同様に、画像４１に含まれる人物は疲労なしと判定することができる。
【0080】
図９Ａ乃至図９Ｃでは、例えば領域３０に含まれず、座標ＸＶｑが０以上である領域を領域５０としているが、領域５０の範囲はこれに限らない。図９Ｄ１、及び図９Ｄ２は、図６に示すｘｙ座標系に領域５０を追記したものであり、領域５０の範囲が図９Ａ乃至図９Ｃに示すものと異なる。なお、図９Ｄ１、及び図９Ｄ２には、座標（ＸＶｑ，ＹＶｑ）は示していない。
【0081】
図９Ｄ１では、ｘ座標が、領域３０の境界部のｘ座標のうち、最も大きいｘ座標以上の大きさである領域を、領域５０としている。なお、ｘ座標が、領域３０の境界部のｘ座標のうち、最も大きいｘ座標以上の大きさであれば、いずれのｙ座標でも領域５０に含まれるとしている。
【0082】
図９Ｄ１では、領域５０を長方形としているが、本発明の一態様はこれに限らない。図９Ｄ２では、ｘ座標が大きいほど、領域５０に含まれるｙ座標の範囲を大きくしている。具体的には、ｘ座標が大きいほど、ｙ座標が大きくても領域５０に含まれるとしている。図９Ｄ２では、領域５０が、上辺と下辺がｘ軸と平行な台形であり、一方の脚が領域３０の境界部と接する例を示している。なお、例えば領域５０を直角三角形とし、斜辺が領域３０の境界部と接する構成としてもよい。
【0083】
図９Ａ乃至図９Ｃ、並びに図９Ｄ１及び図９Ｄ２に示す場合では、領域３０と、ｘ座標の大きさと、を基に領域５０を定めている。前述のように、ｘ座標は、例えば推定年齢と、参照推定年齢との差とすることができる。よって、領域３０を形成するために用いる画像３１［１］乃至画像３１［ｎ］は、１年以内に取得することが好ましい。例えば、画像３１［１］乃至画像３１［ｎ］のうち、画像３１［１］を最も前の期間に取得された画像とし、画像３１［ｎ］を最も後の期間に取得された画像とすると、画像３１［１］を取得してから１年以内に画像３１［ｎ］を取得することが好ましい。
【0084】
【0085】
情報処理システム１０を用いた情報処理方法では、例えば情報処理システム１０の使用者が、情報処理システム１０が組み込まれている電子機器に体の一部を一定期間密着させなくても、当該使用者の疲労等の有無を判定することができる。よって、情報処理システム１０は、利便性が高いということができる。具体的には、情報処理システム１０が組み込まれている電子機器の利便性が高いということができる。また、情報処理システム１０は、撮像部１１が撮像を行い、顔等が含まれている画像を取得すれば、疲労等の有無を判定することができる。よって、情報処理システム１０は、短時間で疲労等の有無を判定することができる。
【0086】
また、情報処理システム１０を用いた情報処理方法では、ニューラルネットワークを用いて疲労等の有無を判定することができる。よって、情報処理システム１０は、疲労等の有無を高い精度で判定することができる。
【0087】
ニューラルネットワークを用いた疲労等の有無の判定方法として、顔等を含む画像をニューラルネットワークに入力し、当該ニューラルネットワークの出力層が、疲労等の有無の推定結果を直接出力することが考えられる。しかしながら、当該方法では、疲労等がない状態の画像と、疲労等がある状態の画像と、の両方を学習データとして用意する必要がある。一方、本発明の一態様の情報処理方法では、例えば情報処理システム１０に疲労等の有無を判定する機能を持たせるために用いる画像３１［１］乃至画像３１［ｎ］は、全て疲労等がない状態の画像とすることができる。よって、情報処理システム１０は、ニューラルネットワークを用いつつ、簡易な方法で疲労等の有無を判定することができる。
【0088】
また、情報処理システム１０を用いた情報処理方法では、例えば画像４１に含まれる人物の疲労等の有無を、当該人物の推定年齢４２と、参照推定年齢３５と、の差を用いて判定する。よって、推定年齢４２そのものは、当該判定には用いない。よって、ニューラルネットワークＮＮによる年齢推定の精度は、高くなくてもよい。よって、例えばニューラルネットワークＮＮの重み等を、疲労等の判定を行う人物ごとにカスタマイズする必要がない。したがって、疲労等の判定を行う人物ごとに学習データを用意する必要がない。以上より、情報処理システム１０は、ニューラルネットワークを用いつつ、簡易な方法で疲労等の有無を判定することができる。
【0089】
本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【0090】
（実施の形態２）
本実施の形態では、本発明の一態様の情報処理システム、及び情報処理方法を適用することができる電子機器の一例について、図面を用いて説明する。
本実施の形態では、本発明の一態様の情報処理システム、及び情報処理方法を適用することができる電子機器の一例について、図面を用いて説明する。
【0091】
発明の一態様の情報処理システム、及び情報処理方法を適用することができる電子機器として、表示機器、スマートフォン、タブレット、パーソナルコンピュータ、記録媒体を備えた画像記憶装置又は画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）等が挙げられる。これら電子機器の具体例を図１０Ａ乃至図１０Ｄに示す。
【0092】
図１０Ａは、携帯電話機９１０の一例であり、例えばスマートフォンとすることができる。携帯電話機９１０は、筐体９１１、表示部９１２、操作ボタン９１３、外部接続ポート９１４、スピーカ９１５、差込口９１６、カメラ９１７、イヤホン差込口９１８等を有する。携帯電話機９１０は、表示部９１２にタッチセンサを設けることができる。電話を掛ける、或いは文字を入力する等のあらゆる操作は、指又はスタイラス等で表示部９１２に触れることで行うことができる。また、差込口９１６には、ＳＤカード等のメモリーカードをはじめとして、ＵＳＢメモリ、ＳＳＤ（ソリッド・ステート・ドライブ）等の各種のリムーバブル記憶装置を差し込むことができる。
【0093】
携帯電話機９１０に本発明の一態様の情報処理システム、及び情報処理方法を適用することにより、携帯電話機９１０は、高い利便性かつ短時間で使用者等の疲労、ストレス等の有無を判定することができる。なお、携帯電話機９１０に情報処理システム１０を適用する場合、図１に示す撮像部１１にはカメラ９１７が含まれるということができる。また、図１に示す出力部１３には表示部９１２、又はスピーカ９１５等が含まれるということができる。
【0094】
図１０Ｂは、携帯データ端末９２０の一例であり、例えばタブレットとすることができる。携帯データ端末９２０は、筐体９２１、表示部９２２、スピーカ９２３、カメラ９２４等を有する。表示部９２２が有するタッチパネル機能により情報の入出力を行うことができる。また、カメラ９２４で取得した画像から文字等を認識し、スピーカ９２３で当該文字を音声出力することができる。
【0095】
携帯データ端末９２０に本発明の一態様の情報処理システム、及び情報処理方法を適用することにより、携帯データ端末９２０は、高い利便性かつ短時間で使用者等の疲労、ストレス等の有無を判定することができる。なお、携帯データ端末９２０に情報処理システム１０を適用する場合、図１に示す撮像部１１にはカメラ９２４が含まれるということができる。また、図１に示す出力部１３には表示部９２２、又はスピーカ９２３等が含まれるということができる。
【0096】
図１０Ｃは、腕時計型の情報端末９３０の一例であり、筐体兼リストバンド９３１、表示部９３２、操作ボタン９３３、外部接続ポート９３４、カメラ９３５等を有する。表示部９３２は、情報端末９３０の操作を行うためのタッチパネルが設けられる。筐体兼リストバンド９３１、及び表示部９３２は可撓性を有し、身体への装着性が優れている。
【0097】
情報端末９３０に本発明の一態様の情報処理システム、及び情報処理方法を適用することにより、情報端末９３０は、高い利便性かつ短時間で使用者等の疲労、ストレス等の有無を判定することができる。なお、情報端末９３０に情報処理システム１０を適用する場合、図１に示す撮像部１１にはカメラ９３５が含まれるということができる。また、図１に示す出力部１３には表示部９３２等が含まれるということができる。
【0098】
図１０Ｄに、ノート型パーソナルコンピュータ９４０を示す。ノート型パーソナルコンピュータ９４０は、筐体９４１、キーボード９４２、ポインティングデバイス９４３、外部接続ポート９４４、スピーカ９４５等を有する。筐体９４１に、表示部９４６、及びカメラ９４７が組み込まれている。
【0099】
ノート型パーソナルコンピュータ９４０に本発明の一態様の情報処理システム、及び情報処理方法を適用することにより、ノート型パーソナルコンピュータ９４０は、高い利便性かつ短時間で使用者等の疲労、ストレス等の有無を判定することができる。なお、ノート型パーソナルコンピュータ９４０に情報処理システム１０を適用する場合、図１に示す撮像部１１にはカメラ９４７が含まれるということができる。また、図１に示す出力部１３には表示部９４６等が含まれるということができる。
【0100】
本実施の形態の電子機器は表示部を有する構成としたが、表示部を有さない電子機器にも本発明の一態様を適用することができる。
【0101】
本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【符号の説明】
【0102】
１０：情報処理システム、１１：撮像部、１２：記憶部、１３：出力部、２０：処理部、２１：画像算出部、２２：年齢推定部、２３：比較部、２４：判定部、３０：領域、３１：画像、３２：参照画像、３３：推定年齢、３４：データ、３５：参照推定年齢、３６：参照データ、４１：画像、４２：推定年齢、４３：データ、５０：領域、９１０：携帯電話機、９１１：筐体、９１２：表示部、９１３：操作ボタン、９１４：外部接続ポート、９１５：スピーカ、９１６：差込口、９１７：カメラ、９１８：イヤホン差込口、９２０：携帯データ端末、９２１：筐体、９２２：表示部、９２３：スピーカ、９２４：カメラ、９３０：情報端末、９３１：筐体兼リストバンド、９３２：表示部、９３３：操作ボタン、９３４：外部接続ポート、９３５：カメラ、９４０：ノート型パーソナルコンピュータ、９４１：筐体、９４２：キーボード、９４３：ポインティングデバイス、９４４：外部接続ポート、９４５：スピーカ、９４６：表示部、９４７：カメラ
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D1】
【図9D2】
【図10A】
【図10B】
【図10C】
【図10D】