(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161623
(43)【公開日】2024-11-19
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20241112BHJP
G06V 10/82 20220101ALI20241112BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2024150460
(22)【出願日】2024-09-02
(62)【分割の表示】P 2021543605の分割
【原出願日】2020-08-25
(31)【優先権主張番号】P 2019162687
(32)【優先日】2019-09-06
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】小國 哲平
(72)【発明者】
【氏名】岡野 達也
(72)【発明者】
【氏名】秋元 健吾
(57)【要約】
【課題】使用者の疲労、眠気等を検出する機能を有する情報処理システムを提供する。
【解決手段】第１及び第２の情報処理装置を有し、機械学習による演算を行う機能を有する情報処理システム。第１の情報処理装置は、顔面を含む第１の動画を取得し、第１の動画に含まれる２以上の第１の画像から目を検出する機能を有する。また、第１の情報処理装置は、第１の画像から検出された目から瞳孔を検出してその大きさを算出し、瞳孔の大きさの経時変化を用いて学習を行う機能を有する。第２の情報処理装置は、顔面を含む第２の動画を取得し、第２の動画に含まれる２以上の第２の画像から目を検出する機能を有する。また、第２の情報処理装置は、第２の画像から検出された目から瞳孔を検出してその大きさを算出し、瞳孔の大きさの経時変化に対して、第１の情報処理装置によって行われた学習の結果に基づき推論を行う機能を有する。
【選択図】図１
【解決手段】第１及び第２の情報処理装置を有し、機械学習による演算を行う機能を有する情報処理システム。第１の情報処理装置は、顔面を含む第１の動画を取得し、第１の動画に含まれる２以上の第１の画像から目を検出する機能を有する。また、第１の情報処理装置は、第１の画像から検出された目から瞳孔を検出してその大きさを算出し、瞳孔の大きさの経時変化を用いて学習を行う機能を有する。第２の情報処理装置は、顔面を含む第２の動画を取得し、第２の動画に含まれる２以上の第２の画像から目を検出する機能を有する。また、第２の情報処理装置は、第２の画像から検出された目から瞳孔を検出してその大きさを算出し、瞳孔の大きさの経時変化に対して、第１の情報処理装置によって行われた学習の結果に基づき推論を行う機能を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮像部と、機械学習による演算を行う機能を有する演算部と、を有し、
前記撮像部は、２フレーム以上の画像の集合である動画を取得する機能を有し、
前記演算部は、前記動画に含まれる前記画像のうち、２以上の前記画像のそれぞれから、第１の物体を検出する機能を有し、
前記演算部は、検出した前記第１の物体のそれぞれから、第２の物体を検出する機能を有し、
前記演算部は、検出した前記第２の物体のそれぞれについて、前記第２の物体の大きさを算出する機能を有し、
前記演算部は、前記第２の物体の大きさの経時変化を用いて学習を行う機能を有する情報処理装置。
前記撮像部は、２フレーム以上の画像の集合である動画を取得する機能を有し、
前記演算部は、前記動画に含まれる前記画像のうち、２以上の前記画像のそれぞれから、第１の物体を検出する機能を有し、
前記演算部は、検出した前記第１の物体のそれぞれから、第２の物体を検出する機能を有し、
前記演算部は、検出した前記第２の物体のそれぞれについて、前記第２の物体の大きさを算出する機能を有し、
前記演算部は、前記第２の物体の大きさの経時変化を用いて学習を行う機能を有する情報処理装置。
【請求項2】
請求項１において、
前記機械学習は、ニューラルネットワークにより行う情報処理装置。
前記機械学習は、ニューラルネットワークにより行う情報処理装置。
【請求項3】
請求項１又は２において、
前記動画には顔面が含まれ、前記第１の物体は目であり、前記第２の物体は瞳孔である情報処理装置。
前記動画には顔面が含まれ、前記第１の物体は目であり、前記第２の物体は瞳孔である情報処理装置。
【請求項4】
第１の動画に含まれる２以上の第１の画像に示される第１の物体の大きさの経時変化を用いて学習を行うことにより得られた学習結果に基づき推論を行う機能を有する情報処理装置であって、
前記情報処理装置は、第２の動画を取得する機能を有し、
前記情報処理装置は、前記第２の動画に含まれる２以上の第２の画像のそれぞれから、第２の物体を検出する機能を有し、
前記情報処理装置は、検出した前記第２の物体のそれぞれから、第３の物体を検出する機能を有し、
前記情報処理装置は、検出した前記第３の物体のそれぞれについて、前記第３の物体の大きさを算出する機能を有し、
前記情報処理装置は、前記第３の物体の大きさの経時変化に対して、前記学習結果に基づく推論を行う機能を有する情報処理装置。
前記情報処理装置は、第２の動画を取得する機能を有し、
前記情報処理装置は、前記第２の動画に含まれる２以上の第２の画像のそれぞれから、第２の物体を検出する機能を有し、
前記情報処理装置は、検出した前記第２の物体のそれぞれから、第３の物体を検出する機能を有し、
前記情報処理装置は、検出した前記第３の物体のそれぞれについて、前記第３の物体の大きさを算出する機能を有し、
前記情報処理装置は、前記第３の物体の大きさの経時変化に対して、前記学習結果に基づく推論を行う機能を有する情報処理装置。
【請求項5】
請求項４において、
前記学習、及び前記推論は、ニューラルネットワークにより行い、
前記学習結果は、重み係数を含む情報処理装置。
前記学習、及び前記推論は、ニューラルネットワークにより行い、
前記学習結果は、重み係数を含む情報処理装置。
【請求項6】
請求項４又は５において、
前記第１の動画には第１の顔面が含まれ、前記第２の動画には第２の顔面が含まれ、前記第１及び第３の物体は瞳孔であり、前記第２の物体は目である情報処理装置。
前記第１の動画には第１の顔面が含まれ、前記第２の動画には第２の顔面が含まれ、前記第１及び第３の物体は瞳孔であり、前記第２の物体は目である情報処理装置。
【請求項7】
請求項６において、前記第２の顔面を有する者の疲労を推定する機能を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、情報処理装置に関する。また、本発明の一態様は、情報処理システムに関する。また、本発明の一態様は、情報処理方法に関する。また、本発明の一態様は、情報端末に関する。
【背景技術】
【0002】
スマートフォン、又はタブレット等の情報端末を長時間使用していると、使用者が疲労、眠気等を感じる場合がある。特に、情報端末の画面を長時間注視することにより、使用者が眼の疲労を感じる場合がある。特許文献１には、眼の疲労の検出装置、及び検出方法が開示されている。
【0003】
疲労、眠気等の有無により、瞳孔径が変化する。例えば、疲労、眠気ありの場合は、疲労、眠気なしの場合より瞳孔径が小さくなる。また、一般的に瞳孔径は周期的に変動するが、疲労、眠気ありの場合は、疲労、眠気なしの場合より瞳孔径の変動周期が長くなる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－１６９６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
スマートフォン、又はタブレット等の情報端末の使用中に、使用者の疲労、眠気等をリアルタイムで検出できると、例えば情報端末の動作を使用者の疲労、眠気等の有無に応じて変化させることができるため好ましい。疲労、眠気等をリアルタイムで検出する場合、使用している情報端末自体が、使用者の疲労、眠気等を推定する機能を有することが好ましい。しかしながら、特許文献１に示す方法で眼の疲労を検出するには、専用の装置が必要である。
【0006】
本発明の一態様は、使用者の疲労、眠気等をリアルタイムで検出する機能を有する情報処理装置を提供することを課題の一とする。又は、本発明の一態様は、精度良く使用者の疲労、眠気等を推定する機能を有する情報処理装置を提供することを課題の一とする。又は、本発明の一態様は、簡易な方法で使用者の疲労、眠気等を推定する機能を有する情報処理装置を提供することを課題の一とする。又は、本発明の一態様は、短時間で使用者の疲労、眠気等を推定する機能を有する情報処理装置を提供することを課題の一とする。
【0007】
本発明の一態様は、使用者の疲労、眠気等をリアルタイムで検出する機能を有する情報処理システムを提供することを課題の一とする。又は、本発明の一態様は、精度良く使用者の疲労、眠気等を推定する機能を有する情報処理システムを提供することを課題の一とする。又は、本発明の一態様は、簡易な方法で使用者の疲労、眠気等を推定する機能を有する情報処理システムを提供することを課題の一とする。又は、本発明の一態様は、短時間で使用者の疲労、眠気等を推定する機能を有する情報処理システムを提供することを課題の一とする。
【0008】
なお、複数の課題の記載は、互いの課題の存在を妨げるものではない。本発明の一形態は、例示したすべての課題を解決する必要はない。また、列記した以外の課題が、本明細書の記載から、自ずと明らかとなり、このような課題も、本発明の一形態の課題となり得る。
【課題を解決するための手段】
【0009】
本発明の一態様は、撮像部と、機械学習による演算を行う機能を有する演算部と、を有し、撮像部は、２フレーム以上の画像の集合である動画を取得する機能を有し、演算部は、動画に含まれる画像のうち、２以上の画像のそれぞれから、第１の物体を検出する機能を有し、演算部は、検出した第１の物体のそれぞれから、第２の物体を検出する機能を有し、演算部は、検出した第２の物体のそれぞれについて、第２の物体の大きさを算出する機能を有し、演算部は、第２の物体の大きさの経時変化を用いて機械学習を行う機能を有する情報処理装置である。
【0010】
また、上記態様において、機械学習は、ニューラルネットワークにより行ってもよい。
【0011】
また、上記態様において、動画には、顔面が含まれ、第１の物体は目であり、第２の物体は瞳孔であってもよい。
【0012】
また、本発明の一態様は、第１の動画に含まれる２以上の第１の画像に示される第１の物体の大きさの経時変化を用いて学習を行うことにより得られた学習結果に基づき推論を行う機能を有する情報処理装置であって、情報処理装置は、第２の動画を取得する機能を有し、情報処理装置は、第２の動画に含まれる２以上の第２の画像のそれぞれから、第２の物体を検出する機能を有し、情報処理装置は、検出した第２の物体のそれぞれから、第３の物体を検出する機能を有し、情報処理装置は、検出した第３の物体のそれぞれについて、第３の物体の大きさを算出する機能を有し、情報処理装置は、第３の物体の大きさの経時変化に対して、学習結果に基づく推論を行う機能を有する情報処理装置である。
【0013】
また、上記態様において、学習、及び推論は、ニューラルネットワークにより行い、学習結果は、重み係数を含んでもよい。
【0014】
また、上記態様において、第１の動画には、第１の顔面が含まれ、第２の動画には、第２の顔面が含まれ、第１及び第３の物体は瞳孔であり、第２の物体は目であってもよい。
【0015】
また、上記態様において、情報処理装置は、第２の顔面を有する者の疲労を推定する機能を有してもよい。
【発明の効果】
【0016】
本発明の一態様により、使用者の疲労、眠気等をリアルタイムで検出する機能を有する情報処理装置を提供することができる。又は、本発明の一態様により、精度良く使用者の疲労、眠気等を推定する機能を有する情報処理装置を提供することができる。又は、本発明の一態様により、簡易な方法で使用者の疲労、眠気等を推定する機能を有する情報処理装置を提供することができる。又は、本発明の一態様により、短時間で使用者の疲労、眠気等を推定する機能を有する情報処理装置を提供することができる。
【0017】
本発明の一態様により、使用者の疲労、眠気等をリアルタイムで検出する機能を有する情報処理システムを提供することができる。又は、本発明の一態様により、精度良く使用者の疲労、眠気等を推定する機能を有する情報処理システムを提供することができる。又は、本発明の一態様により、簡易な方法で使用者の疲労、眠気等を推定する機能を有する情報処理システムを提供することができる。又は、本発明の一態様により、短時間で使用者の疲労、眠気等を推定する機能を有する情報処理システムを提供することができる。
【0018】
なお、複数の効果の記載は、他の効果の存在を妨げるものではない。また、本発明の一態様は、必ずしも、例示した効果のすべてを有する必要はない。また、本発明の一態様について、上記以外の課題、効果、及び新規な特徴については、本明細書の記載及び図面から自ずと明らかになるものである。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下に、本発明の実施の形態を説明する。ただし、本発明の一態様は、以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明の一態様は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。
【0021】
また、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に関わることや、一つの機能を複数の構成要素で実現することもあり得る。
【0022】
（実施の形態１）
本実施の形態では、本発明の一態様の情報処理システム、及び当該情報処理システムを用いた情報処理方法について説明を行う。本発明の一態様の情報処理システム、及び情報処理方法では、スマートフォン、又はタブレット等の情報端末の使用者の疲労、眠気等を推定することができる。特に、情報端末の使用者の眼の疲労を検出することができる。
本実施の形態では、本発明の一態様の情報処理システム、及び当該情報処理システムを用いた情報処理方法について説明を行う。本発明の一態様の情報処理システム、及び情報処理方法では、スマートフォン、又はタブレット等の情報端末の使用者の疲労、眠気等を推定することができる。特に、情報端末の使用者の眼の疲労を検出することができる。
【0023】
＜情報処理システムの構成例＞
図１は、本発明の一態様の情報処理システムである、情報処理システム１０の構成例を示すブロック図である。情報処理システム１０は、情報処理装置２０と、情報処理装置３０と、を有する。
図１は、本発明の一態様の情報処理システムである、情報処理システム１０の構成例を示すブロック図である。情報処理システム１０は、情報処理装置２０と、情報処理装置３０と、を有する。
【0024】
情報処理装置２０は、撮像部２１と、表示部２２と、演算部２３と、主記憶部２４と、補助記憶部２５と、通信部２６と、を有する。情報処理装置２０が有する構成要素間でのデータ等の伝送は、伝送路２７を介して行うことができる。また、情報処理装置３０は、撮像部３１と、表示部３２と、演算部３３と、主記憶部３４と、補助記憶部３５と、通信部３６と、を有する。情報処理装置３０が有する構成要素間でのデータ等の伝送は、伝送路３７を介して行うことができる。
【0025】
撮像部２１、及び撮像部３１は、撮像を行い、撮像データを取得する機能を有する。表示部２２、及び表示部３２は、画像を表示する機能を有する。
【0026】
演算部２３、及び演算部３３は、演算処理を行う機能を有する。演算部２３は、例えば撮像部２１、主記憶部２４、補助記憶部２５、又は通信部２６から伝送路２７を介して演算部２３に伝送されたデータに対して、所定の演算処理を行う機能を有する。演算部３３は、例えば撮像部３１、主記憶部３４、補助記憶部３５、又は通信部３６から伝送路３７を介して演算部３３に伝送されたデータに対して、所定の演算処理を行う機能を有する。また、演算部２３、及び演算部３３は、機械学習による演算を行う機能を有する。例えば、ニューラルネットワークを用いて演算を行う機能を有する。演算部２３、及び演算部３３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を有することができる。
【0027】
主記憶部２４、及び主記憶部３４は、データ、及びプログラム等を記憶する機能を有する。演算部２３は、主記憶部２４に記憶されたデータ、及びプログラム等を読み込んで、演算処理を実行することができる。例えば、演算部２３は、主記憶部２４から読み込んだプログラムを実行することにより、主記憶部２４から読み込んだデータに対して所定の演算処理を実行することができる。また、演算部３３は、主記憶部３４に記憶されたデータ、及びプログラム等を読み込んで、演算処理を実行することができる。例えば、演算部３３は、主記憶部３４から読み込んだプログラムを実行することにより、主記憶部３４から読み込んだデータに対して所定の演算処理を実行することができる。
【0028】
主記憶部２４、及び主記憶部３４は、補助記憶部２５、及び補助記憶部３５より高速に動作することが好ましい。主記憶部２４、及び主記憶部３４は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を有することができる。
【0029】
補助記憶部２５、及び補助記憶部３５は、データ、及びプログラム等を、主記憶部２４、及び主記憶部３４より長期間記憶する機能を有する。補助記憶部２５、及び補助記憶部３５は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を有することができる。また、補助記憶部２５、及び補助記憶部３５は、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、抵抗変化型メモリともいう）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、磁気抵抗型メモリともいう）、又はフラッシュメモリ等の不揮発性メモリを有していてもよい。
【0030】
通信部２６は、情報処理装置２０の外部に設けられた装置等に対して、データ等の送受信を行う機能を有する。通信部３６は、情報処理装置３０の外部に設けられた装置等に対して、データ等の送受信を行う機能を有する。例えば、通信部２６から通信部３６へデータ等を供給することにより、情報処理装置２０から情報処理装置３０へデータ等を供給することができる。また、通信部２６、及び通信部３６は、ネットワークにデータ等を供給する機能、及びネットワークからデータ等を取得する機能を有することができる。
【0031】
ここで、演算部２３、及び演算部３３が機械学習による演算を行う機能を有する場合、例えば演算部２３が学習を行い、学習結果を情報処理装置２０から情報処理装置３０に供給することができる。例えば、演算部２３、及び演算部３３がニューラルネットワークを用いて演算を行う機能を有する場合、演算部２３が学習を行って重み係数等を取得し、当該重み係数等を情報処理装置２０から情報処理装置３０に供給することができる。以上により、情報処理装置３０に設けられる演算部３３が学習を行わなくても、演算部３３に入力されたデータに対して、情報処理装置２０に設けられる演算部２３による学習結果に基づいた推論を行うことができる。よって、演算部３３の演算処理能力を、演算部２３より低いものとすることができる。
【0032】
演算部２３が学習を行い、学習結果を情報処理装置２０から情報処理装置３０に供給する場合、情報処理装置２０は、例えばサーバに設けることができる。なお、情報処理装置２０をサーバに設ける場合、情報処理装置２０には撮像部２１、及び表示部２２を設けなくてもよい。つまり、撮像部２１、及び表示部２２を、情報処理装置２０の外部に設けてもよい。
【0033】
また、情報処理装置３０は、例えばスマートフォン、タブレット、パーソナルコンピュータ等の情報端末に設けることができる。また、情報処理装置２０の構成要素の少なくとも一部と、情報処理装置３０の構成要素の少なくとも一部と、の両方をサーバに設けてもよい。例えば、演算部２３と、演算部３３と、をサーバに設けてもよい。この場合、例えば情報端末が取得したデータを、ネットワークを介して演算部３３に供給し、サーバに設けられている演算部３３が当該データに対して推論等を行う。そして、推論結果を、ネットワークを介して情報端末に供給することにより、情報端末が推論結果を取得することができる。
【0034】
＜情報処理方法の一例＞
以下では、情報処理システム１０を用いた情報処理方法の一例を説明する。具体的には、情報処理システム１０が有する情報処理装置３０が設けられている情報端末の使用者の、疲労、眠気等を、機械学習を用いた演算により推定する方法の一例を説明する。
以下では、情報処理システム１０を用いた情報処理方法の一例を説明する。具体的には、情報処理システム１０が有する情報処理装置３０が設けられている情報端末の使用者の、疲労、眠気等を、機械学習を用いた演算により推定する方法の一例を説明する。
【0035】
【0036】
学習方法の一例について図２等を用いて説明する。まず、撮像部２１が、動画を撮像する。例えば、人間の顔面を含む動画を撮像する（ステップＳ０１）。ここで、動画とは、２フレーム以上の画像の集合を示す。詳細は後述するが、撮像部２１が撮像した動画を基に学習データを作成し、演算部２３が学習を行う。よって、例えば撮像部２１が人間の顔面を含む動画を撮像する場合、性別、人種、体格等が異なる多数の人間に対して撮像部２１が動画を撮像することが好ましい。
【0037】
なお、撮像部２１が撮像した動画に対して、画像処理を行ってもよい。例えば、ノイズ除去、グレースケール化、正規化、コントラスト調整等を行うことができる。また、動画に含まれる画像に対して、２値化等を行ってもよい。このような処理を行うことにより、後のステップを精度良く行うことができる。例えば、後述するステップＳ０２で行う第１の物体の検出を精度良く行うことができる。
【0038】
次に、撮像されたそれぞれの画像の中から、演算部２３が第１の物体を検出する。第１の物体は、例えばステップＳ０１で顔面の動画を撮像した場合は、目とすることができる（ステップＳ０２）。第１の物体は、例えばカスケード型分類器によって検出することができる。例えば、Ｈａａｒ Ｃａｓｃａｄｅｓによって検出することができる。なお、第１の物体を目とし、１枚の画像に両目が含まれている場合は、片方の目のみ検出することができる。
【0039】
その後、検出した第１の物体のそれぞれから、演算部２３が第２の物体を検出する。例えば、第１の物体を目とすると、第２の物体は瞳孔とすることができる（ステップＳ０３）。例えば、円形抽出により、目から瞳孔を検出することができる。目から瞳孔を検出する方法の詳細は後述する。
【0040】
ここで、瞳孔は、虹彩によって囲まれた穴であり、「黒目」と呼ぶことができる。瞳孔は、網膜に投射する光量を調整する機能を有する。また、虹彩は、例えば角膜と水晶体の間にある薄い膜であり、目で色のついた部分とすることができる。
【0041】
次に、検出した第２の物体のそれぞれについて、第２の物体の大きさを演算部２３が算出する（ステップＳ０４）。例えば、円形抽出により第２の物体を検出した場合、第２の物体の半径、又は直径を第２の物体の大きさとすることができる。また、第２の物体の形状を楕円形状に抽出した場合は、長軸の長さ、及び短軸の長さを第２の物体の大きさとすることができる。また、第２の物体の面積を、第２の物体の大きさとすることができる。
【0042】
その後、第２の物体の大きさを用いて、演算部２３が学習を行い、学習結果を取得する（ステップＳ０５）。具体的には、第２の物体の大きさの経時変化に基づき、学習結果を取得する。学習は、例えばニューラルネットワークを用いて行うことができる。この場合、学習結果は、前述のように重み係数等とすることができる。学習の方法の詳細は後述する。
【0043】
次に、情報処理装置２０が、学習結果を情報処理装置３０に供給する（ステップＳ０６）。具体的には、演算部２３が取得した学習結果を、伝送路２７を介して通信部２６に伝送し、その後通信部２６から通信部３６に供給する。通信部３６に供給された学習結果は、補助記憶部３５に記憶させることができる。また、学習結果を補助記憶部２５に記憶させてもよい。
【0044】
次に、図２に示す方法等により取得した学習結果に基づく推論方法の一例について、図３等を用いて説明する。まず、撮像部３１が、動画を撮像する。例えば、情報処理装置３０が設けられている情報端末の使用者の顔面を含む動画を撮像する（ステップＳ１１）。なお、図２に示すステップＳ０１において、撮像部２１が撮像した動画に対して画像処理を行った場合には、同様の画像処理を撮像部３１が撮像した動画に対して行うと、推論を精度良く行うことができるため好ましい。
【0045】
次に、撮影された動画に含まれるそれぞれの画像の中から、演算部３３が第１の物体を検出する。第１の物体は、例えばステップＳ１１で顔面の動画を撮像した場合は、目とすることができる（ステップＳ１２）。第１の物体は、図２に示すステップＳ０２において使用した検出方法と同様の方法で検出することができる。
【0046】
その後、検出した第１の物体のそれぞれから、演算部３３が第２の物体を検出する。例えば、第１の物体を目とすると、第２の物体は瞳孔とすることができる（ステップＳ１３）。第２の物体は、図２に示すステップＳ０３において使用した検出方法と同様の方法で検出することができる。
【0047】
次に、検出した第２の物体のそれぞれについて、第２の物体の大きさを演算部３３が算出する（ステップＳ１４）。大きさの算出方法は、図２に示すステップＳ０４において使用した方法と同様の方法を用いることができる。
【0048】
その後、第２の物体の大きさの経時変化を基にして、図２に示すステップＳ０５で演算部２３が取得した学習結果が入力された演算部３３が、推論を行う。例えば、撮像部３１が撮像した動画に、情報処理装置３０が設けられている情報端末の使用者の顔面が含まれており、第２の物体が当該使用者の目の瞳孔である場合は、演算部３３が当該使用者の疲労、眠気等を推定することができる（ステップＳ１５）。推論の方法の詳細は後述する。
【0049】
なお、瞳孔の大きさは、疲労、眠気の有無だけでなく、例えば環境の明るさによっても変化する。よって、図２に示すステップＳ０１において、例えば同一人物の顔面の動画を、環境の明るさを異ならせて複数撮像することが好ましい。これにより、例えば環境の明るさによらず、情報処理装置３０が設けられている情報端末の使用者の疲労、眠気等を精度良く推定することができる。
【0050】
本発明の一態様では、前述のように疲労、眠気等を推定する機能を有する情報処理装置３０を、スマートフォン、タブレット、パーソナルコンピュータ等の情報端末に設ける。これにより、情報端末の使用者の疲労、眠気等を、専用の装置を用いることなくリアルタイムで検出することができる。
【0051】
［瞳孔の検出方法の一例］
次に、ステップＳ０３及びステップＳ１３で行われる瞳孔の検出方法の一例を説明する。図４は、瞳孔の検出方法の一例を示すフローチャートである。
次に、ステップＳ０３及びステップＳ１３で行われる瞳孔の検出方法の一例を説明する。図４は、瞳孔の検出方法の一例を示すフローチャートである。
【0052】
まず、演算部が、検出した目を含む画像である画像４１を取得する（ステップＳ３１）。図５Ａは、ステップＳ３１について説明する模式図である。図５Ａに示すように、撮像部が撮像した画像から検出された目を含む画像４１を、演算部が取得する。具体的には、ステップＳ０３では、ステップＳ０２で演算部２３が検出した目を含む画像を、画像４１として演算部２３が取得する。また、ステップＳ１３では、ステップＳ１２で演算部３３が検出した目を含む画像を、画像４１として演算部３３が取得する。なお、撮像部が撮像した画像がカラー画像である場合、演算部が画像４１を取得した後に、当該演算部が画像４１をグレースケールに変換してもよい。
【0053】
次に、画像４１に対して、演算部が膨張処理を行って画像４２を取得した後、収縮処理を行って画像４３を取得する（ステップＳ３２）。つまり、画像４１に対してクロージング処理を行うことにより、画像４３を取得する。図５Ｂは、膨張処理、及び収縮処理について説明する模式図である。
【0054】
その後、演算部が、画像４１から画像４３を引き、画像４４を取得する（ステップＳ３３）。つまり、画像４４は、画像４１と画像４３の差によって表される画像である。ステップＳ３３では、演算部が画像４１及び画像４３を用いてＢｌａｃｋ－ｈａｔ変換を行うことによって、画像４４を取得するということができる。
【0055】
次に、演算部が、ステップＳ３１で取得した画像４１と、ステップＳ３３で取得した画像４４と、を足し合わせ、画像４５を取得する（ステップＳ３４）。なお、ステップＳ３１で画像４１をグレースケールに変換した場合、ステップＳ３４では、グレースケールに変換後の画像４１と、画像４４と、を足し合わせることができる。
【0056】
なお、ステップＳ３２乃至ステップＳ３４に示す処理は、その全て又は一部を行わなくてもよい。また、ステップＳ３２乃至ステップＳ３４に示す処理以外の処理を行ってもよい。
【0057】
その後、演算部が、画像４５に対して画像処理を行い、画像４６を取得する（ステップＳ３５）。例えば、演算部が、画像４５に対してノイズ除去、平滑化等の処理を行う。また、エッジ検出、二値化等の処理を行う。具体的には、例えば画像４５に対して中間値フィルタによるノイズ除去、及びガウシアンフィルタによる平滑化を行った後、Ｃａｎｎｙ法によるエッジ検出、及び二値化処理を行う。なお、ノイズ除去は、例えば移動平均フィルタにより行ってもよい。また、平滑化は、例えば移動平均フィルタ、又はメディアンフィルタにより行ってもよい。さらに、エッジ検出は、例えばラプラシアンフィルタにより行ってもよい。
【0058】
次に、画像４６から、演算部が虹彩４７を検出する。例えば、ハフ変換を用いることにより、虹彩４７を検出することができる。ハフ変換を用いる場合、例えば円形に虹彩４７を検出することができる。又は、例えば楕円形に虹彩４７を検出することができる。なお、一般化ハフ変換を用いて虹彩４７を検出してもよい。
【0059】
そして、検出した虹彩４７を含む画像４９を、演算部が取得する（ステップＳ３６）。例えば、検出した虹彩４７の、画像４６における座標に基づいて、画像４６から画像４９を抽出する。
【0060】
図５Ｃは、ステップＳ３６について説明する模式図である。例えば、画像４９は、図５Ｃに示すように、四辺が虹彩４７と接する矩形とすることができる。例えば、円形に虹彩４７を検出した場合、画像４９は、四辺が虹彩４７と接する正方形とすることができる。なお、画像４９の各辺が、虹彩４７と接していなくてもよい。例えば、虹彩４７を中心とした所定の画素数の画像を、画像４９としてもよい。
【0061】
次に、演算部が、画像４９から瞳孔４８を検出する（ステップＳ３７）。例えば、ニューラルネットワークを用いた演算により、画像４９から瞳孔４８を検出する。
【0062】
ステップＳ３７は、あらかじめ学習が行われたジェネレータを用いて行われる。ここで、ジェネレータは、機械学習による演算を行うプログラムであり、入力されたデータに対応するデータを出力する機能を有する。具体的には、ジェネレータは学習を行うことにより、当該ジェネレータに入力されたデータに対して推論を行うことができる。
【0063】
図６Ａは、上記学習について説明する模式図である。ここで、学習を行うジェネレータをジェネレータ５０とする。ジェネレータ５０としてニューラルネットワークを用いる場合、ジェネレータ５０は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いることができる。特に、ＣＮＮの一種として、Ｕ－ｎｅｔを用いることが好ましい。Ｕ－ｎｅｔでは、入力画像を畳み込みによりダウンサンプリングした後、ダウンサンプリングによって得られた特徴量を用いて逆畳み込みによりアップサンプリングする。演算部２３及び演算部３３は、ジェネレータ５０としての機能を有するということができる。
【0064】
ジェネレータ５０の学習は、データ５１及びデータ５２を用いて、教師あり学習により行うことができる。データ５１は、画像５９の集合とすることができる。画像５９には、虹彩５７と瞳孔５８が含まれる。画像５９は、図２に示すステップＳ０１、ステップＳ０２、及び図４に示すステップＳ３１乃至ステップＳ３６と同様の方法で、情報処理装置２０が取得することができる。なお、ステップＳ０１では、撮像部２１が顔面の動画を撮像するものとしているが、画像５９を取得する場合は、動画を撮像しなくてもよい。例えば、撮像部２１は、１人につき１枚（１フレーム）の画像を撮像してもよい。
【0065】
データ５２は、画像５９に含まれる瞳孔５８の座標を示すデータである。具体的には、瞳孔５８の部分の色を他の部分の色と異ならせた、２値の画像とすることができる。データ５２は、例えば画像５９に含まれる瞳孔５８を塗りつぶすことにより取得することができる。又は、図４に示すステップＳ３１と同様の方法で目を含む画像を取得した後、当該目を含む画像が有する瞳孔５８を塗りつぶすことにより、データ５２を取得することができる。
【0066】
ジェネレータ５０の学習は、データ５１をジェネレータ５０に入力した際に、出力データがデータ５２に近づくように行われる。つまり、データ５２を正解データとしてジェネレータ５０の学習が行われる。ジェネレータ５０が学習を行うことにより、ジェネレータ５０は学習結果５３を生成する。ジェネレータ５０としてニューラルネットワークを用いる場合、学習結果５３は、重み係数等とすることができる。
【0067】
ジェネレータ５０の学習、つまり学習結果５３の生成は、例えば情報処理装置２０が有する演算部２３が行うことができる。そして、学習結果５３を情報処理装置２０から情報処理装置３０に供給することにより、演算部３３も演算部２３と同様の推論を行うことができるようになる。演算部２３が生成した学習結果５３は、例えば補助記憶部２５に記憶させることができる。また、演算部２３が生成し、情報処理装置３０に供給された学習結果５３は、例えば補助記憶部３５に記憶させることができる。
【0068】
以上でジェネレータ５０の学習が終了する。
【0069】
【0070】
図６Ｂに示すように、ステップＳ３７では、学習結果５３が読み込まれたジェネレータ５０に、ステップＳ３６で演算部が取得した画像４９を入力する。これにより、ジェネレータ５０は、画像４９に対して推論を行い、瞳孔４８の座標を示すデータを出力することができる。例えば、ジェネレータ５０は、瞳孔４８の色を他の部分の色と異ならせた、２値の画像を出力することができる。
【0071】
以上の方法により、ステップＳ０２又はステップＳ１２において検出された目の中から、ステップＳ０３又はステップＳ１３において瞳孔を検出することができる。
【0072】
機械学習を用いた演算により瞳孔の検出を行うことで、例えば目視により瞳孔の検出を行う場合より、短時間で瞳孔の検出を行うことができる。また、例えば瞳孔に周囲の風景が映り込んでいたとしても、瞳孔を精度良く検出することができる。
【0073】
なお、ステップＳ３７における瞳孔４８の検出方法は、図６Ａ及び図６Ｂに示す方法に限らない。例えば、画像４９をカラーの画像とし、当該カラーの画像４９をグレースケール化した後、瞳孔４８のエッジ検出を行ってもよい。そして、エッジ検出を行った後、瞳孔４８を検出してもよい。
【0074】
画像４９のグレースケール化は、例えば部分的最小二乗（Ｐａｒｔｉａｌ Ｌｅａｓｔ Ｓｑｕａｒｅｓ：ＰＬＳ）回帰を用いて行うことができる。画像４９をグレースケール化することにより、瞳孔４８の輝度と、虹彩４７の輝度と、の差を大きくすることができる。これにより、瞳孔４８と虹彩４７の境界を強調することができるので、瞳孔４８のエッジ検出を精度良く行うことができる。したがって、瞳孔４８を精度良く検出することができる。
【0075】
瞳孔４８のエッジ検出は、例えばＣａｎｎｙ法、又はラプラシアンフィルタにより行うことができる。また、エッジ検出を行った後の瞳孔４８の検出は、例えばハフ変換を用いることにより行うことができる。ハフ変換を用いる場合、例えば円形に瞳孔４８を検出することができる。又は、例えば楕円形に瞳孔４８を検出することができる。なお、一般化ハフ変換を用いて瞳孔４８を検出してもよい。
【0076】
ステップＳ０３又はステップＳ１３において、虹彩だけでなく瞳孔を検出する場合、ステップＳ０１又はステップＳ１１において、赤外線を用いて撮像を行うことができる。虹彩は、赤外線を反射する。一方、瞳孔は、赤外線を反射しない。よって、ステップＳ０１又はステップＳ１１において、赤外線を用いて撮像を行うことにより、虹彩と瞳孔をはっきりと区別することができる。したがって、瞳孔を精度良く検出することができる。
【0077】
［疲労、眠気等の推定方法の一例＿１］
次に、機械学習を用いた演算による、情報処理装置３０が設けられている情報端末の使用者の疲労、眠気等の推定方法の一例を説明する。具体的には、ステップＳ０５で行われる、瞳孔の大きさを用いた学習方法の一例を説明する。また、ステップＳ１５において行われる、上記学習結果を基にした推論による疲労、眠気等の推定方法の一例を説明する。なお、以下では、第２の物体を瞳孔として説明を行う。
次に、機械学習を用いた演算による、情報処理装置３０が設けられている情報端末の使用者の疲労、眠気等の推定方法の一例を説明する。具体的には、ステップＳ０５で行われる、瞳孔の大きさを用いた学習方法の一例を説明する。また、ステップＳ１５において行われる、上記学習結果を基にした推論による疲労、眠気等の推定方法の一例を説明する。なお、以下では、第２の物体を瞳孔として説明を行う。
【0078】
図７Ａ１は、ステップＳ０５について説明する模式図である。ステップＳ０５では、機械学習による演算を行うプログラムであるジェネレータ６０の学習を行う。ジェネレータ６０は、ニューラルネットワークを用いることができる。詳細は後述するが、ジェネレータ６０には、例えば瞳孔の大きさの経時変化といった、時系列データを入力する。よって、ジェネレータ６０としてニューラルネットワークを用いる場合、ジェネレータ６０として再帰的ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）を用いることが好ましい。又は、ジェネレータ６０として、長・短期記憶（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ：ＬＳＴＭ）を用いることが好ましい。又は、ゲート付き回帰型ユニット（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ：ＧＲＵ）を用いることが望ましい。
【0079】
ジェネレータ６０の学習は、データ６１及びデータ６２を用いて行うことができる。データ６１は、ステップＳ０４で取得されたデータであり、瞳孔の大きさの経時変化とすることができる。前述のように、例えば円形抽出により瞳孔を検出した場合、当該瞳孔の半径、又は直径を瞳孔の大きさとすることができる。また、瞳孔を楕円形状に検出した場合は、長軸の長さ、及び短軸の長さを瞳孔の大きさとすることができる。また、瞳孔の面積を、瞳孔の大きさとすることができる。図７Ａ１では、時刻１乃至ｎ－１（ｎは３以上の整数）における、瞳孔の大きさの経時変化をデータ６１としている。
【0080】
なお、データ６１は、瞳孔の大きさと、虹彩の大きさと、の比の経時変化としてもよい。この場合、虹彩と瞳孔は、互いに同一種類の形状に抽出することが好ましい。例えば、虹彩を円形に抽出する場合は、瞳孔も円形に抽出することが好ましい。また、虹彩を楕円形に抽出する場合は、瞳孔も楕円形に抽出することが好ましい。データ６１として、瞳孔の大きさと、虹彩の大きさと、の比の経時変化とすることにより、例えばステップＳ３７に示す方法で瞳孔を検出する場合、虹彩４７と、瞳孔４８と、を含む画像４９の解像度を互いに異ならせることができる。例えば、第１の人間の虹彩４７と瞳孔４８を含む画像４９の解像度と、第２の人間の虹彩４７と瞳孔４８を含む画像４９の解像度と、を互いに異ならせることができる。
【0081】
データ６２は、時刻ｎにおける瞳孔の大きさである。つまり、データ６１に含まれる瞳孔の大きさを測定した時刻より後の時刻における瞳孔の大きさである。なお、データ６１を、瞳孔の大きさと、虹彩の大きさと、の比の経時変化とした場合、データ６２も、瞳孔の大きさと、虹彩の大きさと、の比とする。
【0082】
図７Ａ２は、瞳孔径と、時刻と、の関係の一例を示す図である。図７Ａ２において、黒丸は瞳孔径の実測値を示す。他の図においても、実測点を黒丸で示す場合がある。図７Ａ２に示すように、データ６２は、データ６１に含まれる瞳孔の大きさを測定した時刻より後の時刻における瞳孔の大きさとすることができる。例えば、データ６２は、データ６１に含まれる瞳孔の大きさを測定した最後の時刻の次の時刻における、瞳孔の大きさとすることができる。
【0083】
ここで、ジェネレータ６０に疲労の有無を推定する機能を持たせる場合は、疲労ありの者の瞳孔の大きさの経時変化は、データ６１及びデータ６２に含めない。つまり、データ６１は、疲労なしの者の瞳孔の大きさの経時変化とし、データ６２は、疲労なしの者の瞳孔の大きさとする。また、ジェネレータ６０に眠気の有無を推定する機能を持たせる場合は、眠気ありの者の瞳孔の大きさの経時変化は、データ６１及びデータ６２に含めない。つまり、データ６１は、眠気なしの者の瞳孔の大きさの経時変化とし、データ６２は、眠気なしの者の瞳孔の大きさとする。
【0084】
ジェネレータ６０の学習は、データ６１をジェネレータ６０に入力した際に、出力データがデータ６２に近づくように行われる。つまり、データ６２を正解データとしてジェネレータ６０の学習が行われる。ジェネレータ６０が学習を行うことにより、ジェネレータ６０は学習結果６３を生成する。ジェネレータ６０としてニューラルネットワークを用いる場合、学習結果６３は、重み係数等とすることができる。
【0085】
図７Ｂ１及び図７Ｂ２は、ステップＳ１５について説明する模式図であり、ジェネレータ６０を用いて、情報処理装置３０が設けられている情報端末の使用者の疲労、眠気等を推定する方法の一例を示す図である。ステップＳ１５では、まず、図７Ｂ１に示すように、ステップＳ１４によって取得された、瞳孔の大きさの経時変化を示すデータ６４を、学習結果６３が読み込まれたジェネレータ６０に入力する。例えば、ステップＳ０５におけるジェネレータ６０の学習の際に、時刻１乃至ｎ－１における、瞳孔の大きさの経時変化を入力データとして用いた場合は、ステップＳ１５における推論の際にも、時刻１乃至ｎ－１における、瞳孔の大きさの経時変化を入力データとする。つまり、データ６４を、時刻１乃至ｎ－１における、情報処理装置３０が設けられている情報端末の使用者の瞳孔の大きさの経時変化とする。これにより、ジェネレータ６０は、データ６４に対して推論を行い、データ６５を出力する。なお、さらに、時刻ｎにおける推論データであるデータ６５を使用して、時刻２乃至ｎにおけるデータを入力データとし、時刻ｎ＋１におけるデータを推論してもよい。
【0086】
なお、データ６１を、瞳孔の大きさと、虹彩の大きさと、の比の経時変化とした場合は、データ６４も瞳孔の大きさと、虹彩の大きさと、の比の経時変化とする。データ６４を瞳孔の大きさと、虹彩の大きさと、の比の経時変化とすることにより、例えばステップＳ３７に示す方法で瞳孔を検出する場合、虹彩４７と、瞳孔４８と、を含む画像４９の解像度を互いに異ならせることができる。例えば、時刻１における瞳孔４８の大きさと、虹彩４７の大きさと、の比を算出するために演算部が取得する画像４９の解像度と、時刻ｎ－１における瞳孔４８の大きさと、虹彩４７の大きさと、の比を算出するために演算部が取得する画像４９の解像度と、を互いに異ならせることができる。
【0087】
データ６５は、学習結果６３を基に、データ６４に対して推論を行うことにより算出された、データ６４に含まれる瞳孔の大きさを測定した時刻より後の時刻における瞳孔の大きさの推定値である。例えば、データ６４を、時刻１乃至ｎ－１における瞳孔の大きさの経時変化とする場合、データ６５は、時刻ｎにおける瞳孔の大きさとすることができる。図７Ｂ１では、時刻１乃至ｎ－１における瞳孔の大きさの実測値を、それぞれｘ１乃至ｘｎ－１と記載している。また、時刻ｎにおける瞳孔の大きさの推定値を、ｘｎ（Ｅ）と記載している。なお、データ６４を瞳孔の大きさと、虹彩の大きさと、の比の経時変化とした場合は、データ６５を瞳孔の大きさと、虹彩の大きさと、の比とする。
【0088】
次に、図７Ｂ２に示すように、例えば時刻ｎにおける瞳孔の大きさの実測値を表すデータ６６と、ジェネレータ６０から出力されたデータであるデータ６５とを比較する。つまり、例えば時刻ｎにおける瞳孔の大きさの実測値と、推定値とを比較する。比較結果により、疲労、眠気等の有無を推定する。例えば、ジェネレータ６０が疲労の有無を推定する機能を有する場合、ジェネレータ６０の学習は、例えば疲労なしの者の瞳孔の大きさの経時変化を入力データとして行われる。よって、情報処理装置３０が設けられている情報端末の使用者が疲労なしの状態である場合は、データ６５はデータ６６に近いものとなる。つまり、データ６５とデータ６６の差分は小さいものとなる。一方、情報処理装置３０が設けられている情報端末の使用者が疲労ありの状態である場合は、データ６６とデータ６５の差分は、情報処理装置３０が設けられている情報端末の使用者が疲労なしの状態である場合より大きいものとなる。以上より、データ６６とデータ６５を比較することにより、情報処理装置３０が設けられている情報端末の使用者の疲労の有無を推定することができる。眠気の有無を推定する場合も同様である。なお、データ６５を瞳孔の大きさと、虹彩の大きさと、の比の推定値とした場合は、データ６６を瞳孔の大きさと、虹彩の大きさと、の比の実測値とする。
【0089】
ジェネレータ６０としての機能は、演算部２３及び演算部３３の両方に持たせることができる。この場合、情報処理装置２０が有する演算部２３がジェネレータ６０の学習を行って学習結果６３を生成し、学習結果６３を情報処理装置２０から情報処理装置３０に供給することができる。以上により、情報処理装置３０に設けられる演算部３３が学習を行わなくても、演算部３３に入力されたデータに対して、情報処理装置２０に設けられる演算部２３による学習結果に基づいた推論を行うことができる。よって、演算部３３の演算処理能力を、演算部２３より低いものとすることができる。なお、学習結果６３は、補助記憶部２５、及び補助記憶部３５に記憶させることができる。
【0090】
［疲労、眠気等の推定方法の一例＿２］
図８Ａ及び図８Ｂは、ステップＳ０５について説明する模式図であり、上述の方法とは異なるジェネレータの学習方法の一例である。具体的には、図８Ａは、学習データとしてジェネレータに入力されるデータの作成方法の一例を示す図であり、図８Ｂは、ジェネレータ８０の学習方法の一例を示す図である。ジェネレータ８０は、機械学習による演算を行うプログラムである。例えば、ジェネレータ８０として、ニューラルネットワークを用いることができる。
図８Ａ及び図８Ｂは、ステップＳ０５について説明する模式図であり、上述の方法とは異なるジェネレータの学習方法の一例である。具体的には、図８Ａは、学習データとしてジェネレータに入力されるデータの作成方法の一例を示す図であり、図８Ｂは、ジェネレータ８０の学習方法の一例を示す図である。ジェネレータ８０は、機械学習による演算を行うプログラムである。例えば、ジェネレータ８０として、ニューラルネットワークを用いることができる。
【0091】
図８Ａに示すデータ８１は、ステップＳ０４で取得されたデータであり、瞳孔の大きさの経時変化とすることができる。前述のように、例えば円形抽出により瞳孔を検出した場合、当該瞳孔の半径、又は直径を瞳孔の大きさとすることができる。また、瞳孔を楕円形状に検出した場合は、長軸の長さ、及び短軸の長さを瞳孔の大きさとすることができる。また、瞳孔の面積を、瞳孔の大きさとすることができる。なお、図７Ａ１に示す学習方法と同様に、データ８１は、瞳孔の大きさと、虹彩の大きさと、の比の経時変化とすることができる。
【0092】
ここで、データ８１に対してフーリエ変換を行うことにより、データ８２を生成する。図８Ａに示すように、フーリエ変換により、瞳孔径の経時変化を、瞳孔径の周波数特性に変換することができる。なお、データ８１を、瞳孔の大きさと、虹彩の大きさと、の比の経時変化とした場合は、データ８２は瞳孔の大きさと、虹彩の大きさと、の比の周波数特性とすることができる。
【0093】
ジェネレータ８０の学習は、図８Ｂに示すようにデータ８２及びデータ８３を用いて行うことができる。データ８２は、前述のように瞳孔径の周波数特性を表す。データ８３は、疲労の有無を示すラベルとすることができる。例えば、データ８３として、疲労ありの者の瞳孔の大きさの周波数特性と、疲労なしの者の瞳孔の大きさの周波数特性と、の両方が含まれるようにする。そして、疲労ありの者の瞳孔の大きさの周波数特性には「疲労あり」というラベルを紐付け、疲労なしの者の瞳孔の大きさの周波数特性には「疲労なし」というラベルを紐付ける。また、データ８３は、眠気の有無を示すラベルとしてもよい。
【0094】
ジェネレータ８０の学習は、データ８２をジェネレータ８０に入力した際に、出力データがデータ８３に近づくように行われる。つまり、データ８３を正解データとしてジェネレータ８０の学習が行われる。ジェネレータ８０が学習を行うことにより、ジェネレータ８０は学習結果８４を生成する。ジェネレータ８０としてニューラルネットワークを用いる場合、学習結果８４は、重み係数等とすることができる。
【0095】
瞳孔の大きさの経時変化に対してフーリエ変換を行うことにより、ジェネレータ８０に入力するデータを、時系列データではないデータとすることができる。これにより、ジェネレータ８０としてＲＮＮを用いなくても、ジェネレータ８０は学習及び推論を行うことができる。
【0096】
【0097】
図９Ａに示すデータ８５は、ステップＳ０４で取得されたデータであり、瞳孔の大きさの経時変化とすることができる。前述のように、例えば円形抽出により瞳孔を検出した場合、当該瞳孔の半径、又は直径を瞳孔の大きさとすることができる。また、瞳孔を楕円形状に検出した場合は、長軸の長さ、及び短軸の長さを瞳孔の大きさとすることができる。また、瞳孔の面積を、瞳孔の大きさとすることができる。なお、図８Ａに示すデータ８１を瞳孔の大きさと、虹彩の大きさと、の比の経時変化とした場合は、データ８５も瞳孔の大きさと、虹彩の大きさと、の比の経時変化とする。
【0098】
ここで、データ８５に対してフーリエ変換を行うことにより、データ８６を生成する。図９Ａに示すように、フーリエ変換により、瞳孔径の経時変化を、瞳孔径の周波数特性に変換することができる。なお、データ８５を、瞳孔の大きさと、虹彩の大きさと、の比の経時変化とした場合は、データ８６は瞳孔の大きさと、虹彩の大きさと、の比の周波数特性とすることができる。
【0099】
そして、図９Ｂに示すように、フーリエ変換後のデータ８６をジェネレータ８０に入力する。これにより、ジェネレータ８０は、データ８６に対して推論を行い、疲労の有無を表すデータ８７を出力することができる。なお、図９Ｂに示すデータ８７が眠気の有無を示すラベルである場合は、ジェネレータ８０が出力するデータ８７は眠気の有無を示すデータとすることができる。
【0100】
ジェネレータ８０としての機能は、ジェネレータ６０としての機能、及びジェネレータ７０としての機能と同様に、演算部２３及び演算部３３の両方に持たせることができる。これにより、演算部３３の演算処理能力を、演算部２３より低いものとすることができる。
【0101】
［疲労、眠気等の推定方法の一例＿３］
図１０Ａは、ステップＳ０５について説明する模式図であり、上述の方法とは異なるジェネレータの学習方法の一例である。図１０Ａでは、ジェネレータ７０の学習を行う。ジェネレータ７０は、機械学習による演算を行うプログラムである。例えば、ジェネレータ７０として、ニューラルネットワークを用いることができ、例えばオートエンコーダを用いることができる。
図１０Ａは、ステップＳ０５について説明する模式図であり、上述の方法とは異なるジェネレータの学習方法の一例である。図１０Ａでは、ジェネレータ７０の学習を行う。ジェネレータ７０は、機械学習による演算を行うプログラムである。例えば、ジェネレータ７０として、ニューラルネットワークを用いることができ、例えばオートエンコーダを用いることができる。
【0102】
ジェネレータ７０が学習を行う際には、ジェネレータ７０に、データ７１を入力する。データ７１は、ステップＳ０４で取得されたデータであり、瞳孔の大きさの経時変化とすることができる。ここで、ジェネレータ７０に疲労の有無を推定する機能を持たせる場合は、疲労ありの者の瞳孔の大きさの経時変化は、データ７１に含めない。つまり、データ７１は、疲労なしの者の瞳孔の大きさの経時変化とする。また、ジェネレータ７０に眠気の有無を推定する機能を持たせる場合は、眠気ありの者の瞳孔の大きさの経時変化は、データ７１に含めない。つまり、データ７１は、眠気なしの者の瞳孔の大きさの経時変化とする。
【0103】
前述のように、例えば円形抽出により瞳孔を検出した場合、当該瞳孔の半径、又は直径を瞳孔の大きさとすることができる。また、瞳孔を楕円形状に検出した場合は、長軸の長さ、及び短軸の長さを瞳孔の大きさとすることができる。また、瞳孔の面積を、瞳孔の大きさとすることができる。
【0104】
なお、図７Ａ１に示す学習方法と同様に、データ７１は、瞳孔の大きさと、虹彩の大きさと、の比の経時変化とすることができる。また、図８Ａに示す場合と同様に、例えば瞳孔の大きさの経時変化をフーリエ変換したものを、データ７１として用いてもよい。
【0105】
ジェネレータ７０の学習は、データ７１をジェネレータ７０に入力した際に、出力データであるデータ７２が入力したデータ７１に近づくように行われる。つまり、データ７１とデータ７２が等しくなるように、ジェネレータ７０の学習が行われる。ジェネレータ７０が学習を行うことにより、ジェネレータ７０は学習結果７３を生成する。ジェネレータ７０としてニューラルネットワークを用いる場合、学習結果７３は、重み係数等とすることができる。
【0106】
図１０Ｂ１及び図１０Ｂ２は、ステップＳ１５について説明する模式図であり、ジェネレータ７０を用いて、情報処理装置３０が設けられている情報端末の使用者の疲労、眠気等を推定する方法の一例を示す図である。ステップＳ１５では、まず、図１０Ｂ１に示すように、ステップＳ１４によって取得された、瞳孔の大きさの経時変化を示すデータ７４を、学習結果７３が読み込まれたジェネレータ７０に入力する。これにより、ジェネレータ７０は、データ７４に対して推論を行い、データ７５を出力する。
【0107】
なお、データ７１を瞳孔の大きさと、虹彩の大きさと、の比の経時変化とした場合は、データ７４も瞳孔の大きさと、虹彩の大きさと、の比の経時変化とする。また、フーリエ変換後のデータを、データ７１として用いた場合は、データ７４も、フーリエ変換後のデータを用いる。例えば、データ７１を瞳孔の大きさの経時変化をフーリエ変換したものとした場合は、データ７４も瞳孔の大きさの経時変化をフーリエ変換したものとする。
【0108】
次に、図１０Ｂ２に示すように、ジェネレータ７０に入力したデータであるデータ７４と、ジェネレータ７０から出力されたデータであるデータ７５とを比較する。比較結果により、疲労、眠気等の有無を推定する。例えば、ジェネレータ７０が疲労の有無を推定する機能を有する場合、ジェネレータ７０の学習は、例えば疲労なしの者の瞳孔の大きさの経時変化を用いて行われる。よって、情報処理装置３０が設けられている情報端末の使用者が疲労なしの状態である場合は、ジェネレータ７０からの出力データであるデータ７５は、ジェネレータ７０への入力データであるデータ７４に近いものとなる。つまり、データ７４とデータ７５の差分は小さいものとなる。一方、情報処理装置３０が設けられている情報端末の使用者が疲労ありの状態である場合は、データ７４とデータ７５の差分は、情報処理装置３０が設けられている情報端末の使用者が疲労なしの状態である場合より大きいものとなる。以上より、データ７４とデータ７５を比較することにより、情報処理装置３０が設けられている情報端末の使用者の疲労の有無を推定することができる。眠気の有無を推定する場合も同様である。
【0109】
ジェネレータ７０としての機能は、ジェネレータ６０としての機能と同様に、演算部２３及び演算部３３の両方に持たせることができる。これにより、演算部３３の演算処理能力を、演算部２３より低いものとすることができる。
【0110】
［疲労、眠気等の推定方法の一例＿４］
ステップＳ０５で行われる学習、及びステップＳ１５で行われる、当該学習結果を基にした推論は、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：ＧＡＮ）を用いて行ってもよい。例えば、ＡｎｏＧＡＮ（Ａｎｏｒｍａｌｙ ＧＡＮ）を用いて行ってもよい。図１１は、上記学習及び推論を行うことができるＡｎｏＧＡＮについて説明する図である。
ステップＳ０５で行われる学習、及びステップＳ１５で行われる、当該学習結果を基にした推論は、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：ＧＡＮ）を用いて行ってもよい。例えば、ＡｎｏＧＡＮ（Ａｎｏｒｍａｌｙ ＧＡＮ）を用いて行ってもよい。図１１は、上記学習及び推論を行うことができるＡｎｏＧＡＮについて説明する図である。
【0111】
図１１に示すＡｎｏＧＡＮは、ジェネレータ９１と、ディスクリミネータ９２と、を有する。ジェネレータ９１、及びディスクリミネータ９２は、ニューラルネットワークによって構成することができる。
【0112】
ディスクリミネータ９２には、撮像により取得された、疲労、眠気等がない者の瞳孔の大きさの経時変化を表す時系列データであるデータ９３が入力される。又は、ディスクリミネータ９２には、データ９４を入力されたジェネレータ９１が生成した時系列データであるデータ９５が入力される。ディスクリミネータ９２は、当該入力されたデータが、撮像により取得されたデータ９３か、ジェネレータ９１が生成したデータ９５か、のいずれであるのかの判定（真贋判定ともいう）を行う機能を有する。なお、データ９３は、撮像により取得された、疲労、眠気等がない者の瞳孔の大きさの経時変化を表す時系列データを、フーリエ変換したデータとしてもよい。
【0113】
判定結果は、データ９６として出力される。データ９６は、例えば０から１の間の連続的な値とすることができる。この場合、例えばディスクリミネータ９２は、学習終了後、入力されたデータが、撮像により取得されたデータ９３である場合は、データ９６として１に近い値を出力し、入力されたデータが、ジェネレータ９１が生成したデータ９５である場合は、データ９６として０に近い値を出力するようにすればよい。
【0114】
データ９４は、多次元の乱数（潜在変数ともいう）である。ここで、データ９４が表す潜在変数を、潜在変数ｚとする。ジェネレータ９１は、このようなデータ９４を基にして、疲労、眠気等がない者の瞳孔の大きさの経時変化を表すデータにできる限り似たデータを生成する機能を有する。
【0115】
学習は、ディスクリミネータ９２の学習と、ジェネレータ９１の学習を交互に行う。すなわち、ディスクリミネータ９２の学習時にはジェネレータ９１を構成するニューラルネットワークの重み係数は固定される。また、ジェネレータ９１の学習時にはディスクリミネータ９２を構成するニューラルネットワークの重み係数は固定される。
【0116】
ディスクリミネータ９２の学習時には、撮像により取得されたデータ９３、又はジェネレータ９１が生成したデータ９５がディスクリミネータ９２に入力される。ディスクリミネータ９２に入力されるデータには正解ラベルが付与される。ディスクリミネータ９２が出力するデータ９６に対して、以下のように正解ラベルを定めることができる。例えば、ディスクリミネータ９２にデータ９３が入力された場合は、正解ラベルを“１”とし、ディスクリミネータ９２にデータ９５が入力された場合は、正解ラベルを“０”とする。以上のような方法で学習を行うことにより、ディスクリミネータ９２は真贋判定を行うことができるようになる。
【0117】
ジェネレータ９１の学習時には、潜在変数ｚを表すデータ９４がジェネレータ９１に入力される。そして、ジェネレータ９１が、入力されたデータ９４を基にして、データ９５を生成する。データ９６の正解ラベルは“１”とする。そして、ディスクリミネータ９２から出力されるデータ９６の値が“１”となるように、ジェネレータ９１の学習が行われる。ジェネレータ９１の学習が進むにつれて、ジェネレータ９１は、撮像により取得されたデータ９３に似たデータを、データ９５として生成することができるようになる。
【0118】
ジェネレータ９１の学習が完了すると、ジェネレータ９１は、どのような潜在変数ｚがデータ９４として入力されても、撮像により取得されたデータ９３に似たデータ９５を生成することができるようになる。
【0119】
次に推論時の動作を説明する。
【0120】
まず、撮影により、疲労、眠気等がない者の瞳孔の大きさの経時変化を表すデータが取得されたとする。この時、潜在変数の空間を探索し、上記疲労、眠気等がない者の瞳孔の大きさのデータに一番似たデータを生成する潜在変数ｚ１を勾配降下法等により見出す。ジェネレータは９１、学習によって、疲労、眠気等がない者の瞳孔の大きさの経時変化を表すデータに極めて似たデータを生成する機能を有する。したがって、ジェネレータが潜在変数ｚ１から生成したデータと、撮影によって得られた上記疲労、眠気等がない者の瞳孔の大きさの経時変化を表すデータは、極めて似たものとなる。
【0121】
次に、撮像により、疲労、眠気等がある者の瞳孔の大きさの経時変化を表すデータが取得されたとする。この時、潜在変数の空間を探索し、上記疲労、眠気等がある者の瞳孔の大きさの経時変化を表すデータに一番近いデータを生成する潜在変数ｚ２を、勾配降下法等により見出す。ジェネレータ９１は、学習によって、疲労、眠気等がない者の瞳孔の大きさの経時変化を表すデータに極めて近いデータを生成する能力を有するが、疲労、眠気等がある者の瞳孔の大きさの経時変化を表すデータに似たデータを生成する能力は有さない。したがって、ジェネレータが潜在変数ｚ２から生成したデータと、撮影によって得られた上記疲労、眠気等がある者の瞳孔の大きさの経時変化を表すデータとは、極めて似たデータとはならない。以上により、疲労、眠気等の有無を、ジェネレータ９１によって推定することができる。
【0122】
以上、図７乃至図１１に示すように、情報処理装置３０は、情報処理装置３０が設けられている情報端末の使用者の疲労、眠気等を、機械学習を用いた演算により推定する。機械学習を用いることにより、例えば疲労ありと推定する場合の特徴量の経時変化、及び疲労なしと推定する場合の特徴量の経時変化を手動で設定しなくても、疲労、眠気等を精度良く推定することができる。具体的には、例えば疲労ありと推定する場合の瞳孔の大きさの経時変化、及び疲労なしと推定する場合の瞳孔の大きさの経時変化を手動で設定しなくても、疲労、眠気等を精度良く推定することができる。また、例えば疲労ありと推定する場合の特徴量の経時変化、及び疲労なしと推定する場合の特徴量の経時変化を手動で設定しなくても、疲労、眠気等を推定することができるので、簡易な方法で疲労、眠気等を推定することができる。
【0123】
情報処理装置３０により疲労、眠気等ありと推定された場合、例えば情報処理装置３０が設けられている情報端末の表示部に、疲労、眠気等が生じている旨を示すアラームを表示することができる。これにより、例えば情報端末の使用者に、早めに当該情報端末の使用を中止するよう促すことができる。又は、情報処理装置３０が設けられている情報端末の電源を切ることができる。これにより、情報端末の使用者に疲労、眠気等が発生しているにもかかわらず情報端末を使用し続けることによる、健康被害の発生を抑制することができる。
【符号の説明】
【0124】
１０：情報処理システム、２０：情報処理装置、２１：撮像部、２２：表示部、２３：演算部、２４：主記憶部、２５：補助記憶部、２６：通信部、２７：伝送路、３０：情報処理装置、３１：撮像部、３２：表示部、３３：演算部、３４：主記憶部、３５：補助記憶部、３６：通信部、３７：伝送路、４１：画像、４２：画像、４３：画像、４４：画像、４５：画像、４６：画像、４７：虹彩、４８：瞳孔、４９：画像、５０：ジェネレータ、５１：データ、５２：データ、５３：学習結果、５７：虹彩、５８：瞳孔、５９：画像、６０：ジェネレータ、６１：データ、６２：データ、６３：学習結果、６４：データ、６５：データ、６６：データ、７０：ジェネレータ、７１：データ、７２：データ、７３：学習結果、７４：データ、７５：データ、８０：ジェネレータ、８１：データ、８２：データ、８３：データ、８４：学習結果、８５：データ、８６：データ、８７：データ、９１：ジェネレータ、９２：ディスクリミネータ、９３：データ、９４：データ、９５：データ、９６：データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】