(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022169359
(43)【公開日】2022-11-09
(54)【発明の名称】電子機器、電子機器の制御方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221101BHJP
A61B 3/113 20060101ALI20221101BHJP
【FI】
G06T7/00 350C
G06T7/00 660A
A61B3/113
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2021075345
(22)【出願日】2021-04-27
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(72)【発明者】
【氏名】西井 裕亮
(72)【発明者】
【氏名】宮崎 淳吾
【テーマコード(参考)】
4C316
5L096
【Fターム(参考)】
4C316AA21
4C316AA28
4C316AB16
4C316FC28
4C316FZ01
5L096BA04
5L096CA02
5L096FA67
5L096FA68
5L096GA30
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】対象者の集中度のような内部状態を合理的に推定する電子機器、電子機器の制御方法、及びプログラムを提供する。
【解決手段】電子機器は、エンコーダ及びデコーダを備える。エンコーダは、対象者の画像から抽出される対象者の視線を含む第1生体情報、対象者の環境情報、及び対象者の内部状態を示す情報に基づいて、未知の値を推定する。デコーダは、未知の値、対象者の環境情報、及び対象者の内部状態を示す情報に基づいて、対象者の視線を含む第2生体情報を推定する。電子機器は、第2生体情報による第1生体情報の再現度に基づいて、エンコーダ及びデコーダのパラメータを調整する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコーダと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第2生体情報を推定するデコーダと、
を備え、
前記第2生体情報による前記第1生体情報の再現度に基づいて、前記エンコーダ及び前記デコーダのパラメータを調整する、電子機器。
【請求項2】
前記未知の値が所定の確率分布から乖離している程度に基づいて、前記エンコーダ及び前記デコーダのパラメータを調整する、請求項1に記載の電子機器。
【請求項3】
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコーダと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第2生体情報を推定するデコーダと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第2生体情報による前記第1生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定する推定部と、
を備える電子機器。
【請求項4】
前記複数の値のうち前記第2生体情報による前記第1生体情報の再現度が最も高くなる値が所定の条件を満たす場合、所定の警報を出力する、請求項3に記載の電子機器。
【請求項5】
前記推定部は、前記エンコーダが推定した前記未知の値が所定の確率分布から生成され易い度合いを表す確率又は対数確率に基づいて推定を行う、請求項3又は4に記載の電子機器。
【請求項6】
前記対象者の内部状態を示す情報は、前記対象者の集中度を示す情報を含む、請求項1から5のいずれかに記載の電子機器。
【請求項7】
前記対象者の内部状態を示す情報は、前記対象者が乗り物を運転している最中の集中度を示す情報を含む、請求項6に記載の電子機器。
【請求項8】
前記第1生体情報及び前記第2生体情報の少なくとも一方は、前記対象者の視線の座標を含む、請求項1から7のいずれかに記載の電子機器。
【請求項9】
前記対象者の環境情報は、前記対象者の前方の風景画像の情報を含む、請求項1から8のいずれかに記載の電子機器。
【請求項10】
前記対象者の環境情報は、前記対象者の視線が向く方向を含んで撮像された画像の情報を含む、請求項1から9のいずれかに記載の電子機器。
【請求項11】
前記対象者の環境情報は、前記画像から抽出される情報を含む、請求項9又は10に記載の電子機器。
【請求項12】
前記対象者の環境情報は、前記画像において前記対象者の視線を予測する情報を含む、請求項11に記載の電子機器。
【請求項13】
前記対象者の第1生体情報及び第2生体情報の少なくとも一方は、前記対象者の瞳孔半径を示す情報を含む、請求項1から12のいずれかに記載の電子機器。
【請求項14】
前記対象者の環境情報は、前記対象者の環境の明るさを含む、請求項13に記載の電子機器。
【請求項15】
前記対象者の第1生体情報及び第2生体情報の少なくとも一方は、前記対象者の発汗量を示す情報を含む、請求項1から14のいずれかに記載の電子機器。
【請求項16】
前記対象者の環境情報は、前記対象者の環境の温度及び湿度の少なくとも一方を含む、請求項15に記載の電子機器。
【請求項17】
前記対象者の環境情報、前記第1生体情報、及び前記第2生体情報の少なくともいずれかは、所定期間に取得された時系列の情報である、請求項1から16のいずれかに記載の電子機器。
【請求項18】
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記第2生体情報による前記第1生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
を含む、電子機器の制御方法。
【請求項19】
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第2生体情報による前記第1生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
を含む、電子機器の制御方法。
【請求項20】
電子機器に、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記第2生体情報による前記第1生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
を実行させる、プログラム。
【請求項21】
電子機器に、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第2生体情報による前記第1生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、電子機器の制御方法、及びプログラムに関する。
【背景技術】
【0002】
移動体の安全な運転には、運転者の注意力が求められる。それゆえ、運転者の注意力を観察して、注意力が低下する場合、運転者への警告を発したり、運転の支援を行ったりすることが検討されている。注意力の観察として、自車の周辺の対向車などの対象物に対する視線の重なり度合いの累積値である累積視認度を算出し、基準値と比較することが提案されている(特許文献1参照)。
【0003】
また、近年、対象者の集中度又は感情などの内部状態の推定を試みる研究が行われている。例えば、講義中に、教師の発話、学習者の生体情報、及び学習者の動画を記録し、講義後に学習者が各シーンにおける自身の感情を内観報告することにより、学習者の心的状態を推定する試みが報告されている(非特許文献1参照)。さらに、例えば、X線写真を診る読影士の視線データ及び診断結果のデータを収集して、深層学習によって胸部X線写真を診断する試みも報告されている(非特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【非特許文献】
【0005】
【非特許文献1】松居 辰則、宇野 達朗、田和辻 可昌、「心的状態の時間遅れと持続モデルを考慮した生体情報からの学習者の心的状態推定の試み」、2018年度人工知能学会全国大会(第32回)、一般社団法人 人工知能学会
【非特許文献2】井上 大輝、木村 仁星、中山 浩太郎、作花 健也、Rahman Abdul、中島 愛、Patrick Radkohl、岩井 聡、河添 悦昌、大江 和彦、「視線データを活用した深層学習による胸部X線写真の診断的分類」、2019年度人工知能学会全国大会(第33回)、一般社団法人 人工知能学会
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1においては、累積視認度を算出するために、毎時における視認度を、テーブルを用いて算出している。しかしながら、実環境の多様な運転状況に対して適切なテーブルは異なっており、多様な運転状況において、運転者の注意力を正確に観察することは困難であった。
【0007】
非特許文献1においては、対象者の生体情報と内部状態(感情など)との因果関係は、単純な識別モデルによっては合理的なモデル化が困難になることが懸念される。すなわち、本来、感情など心的状態が原因となって生体反応が生起されるのが合理的な情報処理の流れと考えられる。しかしながら、単純な識別モデルの学習では、逆に、生体情報から心的状態を推論する流れになっている。このため、モデルの構造が真実とは異なり、モデルの学習がうまく進まないことが想定される。また、対象者の生体情報に基づいて内部状態を推定するモデルのふるまいを使用者に説明することが必要な場面もある。このような観点からも、対象者の生体情報に基づいて内部状態を推定するモデルの因果関係について、合理性の更なる検証が望まれる。非特許文献2においても、非特許文献1と同様に、対象者の生体情報(視線データなど)と内部状態(疾患判断など)との因果関係も同様に、単純な識別モデルによっては合理的なモデル化が困難になることが懸念される。また、非特許文献2においても、対象者の生体情報に基づいて内部状態を推定するモデルの因果関係については、合理性の更なる検証が望まれる。以上のように、対象者の生体情報から対象者の集中度又は感情などの内部状態を良好な精度で推定するためには、データ生成の因果関係に関する合理的なモデル化が望ましい。
【0008】
本開示の目的は、対象者の集中度のような内部状態をデータの生成過程に基づいて合理的に推定する電子機器、電子機器の制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
一実施形態に係る電子機器は、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコーダと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第2生体情報を推定するデコーダと、
を備える。
前記電子機器は、前記第2生体情報による前記第1生体情報の再現度に基づいて、前記エンコーダ及び前記デコーダのパラメータを調整する。
【0010】
また、一実施形態に係る電子機器は、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコーダと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第2生体情報を推定するデコーダと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第2生体情報による前記第1生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定する推定部と、
を備える。
【0011】
一実施形態に係る電子機器の制御方法は、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記第2生体情報による前記第1生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
を含む。
【0012】
一実施形態に係る電子機器の制御方法は、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第2生体情報による前記第1生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
を含む。
【0013】
一実施形態に係るプログラムは、
電子機器に、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記第2生体情報による前記第1生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
を実行させる。
【0014】
一実施形態に係るプログラムは、
電子機器に、
対象者の画像から抽出される前記対象者の視線を含む第1生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第2生体情報を推定するデコードステップと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第2生体情報による前記第1生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
を実行させる。
【発明の効果】
【0015】
一実施形態によれば、対象者の集中度のような内部状態を合理的に推定する電子機器、電子機器の制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0016】
【
図1】一実施形態に係る電子機器の概略構成を示すブロック図である。
【
図2】一実施形態に係る電子機器によるエンコードの例を説明する概念図である。
【
図3】一実施形態に係る電子機器によるデコードの例を説明する概念図である。
【
図4】一実施形態に係る電子機器における自己符号化器の動作を説明する概念図である。
【
図5】一実施形態に係る電子機器が学習フェーズにおいて行う動作を説明するフローチャートである。
【
図6】一実施形態に係る電子機器が推定フェーズにおいて行う動作を説明するフローチャートである。
【
図7】他の実施形態に係る電子機器の概略構成を示すブロック図である。
【
図8】他の実施形態に係る電子機器の概略構成を示すブロック図である。
【発明を実施するための形態】
【0017】
以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。以下の説明は、本開示を適用した、電子機器の制御方法、及びプログラムの説明を兼ねてもよい。
【0018】
本開示において、「電子機器」とは、電力により駆動する機器としてよい。一実施形態に係る電子機器は、対象者の例えば集中度のような内部状態を推定する。ここで、「対象者」とは、一実施形態に係る電子機器によって内部状態が推定される対象となる者(典型的には人間)としてよい。また、本開示において、「ユーザ」とは、一実施形態に係る電子機器を使用する者(典型的には人間)としてよい。「ユーザ」は、「対象者」と同じ者としてもよいし、異なる者としてもよい。また、「ユーザ」及び「対象者」は、人間としてもよいし、人間以外の動物としてもよい。
【0019】
本開示の一実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット(personal watercraft(PWC))、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。また、本開示の「ユーザ」及び「対象者」は、車両などの移動体を運転している者でもよいし、車両なの移動体を運転していない車両の同乗者でもよい。
【0020】
一実施形態に係る電子機器1は、各種の機器としてよい。例えば、一実施形態に係る電子機器は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン(ノートPC)、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器は、例えば携帯電話又はスマートフォンのように、他の電子機器と通信を行う機能を有してもよい。ここで、上述の「他の電子機器」とは、例えば携帯電話又はスマートフォンのような電子機器としてもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器としてもよい。また、本開示における「他の電子機器」も、電力によって駆動される機器又は装置などとしてよい。一実施形態に係る電子機器が、他の電子機器と通信を行う際には、有線及び/又は無線による通信を行うものとしてよい。
【0021】
以下、一例として、一実施形態に係る電子機器1は、例えば乗用車のような移動体に設けられるものとして説明する。この場合、一実施形態に係る電子機器1は、乗用車のような移動体に搭乗している者(運転者又は非運転者)の所定の内部状態(例えば所定の心理状態)を推定することができる。以下、一実施形態に係る電子機器1が、乗用車のような移動体を運転する運転者の内部状態として、運転者の運転時の集中度を推定する例について説明する。この場合、一実施形態に係る電子機器1は、例えば運転中に撮像された運転者の画像及び風景画像などに基づいて、運転者の運転時の集中度を推定することができる。
【0022】
図1は、一実施形態に係る電子機器の機能的な概略構成を示すブロック図である。
【0023】
図1に示すように、一実施形態に係る電子機器1は、制御部10、第1撮像部21、第2撮像部22、記憶部30、及び報知部40を含んで構成されてよい。また、制御部10、
図1に示すように、抽出部12、推定部14、及び判定部16を含んで構成されてよい。一実施形態に係る電子機器1は、
図1に示す全ての機能部を含んでもよいし、
図1に示す機能部の少なくとも一部を含まなくてもよい。例えば、一実施形態に係る電子機器1は、
図1に示す制御部10のみを備えてもよい。この場合、一実施形態に係る電子機器1は、外部機器として用意される、第1撮像部21、第2撮像部22、記憶部30、及び報知部40などに接続されるようにしてもよい。また、以下に説明するエンコーダENN及びデコーダDNNの機能は、制御部10、推定部14、及び記憶部30の少なくともいずれか1つの機能により実現される。入力した情報やデータは、例えば、抽出部12、エンコーダENN、デコーダDNN、判定部16の順に送信されるとしてよい。また、エンコーダENNから、以下に説明する潜在変数Zが出力されてもよい。この場合、出力された潜在変数Zは、デコーダDNNに入力されてもよい。
【0024】
制御部10は、電子機器1を構成する各機能部をはじめとして、電子機器1の全体を制御及び/又は管理する。制御部10は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)又はDSP(Digital Signal Processor)のような、少なくとも1つのプロセッサを含んでよい。制御部10は、まとめて1つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
【0025】
制御部10は、1以上のプロセッサ及びメモリを含んでもよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部10は、1つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)のいずれかであってもよい。制御部10は、電子機器1の各構成要素の動作を制御する。
【0026】
制御部10は、例えば、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器1において、制御部10は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。制御部10に含まれる抽出部12、推定部14、及び判定部16の少なくともいずれかは、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器1において、抽出部12、推定部14、及び判定部16の少なくともいずれかは、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
【0027】
抽出部12は、第1撮像部21によって撮像された対象者の画像から、対象者の視線を抽出する。推定部14は、例えば対象者の集中度のような内部状態を推定する。判定部16は、推定部14によって推定された対象者の内部状態が所定の条件を満たすか否か判定する。判定部16は、対象者の内部状態が所定の条件を満たす場合(例えば対象者の集中度が所定以下に低下した場合など)、所定の警報信号を報知部40に出力する。本開示において、対象者の視線がデータとして抽出される視線のデータは、注視点の座標値(x,y)として扱ってよい。また、本開示において、視線のデータは、対象者の注視点の座標のみならず、例えば瞳孔径及び/又は眼球の回転情報などを視線の特徴量として用いてもよい。
【0028】
制御部10の動作、並びに、制御部10に含まれる抽出部12、推定部14、及び判定部16の動作については、さらに後述する。
【0029】
第1撮像部21は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。第1撮像部21は、CCD(Charge Coupled Device Image Sensor)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。例えば、第1撮像部21は、撮像した画像に基づく信号を、制御部10などに供給してよい。このため、
図1に示すように、第1撮像部21は、制御部10に有線及び/又は無線で接続されてよい。第1撮像部21は、対象者の画像を撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意の撮像デバイスとしてよい。例えば、第1撮像部21は、近赤外線カメラを採用することで、光を反射する特徴の差異、及び/又は、光を吸収する特徴の差異などを、画像として撮像することができる。
【0030】
第1撮像部21は、対象者の画像を撮像する。以下、対象者の例として、乗用車のような移動体を運転する運転者を想定して説明する。すなわち、一実施形態において、第1撮像部21は、乗用車のような移動体を運転する運転者を撮像する。一実施形態において、第1撮像部21は、例えば対象者を所定時間ごと(例えば秒間30フレーム)の静止画として撮像してもよい。また、一実施形態において、第1撮像部21は、例えば対象者を連続した動画として撮像してもよい。撮像部20は、RGBデータ、及び/又は、赤外線データなどの各種のデータ形態で対象者の画像を撮像するものとしてよい。
【0031】
第1撮像部21は、運転者を撮像するために、例えば乗用車のような移動体の内部前方において、運転者に向けて設置されてよい。第1撮像部21によって撮像された対象者の画像は、制御部10に供給される。後述のように、制御部10において、抽出部12は、対象者の画像から、対象者の視線を含む生体情報を抽出する。このため、第1撮像部21は、運転者の眼球領域を含む画像を撮像するのに適した箇所に設置されてよい。また、以下の説明において、ニューラルネットワークに入力される情報は、画像を処理した後に得られる生体情報であるため、視線情報と定義することもできる。
【0032】
また、第1撮像部21は、例えばアイトラッカーのような視線検知部を含んで構成されてもよい。アイトラッカーは、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移動体に設けられてよい。この場合、アイトラッカーは、例えば、接触型のアイトラッカー及び非接触型のアイトラッカーのいずれかとしてもよい。アイトラッカーは、光景に対する対象者の視線を検知することができれば、任意のものとしてよい。
【0033】
第2撮像部22は、第1撮像部21と同様に、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。すなわち、第2撮像部22は、CCD又はCMOSセンサ等のように、光電変換を行う撮像素子を含んで構成されてよい。例えば、第2撮像部22は、撮像した画像に基づく信号を、制御部10などに供給してよい。このため、
図1に示すように、第2撮像部22は、制御部10に有線及び/又は無線で接続されてよい。第2撮像部22は、対象者の画像を撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意の撮像デバイスとしてよい。例えば、第2撮像部22は、近赤外線カメラを採用することで、光を反射する特徴の差異、及び/又は、光を吸収する特徴の差異などを、画像として撮像することができる。
【0034】
第2撮像部22は、主として対象者の前方の風景画像を撮像する。より具体的には、第2撮像部22は、対象者の視線が向く方向を含む画像を撮像してよい。以下、対象者の例として、乗用車のような移動体を運転する運転者を想定して説明する。すなわち、一実施形態において、第2撮像部22は、乗用車のような移動体を運転する運転者の視線が向かう方向の景色を撮像する。一般的に、移動体の運転者は、移動体の進行方向に視線を向けていることが多い。したがって、第2撮像部22は、主として対象者の前方の風景画像を撮像してよい。また、状況によっては、移動体の運転者は、移動体の進行方向の左又は右などに視線を向けることもある。この場合、第2撮像部22は、例えば対象者の左側又は右側の風景画像を撮像してもよい。一実施形態において、第2撮像部22は、例えば対象者を所定時間ごと(例えば秒間30フレーム)の静止画として撮像してもよい。また、一実施形態において、第2撮像部22は、例えば風景を連続した動画として撮像してもよい。
【0035】
第2撮像部22は、運転者の前方の風景を撮像するために、例えば乗用車のような移動体の内部前方において、移動体の前方に向けて設置されてよい。第2撮像部22によって撮像された対象者の画像は、制御部10に供給される。後述のように、制御部10において、第2撮像部22によって撮像された画像は、第1撮像部21によって撮像された対象者の視線の向く位置と対応付けられる。このため、第1撮像部21は、運転者の視線が向く方向を含む画像を撮像するのに適した箇所に設置されてよい。
【0036】
記憶部30は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部30は、例えば制御部10において実行されるプログラム、及び、制御部10において実行された処理の結果などを記憶してよい。また、記憶部30は、制御部10のワークメモリとして機能してよい。このため、
図1に示すように、記憶部30は、制御部10に有線及び/又は無線で接続されてよい。記憶部30は、例えば、RAM(Random Access Memory)及びROM(Read Only Memory)の少なくとも一方を含んでもよい。記憶部30は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部30は、一実施形態に係る電子機器1に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部30は、制御部10として用いられるCPUの内部メモリであってもよいし、制御部10に別体として接続されるものとしてもよい。
【0037】
記憶部30は、例えば機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。機械学習データは、機械学習によって生成されるパラメータを含むものとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるAI(Artificial Intelligence)の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び/又は予測及び/又はデータ生成などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、AIの一部には、機械学習が含まれるとしてもよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。
【0038】
本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論(推定)結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク(NN)、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープニューラルネットワークを利用するとしてよい。ディープニューラルネットワークは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープニューラルネットワークと呼ばれている。ディープニューラルネットワークを用いた機械学習のアルゴリズムがディープラーニングと呼ばれている。ディープラーニングは、AIを構成するアルゴリズムとして多用されている。
【0039】
一実施形態において、記憶部30に記憶される情報は、例えば工場出荷時などまでに予め記憶された情報としてもよいし、制御部10などが適宜取得する情報としてもよい。一実施形態において、記憶部30は、制御部10又は電子機器1などに接続された通信部(通信インタフェース)から受信する情報を記憶してもよい。この場合、通信部は、例えば外部の電子機器又は基地局などと無線又は有線の少なくとも一方で通信することにより、各種の情報を受信してよい。また、一実施形態において、記憶部30は、制御部10又は電子機器1に接続された入力部(入力インタフェース)などに入力された情報を記憶してもよい。この場合、電子機器1のユーザ又はその他の者は、入力部を操作することにより、各種の情報を入力してよい。
【0040】
報知部40は、制御部10から出力される所定の信号(例えば警報信号など)に基づいて、電子機器1のユーザなどに注意を促すための所定の警報を出力してよい。このため、
図1に示すように、報知部40は、制御部10に有線及び/又は無線で接続されてよい。報知部40は、所定の警報として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、及び触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、報知部40は、例えばブザー又はスピーカのような音声出力部、LEDのような発光部、LCDのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかを含んで構成されてよい。このように、報知部40は、制御部10から出力される所定の信号に基づいて、所定の警報を出力してよい。一実施形態において、報知部40は、所定の警報を、人間などの生物の聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として出力してもよい。
【0041】
一実施形態において、報知部40は、例えば対象者の内部状態として当該対象者の集中度が所定の閾値以下に低下と推定されると、対象者の集中力が低下した旨の警報を出力してよい。例えば、一実施形態において、視覚情報を出力する報知部40は、例えば運転者の集中度が所定の閾値以下に低下と推定されると、その旨を発光又は所定の表示などによって運転者及び/又は他のユーザなどに報知してよい。また、一実施形態において、聴覚情報を出力する報知部40は、例えば運転者の集中度が所定の閾値以下に低下と推定されると、その旨を所定の音又は音声などによって運転者及び/又は他のユーザなどに報知してよい。また、一実施形態において、触覚情報を出力する報知部40は、例えば運転者の集中度が所定の閾値以下に低下と推定されると、その旨を所定の振動などによって運転者及び/又は他のユーザなどに報知してよい。このようにして、運転者及び/又は他のユーザなどは、例えば運転者の集中度が低下している旨を知ることができる。
【0042】
次に、一実施形態に係る電子機器1による、対象者の内部情報の推定について説明する。
【0043】
一実施形態に係る電子機器1は、自己符号化器(auto encoder)を用いて、運転者の運転中の画像などに基づく機械学習を行うことにより、運転者の集中度などのような内部状態を推定する。自己符号化器は、ニューラルネットワークのアーキテクチャの1つである。自己符号化器は、エンコーダ(以下、符号ENNを対応させることがある)及びデコーダ(以下、符号DNNを対応させることがある)を含むニューラルネットワークである。一実施形態に係る電子機器1において、制御部10は、自己符号化器としての機能を含んでよい。すなわち、一実施形態に係る電子機器1の制御部10は、エンコーダENN及びデコーダDNNとしての機能を備える。
【0044】
図2及び
図3は、一実施形態に係る電子機器1において自己符号化器として機能するニューラルネットワークを概念的に示す図である。
図2は、エンコーダを概念的に示す図である。すなわち、
図2は、一実施形態に係る電子機器1において自己符号化器として機能するニューラルネットワークのエンコーダENNを概念的に示す図である。また、
図3は、デコーダを概念的に示す図である。すなわち、
図3は、一実施形態に係る電子機器1において自己符号化器として機能するニューラルネットワークのデコーダDNNを概念的に示す図である。まず、一実施形態に係る電子機器1が対象者(運転者)の画像及び風景画像に基づいて、対象者の集中度のような内部状態を推定する原理について説明する。
【0045】
一実施形態に係る電子機器1によって対象者の内部状態を推定するに際し、
図3に示すように、対象者の画像に関連する第2生体情報X’は、内部状態を示す情報Yと、未知の値Zと、環境情報Sとが原因となって生じる、という生成過程を仮定する。ここで、対象者の画像に関連する第2生体情報X’は、対象者(例えば運転者)の視線など、対象者の眼球領域の画像の情報を含むものとしてよい。また、内部状態を示す情報Yは、対象者の例えば集中度のような内部状態を示す情報を含むものとしてよい。また、未知の値Zは、観測できない潜在変数を含むものとしてよい。さらに、環境情報Sは、対象者の視線が向く方向を含んで撮像された画像(風景画像)の情報を含むものとしてよい。本開示の環境情報Sは、例えば、時間帯、曜日、気温、天気、風速、道路の幅、車線数、直線道路及びカーブなどの道路の構造、高速道路か一般道路かなどの道路の種別、道路の混雑具合、対象者が車などの乗り物に登場している際の同乗者の数、家族、知り合い、客などの同乗者の種別、道路における信号機の数などの設置物の種類及び/又は数、道路における歩行者の数、歩行者の混雑の程度、歩行者が老人又は幼児であるなどのその種別等のうちから任意のものを少なくとも一つを含むとしてよい。
【0046】
一実施形態に係る電子機器1による機械学習時においては、まず、
図2に示すように、ニューラルネットワークのエンコーダENNを用いて、対象者の画像に関連する第1生体情報Xと、内部状態を示す情報Yと、環境情報Sとから、未知の値Zを推論する。ここで、対象者の画像に関連する第1生体情報Xは、対象者(例えば運転者)の視線など、対象者の眼球領域の画像の情報を含むものとしてよい。この第1生体情報Xに含まれる対象者の視線などの情報は、第1撮像部21によって撮像される対象者の画像から、抽出部12によって抽出されるものとしてよい。また、内部状態を示す情報Yは、上述のように、対象者の例えば集中度のような内部状態を示す情報を含むものとしてよい。また、環境情報Sは、上述のように、対象者の視線が向く方向を含んで撮像された画像(風景画像)の情報を含むものとしてよい。さらに、未知の値Zは、上述のように、観測できない潜在変数を含むものとしてよい。以下、対象者の内部状態を推定するための学習を行うフェーズを、単に「学習フェーズ」と記すことがある。
【0047】
上述のように未知の値Zが推論されると、
図3に示すニューラルネットワークのデコーダDNNを用いて、推論された未知の値Zと、内部状態を示す情報Yと、環境情報Sとから、対象者の画像に関連する第2生体情報X’を生成することができる。ここで、対象者の画像に関連する第2生体情報X’は、対象者の画像に関連する第1生体情報Xを再構成したものとなる。一実施形態に係る電子機器1において、この第2生体情報X’が、元の第1生体情報Xから変化した度合いを損失関数とし、誤差逆伝搬によってニューラルネットワークの重みパラメータを更新してよい。また、この損失関数に、未知の値Zの従う確率分布が所定の確率分布からどの程度逸脱したかを表す正則化項を含んでもよい。この所定の確率分布は、例えば正規分布であってもよい。この所定の確率分布と未知の値Zが従う分布との逸脱度合いを表す項として、カルバック・ライブラダイバージェンスを用いてもよい。
【0048】
図4は、一実施形態に係る電子機器1における自己符号化器による実装を概念的に示す図である。まず、一実施形態に係る電子機器1による学習フェーズについて説明する。
【0049】
図4に示すように、一実施形態に係る電子機器1において、最下段に示す第1生体情報Xが与えられ、さらに内部状態を示す情報Y及び環境情報Sが与えられると、
図4の中段に示す未知の値Zが推論される。そして、一実施形態に係る電子機器1において、未知の値Zが推論され、さらに内部状態を示す情報Y及び環境情報Sが与えられると、最上段に示す第2生体情報X’が得られる。
【0050】
一実施形態に係る電子機器1において、第1生体情報X及び環境情報Sのみが与えられることにより、内部状態を示す情報Y及び未知の値Zが推定されるようにしてもよい。ここで、第1生体情報Xは、第1撮像部21によって撮像される対象者の画像から抽出される対象者の視線を含む情報としてよい。また、環境情報Sは、第2撮像部22によって撮像される風景画像の情報を含むものとしてよい。
【0051】
図4に示すように、一実施形態に係る電子機器1において、自己符号化器は、対象者の画像に関連する第1生体情報X、内部状態を示す情報Y、及び環境情報Sから、未知の値Zを介して、対象者の画像に関連する第2生体情報X’を再現する。すなわち、一実施形態に係る電子機器1において、自己符号化器は、対象者の視線の画像(第1生体情報X)に基づいて、対象者の視線の画像(第2生体情報X’)を再構成する機能を備える。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方には、注視点の座標値(x,y)を含むとしてよい。また、本開示において、対象者の視線の画像及び視線の特徴量には、注視点の座標だけでなく、例えば瞳孔径若しくは眼球の回転情報、又はこれらの組み合わせなどの視線の特徴量が含まれるとしてもよい。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を抽出することを、単に「視線を抽出する」又は「視線を取得する」等と表記することがある。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を推定することを、単に「視線を推定する」又は「視線を算出する」等と表記することもある。
【0052】
一実施形態に係る電子機器1において、第1生体情報Xの観測時に対応する内部状態を示す情報Yを入力して、対象者の第2生体情報X’を再構成してよい。一実施形態において、例えば集中度とする内部状態の種々の場合について、対象者の視線を含む情報(第2生体情報X’)を観測した際の内部状態を示す情報Yを用いて、対象者の第2生体情報X’を再構成してよい。例えば、一実施形態において、対象者が移動体の運転のみに完全に集中している状態を意図的に作り出してもよい。この場合、一実施形態に係る電子機器1の自己符号化器は、その時に観測された対象者の視線を含む情報(第1生体情報X)と、その時の内部状態を示す情報Yから、対応する対象者の視線を含む情報(第2生体情報X’)を再構成してよい。また、例えば、対象者が移動体の運転に完全には集中していない状態を意図的に作り出し、その時の内部状態を示す情報Yに対応する対象者の視線を含む情報(第2生体情報X’)を、一実施形態に係る電子機器1の自己符号化器によって再構成してよい。ここで、対象者が移動体の運転に完全には集中していない状態とは、例えば、運転者が移動体の運転中に所定の暗算などを同時に行う状態としてもよい。そして、所定の暗算のレベル(比較的簡単な暗算又は比較的複雑な暗算など)に応じて、対象者が移動体の運転に完全には集中していない状態の度合いを段階的に調節してもよい。例えば、運転者が移動体の運転中に非常に簡単な暗算を同時に行う状態は、対象者が移動体の運転に完全には集中していないが比較的集中している状態としてもよい。また、運転者が移動体の運転中に相当複雑な暗算を同時に行う状態は、対象者が移動体の運転に比較的集中していない状態としてもよい。本開示では、学習フェーズでは、視線Xに対応する集中度Yは、既知のものとしてよい。このため、学習フェーズでは、複数のYを仮定する必要はない。例えば、本開示では、上記暗算タスクによって視線観測時に対応する集中度を定義するとしてもよい。
【0053】
上述のようにして、一実施形態に係る電子機器1において、対応する内部状態を示す情報Yを用いて、対象者の視線を含む情報(第2生体情報X’)を再構成してよい。内部状態を示す情報Yは、例えば集中している状態においてY=0とし、例えば集中していない状態においてY=1などとしてよい。そして、対応する内部状態を示す情報Yに基づいて再構成される対象者の視線を含む情報(第2生体情報X’)が、元の対象者の視線を含む情報(第1生体情報X)を再現した度合いをより大きくするように、エンコーダENN及びデコーダDNNのパラメータを調整してよい。このようにして、一実施形態に係る電子機器1は、第2生体情報X’による第1生体情報Xの再現度に基づいて、エンコーダENN及びデコーダDNNのパラメータを調整してよい。
【0054】
図5は、一実施形態に係る電子機器1による学習フェーズを説明するフローチャートである。以下、
図5を参照して、一実施形態に係る電子機器1による学習フェーズを説明する。
【0055】
図5に示す学習フェーズの動作が開始するに際し、対象者(運転者)は移動体を運転しているものとする。ここで、対象者は、乗用車のような移動体を現実に運転していてもよいし、例えばドライブシミュレータを用いて仮想的に移動体を運転していてもよい。また、
図5に示す動作が開始するに際し、第1撮像部21は対象者の画像を撮像しているものとする。ここで、第1撮像部21は、対象者の画像から対象者の視線が抽出できるように、対象者の眼球領域を含む画像を撮像するものとしてよい。さらに、
図5に示す動作が開始するに際し、第2撮像部22は、対象者の視線が向く方向を含む画像(風景画像)を撮像しているものとする。上記対象者の視線には、対象者の視線の特徴量を含むとしてもよい。
【0056】
図5に示す動作が開始すると、一実施形態に係る電子機器1の制御部10は、第1撮像部21によって撮像された対象者の画像を取得する(ステップS11)。ステップS11において取得される対象者の画像とは、上述のように、対象者の視線が抽出できるように、対象者の眼球領域を含む画像としてよい。
【0057】
ステップS11において対象者の画像を取得したら、制御部10の抽出部12は、対象者の画像から対象者の視線を抽出する(ステップS12)。ステップS12において、対象者の画像から対象者の視線を抽出する技術は、例えば画像認識などの任意の技術を採用してよい。例えば、抽出部12の機能に代えて、第1撮像部21は、上述のように、例えばアイトラッカーのような視線検知部を含んで構成されてもよい。このようにして、一実施形態に係る電子機器1の制御部10は、ステップS12において、対象者の画像から抽出される対象者の視線を含む第1生体情報Xを取得する。
【0058】
ステップS12において対象者の視線が抽出されたら、制御部10は、対象者の所定の環境情報を取得する(ステップS13)。ステップS13において、制御部10は、対象者の所定の環境情報として、例えば第2撮像部22によって撮像される風景画像を、第2撮像部22から取得してよい。また、ステップS13において、例えば第2撮像部22によって撮像される風景画像が記憶部30に記憶される場合、当該風景画像を記憶部30から取得してもよい。このようにして、一実施形態に係る電子機器1の制御部10は、ステップS13において、対象者の環境情報Sを取得する。
【0059】
ステップS13において対象者の属性情報を取得したら、制御部10の推定部14は、未知の値を推定する(ステップS14)。ステップS14において、推定部14は、自己符号化器のエンコーダENNによって、対象者の視線を含む第1生体情報X、対象者の環境情報S、及び対象者の内部状態を示す情報Yに基づいて、未知の値Zを推定してよい(
図2参照)。ここで、対象者の内部状態を示す情報Yは、上述のように、意図的に作り出した対象者の集中度に対応する値としてよい。
【0060】
ステップS14において未知の値が推定されたら、制御部10の推定部14は、対象者の視線を含む第2生体情報を推定する(ステップS15)。ステップS14において、推定部14は、自己符号化器のデコーダDNNによって、対象者の内部状態を示す情報Y、未知の値Z、及び対象者の環境情報Sに基づいて、対象者の視線を含む第2生体情報X’を推定してよい(
図3参照)。
【0061】
ステップS15において第2生体情報X’が推定されたら、制御部10は、エンコーダENN及びデコーダDNNのパラメータを調整する(ステップS16)。ステップS16において、制御部10は、対象者の視線を含む第2生体情報X’によって、対象者の視線を含む第1生体情報Xが再現される度合いに基づいて、エンコーダENN及びデコーダDNNのパラメータを調整してよい。また、前述のように、この再現の度合いに加えて、エンコーダENNによって推論された未知の値Zの従う確率分布が所定の確率分布からどのくらい逸脱しているかを表す分布逸脱度も含めた損失関数に基づいて、エンコーダENN及びデコーダDNNのパラメータを調整してよい。以上のような学習フェーズにおける動作によって、一実施形態に係る電子機器1は学習を行うことができる。
【0062】
このように、一実施形態に係る電子機器1において、制御部10のエンコーダENNは、対象者の画像から抽出される対象者の視線を含む第1生体情報X、対象者の環境情報S、及び対象者の内部状態を示す情報Yに基づいて、未知の値Zを推定する。また、一実施形態に係る電子機器1において、制御部10のデコーダDNNは、未知の値Z、対象者の環境情報S、及び対象者の内部状態を示す情報Yに基づいて、対象者の視線を含む第2生体情報X’を推定する。そして、一実施形態に係る電子機器1は、第2生体情報X’による第1生体情報Xの再現度に基づいて、エンコーダENN及びデコーダDNNのパラメータを調整する。
【0063】
一実施形態において、対象者の内部状態を示す情報Yは、対象者の集中度を示す情報を含んでもよい。特に、一実施形態において、対象者の内部状態を示す情報Yは、対象者が乗り物を運転している最中の集中度を示す情報を含んでもよい。
【0064】
また、一実施形態において、対象者の環境情報Sは、対象者の前方の風景画像の情報を含んでもよい。また、一実施形態において、対象者の環境情報Sは、対象者の視線が向く方向を含んで撮像された画像の情報を含んでもよい。
【0065】
上述のステップS12において、制御部10の抽出部12は、対象者の画像から対象者の視線を抽出するものとして説明した。一方、ステップS12において、制御部10の抽出部12は、対象者の画像から、対象者の視線が向く先を示す座標を抽出してもよい。また、この場合、ステップS15において、制御部10の推定部14は、対象者の視線を含む第2生体情報として、対象者の視線が向く先を示す座標を推定してもよい。このようにすれば、第1生体情報X及び第2生体情報X’に含まれる対象者の視線が向く先を、ステップS13において取得された対象者の環境情報S(風景画像)における位置と容易に対応させることができる。このように、一実施形態に係る電子機器1において、第1生体情報X及び第2生体情報X’の少なくとも一方は、対象者の視線の座標を含んでもよい。
【0066】
一実施形態に係る電子機器1において、制御部10は、自己符号化器のエンコーダENNによって、潜在変数である未知の値Zを推論することができる。また、一実施形態に係る電子機器1において、制御部10は、自己符号化器のデコーダDNNによって、未知の値Zに基づいて、第1生体情報Xの再構成として第2生体情報X’を推定することができる。上述のように、一実施形態に係る電子機器1は、第2生体情報X’による第1生体情報Xの再現度に基づいて、エンコーダENN及びデコーダDNNのパラメータを調整することができる。
【0067】
一実施形態に係る電子機器1において、制御部10は、第1生体情報Xと第2生体情報X’との差異として、例えば平均二乗誤差又は差の絶対値などのような、両者の差を計算してもよい。また、制御部10は、第2生体情報X’を確率分布として出力することにより、その確率分布における第1生体情報Xの確率又は確率の対数を計算してもよい。一実施形態において、制御部10は、未知の値Zについて事前確率の分布を定義してもよい。この場合、制御部10は、推定した未知の値Zの事前確率を算出して、第1生体情報Xの確率とともに用いてもよい。すなわち、制御部10は、未知の値Zが例えば正規分布のような所定の確率分布から乖離している度合いに基づいて、エンコーダENN及びデコーダDNNのパラメータを調整してもよい。また、一実施形態において、制御部10は、自己符号化器のエンコーダによって、未知の値Zを近似的な事後確率の分布として出力してもよい。この場合、未知の値Zが所定の確率分布から乖離している度合いは、未知の値Zの事前分布と事後分布の乖離の指標としてよく、例えば乖離の指標としてカルバック・ライブラダイバージェンスを用いてもよい。この場合、制御部10は、複数の未知の値Zをサンプリングして、複数の第2生体情報X’を求めてもよい。このように、一実施形態に係る電子機器1は、未知の値Zが所定の確率分布から乖離している程度に基づいて、エンコーダENN及びデコーダDNNのパラメータを調整してもよい。
【0068】
上述のようにして、一実施形態に係る電子機器1は、学習フェーズを実行することにより、対象者の内部状態を推定するのに適したパラメータを得ることができる。以下、対象者の内部状態を推定するフェーズを、単に「推定フェーズ」と記すことがある。
【0069】
図6は、一実施形態に係る電子機器1による推定フェーズを説明するフローチャートである。以下、
図6を参照して、一実施形態に係る電子機器1による推定フェーズを説明する。
【0070】
図6に示す推定フェーズの動作が開始するに際し、対象者(運転者)は移動体を運転しているものとする。ここで、対象者は、乗用車のような移動体を現実に運転しているものとする。また、検証実験のようなテストにおいては、対象者は、例えばドライブシミュレータを用いて仮想的に移動体を運転していてもよい。また、
図6に示す動作が開始するに際し、第1撮像部21は対象者の画像を撮像しているものとする。ここで、第1撮像部21は、対象者の画像から対象者の視線が抽出できるように、対象者の眼球領域を含む画像を撮像するものとしてよい。さらに、
図6に示す動作が開始するに際し、第2撮像部22は、対象者の視線が向く方向を含む画像(風景画像)を撮像しているものとする。このようにして、一実施形態に係る電子機器1の制御部10は、対象者の環境情報Sを取得することができる。
【0071】
図6に示す動作が開始すると、一実施形態に係る電子機器1の制御部10は、第1撮像部21によって撮像された対象者の画像を取得する(ステップS21)。ステップS21において取得される対象者の画像とは、上述のように、対象者の視線が抽出できるように、対象者の眼球領域を含む画像としてよい。ステップS21の動作は、
図5に示したステップS11の動作と同様に行ってよい。
【0072】
ステップS21において対象者の画像を取得したら、制御部10の抽出部12は、対象者の画像から対象者の視線を抽出する(ステップS22)。ステップS22の動作は、
図5に示したステップS12の動作と同様に行ってよい。このようにして、一実施形態に係る電子機器1の制御部10は、ステップS22において、対象者の画像から抽出される対象者の視線を含む第1生体情報Xを取得する。
【0073】
ステップS22において対象者の視線が抽出されたら、制御部10の推定部14は、対象者の内部状態を示す情報Yを推定する(ステップS23)。ステップS23において推定される対象者の内部状態を示す情報Yは、例えば対象者の集中度を示す情報としてよい。特に、一実施形態において、対象者の内部状態を示す情報Yは、例えば対象者が乗用車のような乗り物(移動体)を運転している最中の集中度を示す情報を含んでよい。
【0074】
ステップS23において、一実施形態に係る電子機器1は、例えば以下のようにして、対象者の内部状態を示す情報Yを推定してよい。すなわち、例えば、一実施形態に係る電子機器1の制御部10は、例えば集中している状態における内部状態を示す情報Yを0とし、例えば集中していない状態における内部状態を示す情報Yを1とするなどとして、複数の内部状態を示す情報Yを仮定する。同様に、一実施形態において、制御部10は、例えば内部状態を示す情報Yを0から1の間で複数仮定してもよい。
【0075】
そして、制御部10は、このように仮定した複数の内部状態を示す情報Yのそれぞれについて、再構成された対象者の視線を含む情報(第2生体情報X’)が、元の対象者の視線を含む情報(第1生体情報X)を再現する度合いを検証する。そして、推定部14は、再構成された対象者の視線を含む情報(第2生体情報X’)が、元の対象者の視線を含む情報(第1生体情報X)を再現する度合い(再現度)を最も高くする内部状態を示す情報Yを、その時の対象者の内部状態(集中度)と推定する。例えば、対象者の内部状態を示す情報Yが0の時に、上述の再現度が最も高くなる場合、推定部14は、対象者が集中している状態と推定してよい。一方、例えば、対象者の内部状態を示す情報Yが1の時に、上述の再現度が最も高くなる場合、推定部14は、対象者が集中していない状態と推定してよい。また、例えば、対象者の内部状態を示す情報Yが0から1の間の値の時に、上述の再現度が最も高くなる場合、推定部14は、対象者が当該値に対応する集中度である状態と推定してよい。一実施形態において、制御部10は、未知の値Zについて事前確率の分布を定義してもよい。この場合、制御部10は、推定した未知の値Zの事前確率及び/又は事前確率の対数を算出して、上述の再現度とともに用いてもよい。また、一実施形態において、制御部10は、自己符号化器のエンコーダによって、未知の値Zを近似的な事後確率の分布として出力してもよい。この場合、制御部10は、複数の未知の値Zをサンプリングして、複数の第2生体情報X’を求めてもよい。またこの場合、制御部10は、推定した未知の値Zの近似的な事後確率及び/又は近似的な事後確率の対数を算出して用いてもよい。制御部10部は、エンコーダENNが推定した未知の値Zが所定の確率分布から生成され易い度合いを表す確率又は対数確率に基づいて推定を行ってもよい。上記対象者の視線の画像には、対象者の視線の座標、及び瞳孔径又は眼球の回転情報など視線の特徴量のうち少なくとも一方が含まれるものとしてよい。
【0076】
ステップS23において対象者の内部状態を示す情報Yが推定されたら、判定部16は、推定された集中度が所定の閾値以下であるか否かを判定する(ステップS24)。ステップS24の処理を行うに際し、対象者の集中度について警報を出す基準となる所定の閾値を予め設定しておいてよい。このようにして設定された所定の閾値は、例えば記憶部30に記憶してもよい。ステップS24において、判定部16は、推定された集中度が所定の閾値以下であるか否かのように、推定された集中度が所定の条件を満たすか否かを判定してよい。
【0077】
ステップS24において集中度が所定の閾値以下である(集中度が低下した)場合、判定部16は、所定の警報を報知部40から出力して(ステップS25)、
図6に示す動作を終了してよい。一方、ステップS24において集中度が所定の閾値以下でない(集中度が低下していない)場合、判定部16は、
図6に示す動作を終了してよい。
図6に示す動作が終了すると、制御部10は、適宜、
図6に示す処理を再び開始してもよい。
【0078】
このように、一実施形態に係る電子機器1において、制御部10のエンコーダENNは、対象者の画像から抽出される対象者の視線を含む第1生体情報X、対象者の環境情報S、及び対象者の内部状態を示す情報Yとして仮定される値に基づいて、未知の値Zを推定する。また、一実施形態に係る電子機器1において、制御部10のデコーダDNNは、未知の値Z、対象者の環境情報S、及び対象者の内部状態を示す情報Yとして仮定される値に基づいて、対象者の視線を含む第2生体情報X’を推定する。そして、一実施形態に係る電子機器1は、対象者の内部状態を示す情報Yとして複数の値を仮定して、その複数の値のうち第2生体情報X’による第1生体情報Xの再現度が最も高くなる値を、対象者の内部状態を示す情報Yと推定する。また、電子機器1は、エンコーダENNが推定した未知の値Zの従う確率分布が所定の確率分布からどれくらい逸脱しているかを表す分布逸脱度を用いて対象者の内部状態を推定してもよい。当該所定の確率分布は正規分布であってもよい。当該分野逸脱度はカルバック・ライブラダイバージェンスを用いてもよい。
【0079】
一実施形態に係る電子機器1は、対象者の内部状態を示す情報Yとして仮定される複数の値のうち第2生体情報X’による第1生体情報Xの再現度が最も高くなる値が所定の条件を満たす場合、所定の警報を出力してもよい。
【0080】
上述した学習フェーズ及び/又は推定フェーズにおいて、各種情報の取得及び推定は、所定期間に取得された時系列の情報に基づいて行ってもよい。すなわち、一実施形態に係る電子機器1における自己符号化器のエンコーダENN及びデコーダDNNは、例えば対象者の環境情報Sを、所定期間に取得された時系列の情報として処理してよい。また、一実施形態に係る電子機器1における自己符号化器のエンコーダENN及びデコーダDNNは、例えば第1生体情報X及び/又は第2生体情報X’を、所定期間に取得された時系列の情報として処理してよい。
【0081】
このように、一実施形態に係る電子機器1において、対象者の環境情報S、第1生体情報X、及び第2生体情報X’の少なくともいずれかは、所定期間に取得された時系列の情報としてもよい。一実施形態に係る電子機器1において、自己符号化器のエンコーダENN及びデコーダDNNによって時系列の情報を処理することで、対象者の内部状態を示す情報Yの推定精度の向上が期待され得る。
【0082】
以上のように、一実施形態に係る電子機器1は、対象者の内部状態を原因として、対象者の視線を含む生体情報が生成されるというモデルに基づいて、対象者の内部状態を推定することができる。したがって、一実施形態に係る電子機器1は、データの生成過程に基づく自然な因果関係によって、対象者の集中度のような内部状態を合理的に推定することができる。また、一実施形態に係る電子機器1は、例えば移動体を運転中の対象者の集中度が低下したら、所定の警報を出力することができる。したがって、一実施形態に係る電子機器1によれば、例えば移動体を運転中の対象者の安全性を高めることができる。一実施形態によれば、対象者の集中度のような内部状態をデータ生成過程に基づいて合理的に推定することができる。
【0083】
一般的に、人間の視線及び/又は注意行動などは、周囲の風景のような環境に影響される傾向にある。したがって、対象者の内部状態を推定する際には、例えば上述のような対象者の環境を適切に考慮しないと、良好な精度の結果が得られないことが懸念される。また、対象者の内部状態を推定する際には、推定結果がどのようなモデルに基づくものなのか、ユーザに客観的に説明可能であることが望ましい。
【0084】
例えば、対象者を撮像した画像から、対象者の集中度のような内部状態を推定する場合、従来の機械学習のように、両者の因果関係とは逆に、すなわち対象者の視線など生体反応データから内部状態を推定するように学習を行うことも想定される。しかしながら、このような場合、因果関係が逆のモデル構造であるがゆえにそのモデル内部のデータ構造がブラックボックス化されてしまうため、要因を特定できずに誤った構造を学習してしまうおそれがある。また、因果関係がブラックボックス化されるため、因果関係のモデルをユーザに客観的に説明することは困難になる。
【0085】
一実施形態に係る電子機器1において対象者の内部状態を推定するアルゴリズムは、一般の認識モデル又は回帰モデルとは異なる生成モデルに基づくものである。電子機器1における生成モデルは、対象者の内部状態及び対象者の環境(周囲の風景など)を原因として、対象者の視線の画像が生成されるという過程を、データから学習する。このため、一実施形態に係る電子機器1によれば、対象者の環境を考慮して推定精度を向上させることが期待できる。また、一実施形態に係る電子機器1によれば、データ生成過程を踏まえたメカニズムをユーザに客観的に説明することができる。
【0086】
次に、他の実施形態について説明する。
【0087】
図7は、他の実施形態に係る電子機器の機能的な概略構成を示すブロック図である。
【0088】
図7に示すように、他の実施形態に係る電子機器2は、
図1に示した電子機器1と異なり、第2撮像部22によって撮像された画像のデータは、制御部10において、画像処理部18によって適宜画像処理されてから、推定部14に供給される。画像処理部18は、入力された画像データに、種々の画像処理を施すことができる。画像処理部18は、ソフトウェア及び/又はハードウェアによって構成されてよい。
【0089】
画像処理部18は、第2撮像部22によって撮像された風景画像から、より抽象的な情報を抽出してもよい。例えば、画像処理部18は、第2撮像部22によって撮像された風景画像に基づいて、対象者の視線を予測する情報を抽出してもよい。また、画像処理部18は、対象者の視線が予測された情報を、視線予測マップとして推定部14などに供給してもよい。画像処理部18は、対象者が見得る風景の画像において、対象者の視線を予測してよい。一実施形態において、画像処理部18は、対象者の視線の先の風景を含む画像(例えば周辺画像)から、対象者の視線が向けられると予測されるマップ(視線予測マップ)を推定するものとしてよい。対象者が見得る風景の画像に基づいて視線予測マップを生成する技術は、既存の任意の技術を採用してよい。視線予測マップを用いる場合、対象者の集中度ごと、及び/又は、集中度を低下させる要因別の予測マップ(群)を用いてもよい。
【0090】
また、画像処理部18は、第2撮像部22によって撮像された風景画像に基づいて、セマンティックセグメンテーション画像を生成して出力してもよい。シミュレーション環境下で行う運転訓練などの応用においては、セマンティックセグメンテーション画像は、画像処理部18を介さずに、シミュレータから直接出力されるようにしてもよい。
【0091】
図7に示す一実施形態に係る電子機器2において、推定部14は、対象者の内部状態を推定するに際し、学習フェーズ及び/又は推定フェーズにおいて、上述の動作に視線予測マップのデータ及び/又はセマンティックセグメンテーション画像を加味してよい。具体的には、例えば、上述した対使用者の環境情報Sに、視線予測マップのデータ及び/又はセマンティックセグメンテーション画像のデータを含ませてもよい。
【0092】
このように、一実施形態に係る電子機器2において、対象者の環境情報Sは、第2撮像部22によって撮像される画像から画像処理部18によって抽出される情報を含んでもよい。また、一実施形態に係る電子機器2において、対象者の環境情報Sは、第2撮像部22によって撮像される画像において対象者の視線を予測する情報を含んでもよい。一実施形態に係る電子機器2において、適宜画像処理により抽出された対象者の環境情報Sを用いることにより、対象者の内部状態を示す情報Yの推定精度の向上が期待され得る。
【0093】
次に、さらに他の実施形態について説明する。
【0094】
図8は、さらに他の実施形態に係る電子機器の機能的な概略構成を示すブロック図である。
【0095】
図8に示すように、さらに他の実施形態に係る電子機器3は、
図1に示した電子機器1と異なり、生体指標取得部50及び環境情報取得部60を備えている。生体指標取得部50は、対象者の瞳孔半径及び/又は発汗量などのような生体指標を取得する。環境情報取得部60は、対象者の環境の明るさ及び/又は温度及び/又は湿度などのような環境情報を取得する。環境情報取得部60は、対象者の環境の明るさ及び/又は温度及び/又は湿度などのような環境情報を取得可能なものであれば、任意の測定又は検出デバイスなどを採用してよい。
【0096】
生体指標取得部50は、対象者の瞳孔半径を取得する機能を備える場合、例えば対象者の瞳孔を撮像する撮像デバイスを含んで構成されてもよい。この場合、例えば対象者の視線を含む画像を撮像する第1撮像部21が、生体指標取得部50の機能を兼ねるものとしてもよい。生体指標取得部50は、対象者の瞳孔のサイズを計測又は推定などできるものであれば、任意の部材としてよい。また、生体指標取得部50は、対象者の発汗量を取得する機能を備える場合、例えば対象者の肌に貼り付ける皮膚コンダクタンスなどのようなデバイスを含んで構成されてもよい。生体指標取得部50は、対象者の発汗量を計測又は推定などできるものであれば、任意の部材としてよい。生体指標取得部50が取得した対使用者の生体指標の情報は、制御部10の例えば推定部14に供給されてよい。
【0097】
図8に示す電子機器3において、制御部10は、対象者の瞳孔半径を示す時系列の情報に基づいて、対象者の集中度を推定してよい。一般的に、人間の瞳孔半径は、集中度の影響のみならず、環境光の明るさの影響も受けることが知られている。そこで、
図8に示す電子機器3において、制御部10は、例えば環境情報取得部60によって取得された環境の明るさの時系列の条件のもとで、瞳孔半径の時系列の情報を加味して、対象者の内部状態を示す情報Yを推定してよい。また、一実施形態において、環境の明るさを第2撮像部22が兼ねるものとして、撮像された風景画像に基づく環境の明るさを用いてもよい。
【0098】
また、
図8に示す電子機器3は、対象者の発汗量を示す時系列の情報に基づいて、対象者の緊張度を推定してもよい。一般的に、人間の発汗量は、緊張している度合いに影響を受けるのみならず、環境の温度及び/又は湿度などの影響も受けることが知られている。そこで、
図8に示す電子機器3において、環境情報取得部は、例えば温度計及び/又は湿度計を含んでよい。この場合、制御部10は、温度及び/又は湿度の時系列の条件のもとで、対象者の発汗量の情報を加味して、対象者の内部状態を示す情報Yを推定してよい。この場合、制御部10は、対象者の内部状態を示す情報Yに基づいて、対象者の緊張の度合いを推定してもよい。
【0099】
このように、一実施形態に係る電子機器において、対象者の第1生体情報及び/又は第2生体情報は、対象者の瞳孔半径を示す情報を含んでもよい。この場合、環境情報Sとして、環境の明るさの情報を含んでもよい。また、一実施形態に係る電子機器において、対象者の第1生体情報及び/又は第2生体情報は、対象者の発汗量を示す情報を含んでもよい。この場合、環境情報ととして、環境の温度及び/又は湿度及びを含んでもよい。一実施形態に係る電子機器3において、対象者の生体情報に影響を及ぼす内部状態以外の情報を環境情報として用いることにより、対象者の内部状態を示す情報Yの推定精度の向上が期待され得る。すなわち、瞳孔、発汗量は、生体情報である。そして、瞳孔には明るさ、発汗量には温度及び湿度が関係する。このため、これらを環境情報として考慮することにより、一実施形態に係る電子機器は、精度よく内部状態を推定することができる。この関係は、前述の視線と前景の関係と同じであるとしてよい。
【0100】
本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【0101】
例えば、上述した実施形態においては、第2撮像部22は、第1撮像部21とは別の部材として示した。しかしながら、例えば、360°撮像可能なドライブレコーダのように1つの撮像部によって撮像された画像から、第1撮像部21及び第2撮像部22がそれぞれ使用する画像のデータを抽出してもよい。
【符号の説明】
【0102】
1,2,3 電子機器
10 制御部
12 抽出部
14 推定部
16 判定部
18 画像処理部
21 第1撮像部
22 第2撮像部
30 記憶部
40 報知部
50 生体指標取得部
60 環境情報取得部
ENN エンコーダ
DNN デコーダ