特許 7160867 電子機器、情報処理装置、推定方法、および推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-17

(45)【発行日】2022-10-25

(54)【発明の名称】電子機器、情報処理装置、推定方法、および推定プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221018BHJP

   A61B 5/18 20060101ALI20221018BHJP

   A61B 3/113 20060101ALI20221018BHJP

【ＦＩ】

G08G1/16 F

A61B5/18

A61B3/113

【請求項の数】 8

(21)【出願番号】P 2020123233

(22)【出願日】2020-07-17

(65)【公開番号】P2022019416

(43)【公開日】2022-01-27

【審査請求日】2022-02-18

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】篠▲崎▼ 教志

【審査官】佐々木 佳祐

(56)【参考文献】

【文献】国際公開第２０１８／１３５３１８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１９５４０５（ＷＯ，Ａ１）

【文献】特開２０２０－１０９７０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ａ６１Ｂ ５／１８

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定部と、
前記第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する
電子機器。

【請求項2】

撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する
電子機器。

【請求項3】

撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
前記制御部は、前記画像を構成する各位置における前記視線の確率を示す視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する
電子機器。

【請求項4】

請求項１から３のいずれか１項に記載の電子機器において、
前記制御部は、連続的に撮像される複数の前記画像および該複数の画像毎に対する前記視線に基づいて、前記対象者の覚醒度を推定する
電子機器。

【請求項5】

請求項４に記載の電子機器において、
前記制御部は、前記連続的に撮像される複数の前記画像および該画像毎に対する前記視線の中で、前記視線の移動速度が閾値を超える視線および画像の組合せを除外して、前記対象者の覚醒度を推定する
電子機器。

【請求項6】

光景に対応する画像、および前記光景に対する対象者の視線を取得する取得部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、
前記覚醒度を出力する出力部と、を備え、
前記制御部は、学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像における前記視線の頻度を示す視線予測マップを生成可能な第１の推定部と、前記第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する
情報処理装置。

【請求項7】

撮像部が、撮像により光景に対応する画像を生成する撮像工程と、
視線検知部が、前記光景に対する対象者の視線を検知する視線検知工程と、
制御部が、前記画像および前記視線に基づいて前記対象者の覚醒度を推定する推定工程と、を備え、
前記推定工程は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定工程と、
前記第１の推定工程が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定工程と、
を含む
推定方法。

【請求項8】

コンピュータを、
撮像により光景に対応する画像を生成する撮像部、
前記光景に対する対象者の視線を検知する視線検知部、及び、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、して機能させ、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定部と、
前記第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する
推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器、情報処理装置、推定方法、および推定プログラムに関するものである。

【背景技術】

【0002】

移動体の安全な運転には、運転者の注意力が求められる。それゆえ、運転者の注意力を観察して、注意力が低下する場合、運転者への警告を発したり、運転の支援を行うことが検討されている。注意力の観察として、自車の周辺の対向車などの対象物に対する視線の重なり度合いの累積値である累積視認度を算出し、基準値と比較することが提案されている（特許文献１参照）。また、監視対象者が視認すべき対象物を視認しているか否かを推定する注意力推定システムが提案されている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開２００８－０２９８０２号

【文献】特開２０１５－２０７１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１においては、累積視認度を算出するために、毎時における視認度を、テーブルを用いて算出している。しかし、実環境の多様な運転状況に対して適切なテーブルは異なっており、多様な運転状況において、運転者の注意力を正確に観察することは難しかった。特許文献２においては、監視対象者の状態を推定するためにマイクロサッカードを抽出する必要があり、処理が煩雑であった。

【0005】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、多様な状況に対して対象者の注意力を正確に推定する電子機器、情報処理装置、推定方法、および推定プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による電子機器は、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定部と、
前記第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する。
第１の観点とは別の観点による電子機器は、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する。
第１の観点とは更に別の観点による電子機器は、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
前記制御部は、前記画像を構成する各位置における前記視線の確率を示す視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する

【0007】

第２の観点による情報処理装置は、
光景に対応する画像、および前記光景に対する対象者の視線を取得する取得部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、
前記覚醒度を出力する出力部と、を備え、
前記制御部は、学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像における前記視線の頻度を示す視線予測マップを生成可能な第１の推定部と、前記第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する。

【0008】

第３の観点による推定方法は、
撮像部が、撮像により光景に対応する画像を生成する撮像工程と、
視線検知部が、前記光景に対する対象者の視線を検知する視線検知工程と、
制御部が、前記画像および前記視線に基づいて前記対象者の覚醒度を推定する推定工程と、を備え、
前記推定工程は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定工程と、
前記第１の推定工程が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定工程と、を含む。

【0009】

第４の観点による推定プログラムは、
コンピュータを、
撮像により光景に対応する画像を生成する撮像部、
前記光景に対する対象者の視線を検知する視線検知部、及び、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、して機能させ、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて該画像を構成する各位置における前記視線の確率を示す視線予測マップを推定可能な第１の推定部と、
前記第１の推定部が前記学習用画像に基づいて推定した学習用視線予測マップと、該学習用画像に対する学習用対象者の視線と、該学習用対象者の覚醒度に関する生体情報との関係が機械学習された学習データによって構築され、前記視線予測マップと前記対象者の視線とに基づいて該対象者の覚醒度に関する生体情報を推定可能な第２の推定部と、として機能する。

【発明の効果】

【0010】

上記のように構成された本開示に係る電子機器、情報処理装置、推定方法、および推定プログラムによれば、多様な状況に対して対象者の注意力の推定精度が向上する。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る電子機器の概略構成を示すブロック図である。

【図2】視線検知部が検知する視線と画像との関係を説明するための図である。

【図3】画像に対して第１の推定部が推定する視線予測マップの具体例を示す図である。

【図4】図１の制御部が実行する推定処理を説明するためのフローチャートである。

【図5】本実施形態の変形例である情報処理装置の概略構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。なお、以下の説明は、本開示を適用した情報処理装置、推定方法、および推定プログラムの説明を兼ねる。

【0013】

本開示の一実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

【0014】

図１に示すように、本開示の一実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、メモリ１３、および制御部１４を含んで構成される。

【0015】

撮像部１１は、例えば、移動体の前進方向の光景を撮像可能に、移動体に設けられている。撮像部１１は、例えば、３０ｆｐｓの速度で撮像可能なカメラである。撮像部１１は、撮像により光景に対応する画像を生成する。

【0016】

視線検知部１２は、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移動体に設けられている。視線検知部１２は、例えば、接触型のアイトラッカーおよび非接触型のアイトラッカーのいずれかであり、光景に対する対象者の視線を検知する。図２に示すように、視線ＬＳは、例えば、撮像部１１が撮像により生成する画像ＩＭと同じ座標系における位置ＰＥに相当する視線の方向として示される。

【0017】

視線検知部１２は、時系列の視線を視線データとして検知してもよい。さらに具体的には、視線検知部１２は、時間ごとに視線の位置を画像上に検知して、その一連の時系列の視線の位置を視線データとして出力してもよい。視線検知部１２は撮像部１１より高速、言換えると高頻度で視線検知してよく検知したその一連の時系列の視線の位置を１つの画像の視線の経路として積算して出力してもよい。

【0018】

メモリ１３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１３は、制御部１４を機能させる多様なプログラム、および制御部１４が用いる多様な情報を記憶する。

【0019】

制御部１４は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部１４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。制御部１４は、電子機器１０の各構成要素の動作を制御する。

【0020】

制御部１４は、通常時に、例えば、３０ｆｐｓなどの速度で連続的な撮像を撮像部１１に実行させ、連続的に画像ＩＭを情報として取得する。制御部１４は、撮像部１１における撮像の実行時の対象者の視線ＬＳを視線検知部１２に検知させ、画像ＩＭの撮像時点と実質的に同じ時期における視線ＬＳを情報として取得する。画像ＩＭの撮像時点と実質的に同じ時期とは、単一の検出時点を含んでよく、画像ＩＭの直近の撮像のひとつ前の撮像時点から直近の撮像時点までの間の複数の検出時点を含んでよい。画像ＩＭの撮像時点と実質的に同じ時期は、視線の単一の検出時点を含む場合、厳密な同時点ではなく、画像撮像と同じ周期の視線検知において、撮像時に最も近い時点における検知時点を含んでよい。制御部１４は、画像ＩＭと、当該画像ＩＭの撮像時点と実質的に同じ時期に検知される視線ＬＳとを関連付けてメモリ１３に格納する。

【0021】

制御部１４は、取得する画像ＩＭに画像処理を施してよい。後述する、推定部の学習を、セマンティックセグメンテーション画像などのように、通常の撮像画像ＩＭに対して所定の画像処理を施した画像で行う構成において、制御部１４は取得する画像ＩＭに当該所定の画像処理を施して、視線ＬＳと関連付けてメモリ１３に格納する。セマンティックセグメンテーション画像は、画像内の全画素に、ラベルまたはカテゴリを関連付けた画像である。

【0022】

制御部１４は、撮像時点と検知時期が実質的に同じである画像ＩＭおよび視線ＬＳに基づいて、対象者の覚醒度を推定する。さらに具体的には、制御部１４は、第１の推定部１５および第２の推定部１６として機能することにより、対象者の覚醒度を推定する。

【0023】

第１の推定部１５は、画像ＩＭに基づいて、対象者の視線予測マップを推定する。図３に示すように、視線予測マップＭＰとは、一般的な対象者が特定の光景に対してそれぞれの位置を注視する、すなわち視線ＬＳと重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。

【0024】

第２の推定部１６は、視線予測マップＭＰおよび対象者の視線ＬＳに基づいて、対象者の覚醒度に関する生体情報を推定する。覚醒度に関する生体情報は、覚醒度そのもの、覚醒度を算出または推定させる生体情報である。覚醒度を算出または推定させる情報は、例えば、心拍、脳波、瞬き回数、ＰＥＲＣＬＯＳ（Ｐｅｒｃｅｎｔ ｏｆ Ｅｙｅｌｉｄ Ｃｌｏｓｕｒｅ）などの少なくとも１つを含む。したがって、制御部１４において、画像ＩＭおよび視線ＬＳに基づいて、第２の推定部１６が覚醒度を推定してもよいし、第２の推定部１６が覚醒度を算出または推定させる生体情報を推定し、推定された当該生体情報に基づいて覚醒度が算出または推定されてもよい。

【0025】

第１の推定部１５および第２の推定部１６は、例えば、多層構造のニューラルネットワークにより構成されている。第１の推定部１５および第２の推定部１６は、後述するように、機械学習を実施することにより構築される。

【0026】

例えば、第１の推定部１５は、撮像時点と検知時点とが実質的に同一の画像ＩＭおよび視線ＬＳに基づいて対象者の視線予測マップＭＰを推定する。第２の推定部１６は、単一の視線予測マップＭＰと当該視線予測マップＭＰの推定に用いた画像ＩＭの撮像時点と実質的に同じ検出時点である視線ＬＳとに基づいて、覚醒度を推定する。

【0027】

または、例えば、第１の推定部１５は、単一の学習用画像に対する視線の経路の関係が学習により構築されている構成において、単一の画像ＩＭ、および当該単一の画像ＩＭと実質的に同一の検出時期における視線ＬＳの経路に基づいて、対象者の視線予測マップＭＰを推定する。第２の推定部１６は、単一の視線予測マップＭＰと当該視線予測マップＭＰの推定に用いた画像ＩＭの撮像時点と実質的に同一の検出時期における視線ＬＳの経路とに基づいて、覚醒度を推定する。

【0028】

ただし、第１の推定部１５は、後述するように、単一の学習用画像内での視線ＬＳの移動速度が閾値未満である部分を含む経路を用いた学習により構築されている構成において、視線ＬＳの経路の中で、視線ＬＳの移動速度が閾値以上である部分を除外して、視線予測マップＭＰを推定してよい。言換えると、第１の推定部１５は、サッカード中の情報を除外してもよい。除外する理由は、サッカードは次の注視点に移っている途中の動作であって、サッカード中の視線の位置は注視点としての意味を持たないためである。第１の推定部１５は、サッカード中か否かを視線の位置の移動速度などで判定してもよい。

【0029】

または、例えば、第１の推定部１５は、後述するように、連続的に撮像された複数の学習用画像を用いた学習により構築されている構成において、連続的に撮像される複数の画像ＩＭ、および当該複数の画像ＩＭ毎に対する視線ＬＳ、言い換えると、複数の画像ＩＭ毎に関連付けられている視線ＬＳに基づいて、単一の視線予測マップＭＰを推定する。制御部１４は、例えば、最新の画像ＩＭから所定の時間間隔で遡った範囲内のフレームの画像ＩＭに基づいて、単一の視線予測マップＭＰを推定してよい。第２の推定部１６は、単一の視線予測マップＭＰと当該視線予測ＭＰの推定に用いた画像ＩＭの撮像時点と実質的に同一の検出時点である視線ＬＳとに基づいて、対象者の覚醒度を推定する。

【0030】

制御部１４は、後述するように、連続的に撮像された複数の学習用画像に対して視線の移動速度が閾値未満である学習用画像を用いた学習により第１の推定部１５が構築されている構成において、連続的に撮像される複数の画像ＩＭおよび当該複数の画像ＩＭに対する視線ＬＳの中で、視線ＬＳの移動速度が閾値以上である場合、当該視線ＬＳおよび当該視線ＬＳに関連付けられている画像ＩＭの組合せを除外して、最終的に対象者の覚醒度を推定してよい。例えば、制御部１４は、複数の画像ＩＭ毎に関連付けられている視線ＬＳに基づいて単一の視線予測マップＭＰを推定する構成においては、上述の組合せを除外して単一の視線予測マップＭＰを推定し、当該視線予測マップＭＰと視線ＬＳとに基づいて覚醒度を算出してよい。

【0031】

より具体的には、制御部１４は、任意の検知時における視線ＬＳの、直前の検知時における視線ＬＳからの移動量が閾値を超える場合、当該任意の検知時における視線ＬＳ、および当該視線ＬＳの検知時に関連付けられている画像ＩＭの組合せを、除外してよい。言換えると、制御部１４は、サッカード中の情報を除外してもよい。除外する理由は、サッカードは次の注視点に移っている途中の動作であって、サッカード中の視線の位置は注視点としての意味を持たないためである。制御部１４は、サッカード中か否かを視線の位置の移動速度などで判定してもよい。

【0032】

制御部１４は、推定した覚醒度を外部機器１７に出力する。外部機器１７は、覚醒度に基づいて所定の動作を行う装置である。外部機器１７は、例えば、覚醒度に基づいて対象者に警告を発する警告装置、覚醒度に基づいて移動体の運転補助を行う運転補助装置、および覚醒度に基づいて移動体の運転を行う運転装置などである。

【0033】

第１の推定部１５は、学習用画像、および学習用画像に相当する光景に対する学習用対象者の実際の視線の複数の組を用いて、学習用画像および実際の視線の関係を機械学習させた学習データにより構築されている。第１の推定部１５は、学習用画像および実際の視線の関係に基づいて、任意の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定する。第１の推定部１５は、任意の画像ＩＭを構成する位置毎の当該確率を二次元状に示す視線推定マップを生成する。

【0034】

第１の推定部１５は、単一の学習用画像、および当該単一の学習用画像に相当する光景に対する学習用対象者の実際の視線の経路を用いて、学習用画像、および実際の視線の経路の関係を機械学習させた学習データにより構築されていてよい。第１の推定部１５は、さらには、単一の学習用画像、および当該単一の学習用画像内での視線の移動速度が閾値未満である部分の機械学習により構築されていてよい。

【0035】

第１の推定部１５は、さらには、連続的に撮像された複数の学習用画像、および複数の学習用画像毎に相当する光景に対する学習用対象者の実際の視線の機械学習により構築されていてよい。第１の推定部１５は、さらには、連続的に撮像された複数の学習用画像に対する視線の移動速度が閾値未満である学習用画像、および視線により構築されていてよい。

【0036】

第２の推定部１６は、第１の推定部１５に学習用画像に基づいて推定させた学習用視線予測マップ、当該学習用画像に相当する光景に対する学習用対象者の実際の視線、および当該学習用対象者の覚醒度に関する生体情報の複数の組を用いて、学習用視線予測マップ、実際の視線、および覚醒度に関する生体情報の関係を機械学習させた学習データにより構築されている。

【0037】

第２の推定部１６は、第１の推定部１５に学習用画像に基づいて推定させた単一の視線予測マップＭＰ、当該学習用画像に相当する光景に対する学習用対象者の実際の視線の経路、および覚醒度に関する生体情報の関係を機械学習させた学習データにより構築されていてよい。

【0038】

次に、本実施形態において制御部１４が実行する、推定処理について、図４のフローチャートを用いて説明する。推定処理は、１フレームの画像ＩＭおよび視線ＬＳを制御部１４が取得するたびに開始する。

【0039】

ステップＳ１００において、制御部１４は、取得した視線ＬＳの移動速度を、直前に取得した視線ＬＳの位置ＰＥとの比較により算出する。算出後、プロセスはステップＳ１０１に進む。

【0040】

ステップＳ１０１では、制御部１４は、ステップＳ１０１において算出した移動速度が閾値以上であるか否かを判別する。閾値以上である場合、プロセスはステップＳ１０２に進む。閾値以上でない場合、プロセスはステップＳ１０３に進む。

【0041】

ステップＳ１０２では、制御部１４は、推定処理の開始時に取得した画像ＩＭおよび視線ＬＳを廃棄する。廃棄後、プロセスはステップＳ１０４に進む。

【0042】

ステップＳ１０３では、制御部１４は、推定処理の開始時に取得した画像ＩＭおよび視線ＬＳを互いに関連付けてメモリ１３に格納する。格納後、プロセスはステップＳ１０４に進む。

【0043】

ステップＳ１０４では、制御部１４は、所定の時間間隔で遡った範囲内に格納された画像ＩＭおよび視線ＬＳの組合せ中の画像ＩＭをメモリ１３から読出す。読出し後、プロセスはステップＳ１０５に進む。

【0044】

ステップＳ１０５では、制御部１４は、ステップＳ１０４において読出した組合せに含まれる複数の画像ＩＭ基づいて、第１の推定部１５として機能することにより視線予測マップＭＰを推定する。推定後、プロセスはステップＳ１０６に進む。

【0045】

ステップＳ１０６では、制御部１４は、第２の推定部１６として機能することにより、ステップＳ１０５において推定した複数の視線予測マップＭＰと、ステップＳ１０４において読出した組合せに含まれる視線ＬＳとに基づいて、覚醒度を推定する。推定後、プロセスはステップＳ１０７に進む。

【0046】

ステップＳ１０７では、制御部１４は、ステップＳ１０６において推定した覚醒度を外部機器１７に出力する。出力後、推定処理は終了する。

【0047】

以上のような構成の本実施形態の電子機器１０では、制御部１４は、画像ＩＭに基づいて当該画像ＩＭを構成する各位置における視線ＬＳの確率を示す視線予測マップＭＰを推定可能な第１の推定部１５と、視線予測マップＭＰおよび対象者の視線ＬＳに基づいて当該対象者の覚醒度に関する生体情報を推定可能な第２の推定部１６と、として機能することにより、画像ＩＭおよび視線ＬＳに基づいて、対象者の覚醒度を推定する。例えば、高速道路、市街地、郊外、住宅地などの多様な光景に対して、注視する対象および方向などは変わることが一般的である。それゆえ、単に視線ＬＳの動きのみの検知では、覚醒度の推定精度を向上させることが難しい。一方で、前述のような構成により、電子機器１０は、覚醒度の違いによる多様な光景における人が注視する対象物の傾向を学習済みなので、その時々の光景に対応する画像ＩＭおよび視線ＬＳに基づいて、精度の高い覚醒度を推定し得る。人間の注意力は覚醒度に影響を受けるので、電子機器１０は、多様な状況における対象者の注意力の推定精度を向上させ得る。

【0048】

また、本実施形態の電子機器１０は、連続的に撮像される複数の画像ＩＭおよび当該複数の画像ＩＭ毎に対する視線ＬＳに基づいて、対象者の覚醒度を推定する。このような構成により、電子機器１０は、覚醒度の違いによる多様な光景における視線ＬＳの変動を学習済みなので、その時々の光景に対応する画像ＩＭおよび視線ＬＳに基づいて、さらに精度の高い覚醒度を推定し得る。

【0049】

また、本実施形態の電子機器１０は、連続的に撮像される複数の画像ＩＭおよび当該複数の画像ＩＭ毎に対する視線ＬＳの中で、視線ＬＳの移動速度が閾値を超える視線ＬＳおよび画像ＩＭの組合せを除外して、対象者の覚醒度を推定する。光景の中で対象者が注視している物体が、覚醒度に大きな影響を与える因子であると考えられる。それゆえ、サッカード中のように、任意の物体から他の物体に視線ＬＳが高速で変わる間の、視線ＬＳは覚醒度に与える影響は低いと考えられる。それゆえ、上述の構成の電子機器１０は、覚醒度に対する影響が低いと思われる画像ＩＭおよび視線ＬＳの組合せを除外しているので、よりいっそう精度の高い覚醒度を推定し得る。

【0050】

本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

【0051】

例えば、本実施形態において、電子機器１０が撮像部１１および視線検知部１２を備え、覚醒度の推定に用いる画像ＩＭおよび視線ＬＳを制御部１４が取得する構成であるが、このような構成に限定されない。図５に示すように、例えば、撮像部１１および視線検知部１２が移動体１８に設けられており、移動体１８との通信により画像ＩＭおよび視線ＬＳを取得部１９を介して取得するクラウドサーバなどの情報処理装置２０が、本実施形態の制御部１４と同じ構成の制御部１４において画像ＩＭおよび視線ＬＳに基づいて覚醒度を推定して、当該移動体１８における外部機器１７に出力部２１を介して覚醒度を出力する構成であってもよい。また、移動体１８の制御部１４が第１の推定部および第２の推定部のいずれか一方として機能し、外部機器１７の制御部が他方として機能してもよい。

【符号の説明】

【0052】

１０ 電子機器
１１ 撮像部
１２ 視線検知部
１３ メモリ
１４ 制御部
１５ 第１の推定部
１６ 第２の推定部
１７ 外部機器
１８ 移動体
１９ 取得部
２０ 情報処理装置
２１ 出力部
ＩＭ 画像
ＬＳ 視線
ＭＰ 視線予測マップ
ＰＥ 視線の方向に相当する位置

【図1】

【図2】

【図3】

【図4】

【図5】