特許 7460450 視線推定システム、視線推定方法、視線推定プログラム、学習用データ生成装置、及び、視線推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】視線推定システム、視線推定方法、視線推定プログラム、学習用データ生成装置、及び、視線推定装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240326BHJP

   G06T 7/00 20170101ALI20240326BHJP

【ＦＩ】

G06T7/70 B

G06T7/00 350C

G06T7/00 660A

【請求項の数】 8

(21)【出願番号】P 2020098172

(22)【出願日】2020-06-05

(65)【公開番号】P2021190041

(43)【公開日】2021-12-13

【審査請求日】2023-03-29

(73)【特許権者】

【識別番号】000006895

【氏名又は名称】矢崎総業株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】▲高▼橋 勇氣

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１９－２８８４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

推定対象の入力顔画像から視線を推定する学習済みモデルを機械学習させる際に用いられる学習用データセットを生成する学習用データ生成装置と、
前記学習用データ生成装置により生成された複数の前記学習用データセットを用いて、機械学習により前記学習済みモデルを生成するモデル生成部と、
前記推定対象の入力顔画像を入力する推定対象入力部と、
前記モデル生成部により生成された前記学習済みモデルを用いて、前記推定対象入力部により入力された前記入力顔画像から視線を推定する視線推定部と、を備え、
前記学習用データ生成装置は、
学習対象者の顔を撮像する学習用撮像部と、
前記学習用撮像部と前記学習対象者との間に配置され前記学習対象者の視線を検出する視線検出器と、
前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出部と、
前記顔画像データにおいて、前記画像検出部により検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換部と、
前記画像置換部により置き換えられた置換後の顔画像データと、前記視線検出器により検出された前記学習対象者の視線を表す視線データとを対応付けた前記学習用データセットを生成する対応付け処理部と、を含んで構成されることを特徴とする視線推定システム。

【請求項2】

前記学習用データ生成装置は、前記置換後の顔画像データにおいて、前記学習対象者の顔画像が含まれることを判定する顔判定部を含み、
前記対応付け処理部は、前記顔判定部により前記置換後の顔画像データに前記学習対象者の顔画像が含まれると判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成し、
前記顔判定部により前記置換後の顔画像データに前記学習対象者の顔画像が含まれないと判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成しない請求項１に記載の視線推定システム。

【請求項3】

前記学習用データ生成装置は、前記視線検出器により検出された前記視線データに基づいて前記学習対象者の瞬きを判定する瞬き判定部を含み、
前記対応付け処理部は、前記瞬き判定部により瞬きをしていないと判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成し、
前記瞬き判定部により瞬きをしていると判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成しない請求項１又は２に記載の視線推定システム。

【請求項4】

予め定められた前記画素値は、前記学習対象者の眼の色とは異なる色の画素値である請求項１～３のいずれか１項に記載の視線推定システム。

【請求項5】

推定対象の入力顔画像から視線を推定する学習済みモデルを機械学習させる際に用いられる学習用データセットを生成する学習用データ生成ステップと、
前記学習用データ生成ステップで生成された複数の前記学習用データセットを用いて、機械学習により前記学習済みモデルを生成するモデル生成ステップと、
前記推定対象の入力顔画像を入力する推定対象入力ステップと、
前記モデル生成ステップで生成された前記学習済みモデルを用いて、前記推定対象入力ステップで入力された前記入力顔画像から視線を推定する視線推定ステップと、を有し、
前記学習用データ生成ステップでは、
学習対象者の顔を学習用撮像部により撮像する撮像ステップと、
前記学習用撮像部と前記学習対象者との間に配置された視線検出器により前記学習対象者の視線を検出する視線検出ステップと、
前記撮像ステップで撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出ステップと、
前記顔画像データにおいて、前記画像検出ステップで検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換ステップと、
前記画像置換ステップで置き換えられた置換後の顔画像データと、前記視線検出ステップで検出された前記学習対象者の視線を表す視線データとを対応付けた前記学習用データセットを生成する対応付け処理ステップと、を含むことを特徴とする視線推定方法。

【請求項6】

推定対象の入力顔画像から視線を推定する学習済みモデルを機械学習させる際に用いられる学習用データセットを生成し、
生成された複数の前記学習用データセットを用いて、機械学習により前記学習済みモデルを生成し、
前記推定対象の入力顔画像を入力し、
前記学習済みモデルを用いて、前記推定対象の入力顔画像から視線を推定する各処理をコンピュータに実行させるものであり、
前記学習用データセットを生成する場合、
学習対象者の顔を学習用撮像部により撮像し、
前記学習用撮像部と前記学習対象者との間に配置された視線検出器により前記学習対象者の視線を検出し、
前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出し、
前記顔画像データにおいて、前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換え、
置換後の顔画像データと前記学習対象者の視線を表す視線データとを対応付けた前記学習用データセットを生成することを特徴とする視線推定プログラム。

【請求項7】

学習対象者の顔を撮像する学習用撮像部と、
前記学習用撮像部と前記学習対象者との間に配置され前記学習対象者の視線を検出する視線検出器と、
前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出部と、
前記顔画像データにおいて、前記画像検出部により検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換部と、
前記画像置換部により置き換えられた置換後の顔画像データと、前記視線検出器により検出された前記学習対象者の視線を表す視線データとを対応付けた学習用データセットを生成する対応付け処理部と、を備えることを特徴とする学習用データ生成装置。

【請求項8】

車両の運転者の顔を撮像する運転者撮像部と、
前記運転者撮像部により撮像された運転者の顔画像を入力する推定対象入力部と、
学習対象者の顔を撮像する学習用撮像部、前記学習用撮像部と前記学習対象者との間に配置され前記学習対象者の視線を検出する視線検出器、前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出部、前記顔画像データにおいて、前記画像検出部により検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換部、及び、前記画像置換部により置き換えられた置換後の顔画像データと、前記視線検出器により検出された前記学習対象者の視線を表す視線データとを対応付けた学習用データセットを生成する対応付け処理部を含む学習用データ生成装置により生成された複数の前記学習用データセットを用いて機械学習した学習済みモデルを用いて、前記推定対象入力部により入力された前記運転者の顔画像から前記運転者の視線を推定する視線推定部と、
を備えることを特徴とする視線推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線推定システム、視線推定方法、視線推定プログラム、学習用データ生成装置、及び、視線推定装置に関する。

【背景技術】

【0002】

従来、視線推定システムとして、例えば、特許文献１には、人物の顔を含む画像を取得する画像取得部と、取得した画像から人物の目を含む部分画像を抽出する画像抽出部と、視線方向を推定するための機械学習を行った学習済みの学習器に当該部分画像を入力することで、人物の視線方向を示す視線情報を学習器から取得する推定部とを備える情報処理装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２８８４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述の特許文献１に記載の情報処理装置は、例えば、視線を推定する精度の低下を抑制する点で更なる改善の余地がある。

【0005】

そこで、本発明は、上記に鑑みてなされたものであって、適正に視線を推定することができる視線推定システム、視線推定方法、視線推定プログラム、視線推定装置、及び、適正に視線を推定することを支援することができる学習用データ生成装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る視線推定システムは、推定対象の入力顔画像から視線を推定する学習済みモデルを機械学習させる際に用いられる学習用データセットを生成する学習用データ生成装置と、前記学習用データ生成装置により生成された複数の前記学習用データセットを用いて、機械学習により前記学習済みモデルを生成するモデル生成部と、前記推定対象の入力顔画像を入力する推定対象入力部と、前記モデル生成部により生成された前記学習済みモデルを用いて、前記推定対象入力部により入力された前記入力顔画像から視線を推定する視線推定部と、を備え、前記学習用データ生成装置は、学習対象者の顔を撮像する学習用撮像部と、前記学習用撮像部と前記学習対象者との間に配置され前記学習対象者の視線を検出する視線検出器と、前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出部と、前記顔画像データにおいて、前記画像検出部により検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換部と、前記画像置換部により置き換えられた置換後の顔画像データと、前記視線検出器により検出された前記学習対象者の視線を表す視線データとを対応付けた前記学習用データセットを生成する対応付け処理部と、を含んで構成されることを特徴とする。

【0007】

上記視線推定システムにおいて、前記学習用データ生成装置は、前記置換後の顔画像データにおいて、前記学習対象者の顔画像が含まれることを判定する顔判定部を含み、前記対応付け処理部は、前記顔判定部により前記置換後の顔画像データに前記学習対象者の顔画像が含まれると判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成し、前記顔判定部により前記置換後の顔画像データに前記学習対象者の顔画像が含まれないと判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成しないことが好ましい。

【0008】

上記視線推定システムにおいて、前記学習用データ生成装置は、前記視線検出器により検出された前記視線データに基づいて前記学習対象者の瞬きを判定する瞬き判定部を含み、前記対応付け処理部は、前記瞬き判定部により瞬きをしていないと判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成し、前記瞬き判定部により瞬きをしていると判定された場合、前記置換後の顔画像データと前記視線データとを対応付けた前記学習用データセットを生成しないことが好ましい。

【0009】

上記視線推定システムにおいて、予め定められた前記画素値は、前記学習対象者の眼の色とは異なる色の画素値であることが好ましい。

【0010】

本発明に係る視線推定方法は、推定対象の入力顔画像から視線を推定する学習済みモデルを機械学習させる際に用いられる学習用データセットを生成する学習用データ生成ステップと、前記学習用データ生成ステップで生成された複数の前記学習用データセットを用いて、機械学習により前記学習済みモデルを生成するモデル生成ステップと、前記推定対象の入力顔画像を入力する推定対象入力ステップと、前記モデル生成ステップで生成された前記学習済みモデルを用いて、前記推定対象入力ステップで入力された前記入力顔画像から視線を推定する視線推定ステップと、を有し、前記学習用データ生成ステップでは、学習対象者の顔を学習用撮像部により撮像する撮像ステップと、前記学習用撮像部と前記学習対象者との間に配置された視線検出器により前記学習対象者の視線を検出する視線検出ステップと、前記撮像ステップで撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出ステップと、前記顔画像データにおいて、前記画像検出ステップで検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換ステップと、前記画像置換ステップで置き換えられた置換後の顔画像データと、前記視線検出ステップで検出された前記学習対象者の視線を表す視線データとを対応付けた前記学習用データセットを生成する対応付け処理ステップと、を含むことを特徴とする。

【0011】

本発明に係る視線推定プログラムは、推定対象の入力顔画像から視線を推定する学習済みモデルを機械学習させる際に用いられる学習用データセットを生成し、生成された複数の前記学習用データセットを用いて、機械学習により前記学習済みモデルを生成し、前記推定対象の入力顔画像を入力し、前記学習済みモデルを用いて、前記推定対象の入力顔画像から視線を推定する各処理をコンピュータに実行させるものであり、前記学習用データセットを生成する場合、学習対象者の顔を学習用撮像部により撮像し、前記学習用撮像部と前記学習対象者との間に配置された視線検出器により前記学習対象者の視線を検出し、前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出し、前記顔画像データにおいて、前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換え、置換後の顔画像データと前記学習対象者の視線を表す視線データとを対応付けた前記学習用データセットを生成することを特徴とする。

【0012】

本発明に係る学習用データ生成装置は、学習対象者の顔を撮像する学習用撮像部と、前記学習用撮像部と前記学習対象者との間に配置され前記学習対象者の視線を検出する視線検出器と、前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出部と、前記顔画像データにおいて、前記画像検出部により検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換部と、前記画像置換部により置き換えられた置換後の顔画像データと、前記視線検出器により検出された前記学習対象者の視線を表す視線データとを対応付けた学習用データセットを生成する対応付け処理部と、を備えることを特徴とする。

【0013】

本発明に係る視線推定装置は、車両の運転者の顔を撮像する運転者撮像部と、前記運転者撮像部により撮像された運転者の顔画像を入力する推定対象入力部と、学習対象者の顔を撮像する学習用撮像部、前記学習用撮像部と前記学習対象者との間に配置され前記学習対象者の視線を検出する視線検出器、前記学習用撮像部により撮像された前記視線検出器の画像及び前記学習対象者の顔画像を含む顔画像データにおいて、前記視線検出器の画像を検出する画像検出部、前記顔画像データにおいて、前記画像検出部により検出された前記視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換える画像置換部、及び、前記画像置換部により置き換えられた置換後の顔画像データと、前記視線検出器により検出された前記学習対象者の視線を表す視線データとを対応付けた学習用データセットを生成する対応付け処理部を含む学習用データ生成装置により生成された複数の前記学習用データセットを用いて機械学習した学習済みモデルを用いて、前記推定対象入力部により入力された前記運転者の顔画像から前記運転者の視線を推定する視線推定部と、を備えることを特徴とする。

【発明の効果】

【0014】

本発明に係る視線推定システム、視線推定方法、視線推定プログラム、及び、視線推定装置は、顔画像データにおいて視線検出器の画像を含む画像領域の画素値を、予め定められた画素値に置き換えた学習用データセットを生成し、当該学習用データセットを用いて推定対象の入力顔画像から視線を推定する学習済みモデルを生成する。この結果、視線推定システム、視線推定方法、視線推定プログラム、及び、視線推定装置は、この学習済みモデルを用いて適正に視線を推定することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、実施形態に係る視線推定システムの構成例を示すブロック図である。

【図2】図２は、実施形態に係る視線推定システムの処理回路によって行われる学習フェーズ、及び、使用フェーズの処理を示す模式図である。

【図3】図３は、実施形態に係る学習用データ生成部の構成例を示すブロック図である。

【図4】図４は、実施形態に係る同期信号生成装置の動作例を示すタイミングチャートである。

【図5】図５は、実施形態に係る視線検出器の右側の眼球カメラの検出例を示す図である。

【図6】図６は、実施形態に係る視線検出器の左側の眼球カメラの検出例を示す図である。

【図7】図７は、実施形態に係る視線検出器の各眼球カメラの画像置換例を示す図である。

【図8】図８は、実施形態に係る顔判定部により顔判定された置換後の顔画像データを示す図である。

【図9】図９は、実施形態に係る顔判定部により顔判定されなかった置換後の顔画像データを示す図である。

【図10】図１０は、実施形態に係る学習用データセットの構成例を示す図である。

【図11】図１１は、実施形態に係る視線推定システムにおける視線推定方法の処理手順を示すフローチャートである。

【図12】図１２は、実施形態に係る学習用データ生成装置の動作例を示すフローチャートである。

【図13】図１３は、実施形態の変形例に係る視線推定システムの構成例を示すブロック図である。

【図14】図１４は、実施形態の変形例に係る視線推定装置の適用例を示す概略図である。

【発明を実施するための形態】

【0016】

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。更に、以下に記載した構成は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。

【0017】

〔実施形態〕
図面を参照しながら実施形態に係る学習用データ生成装置１００について説明する。図１は、実施形態に係る視線推定システム１の構成例を示すブロック図である。図２は、実施形態に係る視線推定システム１の処理回路４０によって行われる学習フェーズ、及び、使用フェーズの処理を示す模式図である。図３は、実施形態に係る学習用データ生成装置１００の構成例を示すブロック図である。図４は、実施形態に係る同期信号生成装置５０の動作例を示すタイミングチャートである。図５は、実施形態に係る視線検出器６０の右側の眼球カメラ６２Ｒの検出例を示す図である。図６は、実施形態に係る視線検出器６０の左側の眼球カメラ６２Ｌの検出例を示す図である。図７は、実施形態に係る視線検出器６０の各眼球カメラ６２Ｒ、６２Ｌの画像置換例を示す図である。図８は、実施形態に係る顔判定部４４３により顔判定された置換後の顔画像データＤ１ａを示す図である。図９は、実施形態に係る顔判定部４４３により顔判定されなかった置換後の顔画像データＤ１ａを示す図である。図１０は、実施形態に係る学習用データセットＤ３の構成例を示す図である。

【0018】

図１に示す本実施形態の視線推定システム１は、視線を推定するシステムである。視線推定システム１では、図２に示すように、視線を推定するための学習済みモデルＭを生成する処理を行う学習フェーズと、学習済みモデルＭを用いて視線を推定する処理を行う使用フェーズとがある。視線推定システム１は、種々のコンピュータ機器によって実現される。以下、図１、図２を参照して視線推定システム１の各構成について詳細に説明する。

【0019】

視線推定システム１は、例えば、車両に搭載され、入力機器１０と、出力機器２０と、記憶回路３０と、処理回路４０と、同期信号生成装置５０と、視線検出器６０と、学習用撮像部及び運転者撮像部としてのカメラ７０とを備える。入力機器１０、出力機器２０、記憶回路３０、処理回路４０、同期信号生成装置５０、視線検出器６０、及び、カメラ７０は、ネットワークを介して相互に通信可能に接続されている。ここで、入力機器１０、記憶回路３０、同期信号生成装置５０、視線検出器６０、カメラ７０、及び、処理回路４０の一部（後述する学習用データ生成部４１）は、学習用データ生成装置１００を構成する。入力機器１０、記憶回路３０、及び、処理回路４０の一部（後述するモデル生成部４２）は、モデル生成装置２００を構成する。入力機器１０、出力機器２０、記憶回路３０、カメラ７０、及び、処理回路４０の一部（後述する推定対象入力部４３、視線推定部４４、及び、出力部４５）は、視線推定装置３００を構成する。学習用データ生成装置１００、モデル生成装置２００、及び、視線推定装置３００は、例えば、それぞれが同じ車両に搭載された１つのシステムとして構成されてもよいし、それぞれが別々の場所に配置された分散したシステムとして構成されてもよい。図１に示す構成の説明では、一例として、学習用データ生成装置１００、モデル生成装置２００、及び、視線推定装置３００は、それぞれが同じ車両に搭載された１つのシステムとして説明する。後述する図１３に示す構成の説明では、学習用データ生成装置１００、モデル生成装置２００、及び、視線推定装置３００は、それぞれが別々の場所に配置された分散したシステムとして説明する。

【0020】

入力機器１０は、視線推定システム１に対する種々の入力を行う機器である。入力機器１０は、例えば、ユーザからの各種の操作入力を受け付ける操作入力機器、視線推定システム１外の他の機器からのデータ（情報）入力を受け付けるデータ入力機器等によって実現される。操作入力機器は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド、タッチスクリーン、非接触入力回路、音声入力回路等により実現される。データ入力機器は、例えば、有線、無線を問わず通信を介して機器との間で各種データの送受信を行う通信インターフェース、フレキシブルディスク（ＦＤ）、光磁気ディスク（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＳＤカードメモリ、Ｆｌａｓｈメモリ等の記録媒体から各種データを読み出す記録媒体インターフェース等によって実現される。ここでは、入力機器１０は、学習用データ生成装置１００、モデル生成装置２００、及び、視線推定装置３００の入力部として兼用される。

【0021】

出力機器２０は、視線推定システム１から種々の出力を行う機器である。出力機器２０は、例えば、各種画像情報を出力して表示するディスプレイ、音情報を出力するスピーカ、視線推定システム１外の他の機器に対するデータ（情報）出力を行うデータ出力機器等によって実現される。データ出力機器は、例えば、有線、無線を問わず通信を介して機器との間で各種データの送受信を行う通信インターフェース、上記と同様の記録媒体に各種データを書き込む記録媒体インターフェース等によって実現される。データ入力機器とデータ出力機器とは、一部又は全部の構成が兼用されてもよい。

【0022】

記憶回路３０は、各種データを記憶する回路である。記憶回路３０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。記憶回路３０は、例えば、視線推定システム１が各種の機能を実現するためのプログラムを記憶する。記憶回路３０に記憶されるプログラムには、入力機器１０を機能させるプログラム、出力機器２０を機能させるプログラム、処理回路４０を機能させるプログラム等が含まれる。また、記憶回路３０は、処理回路４０での各種処理に必要なデータ、学習済みモデルＭの学習に用いる学習用データセットＤ３、学習済みモデルＭ、出力機器２０を介して出力する推定結果データＤ５等の各種データを記憶する。記憶回路３０は、処理回路４０等によってこれらの各種データが必要に応じて読み出される。なお、記憶回路３０は、ネットワークを介して視線推定システム１に接続されたクラウドサーバ等により実現されてもよい。ここでは、記憶回路３０は、学習用データ生成装置１００、モデル生成装置２００、及び、視線推定装置３００の記憶部として兼用される。

【0023】

処理回路４０は、視線推定システム１における各種処理機能を実現する回路である。処理回路４０は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路を意味する。処理回路４０は、例えば、記憶回路３０から読み込んだプログラムを実行することにより、各処理機能を実現する。

【0024】

同期信号生成装置５０は、同期信号を生成する処理を実行可能な機能を有するものである。視線検出器６０は、学習対象者ＯＢの視線を検出する処理を実行可能な機能を有するものである。カメラ７０は、機械学習を行う際の対象者である学習対象者ＯＢの顔全体を撮像する処理を実行可能な機能を有するものである。また、カメラ７０は、車両の運転者の顔全体を撮像する処理を実行可能な機能を有するものである。同期信号生成装置５０、視線検出器６０、及び、カメラ７０の詳細については、後述する。

【0025】

以上、本実施形態に係る視線推定システム１の全体構成の概略について説明した。このような構成のもと、本実施形態に係る処理回路４０は、学習フェーズにおいて、視線を推定するための学習済みモデルＭを生成する各種処理を行うための機能を有している。また、本実施形態に係る処理回路４０は、使用フェーズにおいて、学習済みモデルＭを用いて視線を推定する各種処理を行うための機能を有している。

【0026】

本実施形態の処理回路４０は、上記各種処理機能を実現するために、機能概念的に、学習用データ生成部４１と、モデル生成部４２と、推定対象入力部４３と、視線推定部４４と、出力部４５とを含んで構成される。処理回路４０は、例えば、記憶回路３０から読み込んだプログラムを実行することにより、これらの学習用データ生成部４１、モデル生成部４２、推定対象入力部４３、視線推定部４４、及び、出力部４５の各処理機能を実現する。

【0027】

学習用データ生成部４１は、学習フェーズにおいて、推定対象の入力顔画像から視線を推定する学習済みモデルＭを機械学習させる際に用いられる学習用データセットＤ３（図３、図１０参照）を生成する機能を有する部分である。本実施形態の学習用データ生成部４１は、例えば、後述する顔画像データＤ１ａと視線データＤ２とからなる学習用データセットＤ３を生成する処理を実行可能である。この学習用データセットＤ３は、学習済みモデルＭを機械学習によって生成する際に用いられる教師データである。学習用データ生成部４１は、生成した複数の学習用データセットＤ３を記憶回路３０に記憶させる。学習用データ生成部４１の処理の詳細については、後述する。

【0028】

モデル生成部４２は、学習フェーズにおいて、複数の学習用データセットＤ３を用いて、学習済みモデルＭを機械学習により生成する処理を実行可能な機能を有する部分である。本実施形態のモデル生成部４２は、学習用データ生成部４１によって生成された複数の学習用データセットＤ３を用いて、学習済みモデルＭを機械学習により生成する処理を実行可能である。

【0029】

モデル生成部４２は、複数の学習用データセットＤ３を教師データとして、種々の機械学習アルゴリズムＡＬに基づく機械学習を行うことによって、学習済みモデルＭを生成する。使用する機械学習アルゴリズムＡＬとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ；Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）がある。畳み込みニューラルネットワークは、パターン認識方法を多層化したＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のうち、２次元データに対応させたものであり、画像に対して高いパターン認識能力を有している。モデル生成部４２は、畳み込みニューラルネットワークによる機械学習の結果として、顔画像から視線を推定するための学習済みモデルＭを生成する。

【0030】

モデル生成部４２によって生成された学習済みモデルＭは、入力を顔画像とし、出力を視線の推定を定量化した値としたモデルである。すなわち、学習済みモデルＭは、顔画像の入力を受け付けて当該顔画像から視線の予測を定量化した値を出力するように機能付けられる。より詳しくは、学習済みモデルＭは、畳み込みニューラルネットワークの入力層に入力された顔画像に対して、畳み込み層、プーリング層、全結合層等により所定の演算を行い、出力層から視線の推定を定量化した値（例えば視線角度）を出力するようにコンピュータを機能させる。モデル生成部４２は、上記のようにして生成した学習済みモデルＭを記憶回路３０に記憶させる。

【0031】

推定対象入力部４３は、使用フェーズにおいて、推定対象となる入力顔画像データＤ４を入力する処理を実行可能な機能を有する部分である。推定対象入力部４３は、例えば、車両を運転する運転者の顔を撮像するカメラ７０から出力される入力顔画像データＤ４を入力する。

【0032】

視線推定部４４は、使用フェーズにおいて、学習済みモデルＭを用いて、入力顔画像データＤ４から視線を推定する処理を実行可能な機能を有する部分である。本実施形態の視線推定部４４は、モデル生成部４２によって生成された学習済みモデルＭを用いて、推定対象入力部４３によって入力された推定対象となる入力顔画像データＤ４から視線を推定する処理を実行可能である。

【0033】

視線推定部４４は、モデル生成部４２によって生成された学習済みモデルＭに対して、推定対象入力部４３によって入力された入力顔画像データＤ４を入力データとして入力し、これに応じて当該学習済みモデルＭから視線の推定を定量化した値（例えば視線角度）を出力させる。視線推定部４４は、出力された視線の推定を定量化した値（例えば視線角度）を、推定結果データ（出力データ）Ｄ５として記憶回路３０に記憶させる。

【0034】

出力部４５は、視線推定部４４による視線の推定結果に基づいて出力を行う処理を実行可能な機能を有する部分である。本実施形態の出力部４５は、視線推定部４４によって推定された推定結果データＤ５に基づいて出力機器２０を介して出力する処理を実行可能である。出力部４５は、例えば、推定結果データＤ５の視線角度に基づいて運転者が脇見運転をしているか否かを判定し、運転者が脇見運転をしていると判定した場合には運転者に警告するための警告データを出力機器２０に出力し、運転者が脇見運転をしていないと判定した場合には警告データを出力機器２０に出力しない。出力部４５は、運転者に警告する場合、例えば、出力機器２０を構成するディスプレイを介して画像情報として警告データを表示してもよいし、出力機器２０を構成するスピーカを介して音情報として警告データを音声出力してもよい。

【0035】

次に、学習用データ生成装置１００について詳細に説明する。学習用データ生成装置１００は、上述したように、学習フェーズにおいて、学習済みモデルＭを学習させるための学習用データを生成する機能を有する装置である。学習用データ生成装置１００は、図３に示すように、同期信号生成装置５０と、視線検出器６０と、カメラ７０と、学習用データ生成部４１とを含んで構成される。

【0036】

同期信号生成装置５０は、同期信号を生成する処理を実行可能な機能を有するものである。同期信号生成装置５０は、視線検出器６０及びカメラ７０に接続され、当該同期信号生成装置５０に付属するスイッチがＯＮされると、視線検出器６０及びカメラ７０に同期信号を出力する。同期信号生成装置５０は、例えば、図４に示すように、カメラ７０に対して予め定められたタイミングで同期信号Ｓｇ１を出力し、視線検出器６０に対して予め定められたタイミングで同期信号Ｓｇ２を出力する。なお、同期信号Ｓｇ１の出力間隔は、カメラ７０の性能に応じて適宜定められ、同期信号Ｓｇ２の出力間隔は、視線検出器６０の性能に応じて適宜定められる。

【0037】

視線検出器６０は、学習対象者ＯＢの視線を検出する処理を実行可能な機能を有するものである。視線検出器６０は、学習対象者ＯＢの頭部に装着する装着型の検出器であり、例えば、株式会社ナックイメージテクノロジー製のＥＭＲ－９（帽子型）を採用することができる。視線検出器６０は、図５等に示すように、視野カメラ６１と、右側の眼球カメラ６２Ｒと、左側の眼球カメラ６２Ｌとを備え、これらの視野カメラ６１、眼球カメラ６２Ｒ、及び、眼球カメラ６２Ｌが帽子に取り付けられている。学習対象者ＯＢは、帽子を頭部に被ることで、視野カメラ６１、眼球カメラ６２Ｒ、及び、眼球カメラ６２Ｌがカメラ７０と学習対象者ＯＢとの間に配置される。これにより、視野カメラ６１、眼球カメラ６２Ｒ、及び、眼球カメラ６２Ｌが学習対象者ＯＢの顔の正面、つまり学習対象者ＯＢの顔（眼を除く部分）と重なった位置に配置される。視野カメラ６１は、学習対象者ＯＢが帽子を頭部に被った状態で、学習対象者ＯＢの頭部の額に配置され、学習対象者ＯＢの前方の景色を撮像する。眼球カメラ６２Ｒは、学習対象者ＯＢが帽子を頭部に被った状態で、学習対象者ＯＢの右眼の下、つまり右側の頬に配置され、学習対象者ＯＢの右眼を撮像する。眼球カメラ６２Ｌは、学習対象者ＯＢが帽子を頭部に被った状態で、学習対象者ＯＢの左眼の下、つまり左側の頬に配置され、学習対象者ＯＢの左眼を撮像する。

【0038】

そして、視線検出器６０は、視野カメラ６１により撮像された視野画像、眼球カメラ６２Ｒにより撮像された学習対象者ＯＢの右眼画像、及び、眼球カメラ６２Ｌにより撮像された学習対象者ＯＢの左眼画像に基づいて、視野画像における学習対象者ＯＢの視線位置を検出する。つまり、視線検出器６０は、視野画像のＸＹ座標軸上において、学習対象者ＯＢの視線のＸ座標及びＹ座標を検出する。言い換えれば、視線検出器６０は、視野画像のＸＹ座標軸上において、実際に学習対象者ＯＢが視ている位置のＸ座標及びＹ座標を検出する。視線検出器６０は、検出した視野画像における学習対象者ＯＢの視線位置を表す視線データＤ２を記憶回路３０に保存する。視線検出器６０は、例えば、同期信号生成装置５０から出力された同期信号Ｓｇ２に基づいて学習対象者ＯＢの視線位置を検出し、検出した学習対象者ＯＢの視線位置を表す視線データＤ２及び当該視線データＤ２を検出したタイミングを表す同期信号Ｓｇ２を記憶回路３０に保存する。視線検出器６０は、学習用データ生成部４１に接続され、保存した視線データＤ２及び同期信号Ｓｇ２を学習用データ生成部４１に出力する。なお、視線検出器６０は、学習対象者ＯＢの視線を検出する際に学習対象者ＯＢの瞬きを検出し、瞬きの検出結果も視線データＤ２に含めて学習用データ生成部４１に出力してもよい。

【0039】

カメラ７０は、学習用の撮像部であると共に推定画像入力用の撮像部であり、兼用されている。つまり、カメラ７０は、学習用データ生成装置１００の学習用の撮像部と、視線推定装置３００の推定画像入力用の撮像部として兼用される。なお、学習用データ生成装置１００の学習用の撮像部と、視線推定装置３００の推定画像入力用の撮像部とを別々のカメラとして設けてもよい。

【0040】

カメラ７０は、学習用の撮像部として機能する場合、機械学習を行う際の対象者である学習対象者ＯＢの顔全体を撮像する。カメラ７０は、学習対象者ＯＢと一定の間隔を空けた状態で当該学習対象者ＯＢの顔の前方に配置されている。カメラ７０は、図５、図６に示すように、学習対象者ＯＢの顔の正面に配置された視線検出器６０と共に学習対象者ＯＢの顔全体を撮像する。つまり、カメラ７０により撮像された顔画像データＤ１には、視線検出器６０の画像及び学習対象者ＯＢの顔画像が含まれている。カメラ７０は、撮像した視線検出器６０の画像及び学習対象者ＯＢの顔画像を含む顔画像データＤ１を記憶回路３０に保存する。カメラ７０は、例えば、同期信号生成装置５０から出力された同期信号Ｓｇ１に基づいて学習対象者ＯＢの顔を撮像し、撮像した視線検出器６０の画像及び学習対象者ＯＢの顔画像を含む顔画像データＤ１、並びに、当該顔画像データＤ１を撮像したタイミングを表す同期信号Ｓｇ１を記憶回路３０に保存する。カメラ７０は、学習用データ生成部４１に接続され、保存した顔画像データＤ１及び同期信号Ｓｇ１を学習用データ生成部４１に出力する。

【0041】

カメラ７０は、推定画像入力用の撮像部として機能する場合、車両の運転者の顔全体を撮像する。カメラ７０は、その撮像範囲が運転者のアイリプス（アイボックス）をカバーする範囲に設定されている。ここで、アイリプスとは、運転席に着座した運転者の視点位置が位置することが想定される範囲を表すものである。カメラ７０は、撮像した運転者の顔画像を表す入力顔画像データＤ４を処理回路４０の推定対象入力部４３に出力する。

【0042】

学習用データ生成部４１は、機械学習を行う際に用いられる学習用データセットＤ３を生成する処理を実行可能な機能を有するものである。学習用データ生成部４１は、眼球カメラ検出部４４１と、画像置換部４４２と、顔判定部４４３と、ラベル付与部４４４と、瞬き判定部４４５と、ラベル付与部４４６と、視線角度演算部４４７と、対応付け処理部４４８とを備える。

【0043】

眼球カメラ検出部４４１は、視線検出器６０の画像及び学習対象者ＯＢの顔画像を含む顔画像データＤ１において、視線検出器６０の画像を検出する処理を実行可能な機能を有する部分である。眼球カメラ検出部４４１は、例えば、顔画像データＤ１において、眼球カメラ６２Ｒの画像、及び、眼球カメラ６２Ｒを帽子に固定するためのアームの画像を検出する。具体的には、眼球カメラ検出部４４１は、テンプレート画像を用いたテンプレートマッチング等の周知の画像認識技術により、眼球カメラ６２Ｒの画像及び眼球カメラ６２Ｒ固定用のアームの画像を検出する。眼球カメラ検出部４４１は、テンプレート画像として、例えば、眼球カメラ６２Ｒの画像及び眼球カメラ６２Ｒ固定用のアームの画像を表す第１画像Ｕ１と、当該第１画像Ｕ１を反転させた第２画像Ｕ２とを用いる。第２画像Ｕ２は、眼球カメラ６２Ｌの画像及び眼球カメラ６２Ｌ固定用のアームを表す画像である。

【0044】

眼球カメラ検出部４４１は、顔画像データＤ１において、第１画像Ｕ１に基づいてテンプレートマッチングを行い、眼球カメラ６２Ｒの画像及び眼球カメラ６２Ｒ固定用のアームの画像を検出する。また、眼球カメラ検出部４４１は、顔画像データＤ１において、第２画像Ｕ２に基づいてテンプレートマッチングを行い、眼球カメラ６２Ｌの画像及び眼球カメラ６２Ｌ固定用のアームの画像を検出する。眼球カメラ検出部４４１は、画像置換部４４２に接続され、検出した検出結果を画像置換部４４２に出力する。

【0045】

画像置換部４４２は、画像を置換する処理を実行可能な機能を有する部分である。画像置換部４４２は、例えば、眼球カメラ検出部４４１により検出された検出結果に基づいて、顔画像データＤ１における特定の画像領域Ｑを塗りつぶすことで画像置換する。画像置換部４４２は、例えば、図７に示すように、顔画像データＤ１において、眼球カメラ検出部４４１により検出された視線検出器６０の画像を含む画像領域Ｑの画素値を、予め定められた画素値である置換画素値に置き換える。このとき、画像置換部４４２は、顔画像データＤ１における画像領域Ｑの画素値を、眼の色とは異なる色の置換画素値に置き換えることが好ましい。具体的には、画像置換部４４２は、顔画像データＤ１において、眼球カメラ検出部４４１により検出された眼球カメラ６２Ｒの画像及び眼球カメラ６２Ｒ固定用のアームの画像、及び、眼球カメラ６２Ｌの画像及び眼球カメラ６２Ｌ固定用のアームの画像を含む矩形状の画像領域Ｑの画素値を、置換画素値に置き換え、置換後の顔画像データＤ１ａを生成する。これにより、置換後の顔画像データＤ１ａには、眼球カメラ６２Ｒの画像及び眼球カメラ６２Ｒ固定用のアームの画像、及び、眼球カメラ６２Ｌの画像及び眼球カメラ６２Ｌ固定用のアームの画像が含まれなくなる。なお、眼は、例えば、瞳孔及び虹彩から構成される。眼の色とは異なる色は、顔画像データＤ１において、顔の皮膚の色の平均的な色とすることが考えられる。画像置換部４４２は、対象の顔画像データＤ１ごとにそれぞれ異なる置換画素値を設定することが可能である。画像置換部４４２は、顔判定部４４３に接続され、置換後の顔画像データＤ１ａを顔判定部４４３に出力する。

【0046】

顔判定部４４３は、顔の判定を行う処理を実行可能な機能を有する部分である。顔判定部４４３は、例えば、Ｖｉｏｌａ－Ｊｏｎｅｓ法等の周知の顔判定アルゴリズムにより顔の判定を行う。顔判定部４４３は、この顔判定アルゴリズムを使用して、置換後の顔画像データＤ１ａにおいて、学習対象者ＯＢの顔画像が含まれるか否かを判定する。顔判定部４４３は、例えば、図８に示すように、画像置換部４４２により眼球カメラ６２Ｒ、６２Ｌ等を含む画像領域Ｑの画素値が置換画素値に置き換えられている場合、学習対象者ＯＢの顔画像が含まれると判定する。一方で、顔判定部４４３は、例えば、図９に示すように、画像置換部４４２により眼球カメラ６２Ｒ、６２Ｌ等を含む画像領域Ｑの画素値が置換画素値に置き換えられていない場合、学習対象者ＯＢの顔画像が含まれていないと判定する。顔判定部４４３は、ラベル付与部４４４に接続され、判定結果をラベル付与部４４４に出力する。

【0047】

ラベル付与部４４４は、顔判定部４４３により判定された判定結果に基づいて、置換後の顔画像データＤ１ａに対して顔判定のラベルを付与する処理を実行可能な機能を有する部分である。ラベル付与部４４４は、例えば、顔判定部４４３により判定された判定結果が、学習対象者ＯＢの顔画像が含まれていないことを表す場合、置換後の顔画像データＤ１ａに対して顔判定の不可を表すラベル（例えば「１」）を付与する。一方で、ラベル付与部４４４は、顔判定部４４３により判定された判定結果が、学習対象者ＯＢの顔画像が含まれていることを表す場合、置換後の顔画像データＤ１ａに対して顔判定の可能を表すラベル（例えば「０」）を付与する。ラベル付与部４４４は、対応付け処理部４４８に接続され、置換後の顔画像データＤ１ａ及びラベル付与情報を対応付け処理部４４８に出力する。

【0048】

瞬き判定部４４５は、視線検出器６０により検出された視線データＤ２に基づいて学習対象者ＯＢの瞬きを判定する処理を実行可能な機能を有する部分である。瞬き判定部４４５は、例えば、視線検出器６０により検出された視線データＤ２に含まれる学習対象者ＯＢの瞬きの検出結果に基づいて学習対象者ＯＢの瞬きを判定する。瞬き判定部４４５は、例えば、視線データＤ２が学習対象者ＯＢの瞬きを表す場合、学習対象者ＯＢが瞬きをしていると判定する。一方で、瞬き判定部４４５は、視線データＤ２が学習対象者ＯＢの瞬きを表わさない場合、学習対象者ＯＢが瞬きをしていないと判定する。瞬き判定部４４５は、ラベル付与部４４６に接続され、学習対象者ＯＢの瞬きを判定した判定結果をラベル付与部４４６に出力する。

【0049】

ラベル付与部４４６は、瞬き判定部４４５により判定された判定結果に基づいて、置換後の顔画像データＤ１ａに対して瞬き判定のラベルを付与する処理を実行可能な機能を有する部分である。ラベル付与部４４６は、顔画像データＤ１ａを撮像したタイミングを表す同期信号Ｓｇ１と、視線データＤ２を検出したタイミングを表す同期信号Ｓｇ２とに基づいて、顔画像データＤ１ａに対して瞬き判定のラベルを付与する。ラベル付与部４４６は、例えば、視線データＤ２を検出したタイミングと同じタイミングで撮像した顔画像データＤ１ａに対して瞬き判定のラベルを付与する。

【0050】

ラベル付与部４４６は、例えば、瞬き判定部４４５により判定された判定結果が、学習対象者ＯＢが瞬きをしたことを表す場合、置換後の顔画像データＤ１ａに対して瞬きをしたことを表すラベル（例えば「１」）を付与する。一方で、ラベル付与部４４６は、瞬き判定部４４５により判定された判定結果が、学習対象者ＯＢが瞬きをしていないことを表す場合、置換後の顔画像データＤ１ａに対して瞬きをしていないことを表すラベル（例えば「０」）を付与する。ラベル付与部４４６は、視線角度演算部４４７に接続され、ラベル付与情報を視線角度演算部４４７に出力する。

【0051】

視線角度演算部４４７は、視野画像における学習対象者ＯＢの視線位置を表す視線データＤ２に基づいて視線角度を演算する処理を実行可能な機能を有する部分である。視線角度演算部４４７は、瞬きをしていることを表すラベル（例えば「１」）が視線データＤ２に付与されている場合、視線データＤ２に対して視線角度を演算しない。一方で、視線角度演算部４４７は、瞬きをしていないことを表すラベル（例えば「０」）が視線データＤ２に付与されている場合、視線データＤ２に基づいて視線角度を演算する。ここで、視線データＤ２には、視野画像のＸＹ座標軸上において、学習対象者ＯＢの視線位置を表すＸ座標及びＹ座標が記録されている。視線角度演算部４４７は、この視野画像において、学習対象者ＯＢの視線位置を表すＸ座標及びＹ座標に基づいて視線角度を演算する。視線角度演算部４４７は、対応付け処理部４４８に接続され、演算した視線角度を対応付け処理部４４８に出力する。

【0052】

対応付け処理部４４８は、各種データを対応づけて学習用データセットＤ３を生成する処理を実行可能な機能を有する部分である。対応付け処理部４４８は、画像置換部４４２により置き換えられた置換後の顔画像データＤ１ａと、視線検出器６０により検出された視線データＤ２の視線角度とを対応付けた学習用データセットＤ３を生成する。

【0053】

対応付け処理部４４８は、例えば、顔判定部４４３により置換後の顔画像データＤ１に学習対象者ＯＢの顔画像が含まれると判定された場合、つまり顔判定のラベル付与情報が「０」の場合、置換後の顔画像データＤ１ａと視線データＤ２の視線角度とを対応付けた学習用データセットＤ３を生成する。例えば、図１０に示す学習用データセットＤ３には、顔判定のラベル付与情報「０（採用）」が記録されることにより、置換後の顔画像データＤ１ａを表す「０００１.ｊｐｇ」とその視線角度を表す「１５．３」とが対応付けられる。

【0054】

一方で、対応付け処理部４４８は、顔判定部４４３により置換後の顔画像データＤ１に学習対象者ＯＢの顔画像が含まれないと判定された場合、つまり顔判定のラベル付与情報が「１」の場合、置換後の顔画像データＤ１ａと視線データＤ２の視線角度とを対応付けた学習用データセットＤ３を生成しない。例えば、図１０に示す学習用データセットＤ３には、顔判定のラベル付与情報「１（不採用）」が記録されることにより、置換後の顔画像データＤ１ａを表す「０００３.ｊｐｇ」とその視線角度を表す「－１２．１」とが対応付けられず不採用となる。

【0055】

また、対応付け処理部４４８は、瞬き判定部４４５により瞬きをしていないと判定された場合、つまり瞬き判定のラベル付与情報が「０」の場合、置換後の顔画像データＤ１ａと視線データＤ２の視線角度とを対応付けた学習用データセットＤ３を生成する。例えば、図１０に示す学習用データセットＤ３には、瞬き判定のラベル付与情報「０（採用）」が記録されることにより、置換後の顔画像データＤ１ａを表す「０００１.ｊｐｇ」とその視線角度を表す「１５．３」とが対応付けられる。

【0056】

一方で、対応付け処理部４４８は、瞬き判定部４４５により瞬きをしていると判定された場合、つまり瞬き判定のラベル付与情報が「１」の場合、置換後の顔画像データＤ１ａと視線データＤ２の視線角度とを対応付けた学習用データセットＤ３を生成しない。例えば、図１０に示す学習用データセットＤ３には、瞬き判定のラベル付与情報「１（不採用）」が記録されることにより、置換後の顔画像データＤ１ａを表す「０００４.ｊｐｇ」とその視線角度を表す「０」とが対応付けられず不採用となる。

【0057】

対応付け処理部４４８は、顔判定のラベル付与情報「０（採用）」であり、且つ、瞬き判定のラベル付与情報「０（採用）」である置換後の顔画像データＤ１ａを学習用データセットＤ３に採用する。対応付け処理部４４８は、顔判定のラベル付与情報「１（不採用）」、又は、瞬き判定のラベル付与情報「１（不採用）」を含む置換後の顔画像データＤ１ａを学習用データセットＤ３に採用しない。対応付け処理部４４８は、記憶回路３０に接続され、生成した学習用データセットＤ３を記憶回路３０に記憶させる。

【0058】

次に、視線推定システム１における視線推定方法の処理手順について説明する。図１１は、実施形態に係る視線推定システム１における視線推定方法の処理手順を示すフローチャートである。図１１に示す視線推定システム１おける視線推定方法は、学習用データ生成ステップ（ステップＳ１）と、モデル生成ステップ（ステップＳ２）と、推定対象入力ステップ（ステップＳ３）と、視線推定ステップ（ステップＳ４）と、警告データ出力ステップ（ステップＳ５）とを有する。ここでは、上記各ステップに関する処理は、視線推定システム１の処理回路４０によって実行される。

【0059】

まず、処理回路４０の学習用データ生成部４１は、学習フェーズにおいて、推定対象の入力顔画像から視線を推定する学習済みモデルＭを機械学習させる際に用いられる学習用データセットＤ３を生成する学習用データ生成ステップ（ステップＳ１）を実行する。学習用データ生成部４１は、生成した複数の学習用データセットＤ３を記憶回路３０に記憶させる。

【0060】

次に、処理回路４０のモデル生成部４２は、学習フェーズにおいて、学習用データ生成ステップ（ステップＳ１）で生成された複数の学習用データセットＤ３を用いて、学習済みモデルＭを機械学習により生成するモデル生成ステップ（ステップＳ２）を実行する。モデル生成部４２は、生成した学習済みモデルＭを記憶回路３０に記憶させる。

【0061】

次に、処理回路４０の推定対象入力部４３は、使用フェーズにおいて、推定対象となる入力顔画像データＤ４を処理回路４０の視線推定部４４に入力する入力ステップ（ステップＳ３）を実行する。この場合、推定対象入力部４３は、例えば、運転者の顔を撮像するカメラ７０から出力される入力顔画像データＤ４を入力する。

【0062】

次に、処理回路４０の視線推定部４４は、使用フェーズにおいて、モデル生成ステップ（ステップＳ２）で生成された学習済みモデルＭを用いて、入力ステップ（ステップＳ３）で入力された入力顔画像データＤ４から視線を推定する視線推定ステップ（ステップＳ４）を実行する。視線推定部４４は、例えば、モデル生成ステップ（ステップＳ２）で生成された学習済みモデルＭに対して、入力ステップ（ステップＳ３）で入力された入力顔画像データＤ４を入力データとして入力し、これに応じて当該学習済みモデルＭから視線の推定を定量化した値（例えば視線角度）を出力させる。視線推定部４４は、出力された視線の推定を定量化した値（例えば視線角度）を、推定結果データＤ５として記憶回路３０に記憶させる。

【0063】

次に、処理回路４０の出力部４５は、視線推定ステップ（ステップＳ４）で推定された視線の推定結果データＤ５の視線角度に基づいて警告データを出力する警告データ出力ステップ（ステップＳ５）を実行し、本フローチャートによる処理を終了する。出力部４５は、例えば、推定結果データＤ５の視線角度に基づいて運転者が脇見運転をしているか否かを判定し、運転者が脇見運転をしていると判定した場合には警告データを出力機器２０に出力し、運転者が脇見運転をしていないと判定した場合には警告データを出力機器２０に出力しない。

【0064】

図１２は、実施形態に係る学習用データ生成装置１００の動作例を示すフローチャートである。上記学習用データ生成ステップ（ステップＳ１）は、図１２に示すように、さらに、撮像ステップ（ステップＴ１）と、画像検出ステップ（ステップＴ２）と、画像置換ステップ（ステップＴ３）と、顔判定ステップ（ステップＴ４）と、ラベル付与ステップ（Ｔ５、Ｔ６）と、視線検出ステップ（ステップＴ７）と、瞬き判定ステップ（ステップＴ８）と、ラベル付与ステップ（ステップＴ９、Ｔ１０）と、演算ステップ（ステップＴ１１）と、対応付け処理ステップ（ステップＴ１２）とを含む。ここでは、上記各ステップに関する処理は、学習用データ生成装置１００によって実行される。

【0065】

まず、学習用データ生成装置１００において、カメラ７０は、学習対象者ＯＢの顔を撮像する撮像ステップ（ステップＴ１）を実行する。

【0066】

次に、眼球カメラ検出部４４１は、撮像ステップ（ステップＴ１）で撮像された視線検出器６０の画像及び学習対象者ＯＢの顔画像を含む顔画像データＤ１において、視線検出器６０の画像を検出する画像検出ステップ（ステップＴ２）を実行する。

【0067】

次に、画像置換部４４２は、顔画像データＤ１において、画像検出ステップ（ステップＴ２）で検出された視線検出器６０の画像を含む画像領域Ｑの画素値を、予め定められた置換画素値に置き換える画像置換ステップ（ステップＴ３）を実行する。このとき、画像置換部４４２は、顔画像データＤ１における画像領域Ｑの画素値を、眼の色とは異なる色の置換画素値に置き換えることが好ましい。

【0068】

次に、顔判定部４４３は、置換後の顔画像データＤ１ａにおいて、学習対象者ＯＢの顔画像が含まれるか否かを判定する顔判定ステップ（ステップＴ４）を実行する。顔判定部４４３は、置換後の顔画像データＤ１ａにおいて、学習対象者ＯＢの顔画像が含まれる場合（ステップＴ４；Ｙｅｓ）、ラベル付与ステップ（ステップＴ５）に移行する。一方で、顔判定部４４３は、置換後の顔画像データＤ１ａにおいて、学習対象者ＯＢの顔画像が含まれない場合（ステップＴ４；Ｎｏ）、ラベル付与ステップ（ステップＴ６）に移行する。

【0069】

次に、ラベル付与部４４４は、顔判定部４４３により判定された判定結果に基づいて、置換後の顔画像データＤ１ａに対して顔判定のラベルを付与する。ラベル付与部４４４は、学習対象者ＯＢの顔画像が含まれると判定された場合（ステップＴ４；Ｙｅｓ）、置換後の顔画像データＤ１ａに対して顔判定の可能を表すラベル（例えば「０」）を付与するラベル付与ステップ（ステップＴ５）を実行する。一方で、ラベル付与部４４４は、学習対象者ＯＢの顔画像が含まれないと判定された場合（ステップＴ４；Ｎｏ）、置換後の顔画像データＤ１ａに対して顔判定の不可を表すラベル（例えば「１」）を付与するラベル付与ステップ（ステップＴ６）を実行する。

【0070】

視線検出器６０は、同期信号生成装置５０から出力される同期信号Ｓｇ２のタイミングで、学習対象者ＯＢの視線を検出する視線検出ステップ（ステップＴ７）を実行する。

【0071】

次に、瞬き判定部４４５は、視線検出器６０により検出された視線を表す視線データＤ２に基づいて学習対象者ＯＢの瞬きを判定する瞬き判定ステップ（ステップＴ８）を実行する。瞬き判定部４４５は、学習対象者ＯＢが瞬きをしていると判定した場合（ステップＴ８；Ｙｅｓ）、ラベル付与ステップ（ステップＴ９）に移行する。一方で、瞬き判定部４４５は、学習対象者ＯＢが瞬きをしていないと判定した場合（ステップＴ８；Ｎｏ）、ラベル付与ステップ（ステップＴ１０）に移行する。

【0072】

次に、ラベル付与部４４６は、瞬き判定部４４５により判定された判定結果に基づいて、置換後の顔画像データＤ１ａに対して瞬き判定のラベルを付与する。ラベル付与部４４６は、学習対象者ＯＢが瞬きをしていると判定された場合（ステップＴ８；Ｙｅｓ）、置換後の顔画像データＤ１ａに対して瞬きを実施したことを表すラベル（例えば「１」）を付与するラベル付与ステップ（ステップＴ９）を実行する。一方で、ラベル付与部４４６は、学習対象者ＯＢが瞬きをしていないと判定された場合（ステップＴ８；Ｎｏ）、置換後の顔画像データＤ１ａに対して瞬きを実施していないことを表すラベル（例えば「０」）を付与するラベル付与ステップ（ステップＴ１０）を実行する。

【0073】

次に、視線角度演算部４４７は、瞬きを実施していないことを表すラベル（例えば「０」）を付与するラベル付与ステップ（ステップＴ１０）の処理の後、視野画像における学習対象者ＯＢの視線位置を表す視線データＤ２に基づいて視線角度を演算する演算ステップ（ステップＴ１１）を実行する。

【0074】

次に、対応付け処理部４４８は、ラベル付与ステップ（ステップＴ５）で顔判定の可能を表すラベル（例えば「０」）が付与された置換後の顔画像データＤ１ａと、演算ステップ（ステップＴ１１）で演算された視線データＤ２の視線角度とを対応付けた学習用データセットＤ３を生成する対応付け処理ステップ（ステップＴ１２）を実行する。対応付け処理部４４８は、例えば、撮像ステップ（ステップＴ１）でカメラ７０により学習対象者ＯＢの顔を撮像したタイミングと、視線検出ステップ（ステップＴ７）で視線検出器６０により学習対象者ＯＢの視線を検出したタイミングとがそれぞれ同期する置換後の顔画像データＤ１ａと視線データＤ２とを対応付けた学習用データセットＤ３を生成する。

【0075】

上述した視線推定方法は、予め用意された視線推定プログラムを種々のコンピュータ機器で実行することによって実現することができる。この視線推定プログラムは、少なくとも上述した学習用データ生成ステップ（ステップＳ１）、モデル生成ステップ（ステップＳ２）、推定対象入力ステップ（ステップＳ３）、視線推定ステップ（ステップＳ４）、警告データ出力ステップ（ステップＳ５）の各処理、さらには、撮像ステップ（ステップＴ１）、視線検出ステップ（ステップＴ７）、画像検出ステップ（ステップＴ２）、画像置換ステップ（ステップＴ３）、対応付け処理ステップ（ステップＴ１２）の各処理をコンピュータ機器に実行させる。

【0076】

以上のように、実施形態に係る視線推定システム１は、学習用データ生成装置１００と、モデル生成部４２と、推定対象入力部４３と、視線推定部４４とを備える。学習用データ生成装置１００は、推定対象の入力顔画像データＤ４から視線を推定する学習済みモデルＭを機械学習させる際に用いられる学習用データセットＤ３を生成する。モデル生成部４２は、学習用データ生成装置１００により生成された複数の学習用データセットＤ３を用いて、機械学習により学習済みモデルＭを生成する。推定対象入力部４３は、推定対象の入力顔画像データＤ４を入力する。視線推定部４４は、モデル生成部４２により生成された学習済みモデルＭを用いて、推定対象入力部４３により入力された入力顔画像データＤ４から視線を推定する。

【0077】

ここで、上記学習用データ生成装置１００は、カメラ７０と、視線検出器６０と、眼球カメラ検出部４４１と、画像置換部４４２と、対応付け処理部４４８と、を含んで構成される。カメラ７０は、機械学習を行う際の対象者である学習対象者ＯＢの顔を撮像する。視線検出器６０は、カメラ７０と学習対象者ＯＢとの間に配置され学習対象者ＯＢの視線を検出する。眼球カメラ検出部４４１は、カメラ７０により撮像された視線検出器６０の画像及び学習対象者ＯＢの顔画像を含む顔画像データＤ１において、視線検出器６０の画像を検出する。画像置換部４４２は、顔画像データＤ１において、眼球カメラ検出部４４１により検出された視線検出器６０の画像を含む画像領域Ｑの画素値を、予め定められた画素値に置き換える。対応付け処理部４４８は、画像置換部４４２により置き換えられた置換後の顔画像データＤ１ａと、視線検出器６０により検出された視線データＤ２とを対応付けた学習用データセットＤ３を生成する。

【0078】

この構成により、視線推定システム１は、学習用データセットＤ３により学習した学習済みモデルＭを生成する際に視線検出器６０を眼として誤認識した状態で学習済みモデルＭが生成されてしまうことを抑制できる。つまり、視線推定システム１は、推定対象の入力顔画像データＤ４から視線を推定することができる学習済みモデルＭを精度よく生成することができる。この結果、視線推定システム１は、精度よく生成された学習済みモデルＭを用いて入力顔画像データＤ４から運転者の視線を適正に推定することができる。またこのとき、視線推定システム１は、視線検出器６０の画像を含む画像領域Ｑの画素値を予め定められた画素値に置き換えるので、従来のように視線検出器６０の画像を削除した上で顔画像を復元するような処理と比較して、推定精度を確保した上で演算負荷を軽減することができる。視線推定システム１は、学習対象者ＯＢの頭部に装着する装着型の視線検出器６０を採用することにより、実際に学習対象者ＯＢが視た位置（視線位置）に基づいて機械学習を行うことができるため、精度のよい学習用データセットＤ３を生成することができる。このように、視線推定システム１は、視線検出器６０により精度のよい視線データＤ２を検出することができ、その上で視線検出器６０を採用するがゆえに視線検出器６０が写り込んでしまうという背反（デメリット）も解消することができる。視線推定システム１は、対応付け処理部４４８により置換後の顔画像データＤ１ａと視線データＤ２とを対応付けるので、自動的に学習用データセットＤ３を生成することができる。

【0079】

上記視線推定システム１において、学習用データ生成装置１００は、置換後の顔画像データＤ１ａにおいて、学習対象者ＯＢの顔画像が含まれることを判定する顔判定部４４３を含んで構成される。対応付け処理部４４８は、顔判定部４４３により置換後の顔画像データＤ１ａに学習対象者ＯＢの顔画像が含まれると判定された場合、置換後の顔画像データＤ１ａと視線データＤ２とを対応付けた学習用データセットＤ３を生成する。一方で、対応付け処理部４４８は、顔判定部４４３により置換後の顔画像データＤ１ａに学習対象者ＯＢの顔画像が含まれないと判定された場合、置換後の顔画像データＤ１ａと視線データＤ２とを対応付けた学習用データセットＤ３を生成しない。

【0080】

この構成により、視線推定システム１は、例えば、図９に示すように、置換後の顔画像データＤ１ａにおいて、画像置換部４４２により眼球カメラ６２Ｒ、６２Ｌ等を含む画像領域Ｑの画素値が置換画素値に置き換えられていない場合、当該置換後の顔画像データＤ１ａを不採用とすることができる。これにより、視線推定システム１は、学習用データセットＤ３の信頼性の低下を抑制することができ、この結果、学習済みモデルＭにより適正に視線を推定することができる。

【0081】

上記視線推定システム１において、学習用データ生成装置１００は、視線検出器６０により検出された視線データＤ２に基づいて学習対象者ＯＢの瞬きを判定する瞬き判定部４４５を含んで構成される。対応付け処理部４４８は、瞬き判定部４４５により瞬きをしていないと判定された場合、置換後の顔画像データＤ１ａと視線データＤ２とを対応付けた学習用データセットＤ３を生成する。一方で、対応付け処理部４４８は、瞬き判定部４４５により瞬きをしていると判定された場合、置換後の顔画像データＤ１ａと視線データＤ２とを対応付けた学習用データセットＤ３を生成しない。

【0082】

この構成により、視線推定システム１は、例えば、学習対象者ＯＢが瞬きをすることにより眼を閉じた状態となり、学習対象者ＯＢの視線を検出することができない場合、或いは誤って視線を検出した場合、置換後の顔画像データＤ１ａを不採用とすることができる。これにより、視線推定システム１は、学習用データセットＤ３の信頼性の低下を抑制することができ、この結果、学習済みモデルＭにより適正に視線を推定することができる。

【0083】

上記視線推定システム１において、予め定められた置換画素値は、学習対象者ＯＢの眼の色とは異なる色の画素値である。この構成により、視線推定システム１は、学習済みモデルＭを生成する際に視線検出器６０を眼として誤認識した状態で学習済みモデルＭが生成されてしまうことをより抑制することができ、この結果、学習済みモデルＭにより適正に視線を推定することができる。

【0084】

実施形態に係る視線推定方法、及び、視線推定プログラムは、置換後の顔画像データＤ１ａを含む学習用データセットＤ３により機械学習した学習済みモデルＭを用いて入力顔画像データＤ４から視線を推定するので、上述した視線推定システム１と同様に、適正に視線を推定することができる。実施形態に係る学習用データ生成装置１００は、置換後の顔画像データＤ１ａを含む学習用データセットＤ３を生成するので、適正に視線を推定することを支援することができる。

【0085】

〔変形例〕
次に、実施形態の変形例について説明する。なお、変形例では、実施形態と同等の構成要素には同じ符号を付し、その詳細な説明を省略する。上述した実施形態では、視線推定システム１として、１つのシステムで学習フェーズと使用フェーズとの双方を行う場合の例を説明したが、実施形態はこれに限られない。

【0086】

例えば、図１３に例示する変形例に係る視線推定システム１Ａは、学習用データセットＤ３を生成する学習用データ生成装置１００Ａと、学習済みモデルＭを生成するモデル生成装置２００Ａと、学習済みモデルＭを用いて入力顔画像データＤ４から視線を推定する視線推定装置３００Ａとに分かれて構成される点で上述した視線推定システム１とは異なる。図１３は、実施形態の変形例に係る視線推定システム１Ａの構成例を示すブロック図である。図１４は、実施形態の変形例に係る視線推定装置３００Ａの適用例を示す概略図である。

【0087】

視線推定システム１Ａは、図１３に示すように、学習用データ生成装置１００Ａ、モデル生成装置２００Ａ、及び、視線推定装置３００Ａが、それぞれが独立して別々の場所に配置され、分散したシステムを構成している。

【0088】

学習用データ生成装置１００Ａは、入力機器１０Ａと、出力機器２０Ａと、記憶回路３０Ａと、処理回路４０Ａと、同期信号生成装置５０と、視線検出器６０と、学習用撮像部としての学習用カメラ７０Ａとを備えている。学習用データ生成装置１００Ａは、学習フェーズにおいて、推定対象の入力顔画像から視線を推定する学習済みモデルＭを機械学習させる際に用いられる学習用データセットＤ３を生成する処理を行う。学習用カメラ７０Ａは、学習対象者ＯＢの顔全体を撮像するものであり、学習対象者ＯＢと一定の間隔を空けた状態で当該学習対象者ＯＢの顔の前方に配置されている。処理回路４０Ａは、機能概念的に、学習用データ生成部４１を含んで構成される。

【0089】

モデル生成装置２００Ａは、入力機器１０Ｂと、出力機器２０Ｂと、記憶回路３０Ｂと、処理回路４０Ｂとを備え、学習フェーズにおいて、処理回路４０Ａの学習用データ生成部４１により生成された複数の学習用データセットＤ３を用いて、学習済みモデルＭを機械学習により生成する処理を行う。処理回路４０Ｂは、機能概念的に、モデル生成部４２を含んで構成される。

【0090】

視線推定装置３００Ａは、図１４に示すように、車両に搭載されている。視線推定装置３００Ａは、入力機器１０Ｃと、出力機器２０Ｃと、記憶回路３０Ｃと、処理回路４０Ｃと、運転者撮像部としての運転者カメラ７０Ｃとを備え、使用フェーズにおいて、処理回路４０Ｂのモデル生成部４２により生成された学習済みモデルＭを用いて、入力顔画像データＤ４から運転者の視線を推定する処理を行う。これにより、視線推定装置３００Ａは、運転者の視線を適正に推定することができる。運転者カメラ７０Ｃは、車両の運転者の顔を撮像するものであり、車両のメーター内部やステアリングコラムカバーに設置されている。処理回路４０Ｃは、機能概念的に、推定対象入力部４３と、視線推定部４４と、出力部４５とを含んで構成される。記憶回路３０Ｃには、処理回路４０Ｂのモデル生成部４２により生成された学習済みモデルＭが予め保存されている。処理回路４０Ｃの視線推定部４４は、記憶回路３０Ｃに保存された学習済みモデルＭを用いて、運転者カメラ７０Ｃから出力される入力顔画像データＤ４から運転者の視線を推定する処理を行う。

【0091】

以上のように、視線推定システム１Ａは、学習用データ生成装置１００Ａ、モデル生成装置２００Ａ、及び、視線推定装置３００Ａが、それぞれ分かれて構成されてもよい。

【0092】

なお、上記説明では、学習用データ生成装置１００は、置換後の顔画像データＤ１ａにおいて、学習対象者ＯＢの顔画像が含まれることを判定する顔判定部４４３を含んで構成される例について説明したが、顔判定部４４３を含んで構成されていなくてもよい。

【0093】

学習用データ生成装置１００は、視線検出器６０により検出された視線データＤ２に基づいて学習対象者ＯＢの瞬きを判定する瞬き判定部４４５を含んで構成される例について説明したが、瞬き判定部４４５を含んで構成されていなくてもよい。

【0094】

瞬き判定部４４５は、視線検出器６０により検出された視線データＤ２に含まれる学習対象者ＯＢの瞬きの検出結果に基づいて学習対象者ＯＢの瞬きを判定する例について説明したが、これに限定されない。瞬き判定部４４５は、例えば、学習対象者ＯＢの瞬きの検出結果が視線データＤ２に含まれない場合、視線データＤ２の視野画像に基づいて学習対象者ＯＢの瞬きを判定する。瞬き判定部４４５は、例えば、視線データＤ２の視野画像に示される学習対象者ＯＢの視線位置の値や黒眼中心値等に時系列フィルタリング等を行い、黒眼を検出できる場合には瞬きをしていないと判定し、黒眼を検出できない場合には瞬きをしていると判定する。

【0095】

視線検出器６０は、株式会社ナックイメージテクノロジー製のＥＭＲ－９（帽子型）を採用することができる例について説明したがこれに限定されず、例えば、ＥＭＲ－９（メガネ型）を採用してもよいし、トビー・テクノロジー株式会社製のＴｏｂｉＰｒｏグラス２（メガネ型）を採用してもよい。メガネ型の場合、画像置換部４４２は、メガネのフレームの画像を含む画像領域の画素値を置換画素値に置き換える。

【0096】

機械学習アルゴリズムＡＬとして、畳み込みニューラルネットワークを用いる例について説明したが、これに限定されず、例えば、ロジスティック（Ｌｏｇｉｓｔｉｃ）回帰、アンサンブル学習（Ｅｎｓｅｍｂｌｅ Ｌｅａｒｎｉｎｇ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）、ナイーブベイズ（Ｎａｉｖｅ Ｂａｙｓ）等のアルゴリズムを用いてもよい。

【0097】

処理回路４０は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理回路４０は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理回路４０が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路４０が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。

【0098】

以上で説明したプロセッサによって実行されるプログラムは、記憶回路３０等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。

【符号の説明】

【0099】

１、１Ａ 視線推定システム
１００、１００Ａ 学習用データ生成装置
３００、３００Ａ 視線推定装置
４１ 学習用データ生成部
４２ モデル生成部
４３ 推定対象入力部
４４ 視線推定部
６０ 視線検出器
７０ カメラ（学習用撮像部、運転者撮像部）
７０Ａ 学習用カメラ（学習用撮像部）
７０Ｃ 運転者カメラ（運転者撮像部）
４４１ 眼球カメラ検出部（画像検出部）
４４２ 画像置換部
４４３ 顔判定部
４４５ 瞬き判定部
４４８ 対応付け処理部
Ｄ１、Ｄ１ａ 顔画像データ
Ｄ２ 視線データ
Ｄ３ 学習用データセット
Ｄ４ 入力顔画像データ（入力顔画像）
Ｍ 学習済みモデル
ＯＢ 学習対象者
Ｑ 画像領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】