知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022187547
(43)【公開日】2022-12-20
(54)【発明の名称】視線推定システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221213BHJP
G06T 7/70 20170101ALI20221213BHJP
【ＦＩ】
G06T7/00 350C
G06T7/70 B
G06T7/00 660A
【審査請求】未請求
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2021095580
(22)【出願日】2021-06-08
(71)【出願人】
【識別番号】000006895
【氏名又は名称】矢崎総業株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】▲高▼橋 勇氣
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA04
5L096CA04
5L096CA17
5L096FA67
5L096FA69
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】測定対象者の視線位置の推定処理を、精度を維持しつつ処理負荷を軽減することができる視線推定システムを提供する。
【解決手段】視線推定システム１は、撮影画像３５に基づいて、水平方向学習済モデルＭ１を用いて、運転者２０の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択し、垂直方向学習済モデルＭ２を用いて、運転者２０の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択する。そして、水平方向の推定視線角度範囲及び垂直方向の推定視線角度範囲に基づいて、対象エリア５０を構成する小エリア５１のうち、運転者２０の視線２４が含まれる小エリア５１を推定する。
【選択図】図６
【解決手段】視線推定システム１は、撮影画像３５に基づいて、水平方向学習済モデルＭ１を用いて、運転者２０の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択し、垂直方向学習済モデルＭ２を用いて、運転者２０の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択する。そして、水平方向の推定視線角度範囲及び垂直方向の推定視線角度範囲に基づいて、対象エリア５０を構成する小エリア５１のうち、運転者２０の視線２４が含まれる小エリア５１を推定する。
【選択図】図６
【特許請求の範囲】
【請求項1】
測定対象者の顔を含む画像を時系列上連続して取得する画像取得部と、
取得された各前記画像に基づいて前記測定対象者の視線位置を推定する処理部と、を備え、
前記処理部は、
前記測定対象者の顔を含む画像に基づいてアピアランスベース手法による前記測定対象者の視線位置を推定する学習を行った学習済みモデルを用いて、前記画像取得部により取得された前記画像に基づいて前記視線位置を推定する視線位置推定部を有し、
前記学習済みモデルは、
第１ニューラルネットワークによる機械学習により生成され、かつ前記測定対象者の視線の水平方向における視線角度を複数の視線角度範囲に分けた場合において、複数の前記視線角度範囲のうち、前記測定対象者の視線が含まれる視線角度範囲を推定する学習を行った水平方向学習済モデルと、
第１ニューラルネットワークとは異なる第２ニューラルネットワークにより生成され、かつ前記測定対象者の視線の垂直方向における視線角度を複数の視線角度範囲に分けた場合において、複数の前記視線角度範囲のうち、前記測定対象者の視線が含まれる視線角度範囲を推定する学習を行った垂直方向学習済モデルと、で構成され、
前記視線位置推定部は、
取得された前記画像に基づいて、対象エリアを構成する小エリアのうち、前記測定対象者の視線が含まれる小エリアを推定し、
前記対象エリアは、水平方向における複数の前記視線角度範囲及び垂直方向における複数の前記視線角度範囲に基づいて複数の前記小エリアに分割されており、
前記視線位置推定部は、
前記画像取得部により取得された画像に基づいて、
前記水平方向学習済モデルを用いて、前記測定対象者の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択し、かつ
前記垂直方向学習済モデルを用いて、前記測定対象者の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択し、
前記水平方向の推定視線角度範囲及び前記垂直方向の推定視線角度範囲に基づいて、前記対象エリアから前記小エリアを推定する、
ことを特徴とする視線推定システム。
取得された各前記画像に基づいて前記測定対象者の視線位置を推定する処理部と、を備え、
前記処理部は、
前記測定対象者の顔を含む画像に基づいてアピアランスベース手法による前記測定対象者の視線位置を推定する学習を行った学習済みモデルを用いて、前記画像取得部により取得された前記画像に基づいて前記視線位置を推定する視線位置推定部を有し、
前記学習済みモデルは、
第１ニューラルネットワークによる機械学習により生成され、かつ前記測定対象者の視線の水平方向における視線角度を複数の視線角度範囲に分けた場合において、複数の前記視線角度範囲のうち、前記測定対象者の視線が含まれる視線角度範囲を推定する学習を行った水平方向学習済モデルと、
第１ニューラルネットワークとは異なる第２ニューラルネットワークにより生成され、かつ前記測定対象者の視線の垂直方向における視線角度を複数の視線角度範囲に分けた場合において、複数の前記視線角度範囲のうち、前記測定対象者の視線が含まれる視線角度範囲を推定する学習を行った垂直方向学習済モデルと、で構成され、
前記視線位置推定部は、
取得された前記画像に基づいて、対象エリアを構成する小エリアのうち、前記測定対象者の視線が含まれる小エリアを推定し、
前記対象エリアは、水平方向における複数の前記視線角度範囲及び垂直方向における複数の前記視線角度範囲に基づいて複数の前記小エリアに分割されており、
前記視線位置推定部は、
前記画像取得部により取得された画像に基づいて、
前記水平方向学習済モデルを用いて、前記測定対象者の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択し、かつ
前記垂直方向学習済モデルを用いて、前記測定対象者の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択し、
前記水平方向の推定視線角度範囲及び前記垂直方向の推定視線角度範囲に基づいて、前記対象エリアから前記小エリアを推定する、
ことを特徴とする視線推定システム。
【請求項2】
前記学習済みモデルは、
分類問題を用いて生成される、
請求項１に記載の視線推定システム。
分類問題を用いて生成される、
請求項１に記載の視線推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視線推定システムに関する。
【背景技術】
【0002】
画像処理を利用した視線推定技術には、アピアランスベース手法がある。アピアランスベース手法を用いた視線推定は、測定対象者の目を含む画像と、学習器に機械学習させた複数の学習画像と照合して視線を推定するものである（例えば特許文献１参照）。このアピアランスベース手法を用いた視線推定を実現するために、例えば、畳み込みニューラルネットワーク等による機械学習により生成された学習済モデルが利用される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２８８４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、機械学習により学習済モデルを生成し、精度を向上させるためには、ネットワークの層を追加する等のモデルの構造を改良し、より多くの特徴量を捉えられるようにすることが有効である。すなわち、１つの学習済モデルで測定対象者の水平方向及び垂直方向の視線位置を精度よく推定するためには、ネットワーク層を追加し、モデルの表現力を向上させることが必要であるが、推定処理の計算負荷（処理負荷）が高くなる課題がある。そのため、測定対象者の視線位置の推定処理を、推定精度を維持しつつ処理負荷を軽減する点で改善の余地がある。
【0005】
本発明は、測定対象者の視線位置の推定処理を、精度を維持しつつ処理負荷を軽減することができる視線推定システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明に係る視線推定システムは、測定対象者の顔を含む画像を時系列上連続して取得する画像取得部と、取得された各前記画像に基づいて前記測定対象者の視線位置を推定する処理部と、を備え、前記処理部は、前記測定対象者の顔を含む画像に基づいてアピアランスベース手法による前記測定対象者の視線位置を推定する学習を行った学習済みモデルを用いて、前記画像取得部により取得された前記画像に基づいて前記視線位置を推定する視線位置推定部を有し、前記学習済みモデルは、第１ニューラルネットワークによる機械学習により生成され、かつ前記測定対象者の視線の水平方向における視線角度を複数の視線角度範囲に分けた場合において、複数の前記視線角度範囲のうち、前記測定対象者の視線が含まれる視線角度範囲を推定する学習を行った水平方向学習済モデルと、第１ニューラルネットワークとは異なる第２ニューラルネットワークにより生成され、かつ前記測定対象者の視線の垂直方向における視線角度を複数の視線角度範囲に分けた場合において、複数の前記視線角度範囲のうち、前記測定対象者の視線が含まれる視線角度範囲を推定する学習を行った垂直方向学習済モデルと、で構成され、前記視線位置推定部は、取得された前記画像に基づいて、対象エリアを構成する小エリアのうち、前記測定対象者の視線が含まれる小エリアを推定し、前記対象エリアは、水平方向における複数の前記視線角度範囲及び垂直方向における複数の前記視線角度範囲に基づいて複数の前記小エリアに分割されており、前記視線位置推定部は、前記画像取得部により取得された画像に基づいて、前記水平方向学習済モデルを用いて、前記測定対象者の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択し、かつ前記垂直方向学習済モデルを用いて、前記測定対象者の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択し、前記水平方向の推定視線角度範囲及び前記垂直方向の推定視線角度範囲に基づいて、前記対象エリアから前記小エリアを推定する、ことを特徴とする。
【発明の効果】
【0007】
本発明に係る視線推定システムは、測定対象者の視線位置の推定処理を、精度を維持しつつ処理負荷を軽減することができる、という効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、本発明の実施形態に係る視線推定システムについて図面を参照しつつ詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。以下の実施形態における構成要素には、いわゆる当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。また、以下の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
【0010】
［実施形態］
図１及び図２に示す本実施形態の視線推定システム１は、測定対象者を撮影し当該測定対象者の顔を含む撮影画像に基づいて当該測定対象者の視線を推定するシステムである。本実施形態では、視線推定システム１を車両に適用した場合について説明する。視線推定システム１は、撮影ユニット１２と、処理部１３とを含んで構成される。
図１及び図２に示す本実施形態の視線推定システム１は、測定対象者を撮影し当該測定対象者の顔を含む撮影画像に基づいて当該測定対象者の視線を推定するシステムである。本実施形態では、視線推定システム１を車両に適用した場合について説明する。視線推定システム１は、撮影ユニット１２と、処理部１３とを含んで構成される。
【0011】
撮影ユニット１２は、画像取得部（または画像取得装置）の一例であり、車両２の運転者２０の顔２１を撮影し、運転者２０の顔２１を含む撮影画像を時系列上連続して取得するものである。本実施形態では、運転者２０が測定対象者である。撮影ユニット１２は、光源と、カメラとを含んで構成される。光源及びカメラは、例えば、１枚の基板上に互いに隣接して配置される。
【0012】
光源は、例えば、撮影ユニット１２の外部に向けて近赤外光を出射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。近赤外光は、波長が凡そ０．７～２．５μｍの電磁波であり、赤色の可視光線に近い波長を有し、例えば、「見えない光」として、赤外線カメラや赤外線通信等に利用されている。光源は、処理部１３から入力された点灯信号に応じて点灯（赤外光を発光）し、消灯信号に応じて消灯する。光源は、被視認対象物上または被視認対象物の近傍に配置される。
【0013】
カメラは、光源の近傍に配置され、撮影ユニット１２外側に設定される撮影範囲（例えば画角）を撮影する。カメラは、撮影ユニット１２外側に設定される撮影範囲に運転者２０が存在する場合、光源から出射された赤外光によって照らされた運転者２０を撮影する。撮影ユニット１２は、車両２の車室１０内の運転席１０１に着座している運転者２０の顔２１を撮影するために、例えば運転席前方のメータユニット内、または、コラムカバー上部に設置される。撮影ユニット１２は、処理部１３に接続されており、取得した撮影画像を処理部１３に出力する。
【0014】
カメラは、光源から出射される赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置される。カメラが赤外光の出射方向と反対方向に反射する反射光を受光する位置に配置された場合、当該カメラの光軸と光源の光軸とは重なる。カメラの光軸と光源の光軸とが重なるとは、両方の光軸が同軸になることであるが、両方の光軸が並行であって反射光が受光可能な位置であればよい。カメラの撮影位置は、アプリケーションより要求される検出したい対象者（例えば運転者２０）の顔が現れる範囲内において、顔２１全体が十分な解像度で撮影できる条件より決めることができる。アプリケーションは、検出した視線情報を応用するシステムとして、例えば、自動販売機の興味の計測、デジタルサイネージ等の広告の視認者の自動カウント、ディスプレイシステムの視認時のみ点灯させる（または輝度をあげる）といったものがある。
【0015】
処理部１３は、処理部（または処理装置）の一例であり、撮影ユニット１２で取得された撮影画像に基づいて運転者２０の視線の推定処理を実行するものである。処理部１３は、例えば、視線推定システム１における各種処理機能を実現する処理回路（不図示）を有する。処理回路は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路を意味する。処理部１３は、例えば、不図示の記憶回路（記憶部）から読み出したプログラムを実行することにより、各処理機能を実現する。
【0016】
処理部１３は、図２に示すように、視線位置推定部１４を含んで構成される。視線位置推定部１４は、運転者２０の顔２１を含む学習画像に基づいてアピアランスベース手法による運転者２０の視線位置を推定する学習を行った学習済みモデルＭを用いて、撮影ユニット１２により取得された撮影画像に基づいて視線位置を推定する。本実施形態では、分類問題によるアピアランスベース手法による運転者２０の視線位置を推定する学習を行った学習済モデルＭを用いる。本手法は、（１）機械学習による学習済モデルＭの作成と、（２）学習済モデルＭを使用した視線の推定、２つのフェーズに分けられる。
【0017】
アピアランスベース手法による視線の推定は、被験者の目画像そのものを入力情報とし、機械学習によって視線と目画像の組み合わせを学習し，新規目画像に対して視線の位置を推定する手法である。機械学習手法は、例えば、深層学習手法である畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）等が用いられる。ＣＮＮは、ニューラルネットワークというパターン認識手法を多層化したＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ディープニューラルネットワーク）のうち、２次元データに対応させたもので、画像に対して高いパターン認識能力が報告されている手法である。ＣＮＮで学習を実施するためには、顔や眼の撮影画像と、それらに対応する学習済モデルＭを正解ラベルとして付与する。今回は入力情報として顔画像３６を、正解ラベルとして測定対象者の見ている位置を与える。このときの学習方法は、教師あり学習に分類される。教師あり学習には、回帰問題と分類問題という問題設定方法がある。回帰問題によるアピアランスベース手法を利用した視線推定は、顔や目の画像などを入力して、ニューラルネットワークにより特徴を抽出し、最終的に視線の角度を数値で出力する。回帰問題によるアピアランスベース手法による視線推定の技術は、例えば、特開２０１９－２８８４３号公報に示されている。
【0018】
本実施形態では、分類問題によるアピアランスベース視線推定手法を用いる。分類問題によるアピアランスベース視線推定手法では、入力をカメラで撮影した顔画像３６、出力を測定対象者が見ている対象エリア５０とする。対象エリア５０は、本システムを使用するアプリケーションの要件より設定することができる。本実施形態では、図４に示すように、測定対象者の正面を対象エリア５０とし、当該対象エリア５０を５×５に分割して小エリア５１とした例について説明する。
【0019】
（１）機械学習による学習済モデルＭの作成
学習済モデルＭは、学習画像３１を収集して作成される。学習画像３１の収集については、顔画像３６の取得と同時に、視線角度の検出を行い、測定対象者の視線が含まれる小エリアの位置を記録しておく。本実施形態における学習済モデルＭは、水平方向学習済モデルＭ１と、垂直方向学習モデルＭ２とで構成される。
学習済モデルＭは、学習画像３１を収集して作成される。学習画像３１の収集については、顔画像３６の取得と同時に、視線角度の検出を行い、測定対象者の視線が含まれる小エリアの位置を記録しておく。本実施形態における学習済モデルＭは、水平方向学習済モデルＭ１と、垂直方向学習モデルＭ２とで構成される。
【0020】
水平方向学習済モデルＭ１は、第１ニューラルネットワーク４１による機械学習により生成される。水平方向学習済モデルＭ１は、図５の（Ａ）に示すように、測定対象者２０の視線２４の水平方向における視線角度６１を複数の視線角度範囲６１Ａ～６１Ｅに分けた場合において、複数の視線角度範囲６１Ａ～６１Ｅのうち、どの視線角度範囲に測定対象者２０の視線２４が含まれるかを推定する学習を行ったものである。
【0021】
垂直方向学習モデルＭ２は、第１ニューラルネットワーク４１とは異なる第２ニューラルネットワーク４２により生成される。本実施形態では、同一のニューラルネットワークで学習させるものではなく、別々のニューラルネットワークで学習させるものである。垂直方向学習モデルＭ２は、図５の（Ｂ）に示すように、測定対象者２０の視線２４の垂直方向における視線角度６２を複数の視線角度範囲６２Ａ～６２Ｅに分けた場合において、複数の視線角度範囲６２Ａ～６２Ｅのうち、どの視線角度範囲に測定対象者２０の視線２４が含まれるかを推定する学習を行ったものである。
【0022】
（２）学習済モデルＭを使用した視線の推定
視線位置推定部１４は、取得された撮影画像３５に基づいて、対象エリア５０を構成する複数の小エリア５１のうち、運転者２０の視線２４がどの小エリア５１に含まれるかを推定する。対象エリア５０は、測定対象者の視線が向いている視認エリアであり、水平方向における複数の視線角度範囲６１Ａ～６１Ｅ及び垂直方向における複数の視線角度範囲６２Ａ～６２Ｅに基づいて複数の小エリア５１に分割されている。
視線位置推定部１４は、取得された撮影画像３５に基づいて、対象エリア５０を構成する複数の小エリア５１のうち、運転者２０の視線２４がどの小エリア５１に含まれるかを推定する。対象エリア５０は、測定対象者の視線が向いている視認エリアであり、水平方向における複数の視線角度範囲６１Ａ～６１Ｅ及び垂直方向における複数の視線角度範囲６２Ａ～６２Ｅに基づいて複数の小エリア５１に分割されている。
【0023】
視線位置推定部１４は、撮影ユニット１２により取得された撮影画像３５に基づいて、水平方向学習済モデルＭ１を用いて、運転者２０の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択する。視線位置推定部１４は、取得された撮影画像３５から顔部分を抽出して顔画像３６を生成し、当該顔画像３６を、学習時に入力される学習画像３１の解像度にリサイズして、第１ニューラルネットワーク４１に入力する。第１ニューラルネットワーク４１は、水平方向学習済モデルＭ１を用いて、運転者２０の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択する。水平方向推定視線角度範囲は、対象エリア５０を構成する複数の小エリア５１のうち、運転者２０の水平方向の視線位置が含まれていると推定される範囲である。
【0024】
視線位置推定部１４は、撮影ユニット１２により取得された撮影画像３５に基づいて、垂直方向学習済モデルＭ２を用いて、測定対象者２０の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択する。視線位置推定部１４は、取得された撮影画像３５から顔部分を抽出して顔画像３６を生成し、当該顔画像３６を、学習時に入力される学習画像３１の解像度にリサイズして、第２ニューラルネットワーク４２に入力する。第２ニューラルネットワーク４２は、垂直方向学習済モデルＭ２を用いて、運転者２０の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択する。垂直方向推定視線角度範囲は、対象エリア５０を構成する複数の小エリア５１のうち、運転者２０の垂直方向の視線位置が含まれていると推定される範囲である。
【0025】
視線位置推定部１４は、上記水平方向の推定視線角度範囲及び垂直方向の推定視線角度範囲に基づいて、対象エリア５０から小エリア５１を推定する。
【0026】
次に、本実施形態の視線推定システム１で実行される学習済モデルＭを使用した視線推定のアルゴリズムについて図６を参照して説明する。図６に示す処理は、例えば、電源投入（例えば車両２のＩＧＮのＯＮ）に応じて、処理部１３が記憶部から読みだしたプログラムを実行することにより、各ステップが順次行われる。
【0027】
ステップＳ１１では、撮影ユニット１２は、運転者２０の顔を含む映像を撮影して映像の信号を出力する。処理部１３は、撮影ユニット１２から映像の信号を１フレーム分取り込む。このとき、処理部１３は、グレースケール化を含む、画像のデータ形式の変換やサイズの変更などを必要に応じて実行する。
【0028】
ステップＳ１２では、処理部１３は、ステップＳ１１で取り込んだ撮影画像３５に基づいて、例えば、「Ｖｉｏｌａ－Ｊｏｎｅｓ法」を用いて顔検出を行い、１フレームの二次元画像データの中から顔を含む顔画像３６を抽出する。すなわち、顔の陰影差を特徴とし「Ｂｏｏｓｔｉｎｇ」を用いた学習によって作成された検出器を使って顔画像３６を抽出する。「Ｖｉｏｌａ－Ｊｏｎｅｓ法」の技術は、例えば以下の文献に示されている。
「Ｖｉｏｌａ，Ｐａｕｌ ａｎｄ Ｍｉｃｈａｅｌ Ｊ．Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａＢｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ ＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００１．Ｖｏｌｕｍｅ：１，ｐｐ．５１１－５１８．」
「Ｖｉｏｌａ，Ｐａｕｌ ａｎｄ Ｍｉｃｈａｅｌ Ｊ．Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａＢｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ ＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００１．Ｖｏｌｕｍｅ：１，ｐｐ．５１１－５１８．」
【0029】
ステップＳ１３では、処理部１３は、運転者２０の水平方向の視線を推定する。ここで視線位置推定部１４は、ステップＳ１２で抽出された顔画像３６に基づいて、水平方向学習済モデルＭ１を用いて、運転者２０の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択する。
【0030】
ステップＳ１４では、処理部１３は、運転者２０の垂直方向の視線を推定する。ここで視線位置推定部１４は、ステップＳ１２で抽出された顔画像３６に基づいて、垂直方向学習済モデルＭ２を用いて、運転者２０の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択する。
【0031】
ステップＳ１５では、処理部１３は、視線推定結果を出力する。ここで視線位置推定部１４は、ステップＳ１３で選択された水平方向の推定視線角度範囲、及び、ステップＳ１４で選択された垂直方向の推定視線角度範囲に基づいて、対象エリア５０から小エリア５１を推定する。
【0032】
対象エリア５０を測定対象者の正面±10度の視線角度とし、当該対象エリア５０を水平方向及び垂直方向にそれぞれ分割して小エリアとした場合（図４）、この対象エリア５０を測定対象者が見たときの顔画像を取得し、視線データセットを作成する。例えば、視線データセットとして２９８１枚の画像を作成した場合、付与された正解ラベル毎の画像の枚数を図７の（Ａ）、図７の（Ｂ）に示す。本実施形態では、１画素につき水平方向と垂直方向の正解ラベルを付与して、それぞれ学習を実施している。
【0033】
上述した視線データセットのうち、１割を検証用画像とし、残りを利用して、水平方向及び垂直方向のそれぞれについて学習を実行させる。学習した結果に基づいて、視線の推定を行った場合、図８の（Ａ）に示すように、精度（分類精度）が１００％に近づいていく。これに対して、上述した視線データセットのうち、水平方向及び垂直方向のそれぞれについてではなく、２５箇所全体について学習を実行させた場合、図８の（Ｂ）に示すように、精度が大きく低下する。なお、図８の（Ｂ）に示す表では、２５箇所全体について学習を実行させたときの精度を、水平方向及び垂直方向にそれぞれの分類制度を検証した結果である。精度を向上させるためには、学習画像の数を増やす、またはネットワークの層を追加する等のモデルの構造を改良する必要がある。前者はデータ作成のコストが増加し、後者は視線推定時の計算量の増加につながる。
【0034】
以上説明した視線推定システム１は、撮影画像３５に基づいて、水平方向学習済モデルＭ１を用いて、運転者２０の水平方向の視線位置が含まれていると推定される水平方向推定視線角度範囲を選択し、垂直方向学習済モデルＭ２を用いて、運転者２０の垂直方向の視線位置が含まれていると推定される垂直方向推定視線角度範囲を選択する。そして、水平方向の推定視線角度範囲及び垂直方向の推定視線角度範囲に基づいて、対象エリア５０を構成する小エリア５１のうち、運転者２０の視線２４がどの小エリア５１に含まれるかを推定する。上記構成により、測定対象者の視線位置の推定処理を、精度を維持しつつ処理負荷を軽減することができる。
【0035】
また、視線推定システム１は、学習済モデルＭが、分類問題を用いて生成される。これにより、回帰問題によるアピアランスベース手法による視線推定を行った場合に比して、より高精度に、かつ少ない学習画像の数で視線の推定を実現することができる。
【0036】
［変形例］
なお、上記実施形態では、視線推定システム１は、自動車等の車両２に適用されているが、これに限定されず、例えば車両２以外の船舶や航空機等に適用してもよい。また、視線推定システム１は、撮影ユニット１２と、処理部１３とに分かれているが、これに限定されず、一体で構成されていてもよい。
なお、上記実施形態では、視線推定システム１は、自動車等の車両２に適用されているが、これに限定されず、例えば車両２以外の船舶や航空機等に適用してもよい。また、視線推定システム１は、撮影ユニット１２と、処理部１３とに分かれているが、これに限定されず、一体で構成されていてもよい。
【0037】
また、上記実施形態では、処理回路は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理回路は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理回路が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
【0038】
以上で説明したプロセッサによって実行されるプログラムは、記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。
【符号の説明】
【0039】
１ 視線推定システム
１２ 撮影ユニット
１３ 処理部
１４ 視線位置推定部
Ｍ 学習済モデル
Ｍ１ 水平方向学習済モデル
Ｍ２ 垂直方向学習済モデル
１２ 撮影ユニット
１３ 処理部
１４ 視線位置推定部
Ｍ 学習済モデル
Ｍ１ 水平方向学習済モデル
Ｍ２ 垂直方向学習済モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】