知財求人 - 知財ポータルサイト「IP Force」
▶ 三菱電機株式会社の特許一覧 ▶ 三菱プレシジョン株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-01
(45)【発行日】2024-08-09
(54)【発明の名称】視線推定装置、視線推定方法及び視線推定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240802BHJP
G06T 7/70 20170101ALI20240802BHJP
【ＦＩ】
G06T7/00 660A
G06T7/70 B
【請求項の数】
10
(21)【出願番号】P 2024533064
(86)(22)【出願日】2023-11-17
(86)【国際出願番号】 JP2023041528
【審査請求日】2024-06-03
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(73)【特許権者】
【識別番号】000176730
【氏名又は名称】三菱プレシジョン株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】井手 美優
(72)【発明者】
【氏名】木村 直哉
(72)【発明者】
【氏名】長坂 学
(72)【発明者】
【氏名】中島 和成
【審査官】松浦 功
(56)【参考文献】
【文献】米国特許出願公開第２０１５／０２７７５５３（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１１９６６２１９（ＣＮ，Ａ）
【文献】特開２００１－００８１９７（ＪＰ，Ａ）
【文献】佐竹純二 外６名，インタラクティブな情報提示システムのための非装着・非拘束な視線推定，情報処理学会研究報告，社団法人情報処理学会，2007年09月28日，Vol. 2007, No. 99，pp. 9-16
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｔ １／００
Ｇ０６Ｖ １０／００ －２０／９０
Ｇ０６Ｖ ４０／１６ －４０／１９
(57)【特許請求の範囲】
【請求項1】
複数のカメラそれぞれを対象のカメラとして、前記対象のカメラによって撮影された画像データから対象者の視線を推定する視線推定部と、前記視線推定部によって前記複数のカメラそれぞれを前記対象のカメラとして推定された視線を、前記対象者が正面から撮影された前記画像データから推定された視線ほど重視して統合して、前記対象者の視線を特定する視線統合部と、
前記対象のカメラによって撮影された前記画像データに写った前記対象者が顔を遮蔽する遮蔽物を装着している場合に、前記遮蔽物を装着している前記対象者が写った画像データである装着画像から、前記遮蔽物の３次元モデルで表現された遮蔽物情報を利用して前記遮蔽物を除去した非装着画像を生成する画像生成部と
を備え、
前記視線推定部は、前記画像生成部によって生成された前記非装着画像から前記視線を推定する
視線推定装置。
【請求項2】
前記視線統合部は、前記対象者が近い距離から撮影された前記画像データから推定された視線ほど重視して統合する請求項１に記載の視線推定装置。
【請求項3】
前記視線統合部は、前記対象者の虹彩のサイズと形状との少なくともいずれかに応じて統合する請求項１に記載の視線推定装置。
【請求項4】
前記視線統合部は、前記対象者の両目の位置とカメラの位置との間の距離に応じて統合する請求項１に記載の視線推定装置。
【請求項5】
前記視線推定部は、キャリブレーション用の点を注視した場合に特定される注視位置を、実際の注視位置と一致させる射影変換行列を用いて、前記画像データから推定された前記視線を補正する請求項１に記載の視線推定装置。
【請求項6】
前記射影変換行列は、視線の方向に応じて複数用意されており、前記視線推定部は、前記画像データから推定された前記対象者の視線の方向に対応する前記射影変換行列を用いて、前記視線を補正する
請求項５に記載の視線推定装置。
【請求項7】
前記視線推定装置は、さらに、前記対象者がいる空間の３次元モデルを用いて、前記視線統合部によって特定された前記視線の先に存在する注視位置を推定する注視位置推定部
を備える請求項１に記載の視線推定装置。
【請求項8】
前記画像生成部は、遮蔽物が装着されていない顔画像である非装着学習画像と、前記非装着学習画像に遮蔽物を装着した装着学習画像との組を学習データとして学習させることにより得られた遮蔽物除去モデルであって、遮蔽物が装着された顔画像を入力として遮蔽物を除去した画像データを出力する遮蔽物除去モデルに対して、前記装着画像を入力することにより前記非装着画像を生成する請求項１に記載の視線推定装置。
【請求項9】
コンピュータが、複数のカメラそれぞれを対象のカメラとして、前記対象のカメラによって撮影された画像データから対象者の視線を推定し、コンピュータが、前記複数のカメラそれぞれを前記対象のカメラとして推定された視線を、前記対象者が正面から撮影された前記画像データから推定された視線ほど重視して統合して、前記対象者の視線を特定し、
コンピュータが、前記対象のカメラによって撮影された前記画像データに写った前記対象者が顔を遮蔽する遮蔽物を装着している場合に、前記遮蔽物を装着している前記対象者が写った画像データである装着画像から、前記遮蔽物の３次元モデルで表現された遮蔽物情報を利用して前記遮蔽物を除去した非装着画像を生成し、
コンピュータが、前記非装着画像から前記視線を推定する視線推定方法。
【請求項10】
複数のカメラそれぞれを対象のカメラとして、前記対象のカメラによって撮影された画像データから対象者の視線を推定する視線推定処理と、前記視線推定処理によって前記複数のカメラそれぞれを前記対象のカメラとして推定された視線を、前記対象者が正面から撮影された前記画像データから推定された視線ほど重視して統合して、前記対象者の視線を特定する視線統合処理と、
前記対象のカメラによって撮影された前記画像データに写った前記対象者が顔を遮蔽する遮蔽物を装着している場合に、前記遮蔽物を装着している前記対象者が写った画像データである装着画像から、前記遮蔽物の３次元モデルで表現された遮蔽物情報を利用して前記遮蔽物を除去した非装着画像を生成する画像生成処理と
を行う視線推定装置としてコンピュータを機能させ、
前記視線推定処理では、前記画像生成処理によって生成された前記非装着画像から前記視線を推定する視線推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像データに写った人の視線を推定する技術に関する。
【背景技術】
【0002】
人の視線は、人の行動意図を理解するための重要な情報の１つである。そのため、人の視線を推定する技術は、様々な場面で利用されている。
【0003】
従来の視線を推定する技術は、静止している人の顔が写っているカラー画像からその人の視線方向を推定する技術である。特許文献１には、従来の視線を推定する技術が記載されている。
【0004】
特に、特許文献１には、顔の向き及び照明の明るさ等が特定の条件である場合において、視線の推定の精度が低下する可能性があるという課題を解決するための技術が記載されている。
特許文献１では、単一の顔画像に対し、視線が複数の推定器で推定される。そして、顔画像撮影時のカメラと人物との間の距離とカメラの画角と事前に収集されたデータとの比較に基づく加重平均等により、複数の推定器の結果を統合して視線が決定される。これにより、様々な条件下における視線推定精度の向上が図られている。
特許文献１では、単一の顔画像に対し、視線が複数の推定器で推定される。そして、顔画像撮影時のカメラと人物との間の距離とカメラの画角と事前に収集されたデータとの比較に基づく加重平均等により、複数の推定器の結果を統合して視線が決定される。これにより、様々な条件下における視線推定精度の向上が図られている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－５４７０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の視線を推定する技術は、以下の（１）（２）のケースのように、視線推定の対象者が静止しており、かつ、カメラの近くにいることを前提とすることが多い。（１）表示装置に取り付けたカメラで撮影された画像データから、コンピュータの操作者の視線を推定するケース。（２）車載カメラで撮影された画像データから、車両の運転手の視線を推定するケース。
特許文献１に記載された技術も、視線推定の対象者が静止しており、かつ、カメラの近くにいる場合には有効に機能する可能性がある。しかし、視線推定の対象者が街中等を行き来し、広範囲を移動するような場合には、適切に視線を推定することが難しい。
本開示は、視線推定の対象者が、広範囲を移動するような場合であっても、適切に視線を推定可能にすることを目的とする。
特許文献１に記載された技術も、視線推定の対象者が静止しており、かつ、カメラの近くにいる場合には有効に機能する可能性がある。しかし、視線推定の対象者が街中等を行き来し、広範囲を移動するような場合には、適切に視線を推定することが難しい。
本開示は、視線推定の対象者が、広範囲を移動するような場合であっても、適切に視線を推定可能にすることを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る視線推定装置は、
複数のカメラそれぞれを対象のカメラとして、前記対象のカメラによって撮影された画像データから対象者の視線を推定する視線推定部と、
前記視線推定部によって前記複数のカメラそれぞれを前記対象のカメラとして推定された視線を、前記対象のカメラによって撮影された前記画像データにおける前記対象者の写り具合に応じて統合して、前記対象者の視線を特定する視線統合部と
を備える。
複数のカメラそれぞれを対象のカメラとして、前記対象のカメラによって撮影された画像データから対象者の視線を推定する視線推定部と、
前記視線推定部によって前記複数のカメラそれぞれを前記対象のカメラとして推定された視線を、前記対象のカメラによって撮影された前記画像データにおける前記対象者の写り具合に応じて統合して、前記対象者の視線を特定する視線統合部と
を備える。
【発明の効果】
【0008】
本開示では、画像データにおける対象者の写り具合に応じて視線を統合して、対象者の視線を特定する。これにより、視線推定の対象者が広範囲を移動するような場合であっても、適切に視線を推定可能である。
【図面の簡単な説明】
【0009】
【図1】実施の形態１に係る視線推定装置１０の構成図。
【図2】実施の形態１に係る視線推定装置１０の動作を示すフローチャート。
【図3】実施の形態２に係る視線推定装置１０の動作を示すフローチャート。
【図4】実施の形態２に係る視線補正処理の説明図。
【図5】変形例１に係る視線補正処理の説明図。
【図6】実施の形態３に係る視線推定装置１０の構成図。
【図7】実施の形態３に係るカメラ３２及び注視位置推定処理の説明図。
【図8】実施の形態３に係る視線推定装置１０の動作を示すフローチャート。
【図9】実施の形態４に係る視線推定装置１０の構成図。
【図10】実施の形態４に係る視線推定装置１０の動作を示すフローチャート。
【図11】実施の形態４に係る遮蔽物除去モデルの生成処理を示すフローチャート。
【図12】変形例３に係る視線推定装置１０の構成図。
【発明を実施するための形態】
【0010】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る視線推定装置１０の構成を説明する。
視線推定装置１０は、コンピュータである。
視線推定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る視線推定装置１０の構成を説明する。
視線推定装置１０は、コンピュータである。
視線推定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0011】
プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
【0012】
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
【0013】
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。
【0014】
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。
【0015】
視線推定装置１０は、通信インタフェース１４を介して、複数のカメラ３１と接続されている。以下の説明では、Ｎ台のカメラ３１が接続されているものとする。カメラ３１は、ＲＧＢカメラと、ＲＧＢ－Ｄカメラと、ステレオカメラと等である。ＲＧＢは、Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅの略である。ＲＧＢ－Ｄは、Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ－Ｄｅｐｔｈの略である。
【0016】
視線推定装置１０は、機能構成要素として、撮影部２１と、顔検出部２２と、視線推定部２３と、視線統合部２４とを備える。視線推定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、視線推定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、視線推定装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、視線推定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、視線推定装置１０の各機能構成要素の機能が実現される。
【0017】
＊＊＊動作の説明＊＊＊
図２を参照して、実施の形態１に係る視線推定装置１０の動作を説明する。
実施の形態１に係る視線推定装置１０の動作手順は、実施の形態１に係る視線推定方法に相当する。また、実施の形態１に係る視線推定装置１０の動作を実現するプログラムは、実施の形態１に係る視線推定プログラムに相当する。
図２を参照して、実施の形態１に係る視線推定装置１０の動作を説明する。
実施の形態１に係る視線推定装置１０の動作手順は、実施の形態１に係る視線推定方法に相当する。また、実施の形態１に係る視線推定装置１０の動作を実現するプログラムは、実施の形態１に係る視線推定プログラムに相当する。
【0018】
複数のカメラ３１それぞれを対象のカメラ３１として、ステップＳ１１からステップＳ１３の処理が実行される。
【0019】
（ステップＳ１１：撮影処理）
撮影部２１は、対象のカメラ３１によって撮影領域を撮影する。これにより、撮影部２１は、対象のカメラ３１によって撮影された画像データ４１を取得する。
撮影部２１は、対象のカメラ３１によって撮影領域を撮影する。これにより、撮影部２１は、対象のカメラ３１によって撮影された画像データ４１を取得する。
【0020】
（ステップＳ１２：顔検出処理）
顔検出部２２は、ステップＳ１１で取得された画像データ４１から、対象者の顔を検出する。対象者は、視線の推定が行われる人である。これにより、顔検出部２２は、対象者の顔特徴点の３次元座標を取得する。なお、顔検出部２２によって対象者の顔が検出されなかった場合には、対象のカメラ３１についての処理を終了する。
顔の検出方法は、既存技術を用いて実現可能である。具体例としては、顔検出部２２は、教師あり学習等の機械学習によって生成された顔検出モデルに対して、画像データ４１を入力することにより、対象者の顔を検出することが考えられる。
顔検出部２２は、ステップＳ１１で取得された画像データ４１から、対象者の顔を検出する。対象者は、視線の推定が行われる人である。これにより、顔検出部２２は、対象者の顔特徴点の３次元座標を取得する。なお、顔検出部２２によって対象者の顔が検出されなかった場合には、対象のカメラ３１についての処理を終了する。
顔の検出方法は、既存技術を用いて実現可能である。具体例としては、顔検出部２２は、教師あり学習等の機械学習によって生成された顔検出モデルに対して、画像データ４１を入力することにより、対象者の顔を検出することが考えられる。
【0021】
（ステップＳ１３：視線推定処理）
視線推定部２３は、画像データ４１から対象者の視線を推定する。視線は、対象者の目の位置と、対象者の目の位置から注視位置への方向を示すベクトルとによって表される。対象者の目の位置は、対象者の両目を結んだ線分の中点の位置の３次元座標である。
画像データから視線を推定する方法は、既存技術を用いて実現可能である。具体例としては、視線推定部２３は、教師あり学習等の機械学習によって生成された視線推定モデルに対して、画像データ４１を入力することにより、対象者の視線を推定することが考えられる。なお、画像データから視線を推定する場合には、眼球内の黒目の動き方に着目して推定されることが多い。
カメラ３１がＲＧＢ－Ｄカメラ又はステレオカメラ等の場合には深度の情報が得られる。この場合には、視線推定部２３は、深度の情報を用いて、視線の起点となる対象者の目の位置を推定してもよい。深度の情報を用いることにより、対象者の目の位置の推定精度を高くすることが可能である。
視線推定部２３は、画像データ４１から対象者の視線を推定する。視線は、対象者の目の位置と、対象者の目の位置から注視位置への方向を示すベクトルとによって表される。対象者の目の位置は、対象者の両目を結んだ線分の中点の位置の３次元座標である。
画像データから視線を推定する方法は、既存技術を用いて実現可能である。具体例としては、視線推定部２３は、教師あり学習等の機械学習によって生成された視線推定モデルに対して、画像データ４１を入力することにより、対象者の視線を推定することが考えられる。なお、画像データから視線を推定する場合には、眼球内の黒目の動き方に着目して推定されることが多い。
カメラ３１がＲＧＢ－Ｄカメラ又はステレオカメラ等の場合には深度の情報が得られる。この場合には、視線推定部２３は、深度の情報を用いて、視線の起点となる対象者の目の位置を推定してもよい。深度の情報を用いることにより、対象者の目の位置の推定精度を高くすることが可能である。
【0022】
（ステップＳ１４：視線統合処理）
視線統合部２４は、複数のカメラ３１それぞれを対象のカメラ３１として推定された視線を統合して、対象者の視線を特定する。具体的には、視線統合部２４は、対象のカメラによって撮影された画像データ４１における対象者の写り具合に応じて視線を統合して、対象者の視線を特定する。
視線統合部２４は、特定した視線を、通信インタフェース１４を介して外部の機器に出力する。例えば、視線統合部２４は、特定した視線を表示装置に出力して、表示する。このとき、視線統合部２４は、ステップＳ１２で顔を検出した際に得られた顔特徴点の３次元座標も合わせて出力してもよい。
視線統合部２４は、複数のカメラ３１それぞれを対象のカメラ３１として推定された視線を統合して、対象者の視線を特定する。具体的には、視線統合部２４は、対象のカメラによって撮影された画像データ４１における対象者の写り具合に応じて視線を統合して、対象者の視線を特定する。
視線統合部２４は、特定した視線を、通信インタフェース１４を介して外部の機器に出力する。例えば、視線統合部２４は、特定した視線を表示装置に出力して、表示する。このとき、視線統合部２４は、ステップＳ１２で顔を検出した際に得られた顔特徴点の３次元座標も合わせて出力してもよい。
【0023】
ステップＳ１３で視線を推定する際、対象者の顔の撮影が正面側からされているほど、視線の検出精度が高い傾向がある。また、対象者の顔の撮影が近い位置からされているほど、視線の検出精度が高い傾向がある。そこで、視線統合部２４は、対象者が正面から撮影された画像データ４１から推定された視線ほど重視して統合する。また、視線統合部２４は、対象者が近い距離から撮影された画像データ４１から推定された視線ほど重視して統合する。
重視して統合するとは、例えば、重視する視線ほど重い重みを持たせた上で、重み付け平均を計算することにより、統合することである。具体的には、複数のカメラ３１それぞれを対象のカメラ３１として推定された視線に重みを乗じた値の合計値を、重みの合計値で除すことにより、視線が統合される。つまり、対象者の目の位置について、重みを乗じた値の合計値を、重みの合計値で除すことにより、対象者の目の位置が特定される。また、視線ベクトルについて、重みを乗じた値の合計値を、重みの合計値で除すことにより、視線ベクトルが特定される。
重視して統合するとは、例えば、重視する視線ほど重い重みを持たせた上で、重み付け平均を計算することにより、統合することである。具体的には、複数のカメラ３１それぞれを対象のカメラ３１として推定された視線に重みを乗じた値の合計値を、重みの合計値で除すことにより、視線が統合される。つまり、対象者の目の位置について、重みを乗じた値の合計値を、重みの合計値で除すことにより、対象者の目の位置が特定される。また、視線ベクトルについて、重みを乗じた値の合計値を、重みの合計値で除すことにより、視線ベクトルが特定される。
【0024】
より具体的には、実施の形態２では、視線統合部２４は、以下の（１）（２）の２通りの方法の少なくともいずれかにより視線の信頼度を計算する。そして、視線統合部２４は、計算された信頼度で重み付けした重み付け平均等により、視線を統合する。ここでは、信頼度が高いほど、重い重みが付されるとする。
【0025】
（１）虹彩による信頼度
視線統合部２４は、対象者の虹彩がきれいに撮影されているほど、信頼度が高くなるように信頼度を計算する。虹彩がきれいか否かの評価指標は、虹彩の形状と、虹彩の領域サイズとである。虹彩の形状が円形に近いほど、虹彩がきれいであると判断される。虹彩の領域サイズが大きいほど、虹彩がきれいであると判断される。
対象者の顔の撮影が正面側からされているほど、虹彩の形状は円形に近くなる。また、対象者の顔の撮影が近い位置からされているほど、虹彩の領域サイズは大きくなる。つまり、虹彩がきれいに撮影されており、信頼度が高いほど、視線の検出精度が高い傾向がある。
視線統合部２４は、対象者の虹彩がきれいに撮影されているほど、信頼度が高くなるように信頼度を計算する。虹彩がきれいか否かの評価指標は、虹彩の形状と、虹彩の領域サイズとである。虹彩の形状が円形に近いほど、虹彩がきれいであると判断される。虹彩の領域サイズが大きいほど、虹彩がきれいであると判断される。
対象者の顔の撮影が正面側からされているほど、虹彩の形状は円形に近くなる。また、対象者の顔の撮影が近い位置からされているほど、虹彩の領域サイズは大きくなる。つまり、虹彩がきれいに撮影されており、信頼度が高いほど、視線の検出精度が高い傾向がある。
【0026】
（２）カメラ３１との距離による信頼度
視線統合部２４は、対象者の両目の中心位置Ｃｅｙｅが、対象のカメラ３１の中心位置Ｃｃａｍから近くなるほど、信頼度が高くなるように信頼度を計算する。例えば、視線統合部２４は、事前に設定された値αを距離｜Ｃｃａｍ－Ｃｅｙｅ｜で除したα／（｜Ｃｃａｍ－Ｃｅｙｅ｜）を信頼度として計算する。なお、起こり難いが、距離｜Ｃｃａｍ－Ｃｅｙｅ｜が０の場合には、重みを１に設定してもよい。
対象者の顔の撮影が正面側からされており、かつ、対象者の顔の撮影が近い位置からされているほど、距離｜Ｃｃａｍ－Ｃｅｙｅ｜が短くなる。つまり、距離｜Ｃｃａｍ－Ｃｅｙｅ｜が短く、信頼度が高いほど、視線の検出精度が高い傾向がある。
視線統合部２４は、対象者の両目の中心位置Ｃｅｙｅが、対象のカメラ３１の中心位置Ｃｃａｍから近くなるほど、信頼度が高くなるように信頼度を計算する。例えば、視線統合部２４は、事前に設定された値αを距離｜Ｃｃａｍ－Ｃｅｙｅ｜で除したα／（｜Ｃｃａｍ－Ｃｅｙｅ｜）を信頼度として計算する。なお、起こり難いが、距離｜Ｃｃａｍ－Ｃｅｙｅ｜が０の場合には、重みを１に設定してもよい。
対象者の顔の撮影が正面側からされており、かつ、対象者の顔の撮影が近い位置からされているほど、距離｜Ｃｃａｍ－Ｃｅｙｅ｜が短くなる。つまり、距離｜Ｃｃａｍ－Ｃｅｙｅ｜が短く、信頼度が高いほど、視線の検出精度が高い傾向がある。
【0027】
視線統合部２４は、信頼度（重み）が基準値未満の視線については統合対象から除外してもよい。信頼度が低い視線を統合しても、誤差が大きくなる傾向があると考えられるためである。なお、信頼度が低い場合には、重みが小さいため統合対象としても、結果に与える影響は小さいので、統合対象から除外しなくてもよい。
【0028】
ここで、視線を統合する場合には、同じタイミングで各カメラ３１によって撮影された画像データ４１から推定された視線を統合する必要がある。視線統合部２４は、同じタイミングで各カメラ３１によって撮影された画像データ４１から推定された視線であることを特定する同期処理を、撮影時刻を用いて行うことが考えられる。同期処理は、画像データ４１に写った周辺状況に基づき行われてもよい。また、同期処理は、同期信号を用いて行われてもよい。
【0029】
なお、ステップＳ１４で視線統合部２４は、統合の際に使用した重みを、視線とともに出力してもよい。
【0030】
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る視線推定装置１０は、画像データ４１における対象者の写り具合に応じて視線を統合して、対象者の視線を特定する。これにより、１台のカメラ３１で撮影された画像データ４１からは推定が難しい、視線推定の対象者が広範囲を移動するような場合であっても、適切に視線を推定可能である。
以上のように、実施の形態１に係る視線推定装置１０は、画像データ４１における対象者の写り具合に応じて視線を統合して、対象者の視線を特定する。これにより、１台のカメラ３１で撮影された画像データ４１からは推定が難しい、視線推定の対象者が広範囲を移動するような場合であっても、適切に視線を推定可能である。
【0031】
特に、実施の形態１に係る視線推定装置１０は、対象者が正面から撮影された画像データ４１から推定された視線ほど重視して統合する。また、実施の形態１に係る視線推定装置１０は、対象者が近い距離から撮影された画像データ４１から推定された視線ほど重視して統合する。これにより、複数のカメラ３１によって撮影された画像データ４１を考慮した場合に、精度よく視線を推定することが可能である。
【0032】
また、実施の形態１に係る視線推定装置１０は、虹彩とカメラ３１との距離との少なくともいずれかを用いて、対象者が正面から撮影された画像データ４１であるか、及び、対象者が近い距離から撮影された画像データ４１であるかを特定する。これにより、容易かつ正確に、対象者が正面から撮影された画像データ４１であるか、及び、対象者が近い距離から撮影された画像データ４１であるかを特定可能である。
【0033】
また、実施の形態１に係る視線推定装置１０は、複数のカメラ３１で撮影された画像データ４１から視線を特定するので、一部のカメラ３１が故障した場合であっても視線を特定可能である。
【0034】
実施の形態２．
実施の形態２は、推定された視線を補正する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態２は、推定された視線を補正する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
【0035】
＊＊＊動作の説明＊＊＊
図３を参照して、実施の形態２に係る視線推定装置１０の動作を説明する。
ステップＳ２１からステップＳ２３の処理は、図２のステップＳ１１からステップＳ１３の処理と同じである。ステップＳ２５の処理は、図２のステップＳ１４の処理と同じである。
図３を参照して、実施の形態２に係る視線推定装置１０の動作を説明する。
ステップＳ２１からステップＳ２３の処理は、図２のステップＳ１１からステップＳ１３の処理と同じである。ステップＳ２５の処理は、図２のステップＳ１４の処理と同じである。
【0036】
（ステップＳ２４：視線補正処理）
視線推定部２３は、ステップＳ２３で推定された視線を補正する。
具体的には、視線推定部２３は、事前にキャリブレーション用の射影変換行列を求めておく。そして、視線推定部２３は、推定された視線を、射影変換行列により変換することにより補正する。
視線推定部２３は、ステップＳ２３で推定された視線を補正する。
具体的には、視線推定部２３は、事前にキャリブレーション用の射影変換行列を求めておく。そして、視線推定部２３は、推定された視線を、射影変換行列により変換することにより補正する。
【0037】
図４を参照してより詳細に説明する。
視線は、眼球内の黒目の動き方に着目して推定される。注視位置が左右又は上下に遠ざかるほど、黒目の動きが大きくなる。黒目の動きが大きくなると、推定された視線は誤差が大きくなり歪んでしまう。
そこで、視線推定部２３は、キャリブレーション用の点を注視した場合における視線を推定する。視線推定部２３は、推定された視線から特定される注視位置を推定位置として特定する。注視したキャリブレーション用の点の実際の注視位置を実際位置と呼ぶ。視線推定部２３は、推定位置が、実際位置と一致するような射影変換行列を計算する。
具体的には、視線推定部２３は、図４のように壁における矩形領域を注視領域４３として、注視領域４３の四隅の各点をキャリブレーション用の点に設定する。視線推定部２３は、四隅の各点を対象として、対象の点を注視した場合における視線を推定し、推定位置を特定する。これにより、推定位置を繋いだ矩形領域である推定領域４４が特定される。推定領域４４から注視領域４３への補正は、注視領域４３及び推定領域４４の四隅の点を用いた射影変換とみなすことができる。そこで、視線推定部２３は、数１に示すように、推定領域４４から注視領域４３へ補正する射影変換行列を計算する。
視線は、眼球内の黒目の動き方に着目して推定される。注視位置が左右又は上下に遠ざかるほど、黒目の動きが大きくなる。黒目の動きが大きくなると、推定された視線は誤差が大きくなり歪んでしまう。
そこで、視線推定部２３は、キャリブレーション用の点を注視した場合における視線を推定する。視線推定部２３は、推定された視線から特定される注視位置を推定位置として特定する。注視したキャリブレーション用の点の実際の注視位置を実際位置と呼ぶ。視線推定部２３は、推定位置が、実際位置と一致するような射影変換行列を計算する。
具体的には、視線推定部２３は、図４のように壁における矩形領域を注視領域４３として、注視領域４３の四隅の各点をキャリブレーション用の点に設定する。視線推定部２３は、四隅の各点を対象として、対象の点を注視した場合における視線を推定し、推定位置を特定する。これにより、推定位置を繋いだ矩形領域である推定領域４４が特定される。推定領域４４から注視領域４３への補正は、注視領域４３及び推定領域４４の四隅の点を用いた射影変換とみなすことができる。そこで、視線推定部２３は、数１に示すように、推定領域４４から注視領域４３へ補正する射影変換行列を計算する。
【数1】
【0038】
例えば、ステップＳ２５で推定された視線から特定される推定位置が、図４の推定領域４４における位置（ｘ，ｙ）であるとする。すると、数１の射影変換行列により、位置（ｘ，ｙ）が注視領域４３における位置（ｘ’，ｙ’）に補正される。その結果、注視位置は位置（ｘ’，ｙ’）となり、視線の方向は、対象者の目の位置から位置（ｘ’，ｙ’）の方向になる。
【0039】
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る視線推定装置１０は、事前に用意された射影変換行列により、推定された視線を補正する。これにより、推定された視線に含まれる誤差を小さくすることが可能である。
以上のように、実施の形態２に係る視線推定装置１０は、事前に用意された射影変換行列により、推定された視線を補正する。これにより、推定された視線に含まれる誤差を小さくすることが可能である。
【0040】
＊＊＊他の構成＊＊＊
＜変形例１＞
人間の目の形状は非対称である。そのため、見ている方向により誤差の大きさが異なり、歪み方も異なる。例えば、眼球を動かして上を見ようとすると、瞼が上がり、目が大きく見開かれる。一方、眼球を動かして下を見ようとすると、瞼が下がり、目がやや閉じられる。
＜変形例１＞
人間の目の形状は非対称である。そのため、見ている方向により誤差の大きさが異なり、歪み方も異なる。例えば、眼球を動かして上を見ようとすると、瞼が上がり、目が大きく見開かれる。一方、眼球を動かして下を見ようとすると、瞼が下がり、目がやや閉じられる。
【0041】
そこで、視線推定部２３は、視線の方向に応じて射影変換行列を複数用意しておく。具体的には、対象者の真正面の位置を基準として、視界に入る領域を複数の分割領域４５に分割し、分割領域４５毎に射影変換行列を用意しておく。例えば、図５に示すように、対象者の真正面の位置を基準として、（１）左上、（２）右上、（３）左下、（４）右下の４つの分割領域４５に分割し、４つの分割領域４５それぞれについて射影変換行列を用意しておく。
そして、視線推定部２３は、視線が入ると推定される分割領域４５に対応する射影変換行列により、推定された視線を補正する。例えば、視線が（２）右上の分割領域４５に入ると推定される場合には、視線推定部２３は、（２）右上の分割領域４５に対応する射影変換行列により視線を補正する。
そして、視線推定部２３は、視線が入ると推定される分割領域４５に対応する射影変換行列により、推定された視線を補正する。例えば、視線が（２）右上の分割領域４５に入ると推定される場合には、視線推定部２３は、（２）右上の分割領域４５に対応する射影変換行列により視線を補正する。
【0042】
ここで、視線が入ると推定される分割領域４５とは、その分割領域４５を注視領域４３とした場合の推定領域４４に推定された視線が入るという意味である。
つまり、視線推定部２３は、各分割領域４５を注視領域４３に設定する。視線推定部２３は、注視領域４３の四隅の各点等をキャリブレーション用の点に設定する。視線推定部２３は、キャリブレーション用の点を注視した場合における視線を推定する。これにより、各分割領域４５に対応する推定領域４４が特定される。そして、視線推定部２３は、ステップＳ２３で推定された視線が入る推定領域４４を特定することで、どの射影変換行列を補正に使用するかを決定する。
つまり、視線推定部２３は、各分割領域４５を注視領域４３に設定する。視線推定部２３は、注視領域４３の四隅の各点等をキャリブレーション用の点に設定する。視線推定部２３は、キャリブレーション用の点を注視した場合における視線を推定する。これにより、各分割領域４５に対応する推定領域４４が特定される。そして、視線推定部２３は、ステップＳ２３で推定された視線が入る推定領域４４を特定することで、どの射影変換行列を補正に使用するかを決定する。
【0043】
以上のように、視線の方向に応じた射影変換行列を用いて視線を補正することにより、誤差をより小さくすることが可能である。
【0044】
実施の形態３．
実施の形態３は、視線の先に存在する注視位置を推定する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、実施の形態１に機能を加えた場合について説明する。しかし、実施の形態２に機能を加えることも可能である。
実施の形態３は、視線の先に存在する注視位置を推定する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、実施の形態１に機能を加えた場合について説明する。しかし、実施の形態２に機能を加えることも可能である。
【0045】
＊＊＊構成の説明＊＊＊
図６を参照して、実施の形態３に係る視線推定装置１０の構成を説明する。
視線推定装置１０は、機能構成要素として、注視位置推定部２５を備える点が図１に示す視線推定装置１０と異なる。注視位置推定部２５の機能は他の機能構成要素と同様にソフトウェアによって実現される。
図６を参照して、実施の形態３に係る視線推定装置１０の構成を説明する。
視線推定装置１０は、機能構成要素として、注視位置推定部２５を備える点が図１に示す視線推定装置１０と異なる。注視位置推定部２５の機能は他の機能構成要素と同様にソフトウェアによって実現される。
【0046】
また、視線推定装置１０は、通信インタフェース１４を介して、１台以上の空間把握用のカメラ３２と接続されている点が図１に示す視線推定装置１０と異なる。カメラ３２は、ＲＧＢ－Ｄカメラと、ステレオカメラと等である。
ここで、カメラ３１は、対象者を撮影するためのカメラである。これに対して、カメラ３２は、対象者がいる空間を把握するためのカメラである。例えば、図７に示すように、カメラ３１は対象者を正面側から撮影するように設置される。一方、カメラ３２は、対象者がいる空間を撮影できるように、対象者の背面側等から撮影する、あるいは俯瞰的に撮影するように設置されている。
ここで、カメラ３１は、対象者を撮影するためのカメラである。これに対して、カメラ３２は、対象者がいる空間を把握するためのカメラである。例えば、図７に示すように、カメラ３１は対象者を正面側から撮影するように設置される。一方、カメラ３２は、対象者がいる空間を撮影できるように、対象者の背面側等から撮影する、あるいは俯瞰的に撮影するように設置されている。
【0047】
【0048】
（ステップＳ３５：注視位置推定処理）
注視位置推定部２５は、ステップＳ３４で特定された視線の先に存在する注視位置を推定する。
具体的には、注視位置推定部２５は、カメラ３２によって撮影された画像データから対象者がいる空間の３次元モデルを生成しておく。なお、対象者がいる空間の設計データ等の既知のデータから、対象者がいる空間の３次元モデルを生成しておいてもよい。図７に示すように、注視位置推定部２５は、ステップＳ３４で特定された視線を３次元モデル上に設定する。つまり、注視位置推定部２５は、３次元モデルに対して、視線が示す対象者の目の位置から、注視位置への方向を示すベクトルを設定する。注視位置推定部２５は、設定したベクトルを伸ばし、３次元モデルにおける物体との交点を注視位置として特定する。
なお、注視位置推定部２５は、３次元モデルと、各カメラ３１で撮影される画像データ４１との間で位置合わせをしておく必要がある。
注視位置推定部２５は、ステップＳ３４で特定された視線の先に存在する注視位置を推定する。
具体的には、注視位置推定部２５は、カメラ３２によって撮影された画像データから対象者がいる空間の３次元モデルを生成しておく。なお、対象者がいる空間の設計データ等の既知のデータから、対象者がいる空間の３次元モデルを生成しておいてもよい。図７に示すように、注視位置推定部２５は、ステップＳ３４で特定された視線を３次元モデル上に設定する。つまり、注視位置推定部２５は、３次元モデルに対して、視線が示す対象者の目の位置から、注視位置への方向を示すベクトルを設定する。注視位置推定部２５は、設定したベクトルを伸ばし、３次元モデルにおける物体との交点を注視位置として特定する。
なお、注視位置推定部２５は、３次元モデルと、各カメラ３１で撮影される画像データ４１との間で位置合わせをしておく必要がある。
【0049】
＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る視線推定装置１０は、３次元モデルに視線を設定することで、注視位置を推定可能である。
対象者が広範囲を移動するような場合には、カメラ３１から見た対象者の位置関係が変化する。すると、対象者と注視対象となる物との位置関係が変化する。そのため、単純に視線を特定しただけでは、注視している位置を特定することが難しい。しかし、実施の形態３に係る視線推定装置１０は、対象者がいる空間の３次元モデルを用いることにより、対象者が広範囲を移動するような場合にも注視位置を推定することが可能である。
以上のように、実施の形態３に係る視線推定装置１０は、３次元モデルに視線を設定することで、注視位置を推定可能である。
対象者が広範囲を移動するような場合には、カメラ３１から見た対象者の位置関係が変化する。すると、対象者と注視対象となる物との位置関係が変化する。そのため、単純に視線を特定しただけでは、注視している位置を特定することが難しい。しかし、実施の形態３に係る視線推定装置１０は、対象者がいる空間の３次元モデルを用いることにより、対象者が広範囲を移動するような場合にも注視位置を推定することが可能である。
【0050】
実施の形態４．
実施の形態４は、対象者の顔に装着された眼鏡又はマスクのような遮蔽物を除去した上で視線を推定する点が実施の形態１～３と異なる。実施の形態４では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態４では、実施の形態１に機能を加えた場合について説明する。しかし、実施の形態２，３に機能を加えることも可能である。
実施の形態４は、対象者の顔に装着された眼鏡又はマスクのような遮蔽物を除去した上で視線を推定する点が実施の形態１～３と異なる。実施の形態４では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態４では、実施の形態１に機能を加えた場合について説明する。しかし、実施の形態２，３に機能を加えることも可能である。
【0051】
＊＊＊構成の説明＊＊＊
図９を参照して、実施の形態４に係る視線推定装置１０の構成を説明する。
視線推定装置１０は、機能構成要素として、画像生成部２６を備える点が図１に示す視線推定装置１０と異なる。画像生成部２６の機能は他の機能構成要素と同様にソフトウェアによって実現される。
図９を参照して、実施の形態４に係る視線推定装置１０の構成を説明する。
視線推定装置１０は、機能構成要素として、画像生成部２６を備える点が図１に示す視線推定装置１０と異なる。画像生成部２６の機能は他の機能構成要素と同様にソフトウェアによって実現される。
【0052】
＊＊＊動作の説明＊＊＊
図１０を参照して、実施の形態４視線推定装置１０の動作を説明する。
ステップＳ４１からステップＳ４２の処理は、図２のステップＳ１１からステップＳ１２の処理と同じである。また、ステップＳ４６の処理は、図２のステップＳ１４の処理と同じである。
図１０を参照して、実施の形態４視線推定装置１０の動作を説明する。
ステップＳ４１からステップＳ４２の処理は、図２のステップＳ１１からステップＳ１２の処理と同じである。また、ステップＳ４６の処理は、図２のステップＳ１４の処理と同じである。
【0053】
（ステップＳ４３：遮蔽物判定処理）
画像生成部２６は、ステップＳ４２で検出された対象者の顔に遮蔽物が装着されているか否かを判定する。遮蔽物は、対象者の顔を遮蔽する物である。具体例としては、遮蔽物は、眼鏡又はマスク等である。
遮蔽物が装着されているか否かの判定方法は、既存技術を用いて実現可能である。具体例としては、画像生成部２６は、教師あり学習等の機械学習によって生成された遮蔽物の有無判定モデルに対して、画像データ４１及び顔特徴点の三次元座標を入力することにより、対象者の顔に遮蔽物が装着されているかを判定することが考えられる。
画像生成部２６は、遮蔽物が装着されている場合には、処理をステップＳ４４に進める。一方、画像生成部２６は、遮蔽物が装着されていない場合には、ステップＳ４４をスキップして、処理をステップＳ４５に進める。
画像生成部２６は、ステップＳ４２で検出された対象者の顔に遮蔽物が装着されているか否かを判定する。遮蔽物は、対象者の顔を遮蔽する物である。具体例としては、遮蔽物は、眼鏡又はマスク等である。
遮蔽物が装着されているか否かの判定方法は、既存技術を用いて実現可能である。具体例としては、画像生成部２６は、教師あり学習等の機械学習によって生成された遮蔽物の有無判定モデルに対して、画像データ４１及び顔特徴点の三次元座標を入力することにより、対象者の顔に遮蔽物が装着されているかを判定することが考えられる。
画像生成部２６は、遮蔽物が装着されている場合には、処理をステップＳ４４に進める。一方、画像生成部２６は、遮蔽物が装着されていない場合には、ステップＳ４４をスキップして、処理をステップＳ４５に進める。
【0054】
ここで、眼鏡が装着されている場合には、レンズによる反射又は歪み等により、視線推定の精度が低くなってしまう恐れがある。また、マスクが装着されている場合には、視線推定に必要な顔の特徴検出が適切に行われず、視線推定も適切に行われなくなってしまう恐れがある。
【0055】
（ステップＳ４４：画像生成処理）
画像生成部２６は、ステップＳ４３で遮蔽物が装着されていると判定された画像データ４１である装着画像から、遮蔽物を除去した非装着画像４２を生成する。
具体的には、画像生成部２６は、敵対的生成ネットワーク（ＧＡＮ）を用いて、装着画像から非装着画像４２を生成する。ＧＡＮは、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓの略である。敵対的生成ネットワークは、生成モデルの一種である。敵対的生成ネットワークは、データから特徴を学習することにより、入力されたデータの特徴に沿って、実在しないデータを生成することができる生成モデルである。ここでは、画像生成部２６は、顔に装着された遮蔽物を除去した非装着画像４２を生成する敵対的生成ネットワークである遮蔽物除去モデルを用いる。つまり、画像生成部２６は、装着画像を遮蔽物除去モデルに入力として与え、遮蔽物を除去した非装着画像４２を生成する。
画像生成部２６は、ステップＳ４３で遮蔽物が装着されていると判定された画像データ４１である装着画像から、遮蔽物を除去した非装着画像４２を生成する。
具体的には、画像生成部２６は、敵対的生成ネットワーク（ＧＡＮ）を用いて、装着画像から非装着画像４２を生成する。ＧＡＮは、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓの略である。敵対的生成ネットワークは、生成モデルの一種である。敵対的生成ネットワークは、データから特徴を学習することにより、入力されたデータの特徴に沿って、実在しないデータを生成することができる生成モデルである。ここでは、画像生成部２６は、顔に装着された遮蔽物を除去した非装着画像４２を生成する敵対的生成ネットワークである遮蔽物除去モデルを用いる。つまり、画像生成部２６は、装着画像を遮蔽物除去モデルに入力として与え、遮蔽物を除去した非装着画像４２を生成する。
【0056】
（ステップＳ４５：視線推定処理）
図２のステップＳ１３と同様に、視線推定部２３は、対象者の視線を推定する。
この際、視線推定部２３は、ステップＳ４３で遮蔽物が装着されていないと判定された場合には、画像データ４１から視線を推定する。一方、視線推定部２３は、ステップＳ４３で遮蔽物が装着されていると判定された場合には、非装着画像４２から視線を推定する。
図２のステップＳ１３と同様に、視線推定部２３は、対象者の視線を推定する。
この際、視線推定部２３は、ステップＳ４３で遮蔽物が装着されていないと判定された場合には、画像データ４１から視線を推定する。一方、視線推定部２３は、ステップＳ４３で遮蔽物が装着されていると判定された場合には、非装着画像４２から視線を推定する。
【0057】
図１１を参照して、実施の形態４に係る遮蔽物除去モデルの生成処理を説明する。
遮蔽物除去モデルの生成処理は、図１０の処理の実行前に実行される。そのため、遮蔽物除去モデルは、図１０の処理の実行前に生成されている。
遮蔽物除去モデルの生成処理は、図１０の処理の実行前に実行される。そのため、遮蔽物除去モデルは、図１０の処理の実行前に生成されている。
【0058】
（ステップＳ５１：遮蔽物画像生成処理）
画像生成部２６は、遮蔽物の３次元モデルを回転させて、顔の向き毎の遮蔽物の画像である遮蔽物画像を生成する。画像生成部２６は、眼鏡とマスクといった遮蔽物の種類毎に３次元モデルを用意しておく。また、画像生成部２６は、同一の種類の遮蔽物について、形状毎に複数の３次元モデルを用意しておいてもよい。画像生成部２６は、各３次元モデルについて、顔の向き毎の遮蔽物画像を生成する。
画像生成部２６は、遮蔽物の３次元モデルを回転させて、顔の向き毎の遮蔽物の画像である遮蔽物画像を生成する。画像生成部２６は、眼鏡とマスクといった遮蔽物の種類毎に３次元モデルを用意しておく。また、画像生成部２６は、同一の種類の遮蔽物について、形状毎に複数の３次元モデルを用意しておいてもよい。画像生成部２６は、各３次元モデルについて、顔の向き毎の遮蔽物画像を生成する。
【0059】
（ステップＳ５２：顔向き推定処理）
画像生成部２６は、遮蔽物が装着されていない複数の顔画像それぞれを処理対象に設定する。画像生成部２６は、処理対象の顔画像における顔の向きを推定する。顔の向きの推定は、既存技術で実現可能である。
画像生成部２６は、遮蔽物が装着されていない複数の顔画像それぞれを処理対象に設定する。画像生成部２６は、処理対象の顔画像における顔の向きを推定する。顔の向きの推定は、既存技術で実現可能である。
【0060】
（ステップＳ５３：装着画像生成処理）
画像生成部２６は、各顔画像及び各３次元モデルを処理対象に設定する。画像生成部２６は、処理対象の顔画像についてステップＳ５２で推定された顔の向きに対応する、ステップＳ５１で処理対象の３次元モデルから生成された遮蔽物画像を特定する。画像生成部２６は、処理対象の顔画像に、特定された遮蔽物画像を重畳して装着学習画像を生成する。この際、画像生成部２６は、遮蔽物の種類に応じた位置に遮蔽物画像を重畳する。
なお、遮蔽物の種類が眼鏡の場合には、レンズによる反射又は歪みが発生することがある。そこで、画像生成部２６は、発生し得る反射及び歪みを処理対象の顔画像に反映させてもよい。反射及び歪みが反映されるのは、顔画像のうちレンズによる影響がある部分だけである。そして、画像生成部２６は、反射及び歪みを反映させた顔画像に遮蔽物画像を重畳した装着学習画像も生成する。
画像生成部２６は、各顔画像及び各３次元モデルを処理対象に設定する。画像生成部２６は、処理対象の顔画像についてステップＳ５２で推定された顔の向きに対応する、ステップＳ５１で処理対象の３次元モデルから生成された遮蔽物画像を特定する。画像生成部２６は、処理対象の顔画像に、特定された遮蔽物画像を重畳して装着学習画像を生成する。この際、画像生成部２６は、遮蔽物の種類に応じた位置に遮蔽物画像を重畳する。
なお、遮蔽物の種類が眼鏡の場合には、レンズによる反射又は歪みが発生することがある。そこで、画像生成部２６は、発生し得る反射及び歪みを処理対象の顔画像に反映させてもよい。反射及び歪みが反映されるのは、顔画像のうちレンズによる影響がある部分だけである。そして、画像生成部２６は、反射及び歪みを反映させた顔画像に遮蔽物画像を重畳した装着学習画像も生成する。
【0061】
（ステップＳ５４：学習処理）
画像生成部２６は、各顔画像を処理対象に設定する。画像生成部２６は、処理対象の顔画像である非装着学習画像と、処理対象の顔画像から生成された各装着学習画像との組を学習データに設定する。画像生成部２６は、学習データにより学習させ、遮蔽物除去モデルを生成する。
画像生成部２６は、各顔画像を処理対象に設定する。画像生成部２６は、処理対象の顔画像である非装着学習画像と、処理対象の顔画像から生成された各装着学習画像との組を学習データに設定する。画像生成部２６は、学習データにより学習させ、遮蔽物除去モデルを生成する。
【0062】
＊＊＊実施の形態４の効果＊＊＊
以上のように、実施の形態４に係る視線推定装置１０は、遮蔽物が装着されている場合に、遮蔽物を除去した非装着画像を生成し、非装着画像から視線を推定する。これにより、対象者が遮蔽物を装着している場合であっても、適切に視線を推定可能である。
以上のように、実施の形態４に係る視線推定装置１０は、遮蔽物が装着されている場合に、遮蔽物を除去した非装着画像を生成し、非装着画像から視線を推定する。これにより、対象者が遮蔽物を装着している場合であっても、適切に視線を推定可能である。
【0063】
＊＊＊他の構成＊＊＊
＜変形例２＞
実施の形態２～４では、実施の形態１と同様に、複数のカメラ３１で撮影された画像データ４１から推定された視線を統合した。しかし、実施の形態２～４では、カメラ３１は１台でもよい。そして、１台のカメラ３１で撮影された画像データ４１から視線を推定する構成としてもよい。この場合には、視線統合部２４の機能は不要となる。
＜変形例２＞
実施の形態２～４では、実施の形態１と同様に、複数のカメラ３１で撮影された画像データ４１から推定された視線を統合した。しかし、実施の形態２～４では、カメラ３１は１台でもよい。そして、１台のカメラ３１で撮影された画像データ４１から視線を推定する構成としてもよい。この場合には、視線統合部２４の機能は不要となる。
【0064】
＜変形例３＞
実施の形態１～４では、プロセッサ１１は１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
例えば、図１２に示すように、視線推定装置１０は、カメラ３１毎にプロセッサ１１を備え、カメラ３１毎に対応するプロセッサ１１によって視線の推定を行ってもよい。そして、視線推定装置１０は、カメラ３１毎に備えるプロセッサ１１とは別のプロセッサ１１により、推定された視線の統合等の各カメラ３１に共通の処理を行ってもよい。つまり、実施の形態１～４で説明した機能構成要素のうち、撮影部２１と顔検出部２２と視線推定部２３と画像生成部２６とが、カメラ３１毎に備えるプロセッサ１１によって実現される。残りの視線統合部２４と注視位置推定部２５とがカメラ３１毎に備えるプロセッサ１１とは別のプロセッサ１１によって実現される。
なお、図１２では、メモリ１２とストレージ１３と通信インタフェース１４とは省略されている。
実施の形態１～４では、プロセッサ１１は１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
例えば、図１２に示すように、視線推定装置１０は、カメラ３１毎にプロセッサ１１を備え、カメラ３１毎に対応するプロセッサ１１によって視線の推定を行ってもよい。そして、視線推定装置１０は、カメラ３１毎に備えるプロセッサ１１とは別のプロセッサ１１により、推定された視線の統合等の各カメラ３１に共通の処理を行ってもよい。つまり、実施の形態１～４で説明した機能構成要素のうち、撮影部２１と顔検出部２２と視線推定部２３と画像生成部２６とが、カメラ３１毎に備えるプロセッサ１１によって実現される。残りの視線統合部２４と注視位置推定部２５とがカメラ３１毎に備えるプロセッサ１１とは別のプロセッサ１１によって実現される。
なお、図１２では、メモリ１２とストレージ１３と通信インタフェース１４とは省略されている。
【0065】
＜変形例４＞
実施の形態１～４では、各機能構成要素がソフトウェアで実現された。しかし、変形例４として、各機能構成要素はハードウェアで実現されてもよい。この変形例４について、実施の形態１～４と異なる点を説明する。
実施の形態１～４では、各機能構成要素がソフトウェアで実現された。しかし、変形例４として、各機能構成要素はハードウェアで実現されてもよい。この変形例４について、実施の形態１～４と異なる点を説明する。
【0066】
各機能構成要素がハードウェアで実現される場合には、視線推定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
【0067】
電子回路としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
【0068】
＜変形例５＞
変形例５として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
変形例５として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0069】
プロセッサ１１とメモリ１２とストレージ１３と電子回路とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0070】
また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0071】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0072】
１０ 視線推定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 撮影部、２２ 顔検出部、２３ 視線推定部、２４ 視線統合部、２５ 注視位置推定部、２６ 画像生成部、３１ カメラ、３２ カメラ、４１ 画像データ、４２ 非装着画像、４３ 注視領域、４４ 推定領域、４５ 分割領域。
【要約】
視線推定部（２３）は、複数のカメラ（３１）それぞれを対象のカメラ（３１）に設定する。視線推定部（２３）は、対象のカメラ（３１）によって撮影された画像データ（４１）から対象者の視線を推定する。視線統合部（２４）は、視線推定部（２３）によって複数のカメラ（３１）それぞれを対象のカメラ（３１）として推定された視線を、対象のカメラ（３１）によって撮影された画像データ（４１）における対象者の写り具合に応じて統合して、対象者の視線を特定する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】