ホーム > 特許ランキング > 国立大学法人 東京大学
特開2024-162431学習モデル生成プログラム、情報処理装置及び学習モデル生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162431
(43)【公開日】2024-11-21
(54)【発明の名称】学習モデル生成プログラム、情報処理装置及び学習モデル生成方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241114BHJP
G06T 7/70 20170101ALI20241114BHJP
【ＦＩ】
G06T7/00 350B
G06T7/70 B
G06T7/00 660A
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023077924
(22)【出願日】2023-05-10
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）令和４年７月２０日に第２５回 画像の認識・理解シンポジウム（ＭＩＲＵ２０２２）の予稿集にて発表。 （２）令和４年７月２７日に第２５回 画像の認識・理解シンポジウム（ＭＩＲＵ２０２２）にて発表。 （３）令和４年１０月２１日にパターン認識・メディア理解研究会（ＰＲＭＵ）にて発表。
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110003421
【氏名又は名称】弁理士法人フィールズ国際特許事務所
(72)【発明者】
【氏名】菅野 裕介
(72)【発明者】
【氏名】久留 陽一郎
(72)【発明者】
【氏名】呉 天一
(72)【発明者】
【氏名】秦 嘉偉
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096CA02
5L096DA02
5L096EA16
5L096EA26
5L096FA26
5L096FA32
5L096FA62
5L096FA67
5L096FA69
5L096KA04
(57)【要約】
【課題】視線推定に用いる学習モデルの汎化性能を向上させることを可能とする学習モデル生成プログラム、情報処理装置及び学習モデル生成方法を提供する。
【解決手段】第１カメラによって人物の頭部を撮影した第１対象画像データと、第２カメラによって人物の頭部を撮影した第１参照画像データとから、第１カメラについて正規化処理が行われた第１仮想カメラと第２カメラについて正規化処理が行われた第２仮想カメラとの間における相対的な回転角度に対応する第１回転行列を特定し、第１対象画像データと、第１参照画像データと、第１回転行列と、人物の視線方向を示す第１視線情報とを含む教師データを生成し、生成した教師データを学習することによって学習モデルを生成する。
【選択図】図５
【解決手段】第１カメラによって人物の頭部を撮影した第１対象画像データと、第２カメラによって人物の頭部を撮影した第１参照画像データとから、第１カメラについて正規化処理が行われた第１仮想カメラと第２カメラについて正規化処理が行われた第２仮想カメラとの間における相対的な回転角度に対応する第１回転行列を特定し、第１対象画像データと、第１参照画像データと、第１回転行列と、人物の視線方向を示す第１視線情報とを含む教師データを生成し、生成した教師データを学習することによって学習モデルを生成する。
【選択図】図５
【特許請求の範囲】
【請求項1】
第１カメラによって人物の頭部を撮影した第１対象画像データと、第２カメラによって前記頭部を撮影した第１参照画像データとから、前記第１カメラについて正規化処理が行われた第１仮想カメラと前記第２カメラについて正規化処理が行われた第２仮想カメラとの間における相対的な回転角度に対応する第１回転行列を特定し、
前記第１対象画像データと、前記第１参照画像データと、前記第１回転行列と、前記人物の視線方向を示す第１視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする学習モデル生成プログラム。
前記第１対象画像データと、前記第１参照画像データと、前記第１回転行列と、前記人物の視線方向を示す第１視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータに実行させることを特徴とする学習モデル生成プログラム。
【請求項2】
請求項１において、
第３カメラによって前記頭部を撮影した第２対象画像データと、第４カメラによって前記頭部を撮影した第２参照画像データとから、前記第３カメラについて正規化処理が行われた第３仮想カメラと前記第４カメラについて正規化処理が行われた第４仮想カメラとの間における相対的な回転角度に対応する第２回転行列とを算出し、
前記第２対象画像データと、前記第２参照画像データと、前記第２回転行列とを前記学習モデルに入力し、
前記学習モデルから出力された第２視線情報を取得し、
取得した前記第２視線情報を出力する、
ことを特徴とする学習モデル生成プログラム。
第３カメラによって前記頭部を撮影した第２対象画像データと、第４カメラによって前記頭部を撮影した第２参照画像データとから、前記第３カメラについて正規化処理が行われた第３仮想カメラと前記第４カメラについて正規化処理が行われた第４仮想カメラとの間における相対的な回転角度に対応する第２回転行列とを算出し、
前記第２対象画像データと、前記第２参照画像データと、前記第２回転行列とを前記学習モデルに入力し、
前記学習モデルから出力された第２視線情報を取得し、
取得した前記第２視線情報を出力する、
ことを特徴とする学習モデル生成プログラム。
【請求項3】
請求項２において、
前記学習モデルは、第１対象モジュールと、第２対象モジュールと、第３対象モジュールと、第４対象モジュールと、第１参照モジュールと、第２参照モジュールと、第３参照モジュールと、第４参照モジュールと、を有し、
前記第１対象モジュールは、前記第２対象画像データに映る前記頭部に対応する第１対象特徴量を抽出し、
前記第１参照モジュールは、前記第２参照画像データに映る前記頭部に対応する第１参照特徴量を抽出し、
前記第２対象モジュールは、前記第１対象モジュールによって抽出された前記第１対象特徴量から、前記第３参照モジュールにおいて用いられる回転可能な第２対象特徴量を抽出し、
前記第２参照モジュールは、前記第１参照モジュールによって抽出された前記第１参照特徴量から、前記第３対象モジュールにおいて用いられる回転可能な第２参照特徴量を抽出し、
前記第３対象モジュールは、前記第１対象特徴量と、前記第１回転行列と、前記第２参照モジュールによって抽出された前記第２参照特徴量とを用いて、前記第２対象特徴量を更新し、
前記第３参照モジュールは、前記第１参照特徴量と、前記第１回転行列と、前記第２対象モジュールによって抽出された前記第２対象特徴量とを用いて、前記第２参照特徴量を更新し、前記第４対象モジュールは、前記第１対象特徴量と、前記第３対象モジュールによって更新された前記第２対象特徴量とを用いて、前記第２対象画像データに映る前記人物の視線方向を示す対象視線情報を推定し、
前記第４参照モジュールは、前記第２参照特徴量と、前記第３参照モジュールによって更新された前記第２参照特徴量とを用いて、前記第２参照画像データに映る前記人物の視線方向を示す参照視線情報を推定する、
ことを特徴とする学習モデル生成プログラム。
前記学習モデルは、第１対象モジュールと、第２対象モジュールと、第３対象モジュールと、第４対象モジュールと、第１参照モジュールと、第２参照モジュールと、第３参照モジュールと、第４参照モジュールと、を有し、
前記第１対象モジュールは、前記第２対象画像データに映る前記頭部に対応する第１対象特徴量を抽出し、
前記第１参照モジュールは、前記第２参照画像データに映る前記頭部に対応する第１参照特徴量を抽出し、
前記第２対象モジュールは、前記第１対象モジュールによって抽出された前記第１対象特徴量から、前記第３参照モジュールにおいて用いられる回転可能な第２対象特徴量を抽出し、
前記第２参照モジュールは、前記第１参照モジュールによって抽出された前記第１参照特徴量から、前記第３対象モジュールにおいて用いられる回転可能な第２参照特徴量を抽出し、
前記第３対象モジュールは、前記第１対象特徴量と、前記第１回転行列と、前記第２参照モジュールによって抽出された前記第２参照特徴量とを用いて、前記第２対象特徴量を更新し、
前記第３参照モジュールは、前記第１参照特徴量と、前記第１回転行列と、前記第２対象モジュールによって抽出された前記第２対象特徴量とを用いて、前記第２参照特徴量を更新し、前記第４対象モジュールは、前記第１対象特徴量と、前記第３対象モジュールによって更新された前記第２対象特徴量とを用いて、前記第２対象画像データに映る前記人物の視線方向を示す対象視線情報を推定し、
前記第４参照モジュールは、前記第２参照特徴量と、前記第３参照モジュールによって更新された前記第２参照特徴量とを用いて、前記第２参照画像データに映る前記人物の視線方向を示す参照視線情報を推定する、
ことを特徴とする学習モデル生成プログラム。
【請求項4】
請求項３において、
前記取得する処理では、前記第４対象モジュールによって推定された前記対象視線情報を前記第２視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
前記取得する処理では、前記第４対象モジュールによって推定された前記対象視線情報を前記第２視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
【請求項5】
請求項３において、
前記学習モデルは、
前記第１対象特徴量と、前記第１回転行列と、前記第３参照モジュールによって抽出された前記第２参照特徴量とを用いて、前記第２対象特徴量をさらに更新する第５対象モジュールと、
前記第１参照特徴量と、前記第１回転行列と、前記第３対象モジュールによって抽出された前記第２対象特徴量とを用いて、前記第２参照特徴量をさらに更新する第５参照モジュールと、
前記第１対象特徴量と、前記第５対象モジュールによって更新された前記第２対象特徴量とを用いて、前記対象視線情報を更新する第６対象モジュールと、
前記第１参照特徴量と、前記第５参照モジュールによって更新された前記第２参照特徴量とを用いて、前記参照視線情報を推定する第６参照モジュールと、を有する、
ことを特徴とする学習モデル生成プログラム。
前記学習モデルは、
前記第１対象特徴量と、前記第１回転行列と、前記第３参照モジュールによって抽出された前記第２参照特徴量とを用いて、前記第２対象特徴量をさらに更新する第５対象モジュールと、
前記第１参照特徴量と、前記第１回転行列と、前記第３対象モジュールによって抽出された前記第２対象特徴量とを用いて、前記第２参照特徴量をさらに更新する第５参照モジュールと、
前記第１対象特徴量と、前記第５対象モジュールによって更新された前記第２対象特徴量とを用いて、前記対象視線情報を更新する第６対象モジュールと、
前記第１参照特徴量と、前記第５参照モジュールによって更新された前記第２参照特徴量とを用いて、前記参照視線情報を推定する第６参照モジュールと、を有する、
ことを特徴とする学習モデル生成プログラム。
【請求項6】
請求項５において、
前記取得する処理では、前記第６対象モジュールによって更新された前記対象視線情報を前記第２視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
前記取得する処理では、前記第６対象モジュールによって更新された前記対象視線情報を前記第２視線情報として取得する、
ことを特徴とする学習モデル生成プログラム。
【請求項7】
第１カメラによって人物の頭部を撮影した第１対象画像データと、第２カメラによって前記頭部を撮影した第１参照画像データとから、前記第１カメラについて正規化処理が行われた第１仮想カメラと前記第２カメラについて正規化処理が行われた第２仮想カメラとの間における相対的な回転角度に対応する第１回転行列を特定する行列特定部と、
前記第１対象画像データと、前記第１参照画像データと、前記第１回転行列と、前記人物の視線方向を示す第１視線情報とを含む教師データを生成するデータ生成部と、
生成した前記教師データを学習することによって学習モデルを生成するモデル生成部と、を有する、
ことを特徴とする情報処理装置。
前記第１対象画像データと、前記第１参照画像データと、前記第１回転行列と、前記人物の視線方向を示す第１視線情報とを含む教師データを生成するデータ生成部と、
生成した前記教師データを学習することによって学習モデルを生成するモデル生成部と、を有する、
ことを特徴とする情報処理装置。
【請求項8】
第１カメラによって人物の頭部を撮影した第１対象画像データと、第２カメラによって前記頭部を撮影した第１参照画像データとから、前記第１カメラについて正規化処理が行われた第１仮想カメラと前記第２カメラについて正規化処理が行われた第２仮想カメラとの間における相対的な回転角度に対応する第１回転行列を特定し、
前記第１対象画像データと、前記第１参照画像データと、前記第１回転行列と、前記人物の視線方向を示す第１視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータが実行することを特徴とする学習モデル生成方法。
前記第１対象画像データと、前記第１参照画像データと、前記第１回転行列と、前記人物の視線方向を示す第１視線情報とを含む教師データを生成し、
生成した前記教師データを学習することによって学習モデルを生成する、
処理をコンピュータが実行することを特徴とする学習モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデル生成プログラム、情報処理装置及び学習モデル生成方法に関する。
【背景技術】
【0002】
例えば、対象者（人物）の頭部が映る画像データを用いることによって、対象者の視線方向を推定する技術（以下、単に視線推定技術とも呼ぶ）がある。このような技術では、例えば、対象者の目が映る画像データを学習済の学習モデル（以下、単に学習モデルとも呼ぶ）に入力することによって、対象者の視線方向の推定を行う（特許文献１、特許文献２及び非特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１８７５４６号公報
【特許文献2】特開２０２２－１８７５４７号公報
【非特許文献】
【0004】
【非特許文献1】X. Zhang, Y. Sugano, and A. Bulling, “Revisiting data normalization for appearance-based gaze estimation,” in ETRA, 2018.
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記のような学習モデルは、例えば、画像データに映る対象者の頭部の向きによって、対象者の視線方向を精度良く推定することができない場合がある。具体的に、例えば、画像データに映る対象者の頭部の向きが学習時において学習されていない向きである場合、学習モデルは、対象者の視線方向を精度良く推定することができない場合がある。すなわち、上記のような視線推定技術では、例えば、汎化性能の高い学習モデルを生成することができない場合がある。
【0006】
この点、例えば、様々な配置位置の複数のカメラ（撮影装置）によって撮影された複数の画像データを用いて学習モデルの生成を行うことにより、学習モデルの汎化性能を向上させることが可能になる。
【0007】
しかしながら、この場合、例えば、カメラの組合せごとに教師データを生成する必要が生じ、学習モデルの生成に要する作業負担が増大する。そのため、上記のような視線推定技術では、例えば、学習モデルの生成に要する作業負担を抑制しつつ、学習モデルの汎化性能を向上させることが可能な方法が望まれている。
【0008】
そこで、本発明の目的は、視線推定に用いる学習モデルの汎化性能を向上させることを可能とする学習モデル生成プログラム、情報処理装置及び学習モデル生成方法を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明における学習モデル生成プログラムは、第１カメラによって人物の頭部を撮影した第１対象画像データと、第２カメラによって前記頭部を撮影した第１参照画像データとから、前記第１カメラについて正規化処理が行われた第１仮想カメラと前記第２カメラについて正規化処理が行われた第２仮想カメラとの間における相対的な回転角度に対応する第１回転行列を特定し、前記第１対象画像データと、前記第１参照画像データと、前記第１回転行列と、前記人物の視線方向を示す第１視線情報とを含む教師データを生成し、生成した前記教師データを学習することによって学習モデルを生成する、処理をコンピュータに実行させる。
【発明の効果】
【0010】
本発明における学習モデル生成プログラム、情報処理装置及び学習モデル生成方法によれば、視線推定に用いる学習モデルの汎化性能を向上させることが可能になる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、図面を参照して本開示の実施の形態について説明を行う。しかしながら、かかる説明は限定的な意味に解釈されるべきではなく、特許請求の範囲に記載の主題を限定するものではない。また、本開示の趣旨及び範囲から逸脱することがなく様々な変更や置換や改変をすることが可能である。また、異なる実施の形態を適宜組み合わせることが可能である。
【0013】
［第１の実施の形態における情報処理システム１０の構成例］
初めに、第１の実施の形態における情報処理システム１０の構成例について説明を行う。図１は、第１の実施の形態における情報処理システム１０の構成例を示す図である。
初めに、第１の実施の形態における情報処理システム１０の構成例について説明を行う。図１は、第１の実施の形態における情報処理システム１０の構成例を示す図である。
【0014】
情報処理システム１０は、例えば、情報処理装置１と、操作端末２と、記憶部１３０とを有する。なお、記憶部１３０は、情報処理装置１の外部に配置される記憶部であってもよいし、情報処理装置１内に搭載される記憶部であってもよい。
【0015】
操作端末２は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォン等のモバイル端末であり、情報処理装置１の作業者（以下、単に作業者とも呼ぶ）が必要な情報の入力等を行う端末である。
【0016】
情報処理装置１は、例えば、物理マシンや仮想マシンであり、対象者の視線方向を推定する学習モデルを生成する処理（以下、単に学習処理とも呼ぶ）と、学習モデルを用いることによって対象者の視線方向を推定する処理（以下、推定処理とも呼ぶ）とを行う。
【0017】
具体的に、情報処理装置１は、学習処理において、例えば、予め記憶部１３０に記憶された教師データ（複数の教師データ）の機械学習を行うことによって学習モデルを生成し、生成された学習モデルを記憶部１３０に記憶する。また、情報処理装置１は、推定処理において、例えば、学習処理において生成された学習モデルを用いることによって対象者の視線方向を推定する。
【0018】
以下、情報処理システム１０が１台の情報処理装置１を有する場合について説明を行うが、情報処理システム１０は、例えば、複数台の情報処理装置１を有するものであってもよい。また、以下、情報処理システム１０が１台の操作端末２を有する場合について説明を行うが、情報処理システム１０は、例えば、複数台の操作端末２を有するものであってもよい。
【0019】
さらに、情報処理装置１と操作端末２とは、例えば、単一の装置であってもよい。具体的に、情報処理システム１０は、例えば、作業者が情報を直接入力可能なＰＣやモバイル端末を情報処理装置１として用いる場合、操作端末２を有しないものであってよい。
【0020】
［第１の実施の形態における情報処理装置１の構成例］
次に、情報処理装置１の構成例について説明を行う。図２は、第１の実施の形態における情報処理装置１の構成例を示す図である。
次に、情報処理装置１の構成例について説明を行う。図２は、第１の実施の形態における情報処理装置１の構成例を示す図である。
【0021】
情報処理装置１は、図２に示すように、例えば、プロセッサであるＣＰＵ１０１と、メモリ１０２と、通信インタフェース１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。
【0022】
記憶媒体１０４は、例えば、学習処理及び推定処理（以下、これらを総称して学習処理等とも呼ぶ）を行うためのプログラム１１０を記憶するプログラム格納領域（図示せず）を有する。
【0023】
また、記憶媒体１０４は、例えば、学習処理等を行う際に用いられる情報を記憶する記憶部１３０（以下、情報格納領域１３０とも呼ぶ）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。
【0024】
ＣＰＵ１０１は、例えば、記憶媒体１０４からメモリ１０２にロードされたプログラム１１０を実行して学習処理等を行う。
【0025】
また、通信インタフェース１０３は、例えば、操作端末２と通信を行う。
【0026】
【0027】
情報処理装置１は、図３に示すように、例えば、画像取得部１１１と、情報取得部１１２と、行列特定部１１３と、データ生成部１１４、モデル生成部１１５と、データ推定部１１６と、データ出力部１１７とを含む各機能を実現する。
【0028】
具体的に、画像取得部１１１、情報取得部１１２、行列特定部１１３、データ生成部１１４、モデル生成部１１５及び第２モデル生成部１１５のそれぞれは、例えば、学習処理を実現する機能である。また、画像取得部１１１、行列特定部１１３、データ推定部１１６及びデータ出力部１１７のそれぞれは、例えば、推定処理を実現する機能である。
【0029】
なお、以下、学習処理及び推定処理が情報処理装置１において実行される場合について説明を行うが、これに限られない。具体的に、学習処理及び推定処理のうちのいずれかは、例えば、情報処理装置１と異なる他の情報処理装置（図示せず）において実行されるものであってもよい。また、情報処理システム１０が複数の情報処理装置１を有する場合、学習処理及び推定処理のそれぞれを実行する各機能は、例えば、複数の情報処理装置１のうちのいずれか、または、複数の情報処理装置１のそれぞれに分散された状態で実行されるものであってもよい。
【0030】
初めに、学習処理における機能について説明を行う。
【0031】
カメラＣＡ１（以下、第１カメラＣＡ１とも呼ぶ）は、図４に示すように、例えば、対象者ＯＢの頭部を撮影可能な位置から対象者ＯＢの頭部を撮影することによって、対象者ＯＢの頭部が映る画像データＤＴ１（以下、第１対象画像データＤＴ１とも呼ぶ）を取得する。
【0032】
カメラＣＡ２（以下、第２カメラＣＡ２とも呼ぶ）は、例えば、対象者ＯＢの頭部を撮影可能な位置（カメラＣＡ１の設置位置と異なる位置）から対象者ＯＢの頭部を撮影することによって、対象者ＯＢの頭部が映る画像データＤＴ２（以下、第１参照画像データＤＴ２とも呼ぶ）を取得する。なお、カメラＣＡ２は、例えば、カメラＣＡ１が画像データＤＴ１を撮影したタイミングと同じタイミングにおいて画像データＤＴ２を撮影する。
【0033】
画像取得部１１１は、例えば、カメラＣＡ１が撮影した画像データＤＴ１をカメラＣＡ１から取得する。そして、画像取得部１１１は、図４に示すように、例えば、取得した画像データＤＴ１を情報格納領域１３０に記憶する。
【0034】
また、画像取得部１１１は、例えば、カメラＣＡ２が撮影した画像データＤＴ２をカメラＣＡ２から取得する。そして、画像取得部１１１は、例えば、取得した画像データＤＴ２を情報格納領域１３０に記憶する。
【0035】
なお、画像データＤＴ１は、例えば、作業者がカメラＣＡ１から取得して情報格納領域１３０に記憶するものであってもよい。また、画像データＤＴ２は、例えば、作業者がカメラＣＡ２から取得して情報格納領域１３０に記憶するものであってもよい。以下、画像データＤＴ１と画像データＤＴ２とを総称して単に画像データＤＴとも呼ぶ。
【0036】
情報取得部１１２は、例えば、カメラＣＡ１が画像データＤＴ１を撮影したタイミング（カメラＣＡ２が画像データＤＴ２を撮影したタイミング）における対象者ＯＢの視線方向ＳＤを示す視線情報ＤＴ４（以下、第１視線情報ＤＴ４とも呼ぶ）を取得する。具体的に、情報取得部１１２は、例えば、作業者が情報処理装置１に対して入力した視線情報ＤＴ４を取得する。そして、情報取得部１１２は、例えば、取得した視線情報ＤＴ４を情報格納領域１３０に記憶する。
【0037】
行列特定部１１３は、例えば、画像取得部１１１が取得した画像データＤＴ１と画像データＤＴ２とから、カメラＣＡ１について正規化処理が行われた後の仮想的なカメラＣＡ１（以下、仮想カメラＣＡ１ａまたは第１仮想カメラＣＡ１ａとも呼ぶ）と、カメラＣＡ２について正規化処理が行われた後の仮想的なカメラＣＡ２ａ（以下、仮想カメラＣＡ２ａまたは第２仮想カメラＣＡ２ａとも呼ぶ）との間における相対的な回転角度に対応する回転行列ＤＴ３（以下、第１回転行列ＤＴ３とも呼ぶ）を特定する。各カメラの正規化処理については後述する。そして、行列特定部１１３は、例えば、特定した回転行列ＤＴ３を情報格納領域１３０に記憶する。
【0038】
データ生成部１１４は、図５に示すように、例えば、画像取得部１１１が取得した画像データＤＴ１と、画像取得部１１１が取得した画像データＤＴ２と、行列特定部１１３が特定した回転行列ＤＴ３と、情報取得部１１２が取得した視線情報ＤＴ４とを少なくとも含む教師データＤＴ５を生成する。そして、データ生成部１１４は、例えば、生成した教師データＤＴ５を情報格納領域１３０に記憶する。
【0039】
モデル生成部１１５は、図５に示すように、例えば、データ生成部１１４が生成した教師データＤＴ５（複数の教師データＤＴ５）を用いた機械学習を行うことによって学習モデルＭＤを生成する。そして、モデル生成部１１５は、例えば、生成した学習モデルＭＤを情報格納領域１３０に記憶する。
【0040】
なお、以下、２台のカメラ（カメラＣＡ１及びカメラＣＡ２）によって撮影された画像データＤＴ（画像データＤＴ１及び画像データＤＴ２）を用いて学習モデルＭＤを生成する場合について説明を行うが、情報処理装置１は、例えば、３台以上のカメラのそれぞれによって撮影された画像データを用いて学習モデルＭＤを生成するものであってもよい。
【0041】
次に、推定処理における機能について説明を行う。
【0042】
画像取得部１１１は、例えば、図６に示すように、カメラＣＡ１１（以下、第３カメラＣＡ１１とも呼ぶ）が撮影した画像データＤＴ１１（以下、第２対象画像データＤＴ１１とも呼ぶ）をカメラＣＡ１１から取得する。なお、カメラＣＡ１１は、例えば、カメラＣＡ１であってもよいし、カメラＣＡ１及びカメラＣＡ２と異なる他のカメラであってもよい。
【0043】
また、画像取得部１１１は、例えば、カメラＣＡ１２（以下、第４カメラＣＡ１２とも呼ぶ）が撮影した画像データＤＴ１２（以下、第２参照画像データＤＴ１２とも呼ぶ）をカメラＣＡ１２から取得する。カメラＣＡ１２は、例えば、カメラＣＡ１１が画像データＤＴ１１を撮影したタイミングと同じタイミングにおいて画像データＤＴ１２を撮影する。なお、カメラＣＡ１２は、例えば、カメラＣＡ２であってもよいし、カメラＣＡ１及びカメラＣＡ２と異なる他のカメラであってもよい。
【0044】
行列特定部１１３は、例えば、画像取得部１１１が取得した画像データＤＴ１１と画像データＤＴ１２とから、カメラＣＡ１１について正規化処理が行われた後の仮想的なカメラＣＡ１１（以下、仮想カメラＣＡ１１ａまたは第３仮想カメラＣＡ１１ａとも呼ぶ）と、カメラＣＡ１２について正規化処理が行われた後の仮想的なカメラＣＡ１２（以下、仮想カメラＣＡ１２ａまたは第４仮想カメラＣＡ１２ａとも呼ぶ）との間における相対的な回転角度に対応する回転行列ＤＴ１３（以下、第２回転行列ＤＴ１３とも呼ぶ）を特定する。
【0045】
データ推定部１１６は、図７に示すように、例えば、画像取得部１１１が取得した画像データＤＴ１１と、画像取得部１１１が取得した画像データＤＴ１２と、行列特定部１１３が特定した回転行列ＤＴ１３とを学習モデルＭＤに入力する。そして、データ推定部１１６は、例えば、学習モデルＭＤから出力された視線情報ＤＴ１４（以下、第２視線情報ＤＴ１４とも呼ぶ）を取得する。
【0046】
データ出力部１１７は、例えば、データ推定部１１６が取得した視線情報ＤＴ１４を操作端末２に出力する。
【0047】
すなわち、本実施の形態における情報処理装置１は、例えば、仮想カメラＣＡ１ａと仮想カメラＣＡ２ａとの間における相対的な回転角度に対応する回転行列ＤＴ３を含む教師データＤＴ５を用いることによって、対象者ＯＢの視線方向ＳＤの推定を行う学習モデルＭＤを生成する。
【0048】
これにより、本実施の形態における情報処理装置１は、例えば、推定処理において用いられるカメラＣＡ１１やカメラＣＡ１２（学習モデルＭＤに入力される画像データＤＴ１１や画像データＤＴ１２を撮影したカメラ）が、学習処理において用いられたカメラＣＡ１やカメラＣＡ２（学習モデルＭＤの生成に用いられた画像データＤＴ１や画像データＤＴ２を撮影したカメラ）と異なる場合であっても、対象者ＯＢの視線方向ＳＤを精度よく推定することが可能になる。
【0049】
言い換えれば、本実施の形態における情報処理装置１は、学習処理において、例えば、汎化性能の高い学習モデルＭＤを生成することが可能になる。そのため、情報処理装置１は、推定処理において、例えば、画像データＤＴ１１や画像データＤＴ１２に映る対象者ＯＢの頭部の向き（カメラＣＡ１１やカメラＣＡ１２の撮影方向）に依らず、対象者ＯＢの視線方向ＳＤを精度よく推定することが可能になる。
【0050】
また、本実施の形態における情報処理装置１は、例えば、回転行列ＤＴ３を含む教師データＤＴ５を用いて学習モデルＭＤを生成することで、カメラの組合せごとの教師データＤＴ５をそれぞれ用意する必要が必ずしもなくなる。そのため、情報処理装置１は、例えば、回転行列ＤＴ３を含まない他の教師データ（図示せず）を用いて他の学習モデル（図示せず）を生成する場合と比較して、学習モデルＭＤの生成に要する教師データＤＴ５の数（学習モデルＭＤの判定精度を所望のレベルまで向上させるために必要な教師データＤＴ５の数）を抑制することが可能になる。
【0051】
【0052】
画像取得部１１１は、図８に示すように、例えば、カメラＣＡ１が撮影した画像データＤＴ１の入力を受け付けるまで待機する（Ｓ１１のＮＯ）。具体的に、画像取得部１１１は、例えば、カメラＣＡ１が撮影した画像データＤＴ１がカメラＣＡ１から送信されるまで待機する。
【0053】
そして、画像データＤＴ１の入力を受け付けた場合（Ｓ１１のＹＥＳ）、画像取得部１１１は、例えば、入力を受け付けた画像データＤＴ１を情報格納領域１３０に記憶する（Ｓ１２）。
【0054】
同様に、画像取得部１１１は、例えば、カメラＣＡ２が撮影した画像データＤＴ２の入力を受け付けるまで待機する（Ｓ１１のＮＯ）。
【0055】
そして、画像データＤＴ２の入力を受け付けた場合（Ｓ１１のＹＥＳ）、画像取得部１１１は、例えば、入力を受け付けた画像データＤＴ２を情報格納領域１３０に記憶する（Ｓ１２）。
【0056】
また、情報取得部１１２は、図９に示すように、例えば、カメラＣＡ１が画像データＤＴ１を撮影したタイミング（カメラＣＡ２が画像データＤＴ１を撮影したタイミング）における対象者ＯＢの視線方向ＳＤを示す視線情報ＤＴ４の入力を受け付けるまで待機する（Ｓ２１のＮＯ）。具体的に、情報取得部１１２は、例えば、カメラＣＡ１が画像データＤＴ１を撮影したタイミングにおける対象者ＯＢの視線方向ＳＤを示す視線情報ＤＴ４を作業者が入力するまで待機する。
【0057】
そして、視線情報ＤＴ４の入力を受け付けた場合（Ｓ２１のＹＥＳ）、情報取得部１１２は、例えば、入力を受け付けた視線情報ＤＴ４を情報格納領域１３０に記憶する（Ｓ２２）。
【0058】
その後、行列特定部１１３は、図１０に示すように、例えば、学習タイミングになるまで待機する（Ｓ３１のＮＯ）。学習タイミングは、例えば、作業者が学習モデルＭＤの生成を開始する旨の情報を情報処理装置１に入力したタイミングであってよい。
【0059】
そして、学習タイミングになった場合（Ｓ３１のＹＥＳ）、行列特定部１１３は、例えば、情報格納領域１３０に記憶された画像データＤＴ１と画像データＤＴ２とから、仮想カメラＣＡ１ａと仮想カメラＣＡ２ａとの間における相対的な回転角度に対応する回転行列ＤＴ３を特定する（Ｓ３２）。そして、行列特定部１１３は、例えば、特定した回転行列ＤＴ３を情報格納領域１３０に記憶する。以下、Ｓ３２の処理の詳細について説明を行う。
【0060】
［Ｓ３２の処理の詳細］
図１１は、Ｓ３２の処理の詳細について説明するフローチャート図である。以下、非特許文献１に記載された方法を用いて回転行列ＤＴ３の算出を行う場合について説明を行う。なお、以下、回転行列ＤＴ３を回転行列Ｒとも表記する。
図１１は、Ｓ３２の処理の詳細について説明するフローチャート図である。以下、非特許文献１に記載された方法を用いて回転行列ＤＴ３の算出を行う場合について説明を行う。なお、以下、回転行列ＤＴ３を回転行列Ｒとも表記する。
【0061】
初めに、行列特定部１１３は、図１１に示すように、例えば、画像データＤＴ１及び画像データＤＴ２のそれぞれの正規化処理を行う（Ｓ１０１）。
【0062】
具体的に、行列特定部１１３は、例えば、以下の条件を満たす画像変換を実現する射影変換行列Ｎ（以下、単に変換行列Ｎとも呼ぶ）を画像データごとに算出する。まず、変換後の画像データが対象者ＯＢの顔の中心からの所定の距離に配置された仮想カメラによって撮影された状態と等しくする。次に、変換後の画像データに映る対象者ＯＢの目を結ぶ直線が仮想カメラの撮影方向についての３次元座標系（以下、正規化後のカメラ座標系とも呼ぶ）における水平方向（Ｙ軸方向）と並行になるようにする。さらに、変換後の画像データに映る対象者ＯＢの顔の中心が仮想カメラの光軸上に位置するようにする。なお、以下、各画像データＤＴの撮影を行ったカメラの撮影方向についての３次元座標系を正規化前のカメラ座標系とも呼ぶ。
【0063】
具体的に、変換行列Ｎは、例えば、以下の式（１）から式（４）を用いることによって算出される。
【0064】
【数1】
【0065】
【数2】
【0066】
【数3】
【0067】
【数4】
【0068】
上記の式（１）から式（４）において、ｘは、変換行列ＮにおけるＸ軸方向の要素を示し、ｃは、対象者ＯＢの顔の中心位置を示し、ｙは、変換行列ＮにおけるＹ軸方向の要素を示し、ｅｌｅｆｔは、対象者ＯＢの左目の位置を示し、ｅｒｉｇｈｔは、対象者ＯＢの右目の位置を示し、×は、ベクトルの外積を示す。なお、ｃは、例えば、ｅｌｅｆｔ及びｅｒｉｇｈｔの中心位置と、対象者ＯＢ口の位置との平均の位置であってよい。
【0069】
そして、行列特定部１１３は、Ｓ１０１の処理において、例えば、画像データＤＴ１及び画像データＤＴ２のそれぞれから算出された各変換行列Ｎを用いることによって、画像データＤＴ１及び画像データＤＴ２のそれぞれに映る対象者ＯＢの視線方向ＳＤを、正規化前のカメラ座標系における視線方向ＳＤから正規化後のカメラ座標系における視線方向ＳＤに変換する。
【0070】
続いて、行列特定部１１３は、例えば、以下の式（５）を用いることによって回転行列Ｒを算出する（Ｓ１０２）。
【0071】
【数5】
【0072】
上記の式（５）において、Ｒ０は、カメラＣＡ１とカメラＣＡ２との間の回転行列を示す。そのため、Ｒ０は、例えば、カメラＣＡ１とカメラＣＡ２とのステレオキャリブレーションによって取得されるものであってよい。また、Ｎｔｇｔは、画像データＤＴ１から算出された変換行列Ｎを示し、Ｎｒｅｆは、画像データＤＴ２から算出された変換行列Ｎを示す。
【0073】
すなわち、回転行列Ｒは、例えば、カメラＣＡ１を正規化した仮想カメラＣＡ１ａと、カメラＣＡ２を正規化した仮想カメラＣＡ２ａとの間の回転行列である。
【0074】
また、行列特定部１１３は、Ｓ１０３の処理において、例えば、以下の式（６）を用いることによって回転行列Ｒを算出するものであってもよい。
【0075】
【数6】
【0076】
上記の式（６）において、Ｈは、対象者ＯＢの頭部を中心とした３次元座標系（以下、頭部座標系とも呼ぶ）と正規化後のカメラの座標系との間の回転行列を示し、変換行列Ｎと同様に画像データごとに算出される。また、Ｈｔｇｔは、画像データＤＴ１から算出された回転行列Ｈを示し、Ｈｒｅｆは、画像データＤＴ２から算出された回転行列Ｈを示す。
【0077】
これにより、情報処理装置１は、例えば、教師データＤＴ５に含める回転行列ＤＴ３の算出を行うことが可能になる。
【0078】
図１０に戻り、データ生成部１１４は、例えば、情報格納領域１３０に記憶された画像データＤＴ１と、情報格納領域１３０に記憶された画像データＤＴ２と、Ｓ３２の処理で特定した回転行列ＤＴ３と、情報格納領域１３０に記憶された視線情報ＤＴ４とを少なくとも含む教師データＤＴ５を生成する（Ｓ３３）。そして、データ生成部１１４は、例えば、生成した教師データＤＴ５を情報格納領域１３０に記憶する。
【0079】
なお、情報処理装置１は、Ｓ３２及びＳ３３の処理において、例えば、各処理を繰り返し行うことによって複数の教師データＤＴ５を生成するものであってよい。
【0080】
また、データ生成部１１４は、Ｓ３２及びＳ３３の処理に代えて、例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）等の技術を用いることによって、予め指定された回転行列ＤＴ３を満たす画像データＤＴ１及び画像データＤＴ２を生成するものであってもよい。そして、データ生成部１１４は、例えば、生成した画像データＤＴ１及び画像データＤＴ２と、作業者が予め指定した回転行列ＤＴ３と、予め指定された視線情報ＤＴ４とを少なくとも含む教師データＤＴ５を生成するものであってもよい。
【0081】
続いて、モデル生成部１１５は、例えば、Ｓ３３の処理で生成した教師データＤＴ５（複数の教師データＤＴ５）を用いた機械学習を行うことによって学習モデルＭＤを生成する（Ｓ３４）。
【0082】
その後、モデル生成部１１５は、例えば、Ｓ３４の処理で生成した学習モデルＭＤを記憶する（Ｓ３５）。
【0083】
［第１の実施の形態における推定処理のフローチャート図］
次に、第１の実施の形態における推定処理のフローチャート図について説明を行う。図１２は、第１の実施の形態における推定処理を説明するフローチャート図である。
次に、第１の実施の形態における推定処理のフローチャート図について説明を行う。図１２は、第１の実施の形態における推定処理を説明するフローチャート図である。
【0084】
行列特定部１１３は、図１２に示すように、例えば、画像データＤＴ１１と画像データＤＴ１２との入力を受け付けるまで待機する（Ｓ４１のＮＯ）。
【0085】
そして、画像データＤＴ１１と画像データＤＴ１２との入力を受け付けた場合（Ｓ４１のＹＥＳ）、行列特定部１１３は、例えば、入力を受け付けた画像データＤＴ１１と画像データＤＴ１２とから、仮想カメラＣＡ１１ａと仮想カメラＣＡ１２ａとの間における相対的な回転角度に対応する回転行列ＤＴ１３を特定する（Ｓ４２）。
【0086】
続いて、データ推定部１１６は、例えば、Ｓ４１の処理で入力を受け付けた画像データＤＴ１１と、Ｓ４１の処理で入力を受け付けた画像データＤＴ１２と、Ｓ４２の処理で特定した回転行列ＤＴ１３とを学習モデルＭＤに入力する（Ｓ４３）。
【0087】
そして、データ推定部１１６は、例えば、学習モデルＭＤから出力された視線情報ＤＴ１４を取得する（Ｓ４４）。
【0088】
すなわち、データ推定部１１６は、例えば、学習モデルＭＤから出力された視線情報ＤＴ１４を、画像データＤＴ１１及び画像データＤＴ１２に映る対象者ＯＢの視線方向ＳＤの推定結果として取得する。
【0089】
その後、データ出力部１１７は、例えば、Ｓ４４の処理で取得した視線情報ＤＴ１４を操作端末２に出力する（Ｓ４５）。以下、学習モデルＭＤの構成の具体例について説明を行う。
【0090】
［学習モデルＭＤの構成の具体例］
図１３及び図１４は、学習モデルＭＤの構成の具体例について説明する図である。以下、画像データＤＴ１１を画像データＩｔｇｔと表記し、画像データＤＴ１２を画像データＩｒｅｆと表記し、画像データＤＴ１１を用いて推定された視線情報ＤＴ１４を視線情報ｇｔｇｔまたは対象視線情報ｇｔｇｔともを表記し、画像データＤＴ１２を用いて推定された視線情報ＤＴ１４を視線情報ｇｒｅｆまたは参照視線情報ｇｒｅｆともを表記する。
図１３及び図１４は、学習モデルＭＤの構成の具体例について説明する図である。以下、画像データＤＴ１１を画像データＩｔｇｔと表記し、画像データＤＴ１２を画像データＩｒｅｆと表記し、画像データＤＴ１１を用いて推定された視線情報ＤＴ１４を視線情報ｇｔｇｔまたは対象視線情報ｇｔｇｔともを表記し、画像データＤＴ１２を用いて推定された視線情報ＤＴ１４を視線情報ｇｒｅｆまたは参照視線情報ｇｒｅｆともを表記する。
【0091】
学習モデルＭＤは、図１３に示すように、例えば、画像データＩｔｇｔに映る対象者ＯＢの頭部に対応する特徴量ｆｔｇｔ（以下、第１対象特徴量ｆｔｇｔとも呼ぶ）を抽出するモジュールＭ１１（以下、第１対象モジュールＭ１１とも呼ぶ）を有する。具体的に、モジュールＭ１１は、例えば、画像データＩｔｇｔを入力として特徴量ｆｔｇｔを出力する。
【0092】
また、学習モデルＭＤは、例えば、画像データＩｒｅｆに映る対象者ＯＢの頭部に対応する特徴量ｆｒｅｆ（以下、第１参照特徴量ｆｒｅｆとも呼ぶ）を抽出するモジュールＭ２１（以下、第１参照モジュールＭ２１とも呼ぶ）を有する。具体的に、モジュールＭ２１は、例えば、画像データＩｒｅｆを入力として特徴量ｆｒｅｆを出力する。なお、モジュールＭ２１は、例えば、学習処理において訓練された重みをモジュールＭ１１と共有するものであってもよい。言い換えれば、モジュールＭ２１は、例えば、モジュールＭ１１と同一のモジュールであってもよい。
【0093】
また、学習モデルＭＤは、例えば、特徴量ｆｔｇｔから各特徴量を融合する処理（以下、特徴融合処理とも呼ぶ）において用いる回転可能な特徴量Ｆｔｇｔ
（０）を抽出するモジュールＭ１２（以下、第２対象モジュールＭ１２とも呼ぶ）を有する。具体的に、モジュールＭ１２は、例えば、特徴量ｆｔｇｔを入力として特徴量Ｆｔｇｔ
（０）を出力する。
【0094】
また、学習モデルＭＤは、例えば、特徴量ｆｒｅｆから特徴融合処理において用いる回転可能な特徴量Ｆｒｅｆ
（０）を抽出するモジュールＭ２２（以下、第２参照モジュールＭ２２とも呼ぶ）を有する。具体的に、モジュールＭ２２は、例えば、特徴量ｆｒｅｆを入力として特徴量Ｆｒｅｆ
（０）を出力する。なお、モジュールＭ２２は、例えば、学習処理において訓練された重みをモジュールＭ１２と共有するものであってもよい。言い換えれば、モジュールＭ２２は、例えば、モジュールＭ１２と同一のモジュールであってもよい。
【0095】
また、学習モデルＭＤは、例えば、特徴量ｆｔｇｔと回転行列Ｒが乗算された特徴量Ｆｒｅｆ
（０）とを用いる特徴融合処理を行うことによって、特徴量Ｆｔｇｔ
（１）を生成（特徴量Ｆｔｇｔ
（０）を更新）するモジュールＭ１３（以下、第３対象モジュールＭ１３とも呼ぶ）を有する。具体的に、モジュールＭ１３は、例えば、回転行列Ｒが乗算された特徴量ｆｔｇｔと特徴量Ｆｒｅｆ
（０）とを入力して特徴量Ｆｔｇｔ
（１）を出力する。
【0096】
また、学習モデルＭＤは、例えば、特徴量ｆｒｅｆと回転行列Ｒの逆行列が乗算された特徴量Ｆｔｇｔ
（０）とを用いる特徴融合処理を行うことによって、特徴量Ｆｒｅｆ
（１）を生成（特徴量Ｆｒｅｆ
（０）を更新）するモジュールＭ２３（以下、第３参照モジュールＭ２３とも呼ぶ）を有する。具体的に、モジュールＭ２３は、例えば、回転行列Ｒが乗算された特徴量ｆｒｅｆと特徴量Ｆｔｇｔ
（０）とを入力して特徴量Ｆｒｅｆ
（１）を出力する。なお、モジュールＭ２３は、例えば、学習処理において訓練された重みをモジュールＭ１３と共有するものであってもよい。言い換えれば、モジュールＭ２３は、例えば、モジュールＭ１３と同一のモジュールであってもよい。
【0097】
すなわち、学習モデルＭＤは、例えば、特徴量Ｆｔｇｔ
（１）を算出する際に、画像データＩｔｇｔから抽出された特徴量ｆｔｇｔに加え、もう一方の画像データＩｒｅｆから抽出された後に回転行列Ｒが乗算された特徴量Ｆｒｅｆ
（０）についても用いて演算を行う。また、学習モデルＭＤは、例えば、特徴量Ｆｒｅｆ
（１）を算出する際に、画像データＩｒｅｆから抽出された特徴量ｆｒｅｆに加え、もう一方の画像データＩｒｅｆから抽出された後に回転行列Ｒの逆行列が乗算された特徴量Ｆｔｇｔ
（０）についても用いて演算を行う。
【0098】
また、学習モデルＭＤは、例えば、特徴量ｆｔｇｔと特徴量Ｆｔｇｔ
（１）とを用いることによって、画像データＩｔｇｔに映る対象者ＯＢの視線情報ｇｔｇｔ
（１）を推定するモジュールＭ１４（以下、第４対象モジュールＭ１４とも呼ぶ）を有する。具体的に、モジュールＭ１４は、例えば、特徴量ｆｔｇｔと特徴量Ｆｔｇｔ
（１）とを入力として視線情報ｇｔｇｔ
（１）を出力する。
【0099】
また、学習モデルＭＤは、例えば、特徴量ｆｒｅｆと特徴量Ｆｒｅｆ
（１）とを用いることによって、画像データＩｒｅｆに映る対象者ＯＢの視線情報ｇｒｅｆ
（１）を推定するモジュールＭ２４（以下、第４参照モジュールＭ２４とも呼ぶ）を有する。具体的に、モジュールＭ２４は、例えば、特徴量ｆｒｅｆと特徴量Ｆｒｅｆ
（１）とを入力として視線情報ｇｒｅｆ
（１）を出力する。なお、モジュールＭ２４は、例えば、学習処理において訓練された重みをモジュールＭ１４と共有するものであってもよい。言い換えれば、モジュールＭ２４は、例えば、モジュールＭ１４と同一のモジュールであってもよい。以下、モジュールＭ１１、モジュールＭ１２、モジュールＭ１３、モジュールＭ１４、モジュールＭ２１、モジュールＭ２２、モジュールＭ２３及びモジュールＭ２４を総称して単にモジュールＭとも呼ぶ。
【0100】
続いて、学習モデルＭＤは、例えば、モジュールＭ１４から出力された視線情報ｇｔｇｔ
（１）を出力する。その後、データ推定部１１６は、Ｓ４４の処理において、例えば、学習モデルＭＤから出力された視線情報ｇｔｇｔ
（１）を取得する。
【0101】
そして、各モジュールＭは、学習処理において、教師データＤＴ５における視線方向の推定誤差を最小化するように訓練される。
【0102】
これにより、学習モデルＭＤは、例えば、回転行列Ｒの乗算による回転操作を適用可能な特徴表現を獲得することができ、さらに、画像データＤＴを撮影する各カメラ間の位置関係に応じた適応的な特徴融合を行うことで、視線情報ｇｔｇｔの推定精度を向上させることが可能になる。
【0103】
なお、学習モデルＭＤは、図１４に示すように、例えば、モジュールＭ１３とモジュールＭ１４とモジュールＭ２３とモジュールＭ２４とをｎ（ｎは２以上の整数）組有するものであってもよい。そして、学習モデルＭＤは、この場合、例えば、（ｎ－１）組目のモジュールＭ１３（以下、第５対象モジュールＭ１３とも呼ぶ）から出力された特徴量Ｆｔｇｔ
（ｎ－１）をｎ組目のモジュールＭ２３（以下、第６参照モジュールＭ２３とも呼ぶ）に入力するとともに、（ｎ－１）組目のモジュールＭ２３（以下、第５参照モジュールＭ２３とも呼ぶ）から出力された特徴量Ｆｒｅｆ
（ｎ－１）をｎ組目のモジュールＭ１３（以下、第６対象モジュールＭ１３とも呼ぶ）に入力する処理を繰り返すことによって、視線情報ｇｔｇｔ
（ｎ）と視線情報ｇｒｅｆ
（ｎ）とを推定するものであってよい。
【0104】
続いて、学習モデルＭＤは、この場合、例えば、ｎ組目のモジュールＭ１４から出力された視線情報ｇｔｇｔ
（ｎ）を出力するものであってもよい。その後、データ推定部１１６は、Ｓ４４の処理において、例えば、学習モデルＭＤから出力された視線情報ｇｔｇｔ
（ｎ）を取得するものであってもよい。
【0105】
そして、各モジュールＭ（１組目からｎ組目のそれぞれに含まれる各モジュールＭ）は、学習処理において、教師データＤＴ５における視線方向の推定誤差を最小化するように訓練される。
【0106】
これにより、学習モデルＭＤは、例えば、視線情報ＤＴ１４の推定精度をより向上させることが可能になる。
【0107】
このように、本実施の形態における情報処理装置１は、例えば、カメラＣＡ１によって対象者ＯＢの頭部を撮影した画像データＤＴ１と、カメラＣＡ２によって対象者ＯＢの頭部を撮影した画像データＤＴ２とから、仮想カメラＣＡ１ａと仮想カメラＣＡ２ａとの間における相対的な回転角度に対応する回転行列ＤＴ３を特定する。
【0108】
そして、情報処理装置１は、例えば、画像データＤＴ１と、画像データＤＴ２と、回転行列ＤＴ３と、対象者ＯＢの視線方向ＳＤを示す視線情報ＤＴ４とを含む教師データＤＴ５を生成する。その後、情報処理装置１は、例えば、生成した教師データＤＴ５を学習することによって学習モデルＭＤを生成する。
【0109】
すなわち、本実施の形態における情報処理装置１は、例えば、仮想カメラＣＡ１ａと仮想カメラＣＡ２ａとの間における相対的な回転角度に対応する回転行列ＤＴ３を含む教師データＤＴ５を用いることによって、対象者ＯＢの視線方向ＳＤの推定を行う学習モデルＭＤを生成する。
【0110】
これにより、本実施の形態における情報処理装置１は、例えば、推定処理において用いられるカメラＣＡ１１やカメラＣＡ１２（学習モデルＭＤに入力される画像データＤＴ１１や画像データＤＴ１２を撮影したカメラ）が、学習処理において用いられたカメラＣＡ１やカメラＣＡ２（学習モデルＭＤの生成に用いられた画像データＤＴ１や画像データＤＴ２を撮影したカメラ）と異なる場合であっても、対象者ＯＢの視線方向ＳＤを精度よく推定することが可能になる。
【0111】
言い換えれば、本実施の形態における情報処理装置１は、学習処理において、例えば、汎化性能の高い学習モデルＭＤを生成することが可能になる。そのため、情報処理装置１は、推定処理において、例えば、画像データＤＴ１１や画像データＤＴ１２に映る対象者ＯＢの頭部の向きに依らず、対象者ＯＢの視線方向ＳＤを精度よく推定することが可能になる。
【0112】
また、本実施の形態における情報処理装置１は、例えば、回転行列ＤＴ３を含む教師データＤＴ５を用いて学習モデルＭＤを生成することで、カメラの組合せごとの教師データＤＴ５をそれぞれ用意する必要が必ずしもなくなる。そのため、情報処理装置１は、例えば、回転行列ＤＴ３を含まない他の教師データ（図示せず）を用いて他の学習モデル（図示せず）を生成する場合と比較して、学習モデルＭＤの生成に要する教師データＤＴ５の数を抑制することが可能になる。
【符号の説明】
【0113】
１：情報処理装置
２：操作端末
１０：情報処理システム
１０１：ＣＰＵ
１０２：メモリ
１０３：通信インタフェース
１０４：記憶媒体
１０５：バス
１１０：プログラム
１１１：画像取得部
１１２：情報取得部
１１３：行列特定部
１１４：データ生成部
１１５：モデル生成部
１１６：データ推定部
１１７：データ出力部
１３０：情報処理装置
ＣＡ１：カメラ
ＣＡ２：カメラ
ＣＡ１１：カメラ
ＣＡ１２：カメラ
ＤＴ１：画像データ
ＤＴ２：画像データ
ＤＴ３：回転行列
ＤＴ４：視線情報
ＤＴ５：教師データ
ＤＴ１１：画像データ
ＤＴ１２：画像データ
ＤＴ１３：回転行列
ＤＴ１４：視線情報
ＭＤ：学習モデル
ＯＢ：対象者
ＳＤ：視線方向
２：操作端末
１０：情報処理システム
１０１：ＣＰＵ
１０２：メモリ
１０３：通信インタフェース
１０４：記憶媒体
１０５：バス
１１０：プログラム
１１１：画像取得部
１１２：情報取得部
１１３：行列特定部
１１４：データ生成部
１１５：モデル生成部
１１６：データ推定部
１１７：データ出力部
１３０：情報処理装置
ＣＡ１：カメラ
ＣＡ２：カメラ
ＣＡ１１：カメラ
ＣＡ１２：カメラ
ＤＴ１：画像データ
ＤＴ２：画像データ
ＤＴ３：回転行列
ＤＴ４：視線情報
ＤＴ５：教師データ
ＤＴ１１：画像データ
ＤＴ１２：画像データ
ＤＴ１３：回転行列
ＤＴ１４：視線情報
ＭＤ：学習モデル
ＯＢ：対象者
ＳＤ：視線方向
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
