知財求人 - 知財ポータルサイト「IP Force」
特許7521220画像処理装置、視線推定装置、視線推定システム、画像処理方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】画像処理装置、視線推定装置、視線推定システム、画像処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240717BHJP
G06F 3/01 20060101ALI20240717BHJP
【ＦＩ】
G06T7/00 660A
G06F3/01 510
【請求項の数】
9
(21)【出願番号】P 2020057435
(22)【出願日】2020-03-27
(65)【公開番号】P2021157523
(43)【公開日】2021-10-07
【審査請求日】2023-02-15
【前置審査】
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】都丸 涼
(72)【発明者】
【氏名】野々山 裕芝
(72)【発明者】
【氏名】北野 昌秀
(72)【発明者】
【氏名】竹井 豊
(72)【発明者】
【氏名】下村 英恵
(72)【発明者】
【氏名】千代延 真吾
【審査官】稲垣 良一
(56)【参考文献】
【文献】特開２００５－１００３６６（ＪＰ，Ａ）
【文献】特開２０１９－９５８９２（ＪＰ，Ａ）
【文献】特開２０２０－１８４７０（ＪＰ，Ａ）
【文献】特開２０１６－８７１３０（ＪＰ，Ａ）
【文献】特開２０１７－１３４５５８（ＪＰ，Ａ）
【文献】特開２０２０－３２０７７（ＪＰ，Ａ）
【文献】特開２０２０－３２０７８（ＪＰ，Ａ）
【文献】特表２０１７－５２３４８７（ＪＰ，Ａ）
【文献】特開２０１７－２１３１９１（ＪＰ，Ａ）
【文献】特開２０１６－１８７５８９（ＪＰ，Ａ）
【文献】特開２０１６－１８５３７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
被験者の第１の視線画像と、視線推定面上に配置された、前記被験者の視線方向の正解位置を識別する識別情報と、を含むキャリブレーション画像を取得する取得手段と、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる前記正解位置と、を関連付けたキャリブレーション情報を出力する出力手段と、を備え、
前記キャリブレーション画像は、前記被験者と、前記識別情報が表示された識別情報表示装置を撮影した画像である、画像処理装置。
【請求項2】
前記キャリブレーション情報は、前記識別情報ごとの前記正解位置と、前記視線方向ごとの前記被験者の前記第１の視線画像が、関連付けされている、請求項１に記載の画像処理装置。
【請求項3】
前記識別情報が２次元コード又は１次元コードである、請求項１又は２に記載の画像処理装置。
【請求項4】
請求項１に記載の画像処理装置が出力した前記キャリブレーション情報と、分析対象となる前記被験者の第２の視線画像と、に基づいて、前記第２の視線画像における前記被験者の視線を推定する、視線推定手段を備える、視線推定装置。
【請求項5】
請求項４に記載の視線推定装置と、前記正解位置の前記識別情報の表示と共に、前記正解位置を示す誘導音声を出力する、音声出力装置を備える、視線推定システム。
【請求項6】
前記誘導音声は、前記正解位置のキャリブレーション配置を音声で出力する、請求項５に記載の視線推定システム。
【請求項7】
前記誘導音声は、前記被験者に対し、前記正解位置を注視する時間間隔を音声で出力する、請求項５又は６に記載の視線推定システム。
【請求項8】
被験者の第１の視線画像と、視線推定面上に配置された、前記被験者の視線方向の正解位置を識別する識別情報と、を含み、前記被験者と、前記識別情報が表示された識別情報表示装置を撮影した画像であるキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する、画像処理方法。
【請求項9】
被験者の第１の視線画像と、視線推定面上に配置された、前記被験者の視線方向の正解位置を識別する識別情報と、を含み、前記被験者と、前記識別情報が表示された識別情報表示装置を撮影した画像であるキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する、ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、視線推定のキャリブレーション等に関する。
【背景技術】
【0002】
視線情報を用いて顧客がどこを見ているのかを推定する視線推定技術がある。視線推定技術に基づく視線推定装置は、被験者の顔画像を撮影し、顔画像に含まれる視線情報に基づき被験者の視線方向を推定する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１７／０８５７７１号
【文献】特開２００６－２９３７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
視線推定装置では、視線推定の精度を向上させるためにキャリブレーション作業が行われる。キャリブレーション作業では、キャリブレーション点とよばれる正解位置を見る被験者を撮影したキャリブレーション画像に対して、被験者の視線方向ごとに正解位置を後付けで付与している。このため、被験者１人あたりのキャリブレーション作業に時間が掛かり、視線推定の精度を向上させるためのキャリブレーション作業の効率化が求められている。
本開示の目的は、視線推定に関するキャリブレーション作業を効率化することにある。
本開示の目的は、視線推定に関するキャリブレーション作業を効率化することにある。
【課題を解決するための手段】
【0005】
本開示の画像処理装置は、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する取得部と、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する出力部と、を備える。
本開示の画像処理方法は、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。
本開示のプログラムは、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する、ことをコンピュータに実行させる。
本開示の画像処理方法は、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。
本開示のプログラムは、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する、ことをコンピュータに実行させる。
【発明の効果】
【0006】
本開示によれば、視線推定に関するキャリブレーション作業を効率化することができる。
【図面の簡単な説明】
【0007】
【図1】視線推定システムの構成の例を示すブロック図である。
【図2】キャリブレーション画像の撮影例を示す上面図である。
【図3】キャリブレーションボードの例を示す図である。
【図4】キャリブレーション画像の例を示す図である。
【図5】正解位置と識別情報との関係を示すテーブルである。
【図6】第１の実施形態に係る画像処理装置の構成の例を示すブロック図である。
【図7】画像処理装置を含む視線推定装置の構成の例を示す図である。
【図8】視線推定システムの動作の例を示すフローチャートである。
【図9】第１の実施形態に係る画像処理装置の動作の例を示すフローチャートである。
【図10】視線推定システムの変形例の構成の例を示すブロック図である。
【図11】正解位置、識別情報および誘導音声との関係を示すテーブルである。
【図12】視線推定システムの変形例の動作の例を示すフローチャートである。
【図13】コンピュータによるハードウエア構成を示す図である。
【発明を実施するための形態】
【0008】
（第１の実施形態）
第１の実施形態に係る画像処理装置、及び、画像処理装置を含む視線推定システムについて図面を用いて説明する。図１は、視線推定システムの構成の例を示すブロック図である。図１に示す視線推定システム１は、カメラ５、画像処理装置１０、識別情報表示装置２０、識別情報生成装置２２、識別情報データベース２３、視線推定装置３０、視線情報データベース４０を備える。
カメラ５は、分析対象となる被験者の視線画像（第２の視線画像とも呼ばれる）、及び、キャリブレーション画像を撮影する。被験者の視線画像、キャリブレーション画像は動画像（映像）又は静止画像である。カメラ５は、分析対象となる被験者の視線画像を視線推定装置３０に出力し、キャリブレーション画像を画像処理装置１０に出力する。カメラ５は、画像処理装置１０又は識別情報表示装置２０からの撮影指示に応じてキャリブレーション画像を撮影してもよい。
識別情報表示装置２０は、画面上に識別情報を表示する。識別情報は、視線推定面上における正解位置の空間的な配置を識別するための情報である。例えば、キャリブレーションボード上に配置する正解位置を識別するための識別コードである。キャリブレーションボードと正解位置については後述する。識別情報表示装置２０は、キャリブレーションボードの正解位置ごとに異なる識別情報を表示する。識別コードは、例えば、２次元コード、１次元コードである。２次元コードは、例えばＱＲコード（登録商標）である。識別情報表示装置２０は、例えば、タブレット端末又はスマートフォン等の表示画面を備えるコンピュータである。識別情報表示装置２０は、例えば、所定の時間間隔で複数の識別情報を画面に表示する。なお、識別情報表示装置２０は、ディスプレイであってもよい。その場合、外部装置（図示せず）から出力された識別情報を受付けて表示する。
識別情報生成装置２２は、識別情報表示装置２０が画面に表示する識別情報を生成する。識別情報は、キャリブレーションボードの視線推定面上における正解位置の空間的な配置を識別するための情報である。このため、識別情報は、例えば、キャリブレーションボードごとに、各キャリブレーションボードにおける正解位置の配置、正解位置の数に応じて異なる情報となる。識別情報生成装置２２は、生成した識別情報を、識別情報表示装置２０、又は、識別情報データベース２３に出力する。
上記では、視線推定面上の正解位置を空間的に配置するためにキャリブレーションボードを用いる例で説明したが、これに限られない。例えば、視線推定面上にディスプレイを設置し、ディスプレイにキャリブレーション点（正解位置）を表示してもよい。また、キャリブレーション点が動画で表示され、正解位置の配置間を動くキャリブレーション点を被験者の目で追わせてもよい。例えば、ＱＲコードを表示するタブレット端末が、視線推定面上のディスプレイにキャリブレーション点の動画を出力してもよい。その場合、動画と連動させて、被験者が見ているキャリブレーション点の位置情報がＱＲコードで表示される。
図２は、キャリブレーション画像の撮影の例を示す上面図である。キャリブレーション画像の撮影には、例えば、キャリブレーションボード５１が用いられる。キャリブレーションボード５１には、キャリブレーションのための正解位置が付与されている。被験者５０は、キャリブレーションボード５１に向うように配置される。このとき、キャリブレーションボード５１が視線推定面となり、被験者５０の目の位置が被写体面５２となる。カメラ５は、キャリブレーションボード５１の上に配置される。
図３は、キャリブレーションボード５１の例を示す図である。図３に示すキャリブレーションボード５１には、４つの角にそれぞれキャリブレーションための正解位置５１１、正解位置５１２、正解位置５１３、正解位置５１４が配置される。図３のキャリブレーションボードには、被験者５０が目視できる大きさで番号が設置されている。
キャリブレーション画像の撮影の説明において、キャリブレーションボードの正解位置に番号を付与する例で説明したが、これに限られない。被験者が視認可能な目印が正解位置に配置されていればよい。
図４は、カメラ５で撮影されるキャリブレーション画像の例を示す図である。キャリブレーション画像には、被験者の顔画像（視線画像を含む）と、識別情報表示装置２０に表示された識別情報２１が含まれる。キャリブレーション画像に含まれる識別情報２１は、キャリブレーションボード５１に配置された正解位置を示す識別コードである。
識別情報表示装置２０が表示する識別情報２１について説明する。図５は、正解位置と識別情報との関係を示すテーブルである。図５のＱＲコード１～４は、それぞれキャリブレーションボードの正解位置に紐づく正解位置ＩＤ（Identifier）の１～４に対応する。識別情報表示装置２０は、図５に示すテーブルを参照し、正解位置ごとにＱＲコードを表示する。
＜画像処理装置＞
第１の実施形態に係る画像処理装置１０について図面を用いて説明する。図６は、第１の実施形態に係る画像処理装置１０の構成の例を示すブロック図である。図６に示す画像処理装置１０は、取得部１１と、出力部１２、記憶部（図示せず）を備える。
取得部１１は、被験者の視線画像（第１の視線画像）と、被験者の視線方向の正解位置を示す識別情報２１と、を含むキャリブレーション画像を取得する。出力部１２は、キャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報２１に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。例えば、出力部１２は、正解位置を示す識別情報２１ごとに被験者の視線画像ファイルに正解位置の情報を付与して出力する。キャリブレーション画像の出力先は、例えば、画像処理装置１０と通信可能に接続された視線推定装置３０である。なお、出力部１２は、キャリブレーション情報を記憶部（図示せず）に記憶させてもよい。
＜視線推定装置＞
図１に示す視線推定装置３０は、分析対象となる被験者の視線画像と、キャリブレーション画像に基づき、分析対象の視線画像における被験者の視線を推定する。視線推定装置３０は、視線推定部３１を備える。
視線推定部３１は、被験者の顔画像に含まれる視線画像から、被験者の視線を推定する。具体的には、視線推定部３１は、視線画像から視線角度を推定し、被験者の視線を推定する。視線推定部３１は、周知である任意の視線の推定方法を用いることができる。本実施形態では、視線推定部３１は、分析対象となる被験者の視線画像とキャリブレーション画像を用い、ホモグラフィ変換などによって、被写体面と視線推定面の関係に基づき、視線を推定する。視線推定部３１は、視線の推定結果を出力する。出力先の例は、視線推定装置３０と通信可能に接続された視線情報データベース４０である。
図１では、画像処理装置１０と視線推定装置３０が分離された構成の例で説明したが、これに限られない。視線推定装置３０は、画像処理装置１０を含んだ構成であってもよい。図７は、画像処理装置１０を含む視線推定装置３０の構成の例を示す図である。図７に示す視線推定装置３０は、画像処理装置１０、視線推定部３１を備える。
図７に示す視線推定装置３０において、視線推定部３１は、カメラ５からの分析対象となる被験者の視線画像（第２の視線画像）を受付け、画像処理装置１０は、キャリブレーション画像を受付ける。画像処理装置１０は、受付けたキャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報２１に含まれる正解位置とを関連付けたキャリブレーション情報を、視線推定部３１に送る。視線推定部３１は、キャリブレーション情報を用いて、分析対象となる被験者の視線画像（第２の視線画像）から視線を推定する。
次に、第１の実施形態に係る画像処理装置１０の動作、および、視線推定システム１の動作について図面を用いて説明する。図８は、図１に示す視線推定システム１の動作の例を示すフローチャートである。以下の説明では、視線推定システムの動作について、被験者撮影処理、キャリブレーション撮影処理、キャリブレーション画像処理、視線推定処理に分けて説明する。
［被験者撮影処理］
カメラ５は、分析対象となる被験者の視線画像（第２の視線画像）を撮影し（ステップＳ１１１）、分析対象となる被験者の視線画像を視線推定装置３０に出力する。
［キャリブレーション撮影処理］
識別情報表示装置２０は、画面に正解位置に対応する識別情報２１を表示する（ステップＳ１２）。被験者は、識別情報２１に対応するキャリブレーションボードの正解位置を見る。カメラ５は、被験者の視線画像（第１の視線画像）と識別情報表示装置２０に表示された識別情報２１を含むキャリブレーション画像を撮影する（ステップＳ１１３）。キャリブレーションボードに配置された正解位置ごとに、ステップＳ１１２～Ｓ１１３を繰り返す。カメラ５は、キャリブレーション画像を画像処理装置１０に出力する。
［キャリブレーション画像処理］
画像処理装置１０は、キャリブレーション画像に基づき、キャリブレーション情報を出力する（ステップＳ１１４）。ステップＳ１１４は、画像処理装置１０の動作に対応する。図９は、画像処理装置１０の動作の例を示すフローチャートである。取得部１１は、被験者の視線画像（第１の視線画像）と、被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する（ステップＳ１１）。取得部１１は、取得したキャリブレーション画像を出力部１２に送る。出力部１２は、キャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する（ステップＳ１２）。詳しくは、出力部１２は、キャリブレーション情報を視線推定装置３０に出力する。
［視線推定処理］
視線推定装置３０は、分析対象となる被験者の視線画像（第２の視線画像）と、キャリブレーション情報を受付ける（ステップＳ１１５）。視線推定装置３０の視線推定部３１は、キャリブレーション情報を用いて、分析対象となる被験者の視線画像（第２の視線画像）から視線を推定する（ステップＳ１１６）。
（第１の実施形態の効果）
第１の実施形態の画像処理装置１０によれば、取得部１１は、被験者の第１の視線画像と、被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する。出力部１２は、キャリブレーション画像に基づき、第１の視線画像と、識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。キャリブレーション画像からキャリブレーションの正解位置と、その正解位置を見る被験者の視線画像（視線情報）を得ることができるので、正解位置を付与する後処理が不要となる。
なお、画像処理装置１０を含む視線推定装置３０は、カメラ５から、分析対象となる被験者の視線画像（第２の視線画像）と、キャリブレーション画像を取得することで、分析対象の視線画像の視線の推定を開始することができるため、分析処理の時間を大幅に削減できる。
（変形例）
次に、視線推定システム１の変形例について図面を用いて説明する。図１０は、視線推定システムの変形例の構成の例を示すブロック図である。図１０に示す視線推定システム１の変形例は、図１に示す視線推定システムに音声出力装置２４が追加されている。音声出力装置２４は、キャリブレーション撮影処理の際に、被験者が目を向ける正解位置を指示する誘導音声を出力する。また、誘導音声には、被験者に対し正解位置を注視して欲しい時間間隔とその時間間隔のカウントを含めてもよい。
図１１は、正解位置、識別情報および誘導音声との関係を示すテーブルである。図１１に示す誘導音声は、キャリブレーションボード５１の正解位置に対する識別子、及び、識別情報とに関連付けされている。図１１に示す誘導音声の例は、「まず、５秒間、左上を見てください。５，４，３，２，１…」である。
図１２は、視線推定システム１の変形例の動作の例を示すフローチャートである。図１２に示す視線推定システム１の変形例の動作は、図８に示す視線推定システム１の動作におけるキャリブレーション撮影処理のステップＳ１１２がステップＳ２１２となっている点が異なる。このため、視線推定システム１の変形例のステップＳ２１２を説明し、他のステップの詳細な説明は省略する。
識別情報表示装置２０は、ステップＳ１１１の後、画面に正解位置に対応する識別情報を表示すると共に誘導音声を出力する（ステップＳ２１２）。誘導音声によって、被験者は、識別情報に対応するキャリブレーションボードの正解位置を見るよう指示される。カメラ５は、被験者の視線画像（第１の視線画像）と識別情報表示装置２０に表示された識別情報を含むキャリブレーション画像を撮影する（ステップＳ１１３）。キャリブレーションボードに配置された正解位置ごとに、ステップＳ２１２～Ｓ１１３を繰り返す。カメラ５は、キャリブレーション画像を画像処理装置１０に出力する。
視線推定システム１の変形例において、音声出力装置２４は、識別情報表示装置２０の識別情報の表示と共に、被験者が目を向ける正解位置を指示する誘導音声を出力する。誘導音声の指示により被験者はキャリブレーションボードの正解位置をスムーズに注視することができる。さらに、誘導音声に正解位置を注視する時間間隔とカウントを含めることで、被験者がキャリブレーションボードの正解位置を注視する時間を安定化させることが可能になる。これにより、視線推定装置３０による視線推定の精度を向上させることができる。
（ハードウエア構成）
画像処理装置１０は、図１３に示すコンピュータ６０によって構成される。画像処理装置１０は、ＣＰＵ（Central Processing Unit）６１で、画像処理装置１０の各構成要素の機能をプログラム６４で実行することにより実現する。画像処理装置１０の各構成要素の機能は、ＣＰＵ６１がＲＯＭ（Read Only Memory）６２あるいは記憶装置６５からプログラム６４を読み込み、読み込んだプログラム６４を、ＣＰＵ６１、及び、ＲＡＭ（Random Access Memory）６３を用いて実行することで実現されてもよい。各構成要素とは、画像処理装置１０の取得部１１、出力部１２である。
また、上述の画像処理装置１０をＣＰＵ６１に機能させるためのプログラムが格納されたコンピュータ読み取り可能な記憶媒体６６によって構成されると捉えることもできる。なお、視線推定装置３０もコンピュータ６０によって構成することができる。記憶媒体６６は、例えばハードディスクドライブ、ドライブ装置６７に着脱可能なディスク媒体やメモリカードなどである。例えば、画像処理装置１０の取得部１１、出力部１２の構成要素は、集積回路による専用のハードウエアであってもよい。またコンピュータ６０は、ネットワークと接続可能な通信インターフェース６８、入出力インターフェース６９を含む。また、画像処理装置１０、視線推定装置３０の構成要素は、複数の装置に分散して配置されてもよく、その場合、複数の装置間を通信可能に接続することで装置単体と同様に機能することができる。なお、識別情報表示装置２０、識別情報生成装置２２、音声出力装置２４もコンピュータ６０によって実現される構成であってもよい。
本開示は上述した各実施形態に限定されるものではなく、種々の変更が可能であり、異なる実施形態にそれぞれ開示された構成、動作、処理を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
以上、上述した実施形態を模範的な例として本開示を説明した。しかしながら、本開示は、上述した実施形態には限定されない。即ち、本開示は、本開示のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
第１の実施形態に係る画像処理装置、及び、画像処理装置を含む視線推定システムについて図面を用いて説明する。図１は、視線推定システムの構成の例を示すブロック図である。図１に示す視線推定システム１は、カメラ５、画像処理装置１０、識別情報表示装置２０、識別情報生成装置２２、識別情報データベース２３、視線推定装置３０、視線情報データベース４０を備える。
カメラ５は、分析対象となる被験者の視線画像（第２の視線画像とも呼ばれる）、及び、キャリブレーション画像を撮影する。被験者の視線画像、キャリブレーション画像は動画像（映像）又は静止画像である。カメラ５は、分析対象となる被験者の視線画像を視線推定装置３０に出力し、キャリブレーション画像を画像処理装置１０に出力する。カメラ５は、画像処理装置１０又は識別情報表示装置２０からの撮影指示に応じてキャリブレーション画像を撮影してもよい。
識別情報表示装置２０は、画面上に識別情報を表示する。識別情報は、視線推定面上における正解位置の空間的な配置を識別するための情報である。例えば、キャリブレーションボード上に配置する正解位置を識別するための識別コードである。キャリブレーションボードと正解位置については後述する。識別情報表示装置２０は、キャリブレーションボードの正解位置ごとに異なる識別情報を表示する。識別コードは、例えば、２次元コード、１次元コードである。２次元コードは、例えばＱＲコード（登録商標）である。識別情報表示装置２０は、例えば、タブレット端末又はスマートフォン等の表示画面を備えるコンピュータである。識別情報表示装置２０は、例えば、所定の時間間隔で複数の識別情報を画面に表示する。なお、識別情報表示装置２０は、ディスプレイであってもよい。その場合、外部装置（図示せず）から出力された識別情報を受付けて表示する。
識別情報生成装置２２は、識別情報表示装置２０が画面に表示する識別情報を生成する。識別情報は、キャリブレーションボードの視線推定面上における正解位置の空間的な配置を識別するための情報である。このため、識別情報は、例えば、キャリブレーションボードごとに、各キャリブレーションボードにおける正解位置の配置、正解位置の数に応じて異なる情報となる。識別情報生成装置２２は、生成した識別情報を、識別情報表示装置２０、又は、識別情報データベース２３に出力する。
上記では、視線推定面上の正解位置を空間的に配置するためにキャリブレーションボードを用いる例で説明したが、これに限られない。例えば、視線推定面上にディスプレイを設置し、ディスプレイにキャリブレーション点（正解位置）を表示してもよい。また、キャリブレーション点が動画で表示され、正解位置の配置間を動くキャリブレーション点を被験者の目で追わせてもよい。例えば、ＱＲコードを表示するタブレット端末が、視線推定面上のディスプレイにキャリブレーション点の動画を出力してもよい。その場合、動画と連動させて、被験者が見ているキャリブレーション点の位置情報がＱＲコードで表示される。
図２は、キャリブレーション画像の撮影の例を示す上面図である。キャリブレーション画像の撮影には、例えば、キャリブレーションボード５１が用いられる。キャリブレーションボード５１には、キャリブレーションのための正解位置が付与されている。被験者５０は、キャリブレーションボード５１に向うように配置される。このとき、キャリブレーションボード５１が視線推定面となり、被験者５０の目の位置が被写体面５２となる。カメラ５は、キャリブレーションボード５１の上に配置される。
図３は、キャリブレーションボード５１の例を示す図である。図３に示すキャリブレーションボード５１には、４つの角にそれぞれキャリブレーションための正解位置５１１、正解位置５１２、正解位置５１３、正解位置５１４が配置される。図３のキャリブレーションボードには、被験者５０が目視できる大きさで番号が設置されている。
キャリブレーション画像の撮影の説明において、キャリブレーションボードの正解位置に番号を付与する例で説明したが、これに限られない。被験者が視認可能な目印が正解位置に配置されていればよい。
図４は、カメラ５で撮影されるキャリブレーション画像の例を示す図である。キャリブレーション画像には、被験者の顔画像（視線画像を含む）と、識別情報表示装置２０に表示された識別情報２１が含まれる。キャリブレーション画像に含まれる識別情報２１は、キャリブレーションボード５１に配置された正解位置を示す識別コードである。
識別情報表示装置２０が表示する識別情報２１について説明する。図５は、正解位置と識別情報との関係を示すテーブルである。図５のＱＲコード１～４は、それぞれキャリブレーションボードの正解位置に紐づく正解位置ＩＤ（Identifier）の１～４に対応する。識別情報表示装置２０は、図５に示すテーブルを参照し、正解位置ごとにＱＲコードを表示する。
＜画像処理装置＞
第１の実施形態に係る画像処理装置１０について図面を用いて説明する。図６は、第１の実施形態に係る画像処理装置１０の構成の例を示すブロック図である。図６に示す画像処理装置１０は、取得部１１と、出力部１２、記憶部（図示せず）を備える。
取得部１１は、被験者の視線画像（第１の視線画像）と、被験者の視線方向の正解位置を示す識別情報２１と、を含むキャリブレーション画像を取得する。出力部１２は、キャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報２１に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。例えば、出力部１２は、正解位置を示す識別情報２１ごとに被験者の視線画像ファイルに正解位置の情報を付与して出力する。キャリブレーション画像の出力先は、例えば、画像処理装置１０と通信可能に接続された視線推定装置３０である。なお、出力部１２は、キャリブレーション情報を記憶部（図示せず）に記憶させてもよい。
＜視線推定装置＞
図１に示す視線推定装置３０は、分析対象となる被験者の視線画像と、キャリブレーション画像に基づき、分析対象の視線画像における被験者の視線を推定する。視線推定装置３０は、視線推定部３１を備える。
視線推定部３１は、被験者の顔画像に含まれる視線画像から、被験者の視線を推定する。具体的には、視線推定部３１は、視線画像から視線角度を推定し、被験者の視線を推定する。視線推定部３１は、周知である任意の視線の推定方法を用いることができる。本実施形態では、視線推定部３１は、分析対象となる被験者の視線画像とキャリブレーション画像を用い、ホモグラフィ変換などによって、被写体面と視線推定面の関係に基づき、視線を推定する。視線推定部３１は、視線の推定結果を出力する。出力先の例は、視線推定装置３０と通信可能に接続された視線情報データベース４０である。
図１では、画像処理装置１０と視線推定装置３０が分離された構成の例で説明したが、これに限られない。視線推定装置３０は、画像処理装置１０を含んだ構成であってもよい。図７は、画像処理装置１０を含む視線推定装置３０の構成の例を示す図である。図７に示す視線推定装置３０は、画像処理装置１０、視線推定部３１を備える。
図７に示す視線推定装置３０において、視線推定部３１は、カメラ５からの分析対象となる被験者の視線画像（第２の視線画像）を受付け、画像処理装置１０は、キャリブレーション画像を受付ける。画像処理装置１０は、受付けたキャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報２１に含まれる正解位置とを関連付けたキャリブレーション情報を、視線推定部３１に送る。視線推定部３１は、キャリブレーション情報を用いて、分析対象となる被験者の視線画像（第２の視線画像）から視線を推定する。
次に、第１の実施形態に係る画像処理装置１０の動作、および、視線推定システム１の動作について図面を用いて説明する。図８は、図１に示す視線推定システム１の動作の例を示すフローチャートである。以下の説明では、視線推定システムの動作について、被験者撮影処理、キャリブレーション撮影処理、キャリブレーション画像処理、視線推定処理に分けて説明する。
［被験者撮影処理］
カメラ５は、分析対象となる被験者の視線画像（第２の視線画像）を撮影し（ステップＳ１１１）、分析対象となる被験者の視線画像を視線推定装置３０に出力する。
［キャリブレーション撮影処理］
識別情報表示装置２０は、画面に正解位置に対応する識別情報２１を表示する（ステップＳ１２）。被験者は、識別情報２１に対応するキャリブレーションボードの正解位置を見る。カメラ５は、被験者の視線画像（第１の視線画像）と識別情報表示装置２０に表示された識別情報２１を含むキャリブレーション画像を撮影する（ステップＳ１１３）。キャリブレーションボードに配置された正解位置ごとに、ステップＳ１１２～Ｓ１１３を繰り返す。カメラ５は、キャリブレーション画像を画像処理装置１０に出力する。
［キャリブレーション画像処理］
画像処理装置１０は、キャリブレーション画像に基づき、キャリブレーション情報を出力する（ステップＳ１１４）。ステップＳ１１４は、画像処理装置１０の動作に対応する。図９は、画像処理装置１０の動作の例を示すフローチャートである。取得部１１は、被験者の視線画像（第１の視線画像）と、被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する（ステップＳ１１）。取得部１１は、取得したキャリブレーション画像を出力部１２に送る。出力部１２は、キャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する（ステップＳ１２）。詳しくは、出力部１２は、キャリブレーション情報を視線推定装置３０に出力する。
［視線推定処理］
視線推定装置３０は、分析対象となる被験者の視線画像（第２の視線画像）と、キャリブレーション情報を受付ける（ステップＳ１１５）。視線推定装置３０の視線推定部３１は、キャリブレーション情報を用いて、分析対象となる被験者の視線画像（第２の視線画像）から視線を推定する（ステップＳ１１６）。
（第１の実施形態の効果）
第１の実施形態の画像処理装置１０によれば、取得部１１は、被験者の第１の視線画像と、被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する。出力部１２は、キャリブレーション画像に基づき、第１の視線画像と、識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。キャリブレーション画像からキャリブレーションの正解位置と、その正解位置を見る被験者の視線画像（視線情報）を得ることができるので、正解位置を付与する後処理が不要となる。
なお、画像処理装置１０を含む視線推定装置３０は、カメラ５から、分析対象となる被験者の視線画像（第２の視線画像）と、キャリブレーション画像を取得することで、分析対象の視線画像の視線の推定を開始することができるため、分析処理の時間を大幅に削減できる。
（変形例）
次に、視線推定システム１の変形例について図面を用いて説明する。図１０は、視線推定システムの変形例の構成の例を示すブロック図である。図１０に示す視線推定システム１の変形例は、図１に示す視線推定システムに音声出力装置２４が追加されている。音声出力装置２４は、キャリブレーション撮影処理の際に、被験者が目を向ける正解位置を指示する誘導音声を出力する。また、誘導音声には、被験者に対し正解位置を注視して欲しい時間間隔とその時間間隔のカウントを含めてもよい。
図１１は、正解位置、識別情報および誘導音声との関係を示すテーブルである。図１１に示す誘導音声は、キャリブレーションボード５１の正解位置に対する識別子、及び、識別情報とに関連付けされている。図１１に示す誘導音声の例は、「まず、５秒間、左上を見てください。５，４，３，２，１…」である。
図１２は、視線推定システム１の変形例の動作の例を示すフローチャートである。図１２に示す視線推定システム１の変形例の動作は、図８に示す視線推定システム１の動作におけるキャリブレーション撮影処理のステップＳ１１２がステップＳ２１２となっている点が異なる。このため、視線推定システム１の変形例のステップＳ２１２を説明し、他のステップの詳細な説明は省略する。
識別情報表示装置２０は、ステップＳ１１１の後、画面に正解位置に対応する識別情報を表示すると共に誘導音声を出力する（ステップＳ２１２）。誘導音声によって、被験者は、識別情報に対応するキャリブレーションボードの正解位置を見るよう指示される。カメラ５は、被験者の視線画像（第１の視線画像）と識別情報表示装置２０に表示された識別情報を含むキャリブレーション画像を撮影する（ステップＳ１１３）。キャリブレーションボードに配置された正解位置ごとに、ステップＳ２１２～Ｓ１１３を繰り返す。カメラ５は、キャリブレーション画像を画像処理装置１０に出力する。
視線推定システム１の変形例において、音声出力装置２４は、識別情報表示装置２０の識別情報の表示と共に、被験者が目を向ける正解位置を指示する誘導音声を出力する。誘導音声の指示により被験者はキャリブレーションボードの正解位置をスムーズに注視することができる。さらに、誘導音声に正解位置を注視する時間間隔とカウントを含めることで、被験者がキャリブレーションボードの正解位置を注視する時間を安定化させることが可能になる。これにより、視線推定装置３０による視線推定の精度を向上させることができる。
（ハードウエア構成）
画像処理装置１０は、図１３に示すコンピュータ６０によって構成される。画像処理装置１０は、ＣＰＵ（Central Processing Unit）６１で、画像処理装置１０の各構成要素の機能をプログラム６４で実行することにより実現する。画像処理装置１０の各構成要素の機能は、ＣＰＵ６１がＲＯＭ（Read Only Memory）６２あるいは記憶装置６５からプログラム６４を読み込み、読み込んだプログラム６４を、ＣＰＵ６１、及び、ＲＡＭ（Random Access Memory）６３を用いて実行することで実現されてもよい。各構成要素とは、画像処理装置１０の取得部１１、出力部１２である。
また、上述の画像処理装置１０をＣＰＵ６１に機能させるためのプログラムが格納されたコンピュータ読み取り可能な記憶媒体６６によって構成されると捉えることもできる。なお、視線推定装置３０もコンピュータ６０によって構成することができる。記憶媒体６６は、例えばハードディスクドライブ、ドライブ装置６７に着脱可能なディスク媒体やメモリカードなどである。例えば、画像処理装置１０の取得部１１、出力部１２の構成要素は、集積回路による専用のハードウエアであってもよい。またコンピュータ６０は、ネットワークと接続可能な通信インターフェース６８、入出力インターフェース６９を含む。また、画像処理装置１０、視線推定装置３０の構成要素は、複数の装置に分散して配置されてもよく、その場合、複数の装置間を通信可能に接続することで装置単体と同様に機能することができる。なお、識別情報表示装置２０、識別情報生成装置２２、音声出力装置２４もコンピュータ６０によって実現される構成であってもよい。
本開示は上述した各実施形態に限定されるものではなく、種々の変更が可能であり、異なる実施形態にそれぞれ開示された構成、動作、処理を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
以上、上述した実施形態を模範的な例として本開示を説明した。しかしながら、本開示は、上述した実施形態には限定されない。即ち、本開示は、本開示のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【符号の説明】
【0009】
５ カメラ
１０ 画像処理装置
１１ 取得部
１２ 出力部
２０ 識別情報表示装置
２１ 識別情報
２４ 音声出力装置
３０ 視線推定装置
３１ 視線推定部
５０ 被験者
５１ キャリブレーションボード
５１１、５１２、５１３、５１４ 正解位置
１０ 画像処理装置
１１ 取得部
１２ 出力部
２０ 識別情報表示装置
２１ 識別情報
２４ 音声出力装置
３０ 視線推定装置
３１ 視線推定部
５０ 被験者
５１ キャリブレーションボード
５１１、５１２、５１３、５１４ 正解位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】