特許 6952298 視線変換装置及び視線変換方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6952298

(24)【登録日】2021年9月30日

(45)【発行日】2021年10月20日

(54)【発明の名称】視線変換装置及び視線変換方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20211011BHJP

   H04N 5/262 20060101ALI20211011BHJP

【ＦＩ】

   G06T1/00 340A

   H04N5/262

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2017-29784(P2017-29784)

(22)【出願日】2017年2月21日

(65)【公開番号】特開2018-136666(P2018-136666A)

(43)【公開日】2018年8月30日

【審査請求日】2020年1月20日

(73)【特許権者】

【識別番号】598045058

【氏名又は名称】株式会社サムスン日本研究所

(73)【特許権者】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】北島 利浩

(72)【発明者】

【氏名】陳 延偉

(72)【発明者】

【氏名】瀬尾 昌孝

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１５−１４９０１６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２６２

(57)【特許請求の範囲】

【請求項1】

被撮影者の顔の画像を処理対象画像として取得するカメラと、
撮影装置の方向に視線が向いた前記被撮影者の顔の複数の画像を参照画像として格納する参照画像記憶装置と、
複数の前記参照画像に基づいて、前記被撮影者の目の形状についての形状モデルを生成する形状モデル生成器と、
前記処理対象画像における前記被撮影者の目の特徴点を抽出する特徴点抽出器と、
前記形状モデルを用いて、前記特徴点の位置を補正する特徴点位置補正器と、
前記特徴点位置補正器で位置を補正された前記特徴点で規定される領域に、前記参照画像の対応する領域を転写して、前記被撮影者の視線が前記カメラの方向を向いているように見えるように、前記処理対象画像を補正する画像補正器と
を備え、
前記形状モデル生成器は、前記複数の参照画像のそれぞれから抽出された前記被撮影者の目の特徴点に基づいて、主成分分析によって前記形状モデルを生成する
視線変換装置。

【請求項2】

請求項１に記載の視線変換装置において、
前記画像補正器は、前記処理対象画像における前記特徴点で規定される目の形状を、前記参照画像における目の形状に、ワーピングにより変形させる
視線変換装置。

【請求項3】

請求項２に記載の視線変換装置において、
前記画像補正器は、
前記ワーピングを行った後の前記特徴点で規定される目の領域を拡大し、拡大後の領域において、目の中央に近づくに従って前記処理対象画像に含まれる画像から前記参照画像に含まれる画像に徐々に変化するように、前記参照画像に含まれる画像を、前記処理対象画像に含まれる画像に重ねる
視線変換装置。

【請求項4】

被撮影者の顔の画像を処理対象画像としてカメラによって取得し、
撮影装置の方向に視線が向いた前記被撮影者の顔の複数の画像を参照画像として格納し、
複数の前記参照画像に基づいて、前記被撮影者の目の形状についての形状モデルを生成し、
前記処理対象画像における前記被撮影者の目の特徴点を抽出し、
前記形状モデルを用いて、前記特徴点の位置を補正し、
位置を補正された前記特徴点で規定される領域に、前記参照画像の対応する領域を転写して、前記被撮影者の視線が前記カメラの方向を向いているように見えるように、前記処理対象画像を補正し、
前記形状モデルを生成することは、前記複数の参照画像のそれぞれから抽出された前記被撮影者の目の特徴点に基づいて、主成分分析によって前記形状モデルを生成することを含む
視線変換方法。

【請求項5】

請求項４に記載の視線変換方法において、
前記処理対象画像を補正することは、前記処理対象画像における前記特徴点で規定される目の形状を、前記参照画像における目の形状に、ワーピングにより変形させることを含む
視線変換方法。

【請求項6】

請求項５に記載の視線変換方法において、
前記処理対象画像を補正することは、前記ワーピングを行った後の前記特徴点で規定される目の領域を拡大し、拡大後の領域において、目の中央に近づくに従って前記処理対象画像に含まれる画像から前記参照画像に含まれる画像に徐々に変化するように、前記参照画像に含まれる画像を、前記処理対象画像に含まれる画像に重ねることを含む
視線変換方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像において被撮影者の視線の向きを変える視線変換技術に関する。

【背景技術】

【0002】

映像対話システムでは、通常、カメラの位置とディスプレイの画面の位置とが異なる。このため、ユーザは、画面を見ている会話相手と目線を合わせることができず、同様に、会話相手もユーザと目線を合わせることができない。より自然な対話のために、目線が合う映像対話システムが望まれている。

【0003】

特許文献１には、ハーフミラーを追加して正面向きの顔画像を取得することが記載されている。特許文献２には、モニター画面の左右に１台ずつカメラを設置することにより正面向きの顔画像を生成することが記載されている。特許文献３には、眼部画像を、瞳の位置がその眼部画像の中央となるように補正することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１−１７７９４９号公報

【特許文献2】特開平８−２５１５６２号公報

【特許文献3】特開２０１５−１４９０１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、ハーフミラーやカメラ等のハードウェアを追加すると、システムが大型化してしまうという問題がある。また、特許文献３のように画像を補正する場合には、単純にフレーム毎に処理を行うと、目の位置がフレーム毎に異なってしまい、不自然な動画像が得られることがある。

【0006】

本発明は、被撮影者の視線を変更した画像、特に動画像を求める場合に、システムを大型化させることなく、より自然な動画像が得られるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本開示による視線変換装置は、被撮影者の顔の画像を処理対象画像として取得するカメラと、撮影装置の方向に視線が向いた前記被撮影者の顔の複数の画像を参照画像として格納する参照画像記憶装置と、複数の前記参照画像に基づいて、前記被撮影者の目の形状についての形状モデルを生成する形状モデル生成器と、前記処理対象画像における前記被撮影者の目の特徴点を抽出する特徴点抽出器と、前記形状モデルを用いて、前記特徴点の位置を補正する特徴点位置補正器と、前記特徴点位置補正器で位置を補正された前記特徴点で規定される領域に、前記参照画像の対応する領域を転写して、前記被撮影者の視線が前記カメラの方向を向いているように見えるように、前記処理対象画像を補正する画像補正器とを有する。

【0008】

本開示による視線変換方法は、被撮影者の顔の画像を処理対象画像として取得し、撮影装置の方向に視線が向いた前記被撮影者の顔の複数の画像を参照画像として格納し、複数の前記参照画像に基づいて、前記被撮影者の目の形状についての形状モデルを生成し、前記処理対象画像における前記被撮影者の目の特徴点を抽出し、前記形状モデルを用いて、前記特徴点の位置を補正し、位置を補正された前記特徴点で規定される領域に、前記参照画像の対応する領域を転写して、前記被撮影者の視線が前記カメラの方向を向いているように見えるように、前記処理対象画像を補正する。

【0009】

これらの視線変換装置及び視線変換方法によると、被撮影者がカメラの方向を向いていなくても、その視線がカメラに向けられているように見える画像が得られる。したがって、対話相手には、自分に視線が向けられているように見え、自然な対話が可能になる。形状モデルを用いるので、特に動画像において目の位置が安定し、より自然な動画像が得られる。ハーフミラー等を追加する必要がないので、システムを大型化させることがない。また、２次元画像を対象とする処理を行うので、計算コストを比較的小さく抑えることができる。

【発明の効果】

【0010】

本開示によれば、システムを大型化させることなく、より自然な動画像が得られるようにすることが可能になる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施形態に係る視線変換装置の構成例を示すブロック図である。

【図2】図２は、本発明の実施形態に係る視線変換方法における、形状モデルの生成処理の例を示すフローチャートである。

【図3】図３は、目の特徴点の例を示す説明図である。

【図4】図４は、固有ベクトルを用いて構成された固有空間において、各固有ベクトルに対応する係数を変化させた場合の目の形状変化の例を示す図である。

【図5】図５は、用いられる固有ベクトルの数（基底の数）と累積寄与率との関係の例を示す図である。

【図6】図６は、本発明の実施形態に係る視線変換方法における、対象画像に対する処理の例を示すフローチャートである。

【図7】図７は、処理対象画像における抽出された特徴点と目領域の例を示す図である。

【図8】図８は、参照画像における抽出された特徴点と目領域の例を示す図である。

【図9】図９は、図８の特徴点位置の補正を行う処理の例を更に詳細に示すフローチャートである。

【図10】図１０は、処理対象画像における抽出された特徴点の位置が正しくない場合の例を示す図である。

【図11】図１１は、位置が補正された特徴点の例を示す図である。

【図12】図１２は、参照画像における目の形状及び特徴点の例を示す説明図である。

【図13】図１３は、目の周囲に再配置された特徴点の例を示す図である。

【図14】図１４は、処理前の処理対象画像の例である。

【図15】図１５は、図１４の画像に図６の処理を行って得られた画像の例である。

【図16】図１６は、相関値の推移の例を示すグラフである。

【図17】図１７は、本発明の実施形態に係る視線変換装置を実現するコンピュータシステムの構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を参照しながら説明する。

【0013】

図１は、本発明の実施形態に係る視線変換装置の構成例を示すブロック図である。図１の視線変換装置１０は、参照画像記憶装置１２と、形状モデル生成器１４と、カメラ１６と、特徴点抽出器１８と、特徴点位置補正器２０と、画像補正器２２と、画像出力器２８とを有する。画像補正器２２は、テクスチャ合成器２４と、形状変化器２６とを有する。

【0014】

参照画像記憶装置１２は、撮影装置の方向に視線が向いた被撮影者の顔の複数の画像を参照画像として格納する。これらの画像は、予め撮影されて格納されている。形状モデル生成器１４は、複数の参照画像に基づいて、被撮影者の目の形状についての統計形状モデル（以下では単に形状モデルと称する）を生成する。目の形状は、目の特徴点によって表される。

【0015】

カメラ１６は、被撮影者の顔の画像を処理対象画像として取得する。特徴点抽出器１８は、処理対象画像における被撮影者の目の特徴点を抽出する。特徴点位置補正器２０は、形状モデル生成器１４で生成された形状モデルを用いて、処理対象画像における特徴点の位置を補正する。画像補正器２２は、特徴点位置補正器２０で位置を補正された特徴点で規定される領域に、参照画像の対応する領域を転写して、被撮影者の視線がカメラ１６の方向を向いているように見えるように、処理対象画像を補正する。

【0016】

被撮影者であるユーザは、テレビジョン受信機の画面、又はコンピュータに接続されたディスプレイを見ながら、対話相手と会話をする。ユーザのテレビジョン受信機又はコンピュータは、インターネット等の通信ネットワークを経由して、対話相手のテレビジョン受信機又はコンピュータと接続されている。ユーザの顔は、カメラ１６によって撮影され、その画像が、視線変換装置１０によって処理された後に対話相手に送信される。以下では、カメラ１６は、例えば、ディスプレイの上に配置されているものとして説明するが、カメラ１６がディスプレイの近辺の他の場所に配置されていたりテレビジョン受信機に内蔵されていてもよく、そのような場合についても同様に説明することができる。

【0017】

図２は、本発明の実施形態に係る視線変換方法における、形状モデルの生成処理の例を示すフローチャートである。まず、形状モデルの生成について説明する。ブロック１１２において、例えばカメラ１６がユーザの顔の画像を複数枚撮影し、参照画像記憶装置１２がこれらの画像を格納する。このとき、ユーザは、ディスプレイを見ながら対話相手と会話をするときとほぼ同じ位置にいる（例えば座っている）。また、ユーザの顔はディスプレイの方を向いているが、ユーザの視線は撮影をするカメラの方向に向いている。カメラ１６に代えて、他の撮影装置によってユーザの顔の画像を撮影してもよい。この場合、撮影装置とユーザとの位置関係は、上述の場合と同様にしておく。参照画像記憶装置１２に格納される画像の枚数は、例えば１００枚であるが、これ以上又はこれ以下の枚数であってもよい。

【0018】

図３は、目の特徴点の例を示す説明図である。図３のブロック１１４において、参照画像記憶装置１２に格納された参照画像から目の特徴点が抽出され、抽出された特徴点が参照画像に付与され、参照画像記憶装置１２に格納される。この処理は、参照画像記憶装置１２に格納された参照画像のそれぞれについて行われる。特徴点は、目の形状及び領域を表すように、例えば図３の白丸のように求められる。図３の例では、左右の目のそれぞれについて、瞳のほぼ中心の点と、目の領域の境界線上の８点とが、特徴点として求められる。境界線上の点として、目の領域の左右の端の点、及びこれらに加えて上側の境界線上に３点、下側の境界線上に３点が求められている。正確な特徴点の位置を求めるために、ここでは手動で特徴点を求めることとするが、十分に計算コストを掛けて十分な精度で特徴点を抽出することができる場合には、自動的に特徴点を求めるようにしてもよい。

【0019】

ブロック１１６では、形状モデル生成器１４は、全ての参照画像について、アライメントをとる処理を行う。ここでは、形状モデル生成器１４は、各参照画像における目の位置、傾き、サイズがほぼ同じになるように、画像の平行移動、回転、拡大・縮小を行う。例えば特徴点の位置を用いて、アライメントをとることができる。

【0020】

ブロック１１８では、形状モデル生成器１４は、複数の参照画像のそれぞれから抽出されたユーザの目の特徴点に基づいて、主成分分析によって、目の形状についての形状モデルを生成する。主成分分析の例について説明する。各参照画像について、左右の目のそれぞれについて、ｕ次元のベクトルｃ＝｛ｃ_１，ｃ_２，…，ｃ_ｕ｝を考える。本実施形態では、ベクトルcは、順に並べられた目の９個の特徴点の座標（ｘ座標及びｙ座標）を要素として有する１８次元ベクトルであって（ｕ＝１８）、目の領域を表している。

【0021】

形状モデル生成器１４は、Ｎ個のベクトルｃから、平均ベクトルを次の式１で求める。

【0022】

【数1】

【0023】

形状モデル生成器１４は、各ベクトルｃと平均ベクトルとから、式２によって共分散行列Ｓを求める。共分散行列Ｓは、ｕ×ｕの行列である。

【0024】

【数2】

【0025】

形状モデル生成器１４は、この共分散行列Ｓに対して、固有値問題（式３）を解くことによって固有値λ_ｉと固有ベクトル（主成分）ｖ_ｉとを求める。

【0026】

【数3】

【0027】

形状モデル生成器１４は、上位ｍ個（ここでは８個）の固有値にそれぞれ対応するｍ個の固有ベクトルを選択する。形状モデル生成器１４は、選択された固有ベクトルを、例えば参照画像記憶装置１２に格納する。

【0028】

選択された固有ベクトルを用いて構成された固有空間Ｖ＝（ｖ_１，ｖ_２，…，ｖ_ｍ）において、ベクトルｃの係数ベクトルｂ＝（ｂ_１，ｂ_２，…，ｂ_ｍ）を、式４のように求めることができる。係数ベクトルは、各固有ベクトルに対する係数を要素として有するベクトルであって、特徴ベクトルとも呼ばれる。

【0029】

【数4】

【0030】

形状モデル生成器１４は、式４を用いて係数ベクトルｂを求める。ベクトルｃは、係数ベクトルｂを用いて、式５のように固有ベクトルｖ_ｉの線形和として表現することができる。

【0031】

【数5】

【0032】

固有ベクトルｖ_ｉは目の固有形状とも呼ばれ、目の形状特徴を表す。使用される固有ベクトルの数ｍがベクトルｃの次元数ｕよりも小さいときには、式５によって元のデータの次元数を削減したということができる。固有ベクトルｖ_ｉは、それぞれ、“目の開き度合い”や“釣り目度合い”のような目の形状特徴を平均形状からの差分として表しており、それぞれに係る係数を増減することで容易に目の形状を変化させることができる。また，式４を用いて未知の目の形状をこの固有空間に投影し、求められた各係数の値から、その個人の目の形状の特徴（目の開き度合い，釣り目度合い等）を判定することも可能である。このように、ｍ個の固有ベクトルｖ_ｉは、様々な目の形状を表現できる、目の形状についての統計形状モデルであるということができる。

【0033】

求められた主成分（固有ベクトルｖ_１〜ｖ_８）の例を、表１に示す。表１のベクトルｃに対応する係数ベクトルｂの例を表２に示す。

【0034】

【表1】

【0035】

【表2】

【0036】

図４は、固有ベクトルを用いて構成された固有空間Ｖにおいて、各固有ベクトルに対応する係数ｂ_ｉを変化させた場合の目の形状変化の例を示す図である。第１〜第３主成分は、主成分分析により取得した固有ベクトルのうち、情報量の多い（固有値の大きい）方から第３位までの固有ベクトルである。図４から、各固有ベクトルが目の異なる形状特徴を表していることがわかる。また、各固有ベクトルに対応する係数ｂ_ｉを変化させることで形状の変化は見られるが、位置、サイズ、又は傾きには変化がないことがわかる。図４において、σは、主成分分析で用いられた参照画像から求められた各固有ベクトルの係数ｂ_ｉの標準偏差を示し、mean±０σの列は平均ベクトルを示す。

【0037】

図５は、用いられる固有ベクトルの数（基底の数）と累積寄与率との関係の例を示す図である。図５では、右目についての累積寄与率Ｒと、左目についての累積寄与率Ｌとが示されている。図５に示されているように、形状モデルとして用いられる固有ベクトルの数が多くなるほど、主成分分析において情報の累積寄与率が大きくなるが、その後の形状モデルを用いた演算量も増加する。本実施形態では、累積寄与率が９５％を超えるように、固有ベクトルの数ｍとして８を採用した。

【0038】

図６は、本発明の実施形態に係る視線変換方法における、対象画像に対する処理の例を示すフローチャートである。図２の処理が終了した後、図６の処理が行われる。図２の処理を１回行っておけば、その後、図２の処理を行う必要はない。

【0039】

図６のブロック１４０Ａにおいては、処理対象画像（第１フレーム）が入力される。具体的には、カメラ１６が、ユーザの顔の画像を撮影し、特徴点抽出器１８に出力する。

【0040】

ブロック１４２において、特徴点抽出器１８は、カメラ１６から処理対象画像を受け取り、参照画像記憶装置１２から適切な１枚の参照画像を読み出す。ここで、特徴点抽出器１８は、処理対象画像における顔の向きに近い向きの顔画像、例えば、処理対象画像における顔の向きに最も近い向きの顔画像を含む参照画像を読み出す。特徴点抽出器１８は、処理対象画像及び参照画像から、例えば図３のように目の特徴点を抽出し、これらの画像及び特徴点の座標を出力する。このような顔の向きの検出や特徴点抽出は、当業者によく知られた方法で可能である。図７は、処理対象画像における抽出された特徴点と目領域の例を示す図である。図８は、参照画像における抽出された特徴点と目領域の例を示す図である。目領域は、抽出された特徴点で囲まれる領域として規定される。

【0041】

ブロック１４４Ａにおいて、特徴点位置補正器２０は、ユーザの目が形状モデルを用いて表される形状を有するように、処理対象画像における特徴点位置の補正を行う。ここでは、抽出された特徴点を初期座標とし、目の統計形状モデルによる形状変換と、平行移動、拡大縮小、又は回転とを組み合わせて、初期座標の近傍でより適切な、例えば最適な、目の特徴点座標を探索する。特徴点位置の補正のためのこのような探索処理について説明する。

【0042】

図９は、図８の特徴点位置の補正を行う処理（ブロック１４４Ａ）の例を更に詳細に示すフローチャートである。ブロック１６０では、特徴点位置補正器２０は、処理対象画像の目領域に対してPiecewise-Affine変換によるワーピングを行い、その画素数を参照画像の目領域の画素数と同じにする。以下の処理において、両画像の目領域の間の相関値を求める必要があるからである。なお、参照画像の目領域の画素数が処理対象画像の目領域の画素数と同じになるように、ワーピングを行ってもよい。

【0043】

ブロック１６１では、特徴点位置補正器２０は、処理対象画像をｘ軸方向に平行移動しながら、評価関数としての式６を用いて、処理対象画像と参照画像との間の相関値ｒを求める。

【0044】

【数6】

ここで、例えば、値ｔ^１，ｔ^２はそれぞれ処理対象画像及び参照画像の輝度値を表し、Ｍは目領域の総画素数を表す。値ｔ^１，ｔ^２は、輝度以外の値、例えば色相や彩度等であってもよい。平行移動の際には、特徴点位置補正器２０は、例えば、目の横幅×0.02のステップで、負の方向に３ステップ、正の方向に３ステップ、処理対象画像を移動させ、移動させる毎に相関値ｒを求める。特徴点位置補正器２０は、相関値ｒが最大となる処理対象画像の位置を求め、その位置に処理対象画像を置く。

【0045】

ブロック１６２では、特徴点位置補正器２０は、処理対象画像をｙ軸方向に平行移動しながら、評価関数としての式６を用いて、処理対象画像と参照画像との間の相関値ｒを求める。平行移動の際には、特徴点位置補正器２０は、例えば、目の縦幅×0.02のステップで、負の方向に３ステップ、正の方向に３ステップ、処理対象画像を移動させ、移動させる毎に相関値ｒを求める。特徴点位置補正器２０は、相関値ｒが最大となる処理対象画像の位置を求め、その位置に処理対象画像を置く。

【0046】

ブロック１６４では、特徴点位置補正器２０は、処理対象画像を拡大又は縮小しながら、評価関数としての式６を用いて、処理対象画像と参照画像との間の相関値ｒを求める。拡大又は縮小の際には、特徴点位置補正器２０は、例えば、倍率２％のステップで、負の方向に３ステップ、正の方向に３ステップ、処理対象画像を拡大又は縮小させ、拡大又は縮小させる毎に相関値ｒを求める。特徴点位置補正器２０は、相関値ｒが最大となる処理対象画像の倍率を求め、その倍率になるように処理対象画像を拡大又は縮小させる。

【0047】

ブロック１６６では、特徴点位置補正器２０は、処理対象画像を回転させながら、評価関数としての式６を用いて、処理対象画像と参照画像との間の相関値ｒを求める。回転の際には、特徴点位置補正器２０は、例えば、傾き１°のステップで、負の方向に３ステップ、正の方向に３ステップ、処理対象画像を回転させ、回転させる毎に相関値ｒを求める。特徴点位置補正器２０は、相関値ｒが最大となる処理対象画像の傾きを求め、その傾きになるように処理対象画像を回転させる。

【0048】

ブロック１６８では、特徴点位置補正器２０は、形状モデル用の係数（すなわち、係数ベクトルｂ）を決定する。特徴点位置補正器２０は、形状モデルの各係数を変化させながら（つまり、係数ベクトルｂを変化させながら）、評価関数としての式６を用いて、処理対象画像と参照画像との間の相関値ｒを求める。より具体的には、特徴点位置補正器２０は、まず第１主成分に対応する係数ｂ_１を、例えば、標準偏差σ×０．５のステップで、負の方向に６ステップ、正の方向に６ステップ、変更し、変更する毎に相関値ｒを求める。特徴点位置補正器２０は、相関値ｒが最大となる係数を求め、その値に係数ｂ_１を決定する。係数ｂ_１の標準偏差σは、形状モデルを求める際に、複数の参照画像から求めておく。

【0049】

その後、特徴点位置補正器２０は、同様の処理を第２、第３、…、第８主成分に対して、この順に行い、係数ｂ_２，ｂ_３，…，ｂ_８を決定する。標準偏差σとしては、それぞれの主成分に対する係数の標準偏差を用いる。すると、前述の式５により、目の形状に対応するベクトルｃを求めることができる。特徴点位置補正器２０は、求められた係数ｂ_１，ｂ_２，…，ｂ_８を出力する。

【0050】

以上のような探索の範囲の例を、表３に示す。

【0051】

【表3】

【0052】

図１０は、処理対象画像における抽出された特徴点の位置が正しくない場合の例を示す図である。図１１は、位置が補正された特徴点の例を示す図である。ブロック１４２において特徴点抽出器１８によって抽出された特徴点の位置が、図１０に示されているように、正しくないことがある。このような場合に、図９の処理によって特徴点位置の補正を行うと、例えば図１１のように、特徴点位置を正しい位置に補正することができる。

【0053】

なお、図９のブロック１６１，１６２，１６４及び１６６の処理の順序を入れ換えてもよい。

【0054】

次に、図６のブロック１４６Ａにおいて、テクスチャ合成器２４は、補正された特徴点で規定される領域に、参照画像の対応する領域を転写して、ユーザの視線がカメラ１６の方向を向いているように見えるように、処理対象画像を補正する。テクスチャ合成器２４は、具体的には次の処理を行う。すなわち、テクスチャ合成器２４は、特徴点を使用して、処理対象画像及び参照画像の目領域を、図３のように三角形領域に分割する。テクスチャ合成器２４は、三角形領域毎に、参照画像の目の領域のテクスチャを、ピースワイズアフィン（Piecewise-Affine）変換を用いて処理対象画像の対応する領域に転写する。この際、各三角形領域においてアフィン変換が行われる。

【0055】

次に、テクスチャ合成器２４による処理後の画像に対して、形状変化器２６は、形状補正を行う。処理対象画像の目の形状は、ユーザの視線がカメラの方向を向いている参照画像の目の形状とは異なるので、前述のテクスチャ転写の結果は形状とテクスチャのバランスが悪く、不自然な画像になりがちである。そこで、更に、形状変化器２６は、処理対象画像における、特徴点で規定される目の形状を、参照画像における目の形状にワーピングにより補正して、自然な転写結果を実現する。

【0056】

図１２は、参照画像における目の形状及び特徴点の例を示す説明図である。例えば、処理対象画像の目の形状が図３のような形状である場合に、形状変化器２６は、目の形状を図１２のような形状に補正する。この補正については、カメラ、ディスプレイ、及びユーザの相対位置が決まれば、必要となる補正（処理対象画像と参照画像との間での目の形状の関係）がほぼ確定する。ディスプレイより上にカメラを設置した場合には、この補正は主に目の開きを大きくする処理に相当する。ワーピング手法としては、例えばＦＦＤ（Free-Form Deformation）を使用する。

【0057】

ここで、テクスチャの転写を行う際の処理を更に説明する。図１３は、目の周囲に再配置された特徴点の例を示す図である。転写されたテクスチャとその周囲のテクスチャとの境界が不自然であることがある。特徴点の自動抽出では多少の位置の誤差が発生することが多いこと、また、そもそも異なる画像のテクスチャを転写するので、同一環境で同一人物を撮影したとしても、処理対象画像と参照画像とでは対応する部分の輝度値にある程度の差異が存在することが原因である。そこで、まず特徴点抽出誤差の影響を小さくするために、テクスチャ合成器２４は、ワーピングを行った後の目の輪郭上の特徴点座標の、瞳の中心からの距離を一定の倍率で大きくして、図１３のように目の周囲に特徴点を再配置し、目の領域を拡大する。再配置された特徴点で囲まれた領域は、拡大後の領域を示す。

【0058】

そこで、テクスチャの転写を行う際に、テクスチャ合成器２４は、拡大後の領域の境界からの距離に応じたグラデーションを施す。具体的には、テクスチャ合成器２４は、拡大後の領域において、目の中央に近づくに従って処理対象画像に含まれる画像から参照画像に含まれる画像に徐々に変化するように、参照画像に含まれる画像を、処理対象画像に含まれる画像に重ねる。すなわち、境界近くでは処理対象画像の重みを大きくし，目の中央に近づくほど参照画像の重みを徐々に大きくする。目の内部では参照画像のテクスチャを保持したいので、グラデーションは、ほぼ目の外側、すなわち、特徴点の再配置によって拡大された領域においてほぼ完結させる。

【0059】

次に、ブロック１４８Ａにおいて、画像出力器２８は、ブロック１４６Ａで得られた画像を、例えばユーザの対話相手のコンピュータに送信する。送信された画像は、対話相手のディスプレイに表示される。

【0060】

図１４は、処理前の処理対象画像の例である。図１５は、図１４の画像に図６の処理を行って得られた画像の例である。図１４では、視線が、ディスプレイに向けられており、カメラには向けられていないが、図１５では、視線がカメラに向けられているように見える。したがって、対話相手には、自分に視線が向けられているように見え、自然な対話が可能になる。

【0061】

その後、ブロック１４０Ｂにおいて、新たな処理対象画像（第２フレーム）がカメラ１６から特徴点抽出器１８に入力され、第１フレームに対する処理と同様の処理が行われる。ただし、特徴点の抽出は行われず、代わりに、ブロック１４４Ａで求められた補正後の特徴点が用いられる。ブロック１４４Ｂ，１４６Ｂ、１４８Ｂの処理は、前述のブロック１４４Ａ，１４６Ａ、１４８Ａの処理とそれぞれ同じである。特徴点抽出器１８は、適切な参照画像を新たに選択して用いてもよいし、第１フレームと同じ参照画像を用いてもよい。以後のフレームについても、同様の処理が行われる。ユーザが瞬きをしたとき等、あるフレームにおいて式６の相関値が前フレームと比べて著しく低下した場合には、目の領域の追跡に失敗したものと判断して，当該フレームを第１フレームとして扱い、特徴点抽出処理（ブロック１４２）を含む一連の処理を再度行う。

【0062】

図１６は、相関値の推移の例を示すグラフである。図１６では、図６の処理によって得られた画像と参照画像との間の相関値が、フレーム毎に示されている。相関値は、評価関数としての式６を用いて求められる。ブロック１４４Ａ等の特徴点位置の補正を行った場合の相関値（図１６のＡ）は、特徴点位置の補正を行わない場合の相関値（図１６のＢ）より大きく、かつ、値が安定していることがわかる。つまり、Ａの場合には、特徴点の位置補正がほぼ正しく行われていることがわかる。その結果、一連のフレームにおいて処理後の画像の目の位置が安定し、違和感の少ない動画像が得られる。

【0063】

図１７は、本発明の実施形態に係る視線変換装置を実現するコンピュータシステムの構成例を示すブロック図である。図１７のコンピュータシステム８０は、プロセッサ８２と、送受信機８４と、バス８８と、メモリ９２と、ファイル格納装置９４と、入力デバイス９６と、ディスプレイ９８とを有する。コンピュータシステム８０は、例えば、ユーザが通信ネットワークを介した対話に使用するテレビジョン受信機若しくはコンピュータを構成していてもよく、又はユーザが通信ネットワークを介した対話に使用するテレビジョン受信機若しくはコンピュータに内蔵されていてもよい。

【0064】

プロセッサ８２は、バス８８を経由して他の構成要素と通信する。送受信機８４は、インターネット等の通信ネットワークとの間でデータを送受信する。送受信機８４は、無線によって通信ネットワークに接続されていてもよい。

【0065】

メモリ９２は例えばＲＡＭ（random access memory）及びＲＯＭ（read only memory）を含んでおり、データ及び命令を格納する。ファイル格納装置９４は、１以上の揮発性又は不揮発性の、非過渡的な、コンピュータ読み取り可能な格納媒体である。本発明の実施形態がソフトウェアで実現される場合には、例えば、マイクロコード、アセンブリ言語のコード、又はより高レベルの言語のコードが用いられ得る。これらのコードで記述され、本発明の実施形態の機能を実現する命令を含むプログラムを、ファイル格納装置９４は格納する。ファイル格納装置９４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）、及びフラッシュメモリ等の半導体メモリ、ハードディスクドライブ等の磁気記録媒体、光記録媒体、これらの組み合わせ等を含み得る。

【0066】

入力デバイス９６は、タッチスクリーン、キーボード、リモートコントローラ、及びマウス等を含み得る。ディスプレイは、液晶ディスプレイ、有機ＥＬ（electroluminescence）ディスプレイ等のフラットパネルディスプレイを含み得る。

【0067】

コンピュータシステム８０は、図１の視線変換装置１０として動作し得る。プロセッサ８２は、形状モデル生成器１４、特徴点抽出器１８、特徴点位置補正器２０、画像補正器２２、及び画像出力器２８として動作し得る。ファイル格納装置９４は、参照画像記憶装置１２として動作し得る。

【0068】

本明細書における各機能ブロックは、例えば、回路等のハードウェアで実現され得る。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ８２及びプロセッサ８２上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。

【0069】

以上の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

【産業上の利用可能性】

【0070】

以上説明したように、本発明は、視線変換装置及び視線変換方法等について有用である。

【符号の説明】

【0071】

１０ 視線変換装置
１２ 参照画像記憶装置
１４ 形状モデル生成器
１６ カメラ
１８ 特徴点抽出器
２０ 特徴点位置補正器
２２ 画像補正器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】