特開 2024-33839 情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024033839

(43)【公開日】2024-03-13

(54)【発明の名称】情報処理装置及び情報処理方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240306BHJP

   G06T 7/00 20170101ALI20240306BHJP

   G09G 5/00 20060101ALI20240306BHJP

   G09G 5/36 20060101ALI20240306BHJP

【ＦＩ】

G06T1/00 340A

G06T7/00 660A

G09G5/00 550C

G09G5/36 520P

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022137709

(22)【出願日】2022-08-31

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】江島 啓

【テーマコード（参考）】

5B057

5C182

5L096

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE17

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC08

5B057DC09

5C182AB04

5C182AB08

5C182BA14

5C182BB11

5C182BC01

5C182BC25

5C182BC26

5C182CB44

5L096AA02

5L096CA04

5L096FA32

5L096FA62

5L096FA67

5L096FA69

5L096GA51

(57)【要約】      （修正有）

【課題】参加者の視線を他の参加者の視線と合わせられるようにする。
【解決手段】情報処理装置１は、対象者の顔を撮像した第１画像を解析することにより対象者が正面を向いた時の黒目幅と白目幅との比率を推定する推定部１３３と、第１画像後に取得した第２画像を解析することにより対象者の顔の正面方向を基準としたときの第２画像に映る顔が横方向にずれている横ずれ角を特定する角度特定部１３２と、対象者の眼球のサイズ、黒目のサイズ及び横ずれ角と、推定した比率とに基づいて、第２画像において対象者の顔が横ずれ角ずれている状態で正面方向を視認したときの黒目幅と左白目幅と右白目幅との比率を特定する幅特定部１３７と、第２画像における対象者の黒目及び白目の形状が、特定された黒目の幅、左白目幅及び右白目幅の比率に対応する形状になるように第２画像を補正する補正部１３８と、補正された第２画像を出力する出力部１３９と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像装置により撮像された、対象者の顔を撮像した画像を複数取得する取得部と、
前記対象者の眼球のサイズと、黒目のサイズとを示すサイズ情報を取得することにより前記眼球のサイズ及び前記黒目のサイズを特定するサイズ特定部と、
前記取得部が取得した第１画像を解析することにより前記対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定する推定部と、
前記取得部が前記第１画像を取得した後に取得した第２画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第２画像に映る前記顔が横方向にずれている角度である横ずれ角を特定する角度特定部と、
特定した前記眼球のサイズ、前記黒目のサイズ、及び前記横ずれ角と、推定した前記比率とに基づいて、前記第２画像において前記正面方向を基準として前記顔が前記横ずれ角ずれている状態で、前記対象者が前記正面方向を視認したときの前記対象者の黒目の幅と、前記黒目の左側に映る白目である左白目の幅を示す左白目幅と、前記黒目の右側に映る白目である右白目の幅を示す右白目幅との比率を特定する幅特定部と、
前記第２画像に含まれる前記対象者の目における黒目及び白目の形状が、特定された前記黒目の幅、前記左白目幅、及び前記右白目幅の比率に対応する形状になるように前記第２画像を補正する補正部と、
前記補正部により前記対象者の目が補正された前記第２画像を出力する出力部と、
を有する情報処理装置。

【請求項2】

前記推定部は、前記取得部が取得した前記第１画像を解析することにより、前記対象者の左右の目それぞれに対応する前記比率を推定する、
請求項１に記載の情報処理装置。

【請求項3】

前記推定部は、前記取得部が取得した複数の前記第１画像のそれぞれを解析することにより、複数の前記第１画像のそれぞれに映る前記対象者の黒目の幅と白目の幅との比率を特定し、複数の前記第１画像のそれぞれで特定した比率を平均することにより、前記対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定する、
請求項１に記載の情報処理装置。

【請求項4】

前記角度特定部は、前記第１画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第１画像に映る前記顔の前記横ずれ角を特定し、
前記推定部は、前記角度特定部が異なる横ずれ角を特定したときの複数の前記第１画像それぞれを解析することにより、複数の前記第１画像のそれぞれに映る前記対象者の黒目の幅と白目の幅との比率を推定する、
請求項３に記載の情報処理装置。

【請求項5】

前記推定部は、前記取得部が取得した前記第１画像において前記対象者の黒目の両側に白目が映ることを条件として、前記第１画像に映る前記対象者の黒目の幅と白目の幅との比率を推定する、
請求項３又は４に記載の情報処理装置。

【請求項6】

前記第１画像を解析することにより、前記黒目の色と、前記左白目の色と、前記右白目の色とを特定する色特定部をさらに有し、
前記補正部は、前記色特定部により特定された前記黒目の色、前記左白目の色、及び前記右白目の色に基づいて、前記第２画像に映る前記対象者の目の色を補正する、
請求項１又は２に記載の情報処理装置。

【請求項7】

前記第１画像を解析することにより、前記黒目に映る光の大きさと、前記黒目における前記光の位置とを特定する黒目解析部をさらに有し、
前記補正部は、特定された前記光の大きさと前記光の位置とに基づいて、前記黒目に対して前記光を描写する、
請求項１に記載の情報処理装置。

【請求項8】

前記第１画像を解析することにより、前記黒目の幅と、前記黒目における瞳孔の幅との比率を特定する黒目解析部をさらに有し、
前記補正部は、特定された前記黒目の幅と、前記黒目における瞳孔の幅との比率に基づいて、前記黒目に対して前記瞳孔を描写する、
請求項１に記載の情報処理装置。

【請求項9】

前記角度特定部は、前記第２画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第２画像に映る前記顔が上下方向にずれている角度である縦ずれ角を特定し、
前記補正部は、前記縦ずれ角の大きさが所定の角度以下である場合に前記第２画像に映る前記対象者の目を補正する、
請求項１に記載の情報処理装置。

【請求項10】

コンピュータが実行する、
撮像装置により撮像された、対象者の顔を撮像した画像を複数取得するステップと、
前記対象者の眼球のサイズと、黒目のサイズとを示すサイズ情報を取得することにより前記眼球のサイズ及び前記黒目のサイズを特定するステップと、
取得された第１画像を解析することにより前記対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定するステップと、
前記第１画像が取得された後に取得された第２画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第２画像に映る前記顔が横方向にずれている角度である横ずれ角を特定するステップと、
特定した前記眼球のサイズ、前記黒目のサイズ、及び前記横ずれ角と、推定した前記比率とに基づいて、前記第２画像において前記正面方向を基準として前記顔が前記横ずれ角ずれている状態で、前記対象者が前記正面方向を視認したときの前記対象者の黒目の幅と、前記黒目の左側に映る白目である左白目の幅を示す左白目幅と、前記黒目の右側に映る白目である右白目の幅を示す右白目幅との比率を特定するステップと、
前記第２画像に含まれる前記対象者の目における黒目及び白目の形状が、特定された前記黒目の幅、前記左白目幅、及び前記右白目幅の比率に対応する形状になるように前記第２画像を補正するステップと、
前記対象者の目が補正された前記第２画像を出力するステップと、
を有する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、遠隔で会議に参加する複数の参加者の端末それぞれにより撮像された画像と、集音された音声とを送信しあい、複数の参加者間でのＷｅｂ会議を実現する会議システムが知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２０５２４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

Ｗｅｂ会議において、参加者の端末が有するモニタと、撮像装置との位置が離れている場合、当該参加者は撮像装置を視認せずにモニタを視認することが多い。この場合、他の参加者の端末に映る当該参加者と、他の参加者との視線が合わず、視線を合わせることによる非言語コミュニケーションに対して障害が生じるという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、参加者の視線を他の参加者の視線と合わせられるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る情報処理装置は、撮像装置により撮像された、対象者の顔を撮像した画像を複数取得する取得部と、前記対象者の眼球のサイズと、黒目のサイズとを示すサイズ情報を取得することにより前記眼球のサイズ及び前記黒目のサイズを特定するサイズ特定部と、前記取得部が取得した第１画像を解析することにより前記対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定する推定部と、前記取得部が前記第１画像を取得した後に取得した第２画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第２画像に映る前記顔が横方向にずれている角度である横ずれ角を特定する角度特定部と、特定した前記眼球のサイズ、前記黒目のサイズ、及び前記横ずれ角と、推定した前記比率とに基づいて、前記第２画像において前記正面方向を基準として前記顔が前記横ずれ角ずれている状態で、前記対象者が前記正面方向を視認したときの前記対象者の黒目の幅と、前記黒目の左側に映る白目である左白目の幅を示す左白目幅と、前記黒目の右側に映る白目である右白目の幅を示す右白目幅との比率を特定する幅特定部と、前記第２画像に含まれる前記対象者の目における黒目及び白目の形状が、特定された前記黒目の幅、前記左白目幅、及び前記右白目幅の比率に対応する形状になるように前記第２画像を補正する補正部と、前記補正部により前記対象者の目が補正された前記第２画像を出力する出力部と、を有する。

【0007】

前記推定部は、前記取得部が取得した前記第１画像を解析することにより、前記対象者の左右の目それぞれに対応する前記比率を推定してもよい。
前記推定部は、前記取得部が取得した複数の前記第１画像のそれぞれを解析することにより、複数の前記第１画像のそれぞれに映る前記対象者の黒目の幅と白目の幅との比率を特定し、複数の前記第１画像のそれぞれで特定した比率を平均することにより、前記対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定してもよい。

【0008】

前記角度特定部は、前記第１画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第１画像に映る前記顔の前記横ずれ角を特定し、前記推定部は、前記角度特定部が異なる横ずれ角を特定したときの複数の前記第１画像それぞれを解析することにより、複数の前記第１画像のそれぞれに映る前記対象者の黒目の幅と白目の幅との比率を推定してもよい。

【0009】

前記推定部は、前記取得部が取得した前記第１画像において前記対象者の黒目の両側に白目が映ることを条件として、前記第１画像に映る前記対象者の黒目の幅と白目の幅との比率を推定してもよい。

【0010】

前記情報処理装置は、前記第１画像を解析することにより、前記黒目の色と、前記左白目の色と、前記右白目の色とを特定する色特定部をさらに有し、前記補正部は、前記色特定部により特定された前記黒目の色、前記左白目の色、及び前記右白目の色に基づいて、前記第２画像に映る前記対象者の目の色を補正してもよい。

【0011】

前記情報処理装置は、前記第１画像を解析することにより、前記黒目に映る光の大きさと、前記黒目における前記光の位置とを特定する黒目解析部をさらに有し、前記補正部は、特定された前記光の大きさと前記光の位置とに基づいて、前記黒目に対して前記光を描写してもよい。

【0012】

前記情報処理装置は、前記第１画像を解析することにより、前記黒目の幅と、前記黒目における瞳孔の幅との比率を特定する黒目解析部をさらに有し、前記補正部は、特定された前記黒目の幅と、前記黒目における瞳孔の幅との比率に基づいて、前記黒目に対して前記瞳孔を描写してもよい。

【0013】

前記角度特定部は、前記第２画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第２画像に映る前記顔が上下方向にずれている角度である縦ずれ角を特定し、前記補正部は、前記縦ずれ角の大きさが所定の角度以下である場合に前記第２画像に映る前記対象者の目を補正してもよい。

【0014】

本発明の第２の態様に係る情報処理方法は、コンピュータが実行する、撮像装置により撮像された、対象者の顔を撮像した画像を複数取得するステップと、前記対象者の眼球のサイズと、黒目のサイズとを示すサイズ情報を取得することにより前記眼球のサイズ及び前記黒目のサイズを特定するステップと、取得された第１画像を解析することにより前記対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定するステップと、前記第１画像が取得された後に取得された第２画像を解析することにより前記対象者の顔の正面方向を基準としたときの前記第２画像に映る前記顔が横方向にずれている角度である横ずれ角を特定するステップと、特定した前記眼球のサイズ、前記黒目のサイズ、及び前記横ずれ角と、推定した前記比率とに基づいて、前記第２画像において前記正面方向を基準として前記顔が前記横ずれ角ずれている状態で、前記対象者が前記正面方向を視認したときの前記対象者の黒目の幅と、前記黒目の左側に映る白目である左白目の幅を示す左白目幅と、前記黒目の右側に映る白目である右白目の幅を示す右白目幅との比率を特定するステップと、前記第２画像に含まれる前記対象者の目における黒目及び白目の形状が、特定された前記黒目の幅、前記左白目幅、及び前記右白目幅の比率に対応する形状になるように前記第２画像を補正するステップと、前記対象者の目が補正された前記第２画像を出力するステップと、を有する。

【発明の効果】

【0015】

本発明によれば、参加者の視線を他の参加者の視線と合わせられるようにすることができる。

【図面の簡単な説明】

【0016】

【図1】情報処理装置の概要を示す図である。

【図2】情報処理装置の機能構成を示す図である。

【図3】対象者の顔が横にずれている状態における眼球の状態を説明する図である。

【図4】図３に示される対象者の眼球の拡大図である。

【図5】図４に示される眼球のうち、眼球の中心と、左白目幅の左端と、右白目幅の右端とを結ぶ扇形の部分を拡大した図である。

【図6】実空間上における左白目幅と第２画像に映る左白目幅との関係、及び実空間上における右白目幅と第２画像に映る右白目幅との関係を示す図である。

【図7】対象者の目の補正例を示す図である。

【図8】情報処理装置における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0017】

［情報処理装置１の概要］
図１は、情報処理装置１の概要を示す図である。情報処理装置１は、撮像装置により撮像された画像に映る対象者の目を補正するコンピュータである。情報処理装置１は、第１端末２と、第２端末３とにインターネットや無線ＬＡＮ（Local Area Network）等の通信ネットワークを介して通信可能に接続されている。情報処理装置１は、例えば、Ｗｅｂ会議を実現するための機能を有しており、第１端末２において撮像された対象者の画像と第１端末２において集音された音とを第２端末３に出力するとともに、第２端末３において撮像された対象者の画像と第２端末３において集音された音とを第１端末２に出力する。

【0018】

第１端末２及び第２端末３は、例えば、撮像装置及びマイクを有するパーソナルコンピュータやスマートフォン等の端末であり、撮像装置により撮像した画像及びマイクにより集音した音を情報処理装置１に送信する。なお、第１端末２及び第２端末３は、自身に接続された撮像装置が撮像した画像を取得し、情報処理装置１に送信してもよい。以下の説明では、第１端末２において撮像された画像に映る対象者の目を補正する例について説明する。なお、情報処理装置１は、第２端末３において撮像された画像に映る対象者の目を補正するようにしてもよい。また、図１において第２端末３は１台のみ示されているが、複数存在していてもよい。

【0019】

情報処理装置１は、第１端末２から、対象者の顔を撮像した第１画像を複数取得する（図１における（１））。情報処理装置１は、取得した複数の第１画像を解析することにより、対象者が正面を向いた時の黒目の幅である黒目幅と白目の幅である白目幅との比率を推定する（図１における（２））。黒目幅は、黒目を示す円の横幅（直径）を示し、白目幅は、黒目の左右に映る２つの白目の領域それぞれの最大の横幅を合計したものを示している。

【0020】

情報処理装置１は、黒目の幅と白目の幅との比率を推定した後、第１端末２から第２画像を取得する（図１における（３））。情報処理装置１は、取得した第２画像を解析することにより、対象者の顔の正面方向を基準としたときの第２画像に映る顔が横方向にずれている角度である横ずれ角を特定する（図１における（４））。

【0021】

情報処理装置１は、予め取得した対象者の眼球及び黒目のサイズと、特定した横ずれ角と、推定した黒目の幅と白目の幅との比率とに基づいて、第２画像において正面方向を基準として対象者の顔が横ずれ角ずれている状態で、対象者が正面方向を視認したときの対象者の黒目幅と、左白目幅と、右白目幅との比率を特定する（図１における（５））。左白目幅は、黒目の左側に映る白目である左白目の領域のうち、最大の横幅を示し、右白目幅は、黒目の右側に映る白目である右白目領域のうち、最大の横幅を示すものとする。

【0022】

情報処理装置１は、第２画像に含まれる対象者の目における黒目及び白目の形状が、特定した黒目幅、左白目幅、及び右白目幅の比率に対応する形状になるように第２画像に映る対象者の目を補正する（図１における（６））。情報処理装置１は、補正された第２画像である補正後第２画像を第２端末３に出力する（図１における（７））。このようにすることで、情報処理装置１は、第２画像に映る第１端末２を使用する対象者の視線を、当該対象者とは異なる第２端末３を使用する対象者の視線と合わせられるようにすることができる。

【0023】

［情報処理装置１の機能構成］
続いて、情報処理装置１の構成の詳細を説明する。図２は、情報処理装置１の機能構成を示す図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。
通信部１１は、インターネットや携帯電話通信網等の通信ネットワークを介して第１端末２、第２端末３とデータを送受信するための通信インターフェースである。

【0024】

記憶部１２は、各種のデータを記憶する記憶媒体であり、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、及びＳＳＤ（Solid State Drive）等を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。記憶部１２は、制御部１３を、取得部１３１、角度特定部１３２、推定部１３３、色特定部１３４、黒目解析部１３５、サイズ特定部１３６、幅特定部１３７、補正部１３８、及び出力部１３９として機能させるプログラムを記憶する。

【0025】

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、角度特定部１３２、推定部１３３、色特定部１３４、黒目解析部１３５、サイズ特定部１３６、幅特定部１３７、補正部１３８、及び出力部１３９として機能する。以下、取得部１３１、角度特定部１３２、推定部１３３、色特定部１３４、黒目解析部１３５、サイズ特定部１３６、幅特定部１３７、補正部１３８、及び出力部１３９の詳細について説明する。

【0026】

［対象者を撮像した撮像画像の取得］
取得部１３１は、撮像装置により撮像された、対象者の顔を撮像した複数の画像を取得する。具体的には、取得部１３１は、第１端末２に設けられた撮像装置により異なる時刻それぞれにおいて撮像された、第１端末２を使用する対象者の顔を撮像した複数の画像をリアルタイムで取得する。

【0027】

［対象者の目の解析］
続いて、対象者の目を解析する処理について説明する。対象者の目を補正するにあたり、制御部１３の角度特定部１３２、推定部１３３、色特定部１３４、黒目解析部１３５は、協働することにより、取得部１３１が取得した第１画像に映る対象者の目を解析する。以下、対象者の目を解析する具体的な処理について説明する。

【0028】

角度特定部１３２は、取得部１３１が取得した複数の第１画像それぞれを解析することにより、対象者の顔の正面方向を基準としたときの第１画像に映る対象者の顔が横方向にずれている角度である横ずれ角を特定する。角度特定部１３２は、例えば、既存の顔方向推定技術を用いて、複数の第１画像それぞれを解析することにより、複数の第１画像それぞれに映る対象者の顔の横ずれ角を特定する。角度特定部１３２は、対象者の顔が正面よりも右方向を向いていたときの横ずれ角を正の横ずれ角として特定し、対象者の顔が正面よりも左方向を向いていたときの横ずれ角を負の横ずれ角として特定する。

【0029】

推定部１３３は、取得部１３１が取得した第１画像を解析することにより対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定する。推定部１３３は、取得部１３１が取得した第１画像を解析することにより、対象者の左右の目それぞれに対応する比率を推定する。

【0030】

具体的にはまず、推定部１３３は、角度特定部１３２が異なる横ずれ角を特定したときに取得部１３１が取得した複数の第１画像のそれぞれを解析することにより、複数の第１画像のそれぞれに映る対象者の目の画像領域を特定する。推定部１３３は、複数の第１画像のそれぞれに映る対象者の目の画像領域を解析することにより、複数の第１画像のそれぞれに映る対象者の黒目の幅と白目の幅との比率を特定する。

【0031】

例えば、推定部１３３は、角度特定部１３２が特定した横ずれ角が－３０°以上かつ－２０°未満であるときの画像、－２０°以上かつ－１０°未満であるときの画像、－１０°以上かつ０°未満であるときの画像、０°以上かつ１０°未満であるときの画像、１０°以上かつ１２０°未満であるときの画像、２０°以上かつ３０°未満であるときの画像のそれぞれを解析することにより、これらの複数の画像のそれぞれに映る対象者の黒目の幅と白目の幅との比率を特定する。

【0032】

そして、推定部１３３は、複数の第１画像のそれぞれで特定した黒目の幅と白目の幅との比率を平均することにより、対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定する。なお、推定部１３３は、第１画像に映る対象者の目の画像領域において、対象者の黒目の両側に白目が映ることを条件として、当該第１画像に映る対象者の黒目の幅と白目の幅との比率を特定してもよい。このようにすることで、情報処理装置１は、対象者の目の画像領域における黒目の幅を精度良く特定することができる。これにより、情報処理装置１は、目の画像領域と特定した黒目の幅とに基づいて白目の幅も精度良く特定することができ、黒目の幅と白目の幅との比率の特定精度を向上することができる。

【0033】

色特定部１３４は、取得部１３１が取得した第１画像を解析することにより、対象者の黒目の色と、左白目の色と、右白目の色とを特定する。例えば、色特定部１３４は、所定時間内に取得部１３１が取得した複数の第１画像それぞれを解析し、複数の第１画像それぞれに映る対象者の左目における黒目の色と、左白目の色と、右白目の色とを特定する。そして、色特定部１３４は、複数の第１画像それぞれから特定した黒目の色の平均値を対象者の左目における黒目の色として特定する。

【0034】

同様に、色特定部１３４は、複数の第１画像それぞれから特定した左目における左白目の色の平均値を対象者の左目における左白目の色として特定し、複数の第１画像それぞれから特定した左目における右白目の色の平均値を対象者の左目における右白目の色として特定する。色特定部１３４は、対象者の右目についても同様の処理を行い、対象者の右目における黒目の色と、左白目の色と、右白目の色とを特定する。

【0035】

黒目解析部１３５は、取得部１３１が取得した第１画像を解析することにより、対象者の黒目の幅と、当該黒目における瞳孔の幅との比率を特定する。例えば、黒目解析部１３５は、所定時間内に取得部１３１が取得した第１画像を解析し、第１画像に映る対象者の左目の黒目に対応する画像領域の最大の横幅と、当該黒目に含まれる瞳孔の画像領域の最大の横幅とを特定する。黒目解析部１３５は、特定した黒目に対応する画像領域の幅と、瞳孔の画像領域の幅とに基づいて、対象者の左目における黒目の幅と、瞳孔の幅との比率を特定する。黒目解析部１３５は、対象者の右目についても同様の処理を行い、対象者の右目における黒目の幅と、瞳孔の幅との比率を特定する。

【0036】

黒目解析部１３５は、取得部１３１が取得した第１画像を解析することにより、黒目に映る光の大きさと、黒目における光の位置とを特定する。例えば、黒目解析部１３５は、所定時間内に取得部１３１が取得した複数の第１画像それぞれを解析し、複数の第１画像それぞれに映る対象者の左目の黒目に対応する画像領域のうち、画素値が所定の閾値を超える領域の位置と、当該領域の大きさとを特定する。黒目解析部１３５は、例えば、黒目の中心位置に対する黒目に映る光に対応する領域の相対位置を特定することにより、黒目における光の位置を特定する。黒目解析部１３５は、領域の大きさが所定の大きさを超えるとともに、画素値が所定の閾値を超える領域を、黒目に映る光の領域と特定してもよい。黒目解析部１３５は、対象者の右目についても同様の処理を行い、対象者の右目における黒目に映る光の大きさと、黒目における光の位置とを特定する。

【0037】

［対象者の目の補正］
続いて、取得部１３１が取得した画像に映る対象者の目を補正する処理について説明する。制御部１３の角度特定部１３２、サイズ特定部１３６、幅特定部１３７、補正部１３８は、協働することにより、黒目の解析が終了した後に取得部１３１が取得した第２画像に映る対象者の目を補正する。以下、対象者の目を補正する具体的な処理について説明する。

【0038】

角度特定部１３２は、黒目の解析が終了した後に取得部１３１が取得した第２画像を解析することにより対象者の顔の正面方向を基準としたときの第２画像に映る顔が横方向にずれている角度である横ずれ角を特定する。また、角度特定部１３２は、第２画像を解析することにより対象者の顔の正面方向を基準としたときの第２画像に映る顔が上下方向にずれている角度である縦ずれ角を特定する。

【0039】

サイズ特定部１３６は、対象者の眼球のサイズと、黒目のサイズとを示すサイズ情報を取得することにより、対象者の眼球のサイズ及び黒目のサイズを特定する。人の眼球のサイズと、黒目のサイズとは個人差が少ないことが知られている。このため、一般的な人の眼球のサイズと、黒目のサイズとを示すサイズ情報を記憶部１２に記憶させておき、サイズ特定部１３６は、記憶部１２に記憶されているサイズ情報が示す一般的な人の眼球のサイズ及び黒目のサイズを、対象者の眼球のサイズ及び黒目のサイズとして特定する。ここで、眼球のサイズは、眼球の半径を示すものとし、黒目のサイズは、黒目の最大幅を示すものとする。

【0040】

幅特定部１３７は、特定した眼球のサイズ、黒目のサイズ、及び横ずれ角と、推定した比率とに基づいて、第２画像において正面方向を基準として対象者の顔が横ずれ角ずれている状態で、対象者が正面方向を視認したときの対象者の黒目の幅である黒目幅と、黒目の左側に映る白目である左白目の幅を示す左白目幅と、黒目の右側に映る白目である右白目の幅を示す右白目幅との比率を特定する。

【0041】

以下、幅特定部１３７が黒目の幅と左白目幅と右白目幅とを特定する処理について図を用いて説明する。図３は、対象者の顔が横にずれている状態における眼球の状態を説明する図である。図３は、対象者の頭部Ｈを上から視認した場合の眼球の状態を示している。図３には、左目ＬＥと、右目ＲＥとが示されていることが確認できる。また、図３において、対象者の顔が正面方向からずれている横ずれ角はｚであるものとする。

【0042】

図４は、図３に示される対象者の眼球の拡大図である。図４において、Ｏは眼球の中心を示し、ｒは眼球の半径を示している。また、図４では、正面方向から視認できる黒目幅、左白目幅、及び右白目幅、すなわち、第２画像に対象者の目が映るときの当該目の黒目幅、左白目幅、及び右白目幅を示している。なお、以下の説明では、左目に対応する眼球における黒目幅、左白目幅、右白目幅の比率を特定する例を説明するが、右目においても同様の処理を行うことにより、右目に対応する眼球における黒目幅、左白目幅、右白目幅の比率を特定するものとする。

【0043】

図５は、図４に示される眼球のうち、眼球の中心と、左白目幅の左端と、右白目幅の右端とを結ぶ扇形の部分を拡大した図である。図５に示すＷＬは、実空間上における左白目幅を示し、ＷＲは、実空間上における右白目幅を示している。ｘは、黒目幅の左端と眼球の中心Ｏとを結ぶ直線と、黒目幅の右端と眼球の中心Ｏとを結ぶ直線とがなす角の角度の半分を示している。ｙは、左白目幅の左端と眼球の中心Ｏとを結ぶ直線と、右白目幅の右端と眼球の中心Ｏとを結ぶ直線とがなす角の角度の半分を示している。以降の説明において、ｘを第１角度、ｙを第２角度ともいう。

【0044】

αは、左白目幅の左端と眼球の中心Ｏとを結ぶ直線と、左白目幅の右端と眼球の中心Ｏとを結ぶ直線とがなす角の角度の半分を示している。βは、右白目幅の左端と眼球の中心とを結ぶ直線と、右白目幅の右端と眼球の中心Ｏとを結ぶ直線とがなす角の角度の半分を示している。

【0045】

黒目幅は、以下に示す式（１）により算出される。

【数1】

【0046】

図５に示すように、２α＋ｘ＝ｙ－ｚであり、α＝（ｙ－ｚ－ｘ）／２であることから、実空間上における左白目幅ＷＬは、以下に示す式（２）により算出される。

【数2】

【0047】

図５に示すように、２β＋ｘ＝ｙ＋ｚであり、β＝（ｙ＋ｚ－ｘ）／２であることから、実空間上における右白目幅ＷＲは、以下に示す式（３）により算出される。

【数3】

【0048】

図６は、実空間上における左白目幅と第２画像に映る左白目幅との関係、及び実空間上における右白目幅と第２画像に映る右白目幅との関係を示す図である。図６（ａ）は、実空間上における左白目幅と第２画像に映る左白目幅との関係を示す図であり、図６（ｂ）は、実空間上における右白目幅と第２画像に映る右白目幅との関係を示す図である。図６（ａ）に示すように、実空間上における左白目幅ＷＬの中心と眼球の中心とを結ぶ直線と、黒目幅の中心と眼球の中心とを結ぶ直線とがなす角の角度は、ｘ＋αとなる。このため、実空間上における左白目幅ＷＬを延長する直線と、左白目幅を延長する直線とがなす角の角度もｘ＋αとなり、左白目幅は、以下の式（４）により示される。

【数4】

【0049】

また、上述したように、α＝（ｙ－ｚ－ｘ）／２であることから、式（２）、（４）に基づいて、左白目幅は、式（５）により示される。

【数5】

【0050】

図６（ｂ）に示すように、ＷＲの中心と眼球の中心とを結ぶ直線と、黒目幅の中心と眼球の中心とを結ぶ直線とがなす角の角度は、ｘ＋βとなる。このため、実空間上における右白目幅ＷＲを延長する直線と、右白目幅を延長する直線とがなす角の角度もｘ＋βとなり、右白目幅は、以下の式（６）により示される。

【数6】

【0051】

また、上述したように、β＝（ｙ＋ｚ－ｘ）／２であることから、式（３）、（６）に基づいて、右白目幅は、式（７）により示される。

【数7】

【0052】

まず、幅特定部１３７は、式（１）に対してサイズ特定部１３６により特定した眼球のサイズ及び黒目のサイズを代入し、第１角度ｘを算出する。なお、サイズ特定部１３６により特定した眼球のサイズ及び黒目のサイズが固定値である場合、第１角度ｘも固定値であることから、記憶部１２に第１角度ｘを記憶させておき、幅特定部１３７が、記憶部１２に記憶されている第１角度ｘを取得してもよい。

【0053】

幅特定部１３７は、第１角度ｘと、横ずれ角ｚと、推定部１３３が推定した黒目の幅と白目の幅との比率と、式（１）、（５）、（７）とに基づいて、第２角度ｙを特定する。黒目の幅に対する白目の幅の比率をＲとすると、推定部１３３が推定した黒目の幅と白目の幅との比率と、式（１）、（５）、（７）とに基づいて、以下の式（８）が成り立つ。

【数8】

【0054】

幅特定部１３７は、式（８）に対し、特定した第１角度ｘ、横ずれ角ｚ、眼球の半径ｒ、黒目の幅に対する白目の幅の比率Ｒを代入し、第２角度ｙを算出する。幅特定部１３７は、式（５）に対し、特定した第１角度ｘ、第２角度ｙ、横ずれ角ｚ、眼球の半径ｒを代入し、左白目幅を算出する。同様に、幅特定部１３７は、式（７）に対し、特定した第１角度ｘ、第２角度ｙ、横ずれ角ｚ、眼球の半径ｒを代入し、右白目幅を算出する。幅特定部１３７は、算出した黒目幅、左白目幅、右白目幅に基づいて、黒目幅と左白目幅と右白目幅との比率を算出する。

【0055】

補正部１３８は、取得部１３１が取得した第２画像に含まれる対象者の目における黒目及び白目の形状が、幅特定部１３７により特定された黒目の幅、左白目幅、及び右白目幅の比率に対応する形状になるように第２画像に含まれる対象者の目を補正する。例えば、補正部１３８は、第２画像に含まれる対象者の左目を示す画像領域において、幅特定部１３７により特定された左目の黒目の幅、左白目幅、及び右白目幅の比率に基づいて、左目における左白目の表示領域、黒目の表示領域、右白目の表示領域を決定する。

【0056】

補正部１３８は、色特定部１３４により特定された左目における黒目の色、左白目の色、及び右白目の色に基づいて、左目に対して決定した左白目の表示領域、黒目の表示領域、右白目の表示領域それぞれに、左白目、黒目、右白目を描画することにより、対象者の左目を補正する。補正部１３８は、対象者の右目についても左白目の表示領域、黒目の表示領域、右白目の表示領域を決定し、左白目、黒目、右白目を描画する。このようにすることで、情報処理装置１は、対象者が正面を視認するように対象者の目を補正することができる。

【0057】

また、補正部１３８は、黒目を描画する場合に、黒目解析部１３５により特定された黒目の幅と、黒目における瞳孔の幅との比率に基づいて、左目における黒目の中心に瞳孔を描写する。また、補正部１３８は、黒目解析部１３５により特定された光の大きさと光の位置に基づいて、左目において描画した黒目に対し、光を描写する。このようにすることで、情報処理装置１は、第１画像における対象者の目の映り具合に対応して対象者の目を補正することができる。

【0058】

なお、第２画像に映る対象者の顔が上下方向にずれている角度である縦ずれ角が所定角度以上の場合に、対象者の目を補正すると、対象者の目が不自然な見え方になることがある。このため、補正部１３８は、角度特定部１３２が特定した縦ずれ角の大きさが所定の角度以下である場合に第２画像に映る対象者の目を補正するようにしてもよい。このようにすることで、情報処理装置１は、対象者の目が不自然な見え方に補正されてしまうことを抑制することができる。

【0059】

［画像の出力］
出力部１３９は、取得部１３１により取得された画像を第２端末３に出力する。具体的には、出力部１３９は、取得部１３１により取得された第１画像をそのまま第２端末３に出力する。また、出力部１３９は、第１画像に基づいて対象者の目が解析された後、補正部１３８により対象者の目が補正された第２画像を第２端末３に出力する。

【0060】

図７は、対象者の目の補正例を示す図である。図７（ａ）は、補正前の第２画像を示す図であり、図７（ｂ）は、補正後の第２画像を示す図である。図７（ａ）に示される対象者の目線が正面を視認していないのに対し、図７（ｂ）に示されるように対象者の目線が正面を視認しているように補正されていることが確認できる。

【0061】

［動作フロー］
続いて、情報処理装置１における処理の流れについて説明する。図７は、情報処理装置１における処理の流れを示すフローチャートである。

【0062】

まず、取得部１３１は、第１端末２に設けられた撮像装置により撮像された、対象者の顔を撮像した第１画像を取得する（Ｓ１）。第１画像は、対象者の目を解析するために用いられる。

【0063】

続いて、推定部１３３は、取得部１３１が取得した第１画像を解析することにより対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定する（Ｓ２）。続いて、色特定部１３４は、取得部１３１が取得した第１画像を解析することにより、対象者の黒目の色と、左白目の色と、右白目の色とを特定する（Ｓ３）。続いて、黒目解析部１３５は、取得部１３１が取得した第１画像を解析することにより、対象者の黒目の幅と、当該黒目における瞳孔の幅との比率を特定するとともに、黒目に映る光の大きさ、位置を特定する（Ｓ４）。

【0064】

続いて、サイズ特定部１３６は、対象者の眼球のサイズと、黒目のサイズとを示すサイズ情報を取得することにより対象者の眼球のサイズ及び黒目のサイズを特定する（Ｓ５）。なお、Ｓ２からＳ５の処理は、並列して実行されてもよいし、図７に示す順番とは異なる順番で実行されるようにしてもよい。

【0065】

続いて、取得部１３１は、第１端末２に設けられた撮像装置により撮像された、対象者の顔を撮像した第２画像を取得する（Ｓ６）。
続いて、角度特定部１３２は、第２画像を解析することにより対象者の顔の横ずれ角と縦ずれ角とを特定する（Ｓ７）。

【0066】

補正部１３８は、Ｓ７において特定された縦ずれ角が所定の閾値未満であるか否かを判定する（Ｓ８）。補正部１３８は、縦ずれ角が所定の閾値未満である場合（Ｓ８のＹＥＳ）、Ｓ９に処理を移し、縦ずれ角が所定の閾値以上である場合（Ｓ８のＮＯ）、Ｓ１１に処理を移す。

【0067】

Ｓ９において、幅特定部１３７は、特定した眼球のサイズ、黒目のサイズ、及び横ずれ角と、推定した黒目の幅と白目の幅との比率とに基づいて、第２画像において正面方向を基準として対象者の顔が横ずれ角ずれている状態で対象者が正面方向を視認したときの黒目幅と、左白目幅と、右白目幅との比率を特定する。

【0068】

続いて、補正部１３８は、取得部１３１が取得した第２画像に含まれる対象者の目を補正する（Ｓ１０）。具体的には、補正部１３８は、第２画像における黒目及び白目の形状が、Ｓ９において特定された黒目の幅、左白目幅、及び右白目幅の比率に対応する形状になるように第２画像に含まれる対象者の目を補正する。また、補正部１３８は、Ｓ３において特定された左目における黒目の色、左白目の色、及び右白目の色に基づいて、黒目、左白目、右白目を描画する。補正部１３８は、黒目を描画する場合に、Ｓ４において特定された黒目の幅と黒目における瞳孔の幅との比率に基づいて、左目における黒目の中心に瞳孔を描写する。また、補正部１３８は、Ｓ４において特定された光の大きさと光の位置に基づいて、左目において描画した黒目に対し、光を描写する。

【0069】

続いて、出力部１３９は、第２画像を第２端末３に出力する（Ｓ１１）。出力部１３９は、Ｓ１０により対象者の目が補正された場合には、対象者の目が補正された第２画像を第２端末３に出力し、対象者の目が補正されなかった場合には、Ｓ６において取得された第２画像をそのまま第２端末３に出力する。

【0070】

続いて、取得部１３１は、図７に示す処理の停止を受け付けたか否かを判定する（Ｓ１２）。取得部１３１は、図７に示す処理の停止を受け付けたと判定すると（Ｓ１２のＹＥＳ）、本フローチャートに係る処理を終了し、処理の停止を受け付けていないと判定すると（Ｓ１２のＮＯ）、Ｓ６に処理を移す。

【0071】

［情報処理装置１による効果］
以上説明したように、本実施の形態に係る情報処理装置１は、第１画像を解析することにより対象者が正面を向いた時の黒目の幅と白目の幅との比率を推定し、第１画像を取得した後に取得した第２画像を解析することにより対象者の顔の正面方向を基準としたときの第２画像に映る前記顔が横方向にずれている角度である横ずれ角を特定する。情報処理装置１は、特定した眼球のサイズ、黒目のサイズ、及び横ずれ角と、推定した比率とに基づいて、第２画像において正面方向を基準として顔が横ずれ角ずれている状態で、対象者が正面方向を視認したときの対象者の黒目幅と、左白目幅と、右白目幅との比率を特定し、第２画像に含まれる対象者の目における黒目及び白目の形状が、特定された黒目幅、左白目幅、及び右白目幅の比率に対応する形状になるように第２画像を補正する。このようにすることで、情報処理装置１は、参加者の視線を他の参加者の視線と合わせられるようにすることができる。

【0072】

なお、本発明により、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0073】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0074】

１ 情報処理装置
２ 第１端末
３ 第２端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 取得部
１３２ 角度特定部
１３３ 推定部
１３４ 色特定部
１３５ 黒目解析部
１３６ サイズ特定部
１３７ 幅特定部
１３８ 補正部
１３９ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】