(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-22
(45)【発行日】2023-10-02
(54)【発明の名称】画像解析装置、画像解析方法、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230925BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 660A
【請求項の数】
7
(21)【出願番号】P 2022075171
(22)【出願日】2022-04-28
(62)【分割の表示】P 2018164409の分割
【原出願日】2018-09-03
(65)【公開番号】P2022106887
(43)【公開日】2022-07-20
【審査請求日】2022-05-18
【新規性喪失の例外の表示】特許法第３０条第２項適用 公開日 平成３０年７月１６日 発表会名 第２７回国際人口知能会議、第２３回 欧州人工知能会議（ＩＪＣＡＩ―ＥＣＡＩ２０１８） メイントラック２日目 発表会場 ストックホルム会議場（Ｔｈｅ Ｓｔｏｃｋｈｏｌｍ Ｃｏｎｖｅｎｔｉｏｎ Ｃｅｎｔｅｒ）（Ｍａｓｓｖａｇｅｎ １，Ｓｔｏｃｋｈｏｌｍ，Ｓｗｅｄｅｎ） ウェブサイトの掲載日 平成３０年７月１６日 ウェブサイトのアドレス（ｈｔｔｐｓ：／／ｗｗｗ．ｉｊｃａｉ－１８．ｏｒｇ／）（ｈｔｔｐ：／／ｓｔａｔｉｃ．ｉｊｃａｉ．ｏｒｇ／２０１８－Ｐｒｏｇｒａｍ．ｈｔｍｌ）（ｈｔｔｐｓ：／／ｗｗｗ．ｉｊｃａｉ．ｏｒｇ／ｐｒｏｃｅｅｄｉｎｇｓ／２０１８／０２１４．ｐｄｆ）
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100181124
【弁理士】
【氏名又は名称】沖田 壮男
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】清水 伸幸
(72)【発明者】
【氏名】宮崎 崇史
(72)【発明者】
【氏名】レ ミン タオ
【審査官】佐藤 実
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０１２０５２２（ＵＳ，Ａ１）
【文献】特開２００６－１２７３５３（ＪＰ，Ａ）
【文献】特開２００６－３３８５２９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ１０Ｌ １５／１０
(57)【特許請求の範囲】
【請求項1】
画像に含まれる１以上の人物を検出し、検出された人物の内で、口を開けている人物を発話者であると推定する発話者推定部と、
推定された前記発話者の視線の先の位置を推定する視線先位置推定部と、
推定された前記視線の先の位置に基づいて、前記発話者が発話する対象の発話相手を推測する発話相手推測部と、
を備え、
前記視線先位置推定部は、
前記画像内の前記発話者の映り込む部分を除いた画像全体から物標を検出し、
前記画像内での前記発話者の瞳の位置を検出し、
検出された前記物標と、前記瞳の位置とに基づいて、前記発話者の視線の先の位置を推定し、
前記発話相手推測部は、
検出された前記物標に１名の人物が含まれる場合、前記１名の人物を前記発話相手と推測し、
検出された前記物標に２名以上の人物が含まれる場合、推定された前記視線の先の位置に基づいて、前記発話相手を推測し、
検出された前記物標に人物が含まれない場合、前記画像の撮像者または前記画像に含まれず且つ前記画像から想定される実空間に存在する人物を、前記発話相手と推測する、
画像解析装置。
【請求項2】
前記視線先位置推定部は、畳み込みニューラルネットワークを利用した第１導出器を用いて、前記画像内における前記物標の検出結果を示す顕著性マップを導出する、請求項１に記載の画像解析装置。
【請求項3】
前記視線先位置推定部は、畳み込みニューラルネットワークを利用した第２導出器を用いて、前記画像内における前記顕著性マップとは別の空間マップである、視線マスクマップを導出する、請求項２に記載の画像解析装置。
【請求項4】
前記視線先位置推定部は、前記顕著性マップと前記視線マスクマップとの要素ごとの積を演算することによって、前記発話者の視線の先の位置を推定する、請求項３に記載の画像解析装置。
【請求項5】
前記発話相手推測部は、前記画像内において推定された前記発話者の視線の先の位置に人物が映り込んでいる場合、前記人物を前記発話相手と推測する、請求項１から４の何れか一項に記載の画像解析装置。
【請求項6】
コンピュータが、画像に含まれる１以上の人物を検出し、検出された人物の内で、口を開けている人物を発話者であると推定し、
推定された前記発話者の視線の先の位置を推定し、
推定された前記視線の先の位置に基づいて、前記発話者が発話する対象の発話相手を推測する、
画像解析方法であって、
前記画像内の前記発話者の映り込む部分を除いた画像全体から物標を検出し、
前記画像内での前記発話者の瞳の位置を検出し、
検出された前記物標と、前記瞳の位置とに基づいて、前記発話者の視線の先の位置を推定し、
検出された前記物標に１名の人物が含まれる場合、前記１名の人物を前記発話相手と推測し、
検出された前記物標に２名以上の人物が含まれる場合、推定された前記視線の先の位置に基づいて、前記発話相手を推測し、
検出された前記物標に人物が含まれない場合、前記画像の撮像者または前記画像に含まれず且つ前記画像から想定される実空間に存在する人物を、前記発話相手と推測する、
画像解析方法。
【請求項7】
コンピュータに、画像に含まれる１以上の人物を検出させ、検出された人物の内で、口を開けている人物を発話者であると推定させ、
推定された前記発話者の視線の先の位置を推定させ、
推定された前記視線の先の位置に基づいて、前記発話者が発話する対象の発話相手を推測させる、
プログラムであって、
前記画像内の前記発話者の映り込む部分を除いた画像全体から物標を検出させ、
前記画像内での前記発話者の瞳の位置を検出させ、
検出された前記物標と、前記瞳の位置とに基づいて、前記発話者の視線の先の位置を推定させ、
検出された前記物標に１名の人物が含まれる場合、前記１名の人物を前記発話相手と推測させ、
検出された前記物標に２名以上の人物が含まれる場合、推定された前記視線の先の位置に基づいて、前記発話相手を推測させ、
検出された前記物標に人物が含まれない場合、前記画像の撮像者または前記画像に含まれず且つ前記画像から想定される実空間に存在する人物を、前記発話相手と推測させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析装置、画像解析方法、およびプログラムに関する。
【背景技術】
【0002】
従来、人物を撮像した画像の特徴（例えば、発話前に確認される癖や表情）と、その特徴が確認された際に発話する確率とを学習した学習結果に基づいて、発話者が実際に話す前に発話者を予測することで、ＴＶ会議システムなどでマイク、カメラ等の円滑なスイッチングを実現する技術が知られている（特許文献１参照）。
【0003】
また、画像に映る人物の目線を検出する技術が知られている（非特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００７－１４７７６２号公報
【非特許文献】
【0005】
【文献】Recasens、外３名、Massachusetts Institute of Technology, “Where are they looking?”、[online], [平成３０年７月２日検索]、インターネット＜ＵＲＬ：http://people.csail.mit.edu/khosla/papers/nips2015_recasens.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来の技術では人物を撮像した画像から、発話者と発話相手とを推測するには至っていなかった。
【0007】
本発明は、このような事情を考慮してなされたものであり、画像に含まれる発話者と発話内容とに基づいて、発話相手を適切に推測することができる画像解析装置、画像解析方法、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0008】
本発明の一態様の画像解析装置は、画像に含まれる発話者の視線の先の位置を推定する視線先位置推定部と、推定された前記視線の先の位置に基づいて、前記発話者が発話する対象の発話相手を推定する発話相手推測部と、を備え、前記視線先位置推定部は、前記画像内の前記発話者の映り込む部分を除いた画像全体から物標を検出し、前記画像内での前記発話者の頭の位置および瞳の位置の少なくとも一方を検出し、検出された前記物標と、前記頭の位置および瞳の位置の少なくとも一方とに基づいて、前記発話者の視線の先の位置を推定する、画像解析装置である。
【発明の効果】
【0009】
本発明の一態様によれば、画像の被写体である発話者と発話内容とに基づいて、発話相手を適切に推測することができる画像解析装置、画像解析方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】実施形態の画像解析装置１００の使用環境を示す図である。
【図2】視線先位置推定部１３２の視線検出方法について説明する図である。
【図3】視線先位置推定部１３２により視線が検出された結果の一例を示す図である。
【図4】発話内容推測部１４０による発話者の発話内容の推測手順を示す図である。
【図5】視線先位置推定部１３２、および発話内容推測部１４０による処理の流れを模式的に示す図である。
【図6】画像解析装置１００による推測処理の流れの一例を示すフローチャートである。
【図7】第２の実施形態の画像解析装置１００Ａの概要図である。
【図8】画像解析装置１００Ａによる推測処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照し、本発明の画像解析装置、画像解析方法、およびプログラムの実施形態について説明する。
【0012】
［概要］
画像解析装置は、一以上のプロセッサにより実現される。画像解析装置は、１以上の人物が撮像された１以上の画像と、その画像における発話者および発話内容を取得し、その取得した情報に基づいて、発話相手（発話者が話しかけている相手）を推測する。なお、画像は動画であってもよい。また、画像には、撮像日時情報や地理情報等が付随していてもよい。
画像解析装置は、一以上のプロセッサにより実現される。画像解析装置は、１以上の人物が撮像された１以上の画像と、その画像における発話者および発話内容を取得し、その取得した情報に基づいて、発話相手（発話者が話しかけている相手）を推測する。なお、画像は動画であってもよい。また、画像には、撮像日時情報や地理情報等が付随していてもよい。
【0013】
画像解析装置は、画像の特徴、発話者の特徴、および発話内容に基づいて、発話相手を推測する。発話相手は、画像に撮像された人物であってもよいし、画像に含まれない人物（例えば、画像を撮像した人物や、画像から想定される実空間に存在する人物）であってもよい。これによって、画像解析装置は、人物を撮像した画像から発話者と発話相手とを推測することができる。
【0014】
＜第１実施形態＞
［全体構成］
図１は、第１実施形態の画像解析装置１００の使用環境および構成の一例を示す図である。画像解析装置１００は、ネットワークＮＷを介して依頼元端末２００と通信する。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線などを含む。依頼元端末２００は、例えば、通信機能などを有するコンピュータ装置である。通信機能は、ＮＩＣ（Network Interface Card）などのネットワークカード、無線通信モジュールなどにより実現される。
［全体構成］
図１は、第１実施形態の画像解析装置１００の使用環境および構成の一例を示す図である。画像解析装置１００は、ネットワークＮＷを介して依頼元端末２００と通信する。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線などを含む。依頼元端末２００は、例えば、通信機能などを有するコンピュータ装置である。通信機能は、ＮＩＣ（Network Interface Card）などのネットワークカード、無線通信モジュールなどにより実現される。
【0015】
画像解析装置１００は、例えば、取得部１１０と、特徴量導出部１２０と、発話者推定部１３０と、発話内容推測部１４０と、発話相手推測部１５０と、出力部１６０と、記憶部１７０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【0016】
取得部１１０は、１以上の人物が含まれる１以上の画像を、依頼元端末２００から取得する。取得部１１０は、取得した画像を特徴量導出部１２０に出力する。以下、画像は人物を撮像したものとする。
【0017】
特徴量導出部１２０は、画像の特徴量を導出する。特徴量とは、画像を解析することにより算出される数値（ベクトルや行列を含む）その他のデジタルデータである。画像の特徴量は、例えば、輝度、色、明度分布、彩度、色比率、人物の顔の各パーツ（目、鼻、口、眉、顎、髪など）の形状やサイズなどである。なお、特徴量導出部１２０は、画像に撮像された人物の属性を識別して、その人物の特徴量を導出してもよい。人物の属性とは、例えば、人物の年齢、性別、職業、パターン化された表情（怒り顔、笑顔など）である。また、取得部１１０が取得した画像が複数枚の連続した画像である場合や、動画である場合、人物の特徴量には、人物の基準位置（頭部あるいは体の重心など）の移動ベクトル、人物の形態変化（例えば、表情の変化や身振り）や、画像に音声が対応付けられている場合には音声に基づく特徴量（例えば、声の大きさ、高さ、抑揚等）が含まれてもよい。
【0018】
なお、特徴量導出部１２０は、導出した特徴量に基づいて、画像から連想される場面タイトルを特徴量として導出してもよい。場面タイトルとは、画像を端的に説明するものであり、例えば、「学校」、「オフィス」のように場所を示したり、「上司と部下」、「教員と生徒」のように画像に撮像された人物の関係を示したりするものである。特徴量導出部１２０は、導出した特徴量を発話者推定部１３０、視線先位置推定部１３２および発話内容推測部１４０に出力する。
【0019】
発話者推定部１３０は、特徴量導出部１２０により出力された特徴量に基づいて、画像における発話者を推定する。発話者推定部１３０は、例えば、画像に撮像された人物が１名である場合には、その人物を発話者として発話内容を推定する。また、発話者推定部１３０は、例えば、画像に撮像された人物が２名以上である場合には、人物のうち、視線の先の位置（その位置にある人物）に基づいて、発話者を推定する。また、発話者推定部１３０は、例えば、撮像された他の人物が口を閉じている中で、１名だけ口を開けている場合、その口を開けている人物を発話者であると推定する。
【0020】
発話者推定部１３０は、例えば、視線先位置推定部１３２を備える。視線先位置推定部１３２は、特徴量導出部１２０により出力された特徴量と、発話者推定部１３０により推定された発話者とに基づいて、発話者の視線の先の位置（視線先位置）を推定する。視線先位置推定部１３２が推定する視線先位置は、画像平面上の位置でもよいし、画像から想定される実空間上の位置でもよい。
【0021】
なお、視線先位置推定部１３２は、画像から人物を検出した場合であっても、その人物の瞳の一部または全部が確認できない場合（例えば、画像に映るのが人物の後ろ姿である場合や、画像に映る人物が項垂れていて顔が映り込んでない場合等）、視線を推定しないものとしてよい。視線先位置推定部１３２による視線先位置推定方法については後述する。視線先位置推定部１３２は、推定した視線先位置情報を発話内容推測部１４０に出力する。
【0022】
発話内容推測部１４０は、特徴量導出部１２０により出力された特徴量、発話者推定部１３０により推定された発話者、および視線先位置推定部１３２により推定された人物の視線先位置に基づいて、発話者の発話内容を推測する。発話内容には、話題に挙がる目的語や、話題の方向性（例えば、ポジティブな内容か、ネガティブな内容か）の情報が含まれる。
【0023】
発話内容推測部１４０は、推測した発話者および発話内容を発話相手推測部１５０および出力部１６０に出力する。
【0024】
発話相手推測部１５０は、発話内容推測部１４０により出力された発話内容が誰に対するものであるかを推測する。発話相手推測部１５０は、画像に撮像された人物が２名である場合、発話者でない人物を発話相手であると推測する。発話相手推測部１５０は、画像に撮像された人物が３名以上である場合、例えば、発話者の視線に基づいて発話相手を推測する。発話相手推測部１５０は、画像に撮像された人物が１名である場合、例えば、特徴量導出部１２０により導出された場面タイトルに基づいて発話相手を推測する。発話相手推測部１５０は、推測した発話相手を出力部１６０に出力する。
【0025】
出力部１６０は、発話内容推測部１４０により出力された発話内容、および発話相手推測部１５０により出力された発話相手を図１に示す依頼元端末２００に出力する。
【0026】
記憶部１７０は、発話推測情報１７１を記憶する。発話推測情報１７１とは、発話内容推測部１４０により参照され、発話内容の参考情報として用いられる文章情報、および発話内容の文脈に関する情報を含むものである。
【0027】
発話内容推測部１４０は、推測結果を発話推測情報１７１として記憶させることで、発話内容推測部１４０による推測結果を学習させてもよい。また、発話推測情報１７１には、特徴量導出部１２０により導出される場面タイトルが含まれていてもよい。また、発話内容推測部１４０は、発話推測情報１７１として、図１に示すネットワークＮＷを介して、発話内容の参考情報として用いられる文章情報や、発話内容の文脈に関する情報を他の情報源を学習させてもよい。
【0028】
［視線推定］
図２は、視線先位置推定部１３２の視線先位置推定方法について説明する図である。図３に示す視線先位置推定方法は、例えば、以下の４段階の手順により実現される。なお、下記の手順（ａ）と手順（ｂ）は並行して行われてもよいし、いずれか一方の処理の終了後に他方の処理が実施されてもよい。
（ａ）物標検出
（ｂ）被写体人物頭部・瞳位置分析
（ｃ）視線演算
（ｄ）視線先位置（グリッド）推定
図２は、視線先位置推定部１３２の視線先位置推定方法について説明する図である。図３に示す視線先位置推定方法は、例えば、以下の４段階の手順により実現される。なお、下記の手順（ａ）と手順（ｂ）は並行して行われてもよいし、いずれか一方の処理の終了後に他方の処理が実施されてもよい。
（ａ）物標検出
（ｂ）被写体人物頭部・瞳位置分析
（ｃ）視線演算
（ｄ）視線先位置（グリッド）推定
【0029】
以下、（ａ）～（ｄ）の各手順について説明する。
【0030】
（ａ）物標検出
視線先位置推定部１３２は、被写体の人物、および被写体の人物の視線の先に当たる物標の候補を、画像（以下、画像ｘｉ）内の視線先位置推定対象である被写体の人物の映り込む部分を除いた画像全体から検出する。物標とは、視線を誘引される可能性がある物体・人物・生物等の対象物をいう。
視線先位置推定部１３２は、被写体の人物、および被写体の人物の視線の先に当たる物標の候補を、画像（以下、画像ｘｉ）内の視線先位置推定対象である被写体の人物の映り込む部分を除いた画像全体から検出する。物標とは、視線を誘引される可能性がある物体・人物・生物等の対象物をいう。
【0031】
物標の検出は、例えば、ＶＧＧＮｅｔ等の畳み込みニューラルネットワーク（Convolutional Neural Network；ＣＮＮ）などを利用した導出器１によって実現される。導出器１は、予め機械学習によって生成されたものである。視線先位置推定部１３２は、画像ｘｉからサイズＤ×Ｄの顕著性マップＳ（ｘｉ）を導出する。
【0032】
（ｂ）被写体人物頭部・瞳位置分析
視線先位置推定部１３２は、被写体の人物の顔の向きや瞳の位置に基づいて、視線の方向を推定する。視線先位置推定部１３２は、視線の方向の推定のため、畳み込みニューラルネットワークなどを利用した導出器２を用いて、画像ｘｉから顕著性マップＳ（ｘｉ）とは別の空間マップである、サイズＤ×Ｄの視線マスクマップＧ（ｘｈ，ｘｐ）を導出する。導出器２は、導出器１と同様に、予め機械学習によって生成されたものである。ｘｐは、画像ｘｉ内での被写体の人物の頭の位置または瞳の位置を示すパラメータ（例えば、座標）である。またｘｈは、ｘｐの導出によって得られた画像ｘｉ内での被写体の人物の頭の位置、または瞳の位置を拡大処理した際の拡大程度を表す画像パラメータである。
視線先位置推定部１３２は、被写体の人物の顔の向きや瞳の位置に基づいて、視線の方向を推定する。視線先位置推定部１３２は、視線の方向の推定のため、畳み込みニューラルネットワークなどを利用した導出器２を用いて、画像ｘｉから顕著性マップＳ（ｘｉ）とは別の空間マップである、サイズＤ×Ｄの視線マスクマップＧ（ｘｈ，ｘｐ）を導出する。導出器２は、導出器１と同様に、予め機械学習によって生成されたものである。ｘｐは、画像ｘｉ内での被写体の人物の頭の位置または瞳の位置を示すパラメータ（例えば、座標）である。またｘｈは、ｘｐの導出によって得られた画像ｘｉ内での被写体の人物の頭の位置、または瞳の位置を拡大処理した際の拡大程度を表す画像パラメータである。
【0033】
（ｃ）視線演算
視線先位置推定部１３２は、手順（ａ）の物標の検出結果である顕著性マップＳ（ｘｉ）、および（ｂ）の視線の方向の分析結果である視線マスクマップＧ（ｘｈ，ｘｐ）に基づいて、被写体の人物の方向を演算し、被写体の視線先位置を推定する。ここで、被写体の人物が複数存在する場合には、瞳の位置が推定できるすべての人物の視線先位置を推定してもよいし、発話者推定部１３０がすでに発話者を推定している場合にはその人物の視線先位置を推定してもよい。
視線先位置推定部１３２は、手順（ａ）の物標の検出結果である顕著性マップＳ（ｘｉ）、および（ｂ）の視線の方向の分析結果である視線マスクマップＧ（ｘｈ，ｘｐ）に基づいて、被写体の人物の方向を演算し、被写体の視線先位置を推定する。ここで、被写体の人物が複数存在する場合には、瞳の位置が推定できるすべての人物の視線先位置を推定してもよいし、発話者推定部１３０がすでに発話者を推定している場合にはその人物の視線先位置を推定してもよい。
【0034】
視線先位置推定部１３２は、例えば、ＶＧＧＮｅｔを利用して下記の式（１）のように、顕著性マップＳ（ｘｉ）と視線マスクマップＧ（ｘｈ，ｘｐ）との要素ごとの積（element-wise product）を演算することによって、被写体の視線先位置ｙ（ハット）（式（１）の左辺）を演算する。
【0035】
【数1】
【0036】
なお、式（１）の右辺のＦ（）は、顕著性マップＳ（ｘｉ）と視線マスクマップＧ（ｘｈ，ｘｐ）との要素ごとの積から、畳み込みニューラルネットワークにおけるＦＣ層（Fully Connected Layer；最終的な判定を行う層）のパラメータを予め導出しておくための関数である。
【0037】
（ｄ）視線先位置（グリッド）推定
視線先位置推定部１３２は、手順（ｃ）の演算結果に基づいて、被写体の人物の視線先位置ｙ（ハット）を推定する。視線先位置推定部１３２は、被写体の人物の視線先位置ｙ（ハット）の推定のため、視線マスクマップＧ（ｘｈ，ｘｐ）のみを用いてもよいし、視線マスクマップＧ（ｘｈ，ｘｐ）の導出とは異なる演算モデルを用いて演算を実施し、複数の演算結果を統合することで被写体の人物の視線先位置である領域（グリッド）を推定してもよい。
視線先位置推定部１３２は、手順（ｃ）の演算結果に基づいて、被写体の人物の視線先位置ｙ（ハット）を推定する。視線先位置推定部１３２は、被写体の人物の視線先位置ｙ（ハット）の推定のため、視線マスクマップＧ（ｘｈ，ｘｐ）のみを用いてもよいし、視線マスクマップＧ（ｘｈ，ｘｐ）の導出とは異なる演算モデルを用いて演算を実施し、複数の演算結果を統合することで被写体の人物の視線先位置である領域（グリッド）を推定してもよい。
【0038】
また、視線先位置推定部１３２は、被写体の人物の顔を正面から撮像し、その人物がカメラの方を向いている場合（いわゆるカメラ目線である場合）には、「視線の先の位置は撮像者である」と推定してもよい。また、視線先位置推定部１３２は、被写体の人物の顔を認識した場合であり、その人物が虚空に目線を向けている場合には、何も見ていないものとしてもよいし、画像外の不特定の人物に対する目線であるものとしてもよい。
【0039】
図３は、視線先位置推定部１３２により視線先位置が推定された結果の一例を示す図である。例えば、視線先位置推定部１３２は、図３の右側の人物の視線先位置を推定し、どの人物に対して視線先位置を推定したかの推定結果を顔の上の丸印で示す。なお、画像解析装置１００は、視線先位置推定部１３２によって視線先位置を推定した右の人物を、発話者であるものとして、発話内容の推測を行う。
【0040】
視線先位置推定部１３２による視線先位置推定処理は、下記の式（２）～（５）により示すことができる。
【0041】
【数2】
【0042】
式（２）において、ａは受信者区分（addressee class；発話者の視線の先が画像ｘｉ内の物標であるか、撮像者であるか、それ以外であるかを示す分類区分）を示し、Ｉ１は顕著性マップＳ（ｘｉ）によって得られる特徴量を示し、Ｉ２は視線マスクマップＧ（ｘｈ，ｘｐ）によって得られる発話者特徴量を示し、θはＬＳＴＭ言語モデルｐ（ａ｜Ｉ１，Ｉ２，Ｓ１，…，ＳＴ）におけるモデルパラメータを示す。発話内容を構成する単語Ｓ１‐ＳＴはベクトル値によって示される。単語Ｓ１‐ＳＴは予め用意された多数の候補から抽出されたものである。また、argmaxは対象項を最大にするパラメータを求める関数であり、ｐ（）は視線先位置推定モデルを示す式であり、１以上のモダリティストリームを含むものである。モダリティストリームとは、話している内容に対する話し手の判断や感じ方を表す言語表現モデルの構成要素の一部のことである。モダリティストリームとは、例えば、saliency-estimation-feature stream、speaker-appearance-feature stream、utterance-based- feature streamと称されるものである。発話内容推測部１４０は、例えば、発話者の表情や仕草に応じて発話内容に反映する単語Ｓ１‐ＳＴの抽出方法を選択したり、抽出元となる単語群を発話推測情報１７１から選択したりする。θ*はｐ（）を最大にするパラメータθを示す。また、Ｔは発話内容の単語の数を示す正の整数である。発話内容推測部１４０は、式（２）に示す関係をモデル化するため、例えば、式（３）～（５）を用いて、モダリティストリーム毎に１つずつモデル化する。
【0043】
【数3】
【0044】
式（３）～（５）において、Ｗ１およびＷ２はネットワークパラメータであり、ｂ１およびｂ２はバイアス値であり、ＲｅＬＵ（Rectified Linear Unit）は、正規化線形関数であり、ｃｏｎｃａｔは、結合関数である。発話内容推測部１４０は、顕著性マップＳ（ｘｉ）を式（３）で、視線マスクマップＧ（ｘｈ，ｘｐ）を式（４）で処理し、その処理結果を式（５）で統合する。式（５）のｃｏｎｃａｔは、ベクトルを結合する関数である、ｃｏｎｃａｔｅｎａｔｅ関数を示す。
【0045】
［発話内容推測］
発話内容推測部１４０による発話内容の推測処理は、例えば、以下の２段階の手順により実現される。
（ｅ）画像全体分析
（ｆ）発話内容推測
発話内容推測部１４０による発話内容の推測処理は、例えば、以下の２段階の手順により実現される。
（ｅ）画像全体分析
（ｆ）発話内容推測
【0046】
以下、（ｅ）～（ｆ）の各手順について説明する。
【0047】
（ｅ）画像全体分析
発話内容推測部１４０は、例えば、画像ｘｉに映り込む人物、物標、背景等の物標を分析する。発話内容推測部１４０は、特徴量導出部１２０の導出結果を用いて物標を分析してもよい。
発話内容推測部１４０は、例えば、画像ｘｉに映り込む人物、物標、背景等の物標を分析する。発話内容推測部１４０は、特徴量導出部１２０の導出結果を用いて物標を分析してもよい。
【0048】
発話内容推測部１４０は、例えば、発話者推定部１３０によって画像ｘｉに映り込む人物から発話者を推測された結果に基づいて、画像ｘｉにおいてその発話者の映り込む部分を分析する。なお、発話内容推測部１４０は、発話内容の予測に視線先位置推定部１３２による視線先位置の推定結果の一部または全部を用いてもよいし、依頼元端末２００による視線の入力を取得した結果を用いてもよい。
【0049】
（ｆ）発話内容推測
発話内容推測部１４０は、例えば、手順（ｅ）で分析された物標を示す単語や、それらから連想される単語に基づいて、発話者の発話しそうな文章を構成することで、発話者の発話内容を推測する。
発話内容推測部１４０は、例えば、手順（ｅ）で分析された物標を示す単語や、それらから連想される単語に基づいて、発話者の発話しそうな文章を構成することで、発話者の発話内容を推測する。
【0050】
発話内容推測部１４０による発話内容推測は、例えば、ＬＳＴＭ(Long short-term memory)言語モデルにより実現される。ＬＳＴＭ言語モデルとは、学習内容を長期的に活用する再帰型ニューラルネットワーク(ＲＮＮ）により実現されるモデルであり、例えば、演算過程が累積記憶して以後の計算に用いられる。ＬＳＴＭ言語モデルを用いて処理を行う方法は、イメージ・キャプショニング（Image Captioning;画像説明文自動生成）方法と称される場合がある。なお、ＬＳＴＭ言語モデルは、注意モデル（Attention Model；例えば、発話者や発話者の視線を示す画像ｘｉの一部分に注目を向けさせる補完情報）で拡張されてもよい。
【0051】
図４は、発話内容推測部１４０によって推測された発話内容の構成を示す図である。発話内容推測部１４０は、例えば、図３に示す画像ｘｉから、２名の人物が船上にいる様子であり、出航準備中であるものとして、“Are you ready for leave port?”という発話内容を推測するものとして、その推測方法を説明する。
【0052】
例えば、図４の上図に示す一般的なニューラルネットワーク言語モデルに基づいて文章が構成される場合、文章を構成する第４単語Ｓ４（文頭から４つ目の単語）の“for”を導出する過程において、入力データとして第４単語の直前に用いられる第３単語Ｓ3（文頭から３つ目の単語）の“ready”のみが用いられる。
【0053】
一方、図４の下図に示すＬＳＴＭ言語モデルに基づいて文章が構成される場合、文章を構成する第４単語を導出する過程において、第１単語～第３単語(“Are you ready”)を入力データとして、第４単語が導出される。したがって、ＬＳＴＭ言語モデルは、連続する言葉の並びに基づいて次に出現させる言葉を推測することができ、単語や文の並びの妥当性を高めることができる。
【0054】
発話内容推測部１４０による発話内容推測処理は、例えば、下記の式（６）～（８）により示すことができる。
【0055】
【数4】
【0056】
式（６）において、ｔは時間であり、ｘｔは時間ｔにおけるインプット情報（すなわち、視線先位置推定部１３２による視線先位置推定結果や単語Ｓｔ）であり、ｕｔは時間ｔにおける組み込みベクトルであり、ｈｔ－１は時間ｔ－１における隠れ状態を示す。式（６）の右辺は、ｕｔおよびｈｔ－１をＬＳＴＭ言語モデルにて演算することを示す。式（８）の右辺は、ネットワークパラメータＷｆｕとインプット情報ｘｆｕの積にバイアス値ｂｆｕを加算するソフトマックス関数を示す。ソフトマックス関数は、下記の式（９）の演算を行うものである。式（９）において、ｖはベクトルである。
【0057】
【数5】
【0058】
［発話相手推測］
発話相手推測部１５０は、例えば、視線先位置推定部１３２によって発話者の視線先位置が推定されていない場合、発話内容推測部１４０により推測された発話内容に基づいて、発話相手を推測する。
発話相手推測部１５０は、例えば、視線先位置推定部１３２によって発話者の視線先位置が推定されていない場合、発話内容推測部１４０により推測された発話内容に基づいて、発話相手を推測する。
【0059】
発話相手推測部１５０による発話相手の推測は、下記の数式（１０）～（１５）により示すことができる。
【0060】
【数6】
【0061】
式（１４）および式（１５）は、ＬＳＴＭ言語モデルのステータスｃｔおよびｈｔを導出する式である。式（１４）において、ｉｔは入力ゲート（Input gate）であり、ｇｔは入力調整ゲート（input modulation gate）であり、ｏｔは出力ゲート（Output gate）であり、ｆｔは忘却ゲート（forgetting gate）である。また、式（１０）～（１２）のシグモイド関数σ（）は、σ（ｘ）＝（１＋ｅ―ｘ）－１の関係を示す。また、式（１３）および（１５）のφ（）は、複素数の双曲線関数（hyperbolic tangent function）を示すものであり、φ（ｘ）＝（ｅｘ－ｅ―ｘ）／（ｅｘ＋ｅ―ｘ）の関係を示す。式（１４）および式（１５）の右辺の丸内に黒丸を収めた記号は、２つのベクトル値の要素ごとの積（あだマール積）を示す。
【0062】
なお、発話相手推測部１５０は、視線先位置推定部１３２によって発話者の視線先位置が推定されている場合、その推定結果に基づいて発話相手を推測してもよい。例えば、発話相手推測部１５０は、視線先位置推定部１３２によって発話者の視線先位置が推定されており、画像ｘｉにおいて発話者の視線の先に当たる位置に人物が映り込む場合、発話者の視線先位置の人物を発話相手である可能性が高いものとして推測する。また、例えば、発話相手推測部１５０は、視線先位置推定部１３２によって発話者の視線先位置が推定されており、画像ｘｉにおいて発話者の視線先位置に人物が映り込み、その人物の視線が発話者の方向に向けられている場合（図４のように、人物同士の目が合っている場合）、発話者の視線先位置の人物を発話相手であると推測する。
【0063】
また、発話相手推測部１５０は、発話相手の推測結果と、視線先位置推定部１３２によって発話者の視線先位置の物標とを照合することで、発話相手の推測精度を検証してもよい。発話相手推測部１５０は、例えば、発話相手の推測結果と、視線先位置推定部１３２によって発話者の視線の先の物標とがアンマッチである場合に、発話内容推測部１４０に処理を戻し、発話内容推測を再実施してもよい。
【0064】
【0065】
視線先位置推定部１３２は、画像ｘｉ全体および、視線先位置推定部１３２により視線先位置が推定された発話者の頭部または瞳の位置の情報を、それぞれＶＧＧＮｅｔ等の畳み込みニューラルネットワークを利用した機械学習による演算結果を結合することにより視線推定を行う。次に、発話内容推測部１４０は、ＬＳＴＭ言語モデルを用いて発話内容を推測する。画像解析装置１００は、これらの演算結果を統合し、依頼元端末２００に出力する。
【0066】
［処理フロー］
図６は、画像解析装置１００による推測処理の流れの一例を示すフローチャートである。まず、取得部１１０は、依頼元端末２００より画像ｘｉを取得し、特徴量導出部１２０に出力する（Ｓ１００）。次に、特徴量導出部１２０は、画像ｘｉの特徴量を導出する（Ｓ１０２）。次に、視線先位置推定部１３２は、画像ｘｉにおける発話者を推測し、発話者の視線先位置を推定する（Ｓ１０４）。次に、発話内容推測部１４０は、発話内容を推測する（Ｓ１０６）。次に、発話相手推測部１５０は、発話相手を推測する（Ｓ１０８）。次に、出力部１６０は、推測結果を依頼元端末２００に出力する（Ｓ１１０）。以上、本フローチャートの処理の説明を終了する。
図６は、画像解析装置１００による推測処理の流れの一例を示すフローチャートである。まず、取得部１１０は、依頼元端末２００より画像ｘｉを取得し、特徴量導出部１２０に出力する（Ｓ１００）。次に、特徴量導出部１２０は、画像ｘｉの特徴量を導出する（Ｓ１０２）。次に、視線先位置推定部１３２は、画像ｘｉにおける発話者を推測し、発話者の視線先位置を推定する（Ｓ１０４）。次に、発話内容推測部１４０は、発話内容を推測する（Ｓ１０６）。次に、発話相手推測部１５０は、発話相手を推測する（Ｓ１０８）。次に、出力部１６０は、推測結果を依頼元端末２００に出力する（Ｓ１１０）。以上、本フローチャートの処理の説明を終了する。
【0067】
以上説明したように、画像解析装置１００は、発話者の映り込む画像ｘｉを取得する取得部１１０と、画像ｘｉに映り込む発話者の視線の先の位置を推定する視線先位置推定部１３２と、画像ｘｉおよび推定された視線の先の位置に基づいて、発話者の発話内容を推測する発話内容推測部１４０とを備えることにより、画像ｘｉから発話者および発話者の発話内容を適切に推測することができる。
【0068】
また、画像解析装置１００は、発話者の映り込む画像ｘｉを取得する取得部１１０と、画像ｘｉおよび発話内容推測部１４０による発話内容の予測結果に基づいて、発話者が発話する対象の発話相手を推定する発話相手推測部１５０とを備えることにより、画像ｘｉと発話者の発話内容から発話相手を適切に推測することができる。
【0069】
＜第２実施形態＞
図７は、第２の実施形態の画像解析装置１００Ａの概要図である。画像解析装置１００Ａは、第１の実施形態の画像解析装置１００と比較して、関連挙動推測部１８０をさらに備える点が異なる。したがって、以下では関連挙動推測部１８０を中心に説明する。
図７は、第２の実施形態の画像解析装置１００Ａの概要図である。画像解析装置１００Ａは、第１の実施形態の画像解析装置１００と比較して、関連挙動推測部１８０をさらに備える点が異なる。したがって、以下では関連挙動推測部１８０を中心に説明する。
【0070】
関連挙動推測部１８０は、視線先位置推定部１３２による視線先位置推定結果、および発話内容推測部１４０、および発話相手推測部１５０の推測結果に基づいて、発話者と発話相手の発話に伴う挙動を推測する。発話に伴う挙動には、例えば、頷く、手を振る、拍手する等のジェスチャや、微笑む、睨む等の表情の変化、その場を立ち去る、振り向く、座り直す等の発話者または発話相手の移動を含む。
【0071】
人間のリアクションは必ずしも言語コミュニケーションに限定されるものでないことから、発話内容推測部１４０による発話推測が困難である場面においても関連挙動推測部１８０が発話者の挙動を推測することにより、画像ｘｉから、より自然な状況や、その場のコミュニケーションを推測することができる。
【0072】
［処理フロー］
図８は、画像解析装置１００Ａによる推測処理の流れの一例を示す図である。図８に示すフローチャートは、図６のフローチャートにＳ１１２が追加されたものである。したがって、以下ではＳ１１２について説明する。
図８は、画像解析装置１００Ａによる推測処理の流れの一例を示す図である。図８に示すフローチャートは、図６のフローチャートにＳ１１２が追加されたものである。したがって、以下ではＳ１１２について説明する。
【0073】
Ｓ１０８の処理の後、関連挙動推測部１８０は、発話者の発話に伴う挙動を推測し（Ｓ１１２）、Ｓ１１０に処理を進める。以上、本フローチャートの処理の説明を終了する。
【0074】
なお、上述の画像解析装置１００および１００Ａにおいて、視線先位置推定部１３２による視線先の位置の検出、および発話内容推測部１４０による発話内容の推測は省略されてもよい。その場合、視線先位置推定部１３２による視線先の位置の代替として、取得部１１０が依頼元端末２００を介してユーザによる視線検出結果の入力（文字情報でもよいし、画像に視線を示す印を付与してもよい）や、発言内容の入力（文字情報でもよいし、音声データでもよい）を取得してもよい。
【0075】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0076】
１００、１００Ａ…画像解析装置、１１０…取得部、１２０…特徴量導出部、１３０…発話者推定部、１３２…視線先位置推定部、１４０…発話内容推測部、１５０…発話相手推測部、１６０…出力部、１７０…記憶部、１７１…発話推測情報、１８０…関連挙動推測部、２００…依頼元端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】