(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】表情推定装置、感情判定装置、表情推定方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230808BHJP
A61B 5/16 20060101ALI20230808BHJP
【ＦＩ】
G06T7/00 660A
A61B5/16 120
【請求項の数】
12
(21)【出願番号】P 2019046389
(22)【出願日】2019-03-13
(65)【公開番号】P2020149361
(43)【公開日】2020-09-17
【審査請求日】2022-02-09
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、総務省、「情報通信技術の研究開発 高度対話エージェント技術の研究開発・実証」委託事業、産業技術力強化法第１９条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】弁理士法人ブライタス
(72)【発明者】
【氏名】加藤 孝浩
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１６－１４９０６３（ＪＰ，Ａ）
【文献】特開２０１７－１８２６０５（ＪＰ，Ａ）
【文献】崔 昌石 Chang Seok CHOI，顔の３次元モデルを用いた顔面表情の分析 Analysis of Facial Expressions Using Three-Dimensional Facial Model，電子情報通信学会論文誌 （Ｊ７４ーＤーＩＩ） 第６号 THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS，日本，社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS，第J74-D-II巻，p.766－p.777
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ａ６１Ｂ ５／１６
(57)【特許請求の範囲】
【請求項1】
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
を備え、
前記表情推定部は、
前記補正後の顔画像データを基準として、
前記撮像データ取得部が取得した画像データについて、表情を点数化する加点・減点表に基づいて、表情の点数を加減算し、
前記表情の点数を加減算した回数、および、点数の最終値に応じて、前記対象人物の表情を推定することを特徴とする、表情推定装置。
【請求項2】
請求項１に記載の表情推定装置であって、前記補正部は、
前記顔画像データ取得部が取得した顔画像データから、前記対象人物の顔の特徴点を検出し、前記角度推定部が推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記撮像データ取得部が取得した画像データの顔の角度に一致させる、
ことを特徴とする表情推定装置。
【請求項3】
請求項１または請求項２に記載の表情推定装置であって、前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする表情推定装置。
【請求項4】
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
前記表情推定部による推定結果に基づいて、前記対象人物の感情を判定する感情判定部と、
を備え、
前記表情推定部は、
前記補正後の顔画像データを基準として、
前記撮像データ取得部が取得した画像データについて、表情を点数化する加点・減点表に基づいて、表情の点数を加減算し、
前記表情の点数を加減算した回数、および、点数の最終値に応じて、前記対象人物の表情を推定することを特徴とする感情判定装置。
【請求項5】
請求項４に記載の感情判定装置であって、前記補正部は、
前記顔画像データ取得部が取得した顔画像データから、前記対象人物の顔の特徴点を検出し、前記角度推定部が推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記撮像データ取得部が取得した画像データの顔の角度に一致させる、
ことを特徴とする感情判定装置。
【請求項6】
請求項４または請求項５に記載の感情判定装置であって、前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする感情判定装置。
【請求項7】
（ａ）撮像装置が撮像した対象人物の顔の画像データを取得するステップと、（ｂ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｃ）前記ステップ（ａ）で取得した画像データから、前記対象人物の顔の角度を推定するステップと、
（ｄ）前記ステップ（ｃ）での推定結果に基づいて、前記ステップ（ｂ）で取得した顔画像データを補正するステップと、
（ｅ）前記ステップ（ａ）で取得した画像データと、前記ステップ（ｄ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を備え、
前記ステップ（ｅ）では、
前記ステップ（ｄ）での補正後の顔画像データを基準として、
前記ステップ（ａ）で取得した画像データについて、表情を点数化する加点・減点表に基づいて、表情の点数を加減算し、
前記表情の点数を加減算した回数、および、点数の最終値に応じて、前記対象人物の表情を推定することを特徴とする、表情推定方法。
【請求項8】
請求項７に記載の表情推定方法であって、前記ステップ（ｄ）では、
前記ステップ（ａ）で取得された画像データから、前記対象人物の顔の特徴点を検出し、前記ステップ（ｃ）で推定された角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記ステップ（ａ）で取得された画像データの顔の角度に一致させる、
ことを特徴とする表情推定方法。
【請求項9】
請求項７または請求項８に記載の表情推定方法であって、前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする表情推定方法。
【請求項10】
撮像装置が撮像した対象人物の顔の画像データを取得するコンピュータに、（ａ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｂ）前記画像データから、前記対象人物の顔の角度を推定するステップと、
（ｃ）前記ステップ（ｂ）での推定結果に基づいて、前記ステップ（ａ）で取得した顔画像データを補正するステップと、
（ｄ）前記画像データと、前記ステップ（ｃ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を実行させ、
前記ステップ（ｄ）では、
前記ステップ（ｃ）での補正後の顔画像データを基準として、
前記ステップ（ａ）で取得した画像データについて、表情を点数化する加点・減点表に基づいて、表情の点数を加減算し、
前記表情の点数を加減算した回数、および、点数の最終値に応じて、前記対象人物の表情を推定することを特徴とする、プログラム。
【請求項11】
請求項１０に記載のプログラムであって、前記ステップ（ｃ）では、
前記画像データから、前記対象人物の顔の特徴点を検出し、前記ステップ（ｂ）で推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記画像データの顔の角度に一致させる、
ことを特徴とするプログラム。
【請求項12】
請求項１０または請求項１１に記載のプログラムであって、前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物の顔が撮像された画像データから、人物の表情を推定する表情推定装置および表情推定方法と、表情推定装置を備えた感情判定装置とに関し、さらには、これらを実現するためのプログラムに関する。
【背景技術】
【0002】
近年、人物の顔が撮像された画像データから、その人物の表情を読み取る技術が提案されている。特許文献１には、人物の表情だけでなく、その人物の内面的な状態も分析する心理状態推定方法が開示されている。特許文献１に記載の心理状態推定方法は、帰宅した人物を撮像した画像データから推定した年齢と、普段の表情で写っている標準顔画像データから推定した年齢との差（年齢差）を算出している。その年齢差が大きいと通常よりも老けて見えることを利用して、帰宅した人物がポジティブ感情かネガティブ感情かを推定している。これにより、特許文献１は、対象人物の心理状態を客観的に判断することを可能としている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－０９３３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１では、心理状態を推定するには、顔が撮像装置に対して正面を向いた状態で撮像された画像データを用いる必要がある。このため、人物の顔を正面から撮像できない場合には、心理状態を推定することができない、または、推定精度が低下するおそれがある。
【0005】
本発明の目的の一例は、人物の表情の推定精度を高くできる、表情推定装置、感情判定装置、表情推定方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一側面における表情推定装置は、
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
を備えることを特徴とする。
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
を備えることを特徴とする。
【0007】
また、上記目的を達成するため、本発明の一側面における感情判定装置は、
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
前記表情推定部による推定結果に基づいて、前記対象人物の感情を判定する感情判定部と、
を備えることを特徴とする。
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
前記表情推定部による推定結果に基づいて、前記対象人物の感情を判定する感情判定部と、
を備えることを特徴とする。
【0008】
また、上記目的を達成するため、本発明の一側面における表情推定方法は、
（ａ）撮像装置が撮像した対象人物の顔の画像データを取得するステップと、
（ｂ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｃ）前記ステップ（ａ）で取得した画像データから、前記対象人物の顔の角度を推定するステップと、
（ｄ）前記ステップ（ｃ）での推定結果に基づいて、前記ステップ（ｂ）で取得した顔画像データを補正するステップと、
（ｅ）前記ステップ（ａ）で取得した画像データと、前記ステップ（ｄ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を備えることを特徴とする。
（ａ）撮像装置が撮像した対象人物の顔の画像データを取得するステップと、
（ｂ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｃ）前記ステップ（ａ）で取得した画像データから、前記対象人物の顔の角度を推定するステップと、
（ｄ）前記ステップ（ｃ）での推定結果に基づいて、前記ステップ（ｂ）で取得した顔画像データを補正するステップと、
（ｅ）前記ステップ（ａ）で取得した画像データと、前記ステップ（ｄ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を備えることを特徴とする。
【0009】
また、上記目的を達成するため、本発明の一側面におけるプログラムは、
撮像装置が撮像した対象人物の顔の画像データを取得するコンピュータに、
（ａ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｂ）前記画像データから、前記対象人物の顔の角度を推定するステップと、
（ｃ）前記ステップ（ｂ）での推定結果に基づいて、前記ステップ（ａ）で取得した顔画像データを補正するステップと、
（ｄ）前記画像データと、前記ステップ（ｃ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を実行させることを特徴とする。
撮像装置が撮像した対象人物の顔の画像データを取得するコンピュータに、
（ａ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｂ）前記画像データから、前記対象人物の顔の角度を推定するステップと、
（ｃ）前記ステップ（ｂ）での推定結果に基づいて、前記ステップ（ａ）で取得した顔画像データを補正するステップと、
（ｄ）前記画像データと、前記ステップ（ｃ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を実行させることを特徴とする。
【発明の効果】
【0010】
本発明によれば、対象人物の顔の情報の欠落が少ない、基準となる顔画像データを補正して、撮像して得られた画像データと比較して表情を推定するため、精度よく表情を推定できる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明における一実施形態の表情推定装置、感情判定装置および表情推定方法について、図面を参照しながら説明する。
【0013】
［装置構成］
図１は、本実施形態における表情推定装置１の構成を示すブロック図である。
図１は、本実施形態における表情推定装置１の構成を示すブロック図である。
【0014】
表情推定装置１は、撮像データ取得部２、顔画像データ取得部３、角度推定部４、補正部５および表情推定部６を備えている。
【0015】
撮像データ取得部２は、不図示の撮像装置が撮像した対象人物の顔の画像データを取得する。
【0016】
顔画像データ取得部３は、不図示の記憶装置に予め記憶された、対象人物の平常時の顔画像データを取得する。
【0017】
角度推定部４は、撮像データ取得部２が取得した画像データから、対象人物の顔の角度を推定する。
【0018】
補正部５は、角度推定部４の推定結果に基づいて、顔画像データ取得部３が取得した顔画像データを補正する。
【0019】
表情推定部６は、撮像データ取得部２が取得した画像データと、補正部５による補正後の顔画像データとを対比して、対象人物の表情を推定する。
【0020】
この表情推定装置１は、対象人物の顔の情報の欠落が少ない、基準となる顔画像データを補正して、撮像して得られた画像データと比較して表情を推定するため、精度よく表情を推定できる。
【0021】
続いて、図２～図１０を用いて、本実施形態の表情推定装置１の構成について具体的に説明する。表情推定装置１は、感情判定装置の一部構成として用いられる。以下では、感情判定装置について具体的に説明することで、表情推定装置１について説明する。
【0022】
図２は、感情判定装置１０の具体的構成を示すブロック図である。感情判定装置１０は、例えば自動車に搭載される。自動車には撮像装置７０が搭載されている。撮像装置７０は、少なくとも運転者の顔を撮像するように設置されている。感情判定装置１０は、その撮像装置７０と接続されている。なお、感情判定装置１０と撮像装置７０とは一体であってもよいし、それぞれ独立した装置であってもよい。また、撮像装置７０は、感情判定装置１０のために設けられた装置でなくてもよい。
【0023】
表情推定装置１は、撮像装置７０が撮像した画像データ７０Ａから、運転者の表情を推定する。そして、感情判定装置１０は、表情推定装置１が推定した運転者の表情から、運転者の感情を判定する。なお、感情判定装置１０が設置される場所は、自動車に限定されず、建物内に設置されてもよい。以下の説明では、運転者は対象人物と言う。
【0024】
感情判定装置１０は、上記した表情推定装置１に加え、感情判定部１１を備えている。また、表情推定装置１は、撮像データ取得部２、顔画像データ取得部３、角度推定部４、補正部５および表情推定部６に加え、顔検出部７、顔特徴点検出部８および顔器官測定部９を備えている。
【0025】
撮像データ取得部２は、撮像装置７０により撮像された画像データ７０Ａを取得する。
【0026】
顔検出部７は、画像データ７０Ａから対象人物の顔を検出する。顔検出部７は、例えばエッジ検出または形状パターン検出によって、画像データ７０Ａにおける顔の候補領域を抽出する。顔検出部７は、抽出した候補領域を小領域に分割し、各小領域の特徴点を、外部から取得した顔認証パターン７１とパターン照合することで、顔を検出する。顔認証パターン７１は、感情判定装置１０内に設置される記憶装置に記憶されていてもよいし、ネットワークを介して感情判定装置１０と接続される外部の記憶装置に記憶されていてもよい。また、顔認証パターン７１は、機械学習により、顔検出処理が行われる都度、更新される。顔検出部７により顔の検出方法は、上記のものに限定されず、周知の技術を適宜用いることができる。
【0027】
顔特徴点検出部８は、顔検出部７が検出した画像データ７０Ａ内の顔を構成する器官（例えば、目、鼻、口など）の特徴点を検出する。図３は、顔特徴点検出部８が検出する特徴点を示す図である。顔特徴点検出部８は、画像データ７０Ａにおいて、顔検出部７が検出した顔から、例えば、左眉１７～２１、右眉２２～２６、左目３６～４１、右目４２～４７など、計６８個の特徴点を検出する。
【0028】
顔器官測定部９は、顔特徴点検出部８が検出した特徴点から、顔器官を分類する。また、顔器官測定部９は、分類した各顔器官それぞれについて、所定の項目を測定する。図４は、顔器官の位置の定義と、各器官での測定項目とを示す図である。図４の「位置」の項目に記す数字は、図３の特徴点の位置を示す。例えば、顔器官測定部９は、特徴点５～１１に囲まれた領域（図３の斜線領域）を、「あご」に分類する。そして、顔器官測定部９は、その領域の重心位置（座標）を測定する。なお、図４に示す顔器官の位置の定義、および、各器官での測定項目は一例であり、適宜変更可能である。
【0029】
角度推定部４は、画像データ７０Ａ内の顔の角度を推定する。顔の角度は、対象人物が撮像装置に対して正面を向いた状態を基準とする。角度を推定する方法は、従来の手法を用いることができる。例えば、角度推定部４は、画像データ７０Ａ内の顔の複数の特徴点、例えば、鼻の先端、あご、左目の左隅、右目の右隅、口の左隅、および口の右隅の座標を検出する。そして、角度推定部４は、予め設定された３次元モデルを用いて、上記した鼻の先端などの複数の特徴点を検出する。角度推定部４は、画像データ７０Ａから検出した特徴点と、３次元モデルから検出した特徴点とから、行列変換などの計算を行い、角度を求める。
【0030】
顔画像データ取得部３は、記憶装置７２に記憶されている顔画像データ７２Ａを取得する。記憶装置７２には、対象人物が平常時に、撮像装置に対して表面を向いて撮像された対象人物の顔画像データ７２Ａが予め記憶されている。平常時とは、対象人物が喜怒哀楽を表していないときである。つまり、顔画像データ７２Ａ内の顔の表情は無表情である。顔画像データ取得部３は、その記憶装置７２から、撮像データ取得部２が取得した画像データ７０Ａと同じ対象人物の顔画像データ７２Ａを取得する。記憶装置７２は、表情推定装置１または感情判定装置１０が備えていてもよいし、ネットワークを介して表情推定装置１または感情判定装置１０と接続されていてもよい。
【0031】
補正部５は、角度推定部４の推定結果に応じて、顔画像データ取得部３が取得した顔画像データ７２Ａを補正する。そして、補正部５は、顔画像データ７２Ａ内の顔の角度を、画像データ７０Ａの顔の角度と一致させる。図５は、補正部５による補正前後における顔画像データを示す図である。図５（Ａ）は、顔画像データ取得部３が取得した顔画像データ７２Ａであり、（Ｂ）は、補正部５により補正された顔画像データ７２Ｂである。
【0032】
補正部５は、図５（Ａ）に示すように、顔画像データ７２Ａから、顔の特徴点、例えば、鼻の先端、あご、左目の左隅、右目の右隅、口の左隅、および口の右隅の座標を検出する。また、補正部５は、予め用意され、正面向きにした３次元モデルに、検出した特徴点をマッピングする。そして、補正部５は、角度推定部４が推定した角度に応じて３次元モデルを回転させることで、図５（Ｂ）に示すように、検出した特徴点を移動させる。これにより、顔画像データ７２Ｂ内の顔の角度は、画像データ７０Ａ内の顔の角度と一致する。
【0033】
表情推定部６は、画像データ７０Ａと、顔画像データ７２Ｂ(図５（Ｂ）)とを対比して、対象人物の表情を推定する。例えば、表情推定部６は、画像データ７０Ａの顔の表情を、「幸福」、「驚き」、「怒り」、「恐怖」、「悲しみ」、「嫌悪」の６通りの表情に分類する。
【0034】
まず、表情推定部６は、顔画像データ７２Ｂに対して、図３および図４での説明と同様に、顔の特徴点を検出して、顔器官の分類、および、各顔器官それぞれについての測定を行う。表情推定部６は、顔画像データ７２Ｂに対する測定結果と、画像データ７０Ａに対する測定結果とを対比し、図６および図７に示すテーブルを参照して、表情毎に点数を計算する。
【0035】
図６および図７は、表情毎の点数を計算する際に用いる加点・減点表を示す図である。表情推定部６は、顔画像データ７２Ｂに対する測定結果を基準として、画像データ７０Ａに対する測定結果がどのように変化したかにより、表情毎の点数を計算する。例えば、「あご」の器官の場合、「あご」の重心位置が下がっていると、表情推定部６は、「驚き」の表情の点数に「＋１」加算する。また、「上まぶた」の器官の場合、左右両方の「上まぶた」の位置が上がっていると、表情推定部６は、「驚き」および「恐怖」の点数に「＋１」加算する。表情推定部６は、これらの加減算を、各器官について行う。
【0036】
表情推定部６は、加減算を行った結果、図８のテーブルを参照し、表情の点数を加減算した回数、および、点数の最終値に応じて、画像データ７０Ａ内の顔の表情を推定する。図８は、表情の点数の加減算の結果から、表情を推定する際に用いるテーブルを示す図である。表情推定部６は、図６および図７を用いて、各表情の点数を加減算した結果、加減算した回数と、加減算した結果の点数とから、画像データ７０Ａの顔の表情を推定する。例えば、表情推定部６は、「幸福」の点数を、２回以上加減算を行い、最終的な「幸福」の点数が、「－６～＋７」の範囲内である場合、画像データ７０Ａの顔の表情に「幸福」が表れていると推定する。表情推定部６は、表情の点数によって、一の画像データ７０Ａ内の顔に、複数の表情が表れていると推定することもある。
【0037】
【0038】
感情判定部１１は、表情推定部６による表情の推定結果から、対象人物の感情を判定する。対象人物の感情には、「快」の感情である肯定的感情、「不快」の感情である否定的感情、および、不同意の感情を含む。感情判定部１１は感情の判定結果を数値で表す。
【0039】
図９および図１０は、感情の判定結果を数値化する際に用いるテーブルを示す図である。表情推定部６が、画像データ７０Ａの顔の表情が「幸福、驚き、怒り、恐怖、悲しみ」であると判定した場合、感情判定部１１は、図９を用いて、対象人物の快・不快の感情を数値化する。また、表情推定部６が、画像データ７０Ａの顔の表情が「嫌悪」であると判定した場合、感情判定部１１は、図１０を用いて、対象人物の不同意の感情を数値化する。
【0040】
例えば、表情推定部６が、画像データ７０Ａ内の顔の表情が「幸福」であると推定した場合、感情判定部１１は、図９を参照し、対象人物の感情は「快」の感情であると判定し、その結果を「０．９９０８１１８１」の数値で表す。また、表情推定部６が、画像データ７０Ａ内の顔の表情が「驚き」と「怒り」とであると推定した場合、感情判定部１１は、対象人物の感情が「快」の感情と、「不快」の感情との両方であると判定する。そして、感情判定部１１は、「快」の感情を「０．３４５５１４３０４」の数値で表し、「不快」の感情を「０．１６３３６９１８８」の数値で表す。
【0041】
また、表情推定部６が、画像データ７０Ａの顔の表情が「嫌悪」であると推定した場合、感情判定部１１は、対象人物の感情が不同意の感情であると判定し、その判定結果を数値で表す。数値化した結果、「１．０」に近いほど不同意の感情が強く、「０」に近いほど、不同意でない感情（同意の感情）が強い。
【0042】
【0043】
図１１は、感情判定装置１０による判定結果を示す図である。判定結果は、一の画像データ７０Ａに対して推定された６通りの表情の有無（０または１）、および、数値化された「快」、「不快」、「不同意」の感情、などを含む。この判定結果は、例えば、感情判定装置１０から、ネットワークを介して、クラウドへ送信される。そして、クラウド側で各種サービスに用いられる。
【0044】
［動作説明］
次に、本実施形態における表情推定装置１および感情判定装置１０の動作について図１２を用いて説明する。図１２は、本実施形態における表情推定装置１および感情判定装置１０の動作を示すフロー図である。以下の説明においては、適宜図１～図１０を参酌する。また、本実施形態では、表情推定装置１を動作させることによって、表情推定方法が実施される。よって、本実施形態における表情推定方法の説明は、以下の表情推定装置１の動作説明に代える。
次に、本実施形態における表情推定装置１および感情判定装置１０の動作について図１２を用いて説明する。図１２は、本実施形態における表情推定装置１および感情判定装置１０の動作を示すフロー図である。以下の説明においては、適宜図１～図１０を参酌する。また、本実施形態では、表情推定装置１を動作させることによって、表情推定方法が実施される。よって、本実施形態における表情推定方法の説明は、以下の表情推定装置１の動作説明に代える。
【0045】
まず、前提として、撮像装置７０により対象人物の顔が撮像される。この前提において、撮像データ取得部２は、撮像装置７０により撮像された画像データ７０Ａを取得する（Ｓ１）。次に、顔検出部７は、画像データ７０Ａにおける顔を検出する（Ｓ２）。顔特徴点検出部８は、画像データ７０Ａにおいて、顔検出部７が検出した対象人物の顔を構成する器官（例えば、目、鼻、口など）の特徴点を検出する（Ｓ３）。そして、顔器官測定部９は、顔特徴点検出部８が検出した特徴点から、顔器官を分類し、分類した各顔器官それぞれについて測定する（Ｓ４）。
【0046】
顔画像データ取得部３は、記憶装置７２に記憶されている顔画像データ７２Ａを取得する（Ｓ５）角度推定部４は、画像データ７０Ａにおいて、対象人物の顔の角度を推定する（Ｓ６）。補正部５は、角度推定部４の推定結果に応じて、顔画像データ取得部３が取得した顔画像データ７２Ａを補正して、画像データ７０Ａの顔の角度に一致させた顔画像データ７２Ｂを生成する（Ｓ７）。
【0047】
表情推定部６は、Ｓ１で取得した画像データ７０Ａと、Ｓ７で補正した顔画像データ７２Ｂとを対比して、対象人物の表情を、「幸福、驚き、怒り、恐怖、悲しみ、嫌悪」の６通りの表情のなかから推定する（Ｓ８）。感情判定部１１は、Ｓ８での表情の推定結果から、対象人物の感情を判定し、判定結果を数値化する（Ｓ９）。
【0048】
［実施形態による効果］
以上の構成の表情推定装置１により、対象人物の表情を推定する際、対象人物の顔の情報の欠落が少ない、基準となる顔画像データ７２Ａを補正して、撮像して得られた画像データ７０Ａと比較して表情を推定するため、表情の推定精度は高い。表情の推定精度を高くすることで、その表情の推定結果を用いて行う感情判定の精度も高くなる。
以上の構成の表情推定装置１により、対象人物の表情を推定する際、対象人物の顔の情報の欠落が少ない、基準となる顔画像データ７２Ａを補正して、撮像して得られた画像データ７０Ａと比較して表情を推定するため、表情の推定精度は高い。表情の推定精度を高くすることで、その表情の推定結果を用いて行う感情判定の精度も高くなる。
【0049】
また、感情判定装置１０により対象人物の感情を判定することで、例えば、車内において、ＡＩによる対話システムを構築する場合、対象人物の感情に応じた対話が可能となる。その結果、対象人物の気持ちに寄り添った対話が可能となる。
【0050】
［プログラム］
本実施形態におけるプログラムは、コンピュータに、図１２に示すステップＳ１～Ｓ９を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における表情推定装置１、感情判定装置１０および表情推定方法を実現することができる。この場合、コンピュータのプロセッサは、撮像データ取得部２、顔画像データ取得部３、角度推定部４、補正部５、表情推定部６および感情判定部１１として機能し、処理を行なう。
本実施形態におけるプログラムは、コンピュータに、図１２に示すステップＳ１～Ｓ９を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における表情推定装置１、感情判定装置１０および表情推定方法を実現することができる。この場合、コンピュータのプロセッサは、撮像データ取得部２、顔画像データ取得部３、角度推定部４、補正部５、表情推定部６および感情判定部１１として機能し、処理を行なう。
【0051】
また、本実施形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、撮像データ取得部２、顔画像データ取得部３、角度推定部４、補正部５、表情推定部６および感情判定部１１のいずれかとして機能してもよい。
【0052】
［物理構成］
ここで、本実施形態におけるプログラムを実行することによって、表情推定装置および感情判定装置を実現するコンピュータについて図１３を用いて説明する。図１３は、本実施形態における表情推定装置１および感情判定装置１０を実現するコンピュータの一例を示すブロック図である。
ここで、本実施形態におけるプログラムを実行することによって、表情推定装置および感情判定装置を実現するコンピュータについて図１３を用いて説明する。図１３は、本実施形態における表情推定装置１および感情判定装置１０を実現するコンピュータの一例を示すブロック図である。
【0053】
図１３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、またはＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、またはＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
【0054】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
【0055】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【0056】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【0057】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））およびＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、またはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
【0058】
なお、本実施形態における表情推定装置および感情判定装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、表情推定装置および感情判定装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【0059】
上述した実施形態の一部または全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
【0060】
（付記１）
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
を備えることを特徴とする、表情推定装置。
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
を備えることを特徴とする、表情推定装置。
【0061】
（付記２）
付記１に記載の表情推定装置であって、
前記補正部は、
前記顔画像データ取得部が取得した顔画像データから、前記対象人物の顔の特徴点を検出し、前記角度推定部が推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記撮像データ取得部が取得した画像データの顔の角度に一致させる、
ことを特徴とする表情推定装置。
付記１に記載の表情推定装置であって、
前記補正部は、
前記顔画像データ取得部が取得した顔画像データから、前記対象人物の顔の特徴点を検出し、前記角度推定部が推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記撮像データ取得部が取得した画像データの顔の角度に一致させる、
ことを特徴とする表情推定装置。
【0062】
（付記３）
付記１または付記２に記載の表情推定装置であって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする表情推定装置。
付記１または付記２に記載の表情推定装置であって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする表情推定装置。
【0063】
（付記４）
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
前記表情推定部による推定結果に基づいて、前記対象人物の感情を判定する感情判定部と、
を備えることを特徴とする感情判定装置。
撮像装置が撮像した対象人物の顔の画像データを取得する撮像データ取得部と、
記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得する顔画像データ取得部と、
前記撮像データ取得部が取得した画像データから、前記対象人物の顔の角度を推定する角度推定部と、
前記角度推定部の推定結果に基づいて、前記顔画像データ取得部が取得した顔画像データを補正する補正部と、
前記撮像データ取得部が取得した画像データと、前記補正部による補正後の顔画像データとを対比して、前記対象人物の表情を推定する表情推定部と、
前記表情推定部による推定結果に基づいて、前記対象人物の感情を判定する感情判定部と、
を備えることを特徴とする感情判定装置。
【0064】
（付記５）
付記４に記載の感情判定装置であって、
前記補正部は、
前記顔画像データ取得部が取得した顔画像データから、前記対象人物の顔の特徴点を検出し、前記角度推定部が推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記撮像データ取得部が取得した画像データの顔の角度に一致させる、
ことを特徴とする表感情判定装置。
付記４に記載の感情判定装置であって、
前記補正部は、
前記顔画像データ取得部が取得した顔画像データから、前記対象人物の顔の特徴点を検出し、前記角度推定部が推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記撮像データ取得部が取得した画像データの顔の角度に一致させる、
ことを特徴とする表感情判定装置。
【0065】
（付記６）
付記４または付記５に記載の感情判定装置であって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする感情判定装置。
付記４または付記５に記載の感情判定装置であって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする感情判定装置。
【0066】
（付記７）
（ａ）撮像装置が撮像した対象人物の顔の画像データを取得するステップと、
（ｂ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｃ）前記ステップ（ａ）で取得した画像データから、前記対象人物の顔の角度を推定するステップと、
（ｄ）前記ステップ（ｃ）での推定結果に基づいて、前記ステップ（ｂ）で取得した顔画像データを補正するステップと、
（ｅ）前記ステップ（ａ）で取得した画像データと、前記ステップ（ｄ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を備えることを特徴とする、表情推定方法。
（ａ）撮像装置が撮像した対象人物の顔の画像データを取得するステップと、
（ｂ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｃ）前記ステップ（ａ）で取得した画像データから、前記対象人物の顔の角度を推定するステップと、
（ｄ）前記ステップ（ｃ）での推定結果に基づいて、前記ステップ（ｂ）で取得した顔画像データを補正するステップと、
（ｅ）前記ステップ（ａ）で取得した画像データと、前記ステップ（ｄ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を備えることを特徴とする、表情推定方法。
【0067】
（付記８）
付記７に記載の表情推定方法であって、
前記ステップ（ｄ）では、
前記ステップ（ａ）で取得された画像データから、前記対象人物の顔の特徴点を検出し、前記ステップ（ｃ）で推定された角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記ステップ（ａ）で取得された画像データの顔の角度に一致させる、
ことを特徴とする表情推定方法。
付記７に記載の表情推定方法であって、
前記ステップ（ｄ）では、
前記ステップ（ａ）で取得された画像データから、前記対象人物の顔の特徴点を検出し、前記ステップ（ｃ）で推定された角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記ステップ（ａ）で取得された画像データの顔の角度に一致させる、
ことを特徴とする表情推定方法。
【0068】
（付記９）
付記７または付記８に記載の表情推定方法であって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする表情推定方法。
付記７または付記８に記載の表情推定方法であって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とする表情推定方法。
【0069】
（付記１０）
撮像装置が撮像した対象人物の顔の画像データを取得するコンピュータに、
（ａ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｂ）前記画像データから、前記対象人物の顔の角度を推定するステップと、
（ｃ）前記ステップ（ｂ）での推定結果に基づいて、前記ステップ（ａ）で取得した顔画像データを補正するステップと、
（ｄ）前記画像データと、前記ステップ（ｃ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を実行させることを特徴とする、プログラム。
撮像装置が撮像した対象人物の顔の画像データを取得するコンピュータに、
（ａ）記憶装置に予め記憶された、前記対象人物の平常時の顔画像データを取得するステップと、
（ｂ）前記画像データから、前記対象人物の顔の角度を推定するステップと、
（ｃ）前記ステップ（ｂ）での推定結果に基づいて、前記ステップ（ａ）で取得した顔画像データを補正するステップと、
（ｄ）前記画像データと、前記ステップ（ｃ）での補正後の顔画像データとを対比して、前記対象人物の表情を推定するステップと、
を実行させることを特徴とする、プログラム。
【0070】
（付記１１）
付記１０に記載のプログラムであって、
前記ステップ（ｃ）では、
前記画像データから、前記対象人物の顔の特徴点を検出し、前記ステップ（ｂ）で推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記画像データの顔の角度に一致させる、
ことを特徴とするプログラム。
付記１０に記載のプログラムであって、
前記ステップ（ｃ）では、
前記画像データから、前記対象人物の顔の特徴点を検出し、前記ステップ（ｂ）で推定した角度に応じて前記特徴点を移動させて、前記顔画像データ内の顔の角度を、前記画像データの顔の角度に一致させる、
ことを特徴とするプログラム。
【0071】
（付記１２）
付記１０または付記１１に記載のプログラムであって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とするプログラム。
付記１０または付記１１に記載のプログラムであって、
前記対象人物の平常時の顔画像データは、前記対象人物が撮像装置に対して表面を向いて撮像された画像データである、
ことを特徴とするプログラム。
【産業上の利用可能性】
【0072】
以上のように、本発明によれば、対象人物の顔の情報の欠落が少ない、基準となる顔画像データを補正して、撮像して得られた画像データと比較して表情を推定するため、精度よく表情を推定できる。
【符号の説明】
【0073】
１ ：表情推定装置
２ ：撮像データ取得部
３ ：顔画像データ取得部
４ ：角度推定部
５ ：補正部
６ ：表情推定部
７ ：顔検出部
８ ：顔特徴点検出部
９ ：顔器官測定部
１０ ：感情判定装置
１１ ：感情判定部
７０ ：撮像装置
７０Ａ ：画像データ
７１ ：認証パターン
７２ ：記憶装置
７２Ａ ：顔画像データ
２ ：撮像データ取得部
３ ：顔画像データ取得部
４ ：角度推定部
５ ：補正部
６ ：表情推定部
７ ：顔検出部
８ ：顔特徴点検出部
９ ：顔器官測定部
１０ ：感情判定装置
１１ ：感情判定部
７０ ：撮像装置
７０Ａ ：画像データ
７１ ：認証パターン
７２ ：記憶装置
７２Ａ ：顔画像データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】