特許 7311046 判定プログラム、判定装置、および判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-10

(45)【発行日】2023-07-19

(54)【発明の名称】判定プログラム、判定装置、および判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230711BHJP

   G06V 10/72 20220101ALI20230711BHJP

【ＦＩ】

G06T7/00 660A

G06V10/72

【請求項の数】 8

(21)【出願番号】P 2022532900

(86)(22)【出願日】2020-06-30

(86)【国際出願番号】 JP2020025736

(87)【国際公開番号】W WO2022003843

(87)【国際公開日】2022-01-06

【審査請求日】2022-09-12

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内田 昭嘉

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１８－８２７６６（ＪＰ，Ａ）

【文献】特表２０１９－５１７６９３（ＪＰ，Ａ）

【文献】特表２０１６－５１７０５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／７２

(57)【特許請求の範囲】

【請求項1】

マーカを付した顔を含む撮像画像群を取得し、
前記撮像画像に含まれる前記マーカの位置に基づいて第１のベクトルを算出し、
前記第１のベクトルを、前記マーカに対応付けられた第１のアクションユニットの判定方向に応じた第２のベクトルと、前記マーカに対応付けられた第２のアクションユニットの判定方向に応じた第３のベクトルとに分割し、
前記第２のベクトルと前記第３のベクトルとに基づいて、前記第１のアクションユニットの第１の発生強度と前記第２のアクションユニットの第２の発生強度とを判定する、
処理をコンピュータに実行させることを特徴とする判定プログラム。

【請求項2】

前記分割する処理は、
前記第１のベクトルが、前記第２のベクトルと、前記第３のベクトルとの線形和であることに基づいて、前記第１のベクトルを、前記第２のベクトルと、前記第３のベクトルとに分割する、
処理を含むことを特徴とする請求項１に記載の判定プログラム。

【請求項3】

前記第１のベクトルを算出する処理は、
前記マーカの位置の歪みを補正し、
補正された前記マーカの位置に基づいて前記第１のベクトルを算出する、
処理を含むことを特徴とする請求項１に記載の判定プログラム。

【請求項4】

前記補正する処理は、
前記マーカの第１の位置と、歪みを補正した第２の位置とを対応付けた記憶部を用いて、前記マーカの位置の歪みを補正する、
処理を含むことを特徴とする請求項３に記載の判定プログラム。

【請求項5】

前記マーカに対応付けられたアクションユニットが１つの場合は、前記第１のベクトルと、当該アクションユニットの判定方向に応じたベクトルとの内積を算出し、当該アクションユニットの発生強度を判定する、
処理を前記コンピュータさらに実行させることを特徴とする請求項１に記載の判定プログラム。

【請求項6】

前記撮像画像から前記マーカを除去した画像と、前記第１の発生強度および前記第２の発生強度とに基づいて、機械学習用の訓練データを生成する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の判定プログラム。

【請求項7】

マーカを付した顔を含む撮像画像群を取得する取得部と、
前記撮像画像に含まれる前記マーカの位置に基づいて第１のベクトルを算出する算出部と、
前記第１のベクトルを、前記マーカに対応付けられた第１のアクションユニットの判定方向に応じた第２のベクトルと、前記マーカに対応付けられた第２のアクションユニットの判定方向に応じた第３のベクトルとに分割する分割部と、
前記第２のベクトルと前記第３のベクトルとに基づいて、前記第１のアクションユニットの第１の発生強度と前記第２のアクションユニットの第２の発生強度とを判定する判定部と
を備えたことを特徴とする判定装置。

【請求項8】

マーカを付した顔を含む撮像画像群を取得し、
前記撮像画像に含まれる前記マーカの位置に基づいて第１のベクトルを算出し、
前記第１のベクトルを、前記マーカに対応付けられた第１のアクションユニットの判定方向に応じた第２のベクトルと、前記マーカに対応付けられた第２のアクションユニットの判定方向に応じた第３のベクトルとに分割し、
前記第２のベクトルと前記第３のベクトルとに基づいて、前記第１のアクションユニットの第１の発生強度と前記第２のアクションユニットの第２の発生強度とを判定する
処理をコンピュータが実行することを特徴とする判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定技術に関する。

【背景技術】

【0002】

ノンバーバルコミュニケーションにおいて、表情は重要な役割を果たしている。人を理解し人を支援するコンピュータを開発する上で、表情推定は必須の技術である。表情を推定するには、まず表情の記述方法を規定しなければならない。表情の記述方法として、ＡＵ（Action Unit：アクションユニット）が知られている。ＡＵは、顔面筋の解剖学的知見に基づき定義された、表情表出に関与する顔面上の動作で、これまでＡＵを推定する技術も提案されている。

【0003】

ＡＵを推定するＡＵ推定エンジンの代表的な形態は、大量の訓練データに基づく機械学習をベースとし、訓練データとして、顔表情の画像データと、各ＡＵのOccurrence（発生の有無）やIntensity（発生強度）が用いられる。また、訓練データのOccurrenceやIntensityは、Coder（コーダ）と呼ばれる専門家によりAnnotation（アノテーション）される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２３７９７０号公報

【非特許文献】

【0005】

【文献】X. Zhang, L. Yin, J. Cohn, S. Canavan, M. Reale, A. Horowitz, P. Liu, and J. M. Girard. BP4D-spontaneous: A high-resolution spontaneous 3d dynamic facial expression database. Image and Vision Computing, 32, 2014. 1

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の手法には、ＡＵ推定のための訓練データを生成することが困難な場合があるという問題がある。例えば、コーダによるアノテーションでは、費用および時間のコストがかかるため、データを大量に作成することが困難である。また、顔画像の画像処理による顔の各部位の移動計測では、小さな変化を正確に捉えるのが困難であり、コンピュータが人の判断を介さずに顔画像からＡＵの判定を行うことは難しい。したがって、コンピュータが人の判断を介さずに顔画像にＡＵのラベルを付した訓練データを生成することは困難である。

【0007】

１つの側面では、ＡＵ推定のための訓練データを生成することを目的とする。

【課題を解決するための手段】

【0008】

１つの態様において、判定プログラムは、マーカを付した顔を含む撮像画像群を取得する処理をコンピュータに実行させる。判定プログラムは、撮像画像に含まれるマーカの位置に基づいて第１のベクトルを算出する処理をコンピュータに実行させる。判定プログラムは、第１のベクトルを、マーカに対応付けられた第１のアクションユニットの判定方向に応じた第２のベクトルと、マーカに対応付けられた第２のアクションユニットの判定方向に応じた第３のベクトルとに分割する処理をコンピュータに実行させる。判定プログラムは、第２のベクトルと第３のベクトルとに基づいて、第１のアクションユニットの第１の発生強度と第２のアクションユニットの第２の発生強度とを判定する処理をコンピュータに実行させる。

【発明の効果】

【0009】

１つの側面では、ＡＵ推定のための訓練データを生成することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態にかかる判定システムの構成例を示す図である。

【図2】図２は、本実施形態にかかるカメラの配置例を示す図である。

【図3】図３は、本実施形態にかかるマーカ移動の一例を示す図である。

【図4】図４は、本実施形態にかかる発生強度の判定方法の一例を示す図である。

【図5】図５は、本実施形態にかかる発生強度の判定方法の一例を示す図である。

【図6】図６は、本実施形態にかかる規定ベクトルに対する移動ベクトルの一例を示す図である。

【図7】図７は、本実施形態にかかる１つのマーカに対応する複数のＡＵの規定ベクトルの一例を示す図である。

【図8】図８は、本実施形態にかかる１つのマーカに対応する、相反する複数のＡＵの規定ベクトルの一例を示す図である。

【図9】図９は、本実施形態にかかる判定装置の構成例を示すブロック図である。

【図10】図１０は、本実施形態にかかる移動ベクトルの分割方法の一例を示す図である。

【図11】図１１は、本実施形態にかかるマーカ位置の歪みの一例を示す図である。

【図12】図１２は、本実施形態にかかるマーカ除去のためのマスク画像の生成方法の一例を示す図である。

【図13】図１３は、本実施形態にかかるマーカの除去方法の一例を示す図である。

【図14】図１４は、本実施形態にかかる判定処理の流れの一例を示すフローチャートである。

【図15】図１５は、本実施形態にかかる判定装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

以下に、本実施形態に係る判定プログラム、判定装置、および判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【0012】

図１を用いて、本実施形態に係る判定システムの構成を説明する。図１は、本実施形態にかかる判定システムの構成を示す図である。図１に示すように、判定システム１は、ＲＧＢ（Red Green Blue）カメラ３１、ＩＲ（Infrared：赤外線）カメラ３２、判定装置１０および機械学習装置２０を有する。

【0013】

図１に示すように、まず、ＲＧＢカメラ３１およびＩＲカメラ３２は、マーカが付された人物の顔に向けられる。例えば、ＲＧＢカメラ３１は一般的なデジタルカメラであり、可視光を受光し画像を生成する。また、例えば、ＩＲカメラ３２は、赤外線を感知する。また、マーカは、例えばＩＲ反射（再帰性反射）マーカである。ＩＲカメラ３２は、マーカによるＩＲ反射を利用してモーションキャプチャを行うことができる。また、以降の説明では、撮像対象の人物を被験者と呼ぶ。

【0014】

判定装置１０は、ＲＧＢカメラ３１によって撮像された画像やＩＲカメラ３２によるモーションキャプチャの結果を取得する。そして、判定装置１０は、ＡＵの発生強度１２１を判定し、発生強度１２１と、撮像画像から画像処理によりマーカを削除した画像１２２とを機械学習装置２０に対し出力する。例えば、発生強度１２１は、各ＡＵの発生強度を０～１の６段階評価で表現し、「ＡＵ１：２、ＡＵ２：５、ＡＵ４：０、…」のようにアノテーションが行われたデータであってもよい。また、発生強度１２１は、各ＡＵの発生強度を、発生なしを意味する０と、ＡからＥの５段階評価で表現し、「ＡＵ１：Ｂ、ＡＵ２：Ｅ、ＡＵ４：０、…」のようにアノテーションが行われたデータであってもよい。さらに、発生強度は、５段階評価で表現されるものに限られるものではなく、例えば２段階評価（発生の有無）によって表現されても良い。

【0015】

機械学習装置２０は、判定装置１０から出力された画像１２２およびＡＵの発生強度１２１を用いて機械学習を行い、画像からＡＵの発生強度の推定値を算出するためのモデルを生成する。機械学習装置２０は、ＡＵの発生強度をラベルとして用いることができる。なお、機械学習装置２０の処理は、判定装置１０で行ってもよい。この場合、機械学習装置２０は、判定システム１に含まれなくてよい。

【0016】

ここで、図２を用いて、カメラの配置について説明する。図２は、本実施形態にかかるカメラの配置例を示す図である。図２に示すように、複数のＩＲカメラ３２がマーカトラッキングシステムを構成していてもよい。その場合、マーカトラッキングシステムは、ステレオ撮像によりＩＲ反射マーカの位置を検出することができる。また、複数のＩＲカメラ３２のそれぞれの間の相対位置関係は、カメラキャリブレーションにより補正されているものとする。

【0017】

また、撮像される被験者の顔には、対象とするＡＵ（例：ＡＵ１からＡＵ２８）をカバーするように、複数のマーカが付される。マーカの位置は、被験者の表情の変化に応じて変化する。例えば、マーカ４０１は、眉の根元付近に配置される。また、マーカ４０２およびマーカ４０３は、豊麗線の付近に配置される。マーカは、１つ以上のＡＵおよび表情筋の動きに対応した皮膚の上に配置されてもよい。また、マーカは、しわの寄りなどにより、テクスチャ変化が大きくなる皮膚の上を避けて配置されてもよい。

【0018】

さらに、被験者は、基準マーカが付された器具４０を装着する。被験者の表情が変化しても、器具４０に付された基準マーカの位置は変化しないものとする。このため、判定装置１０は、基準マーカからの相対的な位置の変化により、顔に付されたマーカの位置の変化を検出することができる。また、判定装置１０は、基準マーカとの位置関係を基に、各マーカの平面上または空間上の座標を特定することができる。なお、判定装置１０は、マーカ位置を、基準座標系から定めてもよいし、基準面の投影位置から定めてもよい。また、基準マーカの数を３つ以上にすることで、判定装置１０は、３次元空間におけるマーカ位置を特定することができる。

【0019】

器具４０は、例えばヘッドバンドであり、顔の輪郭外に基準マーカを配置する。また、器具４０は、ＶＲヘッドセットおよび固い素材のマスクなどであってもよい。その場合、判定装置１０は、器具４０のリジッド表面を基準マーカとして利用することができる。

【0020】

判定装置１０は、ＡＵの判定基準と複数のマーカの位置とに基づいて、複数のＡＵのそれぞれの発生の有無を判定する。判定装置１０は、複数のＡＵのうち発生している１つ以上のＡＵに対して、発生強度を判定する。

【0021】

例えば、判定装置１０は、判定基準に含まれる第１のＡＵに対応付けられた第１のマーカの基準位置と、第１のマーカの位置との距離に基づいて算出した第１のマーカの移動量を基に、第１のＡＵの発生強度を判定する。なお、第１のマーカは、特定のＡＵに対応する１つ、あるいは複数マーカということができる。

【0022】

ＡＵの判定基準は、例えば、複数のマーカのうち、ＡＵ毎にＡＵの発生強度を判定するために使用される１つまたは複数のマーカを示す。ＡＵの判定基準は、複数のマーカの基準位置を含んでもよい。ＡＵの判定基準は、複数のＡＵのそれぞれについて、発生強度の判定に使用されるマーカの移動量と発生強度との関係（換算ルール）を含んでもよい。なお、マーカの基準位置は、被験者が無表情な状態（いずれのＡＵも発生していない）の撮像画像における複数のマーカの各位置に応じて定められてもよい。

【0023】

ここで、図３を用いて、マーカの移動について説明する。図３は、本実施形態にかかるマーカの移動の一例を示す図である。図３の（ａ）、（ｂ）、（ｃ）は、ＲＧＢカメラ３１によって撮像された画像である。また、画像は、（ａ）、（ｂ）、（ｃ）の順で撮像されたものとする。例えば、（ａ）は、被験者が無表情であるときの画像である。判定装置１０は、（ａ）の画像のマーカの位置を、移動量が０の基準位置とみなすことができる。

【0024】

図３に示すように、被験者は、眉を寄せるような表情を取っている。このとき、表情の変化に従い、マーカ４０１の位置は下方向に移動している。その際、マーカ４０１の位置と、器具４０に付された基準マーカとの間の距離は大きくなっている。

【0025】

また、マーカ４０１の基準マーカからのＸ方向およびＹ方向の距離の変動値は、図４のように表される。図４は、本実施形態にかかる発生強度の判定方法の一例を示す図である。図４に示すように、判定装置１０は、変動値を発生強度に換算することができる。なお、発生強度は、ＦＡＣＳ（Facial Action Coding System）に準じて５段階に量子化されたものであってもよいし、変動量に基づく連続量として定義されたものであってもよい。

【0026】

判定装置１０が変動量を発生強度に換算するルールとしては、様々なものが考えられる。判定装置１０は、定められた１つのルールに従って換算を行ってもよいし、複数のルールで換算を行い、最も発生強度が大きいものを採用するようにしてもよい。

【0027】

例えば、判定装置１０は、被験者が最大限表情を変化させたときの変動量である最大変動量を取得しておき、変動量の最大変動量に対する割合に基づいて発生強度を換算してもよい。また、判定装置１０は、従来手法によりコーダがタグ付けしたデータを用いて最大変動量を定めておいてもよい。また、判定装置１０は、変動量を発生強度にリニアに換算してもよい。また、判定装置１０は、複数の被験者の事前測定から作成された近似式を用いて換算を行ってもよい。

【0028】

また、例えば、判定装置１０は、判定基準として設定された位置と、第１のマーカの位置とに基づいて算出した第１のマーカの移動ベクトルを基に発生強度を判定することができる。この場合、判定装置１０は、第１のマーカの移動ベクトルと、第１のＡＵに対して対応付けられた規定ベクトルとの合致度合いを基に、第１のＡＵの発生強度を判定する。また、判定装置１０は、既存のＡＵ推定エンジンを使って、ベクトルの大きさと発生強度の対応を補正してもよい。

【0029】

ＡＵの発生強度の判定方法をより具体的に説明する。図５は、本実施形態にかかる発生強度の判定方法の一例を示す図である。例えば、ＡＵ４に対応する規定ベクトルが（Ｘ，Ｙ）＝（－２ｍｍ，－６ｍｍ）のように定められているものとする。このとき、判定装置１０は、マーカ４０１の移動ベクトルと規定ベクトルとの内積を算出し、規定ベクトルの大きさで規格化する。ここで、内積がＡＵ４の規定ベクトルの大きさと一致すれば、判定装置１０は、ＡＵ４の発生強度を５段階中の５と判定する。一方、内積がＡＵ４の規定ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定装置１０は、ＡＵ４の発生強度を５段階中の３と判定する。

【0030】

また、例えば、図５において、ＡＵ１１に対応する規定ベクトルの大きさが３ｍｍのように定められているものとする。このとき、判定装置１０は、マーカ４０２とマーカ４０３の間の距離の変動量がＡＵ１１の規定ベクトルの大きさと一致すれば、ＡＵ１１の発生強度を５段階中の５と判定する。一方、距離の変動量がＡＵ１１の規定ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定装置１０は、ＡＵ１１の発生強度を５段階中の３と判定する。このように、判定装置１０は、第１のマーカの位置および第２のマーカの位置との間の距離の変化を基に、発生強度を判定することができる。

【0031】

ところで、各マーカの移動ベクトルには分散が発生し得、規定ベクトルの判定方向と完全には一致しない場合がある。図６は、本実施形態にかかる規定ベクトルに対する移動ベクトルの一例を示す図である。図６の例では、マーカ４０３に対応付けられたＡＵ４の規定ベクトル４１１と、マーカ４０３の移動ベクトル４２１および４２２とが示されている。

【0032】

図６に示すように、例えば、ＡＵ４の規定ベクトル４１１に対し、マーカ４０１の移動ベクトル４２１や４２２によって示される方向にはズレが生じている。あくまでも一例であるが、このように、マーカ４０１の移動ベクトルは、分散範囲５０１内で分散し得る。

【0033】

しかしながら、移動ベクトルの分散が発生しても、移動ベクトルと規定ベクトルとの内積を算出することで、規定ベクトルに対応したＡＵの発生強度を判定できる。図６では、内積４３１が移動ベクトル４２１と規定ベクトル４１１との内積である。図５を用いて具体的に説明したように、内積４３１によって規定ベクトル４１１に対応したＡＵ４の発生強度を判定できる。なお、図６では、内積４３１を便宜上、規定ベクトル４１１と若干ずらして示しているが、実際には重なっている。

【0034】

以上、１つのマーカに対して１つのＡＵが対応付けられる例を説明したが、１つのマーカに対して複数のＡＵが対応付けられる場合もある。つまり、表情判定を特定部位の動き(単一マーカの移動量)で推定する場合、単一のＡＵのみに寄与する部位と複数のＡＵに関連する部位とがある。複数のＡＵに関連する部位（マーカ）については、複数のＡＵの発生強度推定に用いられるため、１つのマーカに複数のＡＵが対応付けられる。

【0035】

図７は、本実施形態にかかる１つのマーカに対応する複数のＡＵの規定ベクトルの一例を示す図である。図７の例では、同一のマーカ４０４に対応付けられた２つのＡＵの規定ベクトル４１２および４１３が示されている。また、マーカ４０４の移動ベクトル４２３が示されている。移動ベクトルが規定ベクトル４１２もしくは規定ベクトル４１３のいずれか一方にのみ沿って発生した場合は、いずれか一方のＡＵが発生している。これに対して、移動ベクトル４２３は、被験者の表情によって２つのＡＵが同時発生した場合の移動ベクトルである。

【0036】

このように２つのＡＵが同時発生した場合でも、各ＡＵの規定ベクトル４１２および４１３のそれぞれに対し、移動ベクトル４２３との内積４３２および４３３を算出することで、各ＡＵの発生強度を判定できる。

【0037】

しかしながら、一部の部位の動きについて、ＡＵの発生強度判定において相反する動きを示すことがある。つまり、同時発生したＡＵの規定ベクトルが相反する場合、移動ベクトルとの内積では、ＡＵの発生強度が正しく判定できない場合がある。ここで、規定ベクトルが相反するとは、例えば、２つの規定ベクトルが、少なくともｘ軸またはｙ軸方向で、反対の成分を有することである。図８は、本実施形態にかかる１つのマーカに対応する、相反する複数のＡＵの規定ベクトルの一例を示す図である。図８の例では、マーカ４０５に対応付けられた２つのＡＵの規定ベクトル４１４および４１５が示されている。また、マーカ４０５の移動ベクトル４２４が示されている。移動ベクトル４２４は、被験者の表情によって２つのＡＵが同時発生した場合の移動ベクトルである。

【0038】

図８に示すように、相反する規定ベクトル４１４および４１５のそれぞれに対し、移動ベクトル４２４との内積４３４および４３５を算出すると、内積４３５が対応する規定ベクトル４１５に対し、マイナスになってしまう。そのため、規定ベクトル４１４を判定方向とするＡＵの発生強度は、例えば２と判定できるが、内積が０以下になる、規定ベクトル４１５を判定方向とするＡＵの発生強度は０と判定されてしまい、正しく判定できない。そこで、本実施形態にかかる判定装置１０は、同一マーカに対応する規定ベクトルが相反するものであっても、それぞれのＡＵの発生強度を正しく判定する。

【0039】

図９を用いて、本実施形態にかかる判定装置１０の機能構成を説明する。図９は、判定装置の構成例を示すブロック図である。図９に示すように、判定装置１０は、入力部１１、出力部１２、記憶部１３、および制御部１４を有する。

【0040】

入力部１１は、データを入力するためのインタフェースである。例えば、入力部１１は、ＲＧＢカメラ３１、ＩＲカメラ３２、マウス、およびキーボードなどの入力装置を介してデータの入力を受け付ける。例えば、ＲＧＢカメラ３１によって撮像された画像およびＩＲカメラ３２によるモーションキャプチャの結果を入力する。また、出力部１２は、データを出力するためのインタフェースである。例えば、出力部１２は、ディスプレイなどの出力装置にデータを出力する。例えば、ＡＵの発生強度１２１と、撮像画像から画像処理によりマーカを削除した画像１２２とを出力する。

【0041】

記憶部１３は、データや制御部１４が実行するプログラムなどを記憶する記憶装置の一例であり、例えばハードディスクやメモリなどである。記憶部１３は、ＡＵ情報１３１、およびＡＵ発生強度推定モデル１３２を記憶する。

【0042】

ＡＵ情報１３１は、マーカとＡＵの対応関係を表す情報である。例えば、各マーカの基準位置、各マーカに対応する１つまたは複数のＡＵ、各ＡＵの規定ベクトルの方向と大きさを対応付けて格納する。

【0043】

ＡＵ発生強度推定モデル１３２は、マーカを除去した撮像画像を特徴量とし、１つのマーカに対応する複数のＡＵを含むＡＵの発生強度を正解ラベルとして機械学習により生成したモデルを格納する。

【0044】

制御部１４は、判定装置１０全体を司る処理部であり、取得部１４１、算出部１４２、分割部１４３、判定部１４４、および生成部１４５を有する。

【0045】

取得部１４１は、顔を含む撮像画像を取得する。例えば、取得部１４１は、複数のＡＵに対応する複数の基準位置にマーカを付した被験者の顔を含む連続で撮像された撮像画像群を取得する。取得部１４１によって取得される撮像画像は、上述したようにＲＧＢカメラ３１やＩＲカメラ３２によって撮像される。

【0046】

ここで、ＲＧＢカメラ３１およびＩＲカメラ３２による撮像が行われる際、被験者は表情を変化させていく。この際、被験者は、自由に表情を変化させてもよいし、定められたシナリオに沿って表情を変化させてもよい。これにより、ＲＧＢカメラ３１およびＩＲカメラ３２は、時系列に沿って表情が変化していく様子を画像として撮像することができる。また、ＲＧＢカメラ３１は、動画による撮影を行うこともできる。すなわち、動画は、時系列に並べられた複数の静止画とみなすことができる。

【0047】

算出部１４２は、撮像画像に含まれるマーカの位置に基づいて移動ベクトルを算出する。例えば、算出部１４２は、撮像画像のマーカの基準位置から、被験者の表情変化によって移動したマーカの移動量と移動方向を導出する。

【0048】

また、算出部１４２は、顔の皮膚や筋肉によって生じるマーカ位置の歪みを補正し、補正されたマーカ位置に基づいて移動ベクトルを算出することもできる。マーカ位置に歪み補正については後述する。

【0049】

また、算出部１４２は、マーカに対応付けられたＡＵが１つの場合、移動ベクトルと、マーカに対応付けられたＡＵの判定方向を示す規定ベクトルとの内積を算出する。

【0050】

分割部１４３は、マーカに対応付けられたＡＵが複数の場合、移動ベクトルを、マーカに対応付けられた各ＡＵの判定方向に応じた複数のベクトルに分割する。図１０は、本実施形態にかかる移動ベクトルの分割方法の一例を示す図である。移動ベクトル４２４は、図８で示したもの同様、マーカ４０５に対応付けられた規定ベクトル４１４および４１５を判定方向とする２つのＡＵが同時発生した場合の移動ベクトルである。分割部１４３は、移動ベクトル４２４を、規定ベクトル４１４および４１５のそれぞれに対応する分割ベクトル４４４および４４５に分割する。

【0051】

移動ベクトルの分割は、移動ベクトルが各規定ベクトルの線形和であることに基づいて、次式（１）を用いて算出できる。

【数1】

【0052】

ここで、式１における（Ｘ，Ｙ）は、移動ベクトルの２次元座標、（Ｘａ，Ｙａ）および（Ｘｂ，Ｙｂ）は、各規定ベクトルの２次元座標であり、αおよびβは、各規定ベクトルの線形係数である。なお、マーカに対応付けられたＡＵが３つ以上の場合は、式（１）において加算する規定ベクトルの２次元座標を（Ｘｃ，Ｙｃ）、（Ｘｄ，Ｙｄ）、・・・と増やし、それぞれの線形係数もγ、σ・・・と増やす。

【0053】

分割部１４３は、式（１）を、例えば、次式（２）に変換し、線形係数αおよびβを算出できる。

【数2】

【0054】

図１０の例では、規定ベクトル４１４の２次元座標が（０，１０）、規定ベクトル４１５の２次元座標が（２．４，－９．７）、移動ベクトル４２４の２次元座標が（１．５，４．２）であったとする。この場合、分割部１４３は、式（１）および（２）に各値を代入し、（α，β）を（１，０．６）と算出できる。また、判定部１４４は、（α，β）＝（１，０．６）に基づいて、規定ベクトル４１４の発生強度を５、規定ベクトル４１５の発生強度を３と判定できる。

【0055】

判定部１４４は、上述したように、各規定ベクトルに基づいて、それぞれに対応するＡＵの発生強度を判定する。また、判定部１４４は、発生強度のみならず、移動ベクトル、または分割ベクトルにより示されるマーカの移動量が所定の閾値を超過するかに基づいて、ＡＵの発生の有無を判定することもできる。

【0056】

以上、移動ベクトルの算出から、ＡＵの発生強度の判定まで説明したが、より高精度に判定を行うためには、顔の皮膚や筋肉によって生じるマーカ位置の歪みを補正するようにしてもよい。図１１は、本実施形態にかかるマーカ位置の歪みの一例を示す図である。

【0057】

図１１において、マーカ４０６－１は、被験者が無表情の時のマーカ４０６の位置である。図１１の左側に示すように、マーカ４０６は、例えば、マーカ４０６－１からマーカ４０６－２を最遠位置として四角状の範囲内で移動可能である。しかしながら、実際には、マーカ４０６は、顔の皮膚や筋肉によって移動の制限を受け、例えば、図１１の右側に示すような扇状の範囲内でしか移動できない。この場合、本来はマーカ４０６－２の位置になるはずのマーカ位置は、移動制限を受け、例えば、マーカ４０６－３の位置になってしまう。

【0058】

より具体的には、図１１の中央に示すように、例えば、マーカ４０６は、被験者が表情を変化させると、表情筋４４１および４４２によって矢印の方向に引っ張られる。これに対し、マーカ４０６は、他の表情筋や皮膚であるアンカー４５１によって逆方向にも引っ張られ、結果的に移動が制限されてしまう。このようなマーカ位置の移動制限を、マーカ位置の歪みと呼ぶ。そこで、本実施形態にかかる判定装置１０では、マーカ位置の歪みを補正した上で、補正されたマーカ位置に基づいて、移動ベクトルを算出する。これにより、判定装置１０は、ＡＵの発生強度や発生の有無をより高精度に判定できる。

【0059】

マーカ位置の歪み補正について具体的に説明する。マーカ位置の歪み補正は、例えば、歪みが発生した場合のマーカ位置と、本来のマーカ位置とのマッピングテーブルを用いて行うことができる。前者の歪み発生マーカ位置の一例は、図１１で言うところのマーカ４０６－３の位置、後者の本来のマーカ位置の一例は、マーカ４０６－２の位置である。歪みが発生する部位のマーカについては、このような歪み発生マーカ位置の各位置と、それぞれの歪み発生マーカ位置に対応する本来のマーカ位置とをマッピングテーブルに設定する。そして、歪みが発生する部位のマーカについては、移動ベクトルによって示されるマーカ位置の移動量から、歪み発生マーカ位置を算出し、マッピングテーブルを検索することで、対応する本来のマーカ位置を導出できる。なお、マッピングテーブルに、歪み発生マーカ位置と同位置のデータが無い場合は、歪み発生マーカ位置に最も近い位置のデータを検索し、対応する本来のマーカ位置を導出することもできる。

【0060】

マッピングテーブルは、例えば、被験者からの実測データに基づいて作成できる。より具体的には、例えば、被験者の顔にマーカを付して、指定した表情を作ってもらい、各表情データと対応する移動量データを作成する。次に、表情データに基づいて、コーダにＡＵの発生強度をアノテーションしてもらう。そして、実測データから歪み発生マーカ位置を、アノテーション結果から本来のマーカ位置をそれぞれ導出し、マッピングテーブルに設定する。

【0061】

また、マーカ位置の歪み補正は、例えば、図１１の中央に示すような、表情筋４４１および４４２、ならびにアンカー４５１のそれぞれについてばね定数を設定して生成したばねモデルを用いて行うことができる。すなわち、当該ばねモデルに対し、マーカの基準位置から本来のマーカ位置までの移動量相当の力を加えたシミュレーションを行うことで、歪み発生マーカ位置がわかる。そのため、当該ばねモデルに適当な力を加えることで、本来のマーカ位置を知りたい歪み発生マーカ位置を求めることで、その際に加えた力に基づいて本来のマーカ位置を導出できる。また、このばねモデルを用いて、本来のマーカ位置に対するシミュレーションを行うことで、上述したマッピングテーブルを作成することもできる。また、ばねモデルのばね定数は、判定装置１０によるＡＵの発生強度の判定結果などによって適宜調整できる。

【0062】

生成部１４５は、撮像画像群とＡＵの発生強度とを対応付けたデータセットを作成する。当該データセットを用いた機械学習を行うことにより、撮像画像群からＡＵの発生強度の推定値を算出するためのモデルであるＡＵ発生強度推定モデル１３２を生成できる。また、生成部１４５は、撮像画像群から画像処理によりマーカを除去する。マーカの除去について具体的に説明する。

【0063】

生成部１４５は、マスク画像を用いてマーカを除去することができる。図１２は、本実施形態にかかるマーカ除去のためのマスク画像の生成方法を説明する説明図である。図１２の（ａ）は、ＲＧＢカメラ３１によって撮像された画像である。まず、生成部１４５は、意図的に付けられたマーカの色を抽出して代表色として定義する。そして、図１２の（ｂ）のように、生成部１４５は、代表色近傍の色の領域画像を生成する。さらに、図１２の（ｃ）のように、生成部１４５は、代表色近傍の色の領域に対し収縮、膨張などの処理を行い、マーカ除去用のマスク画像を生成する。また、マーカの色を顔の色としては存在しにくい色に設定しておくことで、マーカの色の抽出精度を向上させてもよい。

【0064】

図１３は、本実施形態にかかるマーカの除去方法を説明する説明図である。図１３に示すように、まず、生成部１４５は、動画から取得した静止画に対し、マスク画像を適用する。さらに、生成部１４５は、マスク画像を適用した画像を例えばニューラルネットワークに入力し、処理済みの画像を得る。なお、ニューラルネットワークは、被験者のマスクありの画像およびマスクなしの画像などを用いて訓練済みであるものとする。なお、動画から静止画を取得することにより、表情変化の途中データが得られることや、短時間で大量のデータが得られることがメリットとして生じる。また、生成部１４５は、ニューラルネットワークとして、ＧＭＣＮＮ（Generative Multi-column Convolutional Neural Networks）やＧＡＮ（Generative Adversarial Networks）を用いてもよい。

【0065】

なお、生成部１４５がマーカを除去する方法は、上記のものに限られない。例えば、生成部１４５は、定められたマーカの形状を基にマーカの位置を検出し、マスク画像を生成してもよい。また、ＩＲカメラ３２とＲＧＢカメラ３１の相対位置のキャリブレーションを事前に行うようにしてもよい。この場合、生成部１４５は、ＩＲカメラ３２によるマーカトラッキングの情報からマーカの位置を検出することができる。

【0066】

また、生成部１４５は、マーカにより異なる検出方法を採用してもよい。例えば、鼻上のマーカは動きが少なく、形状を認識しやすいため、生成部１４５は、形状認識により位置を検出してもよい。また、口横のマーカは動きが大きく、形状を認識しにくいため、生成部１４５は、代表色を抽出する方法で位置を検出してもよい。

【0067】

次に、図１４を用いて、判定装置１０によるＡＵの発生強度の判定処理の流れを説明する。図１４は、本実施形態にかかる判定処理の流れの一例を示すフローチャートである。図１４に示すように、まず、取得部１４１は、複数のＡＵに対応する複数の基準位置にマーカを付した被験者の顔を含む撮像画像群を取得する（ステップＳ１０１）。

【0068】

次に、算出部１４２は、取得部１４１によって取得された撮像画像に含まれるマーカの位置に基づいて移動ベクトルを算出する（ステップＳ１０２）。なお、歪みが発生する部位のマーカについては、マーカ位置の歪みを補正した上で、移動ベクトルを算出する。

【0069】

次に、移動ベクトルの算出に用いたマーカに対応するＡＵが１つの場合（ステップＳ１０３：Ｙｅｓ）、算出部１４２は、移動ベクトルと、マーカに対応付けられたＡＵの規定ベクトルとの内積を算出する（ステップＳ１０４）。

【0070】

一方、移動ベクトルの算出に用いたマーカに対応するＡＵが２つ以上の場合（ステップＳ１０３：Ｎｏ）、分割部１４３は、移動ベクトルを、マーカに対応付けられた各ＡＵのベクトルに分割する（ステップＳ１０５）。

【0071】

次に、判定部１４４は、ステップＳ１０４で算出されたＡＵの規定ベクトルとの内積、または、ステップＳ１０５で分割された各ＡＵの分割ベクトルに基づいて、対応するＡＵの発生強度を判定する（ステップＳ１０６）。具体的には、移動ベクトルと規定ベクトルとの内積が算出された場合は、内積を規定ベクトルの大きさで規格化することでＡＵの発生強度を判定できる。一方、移動ベクトルが各ＡＵに対応するベクトルに分割された場合は、分割されたベクトルを規定ベクトルの大きさで規格化することでＡＵの発生強度を判定できる。なお、移動ベクトルの算出に用いたマーカに対応するＡＵが２つ以上であっても、各規定ベクトルが相反しない場合は、移動ベクトルと、マーカに対応付けられたＡＵの規定ベクトルとの内積を算出してもよい（ステップＳ１０６ではなくステップＳ１０４を実行）。ステップＳ１０６の後、図１４に示す判定処理は終了する。

【0072】

次に、ＡＵ発生強度推定モデル１３２に格納されたモデルを用いたＡＵ発生強度の推定処理について説明する。当該モデルに、推定対象の人物の顔が撮像された画像を入力することで、１つまたは複数のＡＵの発生強度が出力される。推定対象の人物の顔にマーカは付されている必要はない。また、当該モデルは、同一マーカに複数のＡＵが対応付けられており、各ＡＵの規定ベクトルが相反する場合のＡＵの発生強度に対しても訓練済みである。そのため、当該モデルを用いることで、規定ベクトルが相反する複数のＡＵが発生する表情に対しても、ＡＵの発生強度を正しく推定できる。なお、当該モデルは、判定装置１０以外の装置に格納されてＡＵ発生強度の推定処理に用いられてもよい。

【0073】

上述したように、判定装置１０は、マーカを付した顔を含む撮像画像群を取得し、撮像画像に含まれるマーカの位置に基づいて第１のベクトルである移動ベクトルを算出し、第１のベクトルを、マーカに対応付けられた第１のＡＵの判定方向に応じた第２のベクトルである分割ベクトルと、マーカに対応付けられた第２のＡＵの判定方向に応じた第３のベクトルである分割ベクトルとに分割し、第２のベクトルと第３のベクトルとに基づいて、第１のＡＵの第１の発生強度と第２のＡＵの第２の発生強度とを判定する。

【0074】

これにより、判定装置１０は、同一マーカに対応する規定ベクトルが相反するものであっても、それぞれのＡＵの発生強度を正しく判定できる。具体的には、同一マーカに対応する規定ベクトルが相反する場合、図８に示したように、移動ベクトル４２４と規定ベクトル４１５との内積を求めると内積がマイナスになってしまい、ＡＵの発生強度を０と判定してしまう。一方、判定装置１０では、図１０に示したように、移動ベクトル４２４を、各ＡＵの判定方向に応じた分割ベクトル４４４および４４５に分割し、各ＡＵの発生強度を判定できる。

【0075】

また、判定装置１０により実行される、第１のベクトルを、第２のベクトルと、第３のベクトルとに分割する処理は、第１のベクトルが、第２のベクトルと、第３のベクトルとの線形和であることに基づいて、第１のベクトルを、第２のベクトルと、第３のベクトルとに分割する処理を含む。

【0076】

これにより、判定装置１０は、移動ベクトルをより容易に分割できる。

【0077】

また、判定装置１０により実行される第１のベクトルを算出する処理は、マーカの位置の歪みを補正し、補正されたマーカの位置に基づいて第１のベクトルを算出する処理を含む。

【0078】

これにより、判定装置１０は、ＡＵの発生強度をより高精度に判定できる。

【0079】

また、判定装置１０により実行されるマーカの位置の歪みを補正する処理は、マーカの第１の位置と、歪みを補正した第２の位置とを対応付けた記憶部を用いて、マーカの位置の歪みを補正する処理を含む。

【0080】

これにより、判定装置１０は、ＡＵの発生強度をより高精度に判定できる。

【0081】

また、判定装置１０はさらに、マーカに対応付けられたＡＵが１つの場合、第１のベクトルと、当該ＡＵの判定方向に応じたベクトルとの内積を算出し、当該内積に基づいて、当該ＡＵの発生強度を判定する。

【0082】

これにより、判定装置１０は、ＡＵの発生強度をより効率的に判定できる。

【0083】

また、判定装置１０はさらに、撮像画像からマーカを除去した画像と、第１の発生強度および第２の発生強度とに基づいて、機械学習用のデータを生成する。

【0084】

これにより、生成されたデータを用いた機械学習を行い、同一マーカに対応する規定ベクトルが相反する場合に撮像画像からＡＵの発生強度の推定値を算出するためのモデルを生成できる。

【0085】

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、上記具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。

【0086】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。例えば、判定装置１０の算出部１４２を複数の処理部に分散したり、判定装置１０の算出部１４２と分割部１４３とを１つの処理部に統合したりすることができる。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0087】

図１５は、図１５は、本実施形態にかかる判定装置のハードウェア構成例を示す図である。図１５に示すように、判定装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１５に示した各部は、バスなどで相互に接続される。

【0088】

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図９などに示した機能を動作させるプログラムやＤＢを記憶する。

【0089】

プロセッサ１０ｄは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などである。また、プロセッサ１０ｄは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されるようにしてもよい。プロセッサ１０ｄは、図９などに示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図９などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、判定装置１０が有する各処理部と同様の機能を実行する。

【0090】

また、判定装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、判定装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【0091】

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

【符号の説明】

【0092】

１ 判定システム
１０ 判定装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
１１ 入力部
１２ 出力部
１３ 記憶部
１４ 制御部
２０ 機械学習装置
３１ ＲＧＢカメラ
３２ ＩＲカメラ
４０ 器具
１２１ 発生強度
１２２ 画像
１３１ ＡＵ情報
１３２ ＡＵ発生強度推定モデル
１４１ 取得部
１４２ 算出部
１４３ 分割部
１４４ 判定部
１４５ 生成部
４０１、４０２、４０３、４０４、４０５、４０６ マーカ
４１１、４１２、４１３、４１４、４１５ 規定ベクトル
４２１、４２２、４２３、４２４ 移動ベクトル
４３１、４３２、４３３、４３４、４３５ 内積
４４１、４４２ 表情筋
４４４、４４５ 分割ベクトル
４５１ アンカー
５０１ 分散範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】