特開 2022-190954 表情判定プログラム、表情判定装置、および表情判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190954

(43)【公開日】2022-12-27

(54)【発明の名称】表情判定プログラム、表情判定装置、および表情判定方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20221220BHJP

【ＦＩ】

G06T7/20 300B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021099500

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】内田 昭嘉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA02

5L096FA66

5L096FA72

5L096GA51

5L096HA02

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】ＡＵの推定のための訓練データを生成することが困難な場合があるという問題がある。
【解決手段】表情判定プログラムは、複数のマーカを付した顔を含む撮像画像を取得し、複数のマーカのうち第１のマーカの撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて、第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、複数のマーカのうち第２のマーカの撮像画像における第２の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、第１のマーカの第１の方向への移動量が第１の閾値以上であり、第２のマーカの第２の方向への移動量が第２の閾値以上であると判定された場合、第１の表情筋の動きの発生状態について発生なしと判定する、処理をコンピュータに実行させる。
【選択図】図１４

【特許請求の範囲】

【請求項1】

複数のマーカを付した顔を含む撮像画像を取得し、
前記複数のマーカのうち第１のマーカの前記撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて前記第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、前記複数のマーカのうち第２のマーカの前記撮像画像における第２の位置と前記第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、
前記第２のマーカの第２の方向への移動量が前記第２の閾値以上であると判定された場合、前記第１の表情筋の動きの発生状態について発生なしと判定する、
処理をコンピュータに実行させることを特徴とする表情判定プログラム。

【請求項2】

前記第１の表情筋の動きの発生状態について発生ありと判定する処理は、前記第１のマーカの第１の方向への移動量に応じて、前記第１の表情筋の動きの発生状態について発生の強度を判定する処理を含む、
ことを特徴とする請求項１に記載の表情判定プログラム。

【請求項3】

前記撮像画像から前記第１のマーカおよび前記第２のマーカを除去した画像と、前記発生の強度とに基づいて、機械学習用の訓練データを生成する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項２に記載の表情判定プログラム。

【請求項4】

前記第１の表情筋の動きの発生状態について発生なしと判定する処理は、前記第１の表情筋の動きの発生状態について発生の強度を発生なしに対応する度数に決定する処理を含む、
ことを特徴とする請求項１に記載の表情判定プログラム。

【請求項5】

前記複数のマーカのうち第３のマーカの前記撮像画像における第３の位置と第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第３のマーカの第３の方向への移動量が第３の閾値以上か判定し、
前記複数のマーカのうち第４のマーカの前記撮像画像における第４の位置と前記第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第４のマーカの第４の方向への移動量が第４の閾値以上か判定し、
前記第３のマーカの第３の方向への移動量が前記第３の閾値以上であり、前記第４のマーカの第４の方向への移動量が前記第４の閾値以上であると判定された場合、前記第２の表情筋の動きの発生状態について発生ありと判定し、前記第３のマーカの第３の方向への移動量と前記第４のマーカの第４の方向への移動量とのうち前記第３のマーカの第３の方向への移動量のみに応じて、前記第２の表情筋の動きの発生状態について、発生の強度を判定する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の表情判定プログラム。

【請求項6】

前記顔が無表情の時の前記複数のマーカの位置に応じて、前記第１の閾値および前記第２の閾値を決定する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項１に記載の表情判定プログラム。

【請求項7】

複数のマーカを付した顔を含む撮像画像を取得し、
前記複数のマーカのうち第１のマーカの前記撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて前記第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、前記複数のマーカのうち第２のマーカの前記撮像画像における第２の位置と前記第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、
前記第２のマーカの第２の方向への移動量が前記第２の閾値以上であると判定された場合、前記第１の表情筋の動きの発生状態について発生なしと判定する、
処理を実行する制御部を有することを特徴とする表情判定装置。

【請求項8】

複数のマーカを付した顔を含む撮像画像を取得し、
前記複数のマーカのうち第１のマーカの前記撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて前記第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、前記複数のマーカのうち第２のマーカの前記撮像画像における第２の位置と前記第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、
前記第２のマーカの第２の方向への移動量が前記第２の閾値以上であると判定された場合、前記第１の表情筋の動きの発生状態について発生なしと判定する、
処理をコンピュータが実行することを特徴とする表情判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表情判定技術に関する。

【背景技術】

【0002】

ノンバーバルコミュニケーションにおいて、表情は重要な役割を果たしている。人を理解し人を支援するコンピュータを開発する上で、表情推定は必須の技術である。表情を推定するには、まず表情の記述方法を規定しなければならない。表情の記述方法として、ＡＵ（Action Unit：アクションユニット）が知られている。ＡＵは、顔面筋の解剖学的知見に基づき定義された、表情表出に関与する顔面上の動作を示す。これまでＡＵを推定する技術も提案されている。

【0003】

ＡＵを推定するＡＵ推定エンジンの代表的な形態は、大量の訓練データに基づく機械学習をベースとし、訓練データとして、顔表情の画像データと、表情の判定結果である各ＡＵのOccurrence（発生の有無）やIntensity（発生強度）が用いられる。また、訓練データのOccurrenceやIntensityは、Coder（コーダ）と呼ばれる専門家によりAnnotation（アノテーション）される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－０３６７３４号公報

【特許文献2】特開２０２０－０５７１１１号公報

【特許文献3】米国特許第１０３３９３６９号明細書

【特許文献4】米国特許出願公開第２０１９／２１３４０３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の手法には、表情推定のための訓練データを生成することが困難な場合があるという問題がある。例えば、コーダによるアノテーションでは、費用および時間のコストがかかるため、データを大量に作成することが困難である。また、顔画像の画像処理による顔の各部位の移動計測では、小さな変化を正確に捉えるのが困難であり、コンピュータが人の判断を介さずに顔画像から表情の判定を行うことは難しい。

【0006】

１つの側面では、顔画像から表情の判定を行うことを目的とする。

【課題を解決するための手段】

【0007】

１つの態様において、表情判定プログラムは、複数のマーカを付した顔を含む撮像画像を取得し、複数のマーカのうち第１のマーカの撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて、第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、複数のマーカのうち第２のマーカの撮像画像における第２の位置と表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、第１のマーカの第１の方向への移動量が第１の閾値以上であり、第２のマーカの第２の方向への移動量が第２の閾値以上であると判定された場合、第１の表情筋の動きの発生状態について発生なしと判定する、処理をコンピュータに実行させる。

【発明の効果】

【0008】

１つの側面では、顔画像から表情の判定を行うことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態にかかる判定システムの構成例を示す図である。

【図2】図２は、本実施形態にかかるカメラの配置例を示す図である。

【図3】図３は、本実施形態にかかるマーカ移動の一例を示す図である。

【図4】図４は、本実施形態にかかる発生強度の判定方法の一例を示す図である。

【図5】図５は、本実施形態にかかる発生強度の判定方法の一例を示す図である。

【図6】図６は、本実施形態にかかる規定ベクトルに対する移動ベクトルの一例を示す図である。

【図7】図７は、ＡＵ発生の誤検知の一例を示す図である。

【図8】図８は、ＡＵ判定のための境界および領域の一例を示す図である。

【図9】図９は、本実施形態にかかる分離境界を用いたＡＵ判定結果の一例を示す図である。

【図10】図１０は、本実施形態にかかる判定装置の構成例を示すブロック図である。

【図11】図１１は、本実施形態にかかるＡＵ１２の規定マーカおよびベクトルの一例を示す図である。

【図12】図１２は、本実施形態にかかるＡＵ１２のキャンセルマーカおよびベクトルの一例を示す図である。

【図13】図１３は、本実施形態にかかるＡＵ１２発生時の移動ベクトルの一例を示す図である。

【図14】図１４は、本実施形態にかかるＡＵ１２発生キャンセル時の移動ベクトルの一例を示す図である。

【図15】図１５は、本実施形態にかかるＡＵ０９発生時の移動ベクトルの一例を示す図である。

【図16】図１６は、本実施形態にかかるＡＵ０９発生キャンセル時の移動ベクトルの一例を示す図である。

【図17】図１７は、本実施形態にかかるマーカ除去のためのマスク画像の生成方法の一例を示す図である。

【図18】図１８は、本実施形態にかかるマーカの除去方法の一例を示す図である。

【図19】図１９は、本実施形態にかかる判定処理の流れの一例を示すフローチャートである。

【図20】図２０は、本実施形態にかかる判定装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本実施形態に係る表情判定プログラム、表情判定装置、および表情判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。実施例は、ＡＵを一例に説明されるが、これに限られるものではない。

【0011】

図１を用いて、本実施形態に係る判定システムの構成を説明する。図１は、本実施形態にかかる判定システムの構成例を示す図である。図１に示すように、判定システム１は、ＲＧＢ（Red Green Blue）カメラ３１、ＩＲ（infrared：赤外線）カメラ３２、判定装置１０および機械学習装置２０を有する。

【0012】

図１に示すように、まず、ＲＧＢカメラ３１およびＩＲカメラ３２は、マーカが付された人物の顔に向けられる。例えば、ＲＧＢカメラ３１は一般的なデジタルカメラであり、可視光を受光し画像を生成する。また、例えば、ＩＲカメラ３２は、赤外線を感知する。また、マーカは、例えばＩＲ反射（再帰性反射）マーカである。ＩＲカメラ３２は、マーカによるＩＲ反射を利用してモーションキャプチャを行うことができる。また、以降の説明では、撮像対象の人物を被験者と呼ぶ。

【0013】

判定装置１０は、ＲＧＢカメラ３１によって撮像された画像やＩＲカメラ３２によるモーションキャプチャの結果を取得する。そして、判定装置１０は、ＡＵの発生強度１２１を判定し、発生強度１２１と、撮像画像から画像処理によりマーカを削除した画像１２２とを機械学習装置２０に対し出力する。例えば、発生強度１２１は、各ＡＵの発生強度０～５の６段階評価で表現され、「ＡＵ１：２、ＡＵ２：５、ＡＵ４：０、…」のようにアノテーションが行われたデータであってもよい。また、発生強度１２１は、各ＡＵの発生強度が、発生なしを意味する０と、ＡからＥの５段階評価で表現され、「ＡＵ１：Ｂ、ＡＵ２：Ｅ、ＡＵ４：０、…」のようにアノテーションが行われたデータであってもよい。さらに、発生強度は、６段階評価で表現されるものに限られるものではなく、例えば２段階評価（発生の有無）によって表現されても良い。

【0014】

機械学習装置２０は、判定装置１０から出力された画像１２２およびＡＵの発生強度１２１を訓練データとして用いて機械学習を行い、画像からＡＵの発生強度の推定値を算出するための機械学習モデルを生成する。機械学習装置２０は、ＡＵの発生強度をラベルとして用いることができる。なお、機械学習装置２０の処理は、判定装置１０で行ってもよい。この場合、機械学習装置２０は、判定システム１に含まれなくてよい。

【0015】

ここで、図２を用いて、カメラの配置について説明する。図２は、本実施形態にかかるカメラの配置例を示す図である。図２に示すように、複数のＩＲカメラ３２がマーカトラッキングシステムに含まれていてもよい。その場合、マーカトラッキングシステムは、ステレオ撮像によりＩＲ反射マーカの位置を検出することができる。また、複数のＩＲカメラ３２のそれぞれの間の相対位置関係は、カメラキャリブレーションにより補正されているものとする。

【0016】

また、撮像される被験者の顔には、対象とするＡＵ（例：ＡＵ１からＡＵ２８）をカバーするように、複数のマーカが付される。マーカの位置は、被験者の表情の変化に応じて変化する。例えば、マーカ４０１は、眉の根元付近に配置される。また、マーカ４０２およびマーカ４０３は、豊麗線の付近に配置される。マーカは、１つ以上のＡＵおよび表情筋の動きに対応した皮膚の上に配置されてもよい。また、マーカは、しわの寄りなどにより、テクスチャ変化が大きくなる皮膚の上を避けて配置されてもよい。

【0017】

さらに、被験者は、基準マーカが付された器具４０を装着する。被験者の表情が変化しても、器具４０に付された基準マーカの位置は変化しないものとする。このため、判定装置１０は、基準マーカからの相対的な位置の変化により、顔に付されたマーカの位置の変化を検出することができる。また、判定装置１０は、基準マーカとの位置関係を基に、各マーカの平面上または空間上の座標を特定することができる。なお、判定装置１０は、マーカ位置を、基準座標系から定めてもよいし、基準面の投影位置から定めてもよい。また、基準マーカの数を３つ以上にすることで、判定装置１０は、３次元空間におけるマーカ位置を特定することができる。

【0018】

器具４０は、例えばヘッドバンドであり、顔の輪郭外に基準マーカを配置する。また、器具４０は、ＶＲヘッドセットおよび固い素材のマスクなどであってもよい。その場合、判定装置１０は、器具４０のリジッド表面を基準マーカとして利用することができる。

【0019】

判定装置１０は、ＡＵの判定基準と複数のマーカの位置とに基づいて、複数のＡＵのそれぞれの発生の有無を判定する。また、判定装置１０は、複数のＡＵのうち、発生したと判定された１つ以上のＡＵに対して、発生強度を判定する。

【0020】

例えば、判定装置１０は、判定基準に含まれる第１のＡＵが発生している場合に必ず動きのある第１のマーカの基準位置と、第１のマーカの位置との距離に基づいて算出した第１のマーカの移動量を基に、第１のＡＵの発生強度を判定する。なお、第１のマーカは、特定のＡＵに対応する１つ、あるいは複数マーカということができる。また、第１のマーカは、ＡＵの発生および発生強度を決定するために使用するマーカと、ＡＵの発生強度には影響を与えずＡＵの発生の判定のみに使用されるマーカとがあり得る。この場合、ＡＵの発生および発生強度を決定するために使用するマーカと、ＡＵの発生強度には影響を与えずＡＵの発生の判定のみに使用されるマーカとの両方が閾値以上の動きがある場合に、ＡＵが発生していると判定されてよい。そして、ＡＵの発生および発生強度を決定するために使用するマーカの動きの量のみに基づいてＡＵの発生強度が決定されてよい。

【0021】

ＡＵの判定基準は、例えば、複数のマーカのうち、ＡＵ毎にＡＵの発生強度を判定するために使用される１つまたは複数のマーカを示す。ＡＵの判定基準は、複数のマーカの基準位置を含んでもよい。ＡＵの判定基準は、複数のＡＵのそれぞれについて、発生強度の判定に使用されるマーカの移動量と発生強度との関係（換算ルール）を含んでもよい。なお、マーカの基準位置は、被験者が無表情な状態（いずれのＡＵも発生していない）の撮像画像における複数のマーカの各位置に応じて定められてもよい。

【0022】

ここで、図３を用いて、マーカの移動について説明する。図３は、本実施形態にかかるマーカ移動の一例を示す図である。図３の（ａ）、（ｂ）、（ｃ）は、ＲＧＢカメラ３１によって撮像された画像である。また、画像は、（ａ）、（ｂ）、（ｃ）の順で撮像されたものとする。例えば、（ａ）は、被験者が無表情であるときの画像である。判定装置１０は、（ａ）の画像のマーカの位置を、移動量が０の基準位置とみなすことができる。

【0023】

図３に示すように、被験者は、眉を寄せるような表情を取っている。このとき、表情の変化に従い、マーカ４０１の位置は下方向に移動している。その際、マーカ４０１の位置と、器具４０に付された基準マーカとの間の距離は大きくなっている。

【0024】

また、マーカ４０１の基準マーカからのＸ方向およびＹ方向の距離の変動値は、図４のように表される。図４は、本実施形態にかかる発生強度の判定方法の一例を示す図である。図４に示すように、判定装置１０は、マーカ４０１の基準マーカからのＸ方向およびＹ方向の距離の変動値を発生強度に換算することができる。なお、発生強度は、ＦＡＣＳ（Facial Action Coding System）に準じて５段階に量子化されたものであってもよいし、変動量に基づく連続量として定義されたものであってもよい。

【0025】

なお、判定装置１０が変動量を発生強度に換算するルールとしては、様々なものが考えられる。判定装置１０は、定められた１つのルールに従って換算を行ってもよいし、複数のルールで換算を行い、最も発生強度が大きいものを採用するようにしてもよい。

【0026】

例えば、判定装置１０は、被験者が最大限表情を変化させたときの変動量である最大変動量を取得しておき、変動量の最大変動量に対する割合に基づいて発生強度を換算してもよい。また、判定装置１０は、従来手法によりコーダがタグ付けしたデータを用いて最大変動量を定めておいてもよい。また、判定装置１０は、変動量を発生強度にリニアに換算してもよい。また、判定装置１０は、複数の被験者の事前測定から作成された近似式を用いて換算を行ってもよい。

【0027】

また、例えば、判定装置１０は、判定基準として設定された位置と、第１のマーカの位置とに基づいて算出した第１のマーカの移動ベクトルを基に発生強度を判定することができる。この場合、判定装置１０は、第１のマーカの移動ベクトルと、第１のＡＵに対して対応付けられた規定ベクトルとの合致度合いを基に、第１のＡＵの発生強度を判定する。また、判定装置１０は、既存のＡＵ推定エンジンを使って、ベクトルの大きさと発生強度の対応を補正してもよい。

【0028】

ＡＵの発生強度の判定方法をより具体的に説明する。図５は、本実施形態にかかる発生強度の判定方法の一例を示す図である。例えば、ＡＵ４に対応する規定ベクトルが（Ｘ，Ｙ）＝（－２ｍｍ，－６ｍｍ）のように定められているものとする。このとき、判定装置１０は、マーカ４０１の移動ベクトルと規定ベクトルとの内積を算出し、規定ベクトルの大きさで規格化する。ここで、内積がＡＵ４の規定ベクトルの大きさと一致すれば、判定装置１０は、ＡＵ４の発生強度を５段階中の５と判定する。一方、内積がＡＵ４の規定ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定装置１０は、ＡＵ４の発生強度を５段階中の３と判定する。

【0029】

また、例えば、図５において、ＡＵ１１に対応する規定ベクトルの大きさが３ｍｍのように定められているものとする。このとき、判定装置１０は、マーカ４０２とマーカ４０３の間の距離の変動量がＡＵ１１の規定ベクトルの大きさと一致すれば、ＡＵ１１の発生強度を５段階中の５と判定する。一方、距離の変動量がＡＵ１１の規定ベクトルの半分であれば、例えば、前述のリニアな換算ルールの場合は、判定装置１０は、ＡＵ１１の発生強度を５段階中の３と判定する。このように、判定装置１０は、第１のマーカの位置および第２のマーカの位置との間の距離の変化を基に、発生強度を判定することもできる。

【0030】

ところで、各マーカの移動ベクトルには分散が発生し得、規定ベクトルの判定方向と完全には一致しない場合がある。図６は、本実施形態にかかる規定ベクトルに対する移動ベクトルの一例を示す図である。図６の例では、マーカ４０４に対応付けられたＡＵ４の規定ベクトル４１１と、マーカ４０４の移動ベクトル４２１および４２２とが示されている。

【0031】

図６に示すように、例えば、ＡＵ４の規定ベクトル４１１に対し、マーカ４０４の移動ベクトル４２１や４２２によって示される方向にはズレが生じている。あくまでも一例であるが、このように、マーカ４０４の移動ベクトルは、分散範囲５０１内で分散し得る。

【0032】

しかしながら、移動ベクトルの分散が発生しても、移動ベクトルと規定ベクトルとの内積を算出することで、規定ベクトルに対応したＡＵの発生強度を判定できる。図６では、内積４３１が移動ベクトル４２１と規定ベクトル４１１との内積である。図５を用いて具体的に説明したように、内積４３１によって規定ベクトル４１１に対応したＡＵ４の発生強度を判定できる。なお、図６では、内積４３１を便宜上、規定ベクトル４１１と若干ずらして示しているが、実際には重なっている。

【0033】

このように、ＡＵの規定ベクトルと移動ベクトルとの内積やマーカ間距離の変動量に基づいてＡＵの発生強度を判定できる。しかしながら、対象とするＡＵが発生している場合に必ず動きのあるマーカが、対象とするＡＵが発生してない時にも他の表情、すなわち他のＡＵの発生時に対応して動いてしまうことがある。そのため、実際には発生していないＡＵの発生を誤検知してしまうことがある。

【0034】

図７は、ＡＵ発生の誤検知の一例を示す図である。図７の例は、ＡＵ１２が発生している場合に必ず動きのあるマーカ４０５がＡＵ２０発生時の表情筋の動きにより移動し、移動ベクトル４２４が発生したことを示している。移動ベクトル４２４の発生により、判定装置１０は、マーカ４０５に対するＡＵ１２の規定ベクトル４１２と、移動ベクトル４２４との内積４３３を算出し発生強度を判定するため、実際には発生していないＡＵ１２の発生を誤検知してしまう。

【0035】

このようなＡＵ発生の誤検知を回避するため、例えば、ベクトル空間内に分離境界を設け、移動ベクトルを含む領域によってＡＵの判定を試みる。図８は、ＡＵ判定のための境界および領域の一例を示す図である。図８に示すように、ＡＵ１２に対応付けられたマーカ４０５に対し、判定領域５０２および５０３に分かれるように境界を設ける。そして、判定装置１０は、移動ベクトルが判定領域５０２に含まれる場合はＡＵ１２の発生あり、判定領域５０３に含まれる場合はＡＵ１２の発生なしと判定する。

【0036】

図９は、本実施形態にかかる分離境界を用いたＡＵ判定結果の一例を示す図である。図９は、時間経過と共に表情を様々に変化させた場合のＡＵ１２の発生強度の判定結果であり、上のグラフは判定領域５０２による判定結果、下のグラフは判定領域５０３による判定結果をそれぞれ示す。また、それぞれのグラフには正解と思われるＡＵ１２の発生強度を重ねて示している。

【0037】

図９の判定結果を参照すると破線枠内に示した部分の判定結果に正解との大きな誤差が生じており、分離境界をずらし判定領域５０２および５０３の範囲を調整しても、これらの誤差のいずれかは残ってしまう。または、新たに大きな誤差が生じてしまう可能性もある。このように、対象のＡＵに対する分離境界を用いた判定、延いては図７に示したような対象のＡＵが発生している場合に必ず動きのあるマーカの動きのみによる判定では、対象のＡＵを過不足なく検知することが困難な場合がある。

【0038】

そこで、本実施形態では、対象のＡＵの判定を行うために、対象のＡＵが発生している場合に必ず動きのあるマーカのみならず、それ以外のマーカの動きによってＡＵの判定を行う。

【0039】

［判定装置１０の機能構成］
図１０を用いて、本実施形態にかかる判定装置１０の機能構成を説明する。図１０は、本実施形態にかかる判定装置の構成例を示すブロック図である。図１０に示すように、判定装置１０は、入力部１１、出力部１２、記憶部１３、および制御部１４を有する。

【0040】

入力部１１は、例えば、ＲＧＢカメラ３１、ＩＲカメラ３２、マウス、およびキーボードなどの入力装置を介してデータの入力を受け付ける。例えば、ＲＧＢカメラ３１によって撮像された画像およびＩＲカメラ３２によるモーションキャプチャの結果を入力する。また、出力部１２は、例えば、ディスプレイなどの出力装置にデータを出力する。例えば、ＡＵの発生強度１２１と、撮像画像から画像処理によりマーカを削除した画像１２２とを出力する。

【0041】

記憶部１３は、データや制御部１４が実行するプログラムなどを記憶する機能を有し、例えばハードディスクやメモリなどの記憶装置により実現される。記憶部１３は、ＡＵ情報１３１、およびＡＵ発生強度推定モデル１３２を記憶する。

【0042】

ＡＵ情報１３１は、マーカとＡＵの対応関係を表す情報である。例えば、各マーカの基準位置、各マーカに対応する１つまたは複数のＡＵ、各ＡＵの規定ベクトルの方向と大きさを対応付けて格納する。

【0043】

ＡＵ発生強度推定モデル１３２は、マーカを除去した撮像画像を特徴量とし、ＡＵの発生強度を正解ラベルとして機械学習により生成した機械学習モデルである。

【0044】

制御部１４は、判定装置１０全体を司る処理部であり、取得部１４１、算出部１４２、判定部１４３、および生成部１４４を有する。

【0045】

取得部１４１は、顔を含む撮像画像を取得する。例えば、取得部１４１は、複数のＡＵに対応する複数の基準位置にマーカを付した被験者の顔を含む連続で撮像された撮像画像群を取得する。取得部１４１によって取得される撮像画像は、上述したようにＲＧＢカメラ３１やＩＲカメラ３２によって撮像される。

【0046】

ここで、ＲＧＢカメラ３１およびＩＲカメラ３２による撮像が行われる際、被験者は表情を変化させていく。この際、被験者は、自由に表情を変化させてもよいし、定められたシナリオに沿って表情を変化させてもよい。これにより、ＲＧＢカメラ３１およびＩＲカメラ３２は、時系列に沿って表情が変化していく様子を画像として撮像することができる。また、ＲＧＢカメラ３１は、動画による撮影を行うこともできる。すなわち、動画は、時系列に並べられた複数の静止画とみなすことができる。

【0047】

算出部１４２は、撮像画像に含まれるマーカの位置に基づいて移動ベクトルを算出する。例えば、算出部１４２は、撮像画像のマーカの基準位置から、被験者の表情変化によって移動したマーカの移動量と移動方向を導出する。また、算出部１４２は、移動ベクトルと、ＡＵの判定方向を示す規定ベクトルとの内積を算出する。

【0048】

判定部１４３は、上述したように、各規定ベクトルに基づいて、それぞれに対応するＡＵの発生強度を判定する。また、判定部１４３は、発生強度のみならず、移動ベクトルまたは移動ベクトルと規定ベクトルとの内積により示されるマーカの移動量が所定の閾値を超過するかに基づいて、ＡＵの発生の有無を判定することもできる。この点について図１１を用いて具体例を挙げて説明する。

【0049】

図１１は、本実施形態にかかるＡＵ１２の規定マーカおよびベクトルの一例を示す図である。図１１に示すように、判定部１４３は、ＡＵ１２に対応付けられたマーカ４０５の移動ベクトル４２３とＡＵ１２の規定ベクトル４１２との内積４３２が所定の閾値をどれくらい超過するかに基づいてＡＵ１２の発生強度を判定する。

【0050】

また、上述したように、対象のＡＵが発生している場合に必ず動きのあるマーカの動きのみでは対象のＡＵの判定が正しく行われない場合があり得る。そのため、判定部１４３は、対象のＡＵが発生している場合に必ず動きのあるマーカのみならず、当該マーカ以外の他のマーカ（以下、「キャンセルマーカ」という場合がある）の動きによって対象のＡＵの判定を行う。具体的には後述するが、判定部１４３は、キャンセルマーカの動きによって、対象のＡＵの発生有無を判定する。

【0051】

図１２は、本実施形態にかかるＡＵ１２のキャンセルマーカおよびベクトルの一例を示す図である。図１２は、ＡＵ１２が発生している場合に必ず動きのあるマーカ４０５以外のキャンセルマーカ４４１を示している。キャンセルマーカ４４１の場合もＡＵの規定マーカ同様、キャンセルマーカ４４１の移動ベクトル４２５と、ＡＵ１２の発生キャンセルを規定するキャンセルベクトル４５１との内積４３４が算出される。そして、判定部１４３は、例えば、内積４３４が所定の閾値以上の場合、ＡＵ１２の発生はなしと判定する。これは、例えば、ＡＵ１２に対応付けられたマーカ４０５の動きによってＡＵ１２の発生強度が１以上あり、ＡＵ１２が発生したと判定された場合であっても、ＡＵ１２の発生はなしと判定するものである。この場合、判定部１４３は、ＡＵ１２の発生強度を０とすることができる。

【0052】

キャンセルマーカを用いたＡＵ判定について、図１３および図１４を用いてより具体的に説明する。図１３は、本実施形態にかかるＡＵ１２発生時の移動ベクトルの一例を示す図である。ＡＵ１２は、被験者が笑った場合に発生するＡＵであり、図１３の例は、被験者が笑顔をした際のＡＵ１２が発生している場合に必ず動きのあるマーカ４０５とＡＵ１２のキャンセルマーカ４４１との動きを示している。

【0053】

図１３の例では、マーカ４０５の移動に伴い発生した、規定ベクトル４１２に対する内積４３２が所定の閾値以上あるため、判定部１４３は、ＡＵ１２が発生したと判定する。一方、キャンセルマーカ４４１の移動に伴い発生したキャンセルベクトル４５１に対する内積４３５は、キャンセルベクトル４５１と真逆の方向に発生しており、内積４３５は０となる。この場合、ＡＵ１２の発生をキャンセルするようなキャンセルマーカ４４１の動きは発生していないため、判定部１４３は、マーカ４０５の動きによる判定結果、すなわち、ＡＵ１２が発生したという判定結果を維持する。

【0054】

なお、図１３の例では、説明を解り易くするために、キャンセルマーカ４４１の動きについて極端な例を示したが、ＡＵ１２の発生時は、キャンセルマーカ４４１の動きがほぼない場合もあり得る。また、図１３の例では、内積４３５が０の場合を示したが、判定部１４３は、例えば、内積４３５が所定の閾値未満の場合に、ＡＵ１２の発生をキャンセルするようなキャンセルマーカ４４１の動きは発生していないと判定できる。

【0055】

次に、ＡＵ１２の発生をキャンセルする場合の例を説明する。図１４は、本実施形態にかかるＡＵ１２発生キャンセル時の移動ベクトルの一例を示す図である。図１４の例は、被験者が唇を押さえつけるような表情、または口角を外側に引っ張るような表情をした際のＡＵ１２が発生している場合に必ず動きのあるマーカ４０５と、マーカ４０８との動きを示している。なお、被験者が唇を押さえつけるような表情の場合はＡＵ１６、口角を外側に引っ張るような表情の場合はＡＵ２０が発生し、いずれの場合もＡＵ１２の発生はなしが正しい判定結果である。

【0056】

まず、図１４の例でも、マーカ４０５の移動ベクトル４２４によって規定ベクトル４１２に対する内積４３２が所定の閾値以上あるため、判定部１４３は、ＡＵ１２が発生したと判定する。しかしながら、マーカ４０８の移動に伴い発生した規定ベクトル４１４に対する内積４３４も所定の閾値以上あるため、判定部１４３は、ＡＵ１２の発生はなしと判定する。また、各表情によるマーカの移動量や顔の大きさは被験者によって異なるため、各閾値は、例えば、被験者ごとに無表情時の各マーカの位置に応じて決定されてよい。また、特定のＡＵに対して２つ以上のキャンセルマーカが設定されてもよい。なお、特定のＡＵに対して２つ以上のキャンセルマーカが設定されている場合、少なくとも１つのキャンセルマーカが閾値以上であれば特定のＡＵの発生はなしと判定されてよい。または、特定のＡＵに対して設定された全てのキャンセルマーカが閾値以上であれば特定のＡＵの発生はなしと判定されてもよい。

【0057】

図１３および図１４を用いてキャンセルマーカを用いたＡＵ判定について説明したが、次にマーカ間距離によるＡＵ判定についても具体的に説明する。図１５は、本実施形態にかかるＡＵ０９発生時の移動ベクトルの一例を示す図である。ＡＵ０９は、被験者が顔をしかめた場合に発生するＡＵであり、図１５の例は、被験者がしかめっ面をした際のＡＵ０９に対応付けられたマーカ４０６と他のマーカ４０７との動きを示している。

【0058】

図１５の例では、マーカ４０６の移動に伴い発生した、規定ベクトル４１３に対する内積４３６が所定の閾値以上あるため、判定部１４３は、ＡＵ０９が発生したと判定する。また、マーカ４０６の移動に伴い、マーカ４０６とマーカ４０７との間の距離が無表情時と比較して短くなったため、判定部１４３は、マーカ４０６の動きによる判定結果、すなわち、ＡＵ０９が発生したという判定結果を維持する。

【0059】

なお、マーカ４０６とマーカ４０７との間の距離の判定に対して所定の閾値を設け、マーカ間の距離が当該閾値以下になった場合に、判定部１４３は、マーカ間距離が短くなったと判定してもよい。また、当該閾値も、ＡＵの規定ベクトルに対する内積の閾値と異なる値であってよいし、被験者ごとに無表情時の各マーカの位置に応じて決定されてよい。

【0060】

次に、ＡＵ０９の発生をキャンセルする場合の例を説明する。図１６は、本実施形態にかかるＡＵ０９発生キャンセル時の移動ベクトルの一例を示す図である。図１６の例は、被験者が驚いた表情をした際のＡＵ０９に対応付けられたマーカ４０６と他のマーカ４０７との動きを示している。なお、被験者が驚いた表情場合、ＡＵ０９の発生はなしが正しい判定結果である。

【0061】

まず、図１６の例でも、マーカ４０６の移動に伴い発生した、規定ベクトル４１３に対する内積４３６が所定の閾値以上あるため、判定部１４３は、ＡＵ０９が発生したと判定する。しかしながら、マーカ４０６が移動に伴い、マーカ４０６とマーカ４０７との間の距離が無表情時と比較して長くなった、または変わらないため、判定部１４３は、ＡＵ０９の発生はなしと判定する。また、ここでのマーカ間距離の判定も所定の閾値を用いて行われてもよい。

【0062】

図１０に戻り、生成部１４４は、撮像画像群とＡＵの発生強度とを対応付けたデータセットを作成する。当該データセットを用いた機械学習を行うことにより、撮像画像群からＡＵの発生強度の推定値を算出するための機械学習モデルであるＡＵ発生強度推定モデル１３２が生成される。また、生成部１４４は、撮像画像群から画像処理によりマーカを除去する。

【0063】

生成部１４４は、マスク画像を用いてマーカを除去することができる。図１７は、本実施形態にかかるマーカ除去のためのマスク画像の生成方法を説明する説明図である。図１７の（ａ）は、ＲＧＢカメラ３１によって撮像された画像である。まず、生成部１４４は、意図的に付けられたマーカの色を抽出して代表色として定義する。そして、図１７の（ｂ）のように、生成部１４４は、代表色近傍の色の領域画像を生成する。さらに、図１７の（ｃ）のように、生成部１４４は、代表色近傍の色の領域に対し収縮、膨張などの処理を行い、マーカ除去用のマスク画像を生成する。また、マーカの色を顔の色としては存在しにくい色に設定しておくことで、マーカの色の抽出精度を向上させてもよい。

【0064】

図１８は、本実施形態にかかるマーカの除去方法を説明する説明図である。図１８に示すように、まず、生成部１４４は、動画から取得した静止画に対し、マスク画像を適用する。さらに、生成部１４４は、マスク画像を適用した画像を例えばニューラルネットワークに入力し、処理済みの画像を得る。なお、ニューラルネットワークは、被験者のマスクありの画像およびマスクなしの画像などを用いて訓練済みであるものとする。なお、動画から静止画を取得することにより、表情変化の途中データが得られることや、短時間で大量のデータが得られることがメリットとして生じる。また、ニューラルネットワークとして、ＧＭＣＮＮ（Generative Multi-column Convolutional Neural Networks）やＧＡＮ（Generative Adversarial Networks）が用いられてもよい。

【0065】

なお、生成部１４４がマーカを除去する方法は、上記のものに限られない。例えば、生成部１４４は、定められたマーカの形状を基にマーカの位置を検出し、マスク画像を生成してもよい。また、ＩＲカメラ３２とＲＧＢカメラ３１の相対位置のキャリブレーションを事前に行うようにしてもよい。この場合、生成部１４４は、ＩＲカメラ３２によるマーカトラッキングの情報からマーカの位置を検出してもよい。

【0066】

また、生成部１４４は、マーカにより異なる検出方法を採用してもよい。例えば、鼻上のマーカは動きが少なく、形状を認識しやすいため、生成部１４４は、形状認識により位置を検出してもよい。また、口横のマーカは動きが大きく、形状を認識しにくいため、生成部１４４は、代表色を抽出する方法で位置を検出してもよい。

【0067】

［処理の流れ］
次に、図１９を用いて、判定装置１０によるＡＵの発生強度の判定処理の流れを説明する。図１９は、本実施形態にかかる判定処理の流れの一例を示すフローチャートである。

【0068】

図１９に示すように、まず、判定装置１０は、複数のＡＵのそれぞれに対応する各基準位置にマーカを付した被験者の顔を含む撮像画像群を取得する（ステップＳ１０１）。

【0069】

次に、判定装置１０は、ステップＳ１０１で取得した撮像画像に含まれるマーカの位置に基づいて移動ベクトルを算出する（ステップＳ１０２）。

【0070】

次に、判定装置１０は、ステップＳ１０２で取得した移動ベクトルと、対応する規定ベクトルとの内積を算出する（ステップＳ１０３）。なお、内積の算出は、各ＡＵについて実行される。

【0071】

次に、判定装置１０は、ＡＵ発生のキャンセルについて判定する（ステップＳ１０４）。ＡＵ発生キャンセルの判定について、図１２～１４を用いて説明したように、例えば、発生していると判定されたＡＵに対応するキャンセルマーカの移動ベクトルと規定ベクトルとの内積が所定の閾値以上であるか否かを判定する。または、図１５および１６を用いて説明したように、例えば、発生していると判定されたＡＵが発生している場合に必ず動きのあるマーカと他のマーカとのマーカ間距離が所定の閾値未満であるか否かを判定する。

【0072】

ＡＵ発生のキャンセルが発生していると判定された場合（ステップＳ１０４：Ｙｅｓ）、判定装置１０は、対象のＡＵの発生はなしとする（ステップＳ１０５）。ステップＳ１０５の実行後、図１９に示す判定処理は終了する。

【0073】

一方、ＡＵ発生のキャンセルは発生していないと判定された場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０３で算出した内積に基づいて、対象のＡＵの発生有無について判定する（ステップＳ１０６）。ステップＳ１０３で算出した内積が所定の閾値未満であり対象のＡＵは発生していないと判定される場合（ステップＳ１０６：Ｎｏ）、判定装置１０は、対象のＡＵの発生はなしとしステップＳ１０５）、図１９に示す判定処理は終了する。なお、対象のＡＵの発生有無についての判定は、ステップＳ１０４のＡＵ発生のキャンセルについての判定より先に行われてもよい。この場合、対象のＡＵが発生していると判定された場合に、当該ＡＵ発生のキャンセルについて判定が行われてよい。

【0074】

一方、対象のＡＵが発生していると判定される場合（ステップＳ１０６：Ｙｅｓ）、判定装置１０は、ステップＳ１０３で算出した内積に基づいて対象のＡＵの発生強度を算出する（ステップＳ１０７）。なお、ステップＳ１０７におけるＡＵの発生強度の算出は、内積でなく、マーカ間距離に基づいて実行されてもよい。ステップＳ１０７の実行後、図１９に示す判定処理は終了する。

【0075】

［効果］
上述したように、判定装置１０は、複数のマーカを付した顔を含む撮像画像を取得し、複数のマーカのうち第１のマーカの撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて、第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、複数のマーカのうち第２のマーカの撮像画像における第２の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、第１のマーカの第１の方向への移動量が第１の閾値以上であり、第２のマーカの第２の方向への移動量が第２の閾値以上であると判定された場合、第１の表情筋の動きの発生状態について発生なしと判定する。

【0076】

これにより、判定装置１０は、対象のＡＵが発生している場合に必ず動きのあるマーカの動きのみによる判定では、対象のＡＵを過不足なく検知することは困難な場合であっても顔画像から表情の判定をより正確に行うことができる。

【0077】

また、判定装置１０は、第１の表情筋の動きの発生状態について発生ありと判定する処理は、第１のマーカの第１の方向への移動量に応じて、第１の表情筋の動きの発生状態について発生の強度を判定する。

【0078】

これにより、判定装置１０は、顔画像から表情の判定をより正確に行うことができる。

【0079】

また、判定装置１０は、撮像画像から第１のマーカおよび第２のマーカを除去した画像と、発生の強度とに基づいて、機械学習用の訓練データを生成する。

【0080】

これにより、判定装置１０は、顔画像から表情の判定をより正確に行うことができる機械学習モデルのための訓練データを生成できる。

【0081】

また、判定装置１０は、第１の表情筋の動きの発生状態について発生なしと判定する処理は、第１の表情筋の動きの発生状態について発生の強度を発生なしに対応する度数に決定する処理を含む。

【0082】

これにより、判定装置１０は、顔画像から表情の判定をより正確に行うことができる。

【0083】

また、判定装置１０は、複数のマーカのうち第３のマーカの撮像画像における第３の位置と第２の表情筋の動きの発生状態の判定基準とに基づいて、第３のマーカの第３の方向への移動量が第３の閾値以上か判定し、複数のマーカのうち第４のマーカの撮像画像における第４の位置と第２の表情筋の動きの発生状態の判定基準とに基づいて、第４のマーカの第４の方向への移動量が第４の閾値以上か判定し、第３のマーカの第３の方向への移動量が第３の閾値以上であり、第４のマーカの第４の方向への移動量が第４の閾値以上であると判定された場合、第２の表情筋の動きの発生状態について発生ありと判定し、第３のマーカの第３の方向への移動量と第４のマーカの第４の方向への移動量とのうち第３のマーカの第３の方向への移動量のみに応じて、第２の表情筋の動きの発生状態について、発生の強度を判定する。

【0084】

これにより、判定装置１０は、顔画像から表情の判定をより正確に行うことができる。

【0085】

また、判定装置１０は、複数のマーカのうち第３のマーカと第４のマーカと間の距離に基づいて、表情筋の動きの発生有無を判定する。

【0086】

これにより、判定装置１０は、対象のＡＵが発生している場合に必ず動きのあるマーカの動きのみによる判定では、対象のＡＵを過不足なく検知することは困難な場合であっても顔画像から表情の判定をより正確に行うことができる。

【0087】

また、判定装置１０は、顔が無表情の時の複数のマーカの位置に応じて、第１の閾値および第２の閾値を決定する。

【0088】

これにより、判定装置１０は、個々に顔の大きさが異なる被験者に対しても、顔画像から表情の判定をより正確に行うことができる。

【0089】

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

【0090】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、判定装置１０の算出部１４２が複数の処理部に分散されたり、判定装置１０の算出部１４２と判定部１４３とが１つの処理部に統合されたりしてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0091】

図２０は、本実施形態にかかる判定装置のハードウェア構成例を示す図である。図２０に示すように、判定装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１５に示した各部は、バスなどで相互に接続される。

【0092】

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図９などに示した機能を動作させるプログラムやＤＢを記憶する。

【0093】

プロセッサ１０ｄは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などである。また、プロセッサ１０ｄは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されるようにしてもよい。プロセッサ１０ｄは、図９などに示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図１０などで説明した各機能を実現するプロセスを実行するハードウェア回路である。

【0094】

また、判定装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、判定装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてよい。

【0095】

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

【0096】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0097】

（付記１）複数のマーカを付した顔を含む撮像画像を取得し、
前記複数のマーカのうち第１のマーカの前記撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて、前記第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、
前記複数のマーカのうち第２のマーカの前記撮像画像における第２の位置と前記第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、
前記第２のマーカの第２の方向への移動量が前記第２の閾値以上であると判定された場合、前記第１の表情筋の動きの発生状態について発生なしと判定する、
処理をコンピュータに実行させることを特徴とする表情判定プログラム。

【0098】

（付記２）前記第１の表情筋の動きの発生状態について発生ありと判定する処理は、前記第１のマーカの第１の方向への移動量に応じて、前記第１の表情筋の動きの発生状態について発生の強度を判定する処理を含む、
ことを特徴とする付記１に記載の表情判定プログラム。

【0099】

（付記３）前記撮像画像から前記第１のマーカおよび前記第２のマーカを除去した画像と、前記発生の強度とに基づいて、機械学習用の訓練データを生成する、
処理を前記コンピュータにさらに実行させることを特徴とする付記２に記載の表情判定プログラム。

【0100】

（付記４）前記第１の表情筋の動きの発生状態について発生なしと判定する処理は、前記第１の表情筋の動きの発生状態について発生の強度を発生なしに対応する度数に決定する処理を含む、
ことを特徴とする付記１に記載の表情判定プログラム。

【0101】

（付記５）前記複数のマーカのうち第３のマーカの前記撮像画像における第３の位置と第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第３のマーカの第３の方向への移動量が第３の閾値以上か判定し、
前記複数のマーカのうち第４のマーカの前記撮像画像における第４の位置と前記第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第４のマーカの第４の方向への移動量が第４の閾値以上か判定し、
前記第３のマーカの第３の方向への移動量が前記第３の閾値以上であり、前記第４のマーカの第４の方向への移動量が前記第４の閾値以上であると判定された場合、前記第２の表情筋の動きの発生状態について発生ありと判定し、前記第３のマーカの第３の方向への移動量と前記第４のマーカの第４の方向への移動量とのうち前記第３のマーカの第３の方向への移動量のみに応じて、前記第２の表情筋の動きの発生状態について、発生の強度を判定する、
処理を前記コンピュータにさらに実行させることを特徴とする付記１に記載の表情判定プログラム。

【0102】

（付記６）前記複数のマーカのうち第３のマーカと第４のマーカと間の距離に基づいて、前記表情筋の動きの発生有無を判定する、
処理を前記コンピュータにさらに実行させることを特徴とする付記１に記載の表情判定プログラム。

【0103】

（付記７）前記顔が無表情の時の前記複数のマーカの位置に応じて、前記第１の閾値および前記第２の閾値を決定する、
処理を前記コンピュータにさらに実行させることを特徴とする付記１に記載の表情判定プログラム。

【0104】

（付記８）複数のマーカを付した顔を含む撮像画像を取得し、
前記複数のマーカのうち第１のマーカの前記撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて前記第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、前記複数のマーカのうち第２のマーカの前記撮像画像における第２の位置と前記第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、
前記第２のマーカの第２の方向への移動量が前記第２の閾値以上であると判定された場合、前記第１の表情筋の動きの発生状態について発生なしと判定する、
処理を実行する制御部を有することを特徴とする表情判定装置。

【0105】

（付記９）前記第１の表情筋の動きの発生状態について発生ありと判定する処理は、前記第１のマーカの第１の方向への移動量に応じて、前記第１の表情筋の動きの発生状態について発生の強度を判定する処理を含む、
ことを特徴とする付記８に記載の表情判定装置。

【0106】

（付記１０）前記撮像画像から前記第１のマーカおよび前記第２のマーカを除去した画像と、前記発生の強度とに基づいて、機械学習用の訓練データを生成する、
処理を前記制御部にさらに実行させることを特徴とする付記９に記載の表情判定装置。

【0107】

（付記１１）前記第１の表情筋の動きの発生状態について発生なしと判定する処理は、前記第１の表情筋の動きの発生状態について発生の強度を発生なしに対応する度数に決定する処理を含む、
ことを特徴とする付記８に記載の表情判定装置。

【0108】

（付記１２）前記複数のマーカのうち第３のマーカの前記撮像画像における第３の位置と第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第３のマーカの第３の方向への移動量が第３の閾値以上か判定し、
前記複数のマーカのうち第４のマーカの前記撮像画像における第４の位置と前記第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第４のマーカの第４の方向への移動量が第４の閾値以上か判定し、
前記第３のマーカの第３の方向への移動量が前記第３の閾値以上であり、前記第４のマーカの第４の方向への移動量が前記第４の閾値以上であると判定された場合、前記第２の表情筋の動きの発生状態について発生ありと判定し、前記第３のマーカの第３の方向への移動量と前記第４のマーカの第４の方向への移動量とのうち前記第３のマーカの第３の方向への移動量のみに応じて、前記第２の表情筋の動きの発生状態について、発生の強度を判定する、
処理を前記制御部にさらに実行させることを特徴とする付記８に記載の表情判定装置。

【0109】

（付記１３）前記複数のマーカのうち第３のマーカと第４のマーカと間の距離に基づいて、前記表情筋の動きの発生有無を判定する、
処理を前記制御部にさらに実行させることを特徴とする付記８に記載の表情判定装置。

【0110】

（付記１４）前記顔が無表情の時の前記複数のマーカの位置に応じて、前記第１の閾値および前記第２の閾値を決定する、
処理を前記制御部にさらに実行させることを特徴とする付記８に記載の表情判定装置。

【0111】

（付記１５）複数のマーカを付した顔を含む撮像画像を取得し、
前記複数のマーカのうち第１のマーカの前記撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて前記第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、前記複数のマーカのうち第２のマーカの前記撮像画像における第２の位置と前記第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、
前記第２のマーカの第２の方向への移動量が前記第２の閾値以上であると判定された場合、前記第１の表情筋の動きの発生状態について発生なしと判定する、
処理をコンピュータが実行することを特徴とする表情判定方法。

【0112】

（付記１６）前記第１の表情筋の動きの発生状態について発生ありと判定する処理は、前記第１のマーカの第１の方向への移動量に応じて、前記第１の表情筋の動きの発生状態について発生の強度を判定する処理を含む、
ことを特徴とする付記１５に記載の表情判定方法。

【0113】

（付記１７）前記撮像画像から前記第１のマーカおよび前記第２のマーカを除去した画像と、前記発生の強度とに基づいて、機械学習用の訓練データを生成する、
処理を前記コンピュータがさらに実行することを特徴とする付記１６に記載の表情判定方法。

【0114】

（付記１８）前記第１の表情筋の動きの発生状態について発生なしと判定する処理は、前記第１の表情筋の動きの発生状態について発生の強度を発生なしに対応する度数に決定する処理を含む、
ことを特徴とする付記１７に記載の表情判定方法。

【0115】

（付記１９）前記複数のマーカのうち第３のマーカの前記撮像画像における第３の位置と第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第３のマーカの第３の方向への移動量が第３の閾値以上か判定し、
前記複数のマーカのうち第４のマーカの前記撮像画像における第４の位置と前記第２の表情筋の動きの発生状態の判定基準とに基づいて、前記第４のマーカの第４の方向への移動量が第４の閾値以上か判定し、
前記第３のマーカの第３の方向への移動量が前記第３の閾値以上であり、前記第４のマーカの第４の方向への移動量が前記第４の閾値以下であると判定された場合、前記第２の表情筋の動きの発生状態について発生ありと判定し、前記第３のマーカの第３の方向への移動量と前記第４のマーカの第４の方向への移動量とのうち前記第３のマーカの第３の方向への移動量のみに応じて、前記第２の表情筋の動きの発生状態について、発生の強度を判定する、
処理を前記コンピュータがさらに実行することを特徴とする付記１５に記載の表情判定方法。

【0116】

（付記２０）前記複数のマーカのうち第３のマーカと第４のマーカと間の距離に基づいて、前記表情筋の動きの発生有無を判定する、
処理を前記コンピュータがさらに実行することを特徴とする付記１５に記載の表情判定方法。

【0117】

（付記２１）前記顔が無表情の時の前記複数のマーカの位置に応じて、前記第１の閾値および前記第２の閾値を決定する、
処理を前記コンピュータがさらに実行することを特徴とする付記１５に記載の表情判定方法。

【0118】

（付記２２）プロセッサと、
前記プロセッサに動作可能に接続されたメモリと
を備えた表情判定装置であって、前記プロセッサは、
複数のマーカを付した顔を含む撮像画像を取得し、
前記複数のマーカのうち第１のマーカの前記撮像画像における第１の位置と第１の表情筋の動きの発生状態の判定基準とに基づいて前記第１のマーカの第１の方向への移動量が第１の閾値以上か判定され、前記複数のマーカのうち第２のマーカの前記撮像画像における第２の位置と前記第１の表情筋の動きの発生状態の判定基準とに基づいて第２の方向への移動量が第２の閾値未満であると判定された場合、前記第１の表情筋の動きの発生状態について発生ありと判定し、
前記第２のマーカの第２の方向への移動量が前記第２の閾値以上であると判定された場合、前記第１の表情筋の動きの発生状態について発生なしと判定する、
処理を実行することを特徴とする表情判定装置。

【符号の説明】

【0119】

１ 判定システム
１０ 判定装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
１１ 入力部
１２ 出力部
１３ 記憶部
１４ 制御部
２０ 機械学習装置
３１ ＲＧＢカメラ
３２ ＩＲカメラ
４０ 器具
１２１ 発生強度
１２２ 画像
１３１ ＡＵ情報
１３２ ＡＵ発生強度推定モデル
１４１ 取得部
１４２ 算出部
１４３ 判定部
１４４ 生成部
４０１、４０２、４０３、４０４、４０５、４０６、４０７、４０８ マーカ
４１１、４１２、４１３、４１４ 規定ベクトル
４２１、４２２、４２３、４２４、４２５ 移動ベクトル
４３１、４３２、４３３、４３４、４３５、４３６ 内積
４４１ キャンセルマーカ
４５１ キャンセルベクトル
５０１ 分散範囲
５０２、５０３ 判定領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】