特許 6202882 表情検出システム及び表情検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6202882

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】表情検出システム及び表情検出方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170914BHJP

【ＦＩ】

   H04N5/232 930

   H04N5/232 190

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2013-112410(P2013-112410)

(22)【出願日】2013年5月28日

(65)【公開番号】特開2014-232958(P2014-232958A)

(43)【公開日】2014年12月11日

【審査請求日】2016年5月20日

(73)【特許権者】

【識別番号】390037154

【氏名又は名称】大和ハウス工業株式会社

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100162031

【弁理士】

【氏名又は名称】長田 豊彦

(74)【代理人】

【識別番号】100175721

【弁理士】

【氏名又は名称】高木 秀文

(72)【発明者】

【氏名】菅野 泰史

(72)【発明者】

【氏名】伊東 亜矢子

(72)【発明者】

【氏名】本間 瑞基

(72)【発明者】

【氏名】井上 博之

(72)【発明者】

【氏名】高橋 康夫

(72)【発明者】

【氏名】西田 竜太

(72)【発明者】

【氏名】小池 昭啓

(72)【発明者】

【氏名】加藤 五月

(72)【発明者】

【氏名】大竹 康宏

(72)【発明者】

【氏名】松本 裕樹

(72)【発明者】

【氏名】浅田 稔

(72)【発明者】

【氏名】石黒 浩

(72)【発明者】

【氏名】岩井 儀雄

(72)【発明者】

【氏名】池本 紀子

(72)【発明者】

【氏名】北村 謙典

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００９−１６３４２２（ＪＰ，Ａ）

【文献】 特開２０１２−０６０２９４（ＪＰ，Ａ）

【文献】 特開２００４−２７４５１９（ＪＰ，Ａ）

【文献】 特開２００８−００９７２８（ＪＰ，Ａ）

【文献】 特開２００８−３１０７７５（ＪＰ，Ａ）

【文献】 特開２０１０−１１７９４８（ＪＰ，Ａ）

【文献】 特開２００７−１５０６０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

対象者の顔を撮像することが可能な撮像手段と、
前記対象者から視認可能な位置に配置される表示手段と、
前記撮像手段によって撮像された前記対象者の顔の画像から当該対象者の個人情報を推定し、前記個人情報に基づいて前記対象者に応じた情報を前記表示手段に表示させ、前記表示手段に表示されている情報を視認している最中の前記対象者の顔の画像を前記撮像手段によって取得し、当該画像に基づいて平常時における前記対象者の顔の器官の位置情報である平常時位置情報を決定して、標準顔データベースとして記憶する制御手段と、
を具備し、
前記制御手段は、
前記情報を視認している最中の前記対象者の顔の画像を取得する場合、当該対象者の顔の器官の位置情報を検出し、当該検出された位置情報に基づいて当該対象者の顔が前記撮像手段に対してどの程度傾いているかを判定し、当該対象者の顔が前記撮像手段に対して所定値以上傾いていない画像のみを取得し、当該画像についての前記検出された位置情報に基づいて前記平常時位置情報を決定することを特徴とする、
表情検出システム。

【請求項2】

前記制御手段は、
前記標準顔データベースを用いて、現在前記撮像手段によって撮像されている前記対象者が特定の表情を表出したことを検出することを特徴とする、
請求項１に記載の表情検出システム。

【請求項3】

前記制御手段は、
予め記憶された複数の人の、平常時における顔の器官の位置情報に対する特定の表情をした時の顔の器官の位置情報の変位に関する特定表情データベースをさらに用いて、現在前記撮像手段によって撮像されている前記対象者が特定の表情を表出したことを検出することを特徴とする、
請求項２に記載の表情検出システム。

【請求項4】

前記特定の表情とは、
前記対象者の不快感を示す表情であることを特徴とする、
請求項２又は請求項３に記載の表情検出システム。

【請求項5】

前記制御手段は、
前記撮像手段によって取得された複数の画像における前記対象者の顔の器官の位置情報を正規化した後に、当該位置情報を平均することを特徴とする、
請求項１から請求項４までのいずれか一項に記載の表情検出システム。

【請求項6】

前記制御手段は、
前記対象者が、それ以前に前記標準顔データベースを記憶されたことのある対象者と同一人物である場合、新たな当該対象者の標準顔データベースの記憶を行わないことを特徴とする、
請求項１から請求項５までのいずれか一項に記載の表情検出システム。

【請求項7】

対象者の顔の画像から当該対象者の個人情報を推定し、
前記個人情報に基づいて前記対象者に応じた情報を前記対象者に視認させ、
前記情報を視認している最中の前記対象者の顔の画像を撮像手段により取得し、
当該画像に基づいて平常時における前記対象者の顔の器官の位置情報である平常時位置情報を決定して、標準顔データベースとして取得し、
前記標準顔データベースを用いて、前記対象者が特定の表情を表出したことを検出する表情検出方法であって、
前記情報を視認している最中の前記対象者の顔の画像を取得する場合、当該対象者の顔の器官の位置情報を検出し、当該検出された位置情報に基づいて当該対象者の顔が前記撮像手段に対してどの程度傾いているかを判定し、当該対象者の顔が前記撮像手段に対して所定値以上傾いていない画像のみを取得し、当該画像についての前記検出された位置情報に基づいて前記平常時位置情報を決定することを特徴とする、
表情検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象者の顔の画像から当該対象者の表情に関する情報を検出する表情検出システム及び表情検出方法の技術に関する。

【背景技術】

【0002】

従来、対象者の顔の画像から当該対象者の表情に関する情報を検出する表情検出システム及び表情検出方法の技術は公知となっている。例えば、特許文献１に記載の如くである。

【0003】

特許文献１に記載の技術では、人の表情の度合いを複数段階に分類した表情遷移マップ（データベース）が予め作成され、当該データベースとカメラで撮影された人（対象者）の実際の表情とを比較することによって、当該人の表情の度合いを判定することができる。

【0004】

しかし、このようなシステムで用いられるデータベースを作成する場合において、特に平常時の人の自然な表情のデータ（顔の器官の位置情報等）を取得するのは困難であった。なぜならば、人の表情のデータ収集を目的とする撮影の際に、当該人が意識的に、又は緊張等によって無意識的に表情を作ってしまい、必ずしも平常状態の自然な表情とはいえなくなる場合があるためである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００１−４３３４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は以上の如き状況に鑑みてなされたものであり、その解決しようとする課題は、平常時における対象者の顔の器官の位置情報を容易にかつ正確に取得することが可能な表情検出システム及び表情検出方法を提供することである。

【課題を解決するための手段】

【0007】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

【0008】

即ち、請求項１においては、対象者の顔を撮像することが可能な撮像手段と、前記対象者から視認可能な位置に配置される表示手段と、前記撮像手段によって撮像された前記対象者の顔の画像から当該対象者の個人情報を推定し、前記個人情報に基づいて前記対象者に応じた情報を前記表示手段に表示させ、前記表示手段に表示されている情報を視認している最中の前記対象者の顔の画像を前記撮像手段によって取得し、当該画像に基づいて平常時における前記対象者の顔の器官の位置情報である平常時位置情報を決定して、標準顔データベースとして記憶する制御手段と、を具備し、前記制御手段は、前記情報を視認している最中の前記対象者の顔の画像を取得する場合、当該対象者の顔の器官の位置情報を検出し、当該検出された位置情報に基づいて当該対象者の顔が前記撮像手段に対してどの程度傾いているかを判定し、当該対象者の顔が前記撮像手段に対して所定値以上傾いていない画像のみを取得し、当該画像についての前記検出された位置情報に基づいて前記平常時位置情報を決定するものである。

【0009】

請求項２においては、前記制御手段は、前記標準顔データベースを用いて、現在前記撮像手段によって撮像されている前記対象者が特定の表情を表出したことを検出するものである。

【0010】

請求項３においては、前記制御手段は、予め記憶された複数の人の、平常時における顔の器官の位置情報に対する特定の表情をした時の顔の器官の位置情報の変位に関する特定表情データベースをさらに用いて、現在前記撮像手段によって撮像されている前記対象者が特定の表情を表出したことを検出するものである。

【0011】

請求項４においては、前記特定の表情とは、前記対象者の不快感を示す表情であるものである。

【0012】

請求項５においては、前記制御手段は、前記撮像手段によって取得された複数の画像における前記対象者の顔の器官の位置情報を正規化した後に、当該位置情報を平均するものである。

【0013】

請求項６においては、前記制御手段は、前記対象者が、それ以前に前記標準顔データベースを記憶されたことのある対象者と同一人物である場合、新たな当該対象者の標準顔データベースの記憶を行わないものである。

【0014】

請求項７においては、対象者の顔の画像から当該対象者の個人情報を推定し、前記個人情報に基づいて前記対象者に応じた情報を前記対象者に視認させ、前記情報を視認している最中の前記対象者の顔の画像を撮像手段により取得し、当該画像に基づいて平常時における前記対象者の顔の器官の位置情報である平常時位置情報を決定して、標準顔データベースとして取得し、前記標準顔データベースを用いて、前記対象者が特定の表情を表出したことを検出する表情検出方法であって、前記情報を視認している最中の前記対象者の顔の画像を取得する場合、当該対象者の顔の器官の位置情報を検出し、当該検出された位置情報に基づいて当該対象者の顔が前記撮像手段に対してどの程度傾いているかを判定し、当該対象者の顔が前記撮像手段に対して所定値以上傾いていない画像のみを取得し、当該画像についての前記検出された位置情報に基づいて前記平常時位置情報を決定するものである。

【発明の効果】

【0016】

本発明の効果として、以下に示すような効果を奏する。

【0017】

請求項１においては、平常時における対象者の顔の器官の位置情報（標準顔データベース）を容易にかつ正確に取得（作成）することができる。
また、撮像手段に対する対象者の顔の傾きが大きい画像を排除することで、より精度の高い標準顔データベースの作成が可能となる。

【0018】

請求項２においては、検出対称となる対象者固有のデータベース（特定の表情をした時の顔の器官の位置情報に関するデータベース等）を予め準備する必要がないため、当該データベースを作成するための労力を軽減することができる。

【0019】

請求項３においては、検出対称となる対象者固有の特定表情データベースを必要とせず、容易に不快感を示す表情を検出することができる。

【0020】

請求項４においては、特定の表情の検出結果を、対象者の周囲の環境の制御（改善）等に利用することができる。

【0021】

請求項５においては、各画像における対象者の顔の器官の位置情報を正規化することで、より精度の高い標準顔データベースの作成が可能となる。

【0022】

請求項６においては、以前に標準顔データベースが記憶されている対象者については、再度標準顔データベースを記憶させる処理を省略することができ、表情検出システム全体の処理の効率化を図ることができる。

【0023】

請求項７においては、平常時における対象者の顔の器官の位置情報（標準顔データベース）を容易にかつ正確に取得（作成）することができる。また、検出対称となる対象者固有のデータベースを予め準備することなく特定の表情を検出することができ、当該データベースを作成するための労力を軽減することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態に係る表情検出システムの構成を示した概略図。

【図2】本発明の一実施形態に係る表情検出方法を示したフロー図。

【図3】同じく、フロー図。

【図4】図２におけるステップＳ１０５の処理を示したフロー図。

【図5】顔の器官を座標に変換する様子を示した模式図。

【図6】（ａ）顔がカメラの真正面を向いている状態を示した模式図。（ｂ）同じく、大きく左方に傾いている状態を示した模式図。（ｃ）同じく、大きく下方に傾いている状態を示した模式図。

【図7】座標を距離情報に変換する様子を示した模式図。

【図8】応用例である不快度推定システムの構成を示した概略図。

【図9】ベイジアンネットワークの構成を示した図。

【図10】目視による顔しかめの判断基準を示した図。

【発明を実施するための形態】

【0026】

以下では必要に応じて、図中に示した矢印に従って、上下方向及び左右方向を定義して説明を行う。

【0027】

以下では、図１を用いて、本実施形態に係る表情検出システム１０の構成について説明する。

【0028】

表情検出システム１０は、対象者２０の顔の画像から当該対象者の表情に関する情報（本実施形態においては、対象者２０が特定の表情を表出する頻度）を検出するものである。表情検出システム１０は、主としてカメラ１１、モニター１２及び制御装置１３を具備する。

【0029】

カメラ１１は、本発明に係る撮像手段の一実施形態である。カメラ１１は、対象者２０の顔を撮像するものである。カメラ１１は、着席している対象者２０の正面に配置され、当該対象者２０の顔を常時撮像することができる。

【0030】

モニター１２は、本発明に係る表示手段の一実施形態である。モニター１２は、画像や文章等の種々の情報を表示することが可能なものである。モニター１２は、着席している対象者２０の正面（カメラ１１の下方）に配置され、対象者２０は当該モニター１２に表示される情報を視認することができる。

【0031】

制御装置１３は、種々の情報に基づいて所定の演算処理や記憶等を行うものである。制御装置１３は、ＲＡＭやＲＯＭ等の記憶部、ＣＰＵ等の演算処理部等により構成される。
制御装置１３はカメラ１１に接続され、当該カメラ１１が撮像した画像データを取得することができる。
制御装置１３はモニター１２に接続され、当該モニター１２に任意の情報を表示させることができる。

【0032】

上述の如く構成された表情検出システム１０は、対象者２０の表情に関する情報を検出することができる。より具体的には、表情検出システム１０は、対象者２０が特定の表情（本実施形態においては、「瞬き」及び「顔しかめ」）を表出する頻度を検出することができる。以下では図２から図７までを用いて、当該表情検出システム１０による当該検出の様子（表情検出方法）について説明する。

【0033】

ステップＳ１０１において、制御装置１３は、カメラ１１の前に着席している検出の対象となる対象者２０を認識する。
具体的には、制御装置１３は、カメラ１１によって撮像された対象者２０の顔の画像から当該対象者２０を認識する。この処理は、市販のプログラム等を用いて行うことができる。
制御装置１３は、当該ステップＳ１０１の処理を行った後、ステップＳ１０２に移行する。

【0034】

ステップＳ１０２において、制御装置１３は、ステップＳ１０１で認識した対象者２０が初めて認識した対象者であるか否かを判定する。
制御装置１３は、ステップＳ１０１で認識した対象者２０が初めて認識した対象者である（これまでに認識したことがない対象者である）と判定した場合、ステップＳ１０３に移行する。
制御装置１３は、ステップＳ１０１で認識した対象者２０が始めて認識した対象者ではない（これまでに認識したことがある対象者である）と判定した場合、ステップＳ１０７に移行する。

【0035】

ステップＳ１０３において、制御装置１３は、対象者２０の個人情報を推定する。この処理は、市販のプログラム等を用いて行うことができる。
ここで「個人情報」とは、対象者２０の顔から推定可能な個人に関するあらゆる情報を含むものとする。本実施形態においては、「個人情報」として対象者２０の性別及び年齢を用いるものとする。すなわち制御装置１３は、対象者２０の性別及び年齢を推定する。
制御装置１３は、当該ステップＳ１０３の処理を行った後、ステップＳ１０４に移行する。

【0036】

ステップＳ１０４において、制御装置１３は、ステップＳ１０３において推定された性別及び年齢の人（対象者２０）が興味を持ち易い情報をモニター１２に表示させる。
具体的には、制御装置１３は予め性別及び年齢（年代）ごとにそれぞれ興味を持ち易いと思われる情報をデータベース（以下、これを「情報データベース」と記す）として記憶している。
ここで「情報」とは、モニター１２に表示させることが可能な画像（広告画像等の静止画や動画）や文章などあらゆる情報を含むものとする。
制御装置１３は、ステップＳ１０３において推定された性別及び年齢に基づいて、前記情報データベースから対象者２０が興味を持ち易いと思われる情報を抽出し、モニター１２に表示させる。
制御装置１３は、当該ステップＳ１０４の処理を行った後、ステップＳ１０５に移行する。

【0037】

ステップＳ１０５において、制御装置１３は、対象者２０の顔の画像をカメラ１１によって複数撮像し、当該複数の画像における対象者２０の顔の器官の位置情報を取得する。以下、当該ステップＳ１０５の処理についてより詳細に説明する。

【0038】

図４に示すステップＳ２０１において、制御装置１３は、ステップＳ１０４において興味のある情報が表示されたモニター１２を視認（注視）している対象者２０の顔の画像をカメラ１１によって撮像して取得する。このように興味のある情報を注視している対象者２０の表情は、喜怒哀楽が目立って表出していない平常時の自然な表情であると考えられる。
制御装置１３は、当該ステップＳ２０１の処理を行った後、ステップＳ２０２に移行する。

【0039】

ステップＳ２０２において、制御装置１３は、ステップＳ２０１において取得した画像に現された対象者２０の顔の器官（目Ｅ、眉Ｂ、鼻Ｎ）を座標に変換して記憶する。
具体的には、図５に示すように、取得した各画像データに現された対象者２０の顔のうち、右目Ｅの最も内側に位置する端部の点を点Ｐ１と、右目Ｅの上まぶた上に位置する点（より詳細には、上まぶたのうち最も上に位置する端部の点）を点Ｐ２と、右目Ｅの下まぶた上に位置する点（より詳細には、下まぶたのうち最も下に位置する端部の点）を点Ｐ３と、右眉Ｂの最も内側に位置する端部の点を点Ｐ４と、左目Ｅの最も内側に位置する端部の点を点Ｐ５と、左目Ｅの上まぶた上に位置する点（より詳細には、上まぶたのうち最も上に位置する端部の点）を点Ｐ６と、左目Ｅの下まぶた上に位置する点（より詳細には、下まぶたのうち最も下に位置する端部の点）を点Ｐ７と、左眉Ｂの最も内側に位置する端部の点を点Ｐ８と、鼻Ｎの最も下に位置する端部の点を点Ｐ９と、それぞれ決定する。そして制御装置１３は、当該決定された座標を一旦記憶する。
当該座標化（点Ｐ１から点Ｐ９までの決定）は、制御装置１３に予め記憶されたプログラムによって実行される。
制御装置１３は、当該ステップＳ２０２の処理を行った後、ステップＳ２０３に移行する。

【0040】

ステップＳ２０３において、制御装置１３は、ステップＳ２０１において取得した画像に現された対象者２０の顔がデータとして許容できない（データとして一定の精度が確保できないおそれがある）程に大きく傾いているか否かを判定する。
具体的には、制御装置１３は、ステップＳ２０２において取得した座標に基づいて、対象者２０の顔がカメラ１１に対して真正面（図６（ａ）参照）の位置から左右（図６（ｂ）参照）及び上下（図６（ｃ）参照）にどの程度の角度だけ傾いているかを判定する。
そして制御装置１３は、左右に傾いている角度及び上下に傾いている角度のうち少なくとも一方が、予め任意に定められた閾値以上である場合には、対象者２０の顔がデータとして許容できない程に大きく傾いていると判定する。

【0041】

制御装置１３は、ステップＳ２０３において、対象者２０の顔がデータとして許容できない程に大きく傾いていると判定した場合、ステップＳ２０４に移行する。
制御装置１３は、対象者２０の顔がデータとして許容できない程に大きく傾いてはいないと判定した場合、ステップＳ２０５に移行する。

【0042】

ステップＳ２０４において、制御装置１３は、対象者２０の顔がデータとして許容できない程に大きく傾いている（ステップＳ２０３参照）と判定された画像から変換された座標データ（ステップＳ２０２）を削除する。
制御装置１３は、当該ステップＳ２０４の処理を行った後、再度ステップＳ２０１に移行する。

【0043】

ステップＳ２０３から移行したステップＳ２０５において、制御装置１３は、取得した画像に現された対象者２０の顔の器官の座標を正規化する。
具体的には、ステップＳ２０３において対象者２０の顔が大きく傾いていないと判定されたデータであっても、多少なりとも顔が傾いている可能性がある。そこで制御装置１３は、ホモグラフィ変換やアフィン変換等を用いて対象者２０の顔の傾きが座標に与える影響、すなわち測定誤差を打ち消すように、当該座標を正規化する。
制御装置１３は、ステップＳ２０５の処理を行った後、ステップＳ２０６に移行する。

【0044】

ステップＳ２０６において、制御装置１３は、ステップＳ２０１において取得した画像を５次元の位置情報（距離情報）に変換して記憶する。
具体的には、図７に示すように、制御装置１３は、正規化された画像の座標を、５つの距離情報、すなわち（１）点Ｐ１から点Ｐ４までの距離、（２）点Ｐ５から点Ｐ８までの距離、（３）点Ｐ４から点Ｐ８までの距離、（４）点Ｐ２から点Ｐ３までの距離、及び（５）点Ｐ６から点Ｐ７までの距離、に変換する。そして制御装置１３は、当該変換された５次元の位置情報を記憶する。
ステップＳ２０６の処理を行った後、制御装置１３はステップＳ２０７に移行する。

【0045】

ステップＳ２０７において、制御装置１３は、ステップＳ２０６において記憶した位置情報が所定の個数（例えば、５０個）に達したか否かを判定する。
ここで、「所定の個数」は予め任意に設定することができる値であり、後述するステップＳ１０６において平均された５次元の位置情報を精度良く算出できる程度の値に設定されることが望ましい。
制御装置１３は、記憶した位置情報が所定の個数に達したと判定した場合、ステップＳ２０８に移行する。
制御装置１３は、記憶した位置情報が所定の個数に達していないと判定した場合、ステップＳ２０１に移行する。すなわち、所定の個数の位置情報を記憶するまでステップＳ２０１からステップＳ２０６までの処理を繰り返す。

【0046】

ステップＳ２０８において、制御装置１３は、対象者２０が興味を持ち易い情報のモニター１２への表示を終了する。
制御装置１３は、当該ステップＳ２０８の処理を行った後、ステップＳ１０５の処理を終了して図２に示すステップＳ１０６に移行する。

【0047】

図２に示すステップＳ１０６において、制御装置１３は、ステップＳ１０５において取得した複数の５次元の位置情報をそれぞれ平均して、平均された５次元の位置情報を標準顔データベースとして記憶する。
この標準顔データベースは、対象者２０が興味のある情報（モニター１２）を視認している最中の顔の表情に基づいて作成されたものであるため、当該対象者２０の平常時の顔の器官の位置情報を示している。
制御装置１３は、当該ステップＳ１０６の処理を行った後、図３に示すステップＳ１０８及びステップＳ１０９に移行する。

【0048】

一方、ステップＳ１０２から移行したステップＳ１０７において、制御装置１３は、以前対象者２０を認識した際に作成した当該対象者２０の標準顔データベースを読み出す。
すなわち制御装置１３は、対象者２０が以前認識したことのある人であると判定した場合（ステップＳ１０２）、以前作成した当該対象者２０の標準顔データベースを読み出すことで、標準顔データベースを作成する処理（ステップＳ１０３からステップＳ１０６まで）を省略することができる。
制御装置１３は、当該ステップＳ１０７の処理を行った後、図３に示すステップＳ１０８及びステップＳ１０９に移行する。

【0049】

図３に示すステップＳ１０８において、制御装置１３は、カメラ１１によって顔を撮像されている対象者２０が瞬きをしたことを検出する。
具体的には、制御装置１３は、現在撮像している対象者２０の顔の画像から、５次元の位置情報のうち、前記（４）点Ｐ２から点Ｐ３までの距離、及び（５）点Ｐ６から点Ｐ７までの距離、すなわち左右の目Ｅの開き具合（開閉度）に関する位置情報を常時検出する。以下では、当該２つの位置情報を単に「実際の目の位置情報」と記す。
そして、当該実際の目の位置情報を標準顔データベースの位置情報と常時比較し、実際の目の位置情報が標準顔データベースの位置情報に対して所定の値だけ小さくなった場合、対象者２０が瞬きをしたと判断する。
制御装置１３は、当該ステップＳ１０８の処理を行った後（具体的には、所定時間の間、ステップＳ１０８の処理（瞬きの検出）を継続して行った後）、ステップＳ１１０に移行する。

【0050】

図３に示すステップＳ１０９において、制御装置１３は、カメラ１１によって顔を撮像されている対象者２０が顔をしかめたこと（顔しかめ）を検出する。
具体的には、制御装置１３は、複数の人の、平常時における顔の器官の５次元の位置情報（前述（図７参照）と同様に５次元に変換されたもの）、実際に顔をしかめたときの顔の器官の５次元の位置情報、及び当該２つの位置情報の差（変位）を、予め特定表情データベースとして取得（記憶）している。
ここで、当該「複数の人」には、対象者２０が含まれていなくても良い。
そして制御装置１３は、当該特定表情データベースを訓練データとして、人が顔をしかめたか否かを識別する識別機能を作成している。当該識別機能としては、サポートベクターマシンの多項式カーネル法等を用いることができる。
そして制御装置１３は、現在撮像している対象者２０の顔の画像から５次元の位置情報を常時検出し、当該位置情報及び前記標準顔データベースを前記識別機能にかけ、対象者２０が顔をしかめたか否かを判定する。
制御装置１３は、当該ステップＳ１０９の処理を行った後（具体的には、所定時間の間、ステップＳ１０９の処理（顔しかめの検出）を継続して行った後）、ステップＳ１１０に移行する。

【0051】

ステップＳ１１０において、制御装置１３は、対象者２０による瞬き及び顔しかめの表出の頻度を検出する。
具体的には、制御装置１３は、ステップＳ１０８及びステップＳ１０９において検出した対象者２０による瞬き及び顔しかめの単位時間当たりの回数（周波数）、すなわち頻度を算出して記憶する。

【0052】

ここで、瞬きや顔しかめの表情は、本発明に係る特定の表情の一例であり、対象者２０の不快感を示す表情である。例えば、対象者２０が瞬きや顔しかめを頻繁にしている場合、照明が強くてまぶしい等の不快感を表しているものと考えられる。

【0053】

以上のようにして表情検出システム１０によって検出された対象者２０による特定の表情（瞬き及び顔しかめ）の表出の頻度についてのデータは、種々の目的に利用することが可能である。例えば、当該表出の頻度に応じて対象者２０が感じているまぶしさや暗さを推定し、それに合わせて照明やブラインド、カーテンの開閉などを制御すること、レストランなどで当該表出の頻度に応じて顧客の満足度を推定し、マーケティングや接客に当該満足度に関するデータを活用すること、困っている人を推定し、御用聞き（声かけ）を円滑に行うこと、等が可能である。

【0054】

当該表情検出システム１０は、対象者２０個人のデータベースを事前に作成する必要がなく、不特定多数の人（対象者）に適用することができるため、幅広い用途（例えば、不特定多数の人が来店する店舗等）に利用することができる。また、予め特定の対象者２０に適用することが分かっている場合であっても、事前に当該対象者２０個人のデータベースを作成する作業が不要であるため、当該表情検出システム１０を容易に利用することができる。

【0055】

以上の如く、本実施形態に係る表情検出システム１０は、
対象者２０の顔を撮像することが可能なカメラ１１（撮像手段）と、
対象者２０から視認可能な位置に配置されるモニター１２（表示手段）と、
カメラ１１によって撮像された対象者２０の顔の画像から当該対象者２０の個人情報（性別及び年齢）を推定し（ステップＳ１０３）、前記個人情報に基づいて対象者２０に応じた情報をモニター１２に表示させ（ステップＳ１０４）、モニター１２に表示されている情報を視認している最中の対象者２０の顔の画像をカメラ１１によって取得し（ステップＳ２０１）、当該画像に基づいて平常時における対象者２０の顔の器官の位置情報を決定して（ステップＳ１０６）、標準顔データベースとして記憶する制御装置１３（制御手段）と、
を具備するものである。
このように構成することにより、平常時における対象者２０の顔の器官の位置情報（標準顔データベース）を容易にかつ正確に取得（作成）することができる。
すなわち、対象者２０に応じた情報をモニター１２に表示させることで、当該対象者２０が自然に当該情報（モニター１２）を視認している顔の画像を取得することができ、ひいては平常時の表情における対象者２０の顔の器官の位置情報を容易にかつ正確に取得することができる。

【0056】

また、制御装置１３は、
前記標準顔データベースを用いて、現在カメラ１１によって撮像されている対象者２０が特定の表情を表出したことを検出する（ステップＳ１０８及びステップＳ１０９）ものである。
このように構成することにより、検出対称となる対象者２０固有のデータベース（特定の表情をした時の顔の器官の位置情報に関するデータベース等）を予め準備する必要がないため、当該データベースを作成するための労力を軽減することができる。
また、現在カメラ１１によって撮像されている対象者２０が特定の表情を表出したことを検出するために必要な標準顔データベースは容易に作成することができるため、表情検出システム１０全体のデータベース作成のための労力を軽減することができる。

【0057】

また、制御装置１３は、
予め記憶された複数の人の、平常時における顔の器官の位置情報に対する特定の表情をした時の顔の器官の位置情報の変位に関する特定表情データベースをさらに用いて、現在カメラ１１によって撮像されている対象者２０が特定の表情を表出したことを検出する（ステップＳ１０９）ものである。
このように構成することにより、検出対称となる対象者２０固有のデータベースを予め準備する必要がなく、容易に特定の表情を検出することができる。

【0058】

また、前記特定の表情とは、
対象者２０の不快感を示す表情である。
このように構成することにより、特定の表情の検出結果を、対象者２０の周囲の環境の制御（改善）等に利用することができる。

【0059】

制御装置１３は、
前記情報を視認している最中の対象者２０の顔の画像を取得する場合、当該対象者２０の顔がカメラ１１に対して所定値以上傾いていない画像のみを取得する（ステップＳ２０４等）ものである。
このように構成することにより、カメラ１１に対する対象者２０の顔の傾きが大きい画像を排除することで、より精度の高い標準顔データベースの作成が可能となる。

【0060】

制御装置１３は、
カメラ１１によって取得された複数の画像における対象者２０の顔の器官の位置情報を正規化した後に（ステップＳ２０５）、当該位置情報を平均するものである。
このように構成することにより、各画像における対象者２０の顔の器官の位置情報を正規化することで、より精度の高い標準顔データベースの作成が可能となる。

【0061】

制御装置１３は、
対象者２０が、それ以前に前記標準顔データベースを記憶されたことのある対象者２０と同一人物である場合、新たな当該対象者２０の標準顔データベースの記憶を行わない（ステップＳ１０７等）ものである。
このように構成することにより、以前に標準顔データベースが記憶されている対象者２０については、再度標準顔データベースを記憶させる処理を省略することができ、表情検出システム１０全体の処理の効率化を図ることができる。

【0062】

また、本実施形態に係る表情検出方法は、
対象者２０の顔の画像から当該対象者２０の個人情報を推定し、
前記個人情報に基づいて対象者２０に応じた情報を対象者２０に視認させ、
前記情報を視認している最中の対象者２０の顔の画像を取得し、
当該画像に基づいて平常時における対象者２０の顔の器官の位置情報を決定して、標準顔データベースとして取得し、
前記標準顔データベースを用いて、対象者２０が特定の表情を表出したことを検出するものである。
このように構成することにより、平常時における対象者２０の顔の器官の位置情報（標準顔データベース）を容易にかつ正確に取得（作成）することができる。また、検出対称となる対象者２０固有のデータベースを予め準備することなく特定の表情を検出することができ、当該データベースを作成するための労力を軽減することができる。

【0063】

なお、本実施形態では、本発明に係る撮像手段としてカメラ１１を用いたが、本発明に係る制御に必要な情報を取得できるものであれば、種々の撮像手段（例えば、表示手段（モニター１２）に一体化（内蔵）されたもの等）を用いることが可能である。

【0064】

また、本実施形態では、本発明に係る表示手段としてモニター１２を用いたが、本発明に係る情報を表示できるものであれば、種々の表示手段（例えば、パソコンのモニターや、表示手段と入力手段が一体化されたタッチパネル等）を用いることが可能である。

【0065】

また、本実施形態では、本発明に係る制御手段として制御装置１３を用いたが、本発明に係る制御を行うことができるものであれば、種々の制御手段（例えば、市販のパソコンや、複数台の制御装置を組み合わせたもの等）を用いることが可能である。

【0066】

また、本実施形態では、対象者２０の不快感を示す表情を、特定の表情として例示したが、本発明は不快感を示す表情に限らず、その他の表情（喜怒哀楽を示す表情）にも適用することが可能である。

【0067】

また、本実施形態では、制御装置１３は、図２のステップＳ１０１において市販のプログラム等を用いて対象者２０を認識するものとしたが、例えば上述の顔の器官の座標（図４のステップＳ２０５）や５次元の位置情報（ステップＳ２０６）を用いて対象者２０を認識する構成とすることも可能である。

【0068】

また、本実施形態では、制御装置１３は、図４のステップＳ２０３においてステップＳ２０２で取得した座標に基づいて対象者２０の顔の傾きを判定するものとしたが、その他の座標や対象者２０の顔の特徴から傾きを判定する構成とすることも可能である。

【0069】

また、本実施形態では、制御装置１３は、図４のステップＳ２０１において一旦画像を取得した後で、当該画像の中から顔が大きく傾いている画像を削除する（ステップＳ２０３及びステップＳ２０４）構成としたが、ステップＳ２０１において画像を取得する時点で顔の傾きを算出し、顔が大きく傾いている画像をはじめから取得しない構成とすることも可能である。

【0070】

以下では、図８から図１０までを用いて、上述の表情検出システム１０を、実験設備として設置された部屋３０内に存在する対象者２０が周囲の環境（本実施形態においては、特に照明環境）に対してどの程度不快であるか（不快度）を推定する不快度推定システム１００として応用した例について説明する。
なお、当該不快度推定システム１００は表情検出システム１０の応用例の一つであり、表情検出システム１０はその他の種々のシステムに応用可能である。

【0071】

図８に示す不快度推定システム１００は、主としてカメラ１１、モニター１２、天井照明１４、窓照明１５、不快度測定ダイヤル１６、及び制御装置１３を具備する。
なお、不快度推定システム１００のうち、カメラ１１及びモニター１２の構成は上述の表情検出システム１０と略同一であるため、説明を省略する。

【0072】

天井照明１４は、部屋３０の室内空間の照明器具である。天井照明１４は、部屋３０の天井であって、対象者２０の上方に配置される。天井照明１４による照度は変更可能となるように構成される。

【0073】

窓照明１５は、部屋３０に設けられた窓を擬似的に再現するための照明器具である。窓照明１５は、部屋３０の側壁面であって、対象者２０の正面に配置される。窓照明１５の輝度は変更可能となるように構成される。窓照明１５を発光させることにより、部屋３０に設けられた窓から太陽光が差し込む状態を擬似的に再現することができる。

【0074】

不快度測定ダイヤル１６は、対象者２０がどの程度不快であるか（不快度）を測定するためのものである。不快度測定ダイヤル１６はダイヤル式のスイッチにより構成され、対象者２０の手が届く範囲に配置される。不快度測定ダイヤル１６には所定の数値範囲で不快度を表す目盛が付されている。対象者２０は、不快度測定ダイヤル１６が指し示す数値（目盛）が、自らが感じた不快の程度に応じた値となるように当該不快度測定ダイヤル１６を操作する。

【0075】

制御装置１３は天井照明１４に接続され、当該天井照明１４による照度が任意の照度となるように制御することができる。制御装置１３は自ら天井照明１４の照度を制御しているため、別途センサ等を用いるまでもなく当該天井照明１４による照度を検出することができる。
また、制御装置１３は窓照明１５に接続され、当該窓照明１５の輝度が任意の輝度となるように制御することができる。制御装置１３は自ら窓照明１５の照度を制御しているため、別途センサ等を用いるまでもなく当該窓照明１５の輝度を検出することができる。
また、制御装置１３は不快度測定ダイヤル１６に接続され、当該不快度測定ダイヤル１６が指し示す数値（目盛）を検出することができる。

【0076】

以下では、図９及び図１０を用いて、不快度推定システム１００による対象者２０の不快度を推定する方法について説明する。

【0077】

不快度推定システム１００が具備する制御装置１３には、図９に示すように構築されたベイジアンネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）が予め記憶され、当該ベイジアンネットワークを利用して対象者２０の不快度が推定される。ベイジアンネットワークとは、複数の変数間の因果関係を非循環有向グラフで表すと共に、個々の変数の関係を条件付き確率で表す確率推論のモデルである。図中の矢印の始点側のノードが原因を、終点側のノードが結果を、それぞれ表している。また、原因が結果に及ぼす影響の度合いは、条件付き確率で定量化される。

【0078】

図９に示すように、本実施形態に係るベイジアンネットワークは、顔しかめ認識頻度ノードＮ１０１と、顔しかめ表出頻度ノードＮ１０２と、まばたき認識頻度ノードＮ２０１と、まばたき表出頻度ノードＮ２０２と、照度（天井）変化前ノードＮ３０１と、輝度（窓）変化前ノードＮ４０１と、照度（天井）変化後ノードＮ５０１と、輝度（窓）変化後ノードＮ６０１と、不快度ノードＮ７０１と、により構築される。

【0079】

本実施形態に係るベイジアンネットワークは、制御装置１３によって天井照明１４及び窓照明１５を制御することで対象者２０に対して複数パターンの照明変化（天井照明１４による照度、及び窓照明１５の輝度の大きな変化）を与える学習実験の結果に基づいて構築され、当該制御装置１３に記憶される。具体的には、当該学習実験に基づいて上記各ノードの確率（事前確率又は条件付き確率）が求められ、制御装置１３に記憶される。

【0080】

以下では、本実施形態に係るベイジアンネットワークの各ノードについて説明する。

【0081】

顔しかめ認識頻度ノードＮ１０１は、対象者２０の顔しかめの頻度を表すノードである。当該対象者２０の顔しかめ（顔をしかめたか否か）は、前述の如く制御装置１３により検出される（図２のステップＳ１０９参照）。前記学習実験において、対象者２０が顔をしかめたか否かが制御装置１３により検出される（図２のステップＳ１０９）と共に、当該対象者２０の顔しかめの頻度（顔しかめの周波数）が算出される（図２のステップＳ１１０）。当該顔しかめの頻度は複数の数値範囲に分類され、顔しかめの頻度が各数値範囲に含まれる確率（事前確率）が制御装置１３に記憶される。

【0082】

顔しかめ表出頻度ノードＮ１０２は、実際の対象者２０の顔しかめの頻度を表すノードである。前記学習実験において、実際に対象者２０が顔をしかめたか否かが目視等により確認されると共に、当該実際の対象者２０の顔しかめの頻度（顔しかめの周波数）が算出される。
ここで、前記学習実験においては、例えば図１０に示すように、顔をしかめていない状態の表情（図１０（ａ））に対して、目Ｅを細めたり（図１０（ｂ））、眉Ｂを寄せて目Ｅを細めたり（図１０（ｃ））、眉Ｂを寄せて目Ｅを細め、かつ口Ｍを横にひいたり（図１０（ｄ））した場合に、対象者２０が顔をしかめたと判断される。
算出された実際の顔しかめの頻度は複数の数値範囲に分類され、顔しかめ認識頻度ノードＮ１０１を原因とする当該実際の顔しかめの頻度が各数値範囲に含まれる確率（条件付き確率）が、制御装置１３に記憶される。

【0083】

まばたき認識頻度ノードＮ２０１は、対象者２０のまばたきの頻度を表すノードである。当該対象者２０のまばたきは、前述の如く制御装置１３により検出される（図２のステップＳ１０８参照）。前記学習実験において、対象者２０がまばたきをしたか否かが制御装置１３により検出される（図２のステップＳ１０８）と共に、当該対象者２０のまばたきの頻度（まばたきの周波数）が算出される（図２のステップＳ１１０）。当該まばたきの頻度は複数の数値範囲に分類され、まばたきの頻度が各数値範囲に含まれる確率（事前確率）が制御装置１３に記憶される。

【0084】

まばたき表出頻度ノードＮ２０２は、実際の対象者２０のまばたきの頻度を表すノードである。前記学習実験において、実際に対象者２０がまばたきをしたか否かが目視等により確認されると共に、当該実際の対象者２０のまばたきの頻度（まばたきの周波数）が算出される。当該実際のまばたきの頻度は複数の数値範囲に分類され、まばたき認識頻度ノードＮ２０１を原因とする当該実際のまばたきの頻度が各数値範囲に含まれる確率（条件付き確率）が、制御装置１３に記憶される。

【0085】

照度（天井）変化前ノードＮ３０１は、天井照明１４による照度が大きく変化する前の照度を表すノードである。当該照度は、制御装置１３により検出される。前記学習実験において、天井照明１４による照度が大きく変化する前の照度は複数の数値範囲に分類され、当該大きく変化する前の照度が各数値範囲に含まれる確率（事前確率）が制御装置１３に記憶される。

【0086】

輝度（窓）変化前ノードＮ４０１は、窓照明１５の輝度が大きく変化する前の輝度を表すノードである。当該輝度は、制御装置１３により検出される。前記学習実験において、窓照明１５の輝度が大きく変化する前の輝度は複数の数値範囲に分類され、当該大きく変化する前の輝度が各数値範囲に含まれる確率（事前確率）が制御装置１３に記憶される。

【0087】

照度（天井）変化後ノードＮ５０１は、天井照明１４による照度が大きく変化した後の照度を表すノードである。当該照度は、制御装置１３により検出される。前記学習実験において、天井照明１４による照度が大きく変化した後の照度は複数の数値範囲に分類され、当該大きく変化した後の照度が各数値範囲に含まれる確率（事前確率）が制御装置１３に記憶される。

【0088】

輝度（窓）変化後ノードＮ６０１は、窓照明１５の輝度が大きく変化した後の輝度を表すノードである。当該輝度は、制御装置１３により検出される。前記学習実験において、窓照明１５の輝度が大きく変化した後の輝度は複数の数値範囲に分類され、当該大きく変化した後の輝度が各数値範囲に含まれる確率（事前確率）が制御装置１３に記憶される。

【0089】

不快度ノードＮ７０１は、対象者２０がどの程度不快であるか（不快度）を表すノードである。前記学習実験において、実際に対象者２０がどの程度不快であるか（不快度）が測定される。具体的には、前記学習実験において、天井照明１４による照度及び窓照明１５の輝度が大きく変化した際に、対象者２０が操作した不快度測定ダイヤル１６の数値（目盛）を制御装置１３が検出することにより、当該対象者２０がどの程度不快であるか（不快度）を測定することができる。当該測定された不快度は複数の数値範囲に分類され、顔しかめ表出頻度ノードＮ１０２、まばたき表出頻度ノードＮ２０２、照度（天井）変化前ノードＮ３０１、輝度（窓）変化前ノードＮ４０１、照度（天井）変化後ノードＮ５０１及び輝度（窓）変化後ノードＮ６０１を原因とする当該測定された不快度が各数値範囲に含まれる確率（条件付き確率）が、制御装置１３に記憶される。

【0090】

以上の如く、前記学習実験によって事前に構築されたベイジアンネットワークを用いて、部屋３０の室内空間の環境が変化した（具体的には、天井照明１４による照度及び窓照明１５の輝度が大きく変化した）際の対象者２０の不快度を、確率論として推定することができる。

【0091】

具体的には、まず、部屋３０の天井照明１４による照度及び窓照明１５の輝度が変化した際に、制御装置１３によって当該変化に関する情報を検出する。すなわち、制御装置１３は、天井照明１４による照度が大きく変化する前の照度（照度（天井）変化前ノードＮ３０１）、窓照明１５の輝度が大きく変化する前の輝度（輝度（窓）変化前ノードＮ４０１）、天井照明１４による照度が大きく変化した後の照度（照度（天井）変化後ノードＮ５０１）及び窓照明１５の輝度が大きく変化した後の輝度（輝度（窓）変化後ノードＮ６０１）を検出する。

【0092】

また、部屋３０の室内空間の環境（天井照明１４による照度及び窓照明１５の輝度）が変化した際に対象者２０が発する不快な表情を制御装置１３によって検出する。すなわち、制御装置１３は、部屋３０の室内空間の環境が変化した際の対象者２０の顔しかめ及びまばたきを検出する（図２のステップＳ１０８及びステップＳ１０９参照）。

【0093】

次に、制御装置１３によって、検出された対象者２０が表出する不快な表情の頻度（周波数）を算出する。すなわち、制御装置１３は、検出された対象者２０の顔しかめの頻度（顔しかめ認識頻度ノードＮ１０１）、及び前記まばたき検出手段によって検出された対象者２０のまばたきの頻度（まばたき認識頻度ノードＮ２０１）を算出する（図２のステップＳ１１０参照）。

【0094】

そして、制御装置１３は、上記各ノード（顔しかめ認識頻度ノードＮ１０１、まばたき認識頻度ノードＮ２０１、照度（天井）変化前ノードＮ３０１、輝度（窓）変化前ノードＮ４０１、照度（天井）変化後ノードＮ５０１及び輝度（窓）変化後ノードＮ６０１）の条件を用いて、顔しかめ表出頻度ノードＮ１０２、まばたき表出頻度ノードＮ２０２及び不快度ノードＮ７０１の条件付き確率から対象者２０の不快度がとり得る複数の値（数値範囲）及びそれぞれの確率を算出する。制御装置１３は、対象者２０の不快度がとり得る複数の値それぞれに、当該値となる確率を掛け合わせ、さらにそれらを合算した数値を、対象者２０の不快度として推定する。

【0095】

このように、本実施形態に係る不快度推定システム１００は、環境変化に関する情報に加えて対象者２０が発する不快な表情の頻度を用いるため、当該対象者２０の不快度を精度良く推定することができる。このようにして推定された対象者２０の不快度は、種々の目的に利用することが可能である。

【0096】

なお、本実施形態（応用例）においては、実験設備として設置された部屋３０を例にして説明したが、本発明はこれに限るものではなく、日常生活において使用している部屋を用いて上述の不快度の推定を行うことも可能である。

【0097】

また、本実施形態においては窓照明１５を用いたが、本発明はこれに限るものではなく、通常の窓（部屋３０の外部の光が入ってくる窓）と当該窓の輝度を検出するセンサを用いて上述の不快度の推定を行うことも可能である。

【0098】

また、本実施形態においては、照明環境（天井照明１４による照度、及び窓照明１５の輝度）の変化に対する不快度を推定するものとしたが、その他の環境変化（例えば、温度の変化、湿度の変化等）に対する不快度を推定することも可能である。

【符号の説明】

【0099】

１０ 表情検出システム
１１ カメラ（撮像手段）
１２ モニター（表示手段）
１３ 制御装置（制御手段）
２０ 対象者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】