特許7107958プログラム、情報処理システム、ストレス評価方法、ストレス評価システム、コンピュータプログラム、記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-19
(45)【発行日】2022-07-27
(54)【発明の名称】プログラム、情報処理システム、ストレス評価方法、ストレス評価システム、コンピュータプログラム、記録媒体
(51)【国際特許分類】
A61B 5/16 20060101AFI20220720BHJP
G06T 7/00 20170101ALI20220720BHJP
【ＦＩ】
A61B5/16 110
G06T7/00 660A
【請求項の数】
14
(21)【出願番号】P 2019548168
(86)(22)【出願日】2018-10-04
(86)【国際出願番号】 JP2018037274
(87)【国際公開番号】W WO2019073906
(87)【国際公開日】2019-04-18
【審査請求日】2021-08-24
(31)【優先権主張番号】P 2017196505
(32)【優先日】2017-10-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】石川 智子
(72)【発明者】
【氏名】大江 麻里子
(72)【発明者】
【氏名】千財 悟郎
(72)【発明者】
【氏名】原 祐輔
【審査官】高松 大
(56)【参考文献】
【文献】特開２０１７－１７６７６２（ＪＰ，Ａ）
【文献】特表２００５－５０５０６３（ＪＰ，Ａ）
【文献】特開２００１－４２１（ＪＰ，Ａ）
【文献】米国特許第９２９８２５７（ＵＳ，Ｂ２）
【文献】田中 智也 他，表情分析によるストレス評価の検討，平成２９年電気学会電子・情報・システム部門大会講演論文集，日本，2017年09月06日，1136-1139
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／１６
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
コンピュータを、撮影画像に含まれるユーザの表情値を計測する計測手段、
前記撮影画像と前記計測手段により計測される表情値とを表示する表示手段、
前記計測手段により計測される表情値を指定して、撮像装置によるユーザの顔の撮影をユーザに指示する指示手段、
前記撮像装置により撮像されたユーザの顔画像を解析し、前記顔画像における複数の特徴点の位置を抽出する抽出手段、
前記抽出手段により抽出された複数の特徴点の位置を利用してストレス指標となる値を算出する算出手段、
前記算出手段により算出されたストレス指標となる値を出力する出力手段、
として機能させ、
前記算出手段は、指定された表情値の表情をユーザが作ったときの前記顔画像から得た前記複数の特徴点から、前記顔のゆがみを表す値をストレス指標となる値として算出すること
を特徴とするプログラム。
【請求項2】
前記表示手段は、前記撮影画像に含まれるユーザの顔の部分をマスキングして表示することを特徴とする請求項１記載のプログラム。
【請求項3】
前記指示手段は、前記計測手段により計測される２種類の表情値を指定して、撮像装置によるユーザの顔の撮影をユーザに指示し、前記算出手段は、指定された２種類の表情値の表情をユーザが作ったときの前記顔画像からそれぞれ得た前記複数の特徴点から、前記顔のゆがみを表す値の差分をストレス指標となる値として算出すること
を特徴とする請求項１又は２記載のプログラム。
【請求項4】
前記算出手段は、前記抽出手段により前記複数の特徴点として抽出された、前記顔画像における右側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び左側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引き、前記直線（ａ１－ｂ１）と基準線とがなす角度（θ１）及び前記直線（ａ２－ｂ２）と基準線とがなす角度（θ２）から、指定された表情値の表情をユーザが作ったときの前記顔のゆがみを表す値をストレス指標となる値として算出することを特徴とする請求項１又は２記載のプログラム。
【請求項5】
前記基準線は、前記顔画像の水平線、又は、前記抽出手段により前記複数の特徴点として抽出された、前記顔画像における右目の中心点（ｃ１）と左目の中心点（ｃ２）とを通る目の中心線、であることを特徴とする請求項４記載のプログラム。
【請求項6】
サーバ装置とクライアント装置とがネットワークを介して接続された情報処理システムであって、撮影画像に含まれるユーザの表情値を計測する計測手段と、
前記撮影画像と前記計測手段により計測される表情値とを表示する表示手段と、
前記計測手段により計測される表情値を指定して、撮像装置によるユーザの顔の撮影をユーザに指示する指示手段と、
前記撮像装置により撮像されたユーザの顔画像を解析し、前記顔画像における複数の特徴点の位置を抽出する抽出手段と、
前記抽出手段により抽出された複数の特徴点の位置を利用してストレス指標となる値を算出する算出手段と、
前記算出手段により算出されたストレス指標となる値を出力する出力手段と、
を有し、
前記算出手段は、指定された表情値の表情をユーザが作ったときの前記顔画像から得た前記複数の特徴点から、前記顔のゆがみを表す値をストレス指標となる値として算出すること
を特徴とする情報処理システム。
【請求項7】
被験者のストレスを評価する方法であって、
（１）被験者に撮像装置に顔を正対させて最大笑顔を作るように指示する工程；
（２）被験者の顔を撮像装置で撮像する工程；
（３）撮像された顔画像を処理し、ストレスを反映するパラメータを得る工程；及び
（４）画像の処理から得たパラメータを用いて演算し、ストレス指標値を算出する工程を含み、
前記工程（３）が、顔画像における左右の目尻及び左右の口角の位置を特定し、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引き、前記直線（ａ１－ｂ１）と基準線とがなす角度（θ１）及び前記直線（ａ２－ｂ２）と基準線とがなす角度（θ２）を計測し、これら「θ１」及び「θ２」の値を前記工程（４）におけるパラメータとすることを特徴とするストレス評価方法。
【請求項8】
工程（３）における基準線が画像の水平線であり、
工程（４）における演算が、θ１とθ２との角度差（θ１－θ２）を算出することを含み、当該角度差（θ１－θ２）をストレス指標値とする、請求項７に記載の方法。
【請求項9】
工程（３）が、撮像された画像において、右目の中心点（ｃ１）と左目の中心点（ｃ２）の位置を特定して、右目の中心点（ｃ１）と左目の中心点（ｃ２）とを通る目の中心線を引くことを更に含み、
工程（３）における基準線が目の中心線であり、
工程（４）における演算が、θ１とθ２との角度差（θ１－θ２）を算出することを含み、当該角度差（θ１－θ２）をストレス指標値とする、請求項７に記載の方法。
【請求項10】
（１Ａ）被験者に撮像装置に顔を正対させて最大笑顔を作るように指示する工程；
（２Ａ）撮像装置で最大笑顔の撮像をする工程；
（１Ｂ）被験者に真顔にするように指示する工程；
（２Ｂ）撮像装置で真顔の撮像をする工程；
（３Ａ）前記（２Ａ）で撮像された最大笑顔の画像の画像処理を処理し、ストレスを反映するパラメータを得る工程；
（３Ｂ）前記（２Ｂ）で撮像された真顔の画像の画像処理を処理し、ストレスを反映するパラメータを得る工程；及び
（４）画像の処理から得たパラメータを用いて演算し、ストレス指標値を算出する工程を含み、
（３Ａ）が、（２Ａ）で撮像された最大笑顔の画像における一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引き、直線（ａ１－ｂ１）と基準線とがなす角度（θ１）及び直線（ａ２－ｂ２）と基準線とがなす角度（θ２）を計測してパラメータとすることを含み、
（３Ｂ）が、（２Ｂ）で撮像された真顔の画像における一方の側の目尻（ａ１"）と口角（ｂ１"）とを通る直線（ａ１"－ｂ１"）及び他方の側の目尻（ａ２"）と口角（ｂ２"）とを通る直線（ａ２"－ｂ２"）を引き、直線（ａ１"－ｂ１"）と基準線とがなす角度（θ１"）及び直線（ａ２"－ｂ２"）と基準線とがなす角度（θ２"）を計測してパラメータとすることを含み、
工程（４）における演算が、（３Ａ）で得られた最大笑顔のパラメータであるθ１とθ２との角度差（θ１－θ２）及び（３Ｂ）で得られた真顔のパラメータであるθ１"とθ２"との角度差（θ１"－θ２"）を算出し、さらに前記両角度差の差分（（θ１－θ２）－（θ１"－θ２"））を算出することを含み、当該差分（（θ１－θ２）－（θ１"－θ２"））をストレス指標値とする、ストレス評価方法。
【請求項11】
前記工程（１Ａ）、（２Ａ）、（１Ｂ）及び（２Ｂ）を順次複数回繰り返し、前記工程（３Ａ）におけるパラメータが、各回の測定で得られたθ１及びθ２の平均値であり、前記工程（３Ｂ）におけるパラメータが、各回の測定で得られたθ１"及びθ２"の平均値である、請求項１０に記載の方法。
【請求項12】
被験者に対する指示手段、被験者の顔を撮像する撮像手段、撮像した顔画像を処理する画像処理手段、及び画像処理で得られたパラメータを演算する演算手段を具備する、請求項７から１１のいずれか一項に記載の方法を実施するためのストレス評価システム。
【請求項13】
（１）被験者に指示するステップ；
（２）撮像装置で撮像された被験者の顔画像を処理して被験者のストレスを反映するパラメータを出力するステップ、及び
（３）画像処理から出力されたパラメータを用いて演算し、ストレス指標値を算出するステップを含む、請求項７から１１のいずれか一項に記載の方法を実施するためのコンピュータプログラム。
【請求項14】
請求項１３に記載のコンピュータプログラムを保存した記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はプログラム、情報処理システム、ストレス評価方法、ストレス評価システム、コンピュータプログラム、記録媒体に関する。
【背景技術】
【0002】
心理的又は精神的ストレスは、程度の差はあるものの、現代を生きる人々の健康にとって無視できない影響を与えている。ストレスが昂じると感情の起伏が激しくなり、疲労、食欲不振、発熱、不眠など身体状態の不調を来し、それに起因して肥満症や糖尿病等の生活習慣病となる場合もあり、そのまま放置すれば鬱病を代表例とする心の病気を発症する危険がある。従って、近年は、メンタルヘルスの重要性が提唱され、各人が自己のストレス管理をするのみならず、各企業が従業員のストレス状態を把握して適切に管理することが求められるようになっている。
【0003】
人のストレス状態を測定する手段として、例えば、特許文献１では、ストレスによる心拍のゆらぎと呼吸情報とを組み合わせて解析する計測装置が記載されている。また、ストレス関連遺伝子の発現状態や血中の特定のアミノ酸濃度変化からストレス（抑鬱）状態を測定する方法も提案されている（特許文献２及び３）。
【0004】
副腎皮質から分泌されるホルモンであるコルチゾールは、過度なストレスを受けると分泌量が増加することからストレスホルモンとも呼ばれている。血液、尿、唾液等の体液中のコルチゾール濃度からストレス状態を測定する試みが行なわれており、特に唾液中のコルチゾール濃度がストレス状態を良好に反映しているとの報告もある（非特許文献１及び２）。また、体液中のコルチゾール濃度を測定するに当たり、サンプル収集のための被験者の負担を軽減した器具等も提案されている（特許文献４）。
【0005】
しかしながら、上記のような従来方法では、ストレス測定のための装置を購入する必要がある、あるいは、実際の測定に当たって測定サンプルを取得するために採血等の侵襲処置が必要であるといった理由により、日常的なストレス管理に汎用されるには至っていない。
【0006】
巷間、ストレスが加わると顔の表情が変化する又は顔が歪むなどと言われている。確かに、ストレスによる緊張状態が続くと顔の表情筋が緊張して硬くなり、表情がこわばるといった現象が起こり得る。しかしながら、これまでに、顔（表情等）の変化とストレスとを定量的に関連づけた例は皆無である。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０１０－２３４０００号公報
【文献】特開２０１３－１１０９６９号公報
【文献】特許第５８５６３６４号公報
【文献】特開２０１２－２５１８５７号公報
【非特許文献】
【0008】
【文献】Ross F. Vining, et al., Ann. Clin. Biochem, Vol. 20, PP. 329-335 (1983)
【文献】J. Gonzalez-Cabrera, et al., STRESS: The International Journal on the Biology of Stress, Vol. 17, Issue 2, pp.149-156 (2014)
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、上記の技術状況と背景として、被験者のストレス状態を簡便かつ非侵襲的に評価できるプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明者等は、ストレスが人の心や身体に与える影響を検証する中で、被験者の顔（表情等）の変化とストレスとの相関関係に着目して鋭意研究を重ねた。その結果、被験者のストレスが、顔の左右の歪みや、自分の顔を撮像装置に対して真っ直ぐに正対させる行為等にも影響を与えるという知見を得た。そして、一定条件下で撮像した被験者の顔画像を処理して得たパラメータを用いることにより、ストレス状態を定量的に評価しうる指標が再現性よく得られることを初めて見出し、本発明を完成するに至った。
【0011】
すなわち、本発明は、コンピュータを、撮影画像に含まれるユーザの表情値を計測する計測手段、前記撮影画像と前記計測手段により計測される表情値とを表示する表示手段、前記計測手段により計測される表情値を指定して、撮像装置によるユーザの顔の撮影をユーザに指示する指示手段、前記撮像装置により撮像されたユーザの顔画像を解析し、前記顔画像における複数の特徴点の位置を抽出する抽出手段、前記抽出手段により抽出された複数の特徴点の位置を利用してストレス指標となる値を算出する算出手段、前記算出手段により算出されたストレス指標となる値を出力する出力手段、として機能させ、前記算出手段は、指定された表情値の表情をユーザが作ったときの前記顔画像から得た前記複数の特徴点から、前記顔のゆがみを表す値をストレス指標となる値として算出することを特徴とするプログラムを提供する。
【発明の効果】
【0012】
本発明に係るプログラムは、測定のための特別な装置を必要とせず、血液等の体液試料を採取する必要のない完全に非侵襲的な方法で被験者のストレスを評価することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の方法において、最大笑顔で撮像した顔画像における特徴点を抽出し、当該特徴点からストレス指標となる値を算出することを説明する模式図である。
【図2】本発明の方法において、真顔で撮像した顔画像における特徴点を抽出し、当該特徴点からストレス指標となる値を算出することを説明する模式図である。
【図3】本発明の第一態様（実施例１）で得られた被験者のストレス指標値と同被験者の唾液コルチゾール濃度との相関を示すグラフである。
【図4】本発明の第二態様（実施例２）で得られた被験者のストレス指標値と同被験者の唾液コルチゾール濃度との相関を示すグラフである。
【図5】本発明の第三態様（実施例３）で得られた被験者のストレス指標値と同被験者の唾液コルチゾール濃度との相関を示すグラフである。
【図6A】本実施形態に係る情報処理システムの一例の構成図である。
【図6B】本実施形態に係る情報処理システムの一例の構成図である。
【図7A】コンピュータの一例のハードウェア構成図である。
【図7B】コンピュータの一例のハードウェア構成図である。
【図8】コンピュータの一例のハードウェア構成図である。
【図9】本実施形態に係る情報処理装置の一例の機能ブロック図である。
【図10】本実施形態に係る情報処理装置の全体処理の一例のフローチャートである。
【図11】顔位置合わせ処理の一例のフローチャートである。
【図12】顔位置合わせ処理時のストレス診断アプリ画面の一例のイメージ図である。
【図13】データ取得処理の一例のフローチャートである。
【図14】データ取得処理時のストレス診断アプリ画面の一例のイメージ図である。
【図15】被験者の顔をマスキングしたストレス診断アプリ画面の一例のイメージ図である。
【図16】データ解析処理の一例のフローチャートである。
【図17A】最大笑顔のときのデータ解析処理のイメージを表示するストレス診断アプリ画面の一例のイメージ図である。
【図17B】最小笑顔のときのデータ解析処理のイメージを表示するストレス診断アプリ画面の一例のイメージ図である。
【図18】レポート出力処理の一例のフローチャートである。
【図19】全体レポート表示時のストレス診断アプリ画面の一例のイメージ図である。
【図20】アンケート画面の一例のイメージ図である。
【図21】顔画像解析によるストレス診断の結果とアンケートによるストレス診断の結果とを表示する画面の一例のイメージ図である。
【発明を実施するための形態】
【0014】
［第１の実施形態］
本発明のストレス評価方法は、概略以下の工程（１）～（４）に分けられる。
（１）被験者に指示する工程；
（２）被験者の顔を撮像装置で撮像する工程；
（３）撮像された画像を処理し、ストレスを反映するパラメータを得る工程；及び、
（４）画像の処理から得たパラメータを用いて演算し、ストレス指標値を算出する工程。
本発明のストレス評価方法は、概略以下の工程（１）～（４）に分けられる。
（１）被験者に指示する工程；
（２）被験者の顔を撮像装置で撮像する工程；
（３）撮像された画像を処理し、ストレスを反映するパラメータを得る工程；及び、
（４）画像の処理から得たパラメータを用いて演算し、ストレス指標値を算出する工程。
【0015】
本発明の方法の第一態様では、工程（１）において、被験者に撮像装置に顔を正対させて最大笑顔を作るように指示する。この指示に従って、被験者は撮像装置の前に位置し、顔を撮像装置に正対させ、被験者が考える最大の笑顔（以下、「最大笑顔」という）になるように表情を作る。
【0016】
工程（１）における指示は、顔を撮像装置に正対させて最大笑顔を作るという指示のみならず、撮像準備が整ったことを入力させる指示、工程（２）における撮像が完了するまで顔を動かさないように注意する指示等を含んでもよい。
【0017】
次いで、工程（２）において、撮像装置により被験者の顔を撮像する。撮像された顔画像は、撮像装置に記憶装置を接続して、当該記憶装置に記憶させるのが好ましい。
【0018】
次に、工程（３）において、撮像された顔画像を処理する。この画像処理方法について、図１を参照しながら説明する。
【0019】
（３－１）まず、顔画像において、特徴点となる一方の側の目尻（ａ１）及び口角（ｂ１）、他方の側の目尻（ａ２）及び口角（ｂ２）の位置を特定する。
【0020】
なお、図１においては、説明の便宜上、被験者の顔の右側の目尻を（ａ１）、口角を（ｂ１）とし、左側の目尻を（ａ２）、口角を（ｂ２）としているが、これらは固定されるものではなく、左右を逆にしてもよい。
【0021】
（３－２）次いで、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）、及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引く。
【0022】
（３－３）さらに、前記（３－２）で引いた直線（ａ１－ｂ１）と基準線とがなす角度（θ１）及び直線（ａ２－ｂ２）と基準線とがなす角度（θ２）を計測し、これら「θ１」及び「θ２」の値をパラメータとする。
【0023】
この第一態様における基準線は、画像における水平線（図１における直線Ａ－Ａ）とする。
【0024】
なお、本明細書における「直線（ａ１－ｂ１）と基準線とがなす角度」及び「直線（ａ２－ｂ２）と基準線とがなす角度」は、前記の直線（ａ１－ｂ１）又は直線（ａ２－ｂ２）と基準線とが交わったときに形成される（互いに補角となる）２つの角度のうち「９０°以下となる方の角度」を意味するものとする。
【0025】
最後に、工程（４）において、工程（３）で得られたパラメータであるθ１及びθ２からストレス指標値を算出する。第一態様におけるストレス指標値は、θ１とθ２との角度差（θ１－θ２）である。
【0026】
この第一態様の方法によって算出されるストレス指標値である角度差（θ１－θ２）は、ストレスが加わると増加し、その増減は、ストレスホルモンであるコルチゾールの唾液中濃度の変化に追従すること、即ち、前記ストレス指標値（θ１－θ２）が被験者のストレス状態を反映していることが確認された。
【0027】
この第一態様で得られるストレス指標値は、画像の水平線（Ａ）を基準線として、その基準線に対する角度に基づいて算出しているため、最大笑顔を作ったときの顔の左右のゆがみ及び顔全体の傾きを反映した値となる。このような値をストレスの指標として選択したのは、被験者にストレスが加わった場合に、被験者が最大の笑顔と思って作る顔の表情に左右の歪みが生じることがあり、当該被験者が撮像装置に真っ直ぐに正対するという行為を実施することが困難になる場合があるという観察結果に基づいている。
【0028】
本発明の方法の第二態様は、前記第一の態様と同様の工程（１）～（４）を含む。
【0029】
但し、工程（３）の（３－１）において、一方の側の目尻（ａ１）及び口角（ｂ１）、他方の側の目尻（ａ２）及び口角（ｂ２）の位置を特定することに加えて、右目の中心点（ｃ１）及び左目の中心点（ｃ２）の位置を特定することを更に含む。
【0030】
工程（３）の（３－２）においては、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引くことに加えて、右目の中心点（ｃ１）と左目の中心点（ｃ２）とを通る直線（以下、「目の中心線」という（図１における直線Ａ'－Ａ'））を引くことを更に含む。
【0031】
この第二態様においては、基準線を前記の「目の中心線」とする。従って、工程（３）の（３－３）においては、直線（ａ１－ｂ１）と基準線（図１における直線Ａ'－Ａ'）とがなす角度（図１におけるθ１'）及び直線（ａ２－ｂ２）と基準線（図１における直線Ａ'－Ａ'）とがなす角度（図１におけるθ２'）を計測し、これら「θ１'」及び「θ２'」の値をパラメータとする。
【0032】
第二態様の工程（４）においては、上記（３－３）で得られたパラメータであるθ１'及びθ２'からストレス指標値を算出する。第二態様におけるストレス指標値は、θ１'とθ２'との角度差（θ１'－θ２'）である。
【0033】
この第二態様の方法によって算出されるストレス指標値である角度差（θ１'－θ２'）は、ストレスが加わると増加し、その増減は、ストレスホルモンであるコルチゾールの唾液中濃度の変化に追従すること、即ち、前記ストレス指標値（θ１'－θ２'）が被験者のストレス状態を反映していることが確認された。
【0034】
この態様で得られるストレス指標値は、目の中心線（図１における直線Ａ'－Ａ'）に対する角度に基づいて算出しているため、顔全体の傾きによる影響が補償されるので、顔の左右の歪みのみを反映した値となる。
【0035】
本発明の方法の第三態様は、前記第一態様及び第二態様と同様に、工程（１）～（４）を含む。但し、「最大笑顔」で得られるパラメータと「真顔」で得られるパラメータを取得してストレス指標値を算出する。具体的には以下の通りである。
【0036】
工程（１）及び（２）は、第一態様及び第二態様と同様に、（１Ａ）：被験者に撮像装置に顔を正対させて最大笑顔を作るように指示すること、及び（２Ａ）：最大笑顔の撮像をすることを含む。それに加えて、（１Ｂ）：被験者に真顔にするように指示すること、及び（２Ｂ）：真顔の撮像をすることを含む。ここで、「真顔」とは、被験者が完全にリラックスして顔の筋肉に力を入れていない状態（顔の表情を消した状態）を意味する。
【0037】
工程（３）は、前記（２Ａ）で撮像された最大笑顔の画像及び前記（２Ｂ）で撮像された真顔の画像の各々について画像処理を施す。最大笑顔の画像処理については図１、真顔の画像処理については図２を参照して説明する。
【0038】
（３Ａ）：最大笑顔の画像（図１）では、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引き、直線（ａ１－ｂ１）と基準線（図１のＡ－Ａ）とがなす角度（θ１）及び直線（ａ２－ｂ２）と基準線（図１のＡ－Ａ）とがなす角度（θ２）を計測してパラメータとする。
【0039】
（３Ｂ）：「真顔」の画像（図２）では、一方の側の目尻（ａ１"）と口角（ｂ１"）とを通る直線（ａ１"－ｂ１"）、及び他方の側の目尻（ａ２"）と口角（ｂ２"）とを通る直線（ａ２"－ｂ２"）を引き、直線（ａ１"－ｂ１"）と基準線（図２のＡ－Ａ）とがなす角度（θ１"）及び直線（ａ２"－ｂ２"）と基準線（図２のＡ－Ａ）とがなす角度（θ２"）を計測してパラメータとする。
【0040】
なお、図２においても、説明の便宜上、被験者の顔の右側の目尻を（ａ１"）、口角を（ｂ１"）とし、左側の目尻を（ａ２"）、口角を（ｂ２"）としているが、左右を逆にしてもよい。
【0041】
工程（４）においては、（３Ａ）で得られた最大笑顔のパラメータ（θ１、θ２）及び（３Ｂ）で得られた真顔のパラメータ（θ１"及びθ２"）を用いてストレス指標値を算出する。即ち、最大笑顔画像におけるθ１とθ２との角度差（θ１－θ２）及び真顔画像におけるθ１"とθ２"との角度差（θ１"－θ２"）を算出し、次いで、前記の角度差（θ１－θ２）と角度差（θ１"－θ２"）との差分（（θ１－θ２）－（θ１"－θ２"））を算出し、これを第三態様におけるストレス指標値とする。
【0042】
ここで、本態様の方法におけるストレス指標値（（θ１－θ２）－（θ１"－θ２"））は、「真顔」における指標値と「最大笑顔」における指標値の差であるから、顔の傾きによる数値変化が補償される。従って、この第三態様における「基準線」としては、第一態様と同様に画像の水平線（Ａ－Ａ）としてもよいし、第二態様と同様に目の中心線（Ａ'－Ａ'）としてもよい。
【0043】
この第三態様の方法によって算出されるストレス指標値である（（θ１－θ２）－（θ１"－θ２"））は、ストレスが加わると増加し、その増減は、ストレスホルモンであるコルチゾールの唾液中濃度の変化に追従すること、即ち、前記ストレス指標値（（θ１－θ２）－（θ１"－θ２"））が被験者のストレス状態を反映していることが確認された。
【0044】
この第三態様の方法は、「最大笑顔」における指標値と「真顔」における指標値との差をストレス指標としているため、第二態様と同様に顔全体の傾きによる影響が補償され、ストレスによる表情筋のこわばり等の状態が反映されることになる。
【0045】
本発明の方法では、第一、第二及び第三の態様において、工程（１）と工程（２）を複数回繰り返して複数の画像を取得し、工程（３）で各画像から得られるパラメータの平均値を、工程（４）の演算に用いることにより測定誤差を低減することができる。
【0046】
繰り返し回数としては、特に限定されないが、例えば、２回～１０回、好ましくは３回～９回、より好ましくは４回～８回、更により好ましくは５回～７回等とすることが可能である。
【0047】
本発明は、上記のストレス評価方法を実施するためのシステム及びコンピュータプログラム並びに前記コンピュータプログラムを保存した記憶媒体も提供する。
【0048】
本発明のシステムは、被験者に対する指示手段、被験者の顔を撮像する撮像手段、撮像した顔画像を処理する画像処理手段、及び画像処理で得られたパラメータを演算する演算手段を具備する。
【0049】
被験者に対する指示手段は、前記の指示は、撮像装置に添付された書面（使用説明書等）であってもよいし、撮像装置に接続されて指示を表示する画像表示装置、あるいは、音声で指示を与える音声出力装置であってもよい。
【0050】
撮像手段は、デジタルカメラ等の撮像装置とするのが好ましい。また、カメラから取得した画像をリアルタイムで表示するモニタを備え、被験者がモニタを見ながら顔の位置をカメラの中央に調整できるようにするのが好ましい。但し、モニタを見て被験者が顔の傾きや表情等を意図的に変更することを回避するため、モニタに表示される被験者の目、鼻、及び口を含む部分をマスキングしておくのが好ましい。マスキングは、モニタ画面にマスキング部材を貼付する等によって施してもよく、モニタにマスキングを施した画像を表示する機能を付してもよい。
【0051】
本発明のシステムは、撮像した顔画像のデータを記憶する記憶手段を備えるのが好ましい。
【0052】
画像処理手段は、取得した顔画像における特徴点（左右の目尻、左右の口角、及び任意に目の中心点）の位置を特定し、それらの位置から前記所定の角度を計測する手段を備える。
【0053】
演算手段は、画像処理で得られた角度をパラメータとして、所定の演算を実行してストレス指標値を算出する手段を備える。
【0054】
本発明のシステムは、演算手段で得たストレス指標値を表示する表示装置を備えるのが好ましい。
【0055】
また、各被験者のストレス指標値を記憶装置に記憶させておき、新たに得られたストレス指標値と過去のストレス指標値とを比較して、その変化に基づいて被験者に注意を促す手段を設けてもよい。
【0056】
本発明のシステムは、表示手段、撮像手段、記憶手段、演算手段を具備するパーソナルコンピュータ（ＰＣ）、タブレットあるいはスマートホンとすることが可能であり、ＰＣ、タブレット又はスマートホンに、本発明のストレス評価方法を実施させるプログラム（アプリ）をダウンロードすることにより本発明のシステムを構成することができる。
【0057】
本発明のコンピュータプログラムは、
（１）被験者に指示するステップ；
（２）撮像装置で撮像された被験者の顔画像を処理して被験者のストレスを反映するパラメータを出力するステップ、及び
（３）画像処理から出力されたパラメータを用いて演算し、ストレス指標値を算出するステップを含み、
前記ステップ（２）において、顔画像における左右の目尻、左右の口角、及び任意に左右の目の中心点の位置を特定し、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引き、前記直線（ａ１－ｂ１）と基準線とがなす角度（θ１）及び前記直線（ａ２－ｂ２）と基準線とがなす角度（θ２）を計測し、これら「θ１」及び「θ２」の値をパラメータとして出力し、
前記ステップ（３）において前記パラメータ（θ１及びθ２）を用いてストレス指標値を算出することを特徴とする。
（１）被験者に指示するステップ；
（２）撮像装置で撮像された被験者の顔画像を処理して被験者のストレスを反映するパラメータを出力するステップ、及び
（３）画像処理から出力されたパラメータを用いて演算し、ストレス指標値を算出するステップを含み、
前記ステップ（２）において、顔画像における左右の目尻、左右の口角、及び任意に左右の目の中心点の位置を特定し、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）を引き、前記直線（ａ１－ｂ１）と基準線とがなす角度（θ１）及び前記直線（ａ２－ｂ２）と基準線とがなす角度（θ２）を計測し、これら「θ１」及び「θ２」の値をパラメータとして出力し、
前記ステップ（３）において前記パラメータ（θ１及びθ２）を用いてストレス指標値を算出することを特徴とする。
【0058】
［実施例］
以下に具体例を挙げて本発明を更に詳細に説明するが、本発明は以下の実施例によって何ら限定されるものではない。
以下に具体例を挙げて本発明を更に詳細に説明するが、本発明は以下の実施例によって何ら限定されるものではない。
【0059】
ストレスに起因する心理的、身体的変化を検証する際のストレス付加の手法としては様々考えられているが、特に宇宙飛行士候補生に対しては、外部との接触が断たれた閉鎖環境で一定期間過ごさせるという方法が採用されている。詳細は、例えば、Inoue N, et al., Aviation, Space, and Environmental Medicine, Vol. 84, No. 8, pp. 867-871 (2013)、嶋宮民安等、「閉鎖環境における心理・生理ストレス」、Space Utiliz. Res., 24(2008)等を参照されたい。
【0060】
本発明の方法の検証においても、外部から隔離された環境で集団生活を行うストレス試験を実施した。詳細には、被験者（２３名）に、外部から隔離された環境において、食事、睡眠時間、課題をコントロールしながら集団生活を送ってもらった。外部から隔離された環境への入室の１日前（Ｌ－１）、２週間の外部から隔離された環境滞在中（Ｃ１～Ｃ１４）、外部から隔離された環境からの退出後１日（Ｒ＋１）及び７日後（Ｒ＋７）に、毎日一定時間に、本発明に従う方法で顔画像からストレス指標値を測定すると同時に、そのときの唾液中のコルチゾール濃度を測定した。
【0061】
【0062】
この態様の画像処理では、図１に示すように、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）引き、直線（ａ１－ｂ１）と画像の水平線（Ａ－Ａ）とがなす角度（θ１）及び直線（ａ２－ｂ２）と画像の水平線（Ａ－Ａ）とがなす角度（θ２）から、ストレス指標値（θ１－θ２）を算出した。
【0063】
図３のデータでは、外部から隔離された環境に入室する前日（Ｌ－１）においてストレス指標値が高くなり、入室後１週間はストレスが緩和されるが（Ｃ２―Ｃ７）、１週間を過ぎるとストレスが増加し（Ｃ８－１４）、外部から隔離された環境から退出するとストレスが緩和され（Ｒ＋１）、７日後には更にストレスが減少した（Ｒ＋７）。これらの変化の仕方は、コルチゾール濃度の変化の仕方と一致していた。
【0064】
【0065】
この態様の画像処理では、図１に示すように、一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）及び他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）、更に目の中心点（ｃ１及びＣ２）を通る直線（「目の中心線」：図１のＡ'－Ａ'）を引き、直線（ａ１－ｂ１）と目の中心線（Ａ'－Ａ'）とがなす角度（θ１'）及び直線（ａ２－ｂ２）と目の中心線（Ａ'－Ａ'）とがなす角度（θ２'）から、ストレス指標値（θ１'－θ２'）を算出した。
【0066】
図４のデータでは、外部から隔離された環境に入室する前日（Ｌ－１）におけるストレス指標値は比較的低いが、入室後に向上し（Ｃ２－７）、後半１週間は更に向上した（Ｃ８－１４）。しかし、外部から隔離された環境から退出するとストレスが緩和された（Ｒ＋１及びＲ＋７）。これらの変化の仕方は、コルチゾール濃度の変化の仕方と良好に一致していた。
【0067】
（実施例３）
図５は本発明の方法の第三態様に従って測定したストレス指標値（（θ１－θ２）―（θ１"－θ２"））(図１及び図２参照)と、同時に測定した唾液中のコルチゾール濃度をプロットしたグラフである。
図５は本発明の方法の第三態様に従って測定したストレス指標値（（θ１－θ２）―（θ１"－θ２"））(図１及び図２参照)と、同時に測定した唾液中のコルチゾール濃度をプロットしたグラフである。
【0068】
この態様の画像処理では、最大笑顔の画像及び真顔の画像を各７回ずつ撮像し、取得した各画像について、実施例１と同様の画像処理を行った。７枚の最大笑顔の画像から得られた角度を平均してパラメータ（θ１及びθ２）とし、７枚の真顔の画像から得られた角度を平均してパラメータ（θ１"及びθ２"）とし、これらのパラメータからストレス指標値（（θ１－θ２）―（θ１"－θ２"））を算出した。
【0069】
図５のデータでは、外部から隔離された環境に入室する前日（Ｌ－１）におけるストレス指標値は負の値であったが、入室後は正の値となり、前半１週間（Ｃ２－７）より後半一週間（Ｃ８－１４）の方が指標値は増加した。外部から隔離された環境から退出するとストレスが緩和され（Ｒ＋１）、７日後には更にストレスが減少した（Ｒ＋７）。これらの変化の仕方は、コルチゾール濃度の変化の仕方と良好に一致していた。
［第２の実施形態］
第２の実施形態では、第１の実施形態のストレス評価方法を利用して、被験者のストレスをプログラムの一例であるストレス診断アプリケーションにより診断する。なお、第１の実施形態と同様な内容については適宜説明を省略する。
［第２の実施形態］
第２の実施形態では、第１の実施形態のストレス評価方法を利用して、被験者のストレスをプログラムの一例であるストレス診断アプリケーションにより診断する。なお、第１の実施形態と同様な内容については適宜説明を省略する。
【0070】
＜システム構成＞
図６Ａ及び図６Ｂは、本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システムは、図６Ａに示すように情報処理装置１単体で構成してもよいし、図６Ｂに示すようにネットワーク５で接続された被験者の１台以上のクライアント端末２、サーバ装置３及び検査実施者のクライアント端末４で構成してもよい。
図６Ａ及び図６Ｂは、本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システムは、図６Ａに示すように情報処理装置１単体で構成してもよいし、図６Ｂに示すようにネットワーク５で接続された被験者の１台以上のクライアント端末２、サーバ装置３及び検査実施者のクライアント端末４で構成してもよい。
【0071】
図６Ａの情報処理装置１は、例えば本実施形態のストレス診断アプリを実行可能なコンピュータにより実現される。情報処理装置１は、ＰＣ、スマートフォン、タブレットなどのコンピュータである。
【0072】
図６Ｂの情報処理システムのクライアント端末２及び４は、ＰＣ、スマートフォン、タブレットなどの本実施形態のストレス診断アプリを実行可能なコンピュータにより実現される。サーバ装置３は、クライアント端末２及び４で被験者や検査実施者により操作されるストレス診断アプリの管理や制御などを行う。
【0073】
このように、本実施形態に係る情報処理システムは、図６Ａに示す単体の情報処理装置１で実現しても、図６Ｂに示すクライアント・サーバ型で実現してもよい。また、図６Ａ及び図６Ｂの情報処理システムは一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば図６Ｂのサーバ装置３は複数台のコンピュータに分散して構成してもよい。
【0074】
＜ハードウェア構成＞
《情報処理装置、被験者のクライアント端末》
情報処理装置１、被験者のクライアント端末２は例えば図７Ａ及び図７Ｂに示すハードウェア構成のコンピュータにより実現される。図７Ａ及び図７Ｂはコンピュータの一例のハードウェア構成図である。
《情報処理装置、被験者のクライアント端末》
情報処理装置１、被験者のクライアント端末２は例えば図７Ａ及び図７Ｂに示すハードウェア構成のコンピュータにより実現される。図７Ａ及び図７Ｂはコンピュータの一例のハードウェア構成図である。
【0075】
図７Ａのコンピュータは入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、ＨＤＤ５０８、撮影装置５０９などを備えており、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は内蔵されている形態であっても、必要なときに接続して利用する形態であってもよい。
【0076】
入力装置５０１は被験者が各種信号を入力するのに用いるタッチパネル、操作キーやボタン、キーボードやマウスなどである。表示装置５０２は画面を表示する液晶や有機ＥＬなどのディスプレイである。通信Ｉ／Ｆ５０７は、ローカルエリアネットワーク（ＬＡＮ）やインターネットなどのネットワーク５に接続するインタフェースである。図７Ａのコンピュータは通信Ｉ／Ｆ５０７を利用し、ネットワーク５を介して通信を行うことができる。
【0077】
また、ＨＤＤ５０８はプログラム等を格納する不揮発性の記憶装置の一例である。ＨＤＤ５０８に格納されるプログラムには、基本ソフトウェアであるＯＳ、ストレス診断アプリなどが含まれる。なお、ＨＤＤ５０８は記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）やメモリカードなどの記憶装置に置き換えられていてもよい。外部Ｉ／Ｆ５０３は記録媒体５０３ａなどの外部装置とのインタフェースである。図７Ａのコンピュータは外部Ｉ／Ｆ５０３を利用して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。
【0078】
記録媒体５０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。ＲＯＭ５０５は、電源を切ってもプログラム等を保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０５には、起動時に実行されるＢＩＯＳなどのプログラム、ＯＳ設定やネットワーク設定などの各種設定が格納されている。ＲＡＭ５０４はプログラム等を一時保持する揮発性の半導体メモリ（記憶装置）の一例である。ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムをＲＡＭ５０４上に読み出し、処理を実行する演算装置である。撮影装置５０９はカメラにより撮影を行う。
【0079】
本実施形態に係る情報処理装置１及びクライアント端末２は、上記したハードウェア構成においてストレス診断アプリを実行することにより、後述するような各種処理を実現できる。なお、図７Ａのコンピュータは撮影装置５０９を備える（内蔵された）構成であるが、例えば図７Ｂに示すように、外部Ｉ／Ｆ５０３を介して接続した撮影装置５０９を利用する構成であってもよい。図７Ｂのコンピュータは、撮影装置５０９が外付けされている点で図７Ａに示したコンピュータと異なっている。
【0080】
《検査実施者のクライアント端末、サーバ装置》
サーバ装置３、検査実施者のクライアント端末４は例えば図８に示すハードウェア構成のコンピュータにより実現される。図８は、コンピュータの一例のハードウェア構成図である。なお、図７Ａ及び図７Ｂと同一な部分についての説明は省略する。
サーバ装置３、検査実施者のクライアント端末４は例えば図８に示すハードウェア構成のコンピュータにより実現される。図８は、コンピュータの一例のハードウェア構成図である。なお、図７Ａ及び図７Ｂと同一な部分についての説明は省略する。
【0081】
図８のコンピュータは、入力装置６０１、表示装置６０２、外部Ｉ／Ｆ６０３、ＲＡＭ６０４、ＲＯＭ６０５、ＣＰＵ６０６、通信Ｉ／Ｆ６０７、及びＨＤＤ６０８などを備えており、それぞれがバスＢで相互に接続されている。図８のコンピュータは図７Ａ及び図７Ｂのコンピュータの撮影装置５０９が無い構成である。図８のコンピュータは通信Ｉ／Ｆ６０７を利用し、ネットワーク５を介して通信を行う。
【0082】
＜ソフトウェア構成＞
ここでは図６Ａに示した情報処理装置１のソフトウェア構成について説明する。図９は本実施形態に係る情報処理装置の一例の機能ブロック図である。情報処理装置１は、操作受付部１０、画像入力部１２、笑顔値計測部１４、特徴点抽出部１６、指示部１８、コンテンツ生成部２０、ストレス指標算出部２２、コンテンツ表示部２４、ストレス指標記憶部２６を有する構成である。
ここでは図６Ａに示した情報処理装置１のソフトウェア構成について説明する。図９は本実施形態に係る情報処理装置の一例の機能ブロック図である。情報処理装置１は、操作受付部１０、画像入力部１２、笑顔値計測部１４、特徴点抽出部１６、指示部１８、コンテンツ生成部２０、ストレス指標算出部２２、コンテンツ表示部２４、ストレス指標記憶部２６を有する構成である。
【0083】
操作受付部１０は被験者からの操作を受け付ける。例えば操作受付部１０は被験者からストレス診断開始の操作を受け付ける。操作受付部１０は被験者から例えばストレス診断開始の操作を受け付けると、ストレス診断開始を笑顔値計測部１４及び指示部１８に通知して、ストレス診断処理を開始させる。
【0084】
画像入力部１２は撮影装置５０９が撮影した画像（入力画像）を取得する。画像入力部１２は入力画像を笑顔値計測部１４と特徴点抽出部１６とコンテンツ生成部２０とに提供する。コンテンツ生成部２０は画像入力部１２から提供された入力画像から後述するようにコンテンツ画像を生成する。コンテンツ表示部２４はコンテンツ生成部２０により生成されたコンテンツ画像を表示装置５０２に表示させる。
【0085】
笑顔値計測部１４は画像入力部１２から取得した入力画像に含まれる顔画像の笑顔値を計測する。なお、顔画像から笑顔値を計測する技術は公知であり、説明を省略する。笑顔値計測部１４により計測された笑顔値（以下、計測笑顔値と呼ぶ）はコンテンツ生成部２０に提供され、後述のようにコンテンツ画像に表示される。また、笑顔値計測部１４は計測笑顔値を特徴点抽出部１６と指示部１８とに提供する。
【0086】
指示部１８はストレス診断処理の開始後、笑顔値の目標値（以下、目標笑顔値）をコンテンツ生成部２０に提供する。コンテンツ生成部２０に提供された目標笑顔値は後述のようにコンテンツ画像に表示される。したがって、被験者は表示装置５０２に表示されたコンテンツ画像を見ながら計測笑顔値が目標笑顔値になるように笑顔を調整できる。
【0087】
特徴点抽出部１６は笑顔値計測部１４からの計測笑顔値と指示部１８からの目標笑顔値とが提供される。特徴点抽出部１６は計測笑顔値が目標笑顔値となったタイミングで入力画像に含まれる被験者の顔画像から、第１の実施形態の特徴点の位置として左右の目尻、口角、目の中心点などの位置を抽出する。
【0088】
例えば第１の実施形態のストレス評価方法の第一態様を利用する場合は、一方の側の目尻（ａ１）及び口角（ｂ１）と、他方の側の目尻（ａ２）及び口角（ｂ２）との位置を特定する。第１の実施形態のストレス評価方法の第二態様を利用する場合は、一方の側の目尻（ａ１）と口角（ｂ１）と目の中心点（ｃ１）の位置、及び、他方の側の目尻（ａ２）と口角（ｂ２）と目の中心点（ｃ２）の位置を抽出する。
【0089】
ストレス指標算出部２２は特徴点抽出部１６が抽出した特徴点の位置から、第１の実施形態のストレス評価方法でストレス指標となる値（ストレス指標値）を算出する。例えば第１の実施形態のストレス評価方法の第一態様を利用する場合、ストレス指標算出部２２は一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）と、他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）とを引く。
【0090】
そして、ストレス指標算出部２２は、引いた直線（ａ１－ｂ１）と基準線とがなす角度（θ１）及び直線（ａ２－ｂ２）と基準線とがなす角度（θ２）を計測する。ストレス指標算出部２２は、計測した角度「θ１」及び「θ２」の値をパラメータとする。ストレス指標算出部２２は得られたパラメータであるθ１とθ２との角度差（θ１－θ２）をストレス指標値として算出する。
【0091】
第１の実施形態のストレス評価方法の第二態様を利用する場合、ストレス指標算出部２２は一方の側の目尻（ａ１）と口角（ｂ１）とを通る直線（ａ１－ｂ１）と、他方の側の目尻（ａ２）と口角（ｂ２）とを通る直線（ａ２－ｂ２）と、目の中心点（ｃ１）と目の中心点（ｃ２）とを通る目の中心線とを引く。
【0092】
そして、ストレス指標算出部２２は、引いた直線（ａ１－ｂ１）と基準線である目の中心線とがなす角度（θ１'）及び直線（ａ２－ｂ２）と基準線である目の中心線とがなす角度（θ２'）を計測する。ストレス指標算出部２２は計測した角度「θ１'」及び「θ２'」の値をパラメータとする。ストレス指標算出部２２は得られたパラメータであるθ１'とθ２'との角度差（θ１'－θ２'）をストレス指標値として算出する。
【0093】
さらに、第１の実施形態のストレス評価方法の第三態様を利用する場合、上記した第一態様又は第二態様を利用して被験者が最大笑顔のときのパラメータと被験者が真顔のときのパラメータとを算出し、そのパラメータの差分をストレス指標値として算出する。ストレス指標記憶部２６はストレス指標算出部２２が算出したストレス指標値を履歴データとして日付データなどと関連付けて記憶する。
【0094】
なお、図９の情報処理装置１は計測笑顔値が目標笑顔値となったタイミングで特徴点抽出部１６が入力画像に含まれる被験者の顔画像から、第１の実施形態の特徴点の位置を抽出する例を示したが、必ずしもリアルタイムに処理する必要はない。例えば特徴点抽出部１６は計測笑顔値が目標笑顔値となったタイミングの被験者の顔画像を、履歴画像として保存しておき、後でストレス指標算出部２２が処理するようにしてもよい。
【0095】
＜処理＞
《全体処理》
本実施形態に係る情報処理装置１は例えば図１０に示すような手順で処理を行う。図１０は本実施形態に係る情報処理装置の全体処理の一例のフローチャートである。情報処理装置１は被験者によりストレス診断アプリが実行されたあと、ストレス診断開始の操作を受け付けると、ステップＳ１０に進み、コンテンツ画像に表示される被験者の顔画像の位置を合わせる、後述の顔位置合わせ処理を行う。
《全体処理》
本実施形態に係る情報処理装置１は例えば図１０に示すような手順で処理を行う。図１０は本実施形態に係る情報処理装置の全体処理の一例のフローチャートである。情報処理装置１は被験者によりストレス診断アプリが実行されたあと、ストレス診断開始の操作を受け付けると、ステップＳ１０に進み、コンテンツ画像に表示される被験者の顔画像の位置を合わせる、後述の顔位置合わせ処理を行う。
【0096】
ステップＳ１２に進み、情報処理装置１は計測笑顔値が目標笑顔値となったときの被験者の顔画像を取得する、後述のデータ取得処理を行う。ステップＳ１４に進み、情報処理装置１はステップＳ１２で取得した被験者の目標笑顔値の顔画像からストレス指標値を算出する、データ解析処理を行う。ステップＳ１６に進み、情報処理装置１はステップＳ１４で算出したストレス指標値の履歴データをレポートとして出力する、レポート出力処理を行う。
【0097】
《Ｓ１０：顔位置合わせ処理》
図１１は顔位置合わせ処理の一例のフローチャートである。ステップＳ２０において情報処理装置１の画像入力部１２は撮影装置５０９が撮影した画像（入力画像）がフレーム単位で入力される。画像入力部１２は入力画像をコンテンツ生成部２０に提供して、図１２に示すようなコンテンツ画像をストレス診断アプリ画面１０００に表示させる。図１２は顔位置合わせ処理時のストレス診断アプリ画面の一例のイメージ図である。ストレス診断アプリ画面１０００には入力画像に含まれる顔画像の目標位置である枠１００２が表示される。
図１１は顔位置合わせ処理の一例のフローチャートである。ステップＳ２０において情報処理装置１の画像入力部１２は撮影装置５０９が撮影した画像（入力画像）がフレーム単位で入力される。画像入力部１２は入力画像をコンテンツ生成部２０に提供して、図１２に示すようなコンテンツ画像をストレス診断アプリ画面１０００に表示させる。図１２は顔位置合わせ処理時のストレス診断アプリ画面の一例のイメージ図である。ストレス診断アプリ画面１０００には入力画像に含まれる顔画像の目標位置である枠１００２が表示される。
【0098】
ステップＳ２２に進み、笑顔値計測部１４は画像入力部１２から提供された入力画像を顔画像解析し、入力画像に含まれる顔画像の検出を行う。ステップＳ２０～Ｓ２４の処理は顔画像が検出できるまで繰り返される。顔画像が検出されると、笑顔値計測部１４はステップＳ２６に進み、検出された顔画像の領域（全体位置）を検出する。
【0099】
ステップＳ２８に進み、笑顔値計測部１４は検出した顔画像の全体位置が枠１００２の内側であるか否かを判定する。ステップＳ２０～Ｓ２８の処理は、検出した顔画像の全体位置が枠１００２の内側であると判定されるまで繰り返される。検出した顔画像の全体位置が枠１００２の内側であると判定されると、コンテンツ生成部２０はステップＳ３０に進み、顔画像の位置が枠１００２の内側に収まった（顔画像の位置が合った）ことを被験者に伝える「ＯＫインジケーター」を表示する。
【0100】
ステップＳ３２に進み、情報処理装置１の操作受付部１０は「ＯＫインジケーター」を表示している状態で、被験者からキャプチャー開始の指示を受け付けると、図１１の顔位置合わせ処理を終了し、図１０のステップＳ１２に示したデータ取得処理を開始する。
【0101】
《Ｓ１２：データ取得処理》
図１３はデータ取得処理の一例のフローチャートである。ステップＳ４０において情報処理装置１の画像入力部１２は撮影装置５０９が撮影した画像（入力画像）がフレーム単位で入力される。画像入力部１２は入力画像をコンテンツ生成部２０に提供して、図１４に示すようなコンテンツ画像をストレス診断アプリ画面１０００に表示させる。図１４はデータ取得処理時のストレス診断アプリ画面の一例のイメージ図である。ストレス診断アプリ画面１０００には目標笑顔値１００４と計測笑顔値１００６とが表示される。図１４では「笑顔値」を「笑顔スコア」と表示している。
図１３はデータ取得処理の一例のフローチャートである。ステップＳ４０において情報処理装置１の画像入力部１２は撮影装置５０９が撮影した画像（入力画像）がフレーム単位で入力される。画像入力部１２は入力画像をコンテンツ生成部２０に提供して、図１４に示すようなコンテンツ画像をストレス診断アプリ画面１０００に表示させる。図１４はデータ取得処理時のストレス診断アプリ画面の一例のイメージ図である。ストレス診断アプリ画面１０００には目標笑顔値１００４と計測笑顔値１００６とが表示される。図１４では「笑顔値」を「笑顔スコア」と表示している。
【0102】
左側のストレス診断アプリ画面１０００は、被験者に最大笑顔を作るように指示する目標笑顔値１００４の例である。右側のストレス診断アプリ画面１０００は、被験者に最小笑顔（真顔）を作るように指示する目標笑顔値１００４の例である。計測笑顔値１００６は笑顔値計測部１４により計測されるリアルタイムの笑顔値である。
【0103】
ステップＳ４２に進み、笑顔値計測部１４は画像入力部１２から提供された入力画像を顔画像解析し、入力画像に含まれる顔画像の検出を行う。ステップＳ４０～Ｓ４４の処理は顔画像が検出できるまで繰り返される。顔画像が検出されると、笑顔値計測部１４はステップＳ４６に進み、検出された顔画像の笑顔値を計測する。
【0104】
ステップＳ４０～Ｓ４８の処理は計測笑顔値１００６が目標笑顔値１００４になるまで繰り返される。計測笑顔値１００６が目標笑顔値１００４になると、特徴点抽出部１６はステップＳ５０に進み、計測笑顔値１００６が目標笑顔値１００４となったタイミングの被験者の顔画像、及び、笑顔値を履歴画像として保存する。ステップＳ４０～Ｓ５２の処理は、ストレス診断アプリ画面１０００に表示させる目標笑顔値１００４を、被験者に最大笑顔を作るように指示する目標笑顔値１００４と、被験者に最小笑顔を作るように指示する目標笑顔値１００４とに切替ながら、繰り返される。
【0105】
これにより、ステップＳ５０では計測笑顔値１００６が最大笑顔又は最小笑顔となったタイミングの被験者の顔画像を履歴画像として保存できる。入力画像の入力が終了すると図１３のデータ取得処理を終了し、図１０のステップＳ１４に示したデータ解析処理を開始する。
【0106】
なお、第１の実施形態に記載したように、被験者がモニタを見て表情等を意図的に変更することを回避するため、図１４のストレス診断アプリ画面１０００を図１５のストレス診断アプリ画面１０００のようにしてもよい。図１５は被験者の顔をマスキングしたストレス診断アプリ画面の一例のイメージ図である。図１５のストレス診断アプリ画面１０００は表示装置５０２に表示される被験者の目、鼻、口を含む顔画像の部分が隠れるようにマスキング１００８を施した例である。
【0107】
《Ｓ１４：データ解析処理》
図１６はデータ解析処理の一例のフローチャートである。ステップＳ６０において情報処理装置１の特徴点抽出部１６はステップＳ１２のデータ取得処理で保存した履歴画像を読み込む。ステップＳ６２に進み、特徴点抽出部１６はステップＳ６０で読み込んだ履歴画像を顔画像解析し、履歴画像に含まれる顔画像の検出を行う。ステップＳ６０～Ｓ６４の処理は顔画像が検出できるまで繰り返される。
図１６はデータ解析処理の一例のフローチャートである。ステップＳ６０において情報処理装置１の特徴点抽出部１６はステップＳ１２のデータ取得処理で保存した履歴画像を読み込む。ステップＳ６２に進み、特徴点抽出部１６はステップＳ６０で読み込んだ履歴画像を顔画像解析し、履歴画像に含まれる顔画像の検出を行う。ステップＳ６０～Ｓ６４の処理は顔画像が検出できるまで繰り返される。
【0108】
顔画像が検出されると、特徴点抽出部１６はステップＳ６６に進み、検出した顔画像から、左右の目尻、口角、目の中心点などの特徴点の位置（ランドマークデータ）を抽出する。ステップＳ６６は、最大笑顔又は最小笑顔となった被験者の顔画像から特徴点の位置を抽出する処理である。ステップＳ６６の顔画像から特徴点の位置を抽出する処理ではＡＩ（機械学習）を利用することで、より高精度な抽出が可能となる。
【0109】
ステップＳ６８に進み、ストレス指標算出部２２は特徴点抽出部１６が抽出した特徴点の位置から、第１の実施形態のストレス評価方法でストレス指標となる値（ストレス指標値）を算出する。ステップＳ７０に進み、ストレス指標算出部２２は算出したストレス指標値を履歴データとしてストレス指標記憶部２６に保存する。履歴画像の読み込みが終了すると図１６のデータ解析処理は終了する。
【0110】
図１６のデータ解析処理のイメージは例えば図１７Ａ及び図１７Ｂに示すようにストレス診断アプリ画面１０００に表示してもよい。図１７Ａは最大笑顔のときのデータ解析処理のイメージを表示するストレス診断アプリ画面の一例のイメージ図である。図１７Ｂは最小笑顔のときのデータ解析処理のイメージを表示するストレス診断アプリ画面の一例のイメージ図である。
【0111】
図１７Ａ及び１７Ｂのストレス診断アプリ画面１０００では、第１の実施形態で説明した一方の側の目尻と口角と目の中心点の位置、及び、他方の側の目尻と口角と目の中心点の位置が特徴点として示されている。また、図１７Ａ及び１７Ｂのストレス診断アプリ画面１０００では、一方の側の目尻と口角とを通る直線と、他方の側の目尻と口角とを通る直線と、画像における水平線と、両目の中心点を通る目の中心線とが示されている。
【0112】
なお、図１７Ａ及び１７Ｂのストレス診断アプリ画面１０００では、最大笑顔のときの履歴画像と最小笑顔のときの履歴画像とを切り替えるボタン１０１０と、最大笑顔又は最小笑顔のときの履歴画像がそれぞれ複数枚ある場合に履歴画像を切り替えるボタン１０１２とが設けられている。
【0113】
《Ｓ１６：レポート出力処理》
図１８はレポート出力処理の一例のフローチャートである。ステップＳ８０において情報処理装置１のコンテンツ生成部２０はステップＳ１４で保存したストレス指標値の履歴データをストレス指標記憶部２６から読み出す。
図１８はレポート出力処理の一例のフローチャートである。ステップＳ８０において情報処理装置１のコンテンツ生成部２０はステップＳ１４で保存したストレス指標値の履歴データをストレス指標記憶部２６から読み出す。
【0114】
ステップＳ８２に進み、コンテンツ生成部２０は今回（今日）のストレス指標値と過去のストレス指標値と比較する。ステップＳ８４に進み、コンテンツ生成部２０はステップＳ８２の比較結果に基づき、レポートグラフを生成する。ステップＳ８０～Ｓ８６の処理は被験者の全ての履歴データを読み出すまで繰り返される。
【0115】
被験者の全ての履歴データを読み出した後、コンテンツ表示部２４はステップＳ８８に進み、コンテンツ生成部２０により生成されたレポートグラフを含む図１９のような全体レポート１０２０を表示する。図１９は全体レポート表示時のストレス診断アプリ画面の一例のイメージ図である。図１９の全体レポート１０２０にはストレス指標値の推移が時系列に表示される。なお、図１９の全体レポート１０２０ではストレス指標値を笑顔歪み度で表している。図１９の全体レポート１０２０のように、ストレス指標値の推移を図表化することで、被験者はストレスの変化を容易に認識できる。
【0116】
また、本実施形態に係るストレス診断アプリは例えば図２０に示すようなアンケート画面１０３０からストレス診断に必要なアンケートを被験者に対して行い、アンケートによるストレス診断を行える機能を設けてもよい。
【0117】
この場合、コンテンツ表示部２４は例えば図２１に示すように顔画像解析によるストレス診断の結果１０４０とアンケートによるストレス診断の結果１０４２とを表示するようにしてもよい。
【0118】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば上記の実施形態では情報処理装置１を例として説明したが、図９に示した機能ブロックを図６Ｂに示したクライアント端末２、サーバ装置３及びクライアント端末４に分散配置した構成であってもよいことは言うまでもないことである。
【0119】
また、図６Ｂに示した情報処理システムでは、被験者のクライアント端末２及び検査実施者のクライアント端末４とで同一の全体レポート１０２０を表示してもよいし、内容の異なる被験者用又は検査実施者用の全体レポート１０２０を表示してもよい。また、本実施形態では「ストレス指標」という用語を用いたが、ストレスの同義語や対義語を使った用語であってもよいことは言うまでもないことである。
【0120】
また、本実施形態では表情の一例である笑顔について説明したが、笑顔以外の表情にも適用できる。顔表情から各感情を度合いで出力する表情分析のソフトウェアやサービスは公知の技術である。さらに、本実施形態では「顔のゆがみ」の一例である「顔の左右のゆがみ」について説明したが「顔の左右のゆがみ」以外の「ゆがみ」にも適用できる。例えば顔の仮想中心から見た口元や目尻の上下左右方向のずれを「ゆがみ」と捉えることも可能である。
【0121】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。本願は、日本特許庁に２０１７年１０月１０日に出願された基礎出願２０１７―１９６５０５号の優先権を主張するものであり、その全内容を参照によりここに援用する。
【産業上の利用可能性】
【0122】
本発明のストレス評価方法は、ＰＣやタブレット又はスマートホン等を使用して簡便かつ非侵襲的にストレス指標値を測定できるので、各人による自己のストレス管理にも、企業による従業員のストレス状態の適切な管理にも有用である。
【符号の説明】
【0123】
１ 情報処理装置
２、４ クライアント端末
３ サーバ装置
５ ネットワーク
１０ 操作受付部
１２ 画像入力部
１４ 笑顔値計測部
１６ 特徴点抽出部
１８ 指示部
２０ コンテンツ生成部
２２ ストレス指標算出部
２４ コンテンツ表示部
２６ ストレス指標記憶部
５０１、６０１ 入力装置
５０２、６０２ 表示装置
５０３、６０３ 外部Ｉ／Ｆ
５０３ａ、６０３ａ 記録媒体
５０４、６０４ ＲＡＭ
５０５、６０５ ＲＯＭ
５０６、６０６ ＣＰＵ
５０７、６０７ 通信Ｉ／Ｆ
５０８、６０８ ＨＤＤ
５０９ 撮影装置
１０００ ストレス診断アプリ画面
１００２ 枠
１００４ 目標笑顔値
１００６ 計測笑顔値
１００８ マスキング
１０１０、１０１２ 切り替えるボタン
１０２０ 全体レポート
１０３０ アンケート画面
１０４０ 顔画像解析によるストレス診断の結果
１０４２ アンケートによるストレス診断の結果
Ｂ バス
２、４ クライアント端末
３ サーバ装置
５ ネットワーク
１０ 操作受付部
１２ 画像入力部
１４ 笑顔値計測部
１６ 特徴点抽出部
１８ 指示部
２０ コンテンツ生成部
２２ ストレス指標算出部
２４ コンテンツ表示部
２６ ストレス指標記憶部
５０１、６０１ 入力装置
５０２、６０２ 表示装置
５０３、６０３ 外部Ｉ／Ｆ
５０３ａ、６０３ａ 記録媒体
５０４、６０４ ＲＡＭ
５０５、６０５ ＲＯＭ
５０６、６０６ ＣＰＵ
５０７、６０７ 通信Ｉ／Ｆ
５０８、６０８ ＨＤＤ
５０９ 撮影装置
１０００ ストレス診断アプリ画面
１００２ 枠
１００４ 目標笑顔値
１００６ 計測笑顔値
１００８ マスキング
１０１０、１０１２ 切り替えるボタン
１０２０ 全体レポート
１０３０ アンケート画面
１０４０ 顔画像解析によるストレス診断の結果
１０４２ アンケートによるストレス診断の結果
Ｂ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21】