特開 2024-133762 情報通信装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133762

(43)【公開日】2024-10-03

(54)【発明の名称】情報通信装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240926BHJP

   G06T 7/00 20170101ALI20240926BHJP

   G06T 7/246 20170101ALI20240926BHJP

   G06V 40/16 20220101ALI20240926BHJP

   H04N 7/18 20060101ALI20240926BHJP

   A61B 5/1171 20160101ALI20240926BHJP

   A61B 5/16 20060101ALI20240926BHJP

【ＦＩ】

G06T7/20 300B

G06T7/00 660A

G06T7/246

G06V40/16 B

H04N7/18 K

H04N7/18 C

A61B5/1171 200

A61B5/16 120

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023043716

(22)【出願日】2023-03-20

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】太田 祥司

(72)【発明者】

【氏名】岩間 茂彦

(72)【発明者】

【氏名】箱嶋 修二

(72)【発明者】

【氏名】小村田 美玖

(72)【発明者】

【氏名】齋藤 敦

(72)【発明者】

【氏名】松島 ひかる

【テーマコード（参考）】

4C038

5C054

5L096

【Ｆターム（参考）】

4C038PP03

4C038PR01

4C038PS00

5C054CA04

5C054CC02

5C054CD03

5C054CD05

5C054FC12

5C054FE14

5C054FE16

5C054HA05

5C054HA12

5L096EA13

5L096EA14

5L096EA16

5L096EA23

5L096FA39

5L096JA05

5L096KA04

(57)【要約】

【課題】対象者がモノを見た時の表情の変化の情報を提供する。
【解決手段】情報通信装置１０は、顔画像３０を撮影するカメラ部１１と、カメラ部１１で撮影した顔画像３０の大きさと傾きを正規化する正規化部１２と、顔画像３０の個人を識別する識別部１３と、識別部１３で識別した個人の正規化された顔画像３０の特徴点３１を検出する検出部１４と、画像を表示する表示部１５と、他の情報通信装置９０と通信する通信部１６と、を備え、検出部１４は、識別部１３が対象者ＳＰ（一の個人）を特定した場合に、通信部１６で受信した提示用画像４０を表示部１５に表示して、提示用画像４０の表示前後に撮影され正規化された顔画像３０間の特徴点３１の変化が所定の基準を上回った場合に、対象者ＳＰ（一の個人）に変化があったことを出力する。
【選択図】図７

【特許請求の範囲】

【請求項1】

顔画像を撮影するカメラ部と、
前記カメラ部で撮影した前記顔画像の大きさと傾きを正規化する正規化部と、
前記顔画像の個人を識別する識別部と、
前記識別部で識別した個人の正規化された前記顔画像の特徴点を検出する検出部と、
画像を表示する表示部と、
他の情報通信装置と通信する通信部と、を備え、
前記検出部は、
前記識別部が一の個人を特定した場合に、前記通信部で受信した提示用画像を前記表示部に表示して、
前記提示用画像の表示前後に撮影され正規化された前記顔画像間の前記特徴点の変化が所定の基準を上回った場合に、前記一の個人に変化があったことを出力する、
情報通信装置。

【請求項2】

前記検出部は、
前記提示用画像の表示前後に撮影された前記顔画像間の前記特徴点の変位ベクトルを検出し、
前記変位ベクトルと所定の基準ベクトルとの内積が所定の閾値以下であったときに、前記特徴点の変化が前記所定の基準を上回ったと判定する、
請求項１に記載の情報通信装置。

【請求項3】

過去の前記変位ベクトルと表示した前記提示用画像を関連付けて記憶する記憶部をさらに備え、
前記検出部は、前記記憶部に記憶された前記提示用画像における過去の複数の前記変位ベクトルから得られた統計量を前記基準ベクトルとして採用する、
請求項２に記載の情報通信装置。

【請求項4】

前記特徴点は、前記顔画像の複数の箇所に設定され、
前記検出部は、
前記特徴点それぞれについて前記変位ベクトルと前記基準ベクトルとの内積を特徴点内積値として求め、
前記特徴点内積値を所定の条件で加算した計算値が所定の閾値以下であったときに、前記特徴点の変化が前記所定の基準を上回ったと判定する、
請求項２または３に記載の情報通信装置。

【請求項5】

人の容姿を映す鏡をさらに備え、
前記カメラ部は、前記鏡と向かい合う人の前記顔画像を撮影する、
請求項１～３のいずれか１項に記載の情報通信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報通信装置に関する。

【背景技術】

【0002】

対象者が日常行動で用いる装置を、対象者の健康状態の維持管理に利用する技術が知られている（例えば特許文献１）。特許文献１では、洗面台のガラス面裏にハーフミラーを介してビデオカメラとモニターとを備え、対象者が日常的に洗面台を利用するときに、対象者の映像と共に、各種センサで取得した対象者の健康管理情報を表示する洗面台型ディスプレイ装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－１８３３１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の装置では、対象者の肉体的な健康状態を提示することができるものの、対象者の精神的な健康状態を把握することはできない。

【0005】

本発明は、上記に鑑みてなされたものであり、対象者がモノを見た時の表情の変化の情報を提供することが可能な情報通信装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る情報通信装置は、顔画像を撮影するカメラ部と、前記カメラ部で撮影した前記顔画像の大きさと傾きを正規化する正規化部と、前記顔画像の個人を識別する識別部と、前記識別部で識別した個人の正規化された前記顔画像の特徴点を検出する検出部と、画像を表示する表示部と、他の情報通信装置と通信する通信部と、を備え、前記検出部は、前記識別部が一の個人を特定した場合に、前記通信部で受信した提示用画像を前記表示部に表示して、前記提示用画像の表示前後に撮影され正規化された前記顔画像間の前記特徴点の変化が所定の基準を上回った場合に、前記一の個人に変化があったことを出力する。

【発明の効果】

【0007】

本発明によれば、対象者の精神的な健康状態の情報を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１実施形態に係る情報通信装置の一例を示すブロック図である。

【図2】図２は、情報通信装置の構造を説明するための模式図である。

【図3】図３は、提示用画像の表示前の顔画像および提示用画像の表示後の顔画像を説明する模式図である。

【図4】図４は、変位ベクトルを説明する模式図である。

【図5】図５は、通常時の変位ベクトルと基準ベクトルとの内積を例示する説明図である。

【図6】図６は、対象者が普段と異なる精神状態にある場合の、変位ベクトルと基準ベクトルとの内積を例示する説明図である。

【図7】図７は、情報通信装置の動作を説明するためのフローチャートである。

【図8】図８は、第２実施形態に係る情報通信装置における、顔画像の特徴点の設定を示す説明図である。

【図9】図９は、特徴点の変化の判定方法を説明する説明図である。

【図10】図１０は、第３実施形態に係る情報通信装置の一例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、本発明に係る情報通信装置の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0010】

＜情報通信装置の構成＞
図１は、第１実施形態に係る情報通信装置１０の一例を示すブロック図である。図２は、情報通信装置１０の構造を説明するための模式図である。第１実施形態に係る情報通信装置１０は、予め登録された対象者(一の個人)ＳＰの顔画像３０を撮影し、撮影した顔画像３０に基づいて対象者の健康状態を評価し、評価結果４１を他の情報通信装置９０と共有することができる。

【0011】

他の情報通信装置９０は、例えば、対象者の健康状態を評価したい家族（保護者）、医師、医療又は介護スタッフなどが使用する。

【0012】

図１に示すように、情報通信装置１０は、カメラ部１１と、正規化部１２と、識別部１３と、検出部１４と、表示部１５と、通信部１６と、記憶部１７と、を備える。

【0013】

カメラ部１１は、顔画像３０を撮影する。カメラ部１１は、１または複数のカメラにより構成され、それぞれのカメラがイメージセンサを有する。カメラ部１１は、動画像および静止画像を撮影できる。

【0014】

正規化部１２は、カメラ部１１で撮影した顔画像３０の大きさと傾きを正規化する。正規化部１２は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）のようなプロセッサを含み、画像の正規化処理を行う。正規化の結果、顔画像３０に映る個人の顔の傾きやカメラ部１１までの距離による顔の大きさが一定範囲に補正される。

【0015】

識別部１３は、顔画像３０の個人を識別する。識別部１３は、ＣＰＵのようなプロセッサを含み、画像認識を行う。識別部１３は、カメラ部１１で撮影された顔画像３０中に、予め記憶部１７に登録された一の個人（対象者ＳＰ、図２参照）が映っているか否かを判定する。

【0016】

検出部１４は、識別部１３で識別した個人の正規化された顔画像３０の特徴点３１を検出する。検出部１４は、ＣＰＵのようなプロセッサを含み、画像認識により、正規化された顔画像３０中から、予め設定された特徴点３１の位置を取得する。

【0017】

表示部１５は、画像を表示する。表示部１５は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ：ＬＣＤ）又は有機ＥＬディスプレイ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ ｄｉｓｐｌａｙ：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。

【0018】

通信部１６は、他の情報通信装置９０と通信する。通信部１６は、有線または無線の通信モジュールを含む。通信部１６は、インターネットなどのネットワークを介した通信により、装置間で各種データのやり取りを行う。すなわち、通信部１６は、他の情報通信装置９０から、対象者ＳＰの状態評価の際に対象者ＳＰに提示するための提示用画像４０を取得し、記憶部１７に格納する。通信部１６は、対象者ＳＰの健康状態の評価結果４１を、他の情報通信装置９０に対して送信する。

【0019】

記憶部１７は、情報通信装置１０が利用する各種データ、顔画像３０、およびプロセッサが実行するプログラムを記憶する。記憶部１７は、通信部１６で受信した提示用画像４０を、予め登録された対象者ＳＰ(一の個人)の情報と対応付けて記憶する。記憶部１７は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクなどの記憶装置である。記憶部１７は、ＳＤメモリーカードなどの可搬型記録媒体を着脱可能であってもよく、装着された可搬型記録媒体に上記各種のデータを記憶してもよい。

【0020】

他の情報通信装置９０は、通信機能を有する任意の装置である。他の情報通信装置９０は、例えばパーソナルコンピュータ、スマートフォン、タブレット型端末、などでありうる。

【0021】

＜情報通信装置の構造＞
図２に示すように、情報通信装置１０は、人の容姿を映す鏡２０をさらに備える。情報通信装置１０は、洗面台の鏡や、鏡台として構成されうる。対象者ＳＰは、日常生活の例えば歯磨き、整髪、化粧などのため、定期的に鏡２０と正対する。図２に示す対象者ＳＰは、正確には、鏡２０に映りこんだ対象者ＳＰの鏡像である。鏡２０は、ハーフミラーであり、入射光の一部を反射して鏡像を形成するとともに、入射光の他の一部を透過する。

【0022】

カメラ部１１は、鏡２０と向かい合う人の顔画像３０を撮影する。カメラ部１１は、鏡２０の上部に配置され、鏡２０の正面方向を撮影するように設けられている。図２の例では、カメラ部１１は、鏡２０の上辺の一端（左端）と他端（右端）とにそれぞれ設けられた一対のカメラ１１ａ、１１ｂを有する。カメラ部１１は、対象者ＳＰが鏡２０の正面に位置したときに、カメラ１１ａ、１１ｂによって対象者ＳＰの顔画像３０を撮影する。カメラ部１１は、鏡２０を透過して撮影するように鏡２０の背面側に設けられていてもよい。

【0023】

表示部１５は、鏡２０の背面側に設けられている。図２の例では、表示部１５は、鏡２０の図中右上隅部の位置に配置されている。表示部１５で表示された画像は、鏡２０を透過して、対象者ＳＰによって視認される。これにより、表示部１５は、通信部１６で受信した提示用画像４０を表示して、鏡２０で自己の鏡像を見ている対象者ＳＰに提示用画像４０を視認させることができる。表示部１５は、鏡２０の一部に形成した貫通孔内に設置されてもよいし、鏡２０の隣に並んで設置されていてもよく、その場合鏡２０はハーフミラーでなくてもよい。

【0024】

＜精神状態の判定方法＞
第１実施形態では、検出部１４は、識別部１３が一の個人（対象者ＳＰ）を特定した場合に、通信部１６で受信した提示用画像４０を表示部１５に表示させる。検出部１４は、提示用画像４０の表示前後に撮影され正規化された顔画像３０間の特徴点３１（図３参照）の変化が所定の基準を上回った場合に、対象者ＳＰ（一の個人）が通常と異なる状態にあることを出力する。すなわち、第１実施形態では、検出部１４は、提示用画像４０の表示前後の顔画像３０間の特徴点３１の変化に基づいて、対象者ＳＰが普段通りの精神状態にあるか、普段とは異なった精神状態にあるか、を判断する。

【0025】

提示用画像４０は、対象者ＳＰが当該画像を視認することにより、対象者ＳＰに何らかの感情を惹起させる傾向のある画像である。提示用画像４０は、好ましくは、対象者ＳＰにポジティブな感情（喜び、楽しみ、愛情、など）を抱かせる画像である。そのような提示用画像４０は、例えば、対象者ＳＰの家族（子供や孫）や恋人、ペット、対象者ＳＰが愛好する事物、などの画像であり、対象者ＳＰの家族等が利用する他の情報通信装置９０から予め提供される。提示用画像４０を視認した対象者ＳＰには、ポジティブな感情変化が生じる。つまり、自然と顔がほころぶといった具合に、感情の変化に応じた表情の変化が対象者ＳＰに現れる。

【0026】

図３は、提示用画像４０の表示前の顔画像３０ａおよび提示用画像４０の表示後の顔画像３０ｂを説明する模式図である。図４は、変位ベクトル３２を説明する模式図である。以下、変位ベクトルを用いた判定方法の例を説明するが、大きさや長さの変位を基準値と比較する、例えば、偏差を用いることも可能で、これらに限定されない。

【0027】

図３に示す例では、特徴点３１は、顔の口角である。口角は、唇の端部の部分である。まず、正規化部１２は、各顔画像３０ａ、３０ｂ中の顔の輪郭および唇の中心により各画像を正規化する。これにより、顔画像３０ａ、３０ｂ中の顔の傾きおよび唇の上下位置が一致（点線部参照）する。

【0028】

図４に示すように、顔画像３０ａにおける口角の位置と比較して、顔画像３０ｂでは口角の位置が上昇していることが分かる。検出部１４は、顔画像３０ａおよび顔画像３０ｂの各々における特徴点３１の位置座標を取得する。

【0029】

そして、検出部１４は、提示用画像４０の表示前後に撮影された顔画像３０間の特徴点３１の変位ベクトル３２を検出し、変位ベクトル３２と所定の基準ベクトル３５との内積が所定の閾値以下であったときに、特徴点３１の変化が所定の基準を上回った（つまり、対象者ＳＰが通常と異なる）と判定する。

【0030】

具体的には、検出部１４は、顔画像３０ａの特徴点３１の位置座標に対する、顔画像３０ｂの特徴点３１の位置座標の変化を、変位ベクトル３２として取得する。無表情の顔画像３０ａから、笑顔の顔画像３０ｂへの特徴点３１の変位ベクトル３２は、画像中の上向きのベクトルとなる。

【0031】

第１実施形態では、記憶部１７は、過去の変位ベクトル３２と表示した提示用画像４０とを関連付けて記憶している。そして、検出部１４は、記憶部１７に記憶された提示用画像４０における過去の複数の変位ベクトル３２から得られた統計量を基準ベクトル３５として採用する。統計量は、例えば、ベクトルの平均値である。統計量は、例えば、正規分布などの統計モデルを観測データに当てはめて求めた信頼度を伴う平均値である。つまり、毎日の習慣で取得され、蓄積された過去の変位ベクトル３２の平均が、基準ベクトル３５となる。

【0032】

図５は、通常時、すなわち、対象者ＳＰが普段と変わらない場合の、変位ベクトル３２と基準ベクトル３５との内積を例示する説明図である。図６は、対象者ＳＰが普段と異なる精神状態にある場合の、変位ベクトル３２と基準ベクトル３５との内積を例示する説明図である。

【0033】

提示用画像４０の表示前後の表情の変化（口角の位置変化）は、対象者ＳＰの精神状態が普段通りであれば、概ね、似た傾向を示す。つまり、図５に示すように、新たに取得された変位ベクトル３２ａと、基準ベクトル３５とは、方向が類似する。その結果、変位ベクトル３２ａと基準ベクトル３５との内積は正の値となる（２つのベクトルのなす角が小さくなる）。

【0034】

一方、対象者ＳＰの表情の変化が普段と異なる場合、つまり、対象者ＳＰが提示用画像４０を視認したときに普段と異なる感情が惹起されたと予測される場合では、図６に示すように、提示用画像４０の視認後の顔画像３０ｂにおいて、口角（特徴点３１）の位置が上がらず、むしろ下がったり、あるいは口角の位置が変化せずに無表情のままになったりする。その場合に取得される変位ベクトル３２ｂは、基準ベクトル３５とは異なる方向を向く。その結果、変位ベクトル３２ｂと基準ベクトル３５との内積は、たとえば負の値となるなど、図５の内積の値からは乖離する。

【0035】

そのため、図５の状態（内積）と図６の状態（内積）とを区分する適切な閾値を設定することによって、対象者ＳＰの精神状態が、普段通りで安定しているか、普段とは異なった状態にあるかが、内積の大きさに基づいて判断できる。この例では、内積の閾値をゼロとすることができる。

【0036】

このようにして、検出部１４は、変位ベクトル３２と所定の基準ベクトル３５との内積が閾値以下の場合に、特徴点３１の変化が所定の基準を上回った（すなわち、対象者ＳＰが通常と異なる）と判定する。この場合、検出部１４は、通信部１６で対象者ＳＰ（一の個人）に通常と異なる変化があったことを出力する。通信部１６は、例えば、評価結果４１として、予め設定された他の情報通信装置９０に対して、対象者ＳＰに通常と異なる変化があったことを出力する。

【0037】

これにより、情報通信装置１０は、例えば、家族と離れて独居する高齢の対象者ＳＰの健康状態、特に精神状態の変化を、対象者ＳＰの家族の端末（他の情報通信装置９０）へ出力することができる。また例えば、情報通信装置１０は、遠方で寮生活や一人暮らしを営む対象者ＳＰ（子供）の健康状態を、対象者ＳＰの家族の端末（他の情報通信装置９０）へ出力することができる。

【0038】

検出部１４は、対象者ＳＰに変化があったことを表示部１５に出力してもよい。情報通信装置１０は、自己の状態が普段と異なることを対象者ＳＰ自身に認識させることで、精神状態の健康維持への動機づけを対象者ＳＰに提供することができる。

【0039】

なお、検出部１４は、変位ベクトル３２と所定の基準ベクトル３５との内積が所定の閾値よりも大きい場合、特徴点３１の変化が所定の基準内である（すなわち、対象者ＳＰがいつも通りである）と判定する。

【0040】

＜情報通信装置の動作＞
図７は、情報通信装置１０の動作を説明するためのフローチャートである。図７を参照して、第１実施形態に係る情報通信装置１０の動作を説明する。

【0041】

まず、情報通信装置１０は、カメラ部１１によって顔画像３０を取得する。カメラ部１１により画像を撮影したときに鏡２０の前に対象者ＳＰがいれば、顔画像３０が取得される（ステップＳ１）。

【0042】

識別部１３は、画像が取得されると、予め登録された対象者ＳＰを特定したか否かを判断する（ステップＳ２）。情報通信装置１０は、対象者ＳＰを特定していない場合、処理をステップＳ１に戻す。情報通信装置１０は、ステップＳ１、Ｓ２を繰り返すことにより、日常の習慣で対象者ＳＰが鏡２０を利用するタイミングで、対象者ＳＰの顔画像３０を取得する。

【0043】

情報通信装置１０は、対象者ＳＰが特定されると、健康状態の評価を開始するか否かを判断する（ステップＳ３）。情報通信装置１０は、対象者ＳＰの明示の指示により、または対象者ＳＰの指示なしで自動的に、健康状態の評価を開始する。対象者ＳＰの明示の指示は、例えば予め登録されたジェスチャー（サムアップなど）である。情報通信装置１０がマイクや操作部（タッチパネルやスイッチなど）を備える場合、対象者ＳＰの音声入力や操作入力を受け付けてもよい。自動的な開始の条件は、例えば、所定時間（１秒～数秒など）の間、対象者ＳＰが鏡２０を正視したことである。自動的な開始の条件は、例えば、あらかじめ設定された毎日の同じ時間帯である。情報通信装置１０は、健康状態の評価を開始しない場合、処理をステップＳ１に戻す。

【0044】

情報通信装置１０は、健康状態の評価を開始する場合、提示用画像４０の表示前後の対象者ＳＰの顔画像３０を取得する（ステップＳ４）。つまり、情報通信装置１０は、表示前の顔画像３０ａの取得、提示用画像４０の表示、および表示後の顔画像３０ｂの取得、という３つの処理をこの順で行う。

【0045】

まず、カメラ部１１が、提示用画像４０の表示前に、鏡２０の鏡像を見ている対象者ＳＰの顔画像３０を撮影する。提示用画像４０の表示前の顔画像３０ａは、識別部１３によって対象者ＳＰを特定するためにステップＳ１で撮影した画像であってもよいし、提示用画像４０の提示直前のタイミングで撮影されてもよい。

【0046】

次に、表示部１５は、通信部１６で受信した提示用画像４０を表示する。提示用画像４０は、通信部１６により他の情報通信装置９０から予め取得され、記憶部１７に格納されている。

【0047】

カメラ部１１は、提示用画像４０の表示後に、提示用画像４０を見た対象者ＳＰの顔画像３０ｂを撮影する。これにより、提示用画像４０によって惹起された表情変化を示した対象者ＳＰの顔画像３０ｂが得られる。このようにして、情報通信装置１０は、ステップＳ４において、提示用画像４０の表示前の顔画像３０ａと、表示後の顔画像３０ｂとを、それぞれ取得する。

【0048】

次に、正規化部１２は、得られた各顔画像３０ａ、３０ｂの正規化を行う（ステップＳ５）。

【0049】

次に、検出部１４は、正規化された各顔画像３０ａ、３０ｂから特徴点３１をそれぞれ検出し、提示用画像４０の表示前後に撮影された各顔画像３０ａ、３０ｂ間の特徴点３１の変位ベクトル３２を検出する（ステップＳ６）。

【0050】

検出部１４は、変位ベクトル３２と基準ベクトル３５との内積を取得する（ステップＳ７）。

【0051】

検出部１４は、変位ベクトル３２と基準ベクトル３５との内積が、所定の閾値以下か否かを判断する（ステップＳ８）。内積が閾値以下であった場合、検出部１４は、通信部１６により、他の情報通信装置９０に、対象者ＳＰの変化があった（いつもと違う）ことを出力する（ステップＳ９）。通信部１６は、「対象者ＳＰの変化があったこと」を含む評価結果４１を他の情報通信装置９０へ送信する。

【0052】

検出部１４は、内積が閾値よりも大きい場合、対象者ＳＰの変化がなかった（いつも通り）と判定し、通知をせずに処理を終了する。なお、内積が閾値よりも大きい場合に、検出部１４は、「対象者ＳＰの変化がなかったこと」を含む評価結果４１を他の情報通信装置９０や表示部１５に出力してもよい。

【0053】

以上により、情報通信装置１０の動作が終了する。

【0054】

＜第１実施形態の効果＞
以上のように、第１実施形態に係る情報通信装置１０は、顔画像３０を撮影するカメラ部１１と、カメラ部１１で撮影した顔画像３０の大きさと傾きを正規化する正規化部１２と、顔画像３０の個人を識別する識別部１３と、識別部１３で識別した個人の正規化された顔画像３０の特徴点３１を検出する検出部１４と、画像を表示する表示部１５と、他の情報通信装置９０と通信する通信部１６と、を備え、検出部１４は、識別部１３が対象者ＳＰ（一の個人）を特定した場合に、通信部１６で受信した提示用画像４０を表示部１５に表示して、提示用画像４０の表示前後に撮影され正規化された顔画像（３０ａ、３０ｂ）間の特徴点３１の変化が所定の基準を上回った場合に、対象者ＳＰの反応に変化があったことを出力する。

【0055】

そのため、提示用画像４０の表示前後に撮影された顔画像（３０ａ、３０ｂ）間の特徴点３１の変化、すなわち、提示用画像４０を見たことによる対象者ＳＰの表情の変化を捉えて、対象者ＳＰの反応が普段通りであるのか、それとも普段と異なっているのかを、判断できる。そして、基準を上回る特徴点３１の変化があった場合に、その旨を出力することにより、対象者ＳＰの精神的な健康状態を示唆する情報を提供することができる。

【0056】

また、第１実施形態では、基準を上回る特徴点３１の変化があった場合に、通信部１６で他の情報通信装置９０に対して対象者ＳＰ（一の個人）に変化があったことを出力するので、対象者ＳＰの精神的な健康状態の情報を他の装置と連携して提供し、共有することができる。

【0057】

第１実施形態に係る情報通信装置１０では、検出部１４は、提示用画像４０の表示前後に撮影された顔画像（３０ａ、３０ｂ）間の特徴点３１の変位ベクトル３２を検出し、変位ベクトル３２と所定の基準ベクトル３５との内積が所定の閾値以下であったときに、特徴点３１の変化が所定の基準を上回ったと判定する。これにより、提示用画像４０の表示に起因する対象者ＳＰの表情の変化を基準ベクトル３５（つまり、典型的な表情変化）と対比できるので、対象者ＳＰの精神状態が通常と異なるか否かを適切に判断できる。

【0058】

第１実施形態に係る情報通信装置１０は、過去の変位ベクトル３２と表示した提示用画像４０を関連付けて記憶する記憶部１７をさらに備え、検出部１４は、記憶部１７に記憶された提示用画像４０における過去の複数の変位ベクトル３２から得られた統計量を基準ベクトル３５として採用する。これにより、対象者ＳＰ（一の個人）自身の普段の状態の変位ベクトルを基準ベクトル３５として利用できるので、対象者ＳＰの精神状態が、対象者ＳＰ自身の普段の状態と異なるか否かを精度よく判断できる。

【0059】

第１実施形態に係る情報通信装置１０は、人の容姿を映す鏡２０をさらに備え、カメラ部１１は、鏡２０と向かい合う人の顔画像３０を撮影する。これにより、歯磨き、整髪、化粧などといった鏡２０によって自身を視認する生活習慣の場面で、顔画像３０を撮影できる。人が鏡２０を見るときは、高い確率で鏡２０を正視するので、極めて容易に、画像認識および画像処理に適した高品質な顔画像３０を取得できる。また、多くの人が、毎日の同じような時間に同じような態様で鏡２０と向かい合う。そのため、対象者ＳＰが、意識的に、情報通信装置１０による健康状態の評価を実行しなくても、自然のままで健康状態の評価を行うことができる。

【0060】

［第２実施形態］
第２実施形態について説明する。図８は、第２実施形態に係る情報通信装置１０における、顔画像３０の特徴点３１の設定を示す説明図である。以下の説明においては、情報通信装置１０の構成要素は上記第１実施形態と同様であるので、同一の符号または対応する符号を付し、その詳細な説明は省略する。

【0061】

上記第１実施形態では、顔画像３０の特徴点３１を口角に設定した例を示したが、第２実施形態では、図８に示すように、特徴点３１は、顔画像３０の複数の箇所に設定されている。

【0062】

特徴点３１の数は特に限定されないが、図８では、３つの特徴点３１（３１ａ～３１ｃ）を設定した例を示す。特徴点３１ａは、顔の口角に設定されている。特徴点３１ｂは、顔の眉部に設定されている。特徴点３１ｃは、目の瞳孔又は虹彩に設定されている。設定される特徴点３１は、これらの例に限られないが、人の感情の変化が表情の変化として現れやすい箇所を、特徴点３１として設定することが好ましい。

【0063】

特徴点３１ａは、上記第１実施形態と同様である。検出部１４は、特徴点３１ｂの変化として、例えば眉部の輪郭線の位置や傾きの移動方向のベクトルを検出する。眉部は、例えば眉間にしわを寄せるといった具合に、人の感情の変化をよく表す。検出部１４は、特徴点３１ｃの変化として、例えば瞳孔又は虹彩の変位（すなわち、視線変化）、または、瞳孔の大きさの変化を検出する。例えば、特徴点として瞳孔の大きさを用いる場合、提示用画像４０の表示前後で瞳孔の直径の大きさの変化値（拡大を正値、縮小を負値）が、過去の変化値の平均値を基準値として、基準値との差分値（偏差）を求め、内積値の代わりに使用することができる。例えば対象者ＳＰが提示用画像４０に興味を示さない場合（瞳孔の大きさが拡大しない場合）や、提示用画像４０から視線を逸らした場合には、対象者ＳＰが普段とは異なった精神状態にあることを示唆する。

【0064】

図９は、特徴点３１の変化の判定方法を説明する説明図である。第２実施形態では、検出部１４は、特徴点３１ａ～３１ｃそれぞれについて変位ベクトル３２と基準ベクトル３５との内積を特徴点内積値Ｐａ～Ｐｃとして求める。

【0065】

図９では、特徴点３１ａ～３１ｃを、それぞれ「特徴点Ａ」～「特徴点Ｃ」と表記している。記憶部１７には、特徴点３１ａ～３１ｃの各々に対する基準ベクトル３５が予め記憶されている。検出部１４は、特徴点３１ａについての変位ベクトル３２と基準ベクトル３５とに基づき、特徴点内積値Ｐａを算出する。同様に、検出部１４は、特徴点３１ｂについての特徴点内積値Ｐｂ、特徴点３１ｃについての特徴点内積値Ｐｃを、それぞれ算出する。

【0066】

検出部１４は、特徴点内積値Ｐａ～Ｐｃの合計Ｐ_ｓｕｍが所定の閾値以下であったときに、特徴点３１の変化が所定の基準を上回ったと判定する。すなわち、検出部１４は、得られた特徴点内積値Ｐａ～Ｐｃの合計Ｐ_ｓｕｍを算出し、合計Ｐ_ｓｕｍが、記憶部１７に予め設定された閾値を上回るか否かにより、対象者ＳＰに変化があったか否かを判断する。検出部１４は、合計Ｐ_ｓｕｍが閾値以下であった場合、対象者ＳＰに変化があったことを出力する。例えば、合計Ｐ_ｓｕｍは、特徴点内積値Ｐａ～Ｐｃのそれぞれに重み係数Ｘａ～Ｘｃを乗じた上で加算した合計値であってもよい。例えば、重み係数Ｘａ～Ｘｃは、特徴点３１ａ～３１ｃのそれぞれに現れるベクトルの大きさの違いを調整する正規化係数である。なお、合計値は、加算値に限定されず、所定の計算式を用いることができる。

【0067】

第２実施形態のその他の構成は、上記第１実施形態と同様である。

【0068】

＜第２実施形態の効果＞
第２実施形態に係る情報通信装置１０では、上記第１実施形態と同様に、対象者ＳＰの精神的な健康状態を示唆する情報を提供することができる。

【0069】

また、第２実施形態に係る情報通信装置１０では、特徴点３１ａ～３１ｃは、顔画像３０の複数の箇所に設定され、検出部１４は、特徴点３１ａ～３１ｃそれぞれについて変位ベクトル３２と基準ベクトル３５との内積を特徴点内積値Ｐａ～Ｐｃとして求め、特徴点内積値Ｐａ～Ｐｃを所定の条件で加算した計算値（合計Ｐ_ｓｕｍ）が所定の閾値以下であったときに、特徴点３１の変化が所定の基準を上回ったと判定する。これにより、提示用画像４０を表示させたときの対象者ＳＰ（一の個人）の表情の変化を、より多くの箇所に設定した特徴点３１ａ～３１ｃの変化により総合的に取得できる。その結果、提示用画像４０により惹起される対象者ＳＰの感情（表情）の変化の判定結果の信頼性を向上させることができる。

【0070】

［第３実施形態］
図１０を参照しながら、第３実施形態について説明する。図１０は、第３実施形態に係る情報通信装置１０Ａの一例を示すブロック図である。以下の説明において、上記第１実施形態と同様の構成要素については、同一の符号または対応する符号を付し、その詳細な説明は省略する。

【0071】

第３実施形態に係る情報通信装置１０Ａは、上記第１実施形態との相違点として、データ取得部５０をさらに備える。

【0072】

データ取得部５０は、対象者ＳＰのバイタルデータ５１を取得する。データ取得部５０は、ＣＰＵのようなプロセッサを含み、通信部１６を介して、対象者ＳＰが使用する健康情報測定機器９１からバイタルデータ５１を取得する。データ取得部５０は、記憶部１７に着脱される可搬型記憶媒体を用いて健康情報測定機器９１からバイタルデータ５１を取得してもよい。

【0073】

バイタルデータ５１は、生命活動を示す情報であり、例えば、心拍、体温、血圧、呼吸数、血中酸素濃度などの各情報を含む。健康情報測定機器９１は、これらの１種または複数種のバイタルデータ５１を測定する機器である。健康情報測定機器９１は、例えば、心拍計、体温計、血圧計、パルスオキシメーターなどであるが、これらの専用機器のみならず、各種センサを備えたウェアラブルデバイスでありうる。

【0074】

第３実施形態では、検出部１４は、顔画像３０間の特徴点３１の変化に加えて、さらに、データ取得部５０により取得されたバイタルデータ５１にも基づいて、対象者ＳＰ（一の個人）に変化があったことを検出する。バイタルデータ５１は、例えば、基準値と比較した変化の有無が判断される。

【0075】

基準値は、過去のバイタルデータ５１の統計量でありうる。すなわち、記憶部１７が、過去のバイタルデータ５１を対象者ＳＰの識別情報と関連付けて記憶し、検出部１４が、識別部１３によって特定された対象者ＳＰについての、過去の複数のバイタルデータ５１から得られた統計量を基準値として採用する。統計量は、例えばバイタルデータ５１の平均値である。統計量は、例えば、正規分布などの統計モデルを観測データに当てはめて求めた信頼度を伴う平均値である。

【0076】

また、第３実施形態では、検出部１４は、対象者ＳＰの精神的な健康状態だけでなく、肉体的な健康状態についての情報を出力することができる。検出部１４は、顔画像３０から、健康状態に関する対象者特徴量を検出する。対象者特徴量は、例えば、対象者ＳＰの皮膚の色味、対象者ＳＰの髪の毛の色、つや、または毛量、対象者ＳＰの姿勢、などである。対象者ＳＰの姿勢は、例えば目の高さと肩の位置との位置関係に基づく。

【0077】

記憶部１７は、過去の対象者特徴量を対象者ＳＰの識別情報と関連付けて記憶する。検出部１４は、識別部１３によって特定された対象者ＳＰについての、過去の対象者特徴量およびバイタルデータ５１（またはその統計量）と比較し、対象者特徴量に変化があった場合に肉体的な健康状態に変化があったことを出力する。

【0078】

第３実施形態のその他の構成は、上記第１実施形態と同様である。

【0079】

＜第３実施形態の効果＞
第３実施形態に係る情報通信装置１０Ａでは、上記第１実施形態と同様に、対象者ＳＰの精神的な健康状態を示唆する情報を提供することができる。

【0080】

また、第３実施形態に係る情報通信装置１０Ａでは、検出部１４が、データ取得部５０により取得されたバイタルデータ５１にも基づいて、対象者ＳＰ（一の個人）に変化があったことを検出するので、画像からは把握できないバイタルデータ５１を考慮することにより、対象者ＳＰの変化の判定結果の信頼性を向上させることができる。

【0081】

［変形例］
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

【0082】

上記第１～第３実施形態では、情報通信装置１０が鏡２０を備える例を示したが、情報通信装置１０は鏡２０を備えなくてもよい。情報通信装置１０は、例えば図２の表示部１５を鏡２０に相当するサイズにして、表示部１５がカメラ部１１の映像を表示することにより、鏡２０としても機能するようにしてもよい。この場合、提示用画像４０は、表示部１５の画面内の一部に、カメラ部１１の映像に重畳表示させることができる。

【0083】

情報通信装置１０は、洗面台または鏡台として構成されなくてもよい。顔画像３０の取得のため、情報通信装置１０は、対象者ＳＰが日常習慣として、情報通信装置１０（カメラ部１１および表示部１５）と正対する態様で利用する装置であることが好ましい。そのため、例えば対象者ＳＰが日常的にテレビ番組などを視聴する場合に、情報通信装置１０がテレビジョン装置またはディスプレイ装置であってもよい。また、情報通信装置１０は、タブレット型端末であってもよく、対象者ＳＰが日常習慣で利用する場所、例えばキッチン、デスクスペースなどで対象者ＳＰと正対するように備え付けられてもよい。

【符号の説明】

【0084】

１０、１０Ａ 情報通信装置
１１ カメラ部
１２ 正規化部
１３ 識別部
１４ 検出部
１５ 表示部
１６ 通信部
１７ 記憶部
２０ 鏡
３０、３０ａ、３０ｂ 顔画像
３１、３１ａ、３１ｂ、３１ｃ 特徴点
３２、３２ａ、３２ｂ 変位ベクトル
３５ 基準ベクトル
４０ 提示用画像
９０ 他の情報通信装置
ＳＰ 対象者（一の個人）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】