IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特開2024-41678生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法
<>
  • 特開-生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 図1
  • 特開-生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 図2
  • 特開-生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 図3
  • 特開-生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024041678
(43)【公開日】2024-03-27
(54)【発明の名称】生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240319BHJP
   A61B 5/16 20060101ALI20240319BHJP
   G06V 40/16 20220101ALI20240319BHJP
   G06V 20/20 20220101ALI20240319BHJP
   G06T 19/00 20110101ALI20240319BHJP
   G06F 3/04845 20220101ALI20240319BHJP
【FI】
G06F3/01 510
A61B5/16 110
G06V40/16 B
G06V20/20
G06T19/00 600
G06F3/04845
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022146621
(22)【出願日】2022-09-14
(71)【出願人】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】目黒 巧巳
【テーマコード(参考)】
4C038
5B050
5E555
5L096
【Fターム(参考)】
4C038PQ06
4C038PR01
4C038PS00
5B050AA08
5B050BA06
5B050BA12
5B050CA00
5B050DA04
5B050EA19
5B050FA02
5B050FA05
5E555AA24
5E555AA48
5E555AA64
5E555BA38
5E555BB38
5E555BC08
5E555BE10
5E555BE17
5E555CA41
5E555CA42
5E555CB45
5E555CB54
5E555CB69
5E555CC17
5E555DA08
5E555DA09
5E555DB53
5E555DC11
5E555EA11
5E555EA22
5E555FA00
5L096CA02
5L096FA52
5L096GA51
(57)【要約】
【課題】視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させるデバイス、プログラム及び表示方法を提供する。
【解決手段】ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、ユーザの生体活動量を取得する生体活動量取得手段と、生体活動量が、所定条件を満たすか否かを判定する判定手段と、判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段とを有する。生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する。
【選択図】図2

【特許請求の範囲】
【請求項1】
ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
を有することを特徴とするデバイス。
【請求項2】
当該デバイスは、ユーザの頭部の目の前に装着される眼鏡状のものであり、
拡張現実画像生成手段は、ユーザの視界に映る映像の中から、所定対象物の画像領域を隠蔽する拡張現実映像を生成する
ことを特徴とする請求項1に記載のデバイス。
【請求項3】
生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する
ことを特徴とする請求項1に記載のデバイス。
【請求項4】
生体活動量は、心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであり、
判定手段は、生体活動量からストレスレベルを推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する
ことを特徴とする請求項3に記載のデバイス。
【請求項5】
物体認識手段は、所定対象物として、複数の人物を検出する
ことを特徴とする請求項1に記載のデバイス。
【請求項6】
拡張現実画像生成手段は、ユーザの視界に映る映像における人数が所定割合で減少するように、人物の画像領域を隠蔽するべく拡張現実画像を生成する
ことを特徴とする請求項5に記載のデバイス。
【請求項7】
判定手段は、ストレスレベルに応じて、ユーザの視界に映る映像における人数を減少させる割合を設定する
ことを特徴とする請求項6に記載のデバイス。
【請求項8】
物体認識手段は、人物の画像領域から顔表情を認識し、当該顔表情が所定条件を満たす人物のみを、所定対象物として検出する
ことを特徴とする請求項5に記載のデバイス。
【請求項9】
物体認識手段は、顔表情が、所定条件としてネガティブと認識された人物のみを、所定対象物として検出する
ことを特徴とする請求項6に記載のデバイス。
【請求項10】
物体認識手段は、所定属性となる人物のみを、所定対象物として検出する
ことを特徴とする請求項5に記載のデバイス。
【請求項11】
物体認識手段は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する
ことを特徴とする請求項5に記載のデバイス。
【請求項12】
ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスに搭載されたコンピュータを機能させるプログラムにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項13】
ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスの表示方法において、
デバイスは、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する第1のステップと、
ユーザの生体活動量を取得する第2のステップと、
生体活動量が、所定条件を満たすか否かを判定する第3のステップと、
第3のステップによって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する第4のステップと
を実行することを特徴とするデバイスの表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実(Augmented Reality)に基づくスマートグラスの技術に関する。
【背景技術】
【0002】
スマートグラスは、ユーザの視界前方に眼鏡のように装着され、カメラと網膜投射型レンズディスプレイとを搭載する。ユーザの視界には、現実空間に対して、仮想現実(Virtual Reality)の非現実空間が重畳的に映し出される。
【0003】
従来、聴衆の面前におけるプレゼンテーションについて、ユーザが、次にどの方向を向けばよいかを練習することができる技術がある(例えば特許文献1参照)。この技術によれば、ユーザの頭部に装着されたデバイスから当該ユーザの頭の向きを検出し、その向きに対応した方向の視野画像を表示する。そして、頭部の向きを示す視野画像上の位置とは異なる視野画像上の位置を、レンズディスプレイに表示させる。ユーザは、その位置を向けばよいと認識することができる。
【0004】
また、ユーザの視界前方の人々の表情を笑顔に見せるスマートグラスの技術もある(例えば非特許文献1参照)。この技術によれば、スマートグラスを通した周囲の人々の表情を、笑顔となるように画像補正する。笑顔への補正は、人物の顔面の口角を上げるようにする。笑顔には、ストレス緩和に有効なポジティブ感情を喚起する効果があり、隣人や友人の表情は伝播するとされている。周囲の人物の表情が笑顔に見えるような状況を作り出すことによって、デバイスを装着したユーザに対して笑顔及びポジティブ感情を引き起こすことができる。
【0005】
尚、近年、「デジタル・セラピューティクス(Digital Therapeutics)」と称され、特定の病状を予防、管理、治療するために臨床的に検証されたデジタルデバイスの開発が注目されている(例えば非特許文献7参照)。例えば、心理的疾患を持つユーザにとっては、視覚的に映り込む人に対して、恐怖感や不安が襲う場合もある。そのような、対人関係に基づくメンタルヘルスを改善することは、重要な課題となっている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2018-180503号公報
【非特許文献】
【0007】
【非特許文献1】村田百葉、山本祐輔、「Smile Glasses: 笑顔形成を促進するARメガネ」、静岡大学情報学部、データ工学と情報マネジメントに関するフォーラム、DEIM2020 A1-4 (day1 p2)、[online]、[令和4年8月28日検索]、インターネット<URL:https://proceedings-of-deim.github.io/DEIM2020/papers/A1-4.pdf>
【非特許文献2】株式会社KDDI総合研究所、「マスク着用時の表情認識AI技術を開発」、[online]、[令和4年8月28日検索]、インターネット<URL:https://www.kddi-research.jp/newsrelease/2021/022401.html>
【非特許文献3】KDDI株式会社、株式会社KDDI総合研究所、株式会社アクロディア、「5G時代を見据えた先端テクノロジー スポーツ行動認識AI×IoT」、[online]、[令和4年8月28日検索]、インターネット<URL:https://news.kddi.com/kddi/corporate/newsrelease/2019/10/07/4060.html>
【非特許文献4】秋元@サイボウズラボ・プログラマー・ブログ、「消すAR-画面を通すとそこにあるものが見えなくなるDiminished Reality」、[online]、[令和4年8月28日検索]、インターネット<URL:https://labs.cybozu.co.jp/blog/akky/2010/10/ar-diminished/>
【非特許文献5】アナログデバイセズ、「心電センサを使ってストレスを可視化するヘルスケアIoTを作ろう!」、[online]、[令和4年8月28日検索]、インターネット<URL:https://www.analog.com/jp/education/landing-pages/003/iot_lectureship/content_08.html>
【非特許文献6】株式会社KDDI総合研究所、「31種類のトレーニング動作や姿勢を認識する宅内行動認識AIを開発」、[online]、[令和4年8月28日検索]、インターネット<URL:https://www.kddi-research.jp/newsrelease/2018/100901.html>
【非特許文献7】「DTx(デジタルセラピューティクス)とは何か。デジタル治療の市場、サービス、課題は」、[online]、[令和4年8月28日検索]、インターネット<URL:https://www.sbbit.jp/article/cont1/52514>
【発明の概要】
【発明が解決しようとする課題】
【0008】
ユーザは、聴衆を面前にしたプレゼンテーションの際に、聴衆に意識が強く向けられ、緊張を強いられることが多い。このとき、ユーザは、スムーズなプレゼンテーションができなくなることもある。
ユーザによっては、聴衆が多くなるほど、心理状態に強いストレスがかかる場合がある。また、聴衆の個々の顔表情を見過ぎてしまうことによって、ネガティブな心理状態になりやすい場合もある。これらの場合、ユーザは、あえて聴衆から目を逸らせることによって、気持ちを落ち着かせてプレゼンテーションを進めようとする。
【0009】
特許文献1によれば、プレゼンテーションの際におけるユーザの心理状況に影響を与えるものではない。一方で、非特許文献1によれば、デバイスを装着したユーザに、聴衆の笑顔の顔表情を強制的に見せることによって、ポジティブな心理状態が作り出されるかもしれない。
【0010】
しかしながら、視界に映る状況によって、ストレスを受けてネガティブな心理状態になる度合いは、ユーザによって全く異なる。
これに対し、本願の発明者らは、視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができないか、と考えた。例えば、デジタルセラピューティックスとして、ユーザの視界を制御することによって、ユーザにおける対人関係に基づくメンタルヘルスの改善に役立つのではないか、と考えた。
【0011】
そこで、本発明は、視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができるデバイス、プログラム及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
を有することを特徴とする。
【0013】
本発明のデバイスにおける他の実施形態によれば、
当該デバイスは、ユーザの頭部の目の前に装着される眼鏡状のものであり、
拡張現実画像生成手段は、ユーザの視界に映る映像の中から、所定対象物の画像領域を隠蔽する拡張現実映像を生成する
ことも好ましい。
【0014】
本発明のデバイスにおける他の実施形態によれば、
生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する
ことも好ましい。
【0015】
本発明のデバイスにおける他の実施形態によれば、
生体活動量は、心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであり、
判定手段は、生体活動量からストレスレベルを推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する
ことも好ましい。
【0016】
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、所定対象物として、複数の人物を検出する
ことも好ましい。
【0017】
本発明のデバイスにおける他の実施形態によれば、
拡張現実画像生成手段は、ユーザの視界に映る映像における人数が所定割合で減少するように、人物の画像領域を隠蔽するべく拡張現実画像を生成する
ことも好ましい。
【0018】
本発明のデバイスにおける他の実施形態によれば、
判定手段は、ストレスレベルに応じて、ユーザの視界に映る映像における人数を減少させる割合を設定する
ことも好ましい。
【0019】
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、人物の画像領域から顔表情を認識し、当該顔表情が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。
【0020】
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、顔表情が、所定条件としてネガティブと認識された人物のみを、所定対象物として検出する
ことも好ましい。
【0021】
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、所定属性となる人物のみを、所定対象物として検出する
ことも好ましい。
【0022】
本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。
【0023】
本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスに搭載されたコンピュータを機能させるプログラムにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
してコンピュータを機能させることを特徴とする。
【0024】
本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスの表示方法において、
デバイスは、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する第1のステップと、
ユーザの生体活動量を取得する第2のステップと、
生体活動量が、所定条件を満たすか否かを判定する第3のステップと、
第3のステップによって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する第4のステップと
を実行することを特徴とする。
【発明の効果】
【0025】
本発明におけるデバイス、プログラム及び表示方法によれば、ユーザの生体活動量に応じて視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができる。
【図面の簡単な説明】
【0026】
図1】スマートグラム及びスマートウォッチが接続されたシステム構成図である。
図2】本発明におけるスマートグラスの機能構成図である。
図3】本発明のスマートグラスにおける第1の実施形態のフローチャートである。
図4】本発明のスマートグラスにおける第2の実施形態のフローチャートである。
【発明を実施するための形態】
【0027】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0028】
図1は、スマートグラム及びスマートウォッチが接続されたシステム構成図である。
【0029】
<スマートグラス1>
スマートグラス1は、ユーザの頭部の目の前に装着されるシースルー型の眼鏡状のものである。
図1によれば、スマートグラス1は、ハードウェアとして、レンズディスプレイ101と、カメラ102と、無線通信部103とを有する。
レンズディスプレイ101は、拡張現実画像をユーザの視界に映し出す。
カメラ102は、ユーザの視界から見える映像を撮影する。例えばプレゼンテーションの場合、ユーザの面前の聴衆が映像に映り込むこととなる。
無線通信部103は、例えばBluetooth(登録商標)であって、スマートウォッチやウェアラブルデバイスのような他のデバイスと無線で通信する。
【0030】
ここで、本発明の実施形態として、デバイスとしては、スマートグラスのような透過型(シースルー)であるとして説明するが、ヘッドマウントレンズディスプレイのような非透過型であってもよい。
透過型デバイスである場合、カメラ102の映像に対して周囲の画素値から補間処理を施した拡張現実画像を、ユーザに視界に映し出す。
非透過型デバイスである場合、カメラ102の映像に対して画像加工を施した画像を、ユーザの視界に映し出す。
いずれのデバイスであっても、ユーザの頭部の向きに応じた映像に対して画像補間や画像加工をする、
【0031】
<スマートウォッチ2>
スマートウォッチ2は、ユーザの腕に装着されるウェアラブルデバイスである。
スマートウォッチ2は、1つ以上の生体センサを搭載し、ユーザの「生体活動量」を計測することができる。生体センサとしては、例えば心拍数センサ、血中酸素濃度センサ、皮膚温センサ、血圧センサ、気圧センサ、環境マイクなどがある。
【0032】
「心拍数センサ」は、スマートウォッチ2の背面から腕の皮膚に接触し、ユーザの「心拍数」を計測する。例えば光学式の場合、LED(Light Emitting Diode)から光を照射し、血流によって反射される散乱光の量を感知し、血中のヘモグロビンの動態変化によって心拍数を計測する。
「血中酸素濃度センサ」は、皮膚に光をあてた動脈血成分の光の減衰から「血中酸素濃度(SpO2)」を測定する。
「皮膚温センサ」は、スマートウォッチ2の背面における皮膚に接触し、その「皮膚温」を検知する。
「血圧センサ」は、心拍数と血流量との組み合わせによって、「血圧」を計測する。
「気圧センサ」は、周囲の「気圧」を計測する。
「環境マイク」は、周囲の「環境音」を検知する。
生体活動量は、これら計測値(心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音)のいずれか又はそれらの組み合わせであってもよい。
【0033】
尚、図1によれば、スマートグラス1とスマートウォッチ2との間に、スマートフォン3が介在するものであってもよい。
スマートフォン3は、Bluetooth(登録商標)を介してスマートウォッチ2とペアリングされる。そして、スマートフォン3は、スマートウォッチ2から生体活動量を常時受信し、所定のアプリで処理する。
また、スマートフォン3は、Bluetoothを介してスマートグラス1とも、スマートフォン1とペアリングされる。そして、スマートフォン3は、所定のアプリから、スマートグラス1を制御することができる。
【0034】
図2は、本発明におけるスマートグラスの機能構成図である。
【0035】
図2によれば、スマートグラス1は、物体認識部11と、生体活動量取得部12と、判定部13と、拡張現実画像生成部14とを有する。これら機能構成部は、スマートグラスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これらの機能構成部の処理の流れは、スマートグラスの表示方法としても理解できる。
尚、図2で説明するスマートグラス1のソフトウェア的な処理を、スマートフォン1の所定のアプリで実行するものであってもよい。
【0036】
[物体認識部11]
物体認識部11は、カメラ102によって撮影された映像から、物体認識によって「所定対象物」の画像領域を検出する。
物体認識部11の処理機能として、領域切り出し機能と、特徴検出機能とを有する。
【0037】
<領域切り出し機能>
物体認識部11は、カメラ102によって撮影された映像フレームの画像から、所定対象物の画像領域(例えばバウンディングボックス)を切り出す。具体的には、R-CNN(Regions with Convolutional Neural Networks)やSSD(Single Shot Multibox Detector)を用いる。
R-CNNは、四角形の画像領域を、畳み込みニューラルネットワークの特徴と組み合わせて、所定対象物のサブセットを検出する(領域提案)。次に、領域提案からCNN特徴量を抽出する。そして、CNN特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
SSDは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠(バウンディングボックス)を決定する。1枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させることができる。
【0038】
<特徴検出機能>
物体認識部11は、バウンディングボックスの画像領域から、所定対象物を特定する。
検出される「所定対象物」としては、人物であってもよいし、それに限らない物体であってもよい。
例えばプレゼンテーションを想定する場合、ユーザが心理的にストレスを受けるような物体の特徴を予め設定しておく。一般的に、ユーザが心理的にストレスを受ける物体が聴衆である場合、人物の特徴を予め設定しておくことによって、ユーザの視界に映り込む映像から、人物のみを検出することができる。
【0039】
物体認識部11は、小型IoTデバイスに実装できるように、学習モデルが軽量化されている。学習済みモデルの中間層特徴の選別(レイヤの削除)と、軽量化アーキテクチャの置換とによって、計算量を大幅に削減している。具体的には、C++Nativeライブラリを用いて、スマートグラスのような小型デバイスであっても、1万人を1秒で識別可能となっている。
【0040】
[生体活動量取得部12]
生体活動量取得部12は、ユーザの「生体活動量」を取得する。
生体活動量取得部12は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する。図1によれば、スマートウォッチ2から、生体活動量を受信する。
前述したように、生体活動量としては、例えば心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであってもよい。
【0041】
[判定部13]
判定部13は、生体活動量が、所定条件を満たすか否かを判定する。
具体的には、判定部13は、生体活動量からユーザの「ストレスレベル」を推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する。
【0042】
一般的に、人体における自律神経系は、血液循環・呼吸・体温調節など、意識の介在なしに制御するシステムであって、「交感神経系」と「副交感神経系」とがある(例えば非特許文献5参照)。「交感神経系」は、身体の活動レベルや運動能力を高める方向に働き、「副交感神経系」は、心身の鎮静化・エネルギーの消費抑制と蓄えの方向に働く。心拍数(HRV)は、交感神経と副交感神経の両方に影響を与える。
ここで、以下のようなアルゴリズムで、ストレスレベルを判定する。
(S1)単位時間当たりの心拍数から、心拍間の時間(RRI)を計測する。
(S2)線形補間によって、再サンプリングを実行する。
(S3)周波数解析(フーリエ変換)によって、パワースペクトラムに変換する。
(S4)LF(Low Frequency)成分0.05Hz~0.15Hzと、HF(High Frequency)成分0.15Hz~0.40Hzとに区分する。
LF成分は、交感神経又は副交感神経が活性化しているときに増加する。
HF成分は、副交感神経が活性化している場合のみ増加する。
(S5)HF成分に対するLF成分の計測比率(LF/HF)が、高い場合はストレスがあり、低い場合はリラックスしているといえる。即ち、閾値比率を予め設定し、計測比率が閾値以上であれば、そのユーザのストレスが高いと判定することができる。
【0043】
[拡張現実画像生成部14]
拡張現実画像生成部14は、判定部13によって真と判定された際に、ユーザの視界に映る映像における「所定対象物の画像領域」を加工した拡張現実画像を生成する。
【0044】
ここで、拡張現実画像における加工として、所定対象物の画像領域を消滅させることがある。即ち、所定対象物の画像領域における視覚的な色を、周囲と同色にして、ユーザの視界から隠蔽する(例えば非特許文献4参照)。最も簡単には、所定対象物の画像領域の周囲の色で、その画像領域を重畳的に塗りつぶすものであってよい。
【0045】
そして、拡張現実画像生成部14は、画像現実画像を、レンズディスプレイ101へ出出力する。
例えばシースルー型のスマートグラスの場合、拡張現実画像生成部14が生成する拡張現実画像は、所定対象物の画像領域と同じ視覚的位置に、塗りつぶした色範囲だけのものとなる。これによって、ユーザの視界から、所定対象物が消滅したように見える。
【0046】
本発明によれば、ユーザの視界から消滅される所定対象物が「人物」であるとして、例えば以下のような実施形態がある。ユーザにとって、視界に映る人に対するストレスが緩和され、デジタルセラピューティックスとして機能する。
<第1の実施形態>
ユーザの視界に映る人物の人数を削減させる。
<第2の実施形態>
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。
<第3の実施形態>
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
<第4の実施形態>
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。
【0047】
<第1の実施形態>
ユーザの視界に映る人物の人数を削減させる。
【0048】
図3は、本発明のスマートグラスにおける第1の実施形態のフローチャートである。
図3によれば、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆(人物)が見えているとする。このとき、ユーザは、聴衆が多いと緊張し、不安を抱きやすい性格であるとする。
【0049】
物体認識部11は、ユーザの視界に映る映像から、多数の人物を認識する。
次に、生体活動量取得部12は、プレゼンテーションをしているユーザの生体活動量を取得する。
次に、判定部13は、ユーザの生体活動量から、ストレスレベルが所定閾値以上であるか否かを判定する。
そして、拡張現実画像生成部14は、判定部13で真と判定された場合、ユーザの視界に映る人物の人数を、所定割合(%)で削減する。偽と判定された場合、拡張現実画像生成部14は機能しないようにする。
【0050】
ここで、判定部13及び拡張現実画像生成部14は、ストレスレベル(LF/HF×α)に応じて、ユーザの視界に映る人物の人数の削除割合を決定するものであってもよい。即ち、ストレスレベルが高いほど、削除割合を高く決定し、削除される人数も多くなる。一方で、ストレスレベルが低いほど、削除割合を低く決定し、削除される人数も少なくなる。
勿論、ストレスレベルや、そのストレスレベルに応じた削除割合は、ユーザ自身で予め設定可能なものであってもよい。
【0051】
<第2の実施形態>
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。
【0052】
図4は、本発明のスマートグラスにおける第2の実施形態のフローチャートである。
図4も、図3と同様に、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆(人物)が見えているとする。このとき、ユーザは、ネガティブな顔表情の人を見ると、不安を抱きやすい性格であるとする。
【0053】
物体認識部11は、ユーザの視界に映る映像から、多数の人物を認識する。
ここで、物体認識部11は、人物の顔表情の検出し、その人物の顔特徴から顔表情を認識するものであってもよい(例えば非特許文献2参照)。
切り出された人物領域を、顔認識モデルを用いて、128/256/512次元の特徴量(ユークリッド距離)に変換する。顔領域から得られる特徴量としては、目の周辺領域の特徴量(例えば目を閉じている、眉間にシワを寄せている)に限らず、例えば、鼻・口・頬・顔面の筋肉の領域も検出する。これによって、ポジティブ/ネガティブ/ニュートラルの3つの表情を判定することができる。勿論、「目を閉じている」「眉間にシワを寄せている」のような顔表情そのものを認識するものであってもよい。
顔認識モデルとしては、具体的にはGoogle(登録商標)のFacenet(登録商標)アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。
【0054】
次に、生体活動量取得部12は、プレゼンテーションをしているユーザの生体活動量を取得する。
【0055】
次に、判定部13は、ユーザの生体活動量から、ストレスレベルが所定閾値以上であるか否かを判定する。
【0056】
そして、拡張現実画像生成部14は、判定部13で真と判定された場合、ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させた拡張現実画像を生成する。例えば、「ネガティブ」を顔表情として予め設定することによって、ネガティブと認識された人物を消滅させる。勿論、「目を閉じている」「眉間にシワを寄せている」のような顔表情毎に、その人物を消滅させるか否かを予め設定したものであってもよい。
【0057】
尚、他の実施形態として、例えば「ネガティブ」と認識された人物について、非特許文献1の技術を用いて、その人物の顔表情を「笑顔」に変換した拡張現実画像を生成するものであってもよい。ネガティブと認識された人物を笑顔に変換するか否かについても、ユーザ自ら予め設定しておくことができる。
【0058】
これによって、ユーザは、プレゼンテーションをしている際に、好意的な顔表情をした聴衆しか見えないため、ストレスを緩和することができる。
【0059】
<第3の実施形態>
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
物体認識部11は、所定属性となる人物のみを、所定対象物として検出する。所定属性としては、例えば性別、年代であってもよい。例えば50歳以上の男性のみや、30歳以下の女性のみを、認識するものであってもよい。
これによって、ユーザは、プレゼンテーションの場面に限らず、自ら苦手とする属性の人物が視界に映らないため、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい容姿の人が視界に映り込んだ場合であっても、メンタルヘルスを改善することができる。
【0060】
<第4の実施形態>
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。
物体認識部11は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する。例えば、姿勢が「下を向いている」「寝ている」「腕を組んでいる」「身体を揺っている」「隣の人と話をしている」などの行動認識のAIエンジンを用いることもできる(例えば非特許文献6参照)。
これによって、ユーザは、プレゼンテーションの場面に限らず、好意的でない行動の人物が視界に映らないために、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい姿勢の人が視界に映り込んだ場合であっても、メンタルヘルスを維持することができる。
【0061】
以上、詳細に説明したように、本発明におけるデバイス、プログラム及び表示方法によれば、ユーザの生体活動量に応じて視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができる。
【0062】
尚、これにより、例えば「ユーザの心理的なストレスを低減させる」ことから、国連が主導する持続可能な開発目標(SDGs)の目標8「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」に貢献することが可能となる。
【0063】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0064】
1 スマートグラス
101 レンズディスプレイ
102 カメラ
103 無線通信部
11 物体認識部
12 生体活動量取得部
13 判定部
14 拡張現実画像生成部
2 スマートウォッチ、ウェアラブルデバイス
3 スマートフォン
図1
図2
図3
図4