IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニューラルポートの特許一覧

特許7557225情報処理システム、情報処理方法及びプログラム
<>
  • 特許-情報処理システム、情報処理方法及びプログラム 図1
  • 特許-情報処理システム、情報処理方法及びプログラム 図2
  • 特許-情報処理システム、情報処理方法及びプログラム 図3
  • 特許-情報処理システム、情報処理方法及びプログラム 図4
  • 特許-情報処理システム、情報処理方法及びプログラム 図5
  • 特許-情報処理システム、情報処理方法及びプログラム 図6
  • 特許-情報処理システム、情報処理方法及びプログラム 図7
  • 特許-情報処理システム、情報処理方法及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-18
(45)【発行日】2024-09-27
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20240919BHJP
   A61B 3/113 20060101ALI20240919BHJP
【FI】
A61B5/16 110
A61B3/113
【請求項の数】 5
(21)【出願番号】P 2023147937
(22)【出願日】2023-09-12
【審査請求日】2024-03-07
【早期審査対象出願】
(73)【特許権者】
【識別番号】522344736
【氏名又は名称】株式会社ニューラルポート
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】島藤 安奈
【審査官】牧尾 尚能
(56)【参考文献】
【文献】特開2013-208260(JP,A)
【文献】特開2019-159518(JP,A)
【文献】特開2022-019416(JP,A)
【文献】特開2012-209941(JP,A)
【文献】特開2020-156956(JP,A)
【文献】特表2021-502881(JP,A)
【文献】特開2017-086529(JP,A)
【文献】特開2012-257022(JP,A)
【文献】特開2015-039487(JP,A)
【文献】特開2019-153303(JP,A)
【文献】特開2020-181263(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00- 3/18
A61B 5/06- 5/22
A61B 5/00- 5/01
G06T 19/00-19/20
G06Q 50/22
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
情報処理システムであって、
制御部を備え、
前記制御部は、ユーザーが目視可能な表示部に、第1の絵画画像と第2の絵画画像との組合せを順次表示させ、ここで
前記第1の絵画画像は、第1のカテゴリーに属しており、
前記第2の絵画画像は、前記第1のカテゴリーとは異なる第2のカテゴリーに属しており、
前記制御部は、前記ユーザーの視線の位置に関する情報を学習済みモデルに入力し、ここで
前記視線の位置に関する情報は、前記第1の絵画画像と前記第2の絵画画像とのどちらを多く見ていたかの回数の情報を含み、
前記学習済みモデルは、前記視線の位置に関する情報を入力データとし且つストレスの度合いを示す値を出力データとして学習させた学習済みモデルであり、
前記制御部は、前記学習済みモデルよりストレスの度合いを示す値を取得することで、前記ユーザーの前記ストレスに関する情報を出力する、
情報処理システム。
【請求項2】
請求項1に記載の情報処理システムにおいて、
前記制御部は、前記表示部にグラフィカルユーザーインターフェース部品を表示させ、ここで前記グラフィカルユーザーインターフェース部品には、ストレスチェックに関するグラフィカルユーザーインターフェース部品が含まれ、
前記制御部は、前記ユーザーの視線の位置の情報に基づき、前記グラフィカルユーザーインターフェース部品のうち前記ストレスチェックに関するグラフィカルユーザーインターフェース部品が選択された場合、前記表示部に前記第1の絵画画像と前記第2の絵画画像との組み合わせを順次表示させる、
情報処理システム。
【請求項3】
請求項1に記載の情報処理システムにおいて、
前記ユーザーの前記ストレスに関する情報は、撮像部によって撮像された撮像画像に基づき取得された、前記ユーザーの前記視線の位置に関する情報に基づいて出力される、
情報処理システム。
【請求項4】
情報処理システムが実行する情報処理方法であって、
請求項1から請求項までの何れか1項に記載の情報処理システムの前記制御部が実行する各処理をステップとして備える、
情報処理方法。
【請求項5】
プログラムであって、
コンピュータを、
請求項1から請求項までの何れか1項に記載の情報処理システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には構成員の健康にかかわる項目の判定予測を支援するヘルスケアシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2022-080198号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では検診データ、ストレスチェックデータ、勤務データ、人事データ、給与データ、生活習慣データ、医療データ、会社データ等多くの学習用データが必要とされる。一般的に学習のためには大量のデータが必要とされる。また精度を上げるためには学習と結果の評価とが必要となりコストもかかる。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、ユーザーが目視可能な表示部に仮想空間画像を表示するよう制御する。仮想空間画像に第1のカテゴリーの絵画画像と第1のカテゴリーとは異なる第2のカテゴリーの絵画画像との組み合わせを順次表示させる。順次表示される第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とに関するユーザーの視線の位置の情報に基づきユーザーのストレスに関する情報を求める。
【図面の簡単な説明】
【0006】
図1図1は、HMDを装着したユーザーの一例を示す図である。
図2図2は、HMDのハードウェア構成の一例を示す図である。
図3図3は、HMDにおける情報処理の一例を示すメインのフローチャートである。
図4図4は、ログイン後に表示される3次元の仮想空間画像の一例を示す図である。
図5図5は、ストレスチェックの処理の一例を示すフローチャートである。
図6図6は、3次元の仮想空間画像に表示される第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像との組み合わせのセットが順に表示されていく一例を示す図である。
図7図7は、ビジョントレーニングの処理の一例を示すフローチャートである。
図8図8は、3次元の仮想空間画像に表示される複数の物体画像のうちの少なくとも1つの物体画像が選択され他の物体画像と区別可能に表示されていく一例を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0008】
本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、実施形態1においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
【0009】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0010】
<実施形態1>
1.HMD
図1は、HMD(Head Mounted Display)100を装着したユーザー10の一例を示す図である。図1に示されるように、実施形態1ではユーザー10がHMD100を装着し、HMD100が後述する処理等を行うものとして説明を行う。
【0011】
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成され場合、その装置の一例はHMD100である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の例は、HMD100及びHMD100と通信可能なサーバー装置等である。
【0012】
実施形態1ではHMD100を例に説明を行うが、ユーザー10にインターネット上に構築された3次元の仮想空間内での動作等を実現させることができればどのような装置であってもよい。HMD100の他の例としてはスマートグラス等がある。
【0013】
2.ハードウェア構成
図2は、HMD100のハードウェア構成の一例を示す図である。
図2に示されるように、HMD100は、ハードウェア構成として、制御部210と、記憶部220と、撮像部230と、入力部240と、出力部250と、通信部260と、ジャイロセンサ270と、加速度センサ280と、を含む。
【0014】
制御部210は、CPU(Central Processing Unit)等であって、HMD100の全体を制御する。
【0015】
記憶部220は、HDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid Sate Drive)等の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部210がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。記憶部220は、記憶媒体の一例である。明細書では制御部210がプログラムに基づき処理を実行する際に利用するデータ(例えば3次元の仮想空間画像、後述する第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とのセットの絵画画像、後述する物体画像、閾値、設定値等)は記憶部220に記憶されるものとして説明するが、HMD100と通信可能な他の装置の記憶部等に記憶されていてもよい。すなわち、データは、制御部210が参照可能であればどの装置の記憶部に記憶されていてもよい。制御部210が、記憶部220に記憶されているプログラムに基づき、処理を実行することによって、HMD100の機能及び後述する図3図5及び図7に示されるフローチャートの情報処理が実現される。
【0016】
撮像部230は、ユーザー10を撮像し、撮像画像を生成する。撮像画像にはユーザー10の両目が含まれる。
【0017】
入力部240は、HMD100に設けられているボタン等であって、ユーザー10の操作情報をHMD100に入力する。
出力部250は、ディスプレイ等であって、制御部210によって生成された3次元の仮想空間画像等を表示する。出力部250は、表示部の一例である。
通信部260は、HMD100をネットワークに接続し、他の装置との通信を司る。
【0018】
ジャイロセンサ270は、HMD100の回転及び向きの変化を角速度として検知し、電気信号を制御部210等に出力するセンサである。
加速度センサ280は、HMD100の移動速度が変化するときに発生する慣性力を検知し、加速度として電気信号で出力するセンサである。
【0019】
HMD100のハードウェア構成として図2に示したもの以外に2つのレンズが含まれる。ユーザー10の左目は左のレンズから、右目は右のレンズから仮想空間画像を見る。
【0020】
3.情報処理
以下、実施形態1の情報処理を説明する。
【0021】
(1)メインのフローチャート
図3は、HMD100における情報処理の一例を示すメインのフローチャートである。
ユーザー10がシステムにログインすると、ステップS310において、制御部210は、キャリブレーションの処理を実行する。制御部210は、キャリブレーションの処理として、例えば、ユーザー10の虹彩又は瞳孔を含む撮像画像に基づき、ユーザー10の眼球の位置を求め、HMD100とユーザー10の頭部との水平方向及び垂直方向のずれを補正する。
【0022】
ステップS320において、制御部210は、3次元の仮想空間画像を生成し、出力部250に表示するよう制御する。制御部210は、撮像部230で撮像された撮像画像に基づきユーザー10の視線を求め、視線に応じた3次元の仮想空間画像を生成し、出力部250に表示するよう制御する。ステップS320の処理は、ユーザーが目視可能な表示部に仮想空間画像を表示するよう制御する処理の一例である。
【0023】
図4は、ログイン後に表示される3次元の仮想空間画像の一例を示す図である。図4には人が描画されている例を示しているが人がイメージである。実際はユーザー10がHMD100の出力部250を介して3次元の仮想空間内に居て、視線に応じて3次元の仮想空間内に表示される画像等を目視している。3次元の仮想空間画像内の上空には、複数の案内板が表示される。図4の例では複数の案内板の例としてストレスチェックの案内板410とビジョントレーニングの案内板420とが表示されている。複数の案内板は、複数のグラフィカルユーザーインターフェース部品の一例である。ストレスチェックの案内板410は、ストレスチェックに関するグラフィカルユーザーインターフェース部品の一例である。ビジョントレーニングの案内板420は、ビジョントレーニングに関するグラフィカルユーザーインターフェース部品の一例である。
【0024】
すなわち、ステップS320の処理は、仮想空間画像に複数のグラフィカルユーザーインターフェース部品を表示させる処理の一例である。複数のグラフィカルユーザーインターフェース部品にはストレスチェックに関するグラフィカルユーザーインターフェース部品が含まれる。図4の例では、複数の案内板の例としてストレスチェックの案内板410とビジョントレーニングの案内板420とが表示されているが他の案内板が含まれてもよい。但し、以下では説明の簡略化のため複数の案内板としてストレスチェックの案内板410とビジョントレーニングの案内板420との2つを例に説明を行う。
【0025】
ステップS330において、制御部210は、ユーザー10の視線に基づき、表示されている案内板のうちどの案内板が選択されたかを判定する。制御部210は、例えば、ユーザー10の視線に基づき、ユーザー10の注視領域がストレスチェックの案内板410上にあると判定した場合、ストレスチェックが選択されたと判定し、ユーザー10の注視領域がビジョントレーニングの案内板420上にあると判定した場合、ビジョントレーニングが選択されたと判定する。制御部210は、ストレスチェックが選択されたと判定した場合、処理をステップS340に進め、ビジョントレーニングが選択されたと判定した場合、処理をステップS350に進める。
【0026】
他の例として制御部210は、入力部240を介した入力操作を受け付けた際に、ユーザー10の視線がどこにあるかでどの案内板が選択されたかを判定するようにしてもよい。制御部210は、入力部240を介した入力操作を受け付けた際に、ユーザー10の注視領域がストレスチェックの案内板410上にあると判定した場合、ストレスチェックが選択されたと判定し、ユーザー10の注視領域がビジョントレーニングの案内板420上にあると判定した場合、ビジョントレーニングが選択されたと判定する。
【0027】
ステップS340において、制御部210は、ストレスチェックの処理を実行する。
【0028】
(2)ストレスチェックのフローチャート
ストレスチェックの処理の詳細は図5に示されるフローチャートを用いて説明する。図5は、ストレスチェックの処理の一例を示すフローチャートである。
ステップS510において、制御部210は、3次元の仮想空間画像内に第1のカテゴリーの絵画画像と第1のカテゴリーとは異なる第2のカテゴリーの絵画画像との組み合わせを表示する。第1のカテゴリーの絵画画像は、例えば、鬱ではない人が描いた絵画の画像である。第2のカテゴリーの絵画画像は、例えば、鬱の人が描いた絵画の画像である。
【0029】
ステップS520において、制御部210は、ユーザー10の両目を含む撮像画像に基づきユーザー10の視線の位置を求める。制御部210は、視線の位置が第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とのどちらに多くあるかを求め、求めた結果を記憶部220等の所定の記憶領域に記憶する。
【0030】
ステップS530において、制御部210は、ステップS510及びステップS520の処理を所定の回数、実行したか否かを判定する。制御部210は、ステップS510及びステップS520の処理を所定の回数、実行したと判定すると、処理をステップS540に進める。制御部210は、ステップS510及びステップS520の処理を所定の回数実行していないと判定すると、処理をステップS510に戻し、3次元の仮想空間画像内に次の第1のカテゴリーの絵画画像と第1のカテゴリーとは異なる第2のカテゴリーの絵画画像との組み合わせを表示する。所定の回数とは例えば5回等である。ただし、これは実施形態1を限定するものではない。所定の回数の情報は記憶部220等の所定のファイルに記載されていてもよい。
【0031】
ステップS510及びステップS520の処理を所定の回数実行する処理は、仮想空間画像に第1のカテゴリーの絵画画像と第1のカテゴリーとは異なる第2のカテゴリーの絵画画像との組み合わせを順次表示させる処理の一例である。
制御部210が、図4に示されるような画面においてストレスチェックの案内板410が選択されたと判定し、ステップS340に処理を進め、ステップS510及びステップS520の処理を繰り返し実行する処理は、ユーザーの視線の位置の情報に基づき複数のグラフィカルユーザーインターフェース部品のうちストレスチェックに関するグラフィカルユーザーインターフェース部品が選択された場合、仮想空間画像に第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像との組み合わせを順次表示させる処理の一例である。
【0032】
図6は、3次元の仮想空間画像に表示される第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像との組み合わせのセットが順に表示されていく一例を示す図である。
画像610は、3次元の仮想空間画像である。画像610には絵画画像611と絵画画像612とが表示されている。絵画画像611は、第1のカテゴリーの絵画画像である。絵画画像612は、第2のカテゴリーの絵画画像である。絵画画像は共に風景画の画像である。制御部210による1回目のステップS510の処理によって例えば絵画画像611と絵画画像612とが表示される。制御部210は、ユーザー10の視線の位置が絵画画像611と絵画画像612とのどちらに多くあるかを求め、求めた結果を記憶部220等の所定の記憶領域に記憶する。
【0033】
画像620は、3次元の仮想空間画像である。画像610が表示されてから所定時間経過後、画像620が表示される。画像620には絵画画像621と絵画画像622とが表示されている。絵画画像621は、第2のカテゴリーの絵画画像である。絵画画像622は、第1のカテゴリーの絵画画像である。制御部210による2回目のステップS510の処理によって例えば絵画画像621と絵画画像622とが表示される。制御部210は、ユーザー10の視線の位置が絵画画像621と絵画画像622とのどちらに多くあるかを求め、求めた結果を記憶部220等の所定の記憶領域に記憶する。
【0034】
画像630は、3次元の仮想空間画像である。画像620表示されてから所定時間経過後、画像630が表示される。画像630には絵画画像631と絵画画像632とが表示されている。絵画画像631は、第1のカテゴリーの絵画画像である。絵画画像632は、第2のカテゴリーの絵画画像である。制御部210による3回目のステップS510の処理によって例えば絵画画像631と絵画画像632とが表示される。制御部210は、ユーザー10の視線の位置が絵画画像631と絵画画像632とのどちらに多くあるかを求め、求めた結果を記憶部220等の所定の記憶領域に記憶する。
【0035】
ステップS540において、制御部210は、記憶部220等の所定の記憶領域に記憶されている、それぞれの絵画画像のセットにおいて第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とのどちらを多く見ていたかの情報に基づきストレス度を求める。ストレス度は、ユーザーのストレス度合いを示す値である。ストレス度は、ストレスに関する情報の一例である。例えば、制御部210は、第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とのどちらを多く見ていたかの回数の情報と参照情報とに基づきユーザー10のストレス度を求める。参照情報とは記憶部220等に記憶されている、第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とのどちらを多く見ていたかの回数の情報とストレス度とを対応付けた情報である。ステップS540の処理は、順次表示される第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とに関するユーザーの視線の位置の情報に基づきユーザーのストレスに関する情報を求める処理の一例である。
【0036】
ステップS550において、制御部210は、ステップS540で求めたストレス度を出力する。制御部210がストレス度を出力部250に表示するのは出力の一例である。また制御部210がストレス度をファイル等に記載し、記憶部220等に記憶するのも出力の一例である。また制御部210がストレス度を含むデータを、通信部260を介して他の装置に送信するのも出力の一例である。ステップS550の処理は、ストレスに関する情報を出力する処理の一例である。
【0037】
図5に示した処理によれば、検診データ、ストレスチェックデータ、勤務データ、人事データ、給与データ、生活習慣データ、医療データ、会社データ等、様々なデータを集めなくてもユーザー10のストレス度を求めることができる。また様々なデータを収集し、学習させる必要がないため、学習時間を必要とせずにすぐにストレス度を求めることができる。またユーザー10のストレス度を求める機能を低コストで実現することができる。
【0038】
図3のステップS350において、制御部210は、ビジョントレーニングの処理を実行する。
【0039】
(3)ビジョントレーニングのフローチャート
ビジョントレーニングの処理の詳細は図7に示されるフローチャートを用いて説明する。図7は、ビジョントレーニングの処理の一例を示すフローチャートである。
ステップS710において、制御部210は、3次元の仮想空間画像内にビジョントレーニングの画像を表示する。ビジョントレーニングの画像とは、3次元の仮想空間画像内に立体的に並んで表示された複数の物体画像である。制御部210は、複数の物体画像のうちの少なくとも1つの物体画像を他の物体画像と区別可能に表示する。制御部210は、ステップS710の処理を実行するたびに複数の物体画像のうちの少なくとも1つの物体画像をランダムに選択し、他の物体画像と区別可能に表示する。区別可能に表示する例としては他の物体画像と異なる色で表示することである。なお、これは一例であり、他の物体画像と区別することさえできればどのような表示であってもよい。区別可能に表示する他の例としては太枠で表示する、点滅させて表示する、他の物体画像異なる形で表示する、選択した物体画像を表示し、他の物体画像は非表示とする等、様々な表示方法がある。
【0040】
ステップS720において、制御部210は、ユーザー10の両目を含む撮像画像に基づきユーザー10の視線の位置を求める。より具体的に説明すると、制御部210は、撮像画像に基づきユーザー10の注視点の位置を求める。なお、以下では説明の簡略化のため注視点の位置のことを単に視線の位置という。制御部210は、視線の位置と他の物体画像と区別可能に表示された物体画像との3次元の仮想空間内での距離を求める。そして、制御部210は、求めた距離の情報を記憶部220等の所定の記憶領域に記憶する。
【0041】
ステップS730において、制御部210は、ステップS710及びステップS720の処理を所定の回数、実行したか否かを判定する。制御部210は、ステップS710及びステップS720の処理を所定の回数、実行したと判定すると、処理をステップS740に進める。制御部210は、ステップS510及びステップS520の処理を所定の回数実行していないと判定すると、処理をステップS710に戻し、3次元の仮想空間画像内に立体的に並んで表示された複数の物体画像のうちの少なくとも1つの物体画像をランダムに選択し、他の物体画像と区別可能に表示する。所定の回数とは例えば5回等である。ただし、これは実施形態1を限定するものではない。所定の回数の情報は記憶部220等の所定のファイルに記載されていてもよい。
【0042】
制御部210が、図4に示されるような画面においてビジョントレーニングの案内板420が選択されたと判定し、ステップS350に処理を進め、ステップS710及びステップS720の処理を繰り返し実行する処理は、ユーザーの視線の位置の情報に基づき複数のグラフィカルユーザーインターフェース部品のうちビジョントレーニングに関するグラフィカルユーザーインターフェース部品が選択された場合、仮想空間画像に物体画像を順次表示させる処理の一例である。
【0043】
図8は、3次元の仮想空間画像に表示される複数の物体画像のうちの少なくとも1つの物体画像が選択され他の物体画像と区別可能に表示されていく一例を示す図である。
画像810は、3次元の仮想空間画像である。画像810には制御部210による1回目のステップS710の処理によって選択された物体画像811が他の物体画像と区別可能に表示されている。なお、画像812は、ユーザー10の視線の位置を示す画像である。画像812は説明のために示したものであり、実際の仮想空間画像には表示されない。物体画像は図8に示されるようなものに限られない。仮想空間上においてそこに物が存在するように示すことができればどのような画像であってもよい。物体画像の他の例としてはスポーツにおけるボールや羽根(野球のボール、バレーボールのボール、バスケットボールのボール、テニスのボール、卓球のボール、バトミントンの羽根)等がある。
制御部210は、ステップS710の繰り返しの実行によって、選択された物体画像(例えばボールや羽根)を3次元仮想空間の奥行方向から手前方向に順次移動するよう表示させてもよい。
【0044】
画像820は、3次元の仮想空間画像である。画像810が表示されてから所定時間(例えば1秒)経過後、画像820が表示される。画像820には制御部210による2回目のステップS710の処理によって選択された物体画像821が他の物体画像と区別可能に表示されている。なお、画像822は、ユーザー10の視線の位置を示す画像である。画像822は説明のために示したものであり、実際の仮想空間画像には表示されない。
【0045】
画像830は、3次元の仮想空間画像である。画像820が表示されてから所定時間経過後、画像830が表示される。画像830には制御部210による3回目のステップS710の処理によって選択された物体画像831が他の物体画像と区別可能に表示されている。なお、画像832は、ユーザー10の視線の位置を示す画像である。画像832は説明のために示したものであり、実際の仮想空間画像には表示されない。
【0046】
ステップS740において、制御部210は、記憶部220等の所定の記憶領域に記憶されている、それぞれの選択された物体画像とユーザー10の視線の位置との距離の情報に基づき深視力を求める。ステップS740の処理は、物体画像を見ようとするユーザーの視線の位置と物体画像の位置とに基づきユーザーの深視力に関する情報を求める処理の一例である。
【0047】
ステップS750において、制御部210は、ステップS740で求めた深視力を出力する。制御部210が深視力を出力部250に表示するのは出力の一例である。また制御部210が深視力をファイル等に記載し、記憶部220等に記憶するのも出力の一例である。また制御部210が深視力を含むデータを、通信部260を介して他の装置に送信するのも出力の一例である。ステップS750の処理は、ユーザーの深視力に関する情報を出力する処理の一例である。
【0048】
図7に示した処理によれば、検診データ、ストレスチェックデータ、勤務データ、人事データ、給与データ、生活習慣データ、医療データ、会社データ等、様々なデータを集めなくてもユーザーの深視力を求めることができる。また様々なデータを収集し、学習させる必要がないため、学習時間を必要とせずにすぐに深視力を求めることができる。またユーザー10の深視力を求める機能を低コストで実現することができる。
なお、制御部210は、ステップS710の処理を実行する直前にもう一度キャリブレーションの処理を実行するようにしてもよい。このようにすることによって、ズレを無くしてより精度良くユーザーの深視力等を求めることができる。
【0049】
図3のステップS360において、制御部210は、図3に示すフローチャートの処理を終了するか否かを判定する。例えば、3次元の仮想空間画像内に表示されている画像上にユーザーの視線が所定の時間存在する場合、制御部210は、図3に示すフローチャートの処理を終了すると判定する。制御部210は、図3に示すフローチャートの処理を終了すると判定すると、図3に示すフローチャートの処理を終了する。制御部210は、図3に示すフローチャートの処理を終了しないと判定すると、処理をステップS320に戻す。
【0050】
実施形態1によれば、検診データ、ストレスチェックデータ、勤務データ、人事データ、給与データ、生活習慣データ、医療データ、会社データ等、様々なデータを集めなくてもユーザー10のストレス度や深視力を求めることができる。また様々なデータを収集し、学習させる必要がないため、学習時間を必要とせずにすぐにストレス度や深視力を求めることができる。またユーザー10のストレス度や深視力を求める機能を低コストで実現することができる。
【0051】
(変形例1)
実施形態1の変形例1を説明する。変形例1では実施形態1と異なる点について主に説明する。以下の変形例においても同様である。
変形例1の制御部210は、ステップS520で求めたユーザーの視線の位置の情報を学習済みモデルに入力する。学習済みモデルは、第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とに関するユーザーの視線の位置の情報を入力データ、ストレスの度合いを示す値を出力データとして学習された学習済みモデルである。制御部210は、学習済みモデルよりストレスの度合いを示すデータを取得することでユーザーのストレスに関する情報を求める。
【0052】
変形例1によっても様々なデータを集めなくてもユーザー10のストレス度を求めることができる。また学習させるデータも特許文献1より少ないため学習時間の短縮及び低コスト化を実現することができる。また、ユーザーの視線の位置の情報として第1のカテゴリーの絵画画像及び第2のカテゴリーの絵画画像のどちらをより多く見ていたかだけではなく、それぞれの絵画画像のどこを見ていたかの情報を入力データとして学習させることによってより細やかなストレスの度合いを示す値を得ることができるようになる。
【0053】
(変形例2)
実施形態1の変形例2を説明する。
変形例2の制御部210は、ユーザーの視線の位置と複数の物体画像のうち他の物体画像と区別可能に表示した物体画像の位置とを学習済みモデルに入力する。学習済みモデルは、3次元の仮想空間画像における物体画像を見ようとするユーザーの視線の位置(例えば3次元空間上におけるx,y,z座標)と3次元の仮想空間画像における複数の物体画像のうち他の物体画像と区別可能に表示した物体画像の位置(例えば3次元空間上におけるx,y,z座標)とを入力データ、ユーザーの深視力に関する情報を出力データとして学習された学習済みモデルである。制御部210は、学習済みモデルより深視力に関する情報を取得することでユーザーの深視力に関する情報を求める。
【0054】
変形例2によっても様々なデータを集めなくてもユーザー10の深視力を求めることができる。また学習させるデータも特許文献1より少ないため学習時間の短縮及び低コスト化を実現することができる。
【0055】
(変形例3)
実施形態1の変形例3を説明する。
変形例3の制御部210は、ユーザー10の深視力の情報を、深視力を求めた日時情報と共に履歴として記憶部220等に記憶するようにしてもよい。そして、制御部210は、ステップS750で深視力を出力する際に、過去の履歴と共に出力するようにしてもよい。
【0056】
過去の履歴と共に出力することによって、深視力の推移を確認することができる。
【0057】
(変形例4)
実施形態1の変形例4を説明する。
変形例4の制御部210は、図7に示されるようなフローチャートの処理において、視線の位置と他の物体画像と区別可能に表示された物体画像との3次元の仮想空間内での距離が所定の距離以内であった場合、選択された物体画像が表示されてから求めた距離が所定の距離以内になるまでにかかった時間を求め、求めた時間を距離の情報と関連付けて記憶部220等の所定の記憶領域に記憶する。
制御部210は、記憶部220等の所定の記憶領域に記憶されている、距離の情報と関連付けられて時間が記憶されている場合は、記憶されている時間に基づきユーザー10の動体視力を求める。制御部210は、距離の情報と関連付けられて時間の情報が記憶されていない場合には、3次元の仮想空間内において所定時間内に他の物体画像と区別可能に表示された物体画像を注視することができなかったと判断することができる。また制御部210は、距離の情報と関連付けられて時間の情報が記憶されている場合には、3次元の仮想空間内において所定時間内に他の物体画像と区別可能に表示された物体画像を注視することができたと判断することができる。制御部210は、記憶部220等の所定の記憶領域に記憶されている情報に基づき、何回、他の物体画像と区別可能に表示された物体画像を注視することができたか及び注視するまでにかかった時間の平均を求めることができる。制御部210は求めた情報に基づきユーザー10の動体視力を求める。
【0058】
制御部210は、求めたユーザー10の動体視力の情報を出力する。制御部210は、求めたユーザー10の動体視力の情報を、動体視力を求めた日時情報と共に履歴として記憶部220等に記憶するようにしてもよい。そして、制御部210は、ステップS750で動体視力を出力する際に、過去の履歴と共に出力するようにしてもよい。
【0059】
変形例4によれば、様々なデータを集めなくてもユーザー10の動体視力を求めることができる。また学習させるデータも特許文献1より少ないため学習時間の短縮及び低コスト化を実現することができる。また、過去の履歴と共に出力することによって、動体視力の推移を確認することができる。
【0060】
(変形例5)
実施形態1の変形例5を説明する。
複数のユーザーが1つのHMD100を共有するようにしてもよい。このような使用方法の場合、ユーザーは、HMD100に貼られている二次元コード等をユーザーのスマートフォン等で読み取る。そして、スマートフォンからユーザーの情報をHMD100に送信することでどのユーザーがHDM100のシステムにログインしているか識別可能にしてもよい。複数のユーザーが共有してHMD100を使用する場合、上述した各情報(例えば、深視力、ストレス度等)はユーザーごとに記憶部220等に記憶される。
【0061】
(変形例6)
実施形態1の変形例6を説明する。
変形例6ではHMD100から情報を取得したサーバー装置が上述した変形例も含めて実施形態1で説明したHMD100が行う処理のすべて又は一部を実施するようにしてもよい。クライアント装置側で処理を行うのではなく、サーバー装置側で処理を行うことによって、クライアント側(すなわちHMD100)の負荷が低減される。また、ソフトウェアのバージョンアップやソフトウェアの修正もサーバー装置側で行えば済むため、トラブル時の原因追求や復旧が素早く行える。サーバー装置はハードウェア構成として少なくとも制御部と記憶部と通信部とを有する。制御部はCPU等であって、記憶部に記憶されているプログラムに基づき処理を実行することによってサーバー装置の機能を実現する。記憶部はプログラム及び制御部がプログラムに基づき処理を実行する際に利用するデータ等を記憶する通信部はサーバー装置をネットワーク等に接続し、他の装置との通信を司る。
【0062】
サーバー装置はHMD100が実行した結果のデータ(例えば、ストレスチェックの結果及びビジョントレーニングの結果等)を、ユーザーを識別する識別情報と関連付けてサーバー装置の記憶部等に記憶するようにしてもよい。サーバー装置の制御部は、記憶部等に記憶されたHMD100が実行した結果のデータに基づき解析を行い、解析結果を生成し、HMD100から確認可能にしてもよい。サーバー装置の制御部は、データを解析し、例えば、所定の日数ごと(例えば週ごと)の変化を示したグラフであったり、ユーザーに関する生体データ(例えば、)と関連付けてHMD100が実行した結果のデータがどう変化したかのグラフであったりを生成し、記憶部等に格納する。なお、生体データは、HMD100に含まれる各種センサ及び/又はHMD100とネットワークを介して通信可能な各種センサが測定、取得し、サーバー装置に送信される。各種センサには例えば体温を計測するセンサ、脈拍を計測するセンサ、呼吸の回数を計測するセンサ、脳波を計測するセンサ、ユーザーの周辺の温度を計測するセンサ、ユーザーの周辺の音を計測するセンサ等が含まれる。
またサーバー装置の制御部はビジョントレーニングの結果が過去のビジョントレーニングの平均値等よりよい場合は、よい結果を得られた際のセンサの情報を記憶するようにしてもよい。そしてその記憶しておいたセンサの情報をHMD100及びセンサ(又はセンサを制御する装置等)に送信するようにしてもよい。このような構成とすることによって例えばゾーン状態になっており成績がよかった際の環境をユーザーの周りで再現させることができる。
【0063】
(変形例7)
実施形態1の変形例7を説明する。
変形例7の制御部210は、ビジョントレーニングの処理において、撮像画像に基づきユーザーの注視点を求め、その注視点が3次元の仮想空間画像において表示された指標となる画像(指標画像)に当たった場合は、ピントがあっていると判定する。制御部210は、指標画像を動かし、動かした指標画像の位置、速さと、ユーザーの追視の情報(注視点の位置、速さ)と、に基づきユーザーの動体視力を求める。また、制御部210は、指標画像を動かし、仮想空間上における奥行方向に動かした指標画像の位置、速さと、奥行方向のユーザーの追視の情報(注視点の位置、速さ)と、に基づきユーザーの深視力を求める。
変形例7によってもユーザーの動体視力や深視力を求めることができる。
【0064】
(変形例8)
実施形態1の変形例8を説明する。
変形例8の制御部210は、ビジョントレーニングの処理のステップS710の繰り返しの実行によって、選択された物体画像(例えばボールや羽根)を3次元仮想空間の奥行方向から手前方向に順次移動させるよう表示させてもよい。制御部210は、選択された物体画像を3次元仮想空間の奥行方向から手前方向に順次移動させる際に、水平方向に動くように移動させると共に、垂直方向に動くように移動させてもよい。そして制御部210は、選択された物体画像を水平方向に移動させた際のユーザーの深視力及び動体視力を求める。同様に制御部210は、選択された物体画像を水平方向に移動させた際のユーザーの深視力及び動体視力を求める。そして制御部210等は水平方向に関する深視力及び動体視力と垂直方向に関する深視力及び動体視力とを比較し、バランスがとれているか等を解析するようにしてもよい。そして、制御部210は、水平方向に関する深視力及び動体視力と垂直方向に関する深視力及び動体視力とを比較し、何れか一方の深視力及び動体視力の値がもう一方の深視力及び動体視力よりよくないと判断した場合、次のビジョントレーニングの際に、値が良くない方の動き(例えば、選択画像の垂直方向への動き、又は選択画像の水平方向の動き)を多くするようにしてもよい。すなわち、制御部210は、過去の垂直方向及び水平方向の深視力及び動体視力の値に基づきビジョントレーニングの際の選択画像(ボールや羽根等)の垂直方向及び水平方向動きを変更するようにしてもよい。
【0065】
変形例8によれば、垂直方向及び水平方向の動きに関する深視力や動体視力を求めることができると共に、どちらか一方の動きに対する成績が悪ければ次のビジョントレーニングの際に成績が悪い方のボールや羽根等の動きを多くしてトレーニングすることができる。例えば、ボールが野球のボールであり、ユーザーが野球をする人である場合、縦へのボールの変化に対する深視力や動体視力が悪ければ、縦へのボールの深視力や動体視力を鍛えることができる。
なお、入力部240を介したユーザーの入力操作等に応じて、制御部210は、垂直方向及び水平方向の動きのうちどちらを多くするか決定するようにしてもよい。
【0066】
<付記>
発明は、次に記載の各態様で提供されてもよい。
【0067】
(1)情報処理システムであって、ユーザーが目視可能な表示部に仮想空間画像を表示するよう制御し、前記仮想空間画像に第1のカテゴリーの絵画画像と前記第1のカテゴリーとは異なる第2のカテゴリーの絵画画像との組み合わせを順次表示させ、順次表示される前記第1のカテゴリーの絵画画像と前記第2のカテゴリーの絵画画像とに関する前記ユーザーの視線の位置の情報に基づき前記ユーザーのストレスに関する情報を求める、情報処理システム。
【0068】
(2)上記(1)に記載の情報処理システムにおいて、前記ユーザーの視線の位置の情報を学習済みモデルに入力し、前記学習済みモデルは、前記第1のカテゴリーの絵画画像と前記第2のカテゴリーの絵画画像とに関するユーザーの視線の位置の情報を入力データ、ストレスの度合いを示す値を出力データとして学習された学習済みモデルであり、前記学習済みモデルよりストレスの度合いを示す値を取得することで前記ユーザーのストレスに関する情報を求める、情報処理システム。
【0069】
(3)上記(1)に記載の情報処理システムにおいて、前記ストレスに関する情報を出力する、情報処理システム。
【0070】
(4)上記(1)に記載の情報処理システムにおいて、前記仮想空間画像に複数のグラフィカルユーザーインターフェース部品を表示させ、前記複数のグラフィカルユーザーインターフェース部品にはストレスチェックに関するグラフィカルユーザーインターフェース部品が含まれ、前記ユーザーの視線の位置の情報に基づき前記複数のグラフィカルユーザーインターフェース部品のうち前記ストレスチェックに関するグラフィカルユーザーインターフェース部品が選択された場合、前記仮想空間画像に前記第1のカテゴリーの絵画画像と前記第2のカテゴリーの絵画画像との組み合わせを順次表示させる、情報処理システム。
【0071】
(5)上記(4)に記載の情報処理システムにおいて、前記複数のグラフィカルユーザーインターフェース部品にはビジョントレーニングに関するグラフィカルユーザーインターフェース部品が含まれ、前記ユーザーの視線の位置の情報に基づき前記複数のグラフィカルユーザーインターフェース部品のうち前記ビジョントレーニングに関するグラフィカルユーザーインターフェース部品が選択された場合、前記仮想空間画像に物体画像を順次表示させ、前記物体画像を見ようとする前記ユーザーの視線の位置と前記物体画像の位置とに基づき前記ユーザーの深視力に関する情報を求め、前記仮想空間画像は3次元の仮想空間画像である、情報処理システム。
【0072】
(6)上記(5)に記載の情報処理システムにおいて、前記ユーザーの視線の位置と前記物体画像の位置とを学習済みモデルに入力し、前記学習済みモデルは、3次元の仮想空間画像における物体画像を見ようとするユーザーの視線の位置と前記3次元の仮想空間画像における前記物体画像の位置とを入力データ、ユーザーの深視力に関する情報を出力データとして学習された学習済みモデルであり、前記学習済みモデルより深視力に関する情報を取得することで前記ユーザーの深視力に関する情報を求める、情報処理システム。
【0073】
(7)上記(5)に記載の情報処理システムにおいて、前記ユーザーの深視力に関する情報を出力する、情報処理システム。
【0074】
(8)情報処理システムが実行する情報処理方法であって、ユーザーが目視可能な表示部に仮想空間画像を表示するよう制御し、前記仮想空間画像に第1のカテゴリーの絵画画像と前記第1のカテゴリーとは異なる第2のカテゴリーの絵画画像との組み合わせを順次表示させ、順次表示される前記第1のカテゴリーの絵画画像と前記第2のカテゴリーの絵画画像とに関する前記ユーザーの視線の位置の情報に基づき前記ユーザーのストレスに関する情報を求める、情報処理方法。
【0075】
(9)プログラムであって、コンピュータを、上記(1)から(7)までの何れか1つに記載の情報処理システムとして機能させるためのプログラム。
もちろん、この限りではない。
【0076】
例えば、HMD100の処理の一部又は全部をカメラ120が実行してもよい。
制御部210は、上述した実施形態1及び各変形例を任意に組み合わせて実施するようにしてもよい。
【0077】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0078】
10 :ユーザー
100 :HMD
120 :カメラ
210 :制御部
220 :記憶部
230 :撮像部
240 :入力部
250 :出力部
260 :通信部
270 :ジャイロセンサ
280 :加速度センサ
410 :案内板
420 :案内板
610 :画像
611 :絵画画像
612 :絵画画像
620 :画像
621 :絵画画像
622 :絵画画像
630 :画像
631 :絵画画像
632 :絵画画像
810 :画像
811 :物体画像
812 :画像
820 :画像
821 :物体画像
822 :画像
830 :画像
831 :物体画像
832 :画像
【要約】      (修正有)
【課題】検診データ、ストレスチェックデータ、勤務データ、人事データ、給与データ、生活習慣データ、医療データ、会社データ等、学習用データを取得し、精度を上げるための学習と結果の評価を行う方法を提供する。
【解決手段】情報処理システムでは、ユーザーが目視可能な表示部に仮想空間画像を表示するよう制御する。仮想空間画像に第1のカテゴリーの絵画画像と第1のカテゴリーとは異なる第2のカテゴリーの絵画画像との組み合わせを順次表示させる。順次表示される第1のカテゴリーの絵画画像と第2のカテゴリーの絵画画像とに関するユーザーの視線の位置の情報に基づきユーザーのストレスに関する情報を求める。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8