特開 2024-51776 プログラム、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051776

(43)【公開日】2024-04-11

(54)【発明の名称】プログラム、情報処理装置及び情報処理方法

(51)【国際特許分類】

   G16H 50/00 20180101AFI20240404BHJP

【ＦＩ】

G16H50/00

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022158101

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】森田 のぞみ

(72)【発明者】

【氏名】本間 康之

(72)【発明者】

【氏名】西村 俊彦

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA03

(57)【要約】      （修正有）

【課題】脳機能障害を具体的に認識するプログラム、情報処理装置及び情報処理方法を提供する。
【解決手段】検出装置及び出力装置が、有線又は無線により体験装置に接続され、体験者に対し脳機能障害が生じた場合の症状を疑似体験させることのできる疑似体験システムにおいて、体験装置のプログラムは、対象者の発話情報を取得し、取得した前記発話情報を脳機能障害が生じた場合の音声に変換し、変換後の音声を出力する処理をコンピュータに実行させる。また、対象者の画像を取得し、取得した前記画像を脳機能障害が生じた場合の画像に変換し、変換後の画像を出力する。さらに、変換後の音声と前記変換後の画像とを同期させて出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象者の発話情報を取得し、
取得した前記発話情報を脳機能障害が生じた場合の音声に変換し、
変換後の音声を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記対象者の画像を取得し、
取得した前記画像を脳機能障害が生じた場合の画像に変換し、
変換後の画像を出力する
請求項１に記載のプログラム。

【請求項3】

前記変換後の音声と前記変換後の画像とを同期させて出力する
請求項２に記載のプログラム。

【請求項4】

前記対象者に取り付けられた触覚デバイスに脳機能障害の症状に対応する触覚情報を出力する
請求項１又は請求項２に記載のプログラム。

【請求項5】

対象者の発話情報を入力した場合に、脳機能障害の症状に応じたテキストまたは音声を出力するよう学習された第１モデルに、取得した前記発話情報を入力して脳機能障害の症状に応じたテキストまたは音声を出力する
請求項１又は請求項２に記載のプログラム。

【請求項6】

対象者の画像を入力した場合に、脳機能障害の症状に応じた画像を生成する第２モデルに、前記対象者の画像を入力して脳機能障害の症状に応じた画像を生成する
請求項１又は請求項２に記載のプログラム。

【請求項7】

前記対象者の顔、手又は足の少なくとも１つに麻痺が生じている画像を出力する
請求項１又は請求項２に記載のプログラム。

【請求項8】

前記対象者の頭部に取り付けられた触覚デバイス又は前記対象者の片方の手もしくは片方の足に取り付けられた触覚デバイスに麻痺に関する触覚情報を出力する
請求項１又は請求項２に記載のプログラム。

【請求項9】

前記発話情報を失語または構音障害が生じた場合の音声に変換する
請求項１又は請求項２に記載のプログラム。

【請求項10】

前記対象者のアバターの音声及び画像を脳機能障害が生じた場合の音声及び画像に変換し、
変換後のアバターの音声及び画像を出力する
請求項１又は請求項２に記載のプログラム。

【請求項11】

変換後の音声又は画像に対応付けて脳機能障害の疑似体験中であることを示す情報を出力する
請求項１又は請求項２に記載のプログラム。

【請求項12】

変換後の音声又は画像に対応付けて脳卒中の可能性を判定するための指標に関する情報を出力する
請求項１又は請求項２に記載のプログラム。

【請求項13】

変換後の音声又は画像に対応付けて脳機能障害に関する啓蒙情報及び／又は広告情報を出力する
請求項１又は請求項２に記載のプログラム。

【請求項14】

対象者の発話情報を取得し、
取得した前記発話情報を脳機能障害が生じた場合の音声に変換し、
変換後の音声を出力する
処理を実行する制御部を備える
情報処理装置。

【請求項15】

対象者の発話情報を取得し、
取得した前記発話情報を脳機能障害が生じた場合の音声に変換し、
変換後の音声を出力する
処理をコンピュータが実行する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

脳卒中は、脳血管が閉塞又は狭窄することにより脳虚血をきたし脳組織が壊死した状態の脳梗塞、脳血管が裂けて出血する脳出血やくも膜下出血などに分類される。脳卒中が発症した場合、麻痺、言語障害、失明、めまい、失調、意識障害などの症状を生じる。

【0003】

脳卒中は、発見が遅れるほど重篤となりやすいため、症状が発生してから早期に脳卒中を発見することが重要である。そこで、脳卒中を検出するための技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第７０７１３４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

脳卒中を初めとする脳機能障害に関し、脳機能障害を発症した場合にどのような症状が出るのかを具体的に体験し、脳機能障害を認識することができないという問題がある。脳機能障害の疑似体験を通じて脳機能障害を具体的に認識することで、疑似体験をした体験者が実際に脳機能障害を発症した場合や、脳機能障害を発症した他人と遭遇した場合の早期発見につながる。

【0006】

本開示の目的は、脳機能障害を具体的に認識することができるプログラム等を提供することである。

【課題を解決するための手段】

【0007】

（１）本開示の一態様に係るプログラムは、対象者の発話情報を取得し、取得した前記発話情報を脳機能障害が生じた場合の音声に変換し、変換後の音声を出力する処理をコンピュータに実行させる。

【0008】

（２）上記（１）に記載のプログラムにおいて、前記対象者の画像を取得し、取得した前記画像を脳機能障害が生じた場合の画像に変換し、変換後の画像を出力してもよい。

【0009】

（３）上記（１）又は（２）に記載のプログラムにおいて、前記変換後の音声と前記変換後の画像とを同期させて出力してもよい。

【0010】

（４）上記（１）から（３）のいずれか１つに記載のプログラムにおいて、前記対象者に取り付けられた触覚デバイスに脳機能障害の症状に対応する触覚情報を出力してもよい。

【0011】

（５）上記（１）から（４）のいずれか１つに記載のプログラムにおいて、対象者の発話情報を入力した場合に、脳機能障害の症状に応じたテキストまたは音声を出力するよう学習された第１モデルに、取得した前記発話情報を入力して脳機能障害の症状に応じたテキストまたは音声を出力してもよい。

【0012】

（６）上記（１）から（５）のいずれか１つに記載のプログラムにおいて、対象者の画像を入力した場合に、脳機能障害の症状に応じた画像を生成する第２モデルに、前記対象者の画像を入力して脳機能障害の症状に応じた画像を生成してもよい。

【0013】

（７）上記（１）から（６）のいずれか１つに記載のプログラムにおいて、前記対象者の顔、手又は足の少なくとも１つに麻痺が生じている画像を出力してもよい。

【0014】

（８）上記（１）から（７）のいずれか１つに記載のプログラムにおいて、前記対象者の頭部に取り付けられた触覚デバイス又は前記対象者の片方の手もしくは片方の足に取り付けられた触覚デバイスに麻痺に関する触覚情報を出力してもよい。

【0015】

（９）上記（１）から（８）のいずれか１つに記載のプログラムにおいて、前記発話情報を失語または構音障害が生じた場合の音声に変換してもよい。

【0016】

（１０）上記（１）から（９）のいずれか１つに記載のプログラムにおいて、前記対象者のアバターの音声及び画像を脳機能障害が生じた場合の音声及び画像に変換し、変換後のアバターの音声及び画像を出力してもよい。

【0017】

（１１）上記（１）から（１０）のいずれか１つに記載のプログラムにおいて、変換後の音声又は画像に対応付けて脳機能障害の疑似体験中であることを示す情報を出力してもよい。

【0018】

（１２）上記（１）から（１１）のいずれか１つに記載のプログラムにおいて、変換後の音声又は画像に対応付けて脳卒中の可能性を判定するための指標に関する情報を出力してもよい。

【0019】

（１３）上記（１）から（１２）のいずれか１つに記載のプログラムにおいて、変換後の音声又は画像に対応付けて脳機能障害に関する啓蒙情報及び／又は広告情報を出力してもよい。

【0020】

（１４）本開示の一態様に係る情報処理装置は、対象者の発話情報を取得し、取得した前記発話情報を脳機能障害が生じた場合の音声に変換し、変換後の音声を出力する処理を実行する制御部を備える。

【0021】

（１５）本開示の一態様に係る情報処理方法は、対象者の発話情報を取得し、取得した前記発話情報を脳機能障害が生じた場合の音声に変換し、変換後の音声を出力する処理をコンピュータが実行する。

【発明の効果】

【0022】

本開示によれば、脳機能障害を具体的に認識することができる。

【図面の簡単な説明】

【0023】

【図1】第１実施形態の疑似体験システムの構成例を示すブロック図である。

【図2】第１モデルの概要を示す説明図である。

【図3】第２モデルの概要を示す説明図である。

【図4】体験装置が実行する処理手順の一例を示すフローチャートである。

【図5】出力画面の一例を説明する説明図である。

【図6】付加情報ＤＢに記憶される情報の内容例を示す図である。

【図7】第２実施形態の体験装置が実行する処理手順の一例を示すフローチャートである。

【図8】第２実施形態の出力画面の一例を説明する説明図である。

【図9】第２実施形態の出力画面の他の例を説明する説明図である。

【図10】第３実施形態の疑似体験システムの構成例を示すブロック図である。

【図11】第３実施形態の体験装置が実行する処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

本開示をその実施の形態を示す図面を参照して具体的に説明する。

【0025】

（第１実施形態）
図１は、第１実施形態の疑似体験システム１００の構成例を示すブロック図である。疑似体験システム１００は、対象者（体験者）に対し脳機能障害が生じた場合の症状を疑似体験させることのできるシステムである。疑似体験システム１００は、体験装置１、検出装置２、及び出力装置３を含む。検出装置２及び出力装置３それぞれは、有線又は無線により体験装置１に接続される。

【0026】

体験装置１は、種々の情報処理、情報の送受信が可能な装置であり、例えばサーバコンピュータ、パーソナルコンピュータ、量子コンピュータ等である。体験装置１は、脳機能障害の疑似体験に関する処理を実行する情報処理装置に対応する。体験装置１は、脳機能障害が現れていない対象者の音声データ及び画像データを、脳機能障害が現れた際の発話状態を表す音声及び脳機能障害が現れた際の動作状態を表す画像に変換した情報を提示することで、対象者に脳機能障害を疑似体験させる。対象者は、自分自身に脳機能障害が生じた場合にどのような状態になるのかを疑似体験することで、脳機能障害の症状を具体的に認識することができる。

【0027】

本実施形態では、脳機能障害として脳卒中の症状を疑似体験させるものとする。脳卒中の場合、特に片麻痺（身体の片側における急な顔、手足のしびれや脱力）、頭痛、目が見えにくくなる、呂律が回らなくなる、言葉が出てこないといった症状が出現する。このような脳卒中の症状として、体験装置１は、例えば失語又は構音障害等の発話異常のある音声に加工した音声や、顔、手（腕を含む）及び足の少なくとも一部に麻痺があるといった動作異常のある画像に加工した画像を提示する。なお、麻痺は、表情筋を動かせない顔面麻痺、身体の左右どちらか一方の側が動かせない片麻痺、身体の左右両方の側が動かせない対麻痺、手足を動かせない四肢麻痺、身体の左右どちらか一方の側の一部を動かせない単麻痺を含む。

【0028】

以下では、説明の便宜上、対象者の実際の音声、すなわち脳卒中に起因する発話異常が現れていない音声を元音声、発話異常が現れた際の発話を表す音声を疑似音声とも記載する。また、対象者の実際の画像、すなわち脳卒中に起因する動作異常が現れていない画像を元画像、動作異常が現れた際の動作状態を表す画像を疑似画像とも記載する。疑似音声及び疑似画像をまとめて疑似体験情報とも記載する。

【0029】

図１に示すように、体験装置１は、制御部１１、記憶部１２、通信部１３、入力部１４、及び出力部１５を備える。体験装置１は、複数台のコンピュータで構成し分散処理する構成でもよく、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよく、クラウドサーバを用いて実現されていてもよい。

【0030】

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を用いたプロセッサを備える。制御部１１は、内蔵するＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等のメモリ、クロック、カウンタ等を用い、各構成部を制御して処理を実行する。

【0031】

記憶部１２は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを備える。記憶部１２は、体験装置１に接続された外部記憶装置であってもよい。記憶部１２は、制御部１１が参照する各種プログラム及びデータを記憶する。

【0032】

本実施形態の記憶部１２は、疑似体験情報の生成に関する処理をコンピュータに実行させるためのプログラム１Ｐと、このプログラム１Ｐの実行に必要な第１モデル１２１及び第２モデル１２２とを記憶している。第１モデル１２１及び第２モデル１２２は、所定の訓練データを学習済みの機械学習モデルである。第１モデル１２１及び第２モデル１２２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。記憶部１２にはさらに、付加情報ＤＢ（Data Base）１２３が記憶されてもよい。付加情報ＤＢ１２３については他の実施形態で詳述する。

【0033】

プログラム１Ｐを含むプログラム（プログラム製品）は、当該プログラムを読み取り可能に記録した非一時的な記録媒体１Ａにより提供されてもよい。記憶部１２は、不図示の読出装置によって記録媒体１Ａから読み出されたプログラムを記憶する。記録媒体１Ａは、例えば磁気ディスク、光ディスク、半導体メモリ等である。また、通信ネットワークに接続されている外部サーバからプログラムをダウンロードし、記憶部１２に記憶させてもよい。プログラム１Ｐは、単一のコンピュータプログラムでも複数のコンピュータプログラムにより構成されるものでもよく、また、単一のコンピュータ上で実行されても通信ネットワークによって相互接続された複数のコンピュータ上で実行されてもよい。

【0034】

通信部１３は、インターネット等のネットワークを介して外部装置と通信するための通信モジュールを備える。制御部１１は、通信部１３を介して外部装置との間でデータを送受信する。なお、通信部１３は省略されてもよい。

【0035】

入力部１４は、外部装置を接続するための入力インタフェースを備え、疑似体験情報の生成に関する処理の実施に必要な各種データの入力を受け付ける。入力部１４は、受け付けた入力内容を制御部１１へ送出する。入力部１４には、有線又は無線により検出装置２が接続されている。入力部１４にはさらに、例えばキーボード、マウス、ディスプレイ内蔵のタッチパネルデバイス等、ユーザの操作を受け付けるための不図示の入力装置が接続されていてもよい。

【0036】

出力部１５は、外部装置を接続するための出力インタフェースを備え、疑似体験に関する処理の実施の実施に伴う各種データを出力する。出力部１５は、制御部１１からの指示に従って各種の情報を出力する。出力部１５には、有線又は無線により出力装置３が接続されている。

【0037】

検出装置２は、対象者の生体情報を検出する装置であり、例えばカメラ２１及びマイクロフォン２２を含む。カメラ２１は、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子及びレンズ等を有し、レンズを介して入射した光を撮像素子にて光電変換し画像データを生成する。カメラ２１は、対象者の身体全体、又は例えば顔や上半身等、身体の一部を撮像した動画像データ（元画像）を体験装置１に送出する。マイクロフォン２２は、対象者の音波を音声データに変換し、変換した音声データを体験装置１に送出する。音声データ（元音声）は発話情報に対応する。

【0038】

検出装置２は、上述のカメラ２１及びマイクロフォン２２を用いるものに限定されず、例えば超音波センサ、マイクロ波センサ、ミリ波センサ、レーザレーダセンサ等を含んで構成されてもよい。検出装置２はまた、対象者の血流や表面温度を検出する赤外線カメラ、対象者の輝度変化（例えば対象者の動き）を抽出して輝度変化が生じた画素のみを位置情報および時間情報と組み合わせて出力するイベント駆動撮影装置、対象者の脈波を検出する脈波センサ、対象者の体温を検出する温度センサ等を備えてもよい。検出装置２は、対象者に装着されるウェアラブルデバイスとして構成され、例えば対象者に関する加速度、血圧、心拍、血中酸素濃度、呼吸、水分量、心電図、筋電図、眼球図等を検出するものであってもよい。

【0039】

出力装置３は、生成された疑似体験情報、すなわち脳機能障害が現れたかのように変換された疑似音声及び疑似画像を対象者へ提示するための装置である。より具体的には、出力装置３は、脳機能障害の症状に応じた音声またはテキスト及び脳機能障害の症状に応じた画像を対象者へ提示するための装置である。脳機能障害の症状に応じた画像は、麻痺が生じている画像を含み、例えば、脳卒中の疑似体験時には、出力装置３は、顔、手又は足の少なくとも１つに片麻痺が生じている画像を出力する。

【0040】

出力装置３は、例えばディスプレイ３１及びスピーカ３２を含む。ディスプレイ３１は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等を備え、体験装置１から受け付けた疑似画像を表示する。スピーカ３２は、音声を再生するための音声出力デバイスであり、体験装置１から受け付けた疑似音声を音波に変換して出力する。

【0041】

出力装置３は、上述のディスプレイ３１及びスピーカ３２を用いるものに限定されず、例えばヘッドマウントディスプレイ、スマートコンタクトレンズ、ホログラム、スマートフォン、スマートディスプレイ等を含んで構成されてもよい。出力装置３は、インターネット等のネットワークを介して体験装置１に通信可能に接続されており、通信により体験装置１から送信される疑似体験情報を受信するものであってもよい。

【0042】

なお、体験装置１と、検出装置２及び出力装置３とは別個の装置に限られない。体験装置１、検出装置２及び出力装置３は、例えばスマートフォン、ＶＲヘッドデバイス等、それらを一体化した１つの処理装置であってもよい。

【0043】

図２は、第１モデル１２１の概要を示す説明図である。第１モデル１２１は、元音声を入力として、元音声に対応する疑似音声を出力するモデルである。本実施形態において第１モデル１２１は、ニューラルネットワークにより構築されたモデルであり、例えばＴｒａｎｓｆｏｒｍｅｒの１種であるＢＥＲＴ（Bidirectional Encoder Representations from Transformers）である。

【0044】

第１モデル１２１は、元音声の入力を受け付ける入力層と、当該元音声の特徴量を抽出する中間層（隠れ層）と、疑似音声を出力する出力層とを有する。元音声は、例えば、元音声に係る音声データをテキストに変換した後、当該テキストを形態素解析などにより解析することにより生成されるトークンとして入力層へ入力されてもよい。中間層は、入力されたそれぞれの値の特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。出力層は、中間層から出力された特徴量に基づいて疑似音声を出力するよう構成される。出力層は、疑似音声に応じたテキストを出力するよう構成されてもよい。Ｔｒａｎｓｆｏｒｍｅｒモデルでは、中間層にＡｔｔｅｎｔｉｏｎ層を備え、文全体における単語の位置を抽出することができる。

【0045】

体験装置１は、例えば、元音声としての脳卒中に起因する失語又は構音障害が現れていない場合の脳卒中患者の音声に、疑似音声としての失語又は構音障害が現れている場合の上記脳卒中患者の音声が付与された情報群を訓練データとして予め収集する。体験装置１は、収集した訓練データを用いて第１モデル１２１を学習する。訓練データは、失語又は構音障害が現れる以前の脳卒中患者の音声と、失語又は構音障害が現れた以後の脳卒中患者の音声とを対応付けたデータセットであってもよい。なお体験装置１は、事前学習済みの第１モデル１２１を疑似音声の生成用モデルとしてファインチューニングしてもよい。体験装置１は、予め事前学習されたモデルの出力層として、元音声に応じた疑似音声を出力可能に構成された出力層を追加し、ファインチューニングを実行する。

【0046】

体験装置１は、元音声に応じた疑似音声を出力するよう、第１モデル１２１を構成する各種パラメータを最適化する。具体的には、体験装置１は、訓練データである元音声を第１モデル１２１に入力し、第１モデル１２１から出力される疑似音声を取得する。体験装置１は、出力された疑似音声と、訓練データにおいて元音声に対しラベル付けされた情報、即ち正解値である疑似音声とを比較し、出力された疑似音声が正解値に近づくように、例えば誤差逆伝播法を用いて、パラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）等である。学習が終了すると、脳卒中の症状が現れていない元音声に対し脳卒中の症状が現れている疑似音声を適切に出力可能に学習された第１モデル１２１が構築される。

【0047】

第１モデル１２１の構成は上述の例に限定されるものではない。第１モデル１２１は、元音声に対し疑似音声を生成可能であればよい。第１モデル１２１は、例えばＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等の他の学習アルゴリズムを用いてもよい。

【0048】

第１モデル１２１は、機械学習モデルに限られず、ルールベースの手法や特定のパラメータ変換等によって疑似音声を導出するものであってもよい。第１モデル１２１は、明瞭な音声を不明瞭な音声へ変換する音声変換ツールであってもよい。

【0049】

第１モデル１２１は、構音障害に対応する疑似音声を生成するモデルと、失語に対応する疑似音声を生成するモデルとを含んでもよい。例えば、疑似体験中において、所定の問いかけに対する対象者の応答文を示す元音声が取得される。構音障害に対応するモデルは、例えばｓｅｑ２ｓｅｑの手法を用いて、応答文を示す元音声をテキスト化したデータを入力として、応答文の文字の一部を変換させた文の発音を出力する。あるいは、構音障害に対応するモデルにより、応答文の文字の一部を変換させた文を示すテキストを生成し、得られた変換後のテキストに基づき、所定の音声変換ツールにより疑似音声を生成してもよい。

【0050】

また、失語に対応する疑似音声を生成するモデルとして、問いかけと、元音声に対する音声変換パターンとの対応ルールが設定されていてもよい。対応ルールとしては、例えば問いかけに対し答えられない場合の応答（例えば回答しない、「えー」等の言葉）、応答文の一部を所定の語句に置き換える等が挙げられる。

【0051】

上述の第１モデル１２１は、脳卒中の症状の度合いに応じて複数種用意されてもよい。体験装置１は、例えば、軽度障害に対応する疑似音声を出力する軽度障害用の第１モデル１２１と、重度障害に対応する疑似音声を出力する重度障害用の第１モデル１２１との２つの第１モデル１２１を記憶部１２に記憶していてもよい。各第１モデル１２１は、障害度合いに応じた脳卒中患者の音声を含む訓練データを用いて、障害度合いに応じた発話異常を示す音声を出力するよう学習される。なお、第１モデル１２１は、後述する各種指標の点数に応じて複数種用意されてもよい。

【0052】

図３は、第２モデル１２２の概要を示す説明図である。第２モデル１２２は、元画像を入力として、元画像に対応する疑似画像を出力するモデルである。本実施形態において第２モデル１２２は、ＧＡＮ（Generative Adversarial Network）の手法を用いて元画像及び疑似画像を学習することにより生成された機械学習済みの学習モデルであり、疑似画像を生成する生成器として機能する。

【0053】

第２モデル１２２は、入力データから出力データを生成する生成器（Generator）１２２ａと、入力データの真偽を識別する識別器（Discriminator）１２２ｂとを有する。生成器１２２ａは、入力される画像Ｘに基づき、偽の画像Ｙを生成する。識別器１２２ｂは、生成器１２２ａから入力された画像が、真の画像Ｚ（すなわち本物）であるか、生成器１２２ａにより生成された偽の画像Ｙ（すなわち偽物）であるかを識別する。

【0054】

体験装置１は、元画像と疑似画像とを含む訓練データを予め収集して、第２モデル１２２を学習する。訓練データは、例えば、元画像としての脳卒中に起因する片麻痺が現れていない場合の脳卒中患者の身体の少なくとも一部を含む画像に、疑似画像としての片麻痺が現れている場合の上記脳卒中患者の身体の少なくとも一部を含む画像が付与された情報群である。訓練データは、片麻痺が現れる以前の脳卒中患者の画像と、片麻痺が現れた以後の脳卒中患者の画像とを対応付けたデータセットであってもよい。

【0055】

体験装置１は、生成器１２２ａにて、識別器１２２ｂをだませるほどに本物の画像Ｚ（疑似画像）に近い画像Ｙを生成するように、例えば誤差逆伝播法を用いて生成器１２２ａの各種パラメータを最適化する。体験装置１はまた、識別器１２２ｂにて、生成器１２２ａにより生成された画像Ｙを「偽物」であると正しく識別し、画像Ｚを「本物」であると正しく識別できるように、識別器１２２ｂの各種パラメータを最適化する。第２モデル１２２は、生成器１２２ａ及び識別器１２２ｂが競合して学習を行い、最終的に生成器１２２ａの損失関数が最小化し、かつ、識別器１２２ｂの損失関数が最大化するよう学習される。

【0056】

上述の処理により、脳卒中の症状が現れていない元画像を入力した場合に、脳卒中の症状が現れている疑似画像を出力可能に学習された第２モデル１２２が構築される。体験装置１は、第２モデル１２２の生成器１２２ａを画像生成モデルとして利用する。

【0057】

第２モデル１２２の構成は上述の例に限定されるものではない。第２モデル１２２は、元画像に対し疑似画像を生成可能であればよい。第２モデル１２２は、例えばｓｔｙｌｅＧＡＮ、ＣｙｃｌｅＧＡＮ、ＦａＲ－ＧＡＮ、Ｕ－ｎｅｔ、深層学習、回帰木等の他の学習アルゴリズムに基づくモデルであってもよい。

【0058】

第２モデル１２２は、機械学習モデルに限られず、ルールベースの手法、特定の数式、線形変換等によって疑似画像を導出するものであってもよい。線形変換により疑似画像を導出する場合、例えば元画像における対象者の顔の右半分又は左半分の所定領域を、特定の関数により線形変換することで、疑似画像を生成することができる。上記関数は、障害度合いに応じて変形度合いを異ならせるよう構成されてもよい。

【0059】

上述の第２モデル１２２は、脳卒中の症状の度合いに応じて複数種用意されてもよい。体験装置１は、例えば、軽度障害に対応する疑似画像を出力する軽度障害用の第２モデル１２２と、重度障害に対応する疑似画像を出力する重度障害用の第２モデル１２２との２つの第２モデル１２２を記憶部１２に記憶していてもよい。各第２モデル１２２は、障害度合いに応じた脳卒中患者の画像を含む訓練データを用いて、障害度合いに応じた動作異常を示す画像を出力するよう学習される。

【0060】

なお第１モデル１２１及び第２モデル１２２は、体験装置１にて生成されるものに限らず、外部装置で構築されたものを通信等により取得し、体験装置１の記憶部１２に記憶させてもよい。

【0061】

体験装置１は、上述の第１モデル１２１及び第２モデル１２２を用いて脳卒中を疑似体験させるための疑似体験情報を生成し、出力装置３を通じて疑似体験情報を対象者へ提示する。

【0062】

図４は、体験装置１が実行する処理手順の一例を示すフローチャートである。以下の各フローチャートにおける処理は、体験装置１の記憶部１２に記憶するプログラム１Ｐに従って制御部１１により実行されてもよく、制御部１１に備えられた専用のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）により実現されてもよく、それらの組合せによって実現されてもよい。

【0063】

体験装置１の制御部１１は、検出装置２にて検出された対象者の発話に関する元音声及び元画像を取得する（ステップＳ１１）。元音声と元画像とは同期して取得される。制御部１１は、検出装置２から受信した音声データを解析することにより、発話情報としてテキストデータを取得してもよい。制御部１１は、元音声及び元画像のいずれか一方を取得してもよい。

【0064】

制御部１１は、取得した元音声を第１モデル１２１へ入力することにより（ステップＳ１２）、脳卒中の症状が現れていない元音声を脳卒中の症状が現れた際の疑似音声へ変換する。制御部１１は、第１モデル１２１から出力される疑似音声を生成（取得）する（ステップＳ１３）。

【0065】

制御部１１は、取得した元画像を第２モデル１２２へ入力することにより（ステップＳ１４）、脳卒中の症状が現れていない元画像を脳卒中の症状が現れた際の疑似画像へ変換する。制御部１１は、第２モデル１２２から出力される疑似画像を生成（取得）する（ステップＳ１５）。制御部１１は、複数フレームの元画像に応じた複数フレーム分の疑似画像（動画）を生成するものであってよい。

【0066】

制御部１１は、疑似画像を含む出力画面を生成する（ステップＳ１６）。制御部１１は、疑似音声と、生成した出力画面における疑似画像との時間軸を同期させて出力装置３へ出力する（ステップＳ１７）。制御部１１は、通信部１３を通じて、疑似音声及び出力画面を出力装置３へ送信してもよい。出力装置３では、ディスプレイ３１を通じて疑似画像を表示するとともに、スピーカ３２を通じて疑似音声を出力する。制御部１１は、一連の処理を終了する。

【0067】

上述の処理において、制御部１１は、ステップＳ１２～ステップＳ１３の疑似音声の生成処理と、ステップＳ１４～ステップＳ１５の疑似画像の生成処理との処理順序を入れ替えて実行してもよい。また、制御部１１は、疑似音声の生成処理及び疑似画像の生成処理を並列で実行してもよい。

【0068】

また、障害度合いに応じた複数の第１モデル１２１及び第２モデル１２２が用意されている場合、制御部１１は、ステップＳ１２及びステップＳ１４にて、疑似体験を提供する障害度合いに応じた第１モデル１２１及び第２モデル１２２を選択するとよい。制御部１１は、選択した各種モデルを用いて、特定の障害度合いに応じた疑似音声及び疑似画像を生成する。制御部１１は、体験者から希望する障害度合いの選択を受け付けることにより、受け付けた障害度合いを疑似体験を提供する障害度合いとして特定してもよく、ランダムに疑似体験を提供する障害度合いを設定してもよい。

【0069】

図５は、出力画面の一例を説明する説明図である。出力画面には、疑似画像を表示する画像表示部４１が含まれる。図５に概念的に示すように、画像表示部４１は、対象者を撮像した元画像に基づき生成された疑似画像を、リアルタイムで表示する。

【0070】

出力画面にはまた、疑似画像に対応付けて、疑似体験中であることを示す情報を表示する体験情報表示部４２が含まれる。図５に示す例にて、体験情報表示部４２は、疑似体験中であることを示すテキストを表示する。体験情報表示部４２は、特定の背景画像、イラスト等の態様により疑似体験中であることを報知してもよい。体験情報表示部４２により、対象者は疑似体験中であることを明確に把握することができ、意図しない現実と疑似体験との混同を防止することができる。疑似体験中であることを示す情報は、出力画面を通じて表示されるものに限らず、例えば特定の背景音楽により疑似体験中であることを対象者へ報知するものであってもよい。

【0071】

体験装置１は、第２モデル１２２から出力される疑似画像を生成すると、出力画面において、生成した疑似画像を画像表示部４１にリアルタイムで表示させるとともに、疑似体験中であることを示すテキスト等の情報を体験情報表示部４２に表示させる。また、体験装置１は、疑似画像に同期させて、スピーカ３２を通じて疑似音声を出力させる。疑似画像と疑似音声との同期をとることで、疑似画像における対象者の口が疑似音声に同期して動作する。対象者は、疑似画像により顔面麻痺や手足の片麻痺が生じた際の対象者自身の様子を認識することができるとともに、疑似音声により発話異常が生じた際の対象者自身の発話状態を認識することができる。

【0072】

上記では、疑似体験情報として疑似音声及び疑似画像の両方を提示する構成を説明したが、疑似体験情報は疑似音声のみであってもよい。この場合、体験装置１は、疑似音声に対応付けて疑似体験中であることを示す情報を出力する。体験装置１は、スピーカ３２から出力される疑似音声に対応付けて、ディスプレイ３１を通じて疑似体験中であることを示す情報を表示してもよく、スピーカ３２を通じて特定の背景音楽により疑似体験中であることを対象者へ報知してもよい。

【0073】

また上記では、疑似画像として、対象者を第三者視点で確認する画像を生成する例を説明したが、疑似画像は脳卒中が生じた場合の視界を一人称視点で確認する画像であってもよい。この場合、体験装置１は、例えば対象者の視線に応じた元画像を取得し、画像の一部をマスクすることで視野の狭まりを表す疑似画像へと変換してもよい。出力画面は、第三者視点と一人称視点とを並列で表示してもよく、第三者視点と一人称視点とを切り換えて表示してもよい。

【0074】

本実施形態によれば、対象者の実際の音声及び画像に基づき生成された疑似音声及び疑似画像を提示することにより、対象者に脳機能障害が生じた際の発話や動作の状態を対象者が具体的な情報として認識することができる。脳機能障害に関する啓発ポスターや漫画などでは、自分事として捉えることが困難であるが、本システムを利用することで一人称体験が可能となる。脳機能障害の症状を具体的に認識することで、脳機能障害を実際に発症した場合の早期発見や、脳機能障害の再発予防につながる。

【0075】

リアルタイムで取得した対象者の音声及び画像に基づき疑似音声及び疑似画像を生成することにより、疑似体験に現実味を持たせることができる。疑似音声及び疑似画像は、学習モデルを用いて容易かつ精度よく生成される。疑似音声と疑似画像とをリンクさせ、同時に出力することで、特に発話異常及び動作異常といった特徴を有する脳卒中の症状を明確かつ適正に把握することができる。

【0076】

（変形例）
体験装置１は、予め取得した対象者の録音データ及び録画データを用いて、疑似音声及び疑似画像を生成する構成であってもよい。この場合、対象者の音声及び画像は、事前に外部の検出装置により検出され、外部装置又は記録媒体等に記憶されていてもよく、事前に体験装置１に接続される検出装置２にて検出され、体験装置１の記憶部１２に記憶されていてもよい。

【0077】

体験装置１は、疑似体験を提供する際、図４に示したステップＳ１１にて、例えば通信部１３を通して外部装置から送信される対象者の音声及び画像を受信することにより、元音声及び元画像を取得する。或いは体験装置１は、不図示の読出装置を介して記録媒体から音声及び画像を読み出してもよく、記憶部１２に記憶した音声及び画像を読み出してもよい。体験装置１は、図４に示したステップＳ１２以降と同様の処理を実行し、予め記録された音声及び画像データを変換することで、疑似音声及び疑似画像を生成する。

【0078】

体験装置１は、対象者の音声及び画像に基づく疑似音声及び疑似画像を予め生成し、記憶部１２に記憶しておく構成であってもよい。体験装置１は、疑似体験の要求に応じて、生成済みの疑似音声及び疑似画像を記憶部１２から読み出し、出力装置３へ出力する。

【0079】

上記構成によれば、リアルタイムで生体情報を検出することを不要とするため、疑似音声及び疑似画像の生成が容易となる。また、検出装置２を省略することができ、疑似体験システム１００の構成が簡素化される。

【0080】

（第２実施形態）
第２実施形態では、疑似画像又は疑似音声とともに付加情報を出力する構成を説明する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0081】

付加情報とは、脳卒中に対する理解を深めるための情報である。付加情報は、例えば出力画面において疑似画像に対応付けて表示される。付加情報は、例えば指標情報、啓蒙情報及び広告情報等を含む。

【0082】

指標情報は、脳卒中の可能性を判定するための指標に関する情報である。指標情報は、例えばＣＰＳＳ（Cincinnati Prehospital Stroke Scale）、ＬＡＰＳＳ（Los Angeles Prehospital Stroke Screen）、ＫＰＳＳ（Kurashiki Prehospital Stroke Scale）、ＮＩＨＳＳ（National Institutes of Health Stroke Scale）等の評価項目、又はそれらに対応する点数を含む。

【0083】

啓蒙情報は、脳卒中に関する詳細な情報を含み、例えば脳卒中の症状に関する説明、脳卒中の危険因子に関する説明、脳卒中の発症を低減するための行動に関する説明、検査の案内等を含む。

【0084】

広告情報は、脳卒中に関する広告の情報を含み、例えば脳卒中による神経症状を見守るシステム、脳卒中を引き起こす疾患を改善し得るサプリメント、脳卒中に関連する医療施設、脳ドッグを実施する検査施設等の情報を含む。

【0085】

第２実施形態の体験装置１は、図１に示すように付加情報ＤＢ１２３を記憶部１２に記憶している。付加情報ＤＢ１２３は、付加情報を記憶するデータベースである。

【0086】

図６は、付加情報ＤＢ１２３に記憶される情報の内容例を示す図である。付加情報ＤＢ１２３には、例えば、付加情報を識別するためのＩＤをキーに、指標情報、啓蒙情報、広告情報及び障害度合い等の情報を紐付けたレコードが格納されている。

【0087】

指標情報、啓蒙情報、及び広告情報列には、例えば上述した情報を示すテキスト形式のデータが記憶されている。障害度合い列には、付加情報に対応付けられる疑似体験情報に対応する障害度合いが記憶されている。障害度合いは、例えば軽度障害及び重度障害の分類であってもよく、各指標の点数により表されてもよい。なお、付加情報ＤＢ１２３は、障害度合いに応じて付加情報を記憶するものに限らない。

【0088】

図７は、第２実施形態の体験装置１が実行する処理手順の一例を示すフローチャートである。

【0089】

体験装置１の制御部１１は、図４に示したステップＳ１１～ステップＳ１５と同様の処理を実行して、対象者の元音声及び元画像を変換した疑似音声及び疑似画像を生成する。

【0090】

制御部１１は、付加情報ＤＢ１２３に記憶する情報に基づき、疑似音声及び疑似画像に応じた付加情報を導出する（ステップＳ２１）。制御部１１は、付加情報ＤＢ１２３を参照して、指標情報、啓蒙情報及び広告情報のうちの少なくとも１つを読み出すものであってもよい。特定の障害度合いに応じた第１モデル１２１及び第２モデル１２２を選択的に使用して疑似音声及び疑似画像を生成した場合には、制御部１１は、使用した第１モデル１２１及び第２モデル１２２の障害度合いに対応する付加情報を読み出す。

【0091】

制御部１１は、導出した付加情報と、疑似画像とを含む出力画面を生成する（ステップＳ２２）。制御部１１は、疑似音声と、生成した出力画面における疑似画像との時間軸を同期させて出力装置３へ出力し（ステップＳ２３）、一連の処理を終了する。

【0092】

図８は、第２実施形態の出力画面の一例を説明する説明図である。図８は、付加情報としての指標情報を含む出力画面の例を示す。出力画面には、画像表示部４１及び体験情報表示部４２に加えて、指標情報表示部４３が含まれ、疑似画像に対応付けて付加情報が表示される。体験情報表示部４２には、疑似体験中であることを示すテキストに加えて、疑似体験を行っている障害度合いが表示されている。

【0093】

図８に示す例にて、指標情報表示部４３は、ＣＰＳＳの評価項目を表示する。体験装置１は、付加情報ＤＢ１２３に記憶する指標情報に基づき、各評価項目を示すテキストを生成し、指標情報表示部４３に表示させる。

【0094】

図８に示すように、指標情報表示部４３にはさらに、評価項目に対する回答を受け付けるための受付ボタン４３ａが含まれてもよい。体験装置１は、受付ボタン４３ａを利用して、各評価項目に対する対象者からの回答を受け付けた場合、受け付けた回答に基づき、ＣＰＳＳの評価結果を導出し、導出した評価結果を指標情報表示部４３へ表示させることができる。

【0095】

指標情報表示部４３は、予め設定された各評価指標の点数又は脳機能障害の度合いに関する情報を表示してもよい。例えば、疑似画像がＮＩＨＳＳによる評価が６点に対応する症状に係る画像である場合、体験装置１は、「ＮＩＨＳＳ ６点」といったテキストを指標情報表示部４３に表示させる。

【0096】

図９は、第２実施形態の出力画面の他の例を説明する説明図である。図９は、付加情報としての啓蒙情報及び広告情報を含む出力画面の例を示す。出力画面には、画像表示部４１及び体験情報表示部４２に加えて、啓蒙情報表示部４４及び広告情報表示部４５が含まれる。

【0097】

体験装置１は、付加情報ＤＢ１２３に記憶する情報に基づき、啓蒙情報を示すテキストを生成し、啓蒙情報表示部４４に表示させるとともに、広告情報を示すテキストを生成し、広告情報表示部４５に表示させる。啓蒙情報及び広告情報は、例えばさらなる詳細画面、施設又は商品の案内画面等へのリンクを含んでもよい。

【0098】

体験装置１は、生成した疑似音声及び疑似画像の障害度合いに応じた付加情報を導出する。例えば、疑似音声及び疑似画像が軽度障害の症状である場合、脳卒中の症状に関する詳しい説明又は医療機関の受診案内を含む啓蒙情報と、見守りシステム又はサプリメントの広告を含む広告情報とが表示される。疑似音声及び疑似画像が重度障害の症状である場合、医療機関の通院案内、生活習慣の改善に関する案内又は脳ドッグといった検査の案内を含む啓蒙情報と、脳神経外科を初めとする脳卒中に関連する病院又は脳ドッグを実施する検査施設の広告を含む広告情報とが表示される。体験装置１はまた、生成した疑似音声及び疑似画像の障害度合いを体験情報表示部４２に表示させる。なお疑似体験情報として疑似音声のみを出力する場合には、スピーカ３２から出力される疑似音声に対応付けて、ディスプレイ３１を通じて付加情報を出力してもよい。なお、付加情報はスピーカ３２を通じて音声で出力してもよい。

【0099】

本実施形態によれば、疑似体験情報に対応付けて付加情報を表示することで、疑似体験を通じて、より多くの情報を対象者へ提供することができるため、疑似体験システム１００の利用価値が向上される。疑似体験中の障害度合いに応じた付加情報を提供することにより、対象者へ付加情報をより強く印象付けることができる。

【0100】

（第３実施形態）
第３実施形態では、疑似体験情報として触覚情報をさらに出力する構成を説明する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0101】

図１０は、第３実施形態の疑似体験システム１００の構成例を示すブロック図である。第３実施形態の疑似体験システム１００における出力装置３は、触覚デバイス３３をさらに含む。また、体験装置１の記憶部１２には、第３モデル１２４がさらに記憶されている。

【0102】

触覚デバイス３３は、対象者が装着することにより振動、熱など触覚的な情報を伝える装置である。触覚デバイス３３は、例えば頭部に装着するヘッドマウントデバイス、手もしくは足等に装着する装置、当該装着装置が取り付けられたウェアラブルスーツ、又は身体に触覚感覚を与える装置等を含む。触覚デバイス３３は、例えば顔、手又は足の少なくとも１つにおける片麻痺、頭痛等を再現する触覚を対象者へ与える。触覚デバイス３３自体には、実用化されている一般的な構造のいずれを採用してもよい。

【0103】

第３モデル１２４は、触覚デバイス３３を通じて出力する触覚情報を生成するモデルである。第３モデル１２４は、触覚デバイス３３の種類、又は触覚情報の出力対象となる身体の部位もしくは位置と、触覚情報とを対応付けたテーブルを含む。触覚情報は、例えば脳卒中の症状に対応する触覚情報であり、振動量、周波数、温度等を含む。

【0104】

触覚情報は、例えば触覚、圧覚、温痛覚等の身体の表面で感じる表在覚と、関節の位置、筋肉の伸長等の身体の内部の状態を感じる深部覚とを含む。触覚情報は、例えば、麻痺を生じている脳卒中患者の筋肉の動きを解析し、疑似体験に適した振動量、周波数又は温度を特定することにより設定される。具体的には、脳卒中患者の筋肉の動きを計測することにより、脳卒中患者の顔、手及び足の少なくとも１つにおける抵抗感覚又はしびれを数値化したデータを取得する。取得した数値データに基づき、脳卒中の症状に応じた振動量、周波数又は温度を特定することで、触覚情報が得られる。

【0105】

脳卒中の場合には、身体の片側にのみ麻痺が現れる片麻痺が生じることから、体験装置１は、例えばヘッドマウントデバイスを通じて、顔又は頭の右半分又は左半分に対し所定の片麻痺に関する触覚情報を出力させる。或いは、体験装置１は、対象者の両手又は両足に装着された触覚デバイス３３のうちの片側の手又は足に装着された触覚デバイス３３のみを通じて、所定の片麻痺に関する触覚情報を出力させる。この場合において体験装置１は、触覚情報を出力する半身の左右方向と、疑似画像における片麻痺に係る画像処理の左右方向とを一致させる。

【0106】

第３モデル１２４は、他の手法により触覚情報を生成するものであってよい。第３モデル１２４は、例えば機械学習の手法により対象者の発話又は動作に応じた触覚情報を生成するものであってもよい。

【0107】

図１１は、第３実施形態の体験装置１が実行する処理手順の一例を示すフローチャートである。

【0108】

体験装置１の制御部１１は、図４に示したステップＳ１１～ステップＳ１６と同様の処理を実行して、対象者の元音声及び元画像を変換した疑似音声及び疑似画像を生成し、疑似画像を含む出力画面を生成する。

【0109】

制御部１１は、第３モデル１２４を用いて触覚情報を導出する（ステップＳ３１）。例えば制御部１１は、触覚情報を出力させる触覚デバイス３３の種類に応じた振動量、周波数、温度等を読み出す。

【0110】

制御部１１は、疑似音声、疑似画像を含む出力画面、及び触覚情報を出力装置３へ出力し（ステップＳ３２）、一連の処理を終了する。

【0111】

本実施形態によれば、対象者は視覚及び聴覚に加えて、触覚によっても脳機能障害を体験することができる。特に片麻痺といった特徴を有する脳卒中の症状を触覚で容易に認識できる。

【0112】

（第４実施形態）
第４実施形態では、疑似体験情報の表示態様が異なる。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0113】

体験装置１は、対象者のアバターを用いて疑似音声及び疑似画像を出力する構成であってもよい。この場合において、体験装置１は、対象者の顔の特徴量を取得することにより、現実の対象者に似た顔画像に変換することが好ましい。体験装置１は、例えばＧＡＮなどの機械学習モデルを用いて、現実の対象者を撮像した画像に基づきアバターを生成してもよい。また体験装置１は、例えば、疑似音声をテキスト認識したのち、認識した音声のテキストの各文字に対応する口元の形状となるように、アバターの口元の形状を制御するなど、疑似音声に対応する口元と同期するようにアバターの口元を制御することが好ましい。アバターの口元はさらに、片麻痺を示すよう制御されることが好ましい。さらに体験装置１は、アバターの動きに連動させて、触覚デバイス３３を通じて、左半身又は右半身へ所定の触覚情報を出力させてもよい。

【0114】

疑似画像は、２次元画像に限らず、３次元画像であってもよい。体験装置１は、検出装置２により対象者に係る３次元位置座標を示す３Ｄデータを取得し、３Ｄデータを入力として３次元の疑似画像を出力するよう学習された第２モデル１２２を用いて、３次元の疑似画像を生成してもよい。体験装置１は、公知のＡＲ（Augmented Reality）、ＶＲ（Virtual Reality）、ＭＲ（Mixed Reality）の技術を用いて、対象者の３Ｄモデルを所定の表示デバイスに表示してもよい。

【0115】

本実施形態によれば、疑似体験情報の自由度を高めることができる。

【0116】

今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。
各実施形態に示すシーケンスは限定されるものではなく、矛盾の無い範囲で、各処理手順はその順序を変更して実行されてもよく、また並行して複数の処理が実行されてもよい。各処理の処理主体は限定されるものではなく、矛盾の無い範囲で、各装置の処理を他の装置が実行してもよい。

【0117】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0118】

１００ 疑似体験システム
１ 体験装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 出力部
１２１ 第１モデル
１２２ 第２モデル
１２３ 付加情報ＤＢ
１２４ 第３モデル
１Ｐ プログラム
１Ａ 記録媒体
２ 検出装置
２１ カメラ
２２ マイクロフォン
３ 出力装置
３１ ディスプレイ
３２ スピーカ
３３ 触覚デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】