特許 7547186 仮想現実動画再生装置、及びそれを使用する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】仮想現実動画再生装置、及びそれを使用する方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240902BHJP

   G09B 9/00 20060101ALI20240902BHJP

   G16H 20/00 20180101ALI20240902BHJP

【ＦＩ】

G06T19/00 300B

G09B9/00 Z

G16H20/00

【請求項の数】 16

(21)【出願番号】P 2020205949

(22)【出願日】2020-12-11

(62)【分割の表示】P 2020168955の分割

【原出願日】2020-02-06

(65)【公開番号】P2021125234

(43)【公開日】2021-08-30

【審査請求日】2023-02-06

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３１年 ２月 ７日 打合せにおいて刊行物等を公開

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 元年 ５月１４日 打合せにおいて刊行物等を公開

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 元年 ７月 ７日 「甲信越プレミアムセミナー」において刊行物等を公開

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 元年 ８月２７日 打合せにおいて刊行物等を公開

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 元年１０月 ２日 打合せにおいて刊行物等を公開

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 元年１２月１４日 「ＤｉａＭｏｎｄ Ｓｅｍｉｎａｒ ｉｎ 東北」において公開

【前置審査】

(73)【特許権者】

【識別番号】000002912

【氏名又は名称】住友ファーマ株式会社

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100119013

【弁理士】

【氏名又は名称】山崎 一夫

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】谷口 賢

【審査官】清水 祐樹

(56)【参考文献】

【文献】中国実用新案第２０６４７０４８２（ＣＮ，Ｕ）

【文献】特開２０００－３３８８５７（ＪＰ，Ａ）

【文献】特開２００３－１９５７４１（ＪＰ，Ａ）

【文献】特開２０１０－０６１０８４（ＪＰ，Ａ）

【文献】特開２０１９－０６６９４３（ＪＰ，Ａ）

【文献】特開２００４－００４０１８（ＪＰ，Ａ）

【文献】特開２０１７－１１７３９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０９Ｂ ９／００

Ｇ１６Ｈ ２０／００

Ｇ０２Ｂ ２７／０１

Ｇ０９Ｇ ５／００

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

仮想現実コンテンツを含むコンテンツデータを記憶するメモリと、
前記コンテンツデータに関する動画を表示するための電子ディスプレイを含む仮想現実ヘッドセットと、
前記仮想現実コンテンツを表わす仮想現実動画を前記コンテンツデータから生成するコンテンツ再生部と、
生成された前記仮想現実動画のユーザの向いた方向に対応する画像の少なくとも一部の画像において、ユーザの視野の所定の位置に対応する所定の領域に対して、再生時に、所定の画像処理を実行するフィルタ処理を実行して前記電子ディスプレイに表示させるフィルタ処理部と、を具備し、
前記フィルタ処理は、前記所定の画像処理として、糖尿病に起因する視覚障害のシミュレーションを実行するものであり、
前記仮想現実コンテンツは、前記視覚障害のシミュレーションが実行された前記仮想現実動画に基づいて糖尿病に起因する視覚障害の症状を体験させるためのシナリオに基づいて撮影された患者体験コンテンツである、
ことを特徴とする、糖尿病の予防、悪化防止、又は治療のための仮想現実動画再生装置。

【請求項2】

前記糖尿病の予防、悪化防止、又は治療が、生活習慣の改善に対する動機付けである請求項１に記載の仮想現実動画再生装置。

【請求項3】

前記仮想現実コンテンツは、前記患者体験コンテンツの後に、糖尿病の予防、悪化防止、又は治療のための生活習慣を説明するシナリオに基づいて撮影された生活習慣説明コンテンツが続くものである、請求項１又は２に記載の仮想現実動画再生装置。

【請求項4】

前記フィルタ処理は、前記仮想現実動画に同期して特定のタイミングで起動あるいは停止させられる、請求項１から３のいずれか１項に記載の仮想現実動画再生装置。

【請求項5】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域を暗くすることによって、「欠け」の前記視覚障害の前記シミュレーションを実行するものである、請求項１から４のいずれか１項に記載の仮想現実動画再生装置。

【請求項6】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域をかすませることによって、「かすみ」の前記視覚障害の前記シミュレーションを実行するものである、請求項１から４のいずれか１項に記載の仮想現実動画再生装置。

【請求項7】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域をぼやけさせることによって、「ぼやけ」の前記視覚障害の前記シミュレーションを実行するものである、請求項１から４のいずれか１項に記載の仮想現実動画再生装置。

【請求項8】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域をゆがませることによって、「ゆがみ」の前記視覚障害の前記シミュレーションを実行するものである、請求項１から４のいずれか１項に記載の仮想現実動画再生装置。

【請求項9】

仮想現実コンテンツに関する動画を表示するための電子ディスプレイを含む仮想現実ヘッドセットと、
前記仮想現実コンテンツを表わす仮想現実動画のユーザの向いた方向に対応する画像の少なくとも一部の画像において、ユーザの視野の所定の位置に対応する所定の領域に対して、再生時に、糖尿病に起因する視覚障害のシミュレーションを実行するフィルタ処理を実行して前記電子ディスプレイに表示させるフィルタ処理部と、
を含む仮想現実動画再生装置を糖尿病の予防、悪化防止、又は治療のために使用する方法であって、
前記視覚障害のシミュレーションが実行された前記仮想現実動画に基づいて糖尿病に起因する視覚障害の症状を体験させるためのシナリオに基づいて撮影された前記仮想現実コンテンツである患者体験コンテンツを前記フィルタ処理を伴って再生して前記電子ディスプレイに表示する段階、
を含むことを特徴とする方法。

【請求項10】

前記糖尿病の予防、悪化防止、又は治療が、生活習慣の改善に対する動機付けである請求項９に記載の方法。

【請求項11】

前記患者体験コンテンツを再生した後に、糖尿病の予防、悪化防止、又は治療のための生活習慣を説明するシナリオに基づいて撮影された前記仮想現実コンテンツである生活習慣説明コンテンツを再生して前記電子ディスプレイに表示する段階、
をさらに含むことを特徴とする請求項９又は１０に記載の方法。

【請求項12】

前記フィルタ処理は、前記仮想現実動画に同期して特定のタイミングで起動あるいは停止させられる、請求項９から１１のいずれか１項に記載の方法。

【請求項13】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域を暗くすることによって、「欠け」の前記視覚障害の前記シミュレーションを実行するものである、請求項９から１２のいずれか１項に記載の方法。

【請求項14】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域をかすませることによって、「かすみ」の前記視覚障害の前記シミュレーションを実行するものである、請求項９から１２のいずれか１項に記載の方法。

【請求項15】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域をぼやけさせることによって、「ぼやけ」の前記視覚障害の前記シミュレーションを実行するものである、請求項９から１２のいずれか１項に記載の方法。

【請求項16】

前記フィルタ処理は、前記少なくとも一部の画像の所定の領域をゆがませることによって、「ゆがみ」の前記視覚障害の前記シミュレーションを実行するものである、請求項９から１２のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想現実動画再生装置、及びそれを使用する方法に関し、より詳しくは、糖尿病に起因する視覚障害の体験を仮想現実で提供する仮想現実動画再生装置、及びそれを使用する方法に関する。

【背景技術】

【0002】

仮想現実（ＶＲ）技術の広がりとともに、その応用分野が増えてきている。医療分野においても仮想現実技術が使用されるようになってきた。例えば、医者などの訓練生を訓練するために、仮想現実手術室内で医療処置をシミュレーションするシステムが存在する（特許文献１）。そのシステムは、訓練生を訓練するために、仮想現実手術室内で医療処置をシミュレーションするものであり、ユーザ入力デバイスと、医療用ツールと、選択された医療処置のシミュレーションを実行するために、前記ユーザ入力デバイスおよび前記医療用ツールから入力を受信する医療処置シミュレーションシステムと、シミュレーションする医療処置の前記タイプに対応する仮想現実手術室シーン、および、仮想現実シーン内への前記選択された医療処置の前記シミュレーション、のレンダリングのために、前記医療処置シミュレーションシステムに結合された仮想現実シミュレーションシステムと、前記訓練生が前記仮想現実シーンを視認するため、前記仮想現実シミュレーションシステムに結合された仮想現実ヘッドセットと、を含むものである。これにより、医療シミュレータが仮想現実の中で訓練生に医療処置シミュレーションを提供できるようにすることができる。その技術は、医者の訓練生に医療処置シミュレーションを提供するものであり、訓練生の医療技術を高めることができる効果を有するものと認められ、患者は訓練を受けた医者から医療を受けることにより、治療のためのより適切な医療行為を受けることができるようになるものと理解される。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１９－５３７４５９公表特許公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

治療あるいは予防のために、患者又は予備群が自己節制する必要がある疾患が存在する。例えば、糖尿病は、適切な食事、運動の励行、などの生活習慣の改善が必要であるが、それは食欲などの本能に反するものであったり、体力を消費するものであったりして、患者に高度の自己節制を要求する。また、糖尿病予備群も、糖尿病の発症を予防するために、同様な自己節制が必要である。そして、そのような生活習慣の改善のための自己節制を継続的に実行するためには糖尿病予備群などの強い意志が必要となるが、そのためには、糖尿病予備群などに生活習慣の改善に対する強い動機付けを与えることが非常に重要である。医者などから糖尿病予備群などに対して生活習慣の改善のためのアドバイスを提供することが治療などの一環として行われているが、結局、その効果は糖尿病予備群などがどれほど生活習慣の改善の必要性を感じるかにかかっており、単なるアドバイスの提供が必ずしも奏功するとは限らない。そして、糖尿病予備群が糖尿病を発症したり、糖尿病の患者の症状が悪化したりすることにより、生活習慣の改善の必要性を患者などが痛感したとしても、糖尿病は慢性的な疾患であるため、その時点では治療の効果が限られていることが通常である。そのため、糖尿病においては、その予防が極めて重要である。このように、特に糖尿病のように、生活習慣の改善が治療や予防のために必要な疾患においては、予備群に生活習慣の改善に対する強い動機付けを与えることが重要であるが、従来は、そのような動機付けの目的のために使用できる技術は存在しなかった。前述した先行技術は、訓練生に仮想現実により医療処置シミュレーションを提供するものであるが、生活習慣の改善に対する動機付けのために使用できるものではない。仮想現実技術は、視聴者に強い印象を与えるものであるが、それが糖尿病のような慢性的疾患の治療や予防のための生活習慣の改善に対する動機付けのために使用されたことはなかった。さらに、現実のシーンの上に情報を重ねて表示する拡張現実（ＡＲ）技術も広がりつつあるが、拡張現実技術が、糖尿病のような慢性的疾患の治療や予防のための生活習慣の改善に対する動機付けのために使用されたこともなかった。

【課題を解決するための手段】

【0005】

本発明に係る仮想現実動画再生装置は、上述の課題に鑑みてなされたものであり、仮想現実コンテンツを含むコンテンツデータを記憶するメモリと、前記コンテンツデータに関する動画を表示するための電子ディスプレイを含む仮想現実ヘッドセットと、前記仮想現実コンテンツを表わす仮想現実動画を前記コンテンツデータから生成するコンテンツ再生部と、生成された前記仮想現実動画の少なくとも一部の画像の所定の領域に対して所定の画像処理を実行するフィルタ処理を実行して前記電子ディスプレイに表示させるフィルタ処理部と、を具備し、前記フィルタ処理は、前記所定の画像処理として、糖尿病に起因する視覚障害のシミュレーションを実行するものである、ことを特徴とする。

【0006】

前記仮想現実コンテンツは、視覚障害の症状を体験させるコンテンツや、糖尿病の予防のための生活習慣を説明するコンテンツとすることができる。すなわち、前記仮想現実コンテンツは、前記視覚障害のシミュレーションが実行された前記仮想現実動画に基づいて糖尿病に起因する視覚障害の症状を体験させるためのシナリオに基づいて撮影された患者体験コンテンツとすることができ、また、前記仮想現実コンテンツは、前記患者体験コンテンツの後に、糖尿病の予防のための生活習慣を説明するシナリオに基づいて撮影された生活習慣説明コンテンツが続くものとすることができる。

【0007】

本発明は、視覚障害のシミュレーションを、仮想現実コンテンツではなく、カメラで取得したユーザの正面のシーンを表わす前方映像に対して実行することにより、拡張現実（ＡＲ）により視覚障害を体験させるように構成することもできる。すなわち、本発明に係る仮想現実動画再生装置は、前記仮想現実ヘッドセットの前方映像を取得するカメラ、をさらに具備し、前記コンテンツデータは、前記視覚障害のシミュレーションが実行された前記前方映像に基づいて糖尿病に起因する視覚障害を音声で説明する音声コンテンツである患者体験音声コンテンツと、それに続く、糖尿病の予防のための生活習慣を説明するシナリオに基づいて撮影された前記仮想現実コンテンツである生活習慣説明コンテンツと、を含むものであり、前記コンテンツ再生部は、さらに、前記仮想現実コンテンツの再生の前に、前記患者体験音声コンテンツから前記音声の説明を再生するものであり、前記フィルタ処理部は、前記仮想現実動画に代えて前記前方映像の少なくとも一部の画像の所定の領域に対して前記視覚障害のシミュレーションを実行するように構成できる。

【0008】

本発明におけるフィルタ処理は、種々の視覚障害のシミュレーションを実行するものとすることができる。すなわち、前記フィルタ処理は、前記仮想現実動画の少なくとも一部の画像の所定の領域を暗くすることによって、「欠け」の前記視覚障害の前記シミュレーションを実行するように構成できる。前記フィルタ処理は、前記仮想現実動画の少なくとも一部の画像の所定の領域をかすませることによって、「かすみ」の前記視覚障害の前記シミュレーションを実行するようにも構成できる。前記フィルタ処理は、前記仮想現実動画の少なくとも一部の画像の所定の領域をぼやけさせることによって、「ぼやけ」の前記視覚障害の前記シミュレーションを実行するようにも構成できる。前記フィルタ処理は、前記仮想現実動画の少なくとも一部の画像の所定の領域をゆがませることによって、「ゆがみ」の前記視覚障害の前記シミュレーションを実行するようにも構成できる。

【0009】

本発明は、仮想現実動画再生装置を使用した糖尿病を予防するための方法としても成立し得る。その糖尿病を予防するための方法では、仮想現実コンテンツに対して視覚障害のシミュレーションを実行することができる。すなわち、本発明は、仮想現実コンテンツに関する動画を表示するための電子ディスプレイを含む仮想現実ヘッドセットと、前記仮想現実コンテンツを表わす仮想現実動画の少なくとも一部の画像の所定の領域に対して糖尿病に起因する視覚障害のシミュレーションを実行するフィルタ処理を実行して前記電子ディスプレイに表示させるフィルタ処理部と、を含む仮想現実動画再生装置を糖尿病の予防のために使用する方法であって、前記視覚障害のシミュレーションが実行された前記仮想現実動画に基づいて糖尿病に起因する視覚障害の症状を体験させるためのシナリオに基づいて撮影された前記仮想現実コンテンツである患者体験コンテンツを前記フィルタ処理を伴って再生して前記電子ディスプレイに表示する段階と、前記患者体験コンテンツを再生した後に、糖尿病の予防のための生活習慣を説明するシナリオに基づいて撮影された前記仮想現実コンテンツである生活習慣説明コンテンツを再生して前記電子ディスプレイに表示する段階と、を含むことを特徴とするものとすることができる。

【0010】

前記の糖尿病を予防するための方法では、視覚障害のシミュレーションを、ユーザの正面のシーンを表わす前方映像に対して実行するように構成することもできる。すなわち、本発明は、前方映像を取得するカメラ、及び前記前方映像及び仮想現実コンテンツに関する動画を表示するための電子ディスプレイを含む仮想現実ヘッドセットと、前記前方映像の少なくとも一部の画像の所定の領域に対して糖尿病に起因する視覚障害のシミュレーションを実行するフィルタ処理を実行して前記電子ディスプレイに表示させるフィルタ処理部と、を含む仮想現実動画再生装置を糖尿病の予防のために使用する方法であって、前記前方映像に前記フィルタ処理を実行して前記電子ディスプレイに表示するとともに、前記視覚障害のシミュレーションが実行された前記前方映像に基づいて糖尿病に起因する視覚障害を説明する患者体験音声コンテンツを再生する段階と、前記患者体験音声コンテンツを再生した後に、糖尿病の予防のための生活習慣を説明するシナリオに基づいて撮影された前記仮想現実コンテンツである生活習慣説明コンテンツを再生して前記電子ディスプレイに表示する段階と、を含むことを特徴とするものとすることもできる。

【発明の効果】

【0011】

本発明は、仮想現実コンテンツを表わす仮想現実動画の少なくとも一部の画像の所定の領域に糖尿病に起因する視覚障害をシミュレーションするフィルタ処理を実行して仮想現実ヘッドセットに含まれる電子ディスプレイに表示させるものであるため、仮想現実動画を視聴したユーザに、糖尿病に起因する視覚障害を没入感を持って体験させ、生活習慣の改善に対する動機付けを与えることができる、という効果を有する。本発明は、仮想現実コンテンツを、前記視覚障害のシミュレーションが実行された前記仮想現実動画に基づいて糖尿病に起因する視覚障害の症状を体験させるためのシナリオに基づいて撮影された患者体験コンテンツとすることができ、その場合、ユーザに、糖尿病の合併症によって発生しうる視覚障害を患者体験コンテンツのシナリオに基づいてより強い没入感を持って体験させることができる、という効果を有する。本発明は、仮想現実コンテンツとして、患者体験コンテンツの後に、糖尿病の予防のための生活習慣を説明するシナリオに基づいて撮影された生活習慣説明コンテンツが続くものとすることができ、その場合、ユーザに、治療や予防のために必要な生活習慣の改善に対する強い動機付けを与えることができる、という効果を有する。

【0012】

本発明は、仮想現実ヘッドセットの前方映像を取得するカメラで撮影された前方映像の少なくとも一部の画像の所定の領域に糖尿病に起因する視覚障害をシミュレーションするフィルタ処理を実行して仮想現実ヘッドセットに含まれる電子ディスプレイに表示させるものとすることができ、その場合、拡張現実により、前方映像を視聴したユーザに、糖尿病に起因する視覚障害を自身の体験としてより強い没入感を持って体験させることができる、という効果を有する。

【0013】

本発明は、糖尿病の予防のために、仮想現実コンテンツを表わす仮想現実動画に対して糖尿病に起因する視覚障害のシミュレーションを実行しつつ、糖尿病に起因する視覚障害の症状を体験させるための患者体験コンテンツを再生し、その後に、糖尿病の予防のための生活習慣を説明する生活習慣説明コンテンツを再生することを特徴とするものとすることもでき、その場合、ユーザに、糖尿病に起因する視覚障害を没入感を持って体験させるとともに、治療や予防のために必要な生活習慣の改善に対する強い動機付けを与えることができる、という効果を有する。

【0014】

本発明は、糖尿病の予防のために、カメラで取得された前方映像に対して糖尿病に起因する視覚障害のシミュレーションを実行しつつ、糖尿病に起因する視覚障害の症状を説明する患者体験音声コンテンツを再生し、その後に、糖尿病の予防のための生活習慣を説明する生活習慣説明コンテンツを仮想現実で再生することを特徴とするものとすることもでき、その場合、ユーザに、拡張現実により糖尿病に起因する視覚障害を自身の体験として強い没入感を持って体験させるとともに、仮想現実により治療や予防のために必要な生活習慣の改善に対する強い動機付けを与えることができる、という効果を有する。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態に係る仮想現実動画再生装置１００の構成を示すブロック図である。

【図2】本発明の第２の実施形態に係る仮想現実動画再生装置２００の構成を示すブロック図である。

【図3】本発明の第１の実施形態に係る仮想現実動画再生装置１００の概略の外観を示す図である。

【図4】本発明の第２の実施形態に係る仮想現実動画再生装置２００の概略の外観を示す図である。

【図5】本発明の第１の実施形態に係る仮想現実動画再生装置１００の動作フロー図である。

【図6】本発明の第２の実施形態に係る仮想現実動画再生装置２００の動作フロー図である。

【図7】「欠け」の視覚障害のシミュレーションのためのフィルタ処理の効果を表わす図である。

【図8】「かすみ」の視覚障害のシミュレーションのためのフィルタ処理の効果を表わす図である。

【図9】「ぼやけ」の視覚障害のシミュレーションのためのフィルタ処理の効果を表わす図である。

【図10】「ゆがみ」の視覚障害のシミュレーションのためのフィルタ処理の効果を表わす図である。

【図11】「欠け」の視覚障害が重畳されたコンテンツの画面の例を表わす図である。

【図12】「糖尿病腎症による人工透析治療」を表現するコンテンツの画面の例を表わす図である。

【図13】「神経障害による足の壊疽による足の切断」を表現するコンテンツの画面の例を表わす図である。

【図14】「生活習慣の改善のアドバイス」を表現するコンテンツの画面の例を表わす図である。

【発明を実施するための形態】

【0016】

（２つの実施形態）
本発明は、典型的には、２つの実施形態で実施される。第１の実施形態は、糖尿病性網膜症などの糖尿病に起因する視覚障害の症状を体験させるためのシナリオに基づいて主人公の視点から撮影した三次元の仮想現実コンテンツをあらかじめ作成しておき、それを再生する際に視覚障害をシミュレーションするフィルタ処理を実行することにより、主人公の視点からそれを視聴するユーザに視覚障害を体験させる、コンテンツベースのものである。第２の実施形態は、ユーザの現実の視野に糖尿病性網膜症などの糖尿病に起因する視覚障害の症状を起こさせるものであり、ユーザが現在いる場所においてユーザの視野にあるべき正面のシーンを表わす前方映像を取得し、その前方映像に対して視覚障害をシミュレーションするフィルタ処理を実行することによって、リアルタイムで視覚障害を拡張現実により体験させる、前方映像ベースのものである。なお、これらの実施形態は、その一部あるいは全体を組み合わせて実施することも可能である。また、本明細書において、「視聴」との用語は、ユーザが少なくとも動画や画像などを「見ること」を意味するものであり、ユーザが音声などを「聞くこと」は必ずしも必須ではないものとする。

【0017】

（第１の実施形態（コンテンツベースの仮想現実動画再生装置）の構成）
これから図面を参照し、本発明の第１の実施形態にかかる仮想現実動画再生装置１００の説明を行う。図３に、仮想現実動画再生装置１００の外観の概要を示す。図３において、破線で表した構成は、仮想現実動画再生装置１００の本体の内部に存在し、外部からは視認できない構成である。図３には、１０１から１０６の参照番号で示された構成が記載されているが、それらの構成の詳細については、後で図１を参照して説明する。仮想現実動画再生装置１００は、ユーザに、糖尿病性網膜症などの糖尿病に起因する視覚障害の症状を体験させるためのコンテンツを視聴させた後に、糖尿病の予防のための生活習慣の説明のコンテンツを視聴させるための装置である。仮想現実動画再生装置１００は、典型的には、三次元の仮想現実を表わす動画を表示する電子ディスプレイを備えたヘッドマウントディスプレイ（ゴーグル）である仮想現実ヘッドセットの形態である。仮想現実動画再生装置１００には、典型的にはゴムバンドのような装着用バンドが取り付けられている。ユーザは、仮想現実動画再生装置１００を目の周りを覆うように当てて、そのゴムバンドを頭部に巻き付けることにより、仮想現実動画再生装置１００を目の周囲に装着する。

【0018】

図１は、仮想現実動画再生装置１００の構成を示すブロック図である。仮想現実動画再生装置１００は、プロセッサ１０１、ＲＡＭ１０２、メモリ１０３、電子ディスプレイ１０４、センサ１０５、インターフェイス１０６から構成される。プロセッサ１０１は、仮想現実動画再生装置１００の動作を制御する各種の機能を実行するための処理回路であり、典型的にはコンピュータのような情報機器を動作させるＣＰＵである。ＲＡＭ１０２は、一時メモリであり、プロセッサ１０１が動作する際のワークエリアなどとして使用される。メモリ１０３は、典型的にはフラッシュＲＯＭのような不揮発性メモリであり、コンピュータプログラム及びコンテンツデータを記憶している。メモリ１０３は、コンピュータプログラムとして、コンテンツ再生プログラム１０３ａ、フィルタ処理プログラム１０３ｂを記憶している。なお、コンピュータプログラムが実行される際には、ＯＳ（オペレーションシステム）が使用されることが通常であるが、ＯＳによる機能は、プロセッサ１０１がコンピュータプログラムを実行する機能に含まれるものとして、ここでは説明を省略している。本発明による仮想現実動画再生装置１００の特徴的な機能は、それらのコンピュータプログラムがプロセッサ１０１によって実行されることにより、そのような機能に応じた実行モジュールが形成されることにより実現される。プロセッサ１０１は、メモリ１０３に記憶されたコンテンツ再生プログラム１０３ａをプロセッサ１０１が読み出してＲＡＭ１０２のワークエリアを利用して実行することによりコンテンツ再生に関する各種の機能を実現する動作を実行する。このように、仮想現実動画再生装置１００の正面の方向（三次元方位）から見た仮想現実コンテンツを表わす仮想現実動画を生成するコンテンツ再生部として機能するモジュールが形成される。また、プロセッサ１０１は、メモリ１０３に記憶されたフィルタ処理プログラム１０３ｂをプロセッサ１０１が読み出してＲＡＭ１０２のワークエリアを利用して実行することにより、仮想現実動画に含まれる画面に対して視覚障害のシミュレーションを実行する。このように、生成された仮想現実動画に含まれる画像の所定の領域に所定の視覚障害をシミュレーションするフィルタ処理を実行して電子ディスプレイ１０４に表示させる機能を提供するフィルタ処理部として機能するモジュールが形成される。なお、フィルタ処理における「フィルタ」という用語は、画像データを電子ディスプレイ１０４に転送して表示させるという通常の画像表示のための処理に対して、元の画像データに介入してその一部に所定の画像処理を行なうという全体的な動作を概念的に表現したものであり、当該「画像処理」をさらに限定するものではない。すなわち、「フィルタ処理」という用語は、その画像処理が特定されている場合、「処理」という用語で置き換えることができる。

【0019】

メモリ１０３は、コンテンツデータとして、患者体験コンテンツデータ１０３ｃ、生活習慣説明コンテンツデータ１０３ｄを記憶している。患者体験コンテンツデータ１０３ｃは、糖尿病に起因する視覚障害の症状を体験させるためのシナリオに基づく患者体験動画のコンテンツデータであり、生活習慣説明コンテンツデータ１０３ｄは糖尿病の予防や悪化防止のための生活習慣の改善のための説明を含む生活習慣説明動画のコンテンツデータである。患者体験コンテンツデータ１０３ｃ及び生活習慣説明コンテンツデータ１０３ｄは、ユーザの周りのすべての方向の画像を再現することができるように、コンテンツのシナリオの主人公の視点から全天球カメラなどで対象物を撮影した３６０度動画の動画データで表現された仮想現実コンテンツデータである。ここで、患者体験コンテンツデータ１０３ｃは、それから生成される仮想現実動画に対して糖尿病に起因する視覚障害のシミュレーションを実行してユーザに視聴させた際に、ユーザに視覚障害の症状を体験しているような感覚を与えることができるような、画像的な情報を少なくとも含むことを特徴とするデータである。また、生活習慣説明コンテンツデータ１０３ｄは、それから生成される仮想現実動画をユーザに視聴させた際に、ユーザに提供される糖尿病の予防や悪化防止のための生活習慣の改善のための画像的な情報を少なくとも含むことを特徴とするデータである。コンテンツを再生する際には、患者体験コンテンツデータ１０３ｃに続いて、生活習慣説明コンテンツデータ１０３ｄが再生される。患者体験コンテンツデータ１０３ｃと生活習慣説明コンテンツデータ１０３ｄとは、一体のデータであってもよい。なお、患者体験コンテンツデータ１０３ｃ及び生活習慣説明コンテンツデータ１０３ｄは、好適には、動画に同期して再生される音声のデータも含んでいる。患者体験コンテンツデータ１０３ｃは、それを再生する際に、動画に同期して特定のタイミングで画像のフィルタ処理のような所定の処理を起動させたり停止させたりするなどの、仮想現実動画再生装置１００の動作を制御するシナリオデータを含んでいてもよい。これにより、コンテンツのシナリオにおいて、主人公が自分の視野に対して視覚障害が始まるタイミングで、仮想現実動画に対して視覚障害のシミュレーションの画像処理が開始されるような処理が可能となる。

【0020】

電子ディスプレイ１０４は、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイなどのようなフラットパネルディスプレイであり、ユーザ側に配置された接眼レンズを介して、仮想現実動画再生装置１００を目の周囲に装着したユーザに対して、仮想現実コンテンツを含むコンテンツデータに関する動画の画像を表示する。表示させる画像のデータを電子ディスプレイ１０４のデータバッファ領域に転送すると、電子ディスプレイ１０４はデータバッファ領域から画像のデータを読み出して、それが表わす画像を表示する。なお、図示していないが、仮想現実動画再生装置１００は、動画に同期して音声を出力するためのスピーカーやそれを駆動する回路も有している。

【0021】

センサ１０５は、仮想現実動画再生装置１００の正面の方向、すなわち、ユーザの視線の方向を検出するためのセンサである。センサ１０５は、ジャイロセンサ、加速度センサ、方位センサなどのような運動、位置、方向を検出するセンサである。インターフェイス１０６は、ユーザから操作指示などの情報の入力を行ったり、ユーザに対して動作状態を表わす情報の出力を行なったりするためのユーザインターフェイスであり、操作ボタン、リモコンインターフェイス、ＬＥＤ、及びそれらを駆動する回路などで構成される。

【0022】

（コンテンツデータ）
患者体験コンテンツデータ１０３ｃの患者体験動画は、視覚障害のシミュレーションが実行された仮想現実動画に基づいて糖尿病に起因する視覚障害の症状をユーザに体験させるための仮想現実コンテンツを含む。これは、コンテンツのシナリオの主人公の視点から撮影した仮想現実動画であり、例えば、ユーザが、部屋に座った主人公の視点からある部屋の内部のような対象物の任意の方向を見ることができるような３６０度動画である。ここで、元の動画自体には視覚障害の症状を表わす画像処理の結果は含まれていない。これは、もし元の動画に、例えば視野の「欠け」などの視覚障害の症状を表わす画像処理の結果を含ませたとすると、その視覚障害の位置は、部屋などの対象物の特定の位置に固定されることになる。その場合、ユーザが視線を移動させても、それに合わせて移動すべき視覚障害の位置が移動しないため、ユーザは自身が視覚障害を有しているような没入感を得ることはできない。視覚障害をシミュレーションするために、この動画の再生時に、フィルタ処理により、電子ディスプレイ上に表示される仮想現実動画に含まれる画像の所定の領域に所定の視覚障害のシミュレーションが実行され、画像にその実行結果が重畳される。このように、患者体験コンテンツデータ１０３ｃの患者体験動画は、視覚障害のシミュレーションが実行された仮想現実動画に基づいて、ユーザに視覚障害の症状を体験させるものであり、そのためのシナリオに基づいて撮影されている。動画は仮想現実動画であるため、ユーザは自分の周りの任意の方向を向くと、その方向に対応する部屋の内部などの画像を見ることができるが、それの再生時に視覚障害をシミュレーションするフィルタ処理を実行することによって、ユーザは、その視覚障害を有している状態で部屋の内部などを見ることになる。このように、ユーザは、患者体験動画の再生時に、自身の視野の所定の位置に視覚障害をシミュレーションする画像処理の結果が重畳されて現われるため、自身がその視覚障害を有しているかのような没入感を得ることができる。このようにして、ユーザは、その視覚障害を有している状態を現実感を持って体験することができる。なお、シミュレーションされる視覚障害の程度は、コンテンツの再生が始まった直後から視覚障害が進行した状態を表わすものとするのではなく、再生中の所定の期間において視覚障害が開始して徐々に視覚障害が所定の程度まで悪化するようにすると好適である。すなわち、フィルタ処理は、視覚障害のシミュレーションの効果を、仮想現実動画の表示中の所定の期間において強くする処理を含むと好適である。このようにすることによって、コンテンツの再生開始後に唐突に視覚障害が発生することによる不自然さを解消するとともに、視覚障害が始まって、その症状が悪化することの深刻さをユーザに強く印象付けることができる。具体的なシナリオとしては、主人公の患者がテレビを見ているときに視覚障害が始まり、徐々に悪化して相当程度の視覚障害の状態になり、主人公が視覚障害に気が付いて当惑するようなストーリーが考えられる。

【0023】

患者体験コンテンツデータ１０３ｃは、追加的に、糖尿病腎症による人工透析治療、神経障害による足の壊疽による足の切断、のような他の代表的な糖尿病の合併症による障害を体験させる仮想現実コンテンツを含むこともできる。また、糖尿病腎症による人工透析治療のシナリオでは、例えば、椅子に座った主人公の視点からの仮想現実動画が提供され、自分の腕の方向を見ると、腕に人工透析の機器が取り付けられている状態を表わすようなコンテンツを使用することができる。なお、この場合は、画像のフィルタ処理は必ずしも必要ない。神経障害による足の壊疽による足の切断のシナリオでは、例えば、ベッドに座った主人公の視点からの仮想現実動画が提供され、自分の足の方向を見ると、片足が切断されてなくなっている状態を表わすようなコンテンツを使用することができる。なお、この場合も、画像のフィルタ処理は必ずしも必要ない。これらの追加的なコンテンツにより、糖尿病の合併症の深刻さをユーザに没入感を持ってさらに強く印象付けることができる。

【0024】

生活習慣説明コンテンツデータ１０３ｄの生活習慣説明動画は、糖尿病の予防、悪化防止、治療などを目的とした生活習慣の改善のアドバイスを提供する動画である。これも、コンテンツのシナリオの主人公の視点から撮影した仮想現実動画であり、ユーザが主人公の視点から対象物の任意の方向を見ることができるような３６０度動画である。生活習慣説明動画において、例えば、カロリーをコントロールした食事を摂取すること、間食を制限すること、適切な運動を行なうこと、投薬されている場合は薬を指定されたとおりに飲むこと、などのアドバイスが提供される。シナリオとしては、視点の主である主人公に向けて生活習慣の改善に関する会話が投げかけられ、主人公がそれに対して対応するような形態が可能である。具体的なシナリオとしては、主人公が診療室で医師と面談し、その医師がアドバイスを主人公に話すというようなスタイルが考えられる。また、主人公が家で家族と一緒に食事中のときに食事や投薬のアドバイスを受けたり、主人公が家族から一緒に運動しようなどの運動に関するアドバイスを受けたりする、などのシナリオも考えられる。このように、生活習慣説明コンテンツデータ１０３ｄの生活習慣説明動画は、糖尿病の予防のための生活習慣を説明するものであり、そのためのシナリオに基づいて撮影されたものである。このように生活習慣説明動画を仮想現実で提供することにより、ユーザは、糖尿病の予防、治療などのための適切なアドバイスを、あたかも自分がその場で受けているかのような没入感を伴って受けることができる。

【0025】

（視覚障害のフィルタ処理）
視覚障害をシミュレーションするフィルタ処理としては、例えば、「欠け」、「かすみ」、「ぼやけ」、「ゆがみ」、などの種類のシミュレーションを実行する処理を使用することができる。図７から図１０には、種々の視覚障害による視野の変化が、格子模様の変形によって示されている。フィルタ処理においては、患者体験コンテンツデータ１０３ｃの再生により、ＲＡＭ１０２などに展開された、画面のリフレッシュサイクル毎のそれぞれの画像のデータに対して、プロセッサ１０１が画素のデータを操作することによって画像処理を実行して元の画像を変形する。

【0026】

「欠け」の視覚障害のシミュレーションのフィルタ処理は、仮想現実動画に含まれる画像の例えば中央付近などを含む所定の領域を暗くする「欠け」効果を発生させるものである。図７には、格子模様の画像に対して「欠け」の視覚障害のシミュレーションのフィルタ処理が実行された状態が示されている。「欠け」の視覚障害のシミュレーションでは、仮想現実動画に含まれる画像の例えば中央付近などの視覚障害が発生したと仮定する部分に円形などの形状の暗い「欠け」領域を生成する。具体的には、「欠け」の処理は、例えば、画像処理の対象の画像と同じ画面解像度の別の画像の記憶領域（レイヤー）をＲＡＭ１０２に設け、そのレイヤーにおいて「欠け」の処理を行なう所定の領域に黒色や濃いグレーなどの値（輝度）が小さい画素を配置し、他の領域には白色の画素を配置することによって、「欠け」処理用レイヤーを準備し、そして、画像処理の対象の画像のそれぞれの画素に対して、「欠け」処理用レイヤーの同じ位置の画素との間で乗算、比較暗合成などの演算を実行することによって輝度を減少させる。シミュレーションの効果の程度である輝度の減少の程度は、「欠け」処理用レイヤーの画素の輝度の低さなどによって定めることができる。なお、「欠け」領域の中央付近の「欠け」処理用レイヤーの画素の値をより小さくすることによって、画像処理の対象の画像の「欠け」領域の中央付近の画素の輝度を大きく減少させてより黒くし、「欠け」領域の周辺に行くにしたがって輝度の減少の程度を低下させることによって境界を不明瞭にする処理を行うと好適である。これによって、視野の中央部などが黒くなって物が見えにくくなっているような「欠け」の視覚障害がシミュレーションされる。

【0027】

なお、コンテンツの再生時の所定の期間において、視覚障害が発生し、その程度が徐々に悪化する期間があると好適である。そのためには、フィルタ処理は、当初は全く画像処理を行なわず、仮想現実動画の表示中の所定の期間において視覚障害のシミュレーションを開始して、その効果を所定の強さまで強くする処理を行なう。ここで、視覚障害のシミュレーションの効果を強くすることは、視覚障害の領域を広げることや、視覚障害を表現する変形の適用量を大きくすること、又はそれらの組み合わせ、などによって行なうことができる。このような視覚障害のシミュレーションの効果を発生させたり強くしたりする処理は、他の種類の視覚障害にも適用することができる。また、コンテンツの再生時にシミュレーションされる視覚障害を、１種類だけではなく、複数の種類の視覚障害を順番にシミュレーションするようにしてもよい。さらに、複数の種類の視覚障害を重畳させた視覚障害をシミュレーションしてもよい。

【0028】

「かすみ」の視覚障害のシミュレーションのフィルタ処理は、仮想現実動画に含まれる画像の例えば中央付近などを含む所定の領域をかすませる、「かすみ」効果を発生させるものである。図８には、格子模様の画像に対して「かすみ」の視覚障害のシミュレーションのフィルタ処理が実行された状態が示されている。「かすみ」の視覚障害のシミュレーションのフィルタ処理では、仮想現実動画に含まれる画像の中央付近を含む所定の領域の画素にランダムなノイズを加える。具体的には、「かすみ」の処理は、その処理を行なう所定の領域内において、ランダムな位置の画素を、例えば白色や薄いグレーなどの比較的輝度が高い画素で置換することなどによって実行することができる。また、「かすみ」の処理は、画像処理の対象の画像と同じ画面解像度の別の画像の記憶領域（レイヤー）をＲＡＭ１０２に設け、そのレイヤーにおいて「かすみ」の処理を行なう所定の領域内にランダムな位置の白色や薄いグレーなどの画素をノイズとして配置することによって「かすみ」処理用レイヤーを準備し、画像処理の対象の画像のそれぞれの画素に対して、「かすみ」処理用レイヤーの同じ位置の画素との間で比較明合成などの演算を実行することによって実行することもできる。シミュレーションの効果の程度である「かすみ」の強さの程度は、ノイズとして加える画素の密度や、ノイズの画素の輝度の大きさなどによって定めることができる。ノイズとして加える画素は、所定の値（輝度）のものであっても、ある範囲で変動する値のものであってもよい。なお、ノイズの粒状感を抑えるために、ノイズを加えた後に、適用範囲が比較的小さい（数画素程度）ぼかし処理を行なってもよい。「かすみ」の視覚障害のシミュレーションでは、仮想現実動画の例えば中央付近などの視覚障害が発生したと仮定する部分に円形などの形状の「かすみ」領域を生成する。そして、「かすみ」領域の中央付近に加えるノイズの密度を高めることなどによって中央付近に強いかすみをかけ、「かすみ」領域の周辺に行くにしたがって加えるノイズの密度を低下させることなどによって境界を不明瞭にする処理を行う。これによって、視野の中央部などがかすんで物が見えにくくなっているような「かすみ」の視覚障害がシミュレーションされる。

【0029】

「ぼやけ」の視覚障害のシミュレーションのフィルタ処理は、仮想現実動画に含まれる画像の中央付近などを含む所定の領域をぼやけさせる、「ぼやけ」効果を発生させるものである。図９には、格子模様の画像に対して「ぼやけ」の視覚障害のシミュレーションのフィルタ処理が実行された状態が示されている。「ぼやけ」の視覚障害のシミュレーションのフィルタ処理では、仮想現実動画に含まれる画像の例えば中央付近を含む所定の領域の画素にガウシアンぼかしのような「ぼかし」の処理を実行する。具体的には、ガウシアンぼかしの処理は、その処理を行なう所定の領域の個々の画素に対して、その画素に近接する処理の適用範囲にある複数の画素に対してガウス分布に基づき距離が大きくなるほど小さくなる重みを付けて平滑化（近接する処理の適用範囲にある複数の画素の値にそれぞれの重みをかけたものの平均値で置換）することなどによって実行することができる。シミュレーションの効果の程度である「ぼやけ」の強さの程度は、ぼかしの処理の適用範囲などによって定めることができる。「ぼやけ」の視覚障害のシミュレーションでは、仮想現実動画の例えば中央付近などの視覚障害が発生したと仮定する部分に円形などの形状の「ぼやけ」領域を生成する。そして、「ぼやけ」領域の中央付近に大きいぼかし処理を行ってぼやけさせ、「ぼやけ」領域の周辺に行くにしたがってぼかし処理の程度を低下させることによって境界を不明瞭にする処理を行う。これによって、視野の中央部などがぼやけて物が見えにくくなっているような「ぼやけ」の視覚障害がシミュレーションされる。

【0030】

「ゆがみ」の視覚障害のシミュレーションのフィルタ処理は、仮想現実動画に含まれる画像の中央付近などを含む所定の領域をゆがませる、「ゆがみ」効果を発生させるものである。図１０には、格子模様の画像に対して「ゆがみ」の視覚障害のシミュレーションのフィルタ処理が実行された状態が示されている。「ゆがみ」の視覚障害のシミュレーションのフィルタ処理は、仮想現実動画の例えば中央付近を含む所定の領域の画素を不規則な方向に不規則な移動量だけ移動させるゆがみの処理を実行する。具体的には、「ゆがみ」の処理は、その処理を行なう所定の領域の個々の画素を、不規則な移動方向に不規則な移動量だけ、近接する画素の移動方向と移動量が大きく異ならないように（元の画像のディテールが部分的には残るように）、移動（移動する画素の値で移動先の画素の値を置換）する処理などによって実行することができる。シミュレーションの効果の程度である「ゆがみ」の強さの程度は、画素の移動量や、移動方向の不規則さなどによって定めることができる。「ゆがみ」の視覚障害のシミュレーションでは、仮想現実動画の例えば中央付近などの視覚障害が発生したと仮定する部分に円形などの形状の「ゆがみ」領域を生成する。そして、「ゆがみ」領域の中央付近は、画素の移動量を大きくすることで大きくゆがませ、「ゆがみ」領域の周辺に行くに従って画素の移動量を小さくしてゆがみの処理の程度を低下させることによって境界を不明瞭にする処理を行う。これによって、視野の中央部などがゆがんで物が見えにくくなっているような「ゆがみ」の視覚障害がシミュレーションされる。

【0031】

（第１の実施形態（コンテンツベースの仮想現実動画再生装置）の動作）
次に、仮想現実動画再生装置１００の動作について説明する。図５は、第１の実施形態に係る仮想現実動画再生装置１００の動作フロー図である。仮想現実動画再生装置１００に、コンテンツ再生の指示が入力されると、まず、仮想現実動画再生装置１００は、コンテンツ再生プログラム１０３ａが実行されることによって形成されたコンテンツ再生部の動作により、患者体験コンテンツデータ１０３ｃの動画データを読み出して仮想現実動画を生成する（ステップＳ１０１）。すなわち、仮想現実動画再生装置１００は、患者体験コンテンツデータ１０３ｃの患者体験動画の３６０度動画の一連の画像を順番にメモリ１０３から読み出し、それが符号化された動画データであれば復号して、動画を構成するそれぞれの画像のデータを取り出し、ＲＡＭ１０２上に展開する。仮想現実動画再生装置１００は、復号した画像のデータから、センサ１０５で検知した仮想現実動画再生装置１００の正面の方向（ユーザの視線方向）に見えることになる画像の領域を取り出すことによって、それを見たユーザが三次元空間においてその場にいるように見える仮想現実動画を構成する画像を生成する。その際には、必要により、３６０度動画を構成する画像に対して、仮想現実動画再生装置１００の視線方向の位置を中心とした適切な遠近法に基づく変形を行うために、接眼レンズを介して電子ディスプレイ１０４を見たときに自然な遠近感を有する画像になるように個々の画素の座標を変換する。このように、仮想現実動画は、患者体験コンテンツデータ１０３ｃの３６０度動画を構成する画像に対して、仮想現実動画再生装置１００の視線方向の位置を中心とした適切な遠近法に基づいて画像を変形させたものを、電子ディスプレイ１０４に表示される範囲だけ切り出した画像を次々に生成することによって、生成される。

【0032】

次に、仮想現実動画再生装置１００は、フィルタ処理プログラム１０３ｂが実行されることによって形成されたフィルタ処理部の動作により、仮想現実動画にフィルタ処理を実行して電子ディスプレイ１０４に表示させる（ステップＳ１０２）。すなわち、仮想現実動画再生装置１００は、ステップＳ１０１で生成されてＲＡＭ１０２上に展開された仮想現実動画を構成するそれぞれの画像に対して、「欠け」、「かすみ」、「ぼやけ」、「ゆがみ」、などの視覚障害をシミュレーションするフィルタ処理を行うことによって、視覚障害の症状が重畳された仮想現実動画を生成する。シミュレーションされる視覚障害は、典型的には、例えば「欠け」の１種類だけであるが、複数の種類の視覚障害を順番にシミュレーションするようにしてもよい。また、複数の種類の視覚障害を重畳させた視覚障害をシミュレーションしてもよい。すなわち、複数の種類の視覚障害の症状を、画像の同じ領域あるいは異なる領域（領域が重なる場合も含む）に同時にシミュレーションしてもよい。フィルタ処理は、前述したように、視覚障害を発生させる画像の領域を構成する画素に対して、「欠け」については画素の値（輝度）を減少させ、「かすみ」についてはランダムな位置の画素のノイズを加え、「ぼやけ」については画素にガウスぼかし処理を行い、「ゆがみ」については不規則な移動方向に不規則な移動量だけ画素を移動させることによって、実行される。フィルタ処理は、仮想現実動画の画像の所定の領域に対して実行する。その画像の所定の領域は、例えば画像の中央付近を含む円形の領域とすることができ、この場合、視野の中央部に円形の視覚障害の領域がある状態がシミュレーションされることになる。その所定の領域は、中央部からずらすこともでき、その場合、視野の中央部からずれた領域に視覚障害がある状態がシミュレーションされることになる。フィルタ処理がされた仮想現実動画のそれぞれの画像のデータは、電子ディスプレイ１０４のデータバッファ領域に転送され、電子ディスプレイ１０４がそれをリフレッシュサイクル毎に読み出して表示する。ユーザは、接眼レンズを介して電子ディスプレイ１０４に表示された仮想現実動画を見ることにより、仮想現実コンテンツにおいて撮影された対象物を、自分の視線方向で見たように視認することになり、あたかも対象物が目前にあるかのような印象を受けることになる。図１１には、家族と会話している主人公の視野の中央部に、フィルタ処理により「欠け」の視覚障害が発生しているコンテンツの画像の例が示されている。

【0033】

なお、仮想現実動画再生装置１００は、フィルタ処理プログラム１０３ｂが実行されることによって形成されたフィルタ処理部の動作により、フィルタ処理において視覚障害のシミュレーションの効果を強くすると好適である。フィルタ処理部は、患者体験コンテンツデータ１０３ｃの患者体験動画の再生中の所定のタイミングまでは視覚障害のシミュレーションを開始しておらず、患者体験動画のシナリオにおいて主人公が視覚障害に気付き始めるタイミングにおいて、シミュレーションによる視覚障害を発生させ、その効果を所定の強さまで徐々に強くする。これにより、シナリオにおいて適切なタイミングで視覚障害を発生させることができ、また、ユーザに自分の視覚障害が進行する過程を体験させることができ、強い印象を与えることができる。視覚障害のシミュレーションの効果を強くすることは、視覚障害の領域を広げることや、画像に対する視覚障害を表現する変形の適用量（「欠け」については画素の値（輝度）を減少させる程度など、「かすみ」については画素に加えるランダムな位置の画素のノイズの密度やノイズの画素の輝度が大きさなど、「ぼやけ」についてはガウシアンぼかしの適用範囲など、「ゆがみ」については画素の移動量など）を大きくすること、あるいはそれらの組み合わせなどによって行なうことができる。また、視覚障害の領域を広げる際に、より強い印象を与えることができるように、広がった後の領域を不規則な形状とすることもできるが、これも視覚障害のシミュレーションの効果を強くすることに相当する。視覚障害のシミュレーションの開始タイミング、視覚障害のシミュレーションの効果を強くする期間、視覚障害のシミュレーションの効果を強くする方法、などのシナリオデータは、患者体験コンテンツデータ１０３ｃに含めておくことや、患者体験コンテンツデータ１０３ｃと別のデータとして保持しておくことができる。

【0034】

患者体験コンテンツデータ１０３ｃは、視覚障害以外に、図１２に示したような、糖尿病腎症による人工透析治療を表現するコンテンツや、図１３に示したような、神経障害による足の壊疽による足の切断を表現するコンテンツを含んでいてもよい。これらの画像に対してフィルタ処理は行なわれないが、コンテンツの再生時には、そのような症状を有する足や腕を表わすコンテンツが、やはり自分の足や腕の方向を見たときに見えるため、糖尿病の合併症が広範にわたる深刻なものであることを印象づける効果がある。

【0035】

仮想現実動画再生装置１００は、コンテンツ再生プログラム１０３ａが実行されることによって形成されたコンテンツ再生部の動作により、患者体験コンテンツデータ１０３ｃの動画データの再生が終了したかを常にモニターしており、終了していなければステップＳ１０１にフローを戻して、患者体験コンテンツデータ１０３ｃのフィルタ処理された仮想現実動画の表示を継続させ、終了すれば、次のステップＳ１０４にフローを進める（ステップＳ１０３）。患者体験コンテンツデータ１０３ｃの終了時を特定するデータは、患者体験コンテンツデータ１０３ｃに含めておくことや、それと別のデータとして保持しておくこともできる。ユーザは、患者体験コンテンツデータ１０３ｃの再生により視覚障害がシミュレーションされた患者体験動画を視聴することとなり、糖尿病に起因する視覚障害の症状を没入感を持って体験することができる。なお、ステップＳ１０４以降は、生活習慣説明コンテンツデータ１０３ｄの再生であるが、糖尿病に起因する視覚障害の症状の体験だけを目的とする場合は、必ずしもステップＳ１０４以降は必要ではない。

【0036】

仮想現実動画再生装置１００は、コンテンツ再生プログラム１０３ａが実行されることによって形成されたコンテンツ再生部の動作により、患者体験コンテンツデータ１０３ｃの再生が終了すると、生活習慣説明コンテンツデータ１０３ｄの動画データを読み出して仮想現実動画を生成して電子ディスプレイ１０４に表示させる（ステップＳ１０４）。すなわち、仮想現実動画再生装置１００は、生活習慣説明コンテンツデータ１０３ｄの生活習慣説明動画の３６０度動画の一連の画像を順番にメモリ１０３から読み出し、それが符号化された動画データであれば復号して、動画を構成するそれぞれの画像のデータを取り出し、ＲＡＭ１０２上に展開する。仮想現実動画再生装置１００は、復号した画像のデータから、センサ１０５で検知した仮想現実動画再生装置１００の正面の方向（ユーザの視線方向）に見えることになる画像の領域を取り出し、適切な遠近法に基づく変形（座標変換）を行なうことによって、それを見たユーザが三次元空間においてその場にいるように見える仮想現実動画を構成する画像を生成する。そして、その画像のデータを電子ディスプレイ１０４のデータバッファ領域に転送して表示させる。

【0037】

仮想現実動画再生装置１００は、コンテンツ再生プログラム１０３ａが実行されることによって形成されたコンテンツ再生部の動作により、生活習慣説明コンテンツデータ１０３ｄの動画データの再生が終了したかを常にモニターしており、終了していなければステップＳ１０４にフローを戻して、生活習慣説明コンテンツデータ１０３ｄの仮想現実動画の表示を継続させ、終了すれば、仮想現実動画の表示を終了させる（ステップＳ１０５）。生活習慣説明コンテンツデータ１０３ｄの終了時を特定するデータは、生活習慣説明コンテンツデータ１０３ｄに含めておくことや、それと別のデータとして保持しておくことができる。図１４には、生活習慣の改善のアドバイスとして、家族から食事についてのアドバイスを受けている状況が表現されたコンテンツの画面の例が示されている。

【0038】

ユーザは、患者体験コンテンツデータ１０３ｃの再生により視覚障害がシミュレーションされた患者体験動画のコンテンツを視聴して糖尿病の合併症の症状を没入感を持って体験した後に、生活習慣説明コンテンツデータ１０３ｄの再生により生活習慣説明動画のコンテンツを見ることになるため、生活習慣説明コンテンツデータ１０３ｄの生活習慣説明動画で提供される糖尿病の予防、悪化防止、治療などを目的とした生活習慣の改善のアドバイスを受け入れる強い動機付けを持つことができる。このように、仮想現実動画再生装置１００で提供される、患者体験コンテンツデータ１０３ｃ及び生活習慣説明コンテンツデータ１０３ｄのコンテンツをユーザに視聴させる方法は、生活習慣の改善のための単なる啓蒙ではなく、糖尿病の予防方法、治療方法としても機能しうるものである。

【0039】

（第２の実施形態（前方映像ベースの仮想現実動画再生装置）の構成）
次に、本発明の第２の実施形態にかかる仮想現実動画再生装置２００の説明を行う。第２の実施形態にかかる仮想現実動画再生装置２００は、第１の実施形態にかかる仮想現実動画再生装置１００と同様の構成をいくつか有している。そのような同様の構成は、百の位を「１」から「２」にした参照符号で表わしている。仮想現実動画再生装置２００の構成で、仮想現実動画再生装置１００の対応する構成と機能などが同じものについては、適宜、説明を省略する。図４に、仮想現実動画再生装置２００の外観の概要を示す。仮想現実動画再生装置２００は、ユーザに、自分の視野に視覚障害が発生している状態をリアルタイムでシミュレーションした拡張現実の動画を視聴させた後に、糖尿病の予防のための生活習慣の説明のコンテンツを視聴させるための装置である。仮想現実動画再生装置２００は、典型的には、三次元の仮想現実を表わす動画を表示する電子ディスプレイを備えたヘッドマウントディスプレイ（ゴーグル）である仮想現実ヘッドセットの形態である。

【0040】

図２は、仮想現実動画再生装置２００の構成を示すブロック図である。仮想現実動画再生装置２００は、プロセッサ２０１、ＲＡＭ２０２、メモリ２０３、電子ディスプレイ２０４、センサ２０５、インターフェイス２０６、カメラ２０７から構成される。プロセッサ２０１、ＲＡＭ２０２、メモリ２０３、電子ディスプレイ２０４、センサ２０５、インターフェイス２０６は、それぞれ、プロセッサ１０１、ＲＡＭ１０２、メモリ１０３、電子ディスプレイ１０４、センサ１０５、インターフェイス１０６と同様の機能を有する。仮想現実動画再生装置２００においては、メモリ２０３に記憶されるコンテンツデータや、カメラ２０７が、仮想現実動画再生装置１００とは異なっているので、それについて以下に説明する。

【0041】

メモリ２０３は、コンテンツデータとして、患者体験音声コンテンツデータ２０３ｃ、生活習慣説明コンテンツデータ２０３ｄを記憶している。患者体験音声コンテンツデータ２０３ｃは、視覚障害のシミュレーションが実行された前方映像に基づいて糖尿病に起因する視覚障害を説明する患者体験音声のコンテンツデータであり、生活習慣説明コンテンツデータ２０３ｄは糖尿病の予防や悪化防止のための生活習慣の説明を含む生活習慣説明動画のコンテンツデータである。このように、生活習慣説明コンテンツデータ２０３ｄは、第１の実施形態の生活習慣説明コンテンツデータ１０３ｄと同様の生活習慣説明動画のコンテンツデータであるが、患者体験音声コンテンツデータ２０３ｃは、第１の実施形態の患者体験コンテンツデータ１０３ｃとは異なり、動画ではなく音声のコンテンツデータである。患者体験音声コンテンツデータ２０３ｃは、糖尿病による視覚障害の症状を、ユーザの正面のシーンを表わす前方映像にシミュレーションして重畳することによって、リアルタイムに拡張現実で体験させるためのシナリオの展開を音声で案内するための患者体験音声のコンテンツデータである。ここで、患者体験音声コンテンツデータ２０３ｃは、前方映像に対して糖尿病に起因する視覚障害のシミュレーションを実行してユーザに視聴させた際に、ユーザが視覚障害の症状を自身が体験しているような感覚を与えることができるように、シナリオの展開を案内する音声的な情報を少なくとも含むことを特徴とするデータである。患者体験音声コンテンツデータ２０３ｃは、視覚障害を実感させる行動を案内する音声的な情報をさらに含んでいてもよい。患者体験音声コンテンツデータ２０３ｃを再生する際には、患者体験音声が再生されてスピーカーから出力されるとともに、（第１の実施形態のように、撮影されたコンテンツベースの患者体験動画が再生されるのではなく）ユーザが現在いる場所においてユーザの視野にあるべき正面のシーンを表わす前方映像をカメラ２０７によって取得し、その前方映像に対して視覚障害をシミュレーションするフィルタ処理を実行する。そのフィルタ処理された画像をユーザに視聴させることにより、ユーザの現実の視野にリアルタイムで視覚障害を重畳して、ユーザに拡張現実として体験させる。すなわち、第２の実施形態におけるフィルタ処理は、第１の実施形態における仮想現実動画としての患者体験動画に代えて、前方映像に対して実施されるものである。なお、前方映像は、仮想現実動画再生装置２００を装着したユーザの現実の視界を表わすものであるため、ユーザがその場にいるような感覚を得ることができる三次元的な映像（動画）という点では、仮想現実動画の一種と理解することも可能である。患者体験音声コンテンツデータ２０３ｃには、あらかじめ撮影された動画コンテンツは必ずしも必要ない。具体的には、患者体験音声コンテンツデータ２０３ｃの患者体験音声のコンテンツは、その再生中に、糖尿病に起因する視覚障害の説明や、前方映像によって表わされた自分の視野に対して視覚障害のシミュレーションが始まることなどのシナリオの展開の案内や、前方映像に視覚障害がシミュレーションされたときに周りを見回すような、視覚障害を実感することができる行動の案内、などの案内音声のデータである。なお、患者体験コンテンツデータ１０３ｃのような、シナリオに基づいて撮影された仮想現実コンテンツを組み合わせて再生することも可能である。患者体験音声コンテンツデータ２０３ｃは、それが再生される際に、特定のタイミングでフィルタ処理のような所定の処理を起動させたり停止させたりするなどの、シナリオに関連して仮想現実動画再生装置２００の動作を制御するシナリオデータを含んでいてもよい。これにより、コンテンツのシナリオにおいて、自分の視野に対してそのシミュレーションが始まることが音声で案内されたタイミングで、前方映像に対して視覚障害のシミュレーションの画像処理を開始してその効果を所定の強さまで徐々に強くすることや、その効果が所定の強さになったタイミングで、周りを見回すことを音声で案内することなどが可能となる。

【0042】

カメラ２０７は、ＣＭＯＳイメージセンサのような撮像素子にレンズを組み合わせたものであり、撮像素子に結像した前方のシーンの画像を表わすデータを走査時間毎に連続して出力することにより、前方映像（正面のシーンの動画）を表わすデータを出力する構成である。カメラ２０７は、その画角に撮影対象の前方のシーンが入るように、仮想現実動画再生装置２００の最前部の上部などに前方に向けて取り付けられる。前方映像のデータは、典型的には、一旦、ＲＡＭ２０２上に展開される。

【0043】

（第２の実施形態（前方映像ベースの仮想現実動画再生装置）の動作）
次に、仮想現実動画再生装置２００の動作について説明する。図６は、第２の実施形態に係る仮想現実動画再生装置２００の動作フロー図である。第２の実施形態にかかる仮想現実動画再生装置２００の動作においては、第１の実施形態にかかる仮想現実動画再生装置１００と同様あるいは対応する動作がある。そのような同様あるいは対応する動作は、百の位を「１」から「２」にした参照符号で表わしている。仮想現実動画再生装置２００の動作で、仮想現実動画再生装置１００の対応する動作と同じ動作については、適宜、説明を省略する。

【0044】

仮想現実動画再生装置２００に、コンテンツ再生の指示が入力されると、まず、仮想現実動画再生装置２００は、コンテンツ再生プログラム２０３ａが実行されることによって形成されたコンテンツ再生部の動作により、メモリ２０３から患者体験音声コンテンツデータ２０３ｃの音声データを読み出して、それが表わす案内音声を再生してスピーカーなどから出力させるとともに、カメラ２０７が取得した正面のシーンを表わす前方映像の映像データ（動画データ）を取得する（ステップＳ２０１）。なお、この映像データの画像は、それを正しい縮尺で電子ディスプレイ２０４に表示すれば、それを見たユーザがその場にいるのと同じ遠近感を感じるような自然な画像を提供するものである。取得した映像データは、ＲＡＭ２０２に一時的に展開される。

【0045】

次に、仮想現実動画再生装置２００は、フィルタ処理プログラム２０３ｂが実行されることによって形成されたフィルタ処理部の動作により、取得された前方映像のデータにフィルタ処理を実行して電子ディスプレイ２０４に表示させる（ステップＳ２０２）。すなわち、仮想現実動画再生装置２００は、ステップＳ２０１で取得されてＲＡＭ２０２に展開された前方映像の動画を構成するそれぞれの画像の所定の領域に対して、「欠け」、「かすみ」、「ぼやけ」、「ゆがみ」、などの視覚障害をシミュレーションするフィルタ処理を行うことによって、視覚障害の症状が重畳された前方映像を生成し、それを電子ディスプレイ２０４のデータバッファ領域に転送して表示させる。フィルタ処理の種類や、それを実行するための処理などは、仮想現実動画再生装置１００で説明したものと同じである。これにより、ユーザ自身の現実の視野に視覚障害がシミュレーションされるため、それを視聴するユーザに拡張現実で視覚障害を体験させることができる。また、表示中の所定の期間において視覚障害のシミュレーションを開始させたり、その効果を強くする処理を行なったりしてもいいことも、仮想現実動画再生装置１００で説明したことと同じである。また、複数の種類の視覚障害を順番にシミュレーションしたり、複数の種類の視覚障害を重畳させた視覚障害をシミュレーションしたりしてもいいことも、仮想現実動画再生装置１００で説明したことと同じである。

【0046】

仮想現実動画再生装置２００は、コンテンツ再生プログラム２０３ａが実行されることによって形成されたコンテンツ再生部の動作により、患者体験音声コンテンツデータ２０３ｃの音声データの再生が終了したかを常にモニターしており、終了していなければステップＳ２０１にフローを戻して、患者体験音声コンテンツデータ２０３ｃの案内音声の再生と、フィルタ処理された前方映像の表示とを継続させ、終了すれば、次のステップＳ２０４にフローを進める（ステップＳ２０３）。ユーザは、患者体験音声コンテンツデータ２０３ｃの再生により自分の視野に視覚障害がシミュレーションされた前方映像をその説明音声とともに視聴することとなり、糖尿病に起因する視覚障害の症状を没入感を持って体験することができる。なお、ステップＳ２０４以降は、生活習慣説明コンテンツデータ２０３ｄの再生であるが、糖尿病に起因する視覚障害の症状の体験だけを目的とする場合は、必ずしもステップＳ２０４以降は必要ではない。

【0047】

仮想現実動画再生装置２００は、コンテンツ再生プログラム２０３ａが実行されることによって形成されたコンテンツ再生部の動作により、患者体験音声コンテンツデータ２０３ｃの音声データの再生が終了すると、生活習慣説明コンテンツデータ２０３ｄの動画データを読み出して仮想現実動画を生成して電子ディスプレイ２０４に表示させる（ステップＳ２０４）。仮想現実動画再生装置２００は、コンテンツ再生プログラム２０３ａが実行されることによって形成されたコンテンツ再生部の動作により、生活習慣説明コンテンツデータ２０３ｄの動画データの再生が終了したかを常にモニターしており、終了していなければステップＳ２０４にフローを戻して、生活習慣説明コンテンツデータ２０３ｄの仮想現実動画の表示を継続させ、終了すれば、仮想現実動画の表示を終了させる（ステップＳ２０５）。ユーザは、患者体験音声コンテンツデータ２０３ｃの再生及び前方映像のフィルタ処理により、視覚障害がシミュレーションされた前方映像を視聴して糖尿病に起因する視覚障害の症状を自身の症状としてリアルタイムに拡張現実で没入感を持って体験した後に、生活習慣説明コンテンツデータ２０３ｄの再生により生活習慣説明動画を仮想現実で没入感を持って見ることになるため、生活習慣説明コンテンツデータ２０３ｄの生活習慣説明動画で提供される糖尿病の予防、悪化防止、治療などを目的とした生活習慣の改善のアドバイスを受け入れる強い動機付けを持つことができる。このように、仮想現実動画再生装置２００で提供されるコンテンツをユーザに視聴させる方法は、生活習慣の改善のための単なる啓蒙ではなく、糖尿病の予防方法、治療方法としても機能しうるものである。

【0048】

（第１及び第２の実施形態に共通する視覚障害のシミュレーションの特徴）
これまで、第１の実施形態及び第２の実施形態について説明してきた。それらの実施形態は、視覚障害のシミュレーションが実行される三次元的な動画が、第１の実施形態ではあらかじめ撮影された仮想現実コンテンツを表わす仮想現実動画であり、第２の実施形態ではユーザの視野にあるべき正面のシーンを表わす拡張現実による前方映像である点で相違している。しかし、いずれの実施形態も、ユーザがその場にいるような感覚を得ることができる三次元的な動画に対して、視覚障害のシミュレーションを実行して元の動画に重畳する構成を有している点で、共通している。

【0049】

本発明は、上記の具体的な実施形態に限定されるものではなく、本発明の技術的思想の範囲内において、開示された実施形態の構成要素又は情報処理を組み合わせ、変形し、又は省略して実施することが可能である。

【産業上の利用可能性】

【0050】

本発明の装置は、ユーザに糖尿病に起因する視覚障害を仮想現実又は拡張現実により体験させることにより、糖尿病の深刻さをその予備群に没入感を持って強く印象付けることができるため、仮想現実技術又は拡張現実技術、医学、予防医学の分野において、糖尿病の予防のために、その予備群に対して糖尿病の啓蒙などのために広く利用することができる。本発明の装置を使用する方法は、ユーザに糖尿病に起因する視覚障害を仮想現実又は拡張現実により体験させた後に、生活習慣の改善のアドバイスのコンテンツを仮想現実により視聴させた場合、医学や予防医学の分野において、糖尿病の予防方法、治療方法としても利用できる。

【符号の説明】

【0051】

１００ ：仮想現実動画再生装置
１０１ ：プロセッサ
１０２ ：ＲＡＭ
１０３ ：メモリ
１０３ａ ：コンテンツ再生プログラム
１０３ｂ ：フィルタ処理プログラム
１０３ｃ ：患者体験コンテンツデータ
１０３ｄ ：生活習慣説明コンテンツデータ
１０４ ：電子ディスプレイ
１０５ ：センサ
１０６ ：インターフェイス
２００ ：仮想現実動画再生装置
２０１ ：プロセッサ
２０２ ：ＲＡＭ
２０３ ：メモリ
２０３ａ ：コンテンツ再生プログラム
２０３ｂ ：フィルタ処理プログラム
２０３ｃ ：患者体験音声コンテンツデータ
２０３ｄ ：生活習慣説明コンテンツデータ
２０４ ：電子ディスプレイ
２０５ ：センサ
２０６ ：インターフェイス
２０７ ：カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】