特許 7562105 コンテンツ表示装置、コンテンツ表示方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】コンテンツ表示装置、コンテンツ表示方法及びプログラム

(51)【国際特許分類】

   H04N 21/458 20110101AFI20240930BHJP

   H04N 21/442 20110101ALI20240930BHJP

   A61B 5/0245 20060101ALI20240930BHJP

【ＦＩ】

H04N21/458

H04N21/442

A61B5/0245 B

【請求項の数】 11

(21)【出願番号】P 2022503308

(86)(22)【出願日】2021-02-18

(86)【国際出願番号】 JP2021006109

(87)【国際公開番号】W WO2021172160

(87)【国際公開日】2021-09-02

【審査請求日】2024-02-07

(31)【優先権主張番号】P 2020030723

(32)【優先日】2020-02-26

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】516007858

【氏名又は名称】株式会社ジョリーグッド

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】上路 健介

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２０１６ー１４６１７３（ＪＰ，Ａ）

【文献】特開２０１２－１１０７１７（ＪＰ，Ａ）

【文献】特開２０１４－０３０６５７（ＪＰ，Ａ）

【文献】特表２０２１－５３１６０６（ＪＰ，Ａ）

【文献】米国特許第９３９９１１１（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０２１／０３１４６４５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ａ６１Ｂ ５／０２４５

(57)【特許請求の範囲】

【請求項1】

コンテンツを表示するコンテンツ表示装置であって、
前記コンテンツを閲覧する対象である閲覧者の状態を特定する状態特定部と、
前記閲覧者の状態を改善させるための状態改善用コンテンツを作成するコンテンツ作成部と、
前記状態改善用コンテンツを前記閲覧者が視認する前記コンテンツ表示装置の表示部に表示させる表示制御部と、
を有し、
前記状態特定部は、前記状態特定部が特定した前記閲覧者の状態と、前記閲覧者が閲覧した前記状態改善用コンテンツにおける複数の画像データの順序と、前記閲覧者が前記状態改善用コンテンツを閲覧したことによる治療の効果の有無を示す情報と、を教師データとして機械学習モデル作成装置に出力することにより、機械学習モデルを学習させ、
前記コンテンツ作成部は、前記状態改善用コンテンツを提供する対象となる前記閲覧者の状態に基づいて前記複数の画像データが時系列に配置されたコンテンツを出力する前記機械学習モデルから出力されたコンテンツを前記状態改善用コンテンツとして作成するコンテンツ表示装置。

【請求項2】

前記コンテンツ作成部は、前記状態特定部が特定した前記状態改善用コンテンツを提供する対象となる前記閲覧者の状態を前記機械学習モデルに入力した場合に前記機械学習モデルから出力されたコンテンツを前記状態改善用コンテンツとして作成する、
請求項１に記載のコンテンツ表示装置。

【請求項3】

前記表示制御部は、前記状態改善用コンテンツを前記表示部に表示させる前に、前記閲覧者の状態を特定するための第１状態特定用画像を前記表示部に表示させ、
前記状態特定部は、前記閲覧者が前記第１状態特定用画像において視認している位置である視認位置に基づいて前記閲覧者の状態を特定する、
請求項１又は２に記載のコンテンツ表示装置。

【請求項4】

前記閲覧者が前記第１状態特定用画像を視認している間の前記閲覧者の生体情報を取得する生体情報取得部をさらに有し、
前記状態特定部は、前記視認位置と、当該視認位置を前記閲覧者が閲覧している時点で前記生体情報取得部が取得した前記生体情報との関係に基づいて前記閲覧者の状態を特定する、
請求項３に記載のコンテンツ表示装置。

【請求項5】

前記コンテンツ作成部は、前記閲覧者の状態を特定するための第２状態特定用画像として使用される画像データを含む前記状態改善用コンテンツを作成し、
前記状態特定部は、前記第２状態特定用画像において視認している位置である視認位置に基づいて前記閲覧者の状態を特定する、
請求項３又は４に記載のコンテンツ表示装置。

【請求項6】

前記状態特定部は、前記閲覧者が前記第１状態特定用画像を閲覧した結果に基づいて特定した前記閲覧者の第１状態と、前記閲覧者が前記第２状態特定用画像を閲覧した結果に基づいて特定した前記閲覧者の第２状態とを比較した結果を特定し、
前記コンテンツ作成部は、前記状態特定部が比較した結果に基づいて、前記表示制御部が第１の前記状態改善用コンテンツの後に前記表示部に表示させる第２の前記状態改善用コンテンツを作成する、
請求項５に記載のコンテンツ表示装置。

【請求項7】

前記コンテンツ作成部は、前記状態特定部が比較した結果に基づいて治療効果が生じていないと判定した場合、前記閲覧者の状態を改善できる可能性があり、かつ前記閲覧者が視認した前記第１の状態改善用コンテンツに含まれる複数の画像データと異なる複数の画像データにより構成される前記第２の状態改善用コンテンツを作成する、
請求項６に記載のコンテンツ表示装置。

【請求項8】

前記コンテンツ作成部は、前記状態特定部が比較した結果に基づいて治療効果が生じていると判定した場合、前記第１の状態改善用コンテンツと同一、又は前記第１の状態改善用コンテンツに含まれていた複数の画像データが前記第１の状態改善用コンテンツと異なる順序又は異なる長さで含まれる前記第２の状態改善用コンテンツを作成する、
請求項６又は７に記載のコンテンツ表示装置。

【請求項9】

前記表示制御部は、前記閲覧者の状態を変化させるために必要な所定の時間にわたって前記閲覧者の治療に用いられる複数の画像データを含む前記状態改善用コンテンツを前記表示部に表示させた後に、前記第２状態特定用画像を前記表示部に表示させる、
請求項５から８のいずれか一項に記載のコンテンツ表示装置。

【請求項10】

コンピュータが実行する、
コンテンツ表示装置を用いてコンテンツを閲覧する対象となる閲覧者の状態を特定するステップと、
特定した前記閲覧者の状態と、前記閲覧者が閲覧した状態改善用コンテンツにおける複数の画像データの順序と、前記閲覧者が前記状態改善用コンテンツを閲覧したことによる治療の効果の有無を示す情報と、を教師データとして機械学習モデル作成装置に出力することにより、機械学習モデルを学習させるステップと、
前記状態改善用コンテンツを提供する対象となる前記閲覧者の状態に基づいて前記複数の画像データが時系列に配置されたコンテンツを出力する前記機械学習モデルから出力されたコンテンツを前記状態改善用コンテンツとして作成するステップと、
作成した前記状態改善用コンテンツを前記閲覧者が視認する前記コンテンツ表示装置の表示部に表示させるステップと、
を有するコンテンツ表示方法。

【請求項11】

コンピュータに、
コンテンツ表示装置を用いてコンテンツを閲覧する対象となる閲覧者の状態を特定するステップと、
特定した前記閲覧者の状態と、前記閲覧者が閲覧した状態改善用コンテンツにおける複数の画像データの順序と、前記閲覧者が前記状態改善用コンテンツを閲覧したことによる治療の効果の有無を示す情報と、を教師データとして機械学習モデル作成装置に出力することにより、機械学習モデルを学習させるステップと、
前記状態改善用コンテンツを提供する対象となる前記閲覧者の状態に基づいて前記複数の画像データが時系列に配置されたコンテンツを出力する前記機械学習モデルから出力されたコンテンツを前記状態改善用コンテンツとして作成するステップと、
作成した前記状態改善用コンテンツを前記閲覧者が視認する前記コンテンツ表示装置の表示部に表示させるステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツを表示するためのコンテンツ表示装置、コンテンツ表示方法及びプログラムに関する。

【背景技術】

【0002】

従来、人の疲労状態を評価し、評価した結果を示す画像を出力する技術が知られている。特許文献１には、疲労に係る症状への対策を示す画像を出力する健康指導支援装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０９６２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

うつ病や不安症等の精神疾患を有する人の場合、症状を改善するための心理士との面談を定期的に実施する必要があるが、面談を実施することができずに症状が改善しない場合があるという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、健康障害を有する人の状態を改善することを可能にするコンテンツ表示装置、コンテンツ表示方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様のコンテンツ表示装置は、コンテンツを表示するコンテンツ表示装置であって、前記コンテンツを閲覧する対象である閲覧者の状態を特定する状態特定部と、前記状態特定部が特定した前記閲覧者の状態に基づいて、複数の画像データ候補から複数の画像データを選択する画像データ選択部と、前記複数の画像データを表示する順序を決定することにより、前記閲覧者の状態を改善させるための状態改善用コンテンツを作成するコンテンツ作成部と、前記状態改善用コンテンツを前記閲覧者が視認する表示部に表示させる表示制御部と、を有する。

【0007】

前記コンテンツ作成部は、前記閲覧者の状態に基づいて、前記複数の画像データそれぞれの時間の長さを決定してもよい。

【0008】

前記表示制御部は、前記状態改善用コンテンツを前記表示部に表示させる前に、前記閲覧者の状態を特定するための第１状態特定用画像を前記表示部に表示させ、前記状態特定部は、前記閲覧者が前記第１状態特定用画像において視認している位置である視認位置に基づいて前記閲覧者の状態を特定してもよい。

【0009】

前記コンテンツ表示装置は、前記閲覧者が前記第１状態特定用画像を視認している間の前記閲覧者の生体情報を取得する生体情報取得部をさらに有し、前記状態特定部は、前記視認位置と、当該視認位置を前記閲覧者が閲覧している時点で前記生体情報取得部が取得した前記生体情報との関係に基づいて前記閲覧者の状態を特定してもよい。

【0010】

前記コンテンツ作成部は、前記閲覧者の状態を特定するための第２状態特定用画像として使用される画像データを含む前記状態改善用コンテンツを作成し、前記状態特定部は、前記第２状態特定用画像において視認している位置である視認位置に基づいて前記閲覧者の状態を特定してもよい。

【0011】

前記状態特定部は、前記閲覧者が前記第１状態特定用画像を閲覧した結果に基づいて特定した前記閲覧者の第１状態と、前記閲覧者が前記第２状態特定用画像を閲覧した結果に基づいて特定した前記閲覧者の第２状態とを比較した結果を特定し、前記コンテンツ作成部は、前記状態特定部が比較した結果に基づいて、前記表示制御部が第１の前記状態改善用コンテンツの後に前記表示部に表示させる第２の前記状態改善用コンテンツを作成してもよい。

【0012】

前記コンテンツ作成部は、前記状態特定部が比較した結果に基づいて治療効果が生じていないと判定した場合、前記閲覧者の状態を改善できる可能性があり、かつ前記閲覧者が視認した前記第１の状態改善用コンテンツに含まれる複数の画像データと異なる複数の画像データにより構成される前記第２の状態改善用コンテンツを作成してもよい。

【0013】

前記コンテンツ作成部は、前記状態特定部が比較した結果に基づいて治療効果が生じていると判定した場合、前記第１の状態改善用コンテンツと同一、又は前記第１の状態改善用コンテンツに含まれていた複数の画像データが前記第１の状態改善用コンテンツと異なる順序又は異なる長さで含まれる前記第２の状態改善用コンテンツを作成してもよい。

【0014】

前記表示制御部は、前記閲覧者の状態を変化させるために必要な所定の時間にわたって前記閲覧者の治療に用いられる複数の画像データを含む前記状態改善用コンテンツを前記表示部に表示させた後に、前記第２状態特定用画像を前記表示部に表示させてもよい。

【0015】

前記画像データ選択部は、前記閲覧者の状態が入力されると、前記複数の画像データ候補から選択された前記複数の画像データを出力する機械学習モデルに、前記状態特定部が特定した前記閲覧者の状態を入力し、前記機械学習モデルから出力された前記複数の画像データを選択してもよい。

【0016】

前記コンテンツ表示装置は、前記画像データ選択部及び前記コンテンツ作成部として機能する作成部を有し、前記作成部は、前記閲覧者の状態が入力されると、前記複数の画像データ候補から選択された前記複数の画像データが配置された前記状態改善用コンテンツを出力する機械学習モデルに、前記状態特定部が特定した前記閲覧者の状態を入力することにより前記状態改善用コンテンツを作成してもよい。

【0017】

本発明の第２の態様のコンテンツ表示方法は、コンピュータが実行する、コンテンツ表示装置を用いてコンテンツを閲覧する対象となる閲覧者の状態を特定するステップと、特定した前記閲覧者の状態に基づいて、複数の画像データ候補から複数の画像データを選択するステップと、前記複数の画像データを表示する順序を決定することにより、前記閲覧者の状態を改善させるための状態改善用コンテンツを作成するステップと、前記コンテンツを前記閲覧者が視認する表示部に表示させるステップと、を有する。

【0018】

本発明の第３の態様のプログラムは、コンピュータを、コンテンツ表示装置を用いてコンテンツを閲覧する対象となる閲覧者の状態を特定する状態特定部、前記状態特定部が特定した前記閲覧者の状態に基づいて、複数の画像データ候補から複数の画像データを選択する画像データ選択部、前記複数の画像データを表示する順序を決定することにより、前記閲覧者の状態を改善させるための状態改善用コンテンツを作成するコンテンツ作成部、及び前記状態改善用コンテンツを前記閲覧者が視認する表示部に表示させる表示制御部、として機能させる。

【発明の効果】

【0019】

本発明によれば、健康障害を有する人の状態が改善するという効果を奏する。

【図面の簡単な説明】

【0020】

【図1】コンテンツ表示装置１の概要を説明するための図である。

【図2】コンテンツ表示装置１の動作の概要を示すフローチャートである。

【図3】状態特定用画像と、閲覧者Ｕの視認位置と、閲覧者Ｕの生体情報との関係を示す図である。

【図4】コンテンツ表示装置１の構成を示す図である。

【図5】作成部１５４が状態改善用コンテンツを作成する方法について説明するための図である。

【図6】コンテンツ表示装置１が状態改善用コンテンツを更新する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0021】

［コンテンツ表示装置１の概要］
図１は、コンテンツ表示装置１の概要を説明するための図である。コンテンツ表示装置１は、閲覧者Ｕが視認可能なコンテンツを表示する装置である。閲覧者Ｕは、健康状態の確認又は健康状態の改善が必要な人であり、例えば精神疾患を患っている可能性がある人のように健康障害を有する可能性がある人である。コンテンツ表示装置１は、閲覧者Ｕの状態を特定し、特定した症状を改善する効果が生じ得る画像を含むコンテンツを表示する。コンテンツに含まれる画像は、例えば仮想現実感を閲覧者Ｕに提供することができる３６０度映像であるが、コンテンツに含まれる画像の形状又はサイズは任意である。閲覧者Ｕは、健康状態を改善する必要がある場合、コンテンツ表示装置１が表示するコンテンツを閲覧することにより、健康状態を改善することができる。

【0022】

コンテンツ表示装置１は、筐体１０及び表示部１１を有する。筐体１０は、例えばゴーグルの形状をしている。筐体１０の形状は、コンテンツ表示装置１が表示するコンテンツを閲覧者Ｕが視認できる限りにおいて任意である。表示部１１は、筐体１０を装着した閲覧者Ｕが視認する側に設けられたディスプレイであり、コンテンツを表示する。

【0023】

図１に示す閲覧者Ｕは、手首に生体情報測定装置２を装着している。生体情報測定装置２は、閲覧者Ｕの身体の状態（例えば、脈拍、血圧、体温、発汗量）を示す生体情報を測定する装置であり、測定した生体情報をコンテンツ表示装置１に通知する。生体情報測定装置２は、例えばＢＬＥ（Bluetooth Low Energy、Bluetoothは登録商標）等の無線通信手段により生体情報をコンテンツ表示装置１に通知する。

【0024】

図２は、コンテンツ表示装置１の動作の概要を示すフローチャートである。図２に示すフローチャートは、コンテンツ表示装置１の電源が投入されて、コンテンツ表示装置１が有するプロセッサが所定のプログラムの実行を開始した時点から始まっている。

【0025】

コンテンツ表示装置１は、まず閲覧者Ｕの状態を特定するための状態特定用画像を表示する（Ｓ１１）。状態特定用画像は、状態特定用画像を閲覧している閲覧者Ｕの視線の位置、及び閲覧者Ｕの身体の状態に基づいて閲覧者Ｕの状態を特定できるように予め作成された画像である。一例として、状態特定用画像は、表示部１１の領域よりも広い領域の画像により構成されている。状態特定用画像は、例えば３６０度カメラで撮影された画像である。

【0026】

コンテンツ表示装置１は、例えば角速度センサー（ジャイロセンサー）又は加速度センサーのようにコンテンツ表示装置１の動きを検出するデバイスを有している。コンテンツ表示装置１は、コンテンツ表示装置１が起動した時点のコンテンツ表示装置１の位置である基準位置からの移動量を特定し、特定した移動量に対応する画像を表示部１１に表示する。すなわち、閲覧者Ｕがコンテンツ表示装置１を装着した状態で顔の向きを変えることにより、表示部１１に表示される画像が変化する。

【0027】

コンテンツ表示装置１は、閲覧者Ｕが状態特定用画像において視認している位置（すなわち視認位置）を特定する（Ｓ１２）。コンテンツ表示装置１が視認位置を特定する方法の詳細については後述する。

【0028】

また、コンテンツ表示装置１は、生体情報測定装置２が測定した生体情報を取得する（Ｓ１３）。コンテンツ表示装置１は、一例として、特定した閲覧者Ｕの視認位置及び生体情報に基づいて、閲覧者Ｕの状態を特定する（Ｓ１４）。

【0029】

図３は、状態特定用画像と、閲覧者Ｕの視認位置と、閲覧者Ｕの生体情報との関係を示す図である。図３（ａ）は状態特定用画像を示しており、図３（ｂ）は、時間の経過に伴う閲覧者Ｕの生体情報（例えば脈拍）の変化を示している。図３（ａ）における星印（★）は、閲覧者Ｕの視認位置を示している。図３に示す例においては、閲覧者Ｕが飲み物を視認している間に生体情報が変化している。コンテンツ表示装置１は、このように閲覧者Ｕが視認している対象と生体情報との関係に基づいて閲覧者Ｕの心身の状態を特定する。

【0030】

続いて、コンテンツ表示装置１は、特定した閲覧者Ｕの心身の状態に基づいて、閲覧者Ｕの状態を改善するための状態改善用コンテンツを作成する（Ｓ１５）。コンテンツ表示装置１は、例えば、心身の状態と、状態改善用コンテンツに含める画像の種類、画像の順序及び各画像の表示時間との関係を示すデータを参照することにより、特定した閲覧者Ｕの心身の状態に適した画像の種類、画像の順序及び各画像の表示時間を決定する。コンテンツ表示装置１は、決定した種類の画像を、決定した順序で決定した時間だけ含む状態改善用コンテンツを作成し、作成した状態改善用コンテンツを表示部１１に表示する（Ｓ１６）。

【0031】

閲覧者Ｕが状態改善用コンテンツを閲覧した後に、コンテンツ表示装置１は、閲覧者Ｕの状態を再度特定する（Ｓ１７）。コンテンツ表示装置１は、ステップＳ１１で用いた状態特定用画像により閲覧者Ｕの状態を特定してもよく、他の方法を用いて閲覧者Ｕの状態を特定してもよい。コンテンツ表示装置１は、再度特定した閲覧者Ｕの状態をステップＳ１４で特定した閲覧者Ｕの状態と比較することにより、閲覧者Ｕが状態改善用コンテンツを閲覧した効果を評価する（Ｓ１８）。

【0032】

コンテンツ表示装置１は、評価した結果に基づいて状態改善用コンテンツを更新する（Ｓ１９）。詳細については後述するが、コンテンツ表示装置１は、例えば、閲覧者Ｕの状態が改善していない場合に、表示部１１に表示する状態改善用コンテンツを変更する。コンテンツ表示装置１は、閲覧者Ｕの状態が改善している場合に、閲覧者Ｕが閲覧したコンテンツと同一又は類似するコンテンツを表示部１１に表示させたり、改善後の閲覧者Ｕの状態に適した新たな状態改善用コンテンツを表示部１１に表示させたりする。
以下、コンテンツ表示装置１の構成及び動作を詳細に説明する。

【0033】

［コンテンツ表示装置１の構成］
図４は、コンテンツ表示装置１の構成を示す図である。コンテンツ表示装置１は、表示部１１と、通信部１２と、動きセンサー１３と、記憶部１４と、制御部１５と、を有する。制御部１５は、生体情報取得部１５１と、視認位置特定部１５２と、状態特定部１５３と、作成部１５４と、表示制御部１５５と、を有する。作成部１５４は、画像データ選択部１５６及びコンテンツ作成部１５７を有する。

【0034】

通信部１２は、他の装置との間でデータを送受信するための通信インターフェースである。通信部１２は、例えばＷｉ－Ｆｉ（登録商標）又はＢＬＥの通信コントローラである。通信部１２は、例えば、生体情報測定装置２が生成した生体情報を受信し、受信した生体情報を生体情報取得部１５１に通知する。

【0035】

動きセンサー１３は、コンテンツ表示装置１の動きを検出するセンサーであり、例えば加速度センサーである。動きセンサー１３は、検出した加速度を示す情報を視認位置特定部１５２に通知する。

【0036】

記憶部１４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部１４は、表示部１１に表示されるコンテンツを構成するために用いられる複数の画像データ候補を記憶する。記憶部１４は、例えば通信部１２を介して外部のサーバからダウンロードされた複数の画像データを複数の画像データ候補として記憶する。複数の画像データ候補のそれぞれには、画像データ識別情報と画像データが示す画像の内容とが関連付けられている。記憶部１４は、さらに、制御部１５が実行するプログラムを記憶する。

【0037】

制御部１５は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、生体情報取得部１５１、視認位置特定部１５２、状態特定部１５３、作成部１５４、表示制御部１５５、画像データ選択部１５６及びコンテンツ作成部１５７として機能する。

【0038】

生体情報取得部１５１は、通信部１２から生体情報を取得する。生体情報取得部１５１は、閲覧者Ｕが状態特定用画像を視認している間の閲覧者Ｕの生体情報を取得する。生体情報取得部１５１は、取得した生体情報を状態特定部１５３に入力する。本明細書においては、状態改善用コンテンツを閲覧する前の閲覧者Ｕの状態を特定するために用いられる状態特定用画像を第１状態特定用画像と称し、閲覧者Ｕが状態改善用コンテンツを閲覧した後の閲覧者Ｕの状態を特定するために用いられる状態特定用画像を第２状態特定用画像と称する場合がある。

【0039】

視認位置特定部１５２は、閲覧者Ｕが状態特定用画像において視認している位置を特定する。コンテンツ表示装置１は、例えば閲覧者Ｕの瞳の位置を検出することによって閲覧者Ｕの視線の向きを特定し、視線の向きに対応する位置を視認位置として特定する。コンテンツ表示装置１は、閲覧者Ｕが顔を動かすことにより状態特定用画像における閲覧者Ｕが視認可能な領域が変化する場合、閲覧者Ｕが表示部１１の中央を視認していると仮定して、表示部１１に表示されている状態特定用画像の中心位置を視認位置として特定してもよい。視認位置特定部１５２は、特定した視認位置を状態特定部１５３に入力する。

【0040】

状態特定部１５３は、コンテンツを閲覧する対象である閲覧者Ｕの状態を特定する。状態特定部１５３は、例えば、閲覧者Ｕが、表示制御部１５５が表示部１１に表示させている状態特定用画像において視認している位置である視認位置に基づいて閲覧者Ｕの状態を特定する。状態特定部１５３は、視認位置に表示されている画像の内容（例えば被写体の内容）に基づいて閲覧者Ｕの状態を特定してもよい。上述したように、状態特定部１５３は、視認位置と、当該視認位置を閲覧者Ｕが閲覧している時点で生体情報取得部１５１が取得した生体情報との関係に基づいて閲覧者の状態を特定することにより、閲覧者Ｕの状態の特定精度を向上させてもよい。

【0041】

作成部１５４は、状態特定部１５３が特定した閲覧者Ｕの状態に基づいて、閲覧者Ｕの状態を改善するための状態改善用コンテンツを作成する。本明細書においては、作成部１５４が最初に作成する状態改善用コンテンツを第１状態改善用コンテンツ（第１コンテンツに対応）とする。

【0042】

表示制御部１５５は、各種の情報を、閲覧者Ｕが視認する表示部１１に表示させる。表示制御部１５５は、まず、閲覧者Ｕの状態を特定するための状態特定用画像を表示部１１に表示させる。その後、表示制御部１５５は、作成部１５４が作成した状態改善用コンテンツを表示部１１に表示させる。

【0043】

作成部１５４は、状態改善用コンテンツを作成するために、画像データ選択部１５６及びコンテンツ作成部１５７を有する。画像データ選択部１５６は、状態特定部１５３が特定した閲覧者Ｕの状態に基づいて、複数の画像データ候補から複数の画像データを選択する。複数の画像データ候補は、例えば通信部１２を介して外部のサーバからダウンロードされた画像データである。画像データ選択部１５６は、閲覧者Ｕの状態を改善するために適した複数の画像データを選択する。

【0044】

画像データ選択部１５６は、通信部１２を介して取得した閲覧者Ｕの属性（例えば、性別、年齢、性格、趣味）にさらに基づいて複数の画像データを選択してもよい。画像データ選択部１５６は、例えば閲覧者Ｕが男性で、趣味がゴルフである場合、女子プロゴルファーが登場する画像データを選択する。コンテンツ作成部１５７は、選択した複数の画像データを表示する順序を決定して状態改善用コンテンツを作成する。

【0045】

図５は、作成部１５４が状態改善用コンテンツを作成する方法について説明するための図である。図５においては、複数の画像データ候補として、動物に関連する画像データ候補Ａ１～Ａ４、カフェに関連する画像データ候補Ｂ１～Ｂ４、スポーツに関連する画像データ候補Ｃ１～Ｃ４、風景に関連する画像データ候補Ｄ１～Ｄ４が示されている。

【0046】

図５に示す例において、画像データ選択部１５６は、これらの複数の画像データ候補からＡ４、Ｂ２、Ｂ３、Ｄ１、Ｄ２、Ｄ３を選択する。そして、コンテンツ作成部１５７は、画像データ選択部１５６が選択した複数の画像データ候補を、より治療効果が生じると推定される順序を決定することにより状態改善用コンテンツを作成する。図５に示す例の場合、コンテンツ作成部１５７は、Ｂ２、Ｂ３、Ｄ１、Ｄ２、Ｄ３、Ａ４の順序に並べて状態改善用コンテンツを作成している。

【0047】

コンテンツ作成部１５７は、複数の画像データを結合した一つのデータを状態改善用コンテンツとして表示制御部１５５に提供してもよく、複数の画像データを表示制御部１５５に順次入力することにより状態改善用コンテンツを表示制御部１５５に提供してもよい。コンテンツ作成部１５７は、通信部１２を介して、状態改善用コンテンツとして表示制御部１５５に提供する複数の画像データを外部のサーバから取得し、取得した複数の画像データを、決定した順序で表示制御部１５５に提供してもよい。

【0048】

コンテンツ作成部１５７は、閲覧者Ｕの状態に基づいて、複数の画像データそれぞれの時間の長さを決定してもよい。この場合、コンテンツ作成部１５７は、閲覧者Ｕの状態の改善に直接的につながると考えられる１つの第１画像データのうち第１時間に相当する部分を使用し、他の１つの第２画像データのうち第１時間よりも短い第２時間に相当する部分を使用する。図５に示す例の場合、Ｄ１とＡ４が他の画像データよりも長く、Ｂ３とＤ３が他の画像データよりも短い。コンテンツ作成部１５７は、第１画像データを表示制御部１５５に提供してから第１時間が経過する前に、第２画像データを表示制御部１５５に提供することにより、第１画像データと第２画像データとが連続して表示されるようにしてもよい。

【0049】

コンテンツ作成部１５７は、例えば、閲覧者Ｕの状態が緊張した状態である場合、閲覧者Ｕがリラックスできる画像データのうち第１時間の部分を第１画像データとして使用することに決定する。そして、コンテンツ作成部１５７は、閲覧者Ｕの興味を惹きつける画像データのうち第２時間の部分を第２画像データとして使用し、第２画像データの後に第１画像データを配置することにより状態改善用コンテンツを作成する。コンテンツ作成部１５７がこのような状態改善用コンテンツを作成することにより、閲覧者Ｕは興味を持って第１画像データの閲覧を開始した後に、第２画像データを閲覧することで状態を改善することができる。

【0050】

［治療効果のフィードバック］
ところで、閲覧者Ｕが閲覧する状態改善用コンテンツが閲覧者Ｕの治療に適した内容でない場合、閲覧者Ｕが閲覧し続けることが逆効果になってしまうおそれがある。そこで、コンテンツ作成部１５７は、閲覧者Ｕの状態を特定するための第２状態特定用画像として使用される画像データを含む第１状態改善用コンテンツを作成してもよい。表示制御部１５５は、例えば、閲覧者Ｕの状態を変化させるために必要な所定の時間にわたって、治療に用いられる複数の画像データを含む状態改善用コンテンツを表示部１１に表示させた後に、第２状態特定用画像を表示部１１に表示させる。

【0051】

表示部１１が第２状態特定用画像を表示している間に、状態特定部１５３は、生体情報取得部１５１が取得した生体情報及び視認位置特定部１５２が特定した視認位置に基づいて閲覧者Ｕの状態を特定する。状態特定部１５３は、閲覧者Ｕが第１状態特定用画像を閲覧した結果に基づいて特定した閲覧者Ｕの第１状態と、閲覧者Ｕが第２状態特定用画像を閲覧した結果に基づいて特定した閲覧者Ｕの第２状態とを比較することにより、閲覧者が状態改善用コンテンツを閲覧したことによる効果の有無を判定し、判定した結果を出力する

【0052】

具体的には、状態特定部１５３は、第１状態と第２状態との差が、治療効果が生じていないと推定される所定範囲内である場合、治療効果が生じていないと判定する。状態特定部１５３は、第１状態と第２状態との差が所定範囲よりも大きく、第２状態が第１状態よりも良い状態になっている場合、治療効果が生じていると判定する。状態特定部１５３は、第１状態と第２状態との差が所定範囲よりも大きく、第２状態が第１状態よりも悪い状態になっている場合、閲覧者Ｕが第１状態改善用コンテンツを閲覧することで逆効果が生じていると判定する。

【0053】

コンテンツ作成部１５７は、状態特定部１５３が第１状態と第２状態とを比較した結果に基づいて、表示制御部１５５が第１状態改善用コンテンツの後に表示部１１に表示させる第２状態改善用コンテンツ（第２コンテンツに対応）を作成する。コンテンツ作成部１５７は、例えば治療効果が生じていないと状態特定部１５３が判定した場合、閲覧者Ｕの状態を改善できる可能性があり、かつ第１状態改善用コンテンツに含まれる複数の画像データと異なる複数の画像データにより構成される第２状態改善用コンテンツを作成する。コンテンツ作成部１５７は、第１状態改善用コンテンツに含まれる複数の画像データが、第１状態改善用コンテンツと異なる順序又は異なる長さで含まれる第２状態改善用コンテンツを作成してもよい。

【0054】

コンテンツ作成部１５７は、治療効果が生じていると状態特定部１５３が判定した場合、第１状態改善用コンテンツに含まれる複数の画像データを含む第２状態改善用コンテンツを作成する。第２状態改善用コンテンツは、第１状態改善用コンテンツと同一であってもよく、第１状態改善用コンテンツに含まれていた複数の画像データが、第１状態改善用コンテンツと異なる順序又は異なる長さで含まれるコンテンツであってもよい。コンテンツ作成部１５７は、第１状態改善用コンテンツに含まれていた複数の画像データに、閲覧者Ｕの状態の改善に役立つ可能性がある他の画像データを追加することにより第２状態改善用コンテンツを作成してもよい。

【0055】

コンテンツ作成部１５７は、逆効果が生じていると状態特定部１５３が判定した場合、第１状態改善用コンテンツに含まれる複数の画像データを含まない第２状態改善用コンテンツを作成する。コンテンツ作成部１５７は、例えば、閲覧者Ｕの状態の改善に役立つ可能性がある他の画像データのうち、閲覧者Ｕの属性と異なる属性に関連付けられた複数の画像データを含む第２状態改善用コンテンツを作成する。コンテンツ作成部１５７がこのようにすることで、閲覧者Ｕの属性が適切に把握されていないことで逆効果が生じた場合に、効果が生じる第２状態改善用コンテンツを作成できる確率が高まる。

【0056】

［機械学習モデルの利用］
作成部１５４は、治療効果が高い状態改善用コンテンツを作成するために、機械学習モデルを利用してもよい。機械学習モデルは、一例として、閲覧者Ｕの状態が入力されると、複数の画像データ候補から選択された複数の画像データを出力するように機械学習（例えば深層学習）することにより作成されたモデルである。画像データ選択部１５６は、このような機械学習モデルに、状態特定部１５３が特定した閲覧者Ｕの状態を入力し、機械学習モデルから出力された複数の画像データを選択する。

【0057】

機械学習モデルが、閲覧者Ｕの状態が入力されると、複数の画像データ候補から選択された複数の画像データが配置された状態改善用コンテンツを出力するように深層学習したモデルである場合、作成部１５４は、このような機械学習モデルに、状態特定部１５３が特定した閲覧者Ｕの状態を入力することにより状態改善用コンテンツを作成してもよい。

【0058】

上記のような機械学習モデルを作成するために、コンテンツ表示装置１は、状態特定部１５３が特定した閲覧者Ｕの状態と、閲覧者Ｕが閲覧した状態改善用コンテンツ又は状態改善用コンテンツにおける複数の画像データの配置と、閲覧者Ｕが当該状態改善用コンテンツを閲覧したことによる治療の効果の有無を示す情報と、を教師データとして、機械学習モデル作成装置（例えばコンピュータ）に出力してもよい。教師データには、閲覧者Ｕの属性がさらに関連付けられていてもよい。

【0059】

機械学習モデル作成装置は、多数のコンテンツ表示装置１から取得した多数の教師データに基づいて深層学習をすることにより、閲覧者Ｕの状態に適した画像データの内容、複数の画像データを表示する順序、複数の画像データそれぞれを表示する長さの精度が向上する。作成部１５４は、このようにして作成された機械学習モデルに閲覧者Ｕの状態を入力することで、治療効果が大きい状態改善用コンテンツを作成することができる。

【0060】

［コンテンツ表示装置１における処理の流れ］
図６は、コンテンツ表示装置１が状態改善用コンテンツを更新する処理の流れを示すフローチャートである。図６に示すフローチャートは、表示制御部１５５が状態改善用コンテンツを表示部１１に表示させている状態から開始している。表示制御部１５５は、状態改善用コンテンツを表示させた後に第２状態特定用画像を表示部１１に表示させる（Ｓ２１）。視認位置特定部１５２は、第２状態特定用画像を閲覧している閲覧者Ｕの視認位置を特定する（Ｓ２２）。

【0061】

状態特定部１５３は、視認位置特定部１５２が特定した視認位置に基づいて、閲覧者Ｕの状態を特定し（Ｓ２３）、閲覧者Ｕが状態改善用コンテンツを閲覧する前の状態と、状態改善用コンテンツを閲覧した後の状態とを比較することにより、状態の改善があったか否かを判定する（Ｓ２４）。

【0062】

状態特定部１５３は、状態の改善があったと判定した場合（Ｓ２４においてＹＥＳ）、閲覧者Ｕが状態改善用コンテンツを閲覧する前の閲覧者Ｕの状態と、閲覧者Ｕが閲覧した状態改善用コンテンツとの関係を示すデータを、深層学習において正のデータとして用いられる正の教師データとして出力する（Ｓ２５）。状態特定部１５３は、閲覧者Ｕが状態改善用コンテンツを閲覧する前の閲覧者Ｕの状態と、閲覧者Ｕが閲覧した状態改善用コンテンツに含まれている複数の画像データの内容と、複数の画像データの順序及び長さとの関係を示すデータを正の教師データとして出力してもよい。

【0063】

状態特定部１５３は、状態の改善がないと判定した場合（Ｓ２４においてＮＯ）、状態が悪化したか否かを判定する（Ｓ２６）。状態特定部１５３は、状態が悪化したと判定した場合（Ｓ２６においてＹＥＳ）、閲覧者Ｕが状態改善用コンテンツを閲覧する前の閲覧者Ｕの状態と、閲覧者Ｕが閲覧した状態改善用コンテンツとの関係を示すデータを、深層学習において負のデータとして用いられる負の教師データとして出力する（Ｓ２７）。状態特定部１５３は、閲覧者Ｕが状態改善用コンテンツを閲覧する前の閲覧者Ｕの状態と、閲覧者Ｕが閲覧した状態改善用コンテンツに含まれている複数の画像データの内容と、複数の画像データの順序及び長さとの関係を示すデータを負の教師データとして出力してもよい。

【0064】

状態特定部１５３が、状態が改善も悪化もしていないと判定した場合（Ｓ２６においてＮＯ）、コンテンツ表示装置１は処理をＳ２１に戻す。状態特定部１５３が、状態が改善又は悪化したと判定した場合、作成部１５４は、状態の改善の有無に基づいて、状態改善用コンテンツを更新する（Ｓ２８）。表示制御部１５５は、状態改善用コンテンツの表示を終了する操作が行われていない場合（Ｓ２９においてＮＯ）、Ｓ２１からＳ２８までの処理を繰り返す。

【0065】

［変形例］
以上の説明においては、状態特定部１５３が閲覧者Ｕの生体情報及び視認位置を用いて閲覧者Ｕの状態を特定する場合を例示したが、状態特定部１５３が閲覧者Ｕの状態を特定する方法はこれに限らず、状態特定部１５３は、生体情報を用いることなく閲覧者Ｕの状態を特定してもよい。この場合、状態特定部１５３は、例えば閲覧者Ｕが状態特定用画像を視認する位置の順序、特定の位置を視認する時間の長さ、視認位置の範囲、及び視認位置を移動させる際の速度等の視認パターンに基づいて閲覧者Ｕの状態を特定する。状態特定部１５３は、例えば視認位置の範囲が基準範囲よりも狭い場合、閲覧者Ｕは統合失調症の可能性がある状態であると判定する。

【0066】

状態特定部１５３は、予め視認パターンと人の状態とが関連付けられた教師データを用いて深層学習して作成されたモデルに閲覧者Ｕの視認パターンを入力することにより、閲覧者Ｕの状態を特定してもよい。状態特定部１５３がこのように視認パターンに基づいて閲覧者Ｕの状態を特定することで、閲覧者Ｕが生体情報測定装置２を装着することなく閲覧者Ｕの状態を特定することができるので、閲覧者Ｕの状態の特定と治療が容易になる。

【0067】

また、状態特定部１５３は、生体情報及び視認位置を用いる代わりに、閲覧者Ｕの状態を示す情報を外部から取得し、取得した情報に基づいて閲覧者Ｕの状態を特定してもよい。例えば、状態特定部１５３は、状態を特定するために予め作成された複数の質問（例えばアンケートに記載された質問）に対する閲覧者Ｕの回答、又は医師の問診に基づいて特定された閲覧者Ｕの状態を示す情報を、通信部１２を介して外部のコンピュータから取得し、取得した情報に基づいて閲覧者Ｕの状態を特定してもよい。

【0068】

また、以上の説明においては、状態改善用コンテンツが第２状態特定用画像として使用される画像データを含む場合を例示したが、状態改善用コンテンツが第２状態特定用画像として使用される画像データを含まなくてもよい。この場合、コンテンツ表示装置１は、閲覧者Ｕが状態改善用コンテンツを閲覧した後に所定の操作が行われたことに応じて第２状態特定用画像を表示してもよい。

【0069】

また、以上の説明においては、コンテンツ表示装置１がゴーグル型の装置であったが、コンテンツ表示装置１の態様は任意である。コンテンツ表示装置１は、例えば所定のアプリケーションソフトウェアを実行するスマートフォンにより実現されてもよい。

【0070】

また、以上の説明においては、閲覧者Ｕが手首に生体情報測定装置２を装着することにより閲覧者Ｕの生体情報を取得する場合を例示したが、閲覧者Ｕの生体情報を取得する方法は任意である。例えばコンテンツ表示装置１が生体情報を測定する機能を内蔵しており、コンテンツ表示装置１が、閲覧者Ｕの脈拍、血圧、体温、発汗量等の生体情報を取得してもよい。

【0071】

［コンテンツ表示装置１による効果］
以上説明したように、コンテンツ表示装置１は、閲覧者Ｕの状態に基づいて選択した複数の画像データを表示する順序を決定することにより、閲覧者Ｕの状態を改善させるための状態改善用コンテンツを表示部１１に表示する。コンテンツ表示装置１がこのような状態改善用コンテンツを表示することで、精神疾患等の健康障害を有する閲覧者Ｕが状態改善用コンテンツを閲覧することにより、閲覧者Ｕの状態が改善する。このようなコンテンツ表示装置１は、精神疾患患者に対するデジタルメディスンを提供する装置として好適である。

【0072】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0073】

１ コンテンツ表示装置
２ 生体情報測定装置
１０ 筐体
１１ 表示部
１２ 通信部
１３ 動きセンサー
１４ 記憶部
１５ 制御部
１５１ 生体情報取得部
１５２ 視認位置特定部
１５３ 状態特定部
１５４ 作成部
１５５ 表示制御部
１５６ 画像データ選択部
１５７ コンテンツ作成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】