特許 7334958 判定装置、判定方法及び判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-21

(45)【発行日】2023-08-29

(54)【発明の名称】判定装置、判定方法及び判定プログラム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20230822BHJP

   A61B 10/00 20060101ALI20230822BHJP

   G09B 9/00 20060101ALN20230822BHJP

   A63B 69/00 20060101ALN20230822BHJP

【ＦＩ】

A61B5/055 380

A61B10/00 W

G09B9/00 Z

A63B69/00 501Z

【請求項の数】 8

(21)【出願番号】P 2019222384

(22)【出願日】2019-12-09

(65)【公開番号】P2021090549

(43)【公開日】2021-06-17

【審査請求日】2022-12-08

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２６年度 国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（さきがけ）、平成３０年度 国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（ＣＲＥＳＴ）、産業技術力強化法第１７条の適用を受けるもの

(73)【特許権者】

【識別番号】399086263

【氏名又は名称】学校法人帝京大学

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】岡ノ谷 一夫

(72)【発明者】

【氏名】細田 千尋

(72)【発明者】

【氏名】林 俊宏

【審査官】下村 一石

(56)【参考文献】

【文献】特開２０１５－０８４９７０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３１０８７０（ＵＳ，Ａ１）

【文献】特表２０１４－５０６１５０（ＪＰ，Ａ）

【文献】特表２０１９－５２１３７９（ＪＰ，Ａ）

【文献】国際公開第２００７／０２３５２２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ｇ０１Ｒ ３３／２０－３３／６４

Ａ６１Ｂ １０／００

Ｇ０９Ｂ ９／００

Ａ６３Ｂ ６９／００

(57)【特許請求の範囲】

【請求項1】

ユーザの脳画像を取得する取得部と、
前記脳画像に基づいて、前記ユーザの脳の所定領域の灰白質体積を演算する演算部と、
前記演算された灰白質体積に基づいて、前記ユーザが三次元映像に対する受容性を含む特定の認知能力を有するか否かを判定する判定部と、
を備える判定装置。

【請求項2】

各ユーザの脳画像に基づいて演算される前記所定領域の灰白質体積と各ユーザの前記特定の認知能力に関する所定課題の成績とを用いた機械学習に基づいて生成された予測器を更に備え、
前記判定部は、前記演算された灰白質体積を前記予測器に入力して生成される前記成績の予測値に基づいて、前記ユーザが前記特定の認知能力を有するか否かを判定する、
請求項１に記載の判定装置。

【請求項3】

前記機械学習には、前記灰白質体積及び前記成績に加えて、各ユーザの前記特定の認知能力に関する主観的指標値が用いられ、
前記取得部は、前記脳画像が取得された前記ユーザの前記特定の認知能力に関する主観的指標値を取得し、
前記予測値は、前記演算された灰白質体積及び前記取得された主観的指標値を前記予測器に入力して生成される、
請求項２に記載の判定装置。

【請求項4】

前記所定領域は、上頭頂小葉及び尾状核の少なくとも一部に対応する領域である、
請求項１から請求項３のいずれかに記載の判定装置。

【請求項5】

前記三次元映像は、所定の表示装置を用いて前記ユーザによって知覚され、
前記所定の表示装置は、前記ユーザの右目用の二次元映像を表示する第１表示部と左目用の二次元映像を表示する第２表示部とを具備する、
請求項１から請求項４のいずれかに記載の判定装置。

【請求項6】

前記所定の表示装置は、前記ユーザの所定部位に装着される装着型表示装置、又は、前記ユーザの所定部位に装着されない非装着型表示装置である、
請求項５に記載の判定装置。

【請求項7】

ユーザの脳画像を取得する工程と、
前記脳画像に基づいて、前記ユーザの脳の所定領域の灰白質体積を演算する工程と、
前記演算された灰白質体積に基づいて、前記ユーザが三次元映像に対する受容性を含む特定の認知能力を有するか否かを判定する工程と、
を有する判定方法。

【請求項8】

判定装置に備えられた演算部を、
ユーザの脳画像を取得する取得部、
前記脳画像に基づいて、前記ユーザの脳の所定領域の灰白質体積を演算する演算部、及び、 前記演算された灰白質体積に基づいて、前記ユーザが三次元映像に対する受容性を含む特定の認知能力を有するか否かを判定する判定部、
として機能させる判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法及び判定プログラムに関する。

【背景技術】

【0002】

近年、所定の表示装置（例えば、ヘッドマウントディスプレイ（head mounted display(ＨＭＤ）)など）を用いて三次元（3 dimension（３Ｄ））映像を知覚させることにより、種々の行為を仮想的にユーザに体験させるｘＲ（仮想現実（Virtual Reality（ＶＲ））、拡張現実（Augmented Reality（ＡＲ）））、複合現実（Mixed Reality（ＭＲ）等の総称）が様々な分野で活用されている。例えば、ＶＲは、ゲームなどのエンターテイメントだけでなく、スポーツ、航空機の操縦及び自動車の運転などのトレーニング、リハビリ、手術支援ロボット（例えば、da Vinci（登録商標））等で活用されている。

【0003】

一方、所定の表示装置を用いて３Ｄ映像を知覚するユーザに所定の生体反応（例えば、気持ちの悪さ（Nausea）、目の疲れ（Oculomotor）、ふらつき感（Disorientation）など）が生じる場合があることが知られている（例えば、特許文献１）。当該生体反応は、映像酔い、３Ｄ酔い、ＶＲ酔い等とも呼ばれる。以下では、説明の便宜上、当該生体反応を「映像酔い」と呼ぶ。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１８４８８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

人間の認知能力（例えば、３Ｄ映像に対する受容性）には個人差があり、当該認知能力に関する様々な行為の実施は、全てのユーザに適切に作用するとは限らない。例えば、ユーザが３Ｄ映像を用いたトレーニング又はリハビリを実施する場合、映像酔いのために、当該トレーニング又は当該リハビリの実施効果を当該ユーザが十分に得られない恐れがある。したがって、ユーザによる特定の行為（例えば、３Ｄ映像を用いた行為）の実施効果を適切に得るために、当該ユーザが特定の認知能力（例えば、３Ｄ映像に対する受容性）を有するか否かを判定可能とすることが望まれている。

【0006】

そこで、本発明は、特定の認知能力（例えば、３Ｄ映像に対する受容性）を有するか否かを判定可能な判定装置、判定方法及び判定プログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る判定装置は、ユーザの脳画像を取得する取得部と、前記脳画像に基づいて、前記ユーザの脳の灰白質体積を演算する演算部と、前記演算された灰白質体積に基づいて、前記ユーザが特定の認知能力を有するか否かを判定する判定部と、を備える。

【0008】

この態様によれば、上記灰白質体積に基づいて上記ユーザが特定の認知能力を有するか否かを判定できる。このため、当該判定結果を考慮して特定の行為を実施することで、当該行為の実施効果を適切に得ることができる。

【0009】

上記態様において、各ユーザの脳画像に基づいて演算される前記所定領域の灰白質体積と各ユーザの前記特定の認知能力に関する所定課題の成績とを用いた機械学習に基づいて生成された予測器を更に備え、前記判定部は、前記演算された灰白質体積を前記予測器に入力して生成される前記成績の予測値に基づいて、前記ユーザが前記特定の認知能力を有するか否かを判定してもよい。

【0010】

この態様によれば、上記灰白質体積と上記成績とを用いた機械学習に基づいて生成された予測器が用いられるので、上記特定の認知能力を有するか否かの判定精度を向上させることができる。

【0011】

上記態様において、前記機械学習には、前記灰白質体積及び前記成績に加えて、各ユーザの前記特定の認知能力に関する主観的指標値が用いられ、前記取得部は、前記脳画像が取得された前記ユーザの主観的指標値を取得し、前記予測値は、前記演算された灰白質体積及び前記取得された主観的指標値を前記予測器に入力して生成されてもよい。

【0012】

この態様によれば、上記灰白質体積及び上記成績に加えて上記主観的指標値を用いた機械学習により学習済みの予測器が用いられるので、上記特定の認知能力を有するか否かの判定精度を向上させることができる。

【0013】

上記態様において、前記所定領域は、上頭頂小葉及び尾状核の少なくとも一部に対応する領域であってもよい。この構成によれば、上頭頂小葉及び尾状核の灰白質体積に基づいてユーザが上記特定の認知能力を有するか否かが判定されるので、当該受容性の判定精度を向上させることができる。

【0014】

上記態様において、前記特定の認知能力は、三次元映像に対する受容性を含んでもよい。この態様によれば、前記ユーザが三次元映像に対する受容性を有するか否かの判定結果を考慮して三次元映像を用いた行為を実施することで、当該行為の実施効果を適切に得ることができる。

【0015】

上記態様において、前記三次元映像は、所定の表示装置を用いて前記ユーザによって知覚され、前記所定の表示装置は、前記ユーザの右目用の二次元映像を表示する第１表示部と左目用の二次元映像を表示する第２表示部とを具備してもよい。

【0016】

上記態様において、前記ユーザの頭部に装着される頭部装着型の表示装置、又は、前記ユーザが右目及び左目により記第１表示部及び前記第２表示部をそれぞれ覗き込む非装着型の表示装置であってもよい。

【0017】

本発明の他の態様に係る判定方法は、ユーザの脳画像を取得する工程と、前記脳画像に基づいて、前記ユーザの脳の所定領域の灰白質体積を演算する工程と、前記演算された灰白質体積に基づいて、前記ユーザが特定の認知能力を有するか否かを判定する工程と、を有する。

【0018】

本発明の他の態様に係る判定プログラムは、判定装置に備えられた演算部を、ユーザの脳画像を取得する取得部、前記脳画像に基づいて、前記ユーザの脳の所定領域の灰白質体積を演算する演算部、及び、前記演算された灰白質体積に基づいて、前記ユーザが特定の認知能力を有するか否かを判定する判定部、として機能させる。

【発明の効果】

【0019】

本発明によれば、特定の認知能力（例えば、３Ｄ映像に対する受容性）を有するか否かを判定可能な判定装置、判定方法及び判定プログラムを提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態に係る３Ｄ映像を用いた行為の一例を示す図である。

【図2】本発明の実施形態に係る３Ｄ映像に対する受容性と脳画像の所定領域を関心領域として演算される灰白質体積との相関関係の一例を示す図である。

【図3】本発明の実施形態に係る判定システム１の機能構成の一例を示す図である。

【図4】本発明の実施形態に係る判定システム１を構成する各装置のハードウェア構成の一例を示す図である。

【図5】本発明の実施形態に係る学習動作の一例を示すフローチャートである。

【図6】本発明の実施形態に係る判定動作の一例を示すフローチャートである。

【図7】本発明の実施形態に係る知覚課題の成績と３Ｄ映像に対する受容性との関係の一例を示す図である。

【図8】本発明の実施形態に係る３Ｄ映像に対する受容性の判定の効果の一例を示す図である。

【発明を実施するための形態】

【0021】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0022】

本実施形態では、脳の所定領域の灰白質の体積（灰白質体積）に基づいて判定される特定の認知能力の一例として、三次元（３Ｄ）映像に対する受容性を例示する。なお、特定の認知能力は、３Ｄ映像に対する受容性に限られず、脳の所定領域の灰白質体積と相関関係を有するどのような能力であってもよい。

【0023】

本実施形態において、ユーザは、所定の表示装置を用いて三次元（３Ｄ）映像を知覚する（視認する、認識する等ともいう）。具体的には、当該所定の表示装置は、ユーザの右目用の二次元（２Ｄ）映像（右目用映像）を表示する第１表示部と左目用の２Ｄ映像（左目用映像）を表示する第２表示部とを具備する。ここで、３Ｄ映像とは、ユーザから立体的に見える映像であり、立体映像、３Ｄ立体視とも呼ばれる。当該３Ｄ映像は、ユーザが奥行きを知覚できる映像ともいえる。例えば、ユーザに左右の眼に視差(parallax)のある映像（すなわち、右目用映像及び左目用映像）を表示すること（両眼視差（binocular parallax）ともいう）、及び／又は、ユーザの頭部運動に合わせて当該映像の見え方を変化させること（運動視差（motion parallax）ともいう）により、３Ｄ映像をユーザに知覚させてもよい。なお、３Ｄ映像は、両眼視差を利用するものに限られず、ホログラム、体積走査型などであってもよい。また、２Ｄ映像とは、ユーザから平面的に見える映像であり、平面映像等とも呼ばれる。

【0024】

ここで、両眼視差を利用して３Ｄ映像を知覚させるための右目用映像及び左目用映像は、同一の対象物を異なる角度で捉えた映像である。ユーザは、右目用の第１表示部に表示される右目用映像と、左目用の第２表示部に表示される左目用映像を脳内で一つに合成して、当該対象物を立体的に知覚する（すなわち、３Ｄ映像として知覚する）。

【0025】

上記第１表示部及び第２表示部を備える所定の表示装置は、ユーザの所定部位に装着される装着型表示装置であってもよいし、又は、非装着型表示装置であってもよい。装着型表示装置は、例えば、ユーザの頭部に装着されるヘッドマウントディスプレイ（head mounted display(ＨＭＤ）)、ＶＲヘッドセット、ゴーグル等であってもよい。非装着型表示装置は、例えば、Cave Automatic Virtual Environment（ＣＡＶＥ）等の没入型ディスプレイ（immersive display）、立体テレビ、右目用の第１表示部及び左目用の第２表示部を備えたコンソールを含む手術支援ロボット等であってもよい。

【0026】

図１は、本実施形態に係る３Ｄ映像を用いた行為の一例を示す図である。図１では、上記所定の表示装置として、ユーザの頭部に装着されるＨＭＤ１００が例示されるが、上記の通り、所定の表示装置はこれに限られない。また、図１では、３Ｄ映像を用いた行為の一例としてスポーツ（ここでは、テニス）が示されているが、当該行為は、スポーツ以外の分野の行為（例えば、航空機の操縦、車両の運転、リハビリ、患者の手術）等であってもよい。また、図１では、３Ｄ映像は、仮想現実（ＶＲ）を実現するものであるが、拡張現実（ＡＲ）又は複合現実（ＭＲ）を実現するものであってもよい。

【0027】

図１において、ユーザは、ＨＭＤ１００が備える第１表示部１０１及び第２表示部１０２にそれぞれ表示される右目用映像及び左目用映像の視差により、３Ｄ映像Ｖを知覚する。例えば、図１では、ユーザは、頭部に装着されたＨＭＤ１００を用いて知覚される３Ｄ映像Ｖに基づいて、テニスのトレーニングを実施している。

【0028】

また、ＨＭＤ１００は、ユーザの所定部位（例えば、頭、目、手、足など）の動き（motion）を検知するセンサー１０３を備え、当該動きの解析結果に基づいて右目用映像及び左目用映像を制御するトラッキング機能を有してもよい。当該トラッキング機能は、ヘッドトラッキング、アイトラッキング、モーショントラッキング等とも呼ばれる。当該動きを検出するセンサーは、例えば、方向を検出する磁力計、角度や角速度を検出するジャイロスコープ、加速度を検出する加速度計、赤外線センサー等であってもよい。

【0029】

トラッキング機能により、ユーザの所定の動きに従って当該ユーザが知覚する３Ｄ映像が変化する。例えば、図１では、ラケットを操作するユーザの手の動きや、目の方向、頭の動きに応じて、３Ｄ映像Ｖで知覚されるラケットやボールの動き、位置等が変化する。このため、ユーザの臨場感や没入感を向上させることができる。

【0030】

ところで、以上のような３Ｄ映像中の視覚的な運動をきっかけとして、「映像酔い」等と呼ばれる所定の生体反応（例えば、気持ちの悪さ、目の疲れ、ふらつき感など）が生じるユーザが存在することが知られている。

【0031】

そこで、所定数の被験者に対して２Ｄ映像及び３Ｄ映像それぞれ（以下、２Ｄ／３Ｄ映像と略する）の知覚課題（例えば、２Ｄ／３Ｄ映像を用いた複数オブジェクト追跡（Multiple Object Tracking（ＭＯＴ））課題）を実施したところ、２Ｄ／３Ｄ映像の成績に有意な差がない被験者のグループ（第１の被験者グループ）と、３Ｄ映像の成績が２Ｄ映像の成績よりも有意に低い被験者のグループ（第２の被験者グループ）とが生じた。なお、ＭＯＴ課題とは、映像内の複数の物体を追跡する所定のタスクであり、被験者の知覚能力の評価に用いられる。

【0032】

第１の被験者グループは、３Ｄ映像を用いた知覚課題でも２Ｄ映像を用いる場合と同様の成績が出せるので、第２の被験者グループよりも３Ｄ映像に対する受容性が高いといえる。一方、第２の被験者グループは、３Ｄ映像を用いた知覚課題の成績が２Ｄ映像を用いる場合よりも有意に低くなるので、第１の被験者グループよりも３Ｄ映像に対する受容性が低いといえる。ここで、３Ｄ映像に対する受容性とは、３Ｄ映像を知覚しても映像酔いを生じ難く、３Ｄ映像を用いた行為の実施効果を適切に得られることをいう。

【0033】

図２は、本実施形態に係る３Ｄ映像に対する受容性と脳画像の所定領域を関心領域（Region Of Interest（ＲＯＩ））として演算される灰白質体積との相関関係の一例を示す図である。図２では、人間の脳の側面からみた脳画像Ｉ１と、脳画像Ｉ１の切断面Ｘで人間の脳を切断した断面を示す脳画像Ｉ２とが示される。脳画像Ｉ１に示される上頭頂小葉は、大脳の外側面にある脳回のひとつである。上頭頂小葉は、対象物の位置や動き、奥行きなどの空間に関係する情報を認識するための役割を有する。一方、脳画像Ｉ２に示される尾状核は、脳の中心付近、視床の両側に存在する。尾状核は、運動の制御や学習、認知等に関係する。

【0034】

図２に示すように、３Ｄ映像に対する受容性が相対的に高い（すなわち、２Ｄ／３Ｄ映像の知覚課題の成績差が相対的に小さい）第１の被験者グループについては、上頭頂小葉の灰白質体積が大きく、尾状核の灰白質体積が小さい傾向がある。一方、３Ｄ映像に対する受容性が相対的に高い（すなわち、３Ｄ映像の成績が２Ｄ映像の成績よりも有意に低い）第２の被験者グループについては、上頭頂小葉の灰白質体積が小さく、尾状核の灰白質体積が大きい傾向がある。

【0035】

このように、３Ｄ映像に対する受容性と上頭頂小葉の灰白質体積との間には、正の相関関係がある。一方、３Ｄ映像に対する受容性と尾状核の灰白質体積との間には、負の相関関係がある。すなわち、３Ｄ映像に対する受容性等の特定の認知能力は、脳の所定領域の灰白質体積の相関関係があると想定される。そこで、本発明者らは、特定の認知能力（例えば、３Ｄ映像に対する受容性）と脳の所定領域の灰白質体積との相関関係に着目し、当該所定領域の灰白質体積に基づいて特定の認知能力（例えば、３Ｄ映像に対する受容性）を判定することを着想した。

【0036】

なお、以下では、特定の認知能力（例えば、３Ｄ映像に対する受容性）の判定に用いられる脳の所定領域が、上頭頂小葉及び尾状核の少なくとも一つであるものとするが、これに限られない。当該所定領域は、当該特定の認知能力と相関関係を有する脳のどのような領域であってもよい。当該所定領域は、例えば、上記上頭頂小葉及び尾状核の少なくとも一つに代えて又は加えて、角回及び大脳基底核の少なくとも一つを含んでもよい。

【0037】

（判定システムの構成）
図３は、本発明の実施形態に係る判定システム１の一例を示す図である。判定システム１は、予測器１４ａを用いて特定の認知能力（例えば、３Ｄ映像に対する受容性）を有するか否かを予測する判定装置１０と、予測器１４ａに実装される予測モデル２２ｂの学習処理を行う学習装置２０と、を有する。なお、予測モデル２２ｂを実装する予測器１４ａは、予測モデル、予測プログラム、予測アルゴリズム等と言い換えられてもよい。

【0038】

また、本例では、学習装置２０による機械学習によって学習された予測器１４ａを用いる判定装置１０について説明するが、予測器１４ａは、必ずしも機械学習によって生成されたものに限られず、脳の所定領域の灰白質体積と特定の認知能力（例えば、３Ｄ映像に対する受容性）の関係について理論的に導かれた関係式又は経験的に導かれた関係式に基づいて当該特定の認知能力を判定するものであってもよい。

【0039】

また、本例では、判定装置１０及び学習装置２０が別体の場合を示しているが、判定装置１０及び学習装置２０は一体の装置で構成されてもよい。例えば、判定装置１０及び学習装置２０は、ＰＬＣ（Programmable Logic Controller）の異なる動作として実現されてもよい。

【0040】

＜学習装置＞
学習装置２０は、機能構成として、学習用データ２２ａを生成する生成部２１と、学習用データ２２ａ及び予測モデル２２ｂを記憶する記憶部２２と、学習用データ２２ａを用いた機械学習により予測モデル２２ｂの学習処理を実施する学習部２３と、を有する。生成部２１は、脳画像取得部２１１と、灰白質体積演算部２１２と、成績取得部２１３と、主観的指標値取得部２１４と、を有する。

【0041】

脳画像取得部２１１は、各ユーザの脳画像を取得する。脳画像は、例えば、磁気共鳴画像化（Magnetic Resonance Imaging（ＭＲＩ））装置により撮像された画像（例えば、図２の脳画像Ｉ１、Ｉ２など）であってもよい。脳画像は、脳解剖画像等と呼ばれてもよい。当該ＭＲＩ装置は、例えば、３テスラＭＲＩ装置であってもよい。

【0042】

灰白質体積演算部２１２は、脳画像取得部２１１により取得された脳画像に基づいて、ユーザの脳の所定領域の灰白質体積を演算する。具体的には、灰白質体積演算部２１２は、当該脳画像の所定領域を関心領域に設定して、関心領域における灰白質体積を演算する。当該所定領域は、例えば、上頭頂小葉及び尾状核の少なくとも一部に対応する領域であるが、これに限られず、角回及び大脳基底核等の少なくとも一部に対応する領域であってもよい。当該灰白質体積は、例えば、Voxel-based-Morp hometry（ＶＢＭ）を用いて評価されてもよい。

【0043】

成績取得部２１３は、各ユーザの特定の認知能力に関する所定課題（例えば、３Ｄ映像を用いた知覚課題）の成績（例えば、正答率又は点数）を取得する。当該３Ｄ映像を用いた知覚課題の成績は、例えば、３Ｄ映像を用いたＭＯＴ課題の成績であってもよい。

【0044】

主観的指標値取得部２１４は、各ユーザの特定の認知能力に関する主観的指標値（例えば、映像酔いに関する主観的指標値）を取得する。当該映像酔いに関する主観的指標値は、例えば、Simulator Sickness Questionnaire（ＳＳＱ）値を示す情報であってもよい。ＳＳＱでは、気持ちの悪さ、目の疲れ、ふらつき感に分類される所定数の質問項目（例えば、１６の質問項目）について、所定段階（例えば、４段階）でユーザが回答する。ＳＳＱ値は、当該回答に基づいて生成される所定の指標値であってもよい。当該ＳＳＱ値は、上記知覚課題を実施した後のユーザの回答に基づいて生成されてもよい。

【0045】

記憶部２２は、生成部２１によって生成される学習用データ２２ａと、学習部２３による学習処理によって生成される予測モデル２２ｂとを記憶する。学習用データ２２ａは、灰白質体積演算部２１２によって演算される灰白質体積と、成績取得部２１３によって取得される成績とをユーザ毎に関連付けたデータであってもよい。また、学習用データ２２ａは、上記灰白質体積及び成績に加えて、主観的指標値取得部２１４によって取得される主観的指標値をユーザ毎に関連付けたデータであってもよい。

【0046】

学習部２３は、記憶部２２に記憶された学習用データ２２ａを用いた機械学習によって予測モデル２２ｂの学習処理を実行する。例えば、学習部２３は、学習用データ２２ａとして記憶される各ユーザの灰白質体積に基づいて、学習用データ２２ａとして記憶される各ユーザの成績が出力されるように、予測モデル２２ｂの学習処理を行ってもよい。また、学習部２３は、学習用データ２２ａとして記憶される各ユーザの灰白質体積及び主観的指標値に基づいて、学習用データ２２ａとして記憶される各ユーザの成績が出力されるように、予測モデル２２ｂの学習処理を行ってもよい。

【0047】

学習部２３によって機械学習される予測モデル２２ｂは、例えば、ニューラルネットワークで構成されてよい。予測モデル２２ｂがニューラルネットワークで構成される場合、学習部２３は、例えば、誤差逆伝播法によってニューラルネットワークの学習処理を行ってよい。

【0048】

＜判定装置＞
判定装置１０は、脳画像取得部１１と、灰白質体積演算部１２と、主観的指標値取得部１３と、判定部１４と、を備える。脳画像取得部１１は、特定の認知能力（例えば、３Ｄ映像に対する受容性）の有無の判定対象となるユーザの脳画像を取得する。灰白質体積演算部１２は、脳画像取得部１１により取得された脳画像の所定領域を関心領域に設定して、関心領域における灰白質体積を演算する。主観的指標値取得部１３は、当該ユーザの特定の認知能力に関する主観的指標値（例えば、映像酔いに関する主観的指標値）を取得する。なお、脳画像取得部１１、灰白質体積演算部１２及び主観的指標値取得部１３の詳細は、それぞれ、脳画像取得部２１１、灰白質体積演算部２１２及び主観的指標値取得部２１４で説明した通りである。

【0049】

判定部１４は、灰白質体積演算部１２で演算された灰白質体積に基づいて、ユーザが特定の認知能力（例えば、３Ｄ映像に対する受容性）を有するか否かを判定する。また、判定部１４は、学習装置２０における機械学習により生成される予測器１４ａを含んでもよい。なお、予測器１４ａは、蒸留（distillation）により生成又は蒸留により生成される新たな予測モデルを実装してもよい。蒸留では、学習装置２０で機械学習された予測モデル２２ｂへの入出力データを用いて新たな予測モデルが生成されてもよい。

【0050】

具体的には、判定部１４は、灰白質体積演算部１２で演算された灰白質体積を予測器１４ａに入力して生成される予測値に基づいて、ユーザが特定の認知能力（例えば、３Ｄ映像に対する受容性）を有するか否かを判定してもよい。また、判定部１４は、当該灰白質体積に加えて、主観的指標値取得部１３で取得される主観的指標値を予測器１４ａに入力して生成される予測値に基づいて、ユーザが特定の認知能力（例えば、３Ｄ映像に対する受容性）を有するか否かを判定してもよい。当該予測値は、各ユーザの特定の認知能力に関する所定課題の成績の予測値（例えば、３Ｄ映像を用いたＭＯＴ課題の正答率の予測値）であってもよい。

【0051】

判定部１４による判定結果は、後述する出力部１０ｅに出力され、ユーザに表示されてもよい。或いは、当該判定結果は、通信部１０ｃを介して他の装置に送信されてもよい。

【0052】

＜ハードウェア構成＞
次に、判定システム１内の各装置（例えば、判定装置１０及び学習装置２０の少なくとも一つ）のハードウェア構成を説明する。図４に示すように、判定システム１内の各装置は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶装置１０ｂと、通信部１０ｃと、入力部１０ｄと、出力部１０ｅとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では、判定装置１０及び学習装置２０は、別々のコンピュータで構成されるが、一台のコンピュータで構成されてもよい。

【0053】

ＣＰＵ１０ａは、記憶装置１０ｂに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、脳画像の所定領域を関心領域として演算される灰白質体積に基づいて特定の認知能力（例えば、３Ｄ映像に対する受容性）を判定するプログラム（判定プログラム）を実行する演算装置（演算部）であってもよい。ＣＰＵ１０ａは、入力部１０ｄ及び／又は通信部１０ｃから種々の入力データを受け取り、入力データの演算結果を出力部１０ｅに出力（例えば、表示）したり、記憶装置１０ｂに格納したり、又は、通信部１０ｃを介して送信したりする。

【0054】

記憶装置１０ｂは、メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、の少なくとも一つである。学習装置２０の記憶装置１０ｂは、記憶部２２を構成してもよい。判定装置１０の記憶装置１０ｂは、ＣＰＵ１０ａが実行する判定プログラムを記憶してもよい。

【0055】

通信部１０ｃは、判定システム１内の各装置を外部機器に接続するインターフェースである。なお、判定装置１０及び学習装置２０が一体の装置で構成される場合、通信部１０ｃは、判定装置１０として動作するプロセスと、学習装置２０として動作するプロセスとの間のプロセス間通信を含んでよい。

【0056】

入力部１０ｄは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス、タッチパネル、マイクの少なくとも一つを含んでよい。

【0057】

出力部１０ｅは、ＣＰＵ１０ａによる演算結果を出力するものであり、例えば、ＬＣＤ（Liquid Crystal Display）等のディスプレイ及びスピーカの少なくとも一つにより構成されてよい。

【0058】

判定プログラムは、記憶装置１０ｂ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｃにより接続されるネットワークＮを介して提供されてもよい。当該判定プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ、ＣＤ－ＲＯＭ又はＤＶＤ等の記憶媒体であってもよい。

【0059】

判定装置１０では、ＣＰＵ１０ａが判定プログラムを実行することにより、図３を用いて説明した脳画像取得部１１、灰白質体積演算部１２、主観的指標値取得部１３、判定部１４の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、判定装置１０は、ＣＰＵ１０ａと記憶装置１０ｂが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0060】

また、脳画像取得部１１及び２１１、主観的指標値取得部１３及び２１４、成績取得部２１３は、それぞれ、通信部１０ｃで受信される脳画像、主観的指標値、特定の認知能力に関する所定課題（例えば、３Ｄ映像を用いたＭＯＴ課題）の成績を取得してもよいし、又は、記憶装置１０ｂ等のコンピュータによって読み取り可能な記憶媒体に記憶された脳画像、当該主観的指標値、当該成績を取得してもよい。

【0061】

（判定システムの動作）
＜学習動作＞
図５は、本実施形態に係る学習動作の一例を示すフローチャートである。なお、図５では、特定の認知能力の一例として３Ｄ映像に対する受容性を想定し、当該３Ｄ映像に対する受容性を予測する予測モデル２２ｂの学習動作について説明する。

【0062】

図５に示すように、ステップＳ１０１において、学習装置２０は、各ユーザの脳画像を取得する。例えば、学習装置２０は、ＭＲＩ装置（例えば、３テスラＭＲＩ装置）により撮像された脳画像を取得してもよい。ステップＳ１０２において、学習装置２０は、ステップＳ１０１において取得された脳画像の所定領域を関心領域に設定し、当該関心領域の灰白質体積を演算する。当該関心領域は、例えば、上頭頂小葉及び尾状核の少なくとも一部に対応する領域であってもよい。

【0063】

ステップＳ１０３において、学習装置２０は、各ユーザの映像酔いに関する主観的指標値（例えば、ＳＳＱ値）を取得する。例えば、知覚課題（例えば、３Ｄ映像を用いたＭＯＴ課題）後に各ユーザにＳＳＱが実施され、当該ＳＳＱの回答に基づいて決定されたＳＳＱ値が主観的指標値として取得されてもよい。

【0064】

ステップＳ１０４において、学習装置２０は、各ユーザの３Ｄ映像を用いた知覚課題の成績を取得する。上記の通り、知覚成績情報は、知覚課題（例えば、３Ｄ映像を用いたＭＯＴ課題）の成績を示す情報（例えば、正答率）であってもよい。

【0065】

ステップＳ１０５において、学習装置２０は、ステップＳ１０２で演算された灰白質体積とステップＳ１０３で取得された主観的指標値と、ステップＳ１０４で取得された知覚成績情報とを関連づけた学習用データ２２ａを用いた機械学習により、予測モデル２２ｂの学習処理を実施してもよい。

【0066】

なお、図５において、ステップＳ１０１、Ｓ１０３、Ｓ１０４の順序は問われない。また、図５において、ステップＳ１０３は省略されてもよい。ステップＳ１０３を省略する場合、ステップＳ１０５において、学習装置２０は、ステップＳ１０２で演算された灰白質体積とステップＳ１０４で取得された成績とを関連づけた学習用データを用いた機械学習により、予測モデル２２ｂの学習処理を実施してもよい。

【0067】

＜判定動作＞
図６は、本実施形態に係る判定動作の一例を示す図である。なお、図６では、特定の認知能力の一例として３Ｄ映像に対する受容性を想定し、当該３Ｄ映像に対する受容性を判定する判定動作について説明する。

【0068】

図６に示すように、ステップＳ２０１において、判定装置１０は、３Ｄ映像に対する受容性の判定対象となるユーザの脳画像を取得する。ステップＳ２０２において、判定装置１０は、ステップＳ２０１において取得された脳画像の所定領域を関心領域に設定し、当該関心領域の灰白質体積を演算する。ステップＳ２０３において、判定装置１０は、当該ユーザの映像酔いに関する主観的指標値を取得する。なお、ステップＳ２０１、Ｓ２０２、Ｓ２０３の詳細は、図５のステップＳ１０１、Ｓ１０２、Ｓ１０３と同様である。

【0069】

ステップＳ２０４において、判定装置１０は、ステップＳ２０２で演算された灰白質体積及びステップＳ２０３で取得された主観的指標値を学習済みの予測器１４ａに入力して、当該予測器１４ａの出力として３Ｄ映像を用いた知覚課題の成績の予測値（成績予測値）を生成してもよい。当該成績予測値は、例えば、ＭＯＴ課題の正答率又は点数の予測値であってもよい。

【0070】

ステップＳ２０５において、判定装置１０は、ステップＳ２０４で生成された成績予測値が所定の条件を満たすか否かを判定する。当該成績予測値が所定の条件を満たす場合、ステップＳ２０６において、判定装置１０は、当該ユーザが３Ｄ映像に対する受容性を有すると判定する。一方、当該成績予測値が所定の条件を満たさない場合、ステップＳ２０７において、判定装置１０は、当該ユーザが３Ｄ映像に対する受容性を有しないと判定する。

【0071】

なお、図６において、ステップＳ２０１、Ｓ２０３の順序は問われない。また、図６において、ステップＳ２０３は省略されてもよい。ステップＳ２０３を省略する場合、ステップＳ２０４において、判定装置１０は、ステップＳ２０２で演算された灰白質体積を学習済みの予測器１４ａに入力して、当該予測器１４ａの出力として成績予測値を生成してもよい。

【0072】

図７は、本実施形態に係る知覚課題の成績と３Ｄ映像に対する受容性との関係の一例を示す図である。図７に示すように、３Ｄ映像に対する受容性の有無の判定に用いられる所定の条件は、所定数の被験者に対する知覚課題の成績分布に基づいて決定されてもよい。図７では、７８名の被験者に対して３Ｄ映像を用いた知覚課題（ここでは、ＭＯＴ課題）を実施した場合の成績分布が示される。

【0073】

例えば、図７に示すように、知覚課題の成績が分布する場合、３Ｄ映像に対する受容性を有すると判断される所定の条件は、当該成績が７０％以上の正答率であることであってもよい。

【0074】

例えば、図７の条件を用いる場合、図６のステップＳ２０４において予測器１４ａから出力される成績予測値が７０％以上の正答率を示す場合、当該成績予測値に対応するユーザは、３Ｄ映像に対する受容性を有すると判断される。一方、図６のステップＳ２０４において予測器１４ａから出力される成績予測値が７０％未満の正答率を示す場合、当該成績予測値に対応するユーザは、３Ｄ映像に対する受容性を有しないと判断される。

【0075】

なお、図７は一例にすぎず、３Ｄ映像に対する受容性を有すると判断される所定の条件は、当該成績が７０％以上の正答率であることに限られない。当該所定の条件は、知覚課題の成績（例えば、正答率）と所定の閾値とに基づいて定められれば、どのような条件であってもよい。

【0076】

図８は、本実施形態に係る３Ｄ映像に対する受容性の判定の効果の一例を示す図である。図８では、所定数（ここでは、４８名）の被験者に対して所定期間（例えば、１ヶ月）、３Ｄ映像を用いたスポーツトレーニングを実施した場合の伸び率の分布が示される。

【0077】

図８では、４８名の被験者のうち２２名の伸び率が１０％未満である。当該２２名の被験者の脳画像に基づいて上頭頂小葉及び尾状核に対応する領域を関心領域として設定し、灰白質体積を演算した。当該灰白質体積を学習済みの予測器１４ａに入力して当該２２名の被験者の３Ｄ映像に対する受容性を予め判定したところ、１９名の被験者については３Ｄ映像に対する受容性が有しないと判定されていた。

【0078】

したがって、学習済みの予測器１４ａを用いて３Ｄ映像に対する受容性がないと判定されるユーザに対し、３Ｄ映像を用いたスポーツトレーニングを実施しても、当該トレーニングの実施効果を適切に得られない可能性が高い。したがって、３Ｄ映像に対する受容性を有すると判定されるユーザに対して３Ｄ映像を用いたトレーニングを実施することで、トレーニングの実施効果を効率的に得ることができる。

【0079】

なお、図８では、３Ｄ映像を用いた行為の一例としてスポーツトレーニングが示されているが、当該行為は、例えば、航空機の操縦、車両の運転、リハビリ、患者の手術等、３Ｄ映像を用いて実施されるどのような行為であってもよい。３Ｄ映像を用いた行為を実施する際に、学習済みの予測器１４ａを用いて３Ｄ映像に対する受容性の判定結果を考慮することで、当該行為の実施効果をより効率的に得ることができる。

【0080】

以上のように、本実施形態に係る判定システムによれば、ユーザの脳画像に基づいて演算される当該ユーザの脳の所定領域の灰白質体積に基づいて、当該ユーザの３Ｄ映像に対する受容性を判定できる。このため、３Ｄ映像に対する受容性を有すると判定されたユーザに対して、３Ｄ映像を用いた行為を実施することにより、当該行為の実施効果を効率的に得ることができる。

【0081】

なお、上記実施形態では、脳の所定領域の灰白質体積に基づいて特定の認知能力（例えば、３Ｄ映像に対する受容性）が判定されるが、当該判定に用いられるパラメータは、脳機能及び脳構造の少なくとも一つを示すパラメータであれば、灰白質体積に限られない。例えば、灰白質体積に代えて又は加えて、当該脳の所定領域の拡散異方性度（Fractional Anisotropy（ＦＡ）値）が演算されてもよい。当該拡散異方性度は、脳の白質線維の質的・量的な変化を反映してもよい。当該拡散異方性度は、拡散強調画像に基づいて演算されてもよい。当該拡散強調画像は、例えば、ＭＲＩにより、水素原子の拡散を検出するために印加される傾斜磁場（拡散運動検出傾斜磁場（Motion Probing gradient（ＭＰＧ）））を用いて取得されてもよい。また、安静時脳機能結合、ミエリンマップ、微細構造画像の少なくとも一つに基づいて決定されるパラメータが用いられてもよい。

【0082】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0083】

１…判定システム、１０…判定装置、２０…学習装置、１１…脳画像取得部、１２…灰白質体積演算部、１３…主観的指標値取得部、１４…判定部、１４ａ…予測器、２１…生成部、２２…記憶部、２２ａ…学習用データ、２２ｂ…予測モデル、２３…学習部、２１１…脳画像取得部、２１２…灰白質体積演算部、２１３…成績取得部、２１４…主観的指標値取得部、１０ａ…ＣＰＵ、１０ｂ…記憶装置、１０ｃ…通信部、１０ｄ…入力部、１０ｅ…出力部、Ｉ１、Ｉ２…脳画像、Ｖ…３Ｄ映像、Ｘ…切断面、１００…ＨＭＤ、１０１…第１表示部、１０２…第２表示部、１０３…センサー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】