特許 7209985 多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-01-13

(45)【発行日】2023-01-23

(54)【発明の名称】多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230116BHJP

【ＦＩ】

G06T19/00 A

【請求項の数】 7

(21)【出願番号】P 2022149594

(22)【出願日】2022-09-20

【審査請求日】2022-09-21

【早期審査対象出願】

(73)【特許権者】

【識別番号】522082827

【氏名又は名称】株式会社日本学術サポート

(73)【特許権者】

【識別番号】521519102

【氏名又は名称】横山 諒一

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】神保 岳大

(72)【発明者】

【氏名】横山 諒一

(72)【発明者】

【氏名】井元 裕也

(72)【発明者】

【氏名】袖村 巧

【審査官】村松 貴士

(56)【参考文献】

【文献】特表２００７－５０１９７０（ＪＰ，Ａ）

【文献】特開２００７－８００１５（ＪＰ，Ａ）

【文献】国際公開第２０１６／１９４４４１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８１５

(57)【特許請求の範囲】

【請求項1】

シークバーで次元が示されるシークバー次元と、表示用データによって表示される次元である非シークバー次元とで、多次元データを表示する表示処理を実行するよう構成されたコンピュータシステムであって、
前記表示処理は、
前記多次元データにおける前記多次元のうち、前記シークバー次元となる次元と、前記シークバー次元以外の他の次元である前記非シークバー次元となる次元と、を決定するユーザの操作を受け付けること、
前記操作に基づき決定された前記シークバー次元において、前記表示用データとして表示される表示箇所を示すための前記シークバーを表示すること、
前記操作に基づいて、前記表示用データを生成して、表示すること、
前記操作に基づいて、非シークバー次元データ対応情報を生成して、表示すること、
を含み、
前記表示用データを生成することは、前記多次元データのうち、前記操作に基づいて決定された前記非シークバー次元のデータであって、前記シークバーで示される前記表示箇所における前記データを、前記表示用データとして生成することを含み、
前記非シークバー次元データ対応情報は、前記多次元データのうち、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元のデータそれぞれから生成される情報であり、前記シークバーにおける前記シークバー次元の各箇所に対応して表示される
コンピュータシステム。

【請求項2】

前記シークバーは、前記シークバー次元の各箇所における前記非シークバー次元データ対応情報を同時に表示するよう構成されている
請求項１に記載のコンピュータシステム。

【請求項3】

前記非シークバー次元データ対応情報は、前記シークバー上で、ユーザによって指定された箇所に対応するものが表示され、非指定の箇所については非表示とされる
請求項１に記載のコンピュータシステム。

【請求項4】

前記多次元データは、多次元のヒートマップを含み
前記非シークバー次元データ対応情報は、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元の前記ヒートマップから生成される
請求項１に記載のコンピュータシステム。

【請求項5】

前記表示用データは、前記表示用データを表示するための表示領域に表示され、
前記操作に基づいて非シークバー次元が変更されると、前記表示領域に表示される表示用データが、変更前の非シークバー次元の表示用データから、変更後の非シークバー次元の表示データに切り替わるよう構成されている
請求項１に記載のコンピュータシステム。

【請求項6】

前記操作に基づいて非シークバー次元が変更されると、前記シークバーにおいて、前記シークバー次元の各箇所に対応して表示される前記非シークバー次元データ対応情報が、変更前の非シークバー次元の非シークバー次元データ対応情報から、変更後の非シークバー次元の非シークバー次元データ対応情報に切り替わるよう構成されている
請求項１に記載のコンピュータシステム。

【請求項7】

シークバーで次元が示されるシークバー次元と、表示用データによって表示される次元である非シークバー次元とで、多次元データを表示するためにコンピュータによって実行されるコンピュータ実装方法であって、
前記多次元データにおける前記多次元のうち、前記シークバー次元となる次元と、前記シークバー次元以外の他の次元である前記非シークバー次元となる次元と、を決定するユーザの操作を受け付けること、
前記操作に基づき決定された前記シークバー次元において、前記表示用データとして表示される表示箇所を示すための前記シークバーを表示すること、
前記操作に基づき、前記表示用データを生成して、表示すること、
前記操作に基づき、非シークバー次元データ対応情報を生成して、表示すること、
を含み、
前記表示用データを生成することは、前記多次元データのうち、前記操作に基づいて決定された前記非シークバー次元のデータであって、前記シークバーで示される前記表示箇所における前記データを、前記表示用データとして生成することを含み、
前記非シークバー次元データ対応情報は、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元のデータそれぞれから生成される情報であり、前記シークバーにおける前記シークバー次元の各箇所に対応して表示される
コンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法に関する。

【背景技術】

【0002】

動画などの経時的に変化するデータの再生時点を示すために、シークバーが用いられることがある。従来のシークバーは、例えば、動画などの経時的に変化するデータの先頭時点から終了時点までを示すバー上に、移動自在に設けられたスライダを備える。スライダの位置は、データの再生時点を示す。

【0003】

特許文献１は、動画をシークバーとともに表示することを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－９７１３７号公報

【発明の概要】

【0005】

特許文献１に示すような従来のシークバーは、データの時間次元における表示箇所を示しているにすぎない。つまり、従来のシークバーは、シークバーが示す次元であるシークバー次元が、時間次元である。

【0006】

ここで、シークバーを用いて表示される多次元データは、多次元であるゆえに、ディスプレイ等における表示に制約が生じることがある。表示の制約は、データの観察又は解析を困難にすることがある。

【0007】

本発明者らは、多次元データの表示を、多様な態様で行うことで、多次元データの観察又は解析を容易にする、という着想を得た。多次元データを多様な態様で表示することで、かかる困難性の軽減が期待できる。

【0008】

したがって、多次元データを多様な態様で表示できるようにすることが望まれる。

【0009】

本開示のある側面は、コンピュータシステムである。開示のシステムは、シークバーで次元が示されるシークバー次元と、表示用データによって表示される次元である非シークバー次元とで、多次元データを表示する表示処理を実行するよう構成されたコンピュータシステムであって、前記表示処理は、前記多次元データにおける前記多次元のうち、前記シークバー次元となる次元と、前記シークバー次元以外の他の次元である前記非シークバー次元となる次元と、を決定するユーザの操作を受け付けること、前記操作に基づき決定された前記シークバー次元において、前記表示用データとして表示される表示箇所を示すための前記シークバーを表示すること、前記操作に基づいて、前記表示用データを生成して、表示すること、前記操作に基づいて、非シークバー次元データ対応情報を生成して、表示すること、を含み、前記表示用データを生成することは、前記多次元データのうち、前記操作に基づいて決定された前記非シークバー次元のデータであって、前記シークバーで示される前記表示箇所における前記データを、前記表示用データとして生成することを含み、前記非シークバー次元データ対応情報は、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元のデータそれぞれから生成される情報であり、前記シークバーにおける前記シークバー次元の各箇所に対応して表示される。

【0010】

本開示の他の側面は、コンピュータ実装方法である。開示の方法は、シークバーで次元が示されるシークバー次元と、表示用データによって表示される次元である非シークバー次元とで、多次元データを表示するためにコンピュータによって実行されるコンピュータ実装方法であって、前記多次元データにおける前記多次元のうち、前記シークバー次元となる次元と、前記シークバー次元以外の他の次元である前記非シークバー次元となる次元と、を決定するユーザの操作を受け付けること、前記操作に基づき決定された前記シークバー次元において、前記表示用データとして表示される表示箇所を示すための前記シークバーを表示すること、前記操作に基づき、前記表示用データを生成して、表示すること、前記操作に基づき、非シークバー次元データ対応情報を生成して、表示すること、を含み、前記表示用データを生成することは、前記多次元データのうち、前記操作に基づいて決定された前記非シークバー次元のデータであって、前記シークバーで示される前記表示箇所における前記データを、前記表示用データとして生成することを含み、前記非シークバー次元データ対応情報は、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元のデータそれぞれから生成される情報であり、前記シークバーにおける前記シークバー次元の各箇所に対応して表示される。

【0011】

更なる詳細は、後述の実施形態として説明される。

【図面の簡単な説明】

【0012】

【図1】図１は、コンピュータシステムの構成図である。

【図2】図２は、コンピュータシステムによって実行される処理のフローチャートである。

【図3】図３は、入力データ、出力データ、及び分類モデルの概要図である。

【図4】図４は、データ表示のフローチャートである。

【図5】図５は、データ表示のための領域の概要図（選択次元＝Ｔ）である。

【図6】図６は、データ表示のための領域の概要図（選択次元＝Ｔ）である。

【図7】図７は、データ表示のための領域の概要図（選択次元＝Ｔ）である。

【図8】図８は、データ表示のための領域の概要図（選択次元＝Ｔ）である。

【図9】図９は、データ表示のための領域の概要図（選択次元＝Ｚ）である。

【図10】図１０は、４次元データの表現のバリエーションを示す概要図である。

【図11】図１１は、表示用データの生成の概念図である。

【図12】図１２は、データ表示のための領域の概要図（選択次元＝Ｚ）である。

【図13】図１３は、表示用データの生成の概念図である。

【図14】図１４は、データ表示のための領域の概要図（選択次元＝Ｚ）である。

【図15】図１５は、データ表示のための領域の概要図（選択次元＝Ｚ）である。

【図16】図１６は、データ表示のための領域の概要図（選択次元＝Ｙ）である。

【図17】図１７は、データ表示のための領域の概要図（選択次元＝Ｘ）である。

【図18】図１８は、シークバーの変形例を示す概要図である。

【発明を実施するための形態】

【0013】

＜１．多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法＞

【0014】

（１）実施形態に係るシステムは、シークバーで次元が示されるシークバー次元と、表示用データによって表示される次元である非シークバー次元とで、多次元データを表示する表示処理を実行するよう構成されたコンピュータシステムであって、前記表示処理は、前記多次元データにおける前記多次元のうち、前記シークバー次元となる次元と、前記シークバー次元以外の他の次元である前記非シークバー次元となる次元と、を決定するユーザの操作を受け付けること、前記操作に基づき決定された前記シークバー次元において、前記表示用データとして表示される表示箇所を示すための前記シークバーを表示すること、前記操作に基づいて、前記表示用データを生成して、表示すること、前記操作に基づいて、非シークバー次元データ対応情報を生成して、表示すること、を含み、前記表示用データを生成することは、前記多次元データのうち、前記操作に基づいて決定された前記非シークバー次元のデータであって、前記シークバーで示される前記表示箇所における前記データを、前記表示用データとして生成することを含み、前記非シークバー次元データ対応情報は、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元のデータそれぞれから生成される情報であり、前記シークバーにおける前記シークバー次元の各箇所に対応して表示される。

【0015】

この場合、ユーザの操作によって、多次元のうち、シーク次元及び非シークバー次元となる次元を任意に決定することができるため、シークバーが示す次元（シークバー次元）を変更することができる。また、シークバー次元の変更に伴って、表示データによって表示される次元（非シークバー次元；表示次元）も変更されるため、表示用データの表示態様も変更することができる。

【0016】

さらに、本実施形態では、シークバー次元の各箇所に対応して非シークバー次元データ対応情報が生成して表示されるため、非シークバー次元データを表示用データとして表示するために、シークバーのどの箇所をユーザが指定すべきかの参考となる情報をユーザに提示することができる。しかも、非シークバー次元データ対応情報は、非シークバー次元の変更に伴って変更されるため、適切な非シークバー次元データ対応情報が表示される。

【0017】

なお、多次元データは、３次元の空間次元と時間次元とを有する４次元時空間データであり得る。多次元データは、３次元データであってもよいし、５次元以上のデータであってもよい。表示される多次元データの次元数は、シークバーで次元が示されるシークバー次元の次元数と、表示用データによって表示される次元である非シークバー次元（表示次元）の次元数とを加えた数である。シークバー次元の次元数は、１でもよいし、２以上であってもよい。非シークバー次元（表示次元）の次元数は、例えば、２以上であり、好ましくは、３以上である。表示用データは、例えば、２次元画像データであってもよいし、３次元画像データであってもよい。表示用データは、例えば、複数の２次元データの組み合わせ、又は、複数の３次元データの組み合わせによって構成されていてもよい。

【0018】

（２）前記シークバーは、前記シークバー次元の各箇所における前記非シークバー次元データ対応情報を同時に表示するよう構成されているのが好ましい。

【0019】

（３）前記非シークバー次元データ対応情報は、前記シークバー上で、ユーザによって指定された箇所に対応するものが表示され、非指定の箇所については非表示とされるのが好ましい。

【0020】

（４）前記多次元データは、多次元のヒートマップを含むのが好ましい。前記非シークバー次元データ対応情報は、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元の前記ヒートマップから生成されるのが好ましい。

【0021】

（５）前記表示用データは、前記表示用データを表示するための表示領域に表示され、前記操作に基づいて非シークバー次元が変更されると、前記表示領域に表示される表示用データが、変更前の非シークバー次元の表示用データから、変更後の非シークバー次元の表示データに切り替わるよう構成されているのが好ましい。

【0022】

（６）前記操作に基づいて非シークバー次元が変更されると、前記シークバーにおいて、前記シークバー次元の各箇所に対応して表示される前記非シークバー次元データ対応情報が、変更前の非シークバー次元の非シークバー次元データ対応情報から、変更後の非シークバー次元の非シークバー次元データ対応情報に切り替わるよう構成されているのが好ましい。

【0023】

（７）実施形態に係る方法は、シークバーで次元が示されるシークバー次元と、表示用データによって表示される次元である非シークバー次元とで、多次元データを表示するためにコンピュータによって実行されるコンピュータ実装方法であって、前記多次元データにおける前記多次元のうち、前記シークバー次元となる次元と、前記シークバー次元以外の他の次元である前記非シークバー次元となる次元と、を決定するユーザの操作を受け付けること、前記操作に基づき決定された前記シークバー次元において、前記表示用データとして表示される表示箇所を示すための前記シークバーを表示すること、前記操作に基づき、前記表示用データを生成して、表示すること、前記操作に基づき、非シークバー次元データ対応情報を生成して、表示すること、を含み、前記表示用データを生成することは、前記多次元データのうち、前記操作に基づいて決定された前記非シークバー次元のデータであって、前記シークバーで示される前記表示箇所における前記データを、前記表示用データとして生成することを含み、前記非シークバー次元データ対応情報は、前記操作に基づいて決定された前記シークバー次元の各箇所における前記非シークバー次元のデータそれぞれから生成される情報であり、前記シークバーにおける前記シークバー次元の各箇所に対応して表示される。

【0024】

＜２．多次元データを表示するためのコンピュータシステム及びコンピュータ実装方法の例＞

【0025】

図１は、実施形態に係るコンピュータシステム１０を示している。システム１０は、多次元データの表示処理等の処理を実行する。システム１０は、１又は複数のコンピュータによって構成され得る。図１では、一例として、システム１０は、一つのコンピュータによって構成されている。システム１０を構成するコンピュータは、例えば、ネットワーク１５に接続されたサーバである。サーバは、ネットワークを介して接続された端末３０（クライアント端末）に、多次元のデータを表示させる処理及びその他の必要な処理を実行し得る。ネットワーク１５は、例えば、インターネット又はローカルエリアネットワークである。なお、システム１０は、スタンドアロン型であってもよい。

【0026】

端末３０は、ネットワーク１５に接続可能なコンピュータである。端末３０を構成するコンピュータは、例えば、パーソナルコンピュータ、スマートフォン、又はタブレットである。端末３０は、ディスプレイ３１を備え得る。端末３０は、ネットワーク１５を介してシステム１０に接続することができる。端末３０のディスプレイ３１は、多次元のデータを表示し得る。実施形態に係るシステム１０は、一例として、端末３０のディスプレイ３１に多次元のデータを表示させるための処理等を実行する。

【0027】

システム１０は、プロセッサ１０Ａ及び記憶装置１０Ｂを備えるコンピュータによって構成され得る。記憶装置１０Ｂは、プロセッサ１０Ａに接続されている。記憶装置１０Ｂは、例えば、一次記憶装置及び二次記憶装置を備える。一次記憶装置は、例えば、ＲＡＭである。二次記憶装置は、例えば、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）である。記憶装置１０Ｂは、プロセッサ１０Ａによって実行されるコンピュータプログラム１０Ｃを備える。プロセッサ１０Ａは、記憶装置１０Ｂに格納されたコンピュータプログラム１０Ｃを読み出して実行する。

【0028】

コンピュータプログラム１０Ｃは、多次元のデータを表示するための指令及びその他の必要な指令を示すプログラムコードを有する。

【0029】

記憶装置１０Ｂは、様々なデータ又は情報を保存し得る。記憶装置１０Ｂは、多次元のデータを表示するための処理等に用いられる様々なデータを保存し得る。記憶装置１０Ｂは、例えば、後述の入力データ１００、出力データ１５０、及び学習済みモデル１８０を保存し得る。

【0030】

図２は、実施形態に係るシステム１０がデータ表示のため実行する処理の一例を示している。図２の処理は、入力データ１００を取得し、入力データ１００から出力データ１５０を得て、出力データ１５０を表示することを含む。以下では、出力データ１５０が、システム１０によって表示される。出力データ１５０は、一例として、入力データ１００における注目領域を示すデータが、入力データ１００に付加されたデータである。

【0031】

入力データ１００及び出力データ１５０は、多次元データである。入力データ１００及び出力データ１５０は、一例として、４次元データである。入力データ及び出力データ１５０の次元数は、３又は５以上であってもよい。図３に示す入力データ１００及び出力データ１５０は、一例として、３次元空間次元（Ｘ，Ｙ，Ｚ）と、１次元の時間次元Ｔと、を有する４次元時空間データである。ただし、多次元データにおける各次元の種類は特に限定されない。多次元データは、時間次元を有していなくてもよい。空間次元は、２次元（例えば、Ｘ次元及びＹ次元）であってもよい。多次元データは、空間次元を有していなくてもよい。多次元データにおける次元は、空間次元及び時間次元のように物理的な意味のある物理次元である必要はない。多次元データにおける次元は、システム１０の設計者又はユーザが自由に定義し得る。

【0032】

図３に示す３次元空間次元は、次元Ｘと、次元Ｘに直交する次元Ｙと、次元Ｘ，Ｙに直交する次元Ｚと、を有する。時間次元Ｔを有する４次元データである入力データ１００は、例えば、複数の異なる時点における３次元空間データ１０１，１０２，１０３，１０４，１０５が、時間次元Ｔに沿って配置されて構成されている。同様に、出力データ１５０も、複数の異なる時点における３次元空間データ１０１，１０２，１０３，１０４，１０５が、時間次元Ｔに沿って配置されて構成されている。４次元データである入力データ１００及び出力データ１５０は、３次元空間データが経時的に変化する。

【0033】

３次元空間次元と時間次元とを有する４次元データは、例えば、３次元動画である。３次元動画は、３次元画像が経時的に変化するデータである。３次元画像は、例えば、ボクセルデータ又はポリゴンデータである。ボクセルデータは、３次元画像を、ボクセルと呼ばれる要素で表したデータである。ポリゴンデータは、３次元画像を、ポリゴンと呼ばれる要素で表したデータである。

【0034】

３次元画像は、例えば、医用画像である。３次元の医用画像は、例えば、ヒト又は動物の体内を立体的に撮影した画像である。医用画像には、体内の臓器などの構造又は機能が現れる。医用画像は、例えば、Computed Tomography（コンピュータ断層撮影；ＣＴ）画像、又は、Magnetic Resonance（核磁気共鳴；ＭＲ）画像である。

【0035】

４次元データとしての医用画像は、例えば、複数の異なる時点で撮影された３次元医用画像の組み合わせである。４次元データとしての医用画像は、３次元空間次元（Ｘ，Ｙ，Ｚ）と、１次元の時間次元Ｔと、を有する。４次元データとしての医用画像は、３次元空間にある体内の動きを可視化する。４次元データを出力できるMagnetic Resonance Imaging（ＭＲＩ）装置は、４次元ＭＲＩ装置とも呼ばれる。

【0036】

図２に戻り、システム１０は、入力データ１００を取得する（ステップＳ２１）。システム１０は、例えば、４次元ＭＲＩ装置などの医用画像撮影装置から出力された４次元医用画像を、入力データ１００として取得する。医用画像撮影装置は、例えば、ネットワーク１５を介して、システム１０に接続されている。システム１０は、例えば、ネットワーク１５を介して、入力データ１００を取得する。システム１０は、取得した入力データ１００を記憶装置１０Ｂに保存する。

【0037】

システム１０は、入力データ１００を分類モデル１８０に与えて、分類結果を得る（ステップＳ２２）。分類モデル１８０は、例えば、入力データ１００を分類するよう機械学習された学習済みモデルである。モデル１８０は、分類器と呼ばれてもよい。機械学習は、例えば、ディープラーニングである。分類モデル１８０は、例えば、ニューラルネットワークを有するモデルである。ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）である。

【0038】

入力データ１００が医用画像である場合、分類モデル１８０は、一例として、患者の診断又は診断支援のため、患者の体内を撮影した医用画像を分類する。すなわち、モデル１８０は、予測クラスを出力する。医用画像の分類によって、例えば、患者の疾患が検出される。

【0039】

図３に示すモデル１８０は、一例として、４次元Convolutional Neural Network(４Ｄ－ＣＮＮ)である。図３に示すモデル１８０は、一例として、４次元畳み込み層１８１と、全結合層１８３と、を備える。４次元畳み込み層１８１は、４次元の入力データ１００が入力され、入力データ１００の特徴１８５を出力する。特徴１８５は、例えば、特徴マップ（feature map）である。入力データ１００が４次元データであることに対応して、ここでの特徴１８５は４次元のテンソルである。特徴１８５には、必要に応じて、プーリングなどの処理が施される。

【0040】

特徴１８５は、全結合層１８３に与えられる。全結合層１８３は、分類結果１８７を出力する。分類結果１８７は、例えば、クラススコアである。

【0041】

システム１０は、例えば、クラスアクティベーションマップ（ＣＡＭ）の生成部１９０を備える。ＣＡＭは、４次元の入力データ１００におけるどの領域が、モデル１８０による予測クラスに寄与したかを示す。予測クラスに寄与した領域は注目領域と呼ばれる。ＣＡＭは、ニューラルネットワークによる予測について視覚的な説明を提供する。ＣＡＭは、例えば、ヒートマップとして表現される。ヒートマップで表現されたＣＡＭは、予測クラスへの寄与の度合いが色の濃淡で表現される。入力データ１００が４次元データであることに対応して、ここでのＣＡＭは、４次元データである。図３に示すように、入力データ１００が経時的に変化するデータである場合、ＣＡＭなどの注目領域データ１５１，１５２，１５３，１５４，１５５も、経時的に変化するデータである。ＣＡＭなどの注目領域データは、入力データの次元数と同じ次元数を有する。

【0042】

生成部１９０は、例えば、Gradient-weighted Class Activation Mapping（Ｇｒａｄ－ＣＡＭ）法によって、ＣＡＭを生成する（図２のステップＳ２３）。Ｇｒａｄ－ＣＡＭ法では、生成された特徴マップ１８５を利用して、入力データ１００の各領域が、予測クラスに対してどの程度の影響を与えているかが計算される。この計算には、影響を与えている勾配及び重み係数が利用される。

【0043】

ＣＡＭの生成手法は、勾配法（最急降下法）、Guided Backpropagation、又はGuided Grad-CAMであってもよい。

【0044】

また、生成部１９０は、入力データ１００の注目領域を可視化するためのその他の手法によってマップ（注目領域マップ）を生成してもよい。ＣＡＭは、サリエンシーマップ（saliency map）とも呼ばれる。生成部１９０は、サリエンシーマップの生成のために知られている手法を用いて、マップを生成してもよい。サリエンシーマップを生成することは、サリエンシーディテクション（Saliency detection）とも呼ばれる。

【0045】

図３に示すように、システム１０は、一例として、生成部１９０が生成したマップ（注目領域データ１５１，１５２，１５３，１５４，１５５）を、入力データ１００に重畳することで、出力データ１５０を生成する（図２のステップＳ２４）。システム１０は、この出力データ１５０等を表示するための処理を実行する（ステップＳ２５）。注目領域データ１５１，１５２，１５３，１５４，１５５がヒートマップとして表される場合、そのヒートマップは、所定の透明度を持って、入力データ１００に重畳され得る。ヒートマップが透明度を有することで、入力データ１００及びヒートマップの両方を観察することが可能な出力データ１５０が得られる。

【0046】

システム１０は、出力データ１５０等を、端末３０のディスプレイ３１に表示させるためのデータを、端末３０へ送信する。

【0047】

なお、システム１０は、入力データ１００から出力データ１５０を生成する機能を有していなくてもよい。システム１０は、出力データ１５０に相当するデータを外部から取得し、取得したデータを表示する処理を実行してもよい。また、出力データ１５０に相当するデータは、予めシステム１０の記憶装置１０Ｂに格納されていてもよい。また、システム１０が表示するデータは、入力データ１００に相当するデータであってもよい。以下では、出力データ１５０を、「４次元データ１５０」、又は、単に「データ１５０」ということがある。

【0048】

図４は、図２のステップＳ２５のデータ表示のための処理手順を示している。システム１０は、一例として、初期設定で設定された表示方法で、出力データ１５０を表示するための表示用データ３００Ｔ－１を生成する。この表示用データ３００Ｔ－１は、初期表示用データとも呼ばれる。システム１０は、初期表示用データ３００Ｔ－１をディスプレイ３１に表示させる（ステップＳ４１）。初期設定された表示方法は、例えば、動画であるデータ１５０の開始時点における３次元画像を、所定の方向に投影した平面画像としてディスプレイ３１に表示させることである。

【0049】

図４のステップＳ４２では、４次元データ１５０が有する４次元（Ｘ，Ｙ，Ｚ，Ｔ）のうち、シークバーが示す次元（シークバー次元）を選択する操作が行われる。ステップＳ４２の選択操作は、後述の領域２１０においてなされる。次元を選択することで、後述の領域２５０における表示態様が切り替わる。なお、ここでは、操作によってシークバー次元が決定されると、多次元（４次元）のうちのシークバー次元が以外の残りの次元が、非シークバー次元（表示次元）として決定される。

【0050】

図４のステップＳ４３では、４次元（Ｘ，Ｙ，Ｚ，Ｔ）のうち、ステップＳ４２で選択されなかった非選択の３次元（非シークバー次元；表示次元）でデータ１５０を表した表示用データが生成され、表示される。表示用データは、後述の領域２５０において表示される。図４のステップＳ４４では、シークバー又は表示用データに対する操作を受け付け、その操作に応じて、領域２５０に表示される表示用データを変更する。表示用データが変更されることで、様々な観点からデータ１５０を観察できる。これらのステップＳ４２からステップＳ４４の詳細は、後述される。

【0051】

図５は、表示用データ３００Ｔ－１等が表示される領域２００の例を示している。図５に示す領域２００の表示内容は、図４のステップＳ４１での表示内容に相当し得る。領域２００は、例えば、端末３０のディスプレイ３１に表示される。システム１０は、表示用データ等の表示のため、例えば、領域２００をディスプレイ３１に表示させるために必要なデータを端末３０に送信する。領域２００は、例えば、端末３０にインストールされたＷＥＢブラウザのビューポート又は端末３０にインストールされたその他のアプリケーションのビューポートとして構成される。端末３０にインストールされたＷＥＢブラウザ又はその他のアプリケーションは、システム１０から提供されたデータを表示する。領域２００は、マウスポインタＰを使った操作又はユーザの指を使ったタップ操作などのユーザ操作を受け付けるグラフィカルユーザインターフェースとして構成され得る。

【0052】

領域２００は、表示用データ３００Ｔ－１を表示するための領域２５０（表示領域２５）を備え得る。領域２５０は、例えば、３次元データ（３次元画像）である表示用データが２次元データ（平面画像）として描画されるビューポートである。図５の領域２５０は、３次元画像の動画である４次元データ１５０における任意の時点の３次元静止画を、表示用データ３００Ｔ－１として表示し得る。また、図５の領域２５０は、４次元データ１５０である３次元動画を、表示用データ３００Ｔ－１として表示し得る。領域２５０は、表示用データ３００Ｔ－１の表示の仕方を変化させるためのユーザ操作（ステップＳ４４の操作）を受け付けるグラフィカルユーザインターフェースとして構成され得る。この点については後述される。

【0053】

領域２００は、シークバー２３０を備え得る。図５に示すシークバー２３０は、領域２５０に表示される画像の表示時点ｔｄ１（再生時点ｔｄ１）を示す。図５における表示時点ｔｄ１は、４次元データ１５０における時間次元Ｔの表示箇所である。表示時点ｔｄ１は、例えば、シークバー２３０に沿って移動自在に配置されたスライダ２３１によって示され得る。シークバー２３０は、表示時点ｔｄ１をユーザ操作（ステップＳ４４の操作）によって指定できるグラフィカルユーザインターフェースとして構成されている。なお、図５に示すシークバー２３０は、一つであるが、二以上あってもよい。シークバー２３０の数を多くすることで、多次元データ１５０の次元数が大きくなっても、表示用データの次元数の増加を抑えることができる。

【0054】

図５に示すシークバー２３０は、シークバー２３０における長手方向位置（図５において左右方向位置）を示すスライダ２３１によって、領域２５０に表示される動画の開始時点Ｔｍｉｎから動画の終了時点Ｔｍａｘまでの間の任意の箇所を示すことができる。すなわち、図５に示すシークバー２３０は、領域２５０に表示される表示用データ３００Ｔ－１が、４次元データ１５０の時間次元Ｔにおけるどの箇所の画像であるかを示す。なお、シークバー２３０において、表示時点ｔｄ１を示す表示は、スライダ２３１に限られない。

【0055】

図５では、時点ｔｄ１における３次元画像を所定の視線方向に投影した平面画像が、表示用データ３００Ｔ－１として領域２５０に表示されている。また、図５の表示用データ３００Ｔ－１は、時点ｔｄ１における３次元画像に含まれるヒートマップ３５０Ｔ－１も有している。したがって、領域２５０を観察するユーザは、表示用データ３００Ｔ－１及びヒートマップ３５０Ｔ－１の両方を観察できる。

【0056】

スライダ２３１は、マウスポインタＰなどを用いたユーザ操作によって、シークバー２３０の長手方向に移動させることができる。図５に示すように、シークバー２３０において、表示時点ｔｄ１が指定されている場合、領域２５０には、４次元データ１５０において時間次元Ｔにおける表示箇所ｔｄ１の３次元データが表示用データ３００Ｔ－１として表示される。つまり、４次元データ１５０を、次元Ｘ，Ｙ，Ｚ，Ｔを用いて、（Ｘ，Ｙ，Ｚ，Ｔ）のように表現した場合、シークバー２３０において表示箇所ｔｄ１（次元Ｔ＝ｔｄ１）が指定されていると、領域２５０には、（Ｘ，Ｙ，Ｚ，ｔｄ１）である表示用データ３００Ｔ－１が表示される。

【0057】

そして、シークバー２３０のスライダ２３１を、図５に示す箇所ｔｄ１から、図６に示す箇所ｔｄ２へ移動させるユーザ操作が行われた場合、領域２５０には、（Ｘ，Ｙ，Ｚ，ｔｄ２）である表示用データ３００Ｔ－２が表示される。図６では、表示時点ｔｄ２における表示用データ３００Ｔ－２が示されている。（Ｘ，Ｙ，Ｚ，ｔｄ２）は、４次元データ１５０である（Ｘ，Ｙ，Ｚ，Ｔ）における時点ｔｄ２の３次元画像である。表示用データ３００Ｔ－２は、表示時点ｔｄ２におけるヒートマップ３５０Ｔ－２も有している。

【0058】

このように、ここでの４次元データ１５０は、３次元データが経時的に変化するデータであるため、時間次元Ｔにおける表示箇所を変化させると、領域２５０に表示される表示用データも、変化し得る。また、時間次元Ｔにおける表示箇所を変化させると、領域２５０に表示されるヒートマップ３５０Ｔ－１も変化し得る。

【0059】

図５に示すシークバー２３０は、シークバー次元である時間次元Ｔにおける各時点（各箇所）における、ヒートマップの強さを、非シークバー次元データ対応情報として示すよう構成されている。非シークバー次元データ対応情報は、表示用データとして表示されていない非シークバー次元データを可視化して、シークバー２３０における表示箇所の指定を容易にするための情報である。多次元データである４次元データ１５０は、前述のようにヒートマップを含んでいる。シークバー次元（時間次元）におけるヒートマップの強さ（非シークバー次元データ対応情報）は、シークバー次元（時間次元）の各箇所（各時点）における非シークバー次元（空間次元）のヒートマップそれぞれからシステム１０によって生成される。

【0060】

図５に示すシークバー２３０は、ヒートマップの強さを、シークバー２３０中のグラデーションによって示している。つまり、このグラデーションが、シークバー次元である時間次元Ｔにおける各箇所の非シークバー次元データ対応情報を示している。このグラデーションは、シークバー次元（時間次元Ｔ）の各箇所におけるヒートマップの強さに対応した濃淡を有する。例えば、シークバー２３０中の濃い部分（黒い部分）は、ヒートマップが示す値が強いことを示し、薄い部分（白い部分）は、ヒートマップが示す値が弱いことを示す。ここでのヒートマップの強さは、例えば、時間次元Ｔにおける各箇所（各時点）における３次元データ（Ｘ，Ｙ，Ｚ）に含まれるヒートマップが示す値の総和、平均値、中央値、又は最大値のいずれかである。シークバー２３０が示すヒートマップの強さは、３次元データ（Ｘ，Ｙ，Ｚ）に含まれるヒートマップが示す値から求められるその他の値であってもよい。シークバー２３０によって表されるヒートマップの強さは、３次元データ（Ｘ，Ｙ，Ｚ）の領域全体から求められる必要はなく、３次元データ（Ｘ，Ｙ，Ｚ）における任意の一部の３次元領域のように限定された領域におけるヒートマップが示す値の総和、平均値、中央値、又は最大値等であってもよい。

【0061】

シークバー２３０がヒートマップの経時的変化を示していることで、シークバー２３０は、ヒートマップの経時的変化を視覚的にユーザに提供することができる。したがって、ユーザは、シークバー２３０に表示されたグラデーションを参考に、シークバー２３０を操作して、ヒートマップが強い時点又は弱い時点の３次元画像（Ｘ，Ｙ，Ｚ）を領域２５０に表示させて観察することができる。

【0062】

ここで、シークバー２３０に関し観点を変えて説明すると、図５に示すシークバー２３０は、４次元データ１５０において、予測クラスへ寄与する領域３５０Ｔ－１に関する値の経時的変化を示すよう構成されているともいえる。図５において、予測クラスへ寄与する領域３５０Ｔ－１に関する値は、シークバー２３０内のグラデーションで示されている。予測クラスへ寄与する領域３５０Ｔ－１に関する値は、各時点における、予測クラスへ寄与する度合いの総和、平均値、中央値、最大値、又はその他の値である。

【0063】

なお、ヒートマップの経時的変化又は予測クラスへ寄与する領域３５０Ｔ－１に関する値の経時的変化は、シークバー２３０の外に表示されてもよい。つまり、ヒートマップの経時的変化又は予測クラスへ寄与する領域３５０Ｔ－１に関する値の経時的変化は、シークバー２３０とは別に表示されてもよい。

【0064】

図５に示すように、領域２００は、動画の再生ボタン２３５を備える。再生ボタン２３５は、ユーザ操作によって選択可能なグラフィカルユーザインターフェースである。再生ボタン２３５が、選択されると、動画は、動画の開始時点Ｔｍｉｎ又はスライダ２３１が示す箇所から、再生される。ここでの再生は、領域２５０に表示される表示用データ３００Ｔ－１を経時的に変化させることである。すなわち、ここでの再生は、４次元データ１５０を構成する３次元空間データ３００Ｔ－１を、時間次元Ｔに沿って変化させることである。４次元データ１５０が動画として再生される場合、領域２５０では、３次元画像３００Ｔ－１が経時的に変化する。この場合、スライダ２３１は、再生に伴う時間進行に従って、終了時点へ向かう方向（図５の右方向）へ、自動的に移動する。

【0065】

なお、再生中において、再生ボタン２３５の表示は、停止操作するためのボタンの表示に切り替わる。停止操作するためのボタンは、停止ボタン又は一時停止ボタンである。停止操作するためのボタンが操作されると、スライダ２３１の移動が停止し、領域２５０には、停止した時点における静止画が表示される。

【0066】

前述のように、領域２５０は、表示用データ３００Ｔ－１の表示を変更させるためのユーザ操作（ステップＳ４４の操作）を受け付けるグラフィカルユーザインターフェースとして構成され得る。領域２５０における表示の変更は、例えば、表示用データ３００Ｔ－１の視野方向の変更、及び、表示用データ３００Ｔ－１における表示面の変更の少なくともいずれか一つである。３次元データの表示面の変更は、３次元データ内部を示す表示面の変更を含み得る。

【0067】

図７は、領域２５０において表示される表示用データ３００Ｔ－１の視野方向の変更の仕方の一例を示している。視野方向の変更は、領域２５０に表示されたオブジェクト（オブジェクトは、例えば、図５，７において表示用データ３００Ｔ－１として現れた立方体。）の観察方向を変更することである。視野方向の変更は、例えば、マウスポインタＰを、表示用データ３００Ｔ－１上、又は、表示用データ３００Ｔ－１の近傍において左右上下方向のいずれかに移動させることによってなされる。図７は、表示用データ３００Ｔ－１として現れた立方体が、図５に比べて傾いて表示されていることを示している。このように、図７では、図５に比べて、視野方向が変更されている。

【0068】

図８は、領域２５０において表示される表示用データ３００Ｔ－１の内部を示す表示面の変更の仕方の一例を示している。内部を示す表示面の変更のため、領域２５０は、グラフィカルユーザインターフェースとして、断面指示表示ＣＳ－Ｘ，ＣＳ－Ｙ，ＣＳ－Ｚを備え得る。断面指示表示ＣＳ－Ｘ，ＣＳ－Ｙ，ＣＳ－Ｚは、ユーザ操作によって、移動自在である。表示用データ３００Ｔ－１は、３次元画像（Ｘ，Ｙ，Ｚ）において、断面指示表示ＣＳ－Ｘ，ＣＳ－Ｙ，ＣＳ－Ｚによって指示された断面を表示するよう構成される。

【0069】

断面指示表示ＣＳ－Ｘは、３次元データ（Ｘ，Ｙ，Ｚ）のＹＺ平面に平行な断面の、Ｘ次元方向における位置を、ユーザ操作によって指定するために用いられる。例えば、断面指示表示ＣＳ－Ｘは、マウスポインタＰ１によって選択され、図８の左右方向（Ｘ次元方向）に移動される。断面指示表示ＣＳ－Ｘの位置が変更されることで、３次元画像において表示用データ３００Ｔ－１として表示されるＹＺ断面が変化する。

【0070】

断面指示表示ＣＳ－Ｙは、３次元データ（Ｘ，Ｙ，Ｚ）のＺＸ平面に平行な断面の、Ｙ次元方向における位置を、ユーザ操作によって指定するために用いられる。例えば、断面指示表示ＣＳ－Ｙは、マウスポインタＰ２によって選択され、図８の斜め方向（Ｙ次元方向）に移動される。断面指示表示ＣＳ－Ｙの位置が変更されることで、３次元画像において表示用データ３００Ｔ－１として表示されるＺＸ断面が変化する。

【0071】

断面指示表示ＣＳ－Ｚは、３次元データ（Ｘ，Ｙ，Ｚ）のＸＹ平面に平行な断面の、Ｚ次元方向における位置を、ユーザ操作によって指定するために用いられる。例えば、断面指示表示ＣＳ－Ｙは、マウスポインタＰ２によって選択され、図８の上下方向（Ｚ次元方向）に移動される。断面指示表示ＣＳ－Ｚの位置が変更されることで、３次元画像において表示用データ３００Ｔ－１として表示されるＸＹ断面が変化する。

【0072】

表示される断面が変更可能であることで、３次元画像の内部及び３次元画像内部の３次元ヒートマップの観察が容易となる。

【0073】

なお、領域２５０における表示用データ３００Ｔ－１の表示を変更させることは、領域２５０が静止画を表示しているときに行えてもよいし、領域２５０が動画を表示しているときに行えてもよい。また、領域２５０における表示用データ３００Ｔ－１の表示を変更させるための手法は、図７及び図８に示す手法に限られず、３次元画像の表示を変更させるための従来公知の様々な手法を採用し得る。

【0074】

図５に戻り、領域２００には、入力データ１００の分類結果（図２のステップＳ２２参照）を示す表示２２０を含む。分類結果を示す表示２２０は、例えば、入力データ１００である医用画像に対応する患者の疾患名を示す。この場合の疾患名は、システム１０によって推測された疾患名である。

【0075】

例えば、システム１０のユーザである医師は、分類結果を示す表示２２０に示された疾患名を参照することができる。医師は、システム１０が推測した疾患名を参考に、患者の診断を行う。医師は、例えば、領域２５０を参照し、システム１０による疾患名の推測に寄与した領域（注目領域）を示すヒートマップ３５０Ｔ－１から、システム１０による推測の妥当性を検討したり、ヒートマップ３５０Ｔ－１で示される注目領域を注意深く観察することで、より詳細な診断を行ったりすることができる。

【0076】

静的な体内の様子ではなく、体内の経時的な変化の仕方が診断に重要な疾患の場合、体内の経時的な変化を示す４次元データ１５０を表示させることは、医師による診断を支援する上で有利である。

【0077】

ただし、図５から図７に示す表示は、制約があり、医師などのユーザによるデータの観察又は解析に十分であるとは限らない。図５から図７に示す表示態様の制約の一つは、シークバー２３０が示す次元が、時間次元Ｔに限られていることである。この制約のため、図５から図７に示す領域２５０の表示態様では、例えば、時間次元Ｔにおける異なる箇所のデータを同時に示すことができない。

【0078】

この制約の緩和のため、図５に示す領域２００は、シークバー２３０が示す次元（シークバー次元）を選択するための領域２１０を備え得る。図５に示す領域２１０は、４次元データ１５０が有する４次元Ｘ，Ｙ，Ｚ，Ｔのうち、シークバー２３０によって示される一つの次元を選択操作（ステップＳ４２の操作）をするためのグラフィカルユーザインターフェースとして構成されている。以下では、４次元Ｘ，Ｙ，Ｚ，Ｔのうち、領域２１０によって選択された次元（シークバー次元）を「選択次元」という。選択次元の決定によって、４次元データＸ，Ｙ，Ｚ，Ｔのうちの選択次元以外の残りの次元も自ずと決定される。なお、４次元データＸ，Ｙ，Ｚ，Ｔのうち、選択次元以外の残りの次元を「非選択次元」という。非選択次元は、「非シークバー次元」又は「表示次元」と呼ばれてもよい。領域２５０には、４次元データ１５０を非選択次元で表した表示用データが表示され得る。なお、ステップＳ４２の操作は、非シークバー次元（表示次元）を選択する操作として構成され、当該操作に基づく非シークバー次元の決定によって、自ずとシークバー次元が決定されてもよい。

【0079】

選択次元の数は、データ１５０の次元数未満であれば、２以上であってもよい。例えば、次元Ｔ及び次元Ｚの２次元が選択次元であってもよい。この場合、領域２００は、次元Ｔを示すシークバーと、次元Ｚを示すシークバーと、を備えることができる。また、この場合、領域２５０には、４次元データを、非選択次元である次元Ｘ及び次元Ｙの２次元で表した表示用データが表示され得る。

【0080】

選択次元（シークバー次元）は、初期設定では、一例として、時間次元Ｔであり得る。すなわち、初期設定（図４のステップＳ４１）での領域２００の表示の際には、図５に示すように、シークバー２３０はシークバー次元である時間次元Ｔを示し、領域２５０は、非シークバー次元である非選択次元（Ｘ，Ｙ，Ｚ）の３次元データを表示用データ３００Ｔ－１として表示し得る。

【0081】

システム１０のユーザは、次元を選択するための領域２１０を操作して、シークバー２３０が示す次元及び領域２５０の表示用データの次元を、切り替えることができる（ステップＳ４３の切り替え）。また、領域２１０の操作によって、シークバー２３０に表示されるグラデーション（非シークバー次元データ対応情報）も切り替えられる。これらの切り替えのため、図９に示すように、領域２１０は、次元切替ボタン２１０Ｘ，２１０Ｙ，２１０Ｚ，２１０Ｔを備える。ボタン２１０Ｘは、次元Ｘを選択次元として選択するためのボタンである。ボタン２１０Ｙは、次元Ｙを選択次元として選択するためのボタンである。ボタン２１０Ｚは、次元Ｚを選択次元として選択するためのボタンである。ボタン２１０Ｔは、次元Ｔを選択次元として選択するためのボタンである。データ１５０が有する次元Ｘ，Ｙ，Ｚ，Ｔのうち、選択次元（シークバー次元）として選択されなかった次元は、非選択次元（非シークバー次元）になる。

【0082】

例えば、図９に示すように、ユーザは、マウスポインタＰを操作して、ボタン２１０Ｚを選択することで、シークバー２３０が示す次元を、図５に示す次元Ｔから、次元Ｚに変更することができる。

【0083】

図９に示すように、領域２００は、シークバー２３０が示す次元の種類を示す表示２３３を有する。つまり、表示２３３は、選択次元を示す。図９の表示２３３は、シークバー２３０が示す次元が、次元Ｚであることを示す「Ｚ」の文字を含む。一方、図５の表示２３３は、シークバー２３０が示す次元が、時間次元Ｔであることを示す「Ｔ」の文字を含む。

【0084】

選択次元（シークバー次元）が時間次元Ｔである場合、４次元データ１５０は、３次元空間データ（Ｘ，Ｙ，Ｚ）が経時的に変化する動画として構成される。同様に、時間次元Ｔ以外の次元Ｘ，Ｙ，Ｚのいずれかが選択次元（シークバー次元）である場合、４次元データ１５０は、非選択次元（非シークバー次元）である残り３次元の空間データが経時的に変化する動画として構成され得る。すなわち、選択次元が時間次元Ｔである場合、４次元データ１５０は、図１０のデータ１５０Ｔのように、３次元データ（Ｘ，Ｙ，Ｚ）が、次元Ｔに沿って変化するデータとして把握される。データ１５０Ｔは、３次元データ（Ｘ，Ｙ，Ｚ）が経時的に変化する動画として表示され得る。

【0085】

また、選択次元が次元Ｚである場合、４次元データ１５０は、図１０のデータ１５０Ｚのように、３次元データ（Ｘ，Ｙ，Ｔ）が、次元Ｚに沿って変化するデータとして把握され得る。データ１５０Ｚは、次元Ｚを時間次元とみなして、３次元データ（Ｘ，Ｙ，Ｔ）が経時的に変化する動画として表示され得る。

【0086】

また、選択次元が次元Ｙである場合、４次元データ１５０は、図１０のデータ１５０Ｙのように、３次元データ（Ｘ，Ｚ，Ｔ）が、次元Ｙに沿って変化するデータとして把握され得る。データ１５０Ｙは、次元Ｙを時間次元とみなして、３次元データ（Ｘ，Ｚ，Ｔ）が経時的に変化する動画として表示され得る。

【0087】

また、選択次元が次元Ｘである場合、４次元データ１５０は、図１０のデータ１５０Ｘのように、３次元データ（Ｙ，Ｚ，Ｔ）が、次元Ｘに沿って変化するデータとして把握され得る。データ１５０Ｘは、次元Ｘを時間次元とみなして、３次元データ（Ｙ，Ｚ，Ｔ）が経時的に変化する動画として表示され得る。

【0088】

図９に戻り、選択次元（シークバー次元）として次元Ｚが選択されて選択次元が変更された場合、領域２５０に表示される表示用データは、変更前の非シークバー次元の表示用データ（例えば、（Ｘ，Ｙ，Ｚ）の３次元データ）から、変更後の非シークバー次元の表示用データである３次元データ（Ｘ，Ｙ，Ｔ）に切り替わる。また、シークバー２３０は、領域２５０に示される画像が、４次元データの次元Ｚ（シークバー次元）におけるどの箇所の３次元画像であるかを示すものに切り替わる。さらに、選択次元（シークバー次元）の変更に伴って、非シークバー次元が変更されると、シークバー２３０のグラデーション（非シークバー次元データ対応情報）は、変更前の非シークバー次元の非シークバー次元データ対応情報から、変更後の非シークバー次元の非シークバー次元データ対応情報に切り替わる。

【0089】

図９に示すシークバー２３０は、４次元データ１５０における次元Ｚの最小値Ｚｍｉｎから最大値Ｚｍａｘまでの間の任意の箇所を示す。次元Ｚの最小値Ｚｍｉｎは、領域２５０に表示される動画１５０Ｚの開始時点であり、最大値Ｚｍａｘは、領域２５０に表示される動画の終了時点である。

【0090】

図９に示すシークバー２３０は、領域２５０に表示される画像の表示箇所ｚa１（再生箇所ｔa１）を示している。システム１０は、４次元データ１５０のうち、次元Ｚにおける表示箇所ｚa１の３次元データ（Ｘ，Ｙ，ｚa１，Ｔ）を、表示用データ３００Ｚ－１として生成し、生成された表示用データ３００Ｚ－１を、領域２５０に表示させる。

【0091】

図１１は、４次元データ１５０から、次元Ｚにおける表示箇所ｚa１の３次元データ（Ｘ，Ｙ，ｚa１，Ｔ）である表示用データ３００Ｚ－１を生成する方法の概念図を示している。

【0092】

図１１に示すように、４次元データ１５０は、時間次元Ｔの複数の箇所Ｔｍｉｎ，ｔ１，・・・，Ｔｍａｘにおける３次元データ（Ｘ，Ｙ，Ｘ，Ｔｍｉｎ），（Ｘ，Ｙ，Ｚ，ｔ１），・・・，（Ｘ，Ｙ，Ｚ，Ｔｍａｘ）の集合であり得る。この場合、システム１０は、時間次元Ｔの各箇所Ｔｍｉｎ，ｔ１，・・・，Ｔｍａｘにおける３次元データ（Ｘ，Ｙ，Ｚ，Ｔｍｉｎ），（Ｘ，Ｙ，Ｚ，ｔ１），・・・，（Ｘ，Ｙ，Ｚ，Ｔｍａｘ）から、次元Ｚの表示箇所ｚａ１におけるＸ次元及びＹ次元のデータ（Ｘ，Ｙ，ｚａ１，Ｔｍｉｎ），（Ｘ，Ｙ，ｚａ１，ｔ１），・・・，（Ｘ，Ｙ，ｚａ１，Ｔｍａｘ）を抽出する。抽出された各データには、ヒートマップで表された領域を含み得る。

【0093】

システム１０は、抽出されたデータ（Ｘ，Ｙ，ｚａ１，Ｔｍｉｎ），（Ｘ，Ｙ，ｚａ１，ｔ１），・・・，（Ｘ，Ｙ，ｚａ１，Ｔｍａｘ）を時間次元Ｔにおける順番に沿って並べることで、表示箇所ｚa１の３次元データ（Ｘ，Ｙ，ｚa１，Ｔ）である表示用データ３００Ｚ－１を生成する。図９に示すように、生成された表示用データ３００Ｚ－１が、領域２５０に表示される。

【0094】

図９では、次元Ｚの表示箇所ｚａ１における３次元画像を所定の視線方向に投影した平面画像が、表示用データ３００Ｚ－１として領域２５０に表示されている。また、図９の表示用データ３００Ｔ－１は、箇所ｚａ１における３次元画像に含まれるヒートマップ３５０Ｔ－１も有している。したがって、領域２５０を観察するユーザは、表示用データ３００Ｔ－１及びヒートマップ３５０Ｔ－１の両方を観察できる。図９の領域２５０を観察することで、ユーザは、４次元データ１５０の箇所ｚａ１におけるＸＹ平面の時間次元Ｔにおける変化を一つの３次元画像３００Ｚ－１から把握することができる。

【0095】

シークバー２３０のスライダ２３１を、図９に示す箇所ｚａ１から、図１２に示す箇所ｚａ２へ移動させるユーザ操作が行われた場合、領域２５０には、（Ｘ，Ｙ，ｚａ２，Ｔ）である表示用データ３００Ｔ－２が表示される。（Ｘ，Ｙ，ｚａ２，Ｔ）は、４次元データ１５０である（Ｘ，Ｙ，Ｚ，Ｔ）における次元Ｚの箇所ｚａ２での、３次元画像である。表示用データ３００Ｚ－２は、表示箇所ｚａ２におけるヒートマップ３５０Ｚ－２も有している。

【0096】

図１３は、４次元データ１５０から、次元Ｚにおける表示箇所ｚａ２の３次元データ（Ｘ，Ｙ，ｚａ２，Ｔ）である表示用データ３００Ｚ－２を生成する方法の概念図を示している。図１３に示す方法は、表示箇所が異なる点以外は、図１１に示す方法と同様である。

【0097】

すなわち、図１３に示すように、システム１０は、時間次元Ｔの各箇所Ｔｍｉｎ，ｔ１，・・・，Ｔｍａｘにおける３次元データ（Ｘ，Ｙ，Ｚ，Ｔｍｉｎ），（Ｘ，Ｙ，Ｚ，ｔ１），・・・，（Ｘ，Ｙ，Ｚ，Ｔｍａｘ）から、次元Ｚの表示箇所ｚａ２におけるＸ次元及びＹ次元のデータ（Ｘ，Ｙ，ｚａ２，Ｔｍｉｎ），（Ｘ，Ｙ，ｚａ２，ｔ１），・・・，（Ｘ，Ｙ，ｚａ２，Ｔｍａｘ）を抽出する。抽出された各データには、ヒートマップで表された領域を含み得る。

【0098】

システム１０は、抽出されたデータ（Ｘ，Ｙ，ｚａ２，Ｔｍｉｎ），（Ｘ，Ｙ，ｚａ２，ｔ１），・・・，（Ｘ，Ｙ，ｚａ２，Ｔｍａｘ）を時間次元Ｔにおける順番に沿って並べることで、表示箇所ｚａ２の３次元データ（Ｘ，Ｙ，ｚa２，Ｔ）である表示用データ３００Ｚ－２を生成する。図１２に示すように、この表示用データ３００Ｚ－２が、領域２５０に表示される。

【0099】

このように、４次元データ１５０は、３次元データ（Ｘ，Ｙ，Ｔ）が次元Ｚにおける箇所に応じて、表示用データとして表される。このため、シークバー２３０によって、次元Ｚにおける表示箇所を変化させると、領域２５０に表示される表示用データも、変化し得る。また、次元Ｚにおける表示箇所を変化させると、領域２５０に表示されるヒートマップも変化し得る。

【0100】

図９，１２に示すシークバー２３０は、シークバー次元である次元Ｚにおける各箇所における、ヒートマップの強さを、非シークバー次元データ対応情報として示すよう構成されている。図５に示すシークバー２３０は、ヒートマップの強さを、シークバー２３０中のグラデーションによって示している。このグラデーションが、非シークバー次元である次元Ｚにおける各箇所の非シークバー次元対応情報を示している。このグラデーションは、シークバー次元である次元Ｚの各箇所におけるヒートマップの強さに対応した濃淡を有する。例えば、シークバー２３０中の濃い部分（黒い部分）は、ヒートマップが示す値が強いことを示し、薄い部分（白い部分）は、ヒートマップが示す値が弱いことを示す。ここでのヒートマップの強さは、例えば、次元Ｚにおける各箇所における３次元データ（Ｘ，Ｙ，Ｔ）に含まれるヒートマップが示す値の総和、平均値、中央値、又は最大値のいずれかである。シークバー２３０が示すヒートマップの強さは、３次元データ（Ｘ，Ｙ，Ｔ）に含まれるヒートマップが示す値から求められるその他の値であってもよい。シークバー２３０によって表されるヒートマップの強さは、３次元データ（Ｘ，Ｙ，Ｔ）の領域全体から求められる必要はなく、３次元データ（Ｘ，Ｙ，Ｔ）における任意の一部の３次元領域のように限定された領域におけるヒートマップが示す値の総和、平均値、中央値、又は最大値等であってもよい。

【0101】

シークバー２３０がヒートマップのＺ次元における変化を示していることで、シークバー２３０は、ヒートマップのＺ次元における変化を視覚的にユーザに提供することができる。したがって、ユーザは、シークバー２３０に表示されたグラデーションを参考に、シークバー２３０を操作して、ヒートマップが強い時点又は弱い時点の３次元画像（Ｘ，Ｙ，Ｔ）を領域２５０に表示させて観察することができる。

【0102】

ここで、シークバー２３０に関し観点を変えて説明すると、図９，１２に示すシークバー２３０は、４次元データ１５０において、予測クラスへ寄与する領域３５０Ｚ－１に関する値のＺ次元における変化を示すよう構成されているともいえる。図９，１２において、予測クラスへ寄与する領域３５０Ｚ－１に関する値は、シークバー２３０内のグラデーションで示されている。予測クラスへ寄与する領域３５０Ｚ－１に関する値は、Ｚ次元の各箇所における、予測クラスへ寄与する度合いの総和、平均値、中央値、最大値、又はその他の値である。

【0103】

なお、ヒートマップの経時的変化又は予測クラスへ寄与する領域３５０Ｚ－１に関する値の経時的変化は、シークバー２３０の外に表示されてもよい。つまり、ヒートマップの経時的変化又は予測クラスへ寄与する領域３５０Ｚ－１に関する値の経時的変化は、シークバー２３０とは別に表示されてもよい。

【0104】

図９又は図１２において、再生ボタン２３５が選択操作されると、領域２５０には、Ｚ次元の最小値Ｚｍｉｎ又はスライダ２３１が示す箇所から、動画が再生される。ここでの動画は、３次元データ（Ｘ，Ｙ，Ｔ）の次元Ｚにおける変化を、経時的変化として示す。

【0105】

図９に示す領域２５０も、図７及び図８において説明したのと同様に、表示用データ３００Ｚ－１の表示の仕方を変更させるためのユーザ操作を受け付けることができる。

【0106】

例えば、図１４に示すように、表示用データ３００Ｚ－１の視野方向の変更が可能である。視野方向の変更は、例えば、マウスポインタＰを、表示用データ３００Ｚ－１上、又は、表示用データ３００Ｚ－１の近傍において左右上下方向のいずれかに移動させることによってなされる。図１４は、表示用データ３００Ｚ－１として現れた立方体が、図９に比べて傾いて表示されていることを示している。このように、図１４では、図９に比べて、視野方向が変更されている。

【0107】

また、図１５に示すように、領域２５０において表示される表示用データ３００Ｚ－１の内部を示す表示面の変更が可能である。内部を示す表示面の変更のため、領域２５０は、グラフィカルユーザインターフェースとして、断面指示表示ＣＳ－Ｘ，ＣＳ－Ｙ，ＣＳ－Ｔを備え得る。断面指示表示ＣＳ－Ｘ，ＣＳ－Ｙ，ＣＳ－Ｔは、ユーザ操作によって、移動自在である。表示用データ３００Ｔ－１は、３次元画像（Ｘ，Ｙ，Ｔ）において、断面指示表示ＣＳ－Ｘ，ＣＳ－Ｙ，ＣＳ－Ｔによって指示された断面を表示するよう構成される。

【0108】

このように、次元Ｚが選択次元として選択された場合、シークバー２３０が示すシークバー次元が次元Ｚであり、領域２５０に表示される非シークバー次元についての３次元データが（Ｘ，Ｙ，Ｔ）である以外は、時間次元Ｔが選択次元である場合と同様の表示がなされ、同様の操作が可能である。

【0109】

図１６は、次元Ｙが選択次元（シークバー次元）として選択された場合を示している。この場合も、シークバー２３０が示す次元が次元Ｙであり、領域２５０に表示される３次元データの次元（非シークバー次元）が（Ｘ，Ｚ，Ｔ）である以外は、時間次元Ｔが選択次元（シークバー次元）である場合と同様の表示がなされ、同様の操作が可能である。図１６の領域２５０を観察することで、ユーザは、４次元データ１５０の箇所ｙｂにおけるＸＺ平面の時間次元Ｔにおける変化を一つの３次元画像３００Ｙ（表示用データ３００Ｙ）から把握することができる。

【0110】

また、図１６のシークバー２３０は、ヒートマップのＹ次元における変化を示している。つまり、図１６のシークバー２３０は、非シークバー次元データ対応情報であるグラデーションによって、ヒートマップのＹ次元における変化を視覚的にユーザに提供することができる。したがって、ユーザは、シークバー２３０に表示されたグラデーションを参考に、シークバー２３０を操作して、ヒートマップが強い時点又は弱い時点の３次元画像（Ｘ，Ｚ，Ｔ）を領域２５０に表示させて観察することができる。

【0111】

図１７は、次元Ｘが選択次元（シークバー次元）として選択された場合を示している。この場合も、シークバー２３０が示す次元が次元Ｘであり、領域２５０に表示される３次元データに次元（非シークバー次元）が（Ｙ，Ｚ，Ｔ）である以外は、時間次元Ｔが選択次元である場合と同様の表示がなされ、同様の操作が可能である。図１７の領域２５０を観察することで、ユーザは、４次元データ１５０の箇所ｘｃにおけるＹＺ平面の時間次元Ｔにおける変化を一つの３次元画像３００Ｘ（表示用データ３００Ｘ）から把握することができる。

【0112】

また、図１７のシークバー２３０は、ヒートマップのＸ次元における変化を示している。つまり、図１７のシークバー２３０は、非シークバー次元データ対応情報であるグラデーションによって、ヒートマップのＸ次元における変化を視覚的にユーザに提供することができる。したがって、ユーザは、シークバー２３０に表示されたグラデーションを参考に、シークバー２３０を操作して、ヒートマップが強い時点又は弱い時点の３次元画像（Ｙ，Ｚ，Ｔ）を領域２５０に表示させて観察することができる。

【0113】

以上のように、本実施形態によれば、選択次元を切り替えることで、領域２５０におけるデータ１５０の表示態様を切り替えることができる。したがって、ユーザは、多様な観点から、データ１５０を観察することができる。データ１５０が医用画像である場合、多様な観点からの観察を容易にする本システム１０は、医師の診断を支援するために有用である。

【0114】

図１８は、シークバー２３０の変形例に係るシークバー２３０Ａ，２３０Ｂを示している。図１８では、参考として、図５に示すシークバー２３０の概略も示されている。図５に示すシークバー２３は、シークバー次元の各箇所における非シークバー次元データ対応情報を同時に表示するよう構成されている。すなわち、非シークバー次元データ対応情報であるグラデーションは、シークバー２３０内に全体的に表示されているため、ユーザは、シークバー次元における複数の各箇所の非シークバー次元データ対応情報を、同時に視認することができる。これに対して、図１８に示すシークバー２３０Ａは、スライダ２９６が移動自在に設けられたバー２３７を備えている。シークバー２３０Ａは、図５に示すシークバー２３０のように、選択次元におけるヒートマップの変化を示してはいないが、その代わり、スライダ２３８は、スライダ２３８が存在する箇所におけるヒートマップの強さを示している。例えば、図１８に示すように、選択次元が時間次元Ｔであり、マウスポインタＰによって、スライダ２３８が時間ｔ３の位置に配置された場合、シークバー２３０Ａにおいて、スライダ２３８内の色は、時間ｔ３における３次元データ（Ｘ，Ｙ，Ｚ）のヒートマップの強さを示す。また、マウスポインタＰ－Ａによって、スライダ２３８Ａが時間ｔ２の位置に配置された場合、スライダ２３８Ａ内の色は、時間ｔ２における３次元データ（Ｘ，Ｙ，Ｚ）のヒートマップの強さを示し、マウスポインタＰ－Ｂによって、スライダ２３９が時間ｔ１の位置に配置された場合、スライダ２３８Ｂ内の色は、時間ｔ１における３次元データ（Ｘ，Ｙ，Ｚ）のヒートマップの強さを示す。このように、非シークバー次元データ対応情報（ヒートマップの強さ）は、シークバー２３０Ａ上で、ユーザによって指定された箇所に対応するものが表示され、非指定の箇所については非表示とされなくてもよい。

【0115】

また、ヒートマップの強さを示す表示２３９は、スライダによって示される必要はなく、図１８に示すシークバー２３０Ｂのように、スライダ２３１とは別の表示ボックス２３９によって示されてもよい。例えば、図１８に示すシークバー２３０Ｂのように、マウスポインタＰが、シークバー２３０Ｂの時間ｔ３の位置に配置された場合、マウスポインタＰに対応する時間ｔ３における３次元データ（Ｘ，Ｙ，Ｚ）のヒートマップの強さが、表示ボックス２３９によって示される。マウスポインタＰ―Ａが、シークバー２３０Ｂの時間ｔ２の位置に配置された場合、マウスポインタＰ－Ａに対応する時間ｔ２における３次元データ（Ｘ，Ｙ，Ｚ）のヒートマップの強さが、表示ボックス２３９Ａによって示される。マウスポインタＰ―Ｂが、シークバー２３０Ｂの時間ｔ１の位置に配置された場合、マウスポインタＰ－Ｂに対応する時間ｔ１における３次元データ（Ｘ，Ｙ，Ｚ）のヒートマップの強さが、表示ボックス２３９Ｂによって示される。

【0116】

このように、シークバーは、図５等に示すように選択次元の各箇所におけるデータ１５０に関する値（例えば、ヒートマップの強さ）を示すように構成されている必要はなく、前記シークバー２３０Ａ，２３０Ｂ上で指定された箇所におけるデータ１５０に関する値（例えば、ヒートマップの強さ）を示すよう構成されていてもよい。このように、非シークバー次元データ対応情報（ヒートマップの強さ）は、シークバーにおけるシークバー次元の各箇所に対応して表示されれば足り、シークバー上に表示される必要はなく、シークバー外において、シークバーの各箇所と対応付けて表示されてもよい。

【0117】

本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。例えば、システム１０によって表示されるデータは、３次元の空間次元と時間次元とを有する４次元時空間データに限られず、２次元の空間次元と時間次元とを有する３次元時空間データであってもよい。この場合、３次元時空間データのうちの一つの選択次元が、シークバー２３０によって示され、３次元時空間データが、残りの２次元で領域２５０に表示され得る。

【0118】

また、上記の説明では、選択次元は、多次元データ１５０が有する全ての次元（Ｘ，Ｙ，Ｚ，Ｔ）の中から選択されたが、全ての次元（Ｘ，Ｙ，Ｚ，Ｔ）の中から選択可能である必要はない。すなわち、選択次元は、多次元データ１５０が有する全ての次元のうちの一部の複数次元（例えば、次元Ｚと次元Ｔ）の中から選択されてもよい。

【符号の説明】

【0119】

１０ ：コンピュータシステム
１０Ａ ：プロセッサ
１０Ｂ ：記憶装置
１０Ｃ ：コンピュータプログラム
１５ ：ネットワーク
３０ ：端末
３１ ：ディスプレイ
１００ ：入力データ
１０１ ：３次元空間データ
１０２ ：３次元空間データ
１０３ ：３次元空間データ
１０４ ：３次元空間データ
１０５ ：３次元空間データ
１５０ ：出力データ
１５０Ｔ ：データ
１５０Ｘ ：データ
１５０Ｙ ：データ
１５０Ｚ ：データ
１５１ ：注目領域データ
１５２ ：注目領域データ
１５３ ：注目領域データ
１５４ ：注目領域データ
１５５ ：注目領域データ
１８０ ：分類モデル（学習済みモデル）
１８１ ：４次元畳み込み層
１８３ ：全結合層
１８５ ：特徴マップ
１８７ ：分類結果
１９０ ：生成部
２００ ：領域
２１０ ：領域
２１０Ｔ ：次元切替ボタン
２１０Ｘ ：次元切替ボタン
２１０Ｙ ：次元切替ボタン
２１０Ｚ ：次元切替ボタン
２２０ ：表示
２３０ ：シークバー
２３１ ：スライダ
２３３ ：表示
２３５ ：再生ボタン
２５０ ：領域（表示領域）
３００Ｔ－１ ：表示用データ
３００Ｔ－２ ：表示用データ
３００Ｘ ：表示用データ
３００Ｙ ：表示用データ
３００Ｚ－１ ：表示用データ
３００Ｚ－２ ：表示用データ
３５０Ｔ－１ ：ヒートマップ
３５０Ｔ－２ ：ヒートマップ
３５０Ｚ－１ ：ヒートマップ
３５０Ｚ－２ ：ヒートマップ
ＣＳ－Ｘ ：断面指示表示
ＣＳ－Ｙ ：断面指示表示
ＣＳ－Ｚ ：断面指示表示
ＣＳ－Ｔ ：断面指示表示
Ｐ ：マウスポインタ

【要約】

【課題】多次元データを多様な態様で表示できるようにする
【解決手段】開示のシステムは、多次元データを表示する表示処理を実行するよう構成されたコンピュータシステムであって、前記表示処理は、前記多次元データにおける前記多次元のうち、シークバー次元となる次元と、前記シークバー次元以外の他の次元である非シークバー次元となる次元と、を決定するユーザの操作を受け付けること、前記操作に基づき決定された前記シークバー次元において、前記表示用データとして表示される表示箇所を示すための前記シークバーを表示すること、前記操作に基づいて、前記表示用データを生成して、表示すること、前記操作に基づいて、非シークバー次元データ対応情報を生成して、表示すること、を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】