(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-04
(45)【発行日】2024-12-12
(54)【発明の名称】医用画像表示装置およびプログラム
(51)【国際特許分類】
G16H 30/00 20180101AFI20241205BHJP
A61B 6/46 20240101ALI20241205BHJP
A61B 5/00 20060101ALI20241205BHJP
G06T 1/00 20060101ALI20241205BHJP
G06T 7/00 20170101ALI20241205BHJP
G06F 3/0485 20220101ALI20241205BHJP
【FI】
G16H30/00
A61B6/46 506Z
A61B5/00 D
G06T1/00 290B
G06T7/00 612
G06F3/0485
(21)【出願番号】P 2020139685
(22)【出願日】2020-08-20
【審査請求日】2023-06-30
(32)【優先日】2020-03-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】デイビッド・イネス・ミラー
【審査官】梅岡 信幸
(56)【参考文献】
【文献】米国特許出願公開第2010/0063842(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
A61B 6/00- 6/58
A61B 5/00- 5/01
G06T 1/00
G06T 7/00- 7/90
G06F 3/048-3/4895
(57)【特許請求の範囲】
【請求項1】
撮影対象の被検体の縦軸に沿った位置とそれぞれ関連付けられた複数の医用画像を含む医用画像セットを記憶するデータ記憶部から、医用画像を順次読み込む読込部と、
前記位置を指定することによって、前記複数の医用画像のうち当該位置に対応付けられた医用画像をディスプレイへの表示対象として指定するユーザの入力操作を受け付ける受付部と、
前記入力操作における前記ユーザによる入力装置の制御
量に基づいて、前記入力操作が第1の種類か又は第2の種類かを判断し、前記制御量に基づいて前記ユーザにより指定された前記位置を移動先位置として決定する処理部と、
前記入力操作が前記第1の種類である場合は前記医用画像セットの中の読み込み済みの医用画像のうち対応する位置が前記移動先位置に最も近い医用画像をディスプレイへの表示対象とし、前記入力操作が前記第2の種類である場合は前記移動先位置に対応する前記医用画像を当該医用画像の読み込みの完了の有無に関わらず表示対象とする表示制御部と、
を備える医用画像表示装置。
【請求項2】
前記処理部は、
前記移動先位置を示す前記ユーザの前記入力操作による前記入力装置の前記制御量が所定の閾値よりも大きい場合は、前記入力操作が前記第1の種類であると判断し、
前記制御量が前記所定の閾値よりも大きくない場合は、前記入力操作が前記第2の種類であると判断する、
請求項1に記載の医用画像表示装置。
【請求項3】
前記第1の種類の入力操作は、第1の種類のナビゲーション動作を含み、
前記第2の種類の入力操作は、第2の種類のナビゲーション動作を含み、
前記第1の種類のナビゲーション動作はローカライズ動作を含み、
前記第2の種類のナビゲーション動作は読影動作を含む、
請求項1または2に記載の医用画像表示装置。
【請求項4】
前記読込部は、前記医用画像のうち、選択されたサブセットに含まれる医用画像を、該サブセットに含まれない前記医用画像よりも前に読み込む、
請求項1から3のいずれか1項に記載の医用画像表示装置。
【請求項5】
前記表示制御部は、前記入力操作が前記第1の種類である場合、
前記選択されたサブセットのなかの最も近い医用画像を特定し、
前記最も近い医用画像とは、前記移動先位置に最も近い位置をもつ前記選択されたサブセットのなかの医用画像であり、
前記最も近い医用画像がまだ読み込まれていない場合は、前記最も近い医用画像を読み込み、
前記最も近い医用画像を表示装置に表示する、
請求項4に記載の医用画像表示装置。
【請求項6】
前記表示制御部は、前記入力操作が前記第1の種類である場合において、前記移動先位置が、前記データ記憶部からまだ読み込まれていない医用画像に対応する場合は、前記データ記憶部から読み込まれた前記医用画像セットのなかの医用画像を特定し、特定した医用画像を表示装置に表示する、
請求項1から5のいずれか1項に記載の医用画像表示装置。
【請求項7】
前記特定した医用画像は、前記医用画像のなかで、既に読み込まれている前記移動先位置に最も近い1つの医用画像である、
請求項6に記載の医用画像表示装置。
【請求項8】
前記表示制御部は、前記入力操作が前記第1の種類である場合、
前記移動先位置にある前記医用画像が前記データ記憶部から読み込まれているか否かを判断し、
前記移動先位置にある前記医用画像が読み込まれている場合は、前記移動先位置にある前記医用画像を表示装置に表示し、
前記移動先位置にある前記医用画像がまだ読み込まれていない場合は、選択された医用画像のサブセットのなかの最も近い医用画像を特定し、
前記最も近い医用画像とは、前記移動先位置に最も近い位置をもつ選択された前記サブセットのなかの医用画像であり、
前記最も近い医用画像がまだ読み込まれていない場合は、前記最も近い医用画像を読み込み、
前記最も近い医用画像を前記表示装置に表示する、
請求項1から7のいずれか1項に記載の医用画像表示装置。
【請求項9】
前記表示制御部は、前記入力操作が前記第2の種類である場合、
前記移動先位置に関連する医用画像がまだ読み込まれていない場合は、前記移動先位置に関連する前記医用画像を読み込み、
前記移動先位置に関連する前記医用画像を表示装置に表示する、
請求項1から8のいずれか1項に記載の医用画像表示装置。
【請求項10】
前記データ記憶部からの医用画像の順次読み込みは、所定のデータ読み込み規則に従って行われ、前記所定のデータ読み込み規則は、第1の医用画像の読み込みの次に、前記第1の医用画像に位置が隣接しない第2の医用画像の読み込みという順番での前記医用画像の読み込みを含む、
請求項1から9のいずれか1項に記載の医用画像表示装置。
【請求項11】
前記データ記憶部からの医用画像の順次読み込みは所定のデータ読み込み規則に従って行われ、前記所定のデータ読み込み規則は、現在表示される前記医用画像の位置からの距離、及び/又は、更新位置からの距離に基づく医用画像のデータ読み込みに関する規則を含む、
請求項1から10のいずれか1項に記載の医用画像表示装置。
【請求項12】
前記データ記憶部からの医用画像の順次読み込みは、所定のデータ読み込み規則に従って行われ、前記所定のデータ読み込み規則は、
第一に、前記被検体の縦軸に沿った位置のうち、表示対象として規定された位置にある、または、前記表示対象として規定された位置に最も近い医用画像を読み込むこと、
第二に、画像のサブセットに含まれる他の医用画像を読み込むこと、
第三に、まだ読み込まれていない医用画像のうち、現在表示される前記医用画像の位置に最も近い医用画像を読み込むこと、
を、順に実行することを含み、
前記サブセットは、前記複数の医用画像よりも少数の画像を使った医用画像の位置の範囲を示す、
請求項1から10のいずれか1項に記載の医用画像表示装置。
【請求項13】
前記データ記憶部からの医用画像の順次読み込みは所定のデータ読み込み規則に従って行われ、前記所定のデータ読み込み規則は、関心領域、所見、解剖学的ランドマークのうち少なくとも1つに対応する位置をもつ少なくとも1つの医用画像の読み込みを含む、
請求項1から12のいずれか1項に記載の医用画像表示装置。
【請求項14】
前記位置は物理的位置であり、前記位置の範囲とは、物理的空間における範囲である、
請求項1から13のいずれか1項に記載の医用画像表示装置。
【請求項15】
前記位置は被検体の身体に沿った位置であり、前記医用画像とはスライス医用画像である、
請求項1から14のいずれか1項に記載の医用画像表示装置。
【請求項16】
前記位置は時間における位置であり、前記位置の範囲とは時間における範囲であり、前記複数の医用画像は時系列を表現する、
請求項1から15のいずれか1項に記載の医用画像表示装置。
【請求項17】
前記所定のデータ読み込み規則はトレーニング済モデルによって定められる、
請求項10から13のいずれか1項に記載の医用画像表示装置。
【請求項18】
前記ユーザからの次の入力操作を予測し、前記予測した次の入力操作に依存して前記所定のデータ読み込み規則を変更するために、トレーニング済モデルを適用するように構成されている、
請求項10から13のいずれか1項に記載の医用画像表示装置。
【請求項19】
撮影対象の被検体の縦軸に沿った位置とそれぞれ関連付けられた複数の医用画像を含む医用画像セットを記憶するデータ記憶部から、医用画像を順次読み込むステップと、
前記位置を指定することによって、前記複数の医用画像のうち当該位置に対応付けられた医用画像をディスプレイへの表示対象として指定するユーザの入力操作を受け付けるステップと、
前記入力操作における前記ユーザによる入力装置の制御
量に基づいて、前記入力操作が第1の種類か又は第2の種類かを判断し、前記制御量に基づいて前記ユーザにより指定された前記位置を移動先位置として決定するステップと、
前記入力操作が前記第1の種類である場合は前記医用画像セットの中の読み込み済みの医用画像のうち対応する位置が前記移動先位置に最も近い医用画像をディスプレイへの表示対象とし、前記入力操作が前記第2の種類である場合は前記移動先位置に対応する前記医用画像を当該医用画像の読み込みの完了の有無に関わらず表示対象とするステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載される実施形態は、概して、医用画像表示装置およびプログラムに関する。
【背景技術】
【0002】
DICOM(Digital Imaging and COmmunications in Medicine)基準を用いた医用画像の保存が知られている。メモリにロードされるディスク上に画像を保存し、その後オンデマンドでメモリにロードしてもよい。例えば、ディスクはネットワークを介してアクセス可能なリモートディスクでもよい。ユーザが個々の画像の視聴を要望する場合には、ユーザの要望に応じて当該画像をディスクからメモリにロードするだろう。
【0003】
医用スキャンプロシージャにより大量のDICOM画像がもたらされることがある。コンピュータ断層撮影(CT)スキャンなどの大量スキャンからのデータを処理して、それぞれが被検体の生体構造のスライスを表現するスライス画像を得ることがある。ある状況では、被検体の全身を高解像度で、例えば、1mmスライスを使ってイメージングすることがある。そのため、スキャンから得られるスライスの数は非常に大きく、例えば、数百から数千になることがある。多くの場合、スキャンから得た画像を視聴するユーザ(例えば、臨床医)は当該画像の小さなサブセットにのみ興味をもつことがある。例えば、ユーザはある解剖領域にのみ興味をもつかもしれない。
【0004】
以降の説明では、DICOM画像のメモリへのロードを言及することは、未処理のDICOMデータをメモリに取り入れ、当該未処理のDICOMデータを未処理のピクセルデータ、プラス、構文解析済のDICOMメタデータに変える処理を言及するときに用いる。DICOM画像のロードはシステムリソース、例えば、中央演算処理装置(CPU)、ランダムアクセスメモリ(RAM)、ネットワーク、ディスク入出力(I/O)リソースを使用する。特に、DICOMメタデータの構文解析は大量のCPUリソースを使う。
【0005】
画像を2Dビューシステムで視聴してもよい。2Dビューシステムが複数ユーザによる画像視聴をサポートするものであってもよい。大人数のユーザのサポートを目的とする2Dビューシステムにおいては、システムリソースが不足するかもしれない。
【0006】
画像をセンターロケーションに保存し、ネットワークを介してロードするかもしれない。ネットワークを介したDICOM画像のロードには、一般的には時間がかかる。ネットワークが高遅延及び/又は低帯域である場合には、ロードにかかる時間はさらに長くなる。
【0007】
一般的には、ユーザは直ちに画像を見たいであろう。ユーザはまた、1秒あたり高フレームレートで画像シリーズ間をスクロールできるようにしたいだろう。例えば、ユーザは被検体のスキャンから得た全スライス間を高スピードでスクロールできるようにしたいだろう。
【0008】
DICOMシリーズが要求されたときにDICOMシリーズのすべての画像をロードするという選択肢がある。しかし、臨床医やその他のユーザはDICOMシリーズのすべての画像を見ないかもしれない。もし、臨床医がすべての画像を見ないのであれば、視聴しなかったDICOM画像のロードはシステムリソースの浪費だと考えられる。視聴しない画像のロードのためのシステムリソースの使用が、システムがサポート可能な多数のユーザに影響を与えるかもしれない。
【0009】
別の選択肢は、個別のDICOM画像をオンデマンドでロードすることだ。しかし、オンデマンドでのDICOM画像のフェッチおよび構文解析は、ユーザが望む体験をユーザに与えられるほど速くはない。これは、ユーザのシステム満足度に影響するかもしれない。
【先行技術文献】
【特許文献】
【0010】
【文献】米国特許出願公開第2013/266242号明細書
【発明の概要】
【発明が解決しようとする課題】
【0011】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、複数の医用画像を読み込む場合に、ユーザの操作に応じた読み込み処理および表示処理を実施することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0012】
実施形態に係る医用画像表示装置は、読込部と、受付部と、処理部と、表示制御部とを備える。読込部は、撮影対象の被検体の縦軸に沿った位置とそれぞれ関連付けられた複数の医用画像を含む医用画像セットを記憶するデータ記憶部から、医用画像を順次読み込む。受付部は、位置を指定することによって、複数の医用画像のうち当該位置に対応付けられた医用画像をディスプレイへの表示対象として指定するユーザの入力操作を受け付ける。処理部は、入力操作におけるユーザによる入力装置の制御量に基づいて、入力操作が第1の種類か又は第2の種類かを判断し、制御量に基づいてユーザにより指定された位置を移動先位置として決定する。表示制御部は、入力操作が第1の種類である場合は医用画像セットの中の読み込み済みの医用画像のうち、対応する位置が移動先位置に最も近い医用画像をディスプレイへの表示対象とし、入力操作が第2の種類である場合は移動先位置に対応する医用画像を、当該医用画像の読み込みの完了の有無に関わらず表示対象とする。
【図面の簡単な説明】
【0013】
【
図1】
図1は、一実施形態による医用システムの概略図である。
【
図2】
図2は、一実施形態による所定のローディングルールを示すフローチャートである。
【
図3】
図3は、一実施形態によるナビゲーション方法を示すフローチャートである。
【
図4】
図4は、一実施形態による、毎N番目の画像がロードされるスライスセットの概略図である。
【
図5】
図5は、一実施形態によるスナッピングによるナビゲーションを示すスライスセットの概略図である。
【
図6】
図6は、一実施形態による、オンデマンドで画像をロードするナビゲーションを示すスライスセットの概略図である。
【
図7】
図7は、一実施形態による、現在の画像に近いスライスのロードを示すスライスセットの概略図である。
【発明を実施するための形態】
【0014】
一実施形態による医用システム10を
図1に概略的に示す。医用システム10は、コンピューティング装置12、この場合は、パーソナルコンピュータ(PC)またはワークステーションを備える。コンピューティング装置12は、1つ又は複数の表示スクリーン16と、コンピュータキーボード、マウス、またはトラックボールなどの1つまたは複数の入力装置18と接続する。コンピューティング装置12は、本実施形態における医用画像表示装置の一例である。あるいは、医用システム10を、医用画像表示装置の一例としても良い。
【0015】
コンピューティング装置12は、データ記憶部20からネットワーク21を介して画像データセットをロードするように構成されている。
【0016】
本実施形態では、スキャナ14は、患者又はその他の被検体の少なくとも一部をスキャンすることで大量の画像データを取得するように構成されたコンピュータ断層撮影(CT)スキャナである。別の実施形態では、スキャナ14は、医用イメージングを行うように構成されたいかなるスキャナを含んでもよい。スキャナ14は、任意の画像診断法で2次元、3次元、または、4次元データを含みうる医用イメージングデータを作成するように構成される。例えば、スキャナ14は、磁気共鳴(MRまたはMRI)スキャナ、CT(コンピュータ断層撮影)スキャナ、コーンビームCTスキャナ、X線スキャナ、超音波スキャナ、陽電子放出断層撮影(PET)スキャナ、または、単一光子放射断層撮影(SPECT)スキャナを含みうる。
【0017】
スキャナ14が医用イメージングプロシージャで取得したイメージングデータを処理して、複数の画像データセットを得る。本実施形態では、CTスキャナ14によって得た大量のCT画像データを、CTスキャナ14の処理回路(不図示)で処理して、それぞれがスキャンされたボリュームの個別のスライスを表現する、複数のスライス画像データセットを得る。各スライス画像データセットは個別の位置と関連付けられている。一般的には、当該スライスは体軸スライス(axial slices)であり、当該スライス画像データセットの位置は、患者またはその他の被検体の縦軸に沿って分散している。スキャナ14から得た画像データセットはデータ記憶部20に保存される。画像データセットは、本実施形態における医用画像セットの一例である。医用画像セットは、複数の医用画像を含む。
【0018】
別の実施形態では、1つ又は複数の任意の適当なスキャナが取得したデータを処理することにより、画像データセットを得てもよい。
【0019】
画像データセットはまた、医療用画像管理システム(Picture Archiving and Communication System: PACS)の一部を形成する1つ又は複数の更なる記憶部(不図示)に記憶されてもよい。データ記憶部20またはさらなるデータ記憶部は、適切と思われるいかなる形式のデータ記憶部を備えてもよい。コンピューティング装置12は、画像データセットを、さらなるデータ記憶部から、ネットワーク21またはさらなるネットワーク(不図示)を介してロードするように構成されてもよい。
【0020】
コンピューティング装置12は、画像データを含むデータを処理するための処理装置22を備える。処理装置は、中央処理ユニット(Central processing unit: CPU)とグラフィック処理ユニット(Graphical Processing Unit: GPU)とを備える。別の実施形態では、処理装置はCPUを備え、GPUを備えなくてもよい。
【0021】
処理装置22は、画像データセットをローカルで記憶するローカルメモリ29を備える。
【0022】
処理装置22は、データ記憶部20からローカルメモリ29に画像データをロードするように構成されたロード回路24と、画像を表示スクリーン16に表示するように構成された表示回路26と、画像データセット間、例えば、スライス間をナビゲートするように構成されたナビゲーション回路28とを備える。
【0023】
本実施形態では、回路24,26,28は各々、本実施形態の方法を実行するように実行可能であるコンピュータによって読み出し可能な命令を有するコンピュータプログラムによって、CPUおよび/またはGPUに実装される。他の実施形態では、当該各種回路を、1つまたは複数の用途特定集積回路(application specific integrated circuit: ASIC)またはフィールドプログラマブルゲートアレイ(field programmable gate array: FPGA)として実装されてよい。なお、ロード回路24、表示回路26、ナビゲーション回路28を特に区別しない場合には、単に処理回路という。
【0024】
コンピューティング装置12は、ハードディスクドライブ、および、RAM、ROM、データバス、様々なデバイスドライバを含むオペレーティングシステム、グラフィックカードを含むハードウェアデバイスといったものを含むPCの他のコンポーネントを有する。そのようなコンポーネントは、明瞭にするために、
図1には示されない。
【0025】
上記のように、コンピューティング装置12及び、特に、ロード回路24は、データ記憶部20からローカルメモリ29に画像データセットをロードするように構成される。以下、本実施形態においては、画像を読み込むことを、画像をロードするという。下記において、画像のロードに言及する。画像のロードの言及は、その画像に関連付けられた画像データセットをロードすることを指すと意図している。画像をロードするために、ロード回路24は当該画像データセットがデータ記憶部20から送信されるように要求する。データ記憶部20は、ネットワーク21を介してコンピューティング装置12に当該画像データセットを送信する。コンピューティング装置12が受け取ったときに、当該画像データセットは未処理のDICOMデータを含んでいる。ロード回路24は未処理のDICOMデータを未処理のピクセルデータおよび構文解析済DICOMメタデータに変換する。未処理のピクセルデータおよび構文解析済DICOMメタデータはローカルでコンピューティング装置12のローカルメモリ29に保存される。画像のロードへの言及は、必ずしも画像が表示されることを暗示するわけではない。ロード回路24は、本実施形態における読込部の一例である。
【0026】
図2は、一実施形態による所定のローディングルール(読み込み規則)を概略的に示すフローチャートである。上記のように、あるスキャンに関連付けられている全ての画像をロードすること(例えば、全ての画像を順番にロードすること)は可能であるだろうが、画像が多数である場合には、これは多大なリソースを消費し得る。あるいは、はじめに少数の画像をロードする、または、画像をロードしないという選択肢もあり得るが、画像を表示する前に各画像のロードをユーザが待たなければならない場合は、低いユーザ体験をもたらし得る。そのため、本実施形態では、所定のローディングルールを使って、リソースを過度に消費することなく、ユーザに役立つと期待される順番で画像をロードする。
【0027】
図2の実施形態では、ロードされる画像は、CTスキャンから得た体軸スライスである。各画像は個別の位置と関連付けられている。当該位置はスキャンされた被検体の縦軸に沿った位置である。例えば、前記位置はミリメートル単位の縦位置であってもよい。画像のロード及び表示は、最初の位置にある最初の画像から始める。本実施形態において、最初の画像は被検体の頭の頂点でのスライスである。当該最初の画像を第1の画像と称してもよい。別の実施形態において、最初の画像に別の位置を使ってもよい。例えば、最初の画像の位置を、関心位置(location of interest)、例えば、所見(finding)がある位置または解剖学的ランドマークの位置に設定してもよい。
【0028】
ユーザは医用画像を視聴する権限があればいかなる人物であってもよい。例えば、臨床医、放射線科医、放射線技師、または研究者が挙げられる。
【0029】
ユーザは、縦軸に沿った位置または縦軸に沿った位置の変更を表現する入力を与えることにより、体軸スライス間をナビゲートするかもしれない。下記に特定の入力方法を、
図3を参照しながら説明する。ナビゲーション回路28は、ユーザの入力に応じて、縦軸上の現在位置を変更してもよい。ナビゲーション回路28は、本実施形態における第1の受付部、第2の受付部、および処理部の一例である。なお、他の構成、例えば入力装置18を、第1の受付部または第2の受付部の一例としても良い。
【0030】
図2の所定のローディングルールは、画像がまだロードされていない時に開始する。単純化のために、まず、画像を所定のローディングルールに従ってロードしている間に、ユーザ入力を受け付けなかった場合を説明する。この場合、スライスセット内での現在位置を最初の画像の位置として開始し、画像を所定のローディングルールに従ってロードしている間はこれを変更しない。次に、画像を所定のローディングルールに従ってロードしている間に現在位置を変更する場合を説明する。
【0031】
図2のステージ30では、ロード回路24は次にロードする画像がどれか質問する。ステージ32に進み、ロード回路24は現在の画像はロードされているかを質問する。現在の画像とは、現在位置にある画像である。現在位置は最初の画像の位置であり、最初の画像は被検体の頭の頂点である場合を検討する。他の状況では、現在位置は縦軸に沿った適切であると思われるいかなる位置でもよい。
【0032】
ステージ32の第1インスタンスでは、現在の画像はロードされているかの回答はNoである。画像はまだロードされていなかった。ロード回路24はステージ34に進む。ステージ34で、ロード回路24 は最初の画像である現在の画像のロードを要求する。データ記憶部20は最初の画像の画像データセットをコンピューティング装置12へ送信する。ロード回路24は最初の画像をローカルメモリ29にロードする。
【0033】
最初の画像がロードされると、表示回路26は最初の画像を表示スクリーン16に表示する。表示回路26は、本実施形態における表示制御部の一例である。また、表示スクリーン16は、本実施形態における表示装置の一例である。
【0034】
図2のフローチャートはステージ30に戻り、ステージ32に進む。現在位置を変更するユーザ入力が受け付けられていなければ、現在の画像は今ロードした最初の画像のままである。ステージ32にて、ロード回路24は現在の画像はロードされたと判断し、ステージ36に進む。ステージ36で、ロード回路24は毎N番目の画像がロードされたかを問う。
【0035】
図2のローディングルールの特徴は、さらなる画像をロードする前に、当該スキャンに関連付けられた画像のサブセットをロードすることである。サブセットは毎N番目の画像を含む。画像のサブセットを画像グリッド(grid of images)と称してもよい。サブセット内の各画像の位置を、候補位置と記載してもよい。
【0036】
本実施形態において、N=10である。画像のサブセットは、毎10番目の画像を含む。別の実施形態では、Nは任意の適切な値であってもよい。例えば、サブセットは毎5番目、毎15番目、または毎20番目の画像を含んでもよい。ある実施形態では、Nの値をインストール時に設定する。ある実施形態では、Nの値をユーザが選ぶ。Nの値は、例えばユーザからの過去の入力に基づいて、ユーザの好みに調整してもよい。Nの値は、システム考察に基づいて、例えば、リソース可用性(resource availability)に基づいて選択してもよい。リソース可用性が良ければ、低い値のNが選ばれるだろう。リソース可用性に基づいて選択してもよい。リソース可用性が悪ければ、高い値のNが選ばれるだろう。ある状況において、異なる値のNを異なるユーザに適用してもよい。
【0037】
サブセットがまだロードされていないので、ロード回路24はステージ38に進む。ロード回路24は次のN番目の画像を要求する。次のN番目の画像とは、ステージ38の繰り返しの第1回目では、11番目の画像である。データ記憶部20は11番目の画像をコンピューティング装置12へ送信する。ロード回路24は当該次のN番目の画像をローカルメモリ29にロードする。
【0038】
当該次のN番目の画像がロードされると、フローチャートはステージ30そして32に戻る。ユーザ入力がなければ、最初の画像は現在の画像のままである。現在の画像は既にロードされている。
【0039】
ロード回路24はステージ36に進み、ロード対象のN番目の画像がまだある。ロード回路24はステージ38に進み、次のN番目の画像である21番目の画像をロードする。現在位置を変更するユーザ入力を受け付けていない場合、フローチャートはすべてのN番目の画像のサブセットがロードされるまで、ステージ30から38を繰り返す。
【0040】
すべてのN番目の画像のサブセットがロードされると、ロード回路24はステージ36そして40に進む。ステージ40では、ロード回路24は現在位置に近い画像がロードされたか質問する。本実施形態において、現在位置のM画像内にある画像を現在位置に近い画像とみなす。例えば、Mは5でもよい。
【0041】
現在位置からM画像内にまだロードしていない画像がある場合、ロード回路24はステージ42に進む。ロード回路24は現在位置のM画像内にあるまだロードしていない画像をロードする。例えば、現在位置がいまだに最初の位置であり、1番目の画像と10番目の画像との間にある画像がまだロードされていない場合、ロード回路24は2番目の画像の送信を要求する。データ記憶部20は2番目の画像をコンピューティング装置12に送信する。ロード回路24は2番目の画像をローカルメモリ29にロードする。ロード回路24は、現在位置のM画像内の画像がロードされるまで、ステージ30から42を繰り返す。最初の画像の場合、5画像以内の画像とは、2番目から6番目の画像である。
【0042】
現在の画像、N番目の画像、現在の画像に最も近いM枚の画像がすべてロードされると、所定のローディングルールのインスタンスが終了する。所定のローディングルールでは、全ての画像をロードしていないと考えられるだろう。
【0043】
上記の
図2の説明において、現在位置はロード中に変更しないため、最初の画像はその間ずっと現在の画像である。別の実施形態では、現在位置をロード中に変更してもよい。
【0044】
所定のローディングルールに従った画像のロード中に現在位置が変更される場合は、現在位置の変更に応じて所定のローディングルールを中止または変更してもよい。ロード対象の画像セットを待ち行列に入れてもよい。ある状況において、現在位置の変更に応じて、当該待ち行列を変更または取り下げてもよい。
【0045】
現在位置を、所定のローディングルール内の様々な異なる点で変更してもよい。第1の例では、現在位置を最初の画像のロード中に変更する。ステージ30の第1インスタンスでは、ロード回路24はどの画像をロードするかたずねる。ステージ32では、ロード回路24は現在の画像をロードされているかをたずねる。当初、ロードされた画像はなかった。ロード回路はステージ34に進み、最初の画像をロードする。最初の画像のロード中またはロード直後に現在位置が変更される。ロード回路24はステージ30および32の第2インスタンスを実行する。ステージ32の第2インスタンスでは、ロード回路24は現在位置にある画像がロードされたかどうかをたずねる。現在位置の変更により、現在位置はまだロードされていない位置となる。ロード回路24はステージ34に進み、現在位置にある画像をロードする。
【0046】
第2の例では、現在位置をN番目の画像のロード中に変更する。例えば、Nは10であり、11番目の画像のロードの後に現在位置が変更された場合を考える。第11番目の画像のロードの後、ロード回路24はステージ30そして32に進む。ステージ32では、ロード回路24は現在位置にある画像がロードされたかどうかをたずねる。すでにロードされた画像の位置に現在位置が変更された場合、ロード回路24はステージ36に進み、上記のようにN番目の画像のロードを、21番目の画像から続ける。まだロードされていない画像の位置に現在位置が変更された場合、ロード回路24はステージ34に進み、現在位置にある画像をロードする。その後、ロード回路はステージ30そして32に進む。現在位置が再度変更されていない場合、ロード回路はステージ36に進み、上記のようにN番目の画像のロードを、21番目の画像から続ける。
【0047】
第3の例では、現在位置からM画像内の画像のロード中に現在位置を変更する。例えば、最初の、つまり、1番目の画像のロードに引き続き全てのN番目の画像をロードし、その間、現在位置が最初の位置のままである場合を考える。ステージ42の第1インスタンスでは、ロード回路24は2番目の画像をロードする。その後現在位置を、例えば、17番目の画像の位置に変更する。ロード回路24はステージ30そして32に進む。ステージ32では、ロード回路24は17番目の画像がまだロードされていないと判断する。ステージ34では、ロード回路24は17番目の画像をロードする。ロード回路24はステージ30そして32に進み、ステージ32で17番目の画像はもうロードされたと判断する。ロード回路24はステージ36に進み、毎N番目の画像がロードされたと判断する。ロード回路24はステージ40に進み、17番目の画像の前後のM画像のうちのいくつかがまだロードされていないと判断する。ステージ42で、ロード回路24は18番目の画像をロードする。現在位置に対してさらなる変更がない場合、ロード回路24は19番目、20番目、22番目の画像がロードされるまで(21番目の画像はN番目の画像の一部として前回ロードされている)ステージ30,32,36,40,42を繰り返し、12番目から16番目の画像がロードされる。
【0048】
この第3の例では、正方向にある現在の画像のM画像内の画像および負方向にある現在の画像のM画像内の画像がロードされるまで、ロード回路24はステージ30,32,36,40,42を繰り返す。別の実施形態では、ロード回路24は、選択された方向にあるM画像をロードし、他方の方向にあるM画像をロードしなくてもよい。例えば、ロード回路24は現在のスクロール方向にあるM画像をロードしてもよい。
【0049】
図2の方法において、現在の画像がロードされ、その後、N番目の画像のサブセット、次に現在の画像の最も近くにあるM枚の画像のロードが行われる。別の実施形態では、異なるロード順番を使ってもよい。例えば、N番目の画像のサブセットの前に、最も近いM枚の画像をロードしてもよい。
【0050】
別の実施形態では、所定のローディングルールはさらなる基準に基づいて画像をロードしてもよい。所定のローディングルールは、1つ又は複数の取り込んだ所見からの位置、例えば、1つ又は複数の腫瘍の位置と合致した位置の画像をロードすることを含んでもよい。所定のローディングルールは、1つ又は複数の解剖学的ランドマーク、例えば、検出された又は診断上有用な解剖学的ランドマークセットの位置の画像をロードすることを含んでもよい。当該ランドマークは、医用画像にある、または、診断用にスキャンで得た病理に基づいて選択してもよい。ロード回路24は、臨床コードやシリーズ記述(series description)に基づいて、または任意の適切な方法を使って病理を決定してもよい。
【0051】
所見及び/またはランドマークに対応する画像は、所定のローディングルールのその他の要素に対して、任意の適切な順番でロードしてもよい。例えば、所見及び/またはランドマークに対応する画像を、最も近いM枚の画像の前または後にロードしてもよい。所見及び/またはランドマークに対応する画像を、N番目の画像のサブセットの前または後にロードしてもよい。
【0052】
図3は、ユーザからの入力操作に基づいてスライスセット間をナビゲートする方法の概要を示すフローチャートである。
図3の方法のスタートにおいて、所定のローディングルールに従って医用画像の一部がすでにロードされていてもよい。他の医用画像はまだロードされていない。
【0053】
ユーザが異なる方法でスライスセット間をナビゲートするかもしれないことが知られている。ある状況において、ユーザは大きなスクロール動作でスライス画像セット間をスクロールするかもしれない。ユーザはスライスセット内の大体の位置へとナビゲートするつもりかもしれない。ユーザは、1つの特定のスライスではなく、所望のスライス領域のなかの任意のスライスに到達することを期待しているかもしれない。
【0054】
別の状況では、ユーザはすべてのスライスの視聴を望んでいるかもしれない。ユーザは各スライスから次のスライスへとナビゲートするかもしれない。ユーザは、ナビゲーション動作により特定のスライスの表示されることを期待しているかもしれない。
【0055】
我々は、ユーザには2つの操作モードがあると考える。1つ目の操作モードをローカライズと呼びうる。ローカライズ時には、ユーザは特定の画像を目指していない。その代わりに、ユーザは一般的には、関心領域、例えば、特別な解剖学的構造(anatomy)を目指すだろう。ユーザは、大きなスクロール動作を表現するユーザ入力を行う。例えば、ユーザ入力はマウスのクリックやドラッグを含みうる。ユーザが大きなスクロール動作を行ったときの正確な移動先となる画像は、当該システムの性能に依存するものであり、ユーザが予測できるものではないだろう。
【0056】
もう一つの操作モードは読影(reading)と呼びうる。読影時には、ユーザは特定の画像を目指している。ユーザは、小さなスクロール動作を表現するユーザ入力を行う。例えば、ユーザ入力には、少量の(閾値より小さい)マウスホイールの使用、キープレス、マウスのクリック及びドラッグの使用、または自動スクロールを含みうる。
【0057】
ある状況において、ユーザはおおよそのエリアにローカライズし、その後、一度そのおおよそのエリアをこのエリアで読影するだろう。ある状況において、ユーザは上から下までスタディ(study)で取得された画像を読影するかもしれない。スタディを上から下まで読影する時には、ユーザは全てのスライスの視聴を期待する。
【0058】
図3の実施形態において、ナビゲーション回路28は大きなスクロール動作と小さなスクロール動作とを区別し、大きなスクロール動作を受け付けたときと小さなスクロール動作を受け付けたときで異なるナビゲーションモードを使うように構成されている。ナビゲーション回路28は、大きなスクロール動作を表現するユーザ入力(ローカライズ)を受け付けたときと、小さなスクロール動作が代表するユーザ入力(読影)を受け付けたときで異なる行動をとる。ユーザによる入力操作のうち、ローカライズ動作は、現在位置からユーザの所望の位置へ、表示対象の位置を移動する動作である。この場合、現在位置と移動先の位置の間に含まれる個々の画像の詳細を表示することは必須ではない。また、読影動作は、1枚1枚の画像を個別に表示させる動作である。
【0059】
ステージ50にて、ナビゲーション回路28はユーザインタラクション(user interaction)を表現するデータを受け付ける。ユーザインタラクションは、ナビゲーション動作としても記載される入力操作を含む。各入力操作は、現在位置から更新位置へスライス間を移動する距離を表現する。
【0060】
本実施形態において、ユーザは2種類の入力操作が可能である。ユーザはクリック&ドラッグ操作を行い、スライス間の大きな動作を行いうる。クリック&ドラッグ操作をアナログ動作と記載することがある。さらに別のアナログ動作には、例えば、タッチスクリーンのスワイプやジェスチャーが含まれうる。本実施形態において、第1の種類の入力操作が示す移動先は、第2の種類の入力操作が示す移動先よりも、現在位置から遠いものとする。現在位置から移動先までの遠さとは、例えば、現在表示されている画像に描出された被検体の部位から、ユーザの入力操作によって示される移動先の画像に描出された被検体の部位までの物理的距離の遠さである。また、現在位置から移動先までの遠さは、現在表示されている画像の撮像時刻から、ユーザの入力操作によって示される移動先の画像の撮像時刻までの時間的な遠さでも良い。あるいは、現在位置から移動先までの遠さは、画像が表示された表示スクリーン16上の距離の遠さでも良い。
【0061】
また、ユーザはマウスホイールを使ってスライス間の小さな動作、例えば、一回につき1スライスの移動を行ってもよい。マウスホイールの動作をアトミック(atomic)動作と記載することがある。アトミック動作の他の例としては、例えば、キープレスやシングルクリックが含まれうる。
【0062】
別の実施形態では、いかなる種類の入力操作を使ってもよい。それは、アナログ及び/又はアトミックであってもよい。
【0063】
ステージ52では、ナビゲーション回路28は入力操作が大きなスクロール動作であるかどうかを判断する。ナビゲーション回路28は、移動距離を決定するために、当該スクロール動作のサイズを使う。例えば、ユーザによるクリック&ドラッグ操作の距離を被検体の体軸に沿った距離に変換してもよい。マウスホイールが回転する距離を被検体の体軸に沿った距離に変換してもよい。
【0064】
本実施形態において、移動距離は、スライス間の間隔の倍数であることが期待される。移動距離を制御量と呼んでもよい。
【0065】
制御量が所定の閾値距離よりも大きい場合は、ナビゲーション回路28は入力操作が大きなスクロール動作であると判断する。閾値をデフォルトで設定してもよい。閾値をインストール時に設定してもよい。閾値をユーザが選択してもよい。ある実施形態では、閾値を動的に、例えば、システムローディングに基づいて調整してもよい。
【0066】
別の実施形態では、入力操作が第1の種類の入力操作であるか、または、第2の種類の入力操作であるかを判断するために、任意の適切な方法を使ってもよい。例えば、ナビゲーション回路は、スクロール動作がクリック&ドラッグである場合に第1の種類であると判断し、スクロール動作がマウスホイール動作である場合に第2の種類であると判断してもよい。ある実施形態では、入力操作の種類の判断は動作のサイズに依存しなくてもよい。または、特に、動作のサイズに依存してもよい。
【0067】
ナビゲーション回路はステージ54に進む。ステージ54では、ナビゲーション回路28は、移動距離を現在の画像、例えば、最初の画像の位置に加算して更新位置を決定する。更新位置の画像を移動先画像と呼んでもよい。
【0068】
ロード回路24は移動先画像が既にロードされているか否かを判断する。例えば、移動先画像は所定のローディングルールに従ってロードした画像の1つであるかもしれない。
【0069】
移動先画像がすでにロードされている場合は、表示回路26は移動先画像を表示する。フローチャートはステージ62で終了する。
【0070】
移動先画像がロードされていない場合は、ナビゲーション回路28はN番目の画像のうちの最も近い画像を特定する。
【0071】
ステージ56にて、ナビゲーション回路28は特定した画像の位置へ位置をスナップする。特定した画像が既にロードされている場合は、表示回路26は特定した画像を表示スクリーン16に表示する。特定した画像がまだロードされていない場合は、ロード回路24は移動先画像をロードし、その後、表示回路26が移動先画像を表示スクリーン16に表示する。
【0072】
大きなスクロール動作の場合、ユーザはN番目の画像のうちの最も近い画像へスナップされる。N番目の画像のうちの最も近い画像がすでにロードされている場合、移動先画像の代わりに最も近いN番目の画像が表示され、移動先画像はオンデマンドでロードされない。最も近いN番目の画像へスナップすることにより、ロードリソースが節約される。複数のナビゲーション動作を考慮すると、ロードされる画像の数は、全ての画像がロードされた場合、または、ユーザがナビゲートした各画像をオンデマンドでロードした場合と比べて少なくなることが期待される。
【0073】
ユーザが大きなスクロール動作を行うときは、ユーザは正確なスライスへの到達を期待していない、と予想される。そのため、スナッピングはユーザの体験に否定的な影響を与えないだろう。大きなスクロール動作を行うことで、ユーザはスライスのおおよその領域でのローカライズを要望していることを示しているのだろう。
【0074】
ある状況において、N番目の画像のサブセットの使用により、一定のナビゲーション体験をユーザに提供するだろう。大きなスクロール動作を行うときは、ユーザはNスライスおきでのスライスセットのナビゲートに慣れるかもしれない。スナッピング用の規則的グリッドのユーザとは、ユーザがどのように当該システムが行動するかを思い描けることを意味するかもしれない。ユーザは常に、要望位置の一定の距離内に行き着くだろう。
【0075】
実施形態において、第1の種類の入力操作が使用されたときに、ナビゲーション回路28は、移動先画像がロードされているか否かにかかわらず、常に、N番目の画像のなかの最も近いものへスナップする。別の実施形態では、ナビゲーション回路28は任意の適切な画像へスナップしてもよい。例えば、移動先画像がまだロードされていない場合、ナビゲーション回路28は最も近いロード済画像へスナップしてもよい。最も近いロード済画像は、例えば、N番目の画像の1つかもしれないし、最も近いM枚の画像の1つかもしれないし、または、ナビゲーション回路28が以前にナビゲートした画像かもしれない。
【0076】
次に、ユーザインタラクションが大きなスクロール動作ではないとステージ52にて判断された場合を考える。フローチャートはステージ58へ進む。ナビゲーション回路28は、ステージ52で決定した制御量に基づいて、入力操作が小さいスクロール動作であるかを判断する。制御量が所定の閾値を下回る場合は、ナビゲーション回路28は入力操作が小さいスクロール動作であると判断する。
【0077】
フローチャートはステージ60へ進む。ナビゲーション回路28は、現在位置に移動距離を加算して、更新位置を決定する。
【0078】
ナビゲーション回路28は位置を更新位置に移動する。更新位置はターゲット位置または要望位置とも記載し得る。更新位置にある画像がロードされていない場合、ロード回路24は更新位置にある画像をロードする。表示回路26は更新位置にある画像を表示する。フローチャートはステージ82で終了する。
【0079】
動作が小さなスクロール動作である場合、ユーザは読影操作を行っていると予想される。よって、ユーザは特定のスライスへの移動を要望している。当該スライスの画像がロードされていてもロードされていなくとも、ユーザはそのスライスへ移動される。スナッピングは行われない。代わりに、位置は更新位置へ移動し、講師日にある画像がオンデマンドでロードされる。現在位置にある画像のロードは、画像ロードにおいて最優先である。
【0080】
入力操作が大きなスクロール動作でもなく、小さなスクロール動作でもない場合、フローチャートはナビゲーションを行わずにステージ82で終了する。
【0081】
ローカライズ時にはスナッピングはユーザに受け入れられると考えられるが、読影時にはスナッピングは受け入れないだろう。そのため、ユーザがローカライズしていると考えられるときと、ユーザが読影していると考えられるときとでは、異なるナビゲーション行動が使用される。ローカライズ時のナビゲーションは、いくぶん不正確でありうる。読影時のナビゲーションは常に正確である。
【0082】
図2及び3の方法は、十分なユーザ体験を提供しつつ、システムリソースを効率的に活用し得る。
図2及び3の方法は、コンピューティングリソースを複数のユーザで共有する企業向けイメージングプロダクトで使用し得る。パラメータ(例えば、Nの値)は、多数のユーザへのアクセス付与と、良いユーザ体験とのトレードオフで選ばれるかもしれない。
図2及び3の方法は、全てのスライスを直ちにロードする方法と比べて、少ないシステムリソースを使用するだろう。当該システムでは、全ての画像を先制してロードせずに少ないシステムリソースを使用するが、ユーザは
図2及び3の方法と全ての画像を先制的にロードする方法との違いにはほとんど気が付かないだろう。
【0083】
図2及び3の方法は、各スライスをユーザによる要求のみでロードする方法に比べて、良いユーザ体験を提供するだろう。ユーザは、十分なレートの1秒あたりのフレーム数でのスクロールを体験するかもしれない。大きなスクロール動作を行うときには、当該スクロール動作のサイズが示す正確な移動先画像ではないが、移動先画像に最も近いN番目の画像の1つにスナップされても、ユーザは気が付かないだろう。
【0084】
図4から7は、スライスセットのロード及びナビゲーションの例を示す。
図4から7に示す例では、N=6である。
【0085】
図4は、スライスセットを表す。スライスのロード及びナビゲーション開始位置をラベル70で示す。スライス72,74,76は既にロードされており、そのため画像として表されている。これらの画像をユーザに表示している場合でなくてもよい。スライス78はまだロードされておらず、そのため空欄として示される。ロードされた画像は、最初の画像とN番目の画像を含む。この例では、Nは6である。
【0086】
図5は、
図4と同一のスライスセットを示す。
図5に示す例では、ユーザは大きなスクロール動作を含む入力操作を行う。ナビゲーション回路28は大きなスクロール動作に対応する距離を決定する。当該距離を矢印80で示す。
図5に示す例では、矢印80の距離はスライス間の増分の4倍である。実際には、大きなスクロール動作は
図5に示すものよりも大きいことが多い。図の簡略性のため、
図5では少数のスライスのみを示す。
【0087】
図3の方法のステージ50で、ナビゲーション回路28は入力操作を表現するデータを受け付ける。ステージ52で、ナビゲーション回路28は、入力操作は大きなスクロール動作であると判断する。ステージ54で、ナビゲーション回路28は、矢印80の先端にある移動先画像82がまだロードされていないと判断する。ナビゲーション回路28は、最も近いN番目の画像である、
図5の画像74に位置を移動する。画像74への位置のスナッピングは、矢印84で表される。画像74は既にロードされている。表示回路26は画像74を表示する。
【0088】
図6は、
図4及び
図5と同一のスライスセットを示す。
図6に示す例では、現在の画像は画像74である。
図6のステージ50で、ナビゲーション回路28は入力操作を表現するデータを受け付ける。ステージ58で、ナビゲーション回路28は、入力操作が小さなスクロール動作を含むと判断する。ステージ60で、ナビゲーション回路28は、小さなスクロール動作に対応する距離を決定する。当該距離を
図6の矢印90で示す。ナビゲーション回路28は更新位置を決定する。
図6の例では、更新位置にある移動先画像は画像92である。ナビゲーション回路28は現在位置を更新位置に移動する。ロード回路24は移動先画像92をロードする。
【0089】
図7は、所定のローディングルールに従ったロードを示す。
図7は、
図4,5,6と同一のスライスセットを示す。スライス72,74,76,92は既にロードされている。スライス92は現在の画像である。
【0090】
ロード回路24は既に毎N番目の画像をロードした。ロード回路24は既に現在の画像92をロードした。よって、所定のローディングルールに従って、ロード回路24は、現在の画像に最も近い画像100,102をロードする。
【0091】
上記の実施形態において、単一の所定のローディングルールが所与のスライスセット間の全てのナビゲーションに適用されている。
【0092】
ある実施形態では、ロード回路24は、1つ又は複数の最後のユーザ動作に基づいてローディングルールを切り替えるように構成される。
【0093】
本実施形態において、毎N番目の画像がロードされると、ロード回路24はユーザの現在位置の周辺にあるM枚の画像をロードする。ロード回路24は現在位置から負の方向にあるM枚の画像および現在位置から正の方向にあるM枚の画像をロードする。別の実施形態では、ロード回路24は、正の方向または負の方向(両方向ではない)にある画像をロードしてもよい。ロード方向は、ユーザが最後にスライスをナビゲートした方向、例えば、ユーザが最後に読影した方向に基づいてもよい。
【0094】
ある実施形態では、ロード回路24は、毎N番目の画像のロードと、ユーザ位置周囲の+/-M枚の画像のロードとを、最後のユーザアクションがローカライズであったか、または、読影であったかに基づいて切り替えてもよい。ある実施形態では、ロード回路24は毎N番目の画像のロードでスタートする。ユーザによるローカライズ動作が行われている場合、ロード回路24は毎N番目の画像のロードを続ける。ユーザによる読影動作が行われている場合、ロード回路24は、まだロードされていないN番目の画像があったとしても、ユーザ位置周囲の画像のロードへ切り替える。その後ユーザがローカライズ動作を行う場合、ロード回路24は毎N番目の画像のロードに戻る。別の実施形態では、いかなるローディングルールを使ってもよい。
【0095】
本実施形態において、所定のローディングルールは、第1番目の画像から増加する順番での毎N番目の画像のロードを含む。別の実施形態では、任意の適切な順番での毎N番目の画像のロードを使ってもよい。毎N番目の画像のロードの順番はユーザ動作に応じて変更してもよい。順番は、現在位置に最も近いN番目の画像のロードを優先するように変更してもよい。N番目の画像をロードする方向(正または負)は、ユーザによるナビゲーションの方向に依存して選択してもよい。
【0096】
ロード回路24はN番目の画像の一部だけをロードするかもしれない。例えば、ロード回路24は、N番目の画像のうち、現在位置に最も近いX枚の画像だけをロードするかもしれない。現在位置に最も近いN番目の画像だけのロードは、ユーザがスクロール位置をある最大レートでのみ移動できるという想定に基づき得る。
【0097】
ある実施形態では、ローディングルールは、関心位置、例えば、所見または解剖学的ランドマークの周辺の画像のロードを優先するかもしれない。ある実施形態では、ロード回路24は関心位置周辺のすべての画像をロードする。ある実施形態では、ロード回路24は関心位置周辺でNの値を減少させ、関心位置周辺において画像シリーズの残りよりも密な画像グリッドをロードする。
【0098】
ある実施形態では、ローディングルールは、まず厚いスライスをロードし、次に薄いスライスをロードしてもよい。
【0099】
ローディングルールをインストール時に調整してもよい。N,M,Xその他のパラメータの値を手動または自動で選択してもよい。大きなスクロール動作と小さなスクロール動作を区別する距離の閾値を、手動または自動で選択してもよい。ある状況において、パラメータの値を、システムでの現在のロードに基づいて動的に変更してもよい。
【0100】
ある実施形態では、モデルを訓練して、動作をローカライズ動作または読影動作に分類する。ローカライズと読影との分類は、その後、ナビゲーション回路28が最も近いロード済画像へスナップするか否かを判断するために使ってもよい。
【0101】
ある実施形態では、モデルを訓練して、ユーザの前の動作に依存してユーザの次の動作を予測する。単純な例として、ユーザが複数の読影動作を一方向で行う場合、モデルはさらなる読影動作が同一方向で行われると予測するだろう。ある状況において、モデルはより複雑な予測を行ってもよい。例えば、モデルは、どのようにユーザがローカライズと読影を交代するかを予測してもよい。トレーニング済モデルは、例えば、長・短期メモリ(LSTM)を備えてもよい。ある実施形態では、モデルをユーザの大規模コホートの動作で訓練する。ある実施形態では、モデルを単一のユーザの動作で訓練し、モデルをそのユーザの動作に合わせるようにする。異なるユーザは異なるブラウジングパターンを持つだろう。
【0102】
モデルによるユーザの次の動作の予測は、ローディングルールへの入力として使用してもよい。どの画像を次にロードするかの選択を、ユーザの次の動作の予測に基づいて行ってもよい。
【0103】
上記実施形態において、画像シリーズの各画像は、空間において個別の異なる位置を表現する。各画像は被検体の身体に沿った位置を表現する。別の実施形態では、当該位置は、被検体の身体に沿った位置ではない空間位置であってもよい。
【0104】
さらなる実施形態では、シリーズの各画像は、時間において個別の異なる位置を表現してもよい。例えば、画像は時系列画像を形成してもよい。画像は動作の(例えば、心臓の動作、呼吸の動作)異なるフェーズを表現してもよい。画像は、造影剤(contrast)導入における異なるステージ、または、灌流(perfusion)の異なるステージを表現してもよい。
【0105】
ある実施形態は、医用イメージング記憶装置を提供する。当該医用イメージング記憶装置は、ユーザに関する画像シリーズ、膨大なリソースコストを伴う画像ロード操作、当該シリーズの特定画像を視聴する能力、ユーザによる視聴画像を変更するナビゲーション動作をもつ。ここにおいて、システムは、現在位置の画像のロードを優先し、次に画像位置セットからの次の未ロード画像のロードを優先し、最後に現在位置周辺の画像のロードを優先する。システムは、ユーザによるナビゲーション動作がローカライズまたは読影のためかを判断する。システムは、ユーザ動作、ユーザ動作がローカライズまたは読影に分類されるかの判断、候補画像位置セット、および画像のロード済/未ロード状態に基づいて視聴位置を更新する。
【0106】
システムは、ユーザの意図した位置の経時変更およびユーザが位置を変更するメカニズムを評価することで、動作がローカライズ動作か読影動作かを判定するかもしれない。ユーザはキープレス等のアトミック動作を行うかもしれない。当該アトミック動作を読影動作として判断してもよい。ユーザは、より長い時間で小さな量を動かすマウスドラッグ操作等のアナログ動作を行うかもしれない。当該アナログ動作を読影動作として判断してもよい。ユーザは、より短い時間でのより大きい量を動かすマウスドラッグ操作等のアナログ動作を行うかもしれない。当該アナログ動作をローカライズ動作として判断してもよい。
【0107】
システムは、ローカライズ動作に対して、ターゲット位置がロードされている場合はターゲット位置へ移動、さもなければ、候補位置セット内の最も近い位置へスナップするかもしれない。システムは、読影動作に対して、常にその位置へ移動するかもしれない。
【0108】
候補位置セットは、シリーズを通して空間的に規則的に分布する毎N番目の画像であってもよい。この値を調整してもよい。
【0109】
ある実施形態は、それぞれ個別の異なる位置に対応している記憶された医用画像セットから医用画像をロードし、表示する方法を提供する。当該方法は、画像視聴位置を決定し、決定した画像視聴位置に基づいて画像のサブセットを選択する。サブセットの各画像は画像視聴位置またはその周囲の範囲にあるそれぞれ異なる位置と対応している。サブセットが画像セットより少数の画像で当該位置の範囲を表すように、当該セットの非選択画像の位置にサブセットの選択画像の位置が散在する。当該方法は、ロード操作を行い、選択画像をロードする。そして、更新画像視聴位置へナビゲートするナビゲーション動作を受け付け、当該ナビゲーション動作が第1の種類である場合は第1の画像表示処理を行い、当該ナビゲーション動作が第2の種類である場合は第2の画像表示処理を行う。第1の位置精度の低い画像表示処理は、サブセットの画像のなかの、更新画像視聴位置に最も近い、既にロード済の1つの画像を、それがセットのなかの未ロード画像よりも更新視聴位置が遠い場合であっても選択し、選択した画像を表示する。第2の位置精度の高い画像表示処理は、さらなるロード操作を行って、画像セットから、ロード済サブセットの画像よりも更新画像視聴位置の近くに対応するさらなる画像をロードし、当該さらなる画像を表示する。
【0110】
第1の種類のナビゲーション動作は、例えば、範囲のスキャンまたは検索など、粗い又はローカライズ動作であると判断されたナビゲーション動作を含みうる。第2の種類のナビゲーション動作は、ユーザが更新画像位置の特定の画像の視聴を希望していることを表すと考えられる読影動作であると判断される。
【0111】
ナビゲーション動作の種類は、画像視聴位置と更新画像視聴位置との差に依存して判定してもよい。第1の画像表示処理は、画像視聴位置と更新画像視聴位置との差が閾値量よりも大きい場合、選択画像のサブセットのなかの、更新画像視聴位置に最も近い1つを選択し、選択した画像を表示する。第2の画像表示処理は、画像視聴位置と更新画像視聴位置との差が閾値量以下である場合、さらなるロード操作を行い、画像セットから、サブセットの画像よりも更新画像視聴位置の近くに対応するさらなる画像をロードし、当該さらなる画像を表示する。
【0112】
ナビゲーション動作の種類は、ナビゲーション動作が示す画像視聴位置の変更レート、若しくは、当該ナビゲーション動作を生成するために使われるユーザ入力(例えば、キープレス等のアトミック動作、または、マウスドラッグ操作等のアナログ動作)の種類またはプロパティのうちの少なくとも1つに基づいて判定してもよい。
【0113】
位置は物理的位置でもよいし、範囲は物理的空間内の範囲でもよい。位置は時間における位置でもよい。範囲は時間的範囲でもよい。医用画像セットは時系列を表してもよい。
【0114】
ロード操作は、決められた順番でのサブセットの選択画像のロードを含んでもよい。順番は、決定した画像視聴位置からの距離に基づいて決定してもよい。
【0115】
順番は、第1に画像視聴位置にある、または、最も近い画像のロード、第2にサブセットの他の画像のロード、第3にサブセットに含まれない、画像視聴位置に最も近いさらなる画像のロードを含んでもよい。
【0116】
方法は、ナビゲーション操作に応答して、もしロード操作が終了していなければ、ロード操作を停止し、その後、更新画像視聴位置に基づいて決定したさらなるサブセットに対するさらなる選択およびロード操作を開始してもよい。
【0117】
ある実施形態は、処理回路を備えた医用システムを含む。当該処理回路は、複数のスライス医用画像データを記憶するメモリから、所定のデータ取得ルールに従って、医用画像データを順次取得し;医用画像データをディスプレイに表示する入力操作を受け付け;入力操作に基づいて医用画像データを表示し;ディスプレイに表示される医用画像データのスライス位置情報及びディスプレイに表示される医用画像データのスライス位置の更新に関する制御量を入力操作として受け付け;制御量が所定の閾値よりも大きい量に対応し、表示ターゲットのスライス位置に対応する医用画像データのメモリからの取得がまだ終了していない場合は、受け付けたスライス位置情報に基づいて、表示ターゲットを含む複数のスライス医用画像データのうちの、メモリからの取得が既に終了している表示医用画像データを特定し、特定した表示医用画像データをディスプレイに表示するように構成されている。
【0118】
処理回路はさらに、制御量が所定の閾値よりも小さな量に対応し、表示ターゲットのスライス位置に対応する医用画像データのメモリからの取得がまだ終了していない場合、受け付けたスライス位置情報に基づいて、表示ターゲットのスライス位置に対応する表示医用画像データをメモリから取得し、特定された表示医用画像データをディスプレイに表示するように構成されてもよい。
【0119】
所定のデータ取得ルールは、第1のスライス位置の医用画像データを取得し、第1のスライスの医用画像データを取得した後に、第1のスライス位置に隣接しない第2のスライス位置の医用画像データを取得してもよい。
【0120】
ある実施形態は、処理回路を備えた医用システムを含む。当該処理回路は、複数のスライス医用画像データを記憶するメモリから、所定のデータ取得ルールに従って、医用画像データを順次取得し;医用画像データをディスプレイに表示する入力操作を受け付け;入力操作に基づいて医用画像データを表示し;ディスプレイに表示される医用画像データのスライス位置情報及びディスプレイに表示される医用画像データのスライス位置の更新に関する制御量を入力操作として受け付け;制御量が所定の閾値よりも小さい量に対応し、表示ターゲットのスライス位置に対応する医用画像データのメモリからの取得がまだ終了していない場合は、受け付けたスライス位置情報に基づいて、メモリから表示ターゲットのスライス位置に対応する表示医用画像データを取得し、特定した表示医用画像データをディスプレイに表示するように構成されている。
【0121】
処理回路はさらに、制御量が所定の閾値よりも大きい量に対応し、表示ターゲットのスライス位置に対応する医用画像データのメモリからの取得がまだ終了していない場合は、受け付けたスライス位置情報に基づいて、表示ターゲットを含む複数のスライス医用画像データのうちの、メモリからの取得が既に終了している表示医用画像データを特定し、特定した表示医用画像データをディスプレイに表示するように構成されてもよい。
【0122】
所定のデータ取得ルールは、第1のスライス位置の医用画像データを取得し、第1のスライスの医用画像データを取得した後に、第1のスライス位置に隣接しない第2のスライス位置の医用画像データを取得してもよい。
【0123】
特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の1つまたは複数の機能を、1つの処理リソースまたは他のコンポーネントによって提供することができ、または、1つの回路によって提供される機能を、2つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。1つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する1つのコンポーネントを包含する。
【0124】
所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法およびシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法およびシステムの形態における様々な省略、置き換え、および、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項およびそれらに均等な範囲は、発明の範囲にはいるような形態および変更をカバーすると意図される。
【符号の説明】
【0125】
10 医用システム
12 コンピューティング装置
14 スキャナ
16 表示スクリーン
18 入力装置
20 データ記憶部
21 ネットワーク
22 処理装置
24 ロード回路
26 表示回路
28 ナビゲーション回路
29 ローカルメモリ