(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-27
(45)【発行日】2024-07-05
(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム、情報処理システム
(51)【国際特許分類】
A61B 6/03 20060101AFI20240628BHJP
A61B 6/46 20240101ALI20240628BHJP
G06T 7/00 20170101ALI20240628BHJP
G06F 3/04845 20220101ALI20240628BHJP
【FI】
A61B6/03 560D
A61B6/46 536P
A61B6/46 536Q
A61B6/03 560T
G06T7/00 612
G06F3/04845
(21)【出願番号】P 2022567772
(86)(22)【出願日】2022-04-12
(86)【国際出願番号】 JP2022017558
(87)【国際公開番号】W WO2022224869
(87)【国際公開日】2022-10-27
【審査請求日】2022-11-11
(31)【優先権主張番号】P 2021073175
(32)【優先日】2021-04-23
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】521177500
【氏名又は名称】株式会社fcuro
(74)【代理人】
【識別番号】100158850
【氏名又は名称】明坂 正博
(72)【発明者】
【氏名】岡田 直己
(72)【発明者】
【氏名】井上 周祐
【審査官】松岡 智也
(56)【参考文献】
【文献】特開2012-247879(JP,A)
【文献】特開2021-029387(JP,A)
【文献】韓国登録特許第10-2108401(KR,B1)
【文献】特開2004-173910(JP,A)
【文献】米国特許出願公開第2010/0141654(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58
A61B 5/055
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
患者の複数の身体部位を含む身体の状態の測定データに基づいて判定された疾患に関する判定結果を取得する取得手段と、
前記取得手段により取得された前記判定結果に基づく表示画像を表示装置に表示させる表示手段と、
を有し、
前記表示画像は、前記患者の複数の身体部位にそれぞれ対応する複数の画像オブジェクトを含み、
前記複数の画像オブジェクトに含まれる画像オブジェクトは、当該画像オブジェクトに対応する身体部位における疾患が存在する確度と疾患の重症度とに応じた態様で表示される、
情報処理装置。
【請求項2】
患者の複数の身体部位を含む身体の状態の測定データに基づいて判定された疾患に関する判定結果を取得する取得手段と、
前記取得手段により取得された前記判定結果に基づく表示画像を表示装置に表示させる表示手段と、
を有し、
前記表示画像は、前記患者の複数の身体部位にそれぞれ対応する複数の画像オブジェクトを含み、
前記複数の画像オブジェクトに含まれる画像オブジェクトは、当該画像オブジェクトに対応する身体部位に含まれる複数の測定位置それぞれにおける疾患が存在する確度
と疾患の重症度とを示す、
情報処理装置。
【請求項3】
前記患者の複数の身体部位は、解剖学的に分類された身体部位である、
請求項1又は請求項2に記載の情報処理装置。
【請求項4】
前記複数の画像オブジェクトは、前記判定結果から得られる疾患の重症度又は疾患が存在する確度に基づく優先度に応じた順序で並べて表示される、
請求項1又は請求項2に記載の情報処理装置。
【請求項5】
前記測定データは、コンピュータ断層撮影又は磁気共鳴断層撮影を用いた測定により得られるデータであり、
前記画像オブジェクトは、複数の測定位置それぞれにおける疾患が存在する確度を、前記測定における走査に応じた順序で表示する、
請求項1又は請求項2に記載の情報処理装置。
【請求項6】
前記画像オブジェクトは帯状のオブジェクトであり、
前記画像オブジェクトの各部分は、前記画像オブジェクトに対応する身体部位のうち当該部分に対応する測定位置における疾患の重症度に応じた態様で描画される、
請求項1又は請求項
2に記載の情報処理装置。
【請求項7】
前記画像オブジェクトはグラフを含み、
前記画像オブジェクトに対応する身体部位に含まれる各測定位置における疾患の存在確度は前記グラフの値で表され、
前記身体部位に含まれる各測定位置における疾患の重症度は前記グラフの色又はパターンで表される、
請求項1又は請求項
2に記載の情報処理装置。
【請求項8】
前記表示画像は、前記測定データを表す画像を表示する第1表示領域と、前記画像オブジェクトを表示する第2表示領域とを有し、
前記表示手段は、前記第2表示領域に表示された前記画像オブジェクトに対して行われたユーザ操作の位置に応じて、前記第1表示領域に表示させる前記測定データを表す画像を切り替える、
請求項1又は請求項2に記載の情報処理装置。
【請求項9】
前記表示画像は、前記測定データを表す画像を表示する第1表示領域と、前記画像オブジェクトを表示する第2表示領域とを有し、
前記表示手段は、前記第1表示領域の表示サイズを指定する入力に応じて、前記第2表示領域に表示させる前記画像オブジェクトの態様を切り替える、
請求項1又は請求項2に記載の情報処理装置。
【請求項10】
前記取得手段は、複数の症例にそれぞれ対応する複数の判定結果を取得し、
前記表示画像は、各症例の各身体部位における疾患が存在する確度を示す、
請求項1又は請求項2に記載の情報処理装置。
【請求項11】
検索条件を受け付ける受付手段を有し、
前記取得手段は、前記受付手段により受け付けられた前記検索条件に応じた前記複数の症例にそれぞれ対応する前記複数の判定結果を取得する、
請求項
10に記載の情報処理装置。
【請求項12】
取得手段が、患者の複数の身体部位を含む身体の状態の測定データに基づいて判定された疾患に関する判定結果を取得する取得工程と、
表示手段が、前記取得工程により取得された前記判定結果に基づく表示画像を表示装置
に表示させる表示工程と、
を備え、
前記表示画像は、前記患者の複数の身体部位にそれぞれ対応する複数の画像オブジェクトを含み、
前記複数の画像オブジェクトに含まれる画像オブジェクトは、当該画像オブジェクトに対応する身体部位における疾患が存在する確度と疾患の重症度とに応じた態様で表示される、
情報処理方法。
【請求項13】
取得手段が、患者の複数の身体部位を含む身体の状態の測定データに基づいて判定された疾患に関する判定結果を取得する取得工程と、
表示手段が、前記取得工程により取得された前記判定結果に基づく表示画像を表示装置
に表示させる表示工程と、
を備え、
前記表示画像は、前記患者の複数の身体部位にそれぞれ対応する複数の画像オブジェクトを含み、
前記複数の画像オブジェクトに含まれる画像オブジェクトは、当該画像オブジェクトに対応する身体部位に含まれる複数の測定位置それぞれにおける疾患が存在する確度
と疾患の重症度とを示す、
情報処理方法。
【請求項14】
コンピュータに情報処理方法を実行させるための情報処理プログラムであって、
前記情報処理方法は、
患者の複数の身体部位を含む身体の状態の測定データに基づいて判定された疾患に関する判定結果を取得する取得工程と、
前記取得工程により取得された前記判定結果に基づく表示画像を表示装置に表示させる表示工程と、
を有し、
前記表示画像は、前記患者の複数の身体部位にそれぞれ対応する複数の画像オブジェクトを含み、
前記複数の画像オブジェクトに含まれる画像オブジェクトは、当該画像オブジェクトに対応する身体部位における疾患が存在する確度と疾患の重症度とに応じた態様で表示される、
情報処理プログラム。
【請求項15】
コンピュータに情報処理方法を実行させるための情報処理プログラムであって、
前記情報処理方法は、
患者の複数の身体部位を含む身体の状態の測定データに基づいて判定された疾患に関する判定結果を取得する取得工程と、
前記取得工程により取得された前記判定結果に基づく表示画像を表示装置に表示させる表示工程と、
を有し、
前記表示画像は、前記患者の複数の身体部位にそれぞれ対応する複数の画像オブジェクトを含み、
前記複数の画像オブジェクトに含まれる画像オブジェクトは、当該画像オブジェクトに対応する身体部位に含まれる複数の測定位置それぞれにおける疾患が存在する確度
と疾患の重症度とを示す、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。
【背景技術】
【0002】
人を医用画像撮影装置によって撮影して得られた医用画像に対し、この医用画像にデータをタグ付けした教師データを用いた学習済みモデル(識別器)を用いて画像判定を行う技術が開示されている(例えば、特許文献1参照)。この技術では、学習済みモデルを用いた画像判定によって、医用画像が複数種別の病変パターンのうちのどの病変パターンに該当するかを判別している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、医療現場では、患者の重症度や症状、などを緊急に把握して処置することが求められる場合も多い。このため、医用画像の判定のみならず、判定結果をどのように提示するかも非常に重要である。
【0005】
本発明は、上記課題を鑑みてなされたものであり、判定結果を把握しやすい情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決すべく、本発明の情報処理装置は、患者の身体状態を測定した測定データを取得する第1取得部と、人間の身体状態を測定した測定データに対して、測定データに含まれる身体部位の第1分類及び身体部位の疾患の有無をラベル付けした教師データを用いた機械学習により生成された第1疾患判定モデルを用いて、第1取得部が取得した測定データの身体部位の第1分類及び身体部位の疾患の有無を取得する第2取得部と、第2取得部が取得した身体部位の疾患の有無を第1分類に応じて表示させる表示部と、を備える。
【発明の効果】
【0007】
本発明によれば、判定結果を把握しやすい情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供することができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係るサーバのハード構成の一例を示す図である。
【
図2】実施形態に係るサーバの機能構成の一例を示す図である。
【
図4】実施形態に係るサーバの表示装置に表示される画面の一例を示す図である。
【
図5】実施形態に係るサーバの表示装置に表示される画面の一例を示す図である。
【
図6】実施形態に係るサーバで実行される情報処理の一例を示すフローチャートである。
【
図7】実施形態に係るサーバで実行される情報処理の一例を示すフローチャートである。
【
図8】実施形態に係るサーバで実行される情報処理の一例を示すフローチャートである。
【
図9】実施形態の変形例2に係るサーバの機能構成の一例を示す図である。
【
図10】実施形態の変形例2に係るサーバの表示装置に表示される画面の一例を示す図である。
【
図11】実施形態の変形例2に係るサーバの表示装置に表示される画面の一例を示す図である。
【
図12】実施形態の変形例2に係るサーバの表示装置に表示される画面の一例を示す図である。
【
図13】実施形態の変形例2に係るサーバで実行される情報処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、人間の身体の状態を測定した測定データとして、患者の身体の内部を撮影したCT画像(コンピュータ断層撮影画像)を用いる実施例について説明するが、測定データはCT画像に限られるものではなく、例えばMRI画像(磁気共鳴断層撮影画像)などの他の医用画像や三次元計測データ、その他の検査データであってもよい。
また、下記実施形態では、情報処理装置(サーバ)は、施設内にサーバを設置するスタンドアローンもしくはオンプレミス(on-premises)型、施設外にサーバを設置するクラウド型のいずれであってもよい。
【0010】
[実施形態]
初めに、
図1を参照してサーバ1(情報処理装置)のハード構成について説明する。
図1に示すように、サーバ1は、通信IF100A、記憶装置100B、入力装置100C、表示装置100D、CPU100Eがバス(不図示)を介して接続された構成を有する。
【0011】
通信IF100Aは、測定データや教師データを取得する際に使用する通信インターフェースである。ここで測定データとは、一枚のCTスライスの画像データに対応する。また測定データには、識別情報(ID)や患者ごとに管理するための情報(例えば、患者名や患者IDなど)、撮像日時、症例IDなどの情報がメタデータとして付与されている。
【0012】
記憶装置100Bは、例えば、HDD(Hard Disk Drive)や半導体記憶装置(SSD(Solid State Drive))である。記憶装置100Bには、各種情報や情報処理プログラムが記憶されている。なお、記憶装置100Bに測定データを記憶してもよい。
【0013】
入力装置100Cは、例えば、キーボード、マウス、タッチパネルなどの入力デバイスであるが、入力可能であれば、他の装置や機器であってもよい。また、音声入力装置であってもよい。
【0014】
表示装置100Dは、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどであるが、表示可能であれば他の装置や機器(例えば、CRT:Cathode Ray Tube)であってもよい。
【0015】
CPU100Eは、サーバ1を制御し、図示しないROM及びRAMなどを備える。
【0016】
(サーバ1の機能)
次に、
図2を参照してサーバ1の機能について説明する。
図2に示すように、サーバ1は、記憶装置制御部101、入力受付部102、第1取得部103、第1疾患判定モデル104A、第2疾患判定モデル104B、第2取得部105、表示部106、出力部107などの機能を有する。なお、
図2に示す機能は、それぞれCPU100Eが、ROMや記憶装置100Bなどに記憶されている情報処理プログラムなどを実行することで実現される。
【0017】
記憶装置制御部101は、記憶装置100Bを制御する。例えば、記憶装置制御部101は、記憶装置100Bへの情報の書き込みや読み出しを行う。
【0018】
入力受付部102は、例えば、入力装置100Cからの入力操作を受け付ける。
【0019】
第1取得部103は、通信IF100Aを介して患者の身体状態を測定した測定データを取得する。なお、第1取得部103は、ネットワークを介して接続された他の装置(例えば、CT装置、VNA(vendor-neutral archive)又はPACS(Picture Archiving and Communication System))から測定データを取得してもよいし、サーバ1のユーザ(例えば、医療従事者)などが入力した測定データを取得してもよい。また、記憶装置100Bに測定データを記憶している場合には、記憶装置100Bから測定データを取得してもよい。本実施形態において、第1取得部103により取得される測定データは、患者の複数の身体部位を含む領域(例えば患者の全身領域又は首から足先までの領域)を撮影することで得られる複数枚のCTスライス画像を含む。
【0020】
第1疾患判定モデル104Aは、人間の身体状態を測定した測定データであるCTスライスの一枚一枚の画像データに対して、測定データに含まれる身体部位の簡易的な分類(例えば、頭部・胸部・腹部・骨盤部などの部位の箇所と部位名)、該身体部位における疾患箇所と疾患名をラベル付けした教師データを用いた機械学習により生成されたモデルである。第1疾患判定モデル104Aは、該モデルを用いて測定データの疾患の有無を判定し、該判定結果に応じて、患者の各身体部位の重症度及び身体全体の重症度を判定する。
ここで、第1疾患判定モデル104Aは、例えば、患者の身体状態を測定した測定データにおいて疾患有の測定データの枚数が多い、頭部は、例えば10枚以上連続すれば重症などと判定する。また、第1疾患判定モデル104Aは、例えば、重症部位が何箇所以上で患者全体として重症などを判定する。なお、重症度をどのように判定するかは任意であり、上記例に限られない。
【0021】
第1疾患判定モデル104Aは、身体部位(頭部・胸部・腹部・骨盤部(より詳細に部位をわけてもよい))の疾患の有無及び重症度を10秒程度で高速に判定するモデル(超緊急用モデル)である。この第1疾患判定モデル104Aは、教師データを用いた機械学習により生成された複数のモデルにより構成されている。実施形態では、第1疾患判定モデル104Aは、身体部位の分類ごとに、人間の身体状態を測定した測定データであるCTスライスの一枚一枚の画像データに対して、測定データに含まれる身体部位の簡易的な分類(例えば、頭部・胸部・腹部・骨盤部などの部位の箇所と部位名)、該身体部位における疾患箇所と疾患名をラベル付けした教師データを用いた機械学習により生成されたモデルで構成されている。このため、実施形態の第1疾患判定モデル104Aでは、「頭部」、「胸部」、「腹部」、「骨盤部」の分類ごとに生成されたモデルにより測定データの疾患の有無の判定が行われる。なお、この第1疾患判定モデル104Aは、より多くのモデルにより構成されていても構わない。
【0022】
第2疾患判定モデル104Bは、人間の身体状態を測定した測定データであるCTスライスの一枚一枚の画像データに対して、測定データに含まれる身体部位の詳細な分類(例えば、肝臓・膵臓・脾臓・骨・血管などの部位の箇所と部位名)、該身体部位における疾患箇所(場所の名前、セグメンテーション、bounding-box(画像のどの範囲かを示す情報)による指摘など)と疾患名をラベル付けした教師データを用いた機械学習により生成されたモデルである。第2疾患判定モデル104Bは、第1疾患判定モデル104Aよりも詳細な身体部位(肝臓、脾臓や血管の名前などに加え肝臓の区域(より詳細に部位を分けてもよい)、場所の名前、セグメンテーション、bounding-box(画像のどの範囲かを示す情報)、疾患名、重症度、疾患確度(確率)を1分程度で判定するモデル(緊急用モデル)である。
第2疾患判定モデル104Bは、第1疾患判定モデル104Aと同様に、例えば、患者の身体状態を測定した測定データにおいて疾患有の測定データの枚数が多い、頭部は、例えば10枚以上連続すれば重症などと判定する。また、第2疾患判定モデル104Bは、例えば、重症部位が何箇所以上で患者全体として重症などとを判定する。
なお、第2疾患判定モデル104Bでの重症度の判定には、例えば、全体の組織の何パーセントを占める部分が病変か前回の測定データ(CTスライス)に対してそのパーセントが増加しているのか減少しているのかの比較、疾患の種類(病名)による重み付けなどを行ってもよい。なお、重症度をどのように判定するかは任意であり、上記例に限られない。
なお前回の測定データと比較する場合、前回の測定データをユーザが指定するようにしてもよいし、測定データのメタデータに含まれる患者ID等の患者を特定するデータを利用してもよい。
【0023】
また、第2疾患判定モデル104Bには、疾患の名称と重症度に対して、治療法及びコンサルトすべき診療科の候補、高次機関への転送など診療方針などの情報(以下、治療方針等ともいう)が紐づけられている。このため、判定された疾患名称及び重症度に応じた診療方針等を表示させることができる。
【0024】
このように、実施形態に係るサーバ1は、第1疾患判定モデル104Aを利用して、簡易的な身体部位(例えば、頭部・胸部・腹部・骨盤部)を認識し、その部位における疾患の有無及び重症度などを高速に判定した後、第2疾患判定モデル104Bを利用して、より詳細な身体部位(例えば、肝臓・膵臓・脾臓・骨・血管)を認識し、そこに含まれる疾患について、疾患の名称及び疾患の発生箇所や発生セグメント情報及び重症度、疾患確度(確率)などを判定する。つまり、超緊急用モデルである第1疾患判定モデル104Aと、緊急用モデルである第2疾患判定モデル104Bとを利用することにより、第1疾患判定モデル104Aにより即座に身体のどの部分に疾患が発生しているかや重症度などを把握(表示装置100Dへの表示(描画)に10秒程度)するとともに、第2疾患判定モデル104Bにより詳細部位ごとの疾患名や疾患の発生箇所の情報(以下、疾患の詳細ともいう)や重症度などが把握できる(表示(描画)まで1分程度)。
【0025】
なお、実施形態では、ラベル付けする教師データはCTスライス画像に対して各疾患及び部位の情報をそれぞれ多角形ポリゴン化(多角形ポリゴン自体は既知の技術であるため説明を省略する)したもので、これにより疾患の箇所、疾患名、大きさが把握出来る様になっている。また、入力した多角形ポリゴンの内部を疾患名ごとの色で塗りつぶしたものをセグメント情報と称している。
また、実施形態では、教師データとしてCTスライス画像に対して各疾患及び部位の情報をそれぞれ多角形ポリゴン化したデータを用いているが、身体部位(肝臓、脾臓や血管の名前などに加え肝臓の区域(より詳細に部位を分けてもよい)、場所の名前、セグメンテーション、bounding-box(画像のどの範囲かを示す情報)、疾患名、及び重症度を判定することができればよく、他の手法により作成された教師データを利用する構成であってもよい。
【0026】
出力部107は、第1取得部103及び第2取得部105の少なくとも一方が取得した情報の一部又は全部を出力する。より具体的には、出力部107は、第1取得部103及び第2取得部105の少なくとも一方が取得した情報から生成される画像診断レポート形式のPDFファイルや研究用途の統計分析向けのデータファイルを出力する。ここで、データファイルは、第1疾患判定モデル104A及び第2疾患判定モデル104Bそれぞれの判定結果(重症度含む)や入力の測定データに含まれる患者情報のメタデータをjson(JavaScript(登録商標) Object Notation)やcsv(Comma Separated Values)ファイル等にしたものである。なお、ダウンロード(出力)可能な情報は、上記例に限られず、サーバ1から取得可能な他の情報が含まれていてもよい。なお、どのようなファイル形式で出力(DL)するかは任意であり、例えば、jsonやcsv以外のファイル形式であってもよい。
【0027】
図3は、実施形態に係る簡易的な身体部位の分類(頭部・胸部・腹部・骨盤部)の一例を示す図である。分類は、身体部位の解剖学的分類によりラベル付けしたものであり、
図3に示すように、実施形態では「頭部」、「胸部」、「腹部」、「骨盤部」に分類して教師データがラベル付けされている。
なお、「頭部」、「胸部」、「腹部」、「骨盤部」に分類する場合、
図3に示すように「頭部」及び「胸部」の両方(重複領域A)、「胸部」及び「腹部」の両方(重複領域B)、「腹部」及び「骨盤部」の両方(重複領域C)が含まれるCTスライスの画像データが存在する。
【0028】
なお、実施形態では、サーバ1の記憶装置100Bに第1疾患判定モデル104A及び第2疾患判定モデル104Bが記憶されているが、必ずしも記憶装置100Bに記憶されている必要はない。また、記憶装置100Bに記憶された各種情報の一部又は全部は、USB(Universal Serial Bus)メモリや外付けHDDなどの外部記憶装置やローカルネットワークを介して接続された他の情報処理装置の記憶装置に記憶されてもよい。この場合、サーバ1は、外部記憶装置や他の情報処理装置の記憶装置に記憶された各種情報を参照又は取得する。
【0029】
第2取得部105は、第1疾患判定モデル104Aを用いて、第1取得部103が取得した測定データの身体部位の分類(頭部・胸部・腹部・骨盤部)、疾患の有無及び重症度などの第1疾患判定モデル104Aが生成した情報(以下、第1判定結果ともいう)を取得する。
また、第2取得部105は、第2疾患判定モデル104Bを用いて、第1取得部103が取得した測定データに含まれる疾患についての疾患の名称及び疾患の発生箇所や発生セグメント情報及び重症度(疾患の詳細)などの第2疾患判定モデル104Bが生成した情報を取得する(以下、第2判定結果ともいう)。また、第2取得部105は、第2疾患判定モデル104Bを用いて、判定された疾患名称及び重症度に応じた治療方針等を取得する。
【0030】
表示部106は、例えば、第1取得部103が取得した測定データ(CTスライスの画像)、第2取得部105が取得した第1,第2判定結果や治療方針等などの情報を表示装置100Dに表示させる。
また、表示部106は、入力受付部102が患者の身体状態を測定した測定データの表示を受け付けると、入力受付部102が受け付けた内容に応じて、第1取得部103が取得した患者の身体状態を測定した測定データを表示させる。
また、表示部106は、第2取得部105が取得した判定結果を、判定結果に応じた態様(例えば、疾患の重症度に応じて異なる色や異なる塗りつぶしパターンで表示させるなど)で表示させる。
表示部106による表示装置100Dへの表示の詳細は、
図4を参照して後述する。
【0031】
図4~
図5は、サーバ1の表示装置100Dに表示される画面の一例を示す図である。
図4は、サーバ1の表示部106により表示装置100Dに表示される情報の一例を示す画面である。
図4に示すように、表示部106は、第1取得部103が取得した測定データ(画像データ)をviewer componentである第1表示エリア11に表示させ、第2取得部105が取得した第1疾患判定モデル104Aによる判定結果をtimeline componentである第2表示エリア12に表示させ、第2取得部105が取得した第2疾患判定モデル104Bによる判定結果をinformation componentである第3表示エリア13に表示させ、患者全体の重症度やその他操作用のアイコンなどをmeta componentである第4表示エリア14に表示させる。
【0032】
以下、各表示エリアについて説明する。
第1表示エリア11には、第1取得部103が取得した測定データ(いわゆるCTスライスの画像)が表示される。第1表示エリア11への描画にはAIモデルである第1疾患判定モデル104A及び第2疾患判定モデル104Bによる判定結果(処理結果)は含まれていない。例えば、第1表示エリア11に表示される画像は、第1取得部103が取得した複数のCTスライス画像(全身のCT画像)に含まれる1枚のCTスライス画像である。ただしこれに限らず、第1表示エリア11に表示される画像は、第1取得部103が取得した複数のCTスライス画像を再構成した画像(例えば断面の軸方向を90度変換した画像)であってもよい。また、第1表示エリア11に表示される画像は、第1取得部103が取得したCTスライス画像に対して、第1疾患判定モデル104Aと第2疾患判定モデル104Bの少なくとも何れかによる判定結果に応じた加工処理がされた画像であってもよい。加工処理は、例えば、CTスライス画像内の各領域を、当該領域における疾患の有無、疾患の種別、又は重症度に応じて異なる色又はパターンで塗り分ける処理である。なお、ユーザは、第1表示エリア11において、スライダー11Aを使って、測定データを頭から足の方に向かって3次元方向に遷移させることができるほか、骨を見やすい輝度や肺野を見やすい輝度などに画像を画面の輝度を変更したり(windowing)、描画された画像内をクリックするとクリックした場所における放射線の返り値を表示させる(疾患の詳細を分析する際に用いる)ことなどができるように構成されている。すなわち、サーバ1は、スライダー11Aに対するユーザ操作に応じて、第1取得部103が取得した複数のCTスライス画像のうち第1表示エリア11に表示させるCTスライス画像を切り替える。また、サーバ1は、第1表示エリア11内の所定領域に対するユーザ操作に応じて、第1表示エリア11に表示させるCTスライス画像に関するパラメータを変更したり当該CTスライス画像に関する情報を表示させたりする。
【0033】
第2表示エリア12には、第2取得部105が取得した第1疾患判定モデル104Aによる判定結果が表示される(撮影されたCT画像の入力後10秒程度で描画される)。ここで、表示部106は、
図4に示すように、身体部位の分類ごとに判定結果に応じた態様(例えば、疾患の重症度に応じて異なる色や異なる塗りつぶしパターンで表示させるなど)で帯状に表示させる。なお、
図4の第2表示エリア12に示す例では、「白色部」を「疾患なし」、「斜線部」を「疾患あり 軽症」、「黒色部」を「疾患あり 重症」としているが、どのような態様で表示させるかは任意であり、
図4の第2表示エリア12に示す例に限られない。このように、各行の帯を異なる色(青・黄色・赤など色分けや)や異なる塗りつぶしパターンで表示させることにより、一目でどこにどれだけ疾患があるか、を認識することができる。例えば、
図4の例においては、第1取得部103が取得した複数のCTスライス画像それぞれに対する重症度の判定結果が、当該スライス画像の撮影位置に応じて並べて表示されている。具体的には、患者の頭部に近い位置で撮影されたCTスライス画像の判定結果は画面の左寄りに表示され、患者の足先に近い位置で撮影されたCTスライス画像の判定結果は画面の右寄りに表示される。そのため、ユーザは、各帯における「重症」に対応する色がついている領域の画面左右方向における位置に基づいて、患者の身体のどの位置が重症の疾患を抱えているのかを簡単に把握できる。さらに、身体部位の分類ごとに帯が分けて表示されるため、ユーザは身体部位ごとの重症度を簡単に把握することができ、短時間で治療の方針を決定することができる。
【0034】
なお、「頭部」、「胸部」、「腹部」、「骨盤部」に分類する場合、
図3で説明したように「頭部」及び「胸部」の両方、「胸部」及び「腹部」の両方、「腹部」及び「骨盤部」の両方が含まれる画像データが存在するため、各身体部位に対応する帯の一部が画面左右方向における同じ位置に重複して表示される。重複している部分は、1つの画像データに「頭部」及び「胸部」、「胸部」及び「腹部」、「腹部」及び「骨盤部」のいずれかが含まれる(
図4に示す重複領域A、B、Cは、それぞれ
図3に示す重複領域A、B、Cに対応している)。
このため、画像データに「頭部」と「胸部」の両方が存在する重複領域Aには、「頭部」の疾患判定モデルと、「胸部」の疾患判定モデルとの判定結果が示される。
また、画像データに「胸部」と「腹部」の両方が存在する重複領域Bの測定データには、「胸部」の疾患判定モデルと、「腹部」の疾患判定モデルとの判定結果が示される。
また、画像データに「腹部」と「骨盤部」の両方が存在する重複領域Cの測定データには、「腹部」の疾患判定モデルと、「骨盤部」の疾患判定モデルとの判定結果が示される。例えば、重複領域Cにおいて、「腹部」に対応する帯には色づけがされていないが、「骨盤部」に対応する帯には「重症」又は「軽症」の色付けがされている。これは、重複領域Cに含まれる1枚のCTスライス画像が、「腹部」の疾患判定モデルによって「疾患なし」と判定され、「骨盤部」の疾患判定モデルによって「疾患あり」と判定されたことを示している。
【0035】
また、
図4では、「頭部12A」、「胸部12B」、「腹部12C」、「骨盤部12D」の順に疾患レベルが表示されている。このような並べ方は、患者の身体における各身体部位の上下方向の位置と対応しているため、ユーザが直感的に理解しやすいという利点がある。しかし、必ずしも「頭部12A」、「胸部12B」、「腹部12C」、「骨盤部12D」の順に表示させる必要は無く、「頭部12A」、「胸部12B」、「腹部12C」、「骨盤部12D」をどのような順で表示させるかは任意である。例えば、後述のように、帯の行数が増えてくるとその帯自体の確認にも手間取る事が考えられる。このような場合、表示部106は、第1疾患判定モデル104Aから取得した身体部位ごとの重症度に応じて、各身体部位に対応する帯をソートして重症度の高い順に上から表示するようにしてもよい。このようにソートして表示することで、より危険と考えられる箇所から優先して症状等を確認することができる。なお、帯の表示順序は、上記例(重症度順)に限られず、例えば、身体部位に応じた順序、外傷のみ/内科疾患のみなど種々の態様でソートして表示させるように構成してもよい。また、ユーザがソート態様を指定できるように構成してもよい。
【0036】
また、上述したように、実施形態では、身体部位の簡易的な分類を頭部・胸部・腹部・骨盤部としているが、分類を例えば、「胸部」でも「胸部外傷」と「胸部内科疾患」等に分けるなど、多層化した場合、
図4の12A~12Dに示す分類も多層化して表示される。換言すると、
図4に示す画面は、あくまで実施形態の一例であり、身体部位の分類がより多層化されている場合、より多層化された分類で表示装置100Dの第2表示エリア12に表示される。分類がより多層化されるパターンとしては、例えば、頭部・胸部・腹部が外傷/内科疾患で分類が分かれる、腹部が肝臓・胃に分類が細分化される、胸部が心臓・肺に分類が細分化される、など種々のパターンが考えられる。また、細分化は、上述の例に留まらず、肺野におけるCOVID疾患の有無など特定疾患に対する帯の行が追加されるパターンも考えられる。このように、
図4の第2表示エリア12では、頭部、胸部、腹部、骨盤部の4行の帯構成になっているが、細分化するレベルに応じた超緊急モデルの個数により、
図4の第2表示エリア12に表示される行数(帯数)も変動する。
【0037】
図5は、
図4に示す第2表示エリア12の領域12Xの部分拡大図である。表示装置100Dに表示される「頭部12A」、「胸部12B」、「腹部12C」、「骨盤部12D」の判定結果は、第1取得部103が取得した複数の各測定データ(画像データ)の判定結果の集りであるため、
図5に示すように、測定データ(画像データ)の枚数に対応する数の判定結果が表示される。
図5に示す例では、判定結果X1~X5がそれぞれ1枚の測定データ(CTスライスの画像データ)に対応している。ユーザは、ユーザがマウス等のポインティングデバイス(入力装置100C)を使用して、
図5に表示されている判定結果X1~X5から表示させたい判定結果を選択すると、
図4の測定データ(CTスライスの画像データ)を示す画面に表示される。すなわち、サーバ1は、第2表示エリア12に対するユーザ操作に応じて、第1取得部103が取得した複数のCTスライス画像のうち第1表示エリア11に表示させるCTスライス画像を切り替える。例えば、
図4に示す第2表示エリア12の頭部の帯の黒色部をクリックするとその頭部疾患が現れている測定データの画像を第1表示エリア11(viewer component)で確認することができ、利便性に優れる。
【0038】
第3表示エリア13には、第2取得部105が取得した第2疾患判定モデル104Bによる判定結果(治療方針等を含む)が表示される(撮影されたCT画像の入力後1分程度で描画される)。第3表示エリア13には、「右肺中葉に血管損傷あり、活動性出血」など、どの部位のどの場所にどういった疾患がどれくらいの重症度で出現しているかが分かるコメント(自然言語)と、対応する測定データのID(例えば、スライス番号)が表示される。表示部106は、第3表示エリア13内の各表示枠13A(カードともいう)内に上記疾患の判定結果(コメント及び測定データのID)をそれぞれ表示させる。表示部106は、測定データ内に出現している疾患数に応じて表示枠13Aを画面下に連結して増やすことにより、測定データ内に出現している疾患の判定結果を表示させる。
なお、この表示枠13A群も第2表示エリア12(timeline component)と同様に、総数が増えてくると確認に手間がかかることが考えられる。この場合において、表示部106は、第2疾患判定モデル104Bから取得した重症度に応じて、表示枠13Aをソートして重症度の高い順に上から表示するようにしてもよい。このようにソートして表示することでより危険と考えられる箇所から優先して症状等を確認することができる。なお、表示枠13Aの表示順序は、上記例(重症度順)に限られず、例えば、第2表示エリア12(timeline component)と同様に、身体部位に応じた順序、外傷のみ/内科疾患のみなど種々の態様でソートして表示させるように構成してもよい。また、ユーザがソート態様を指定できるように構成してもよい。
なお、第3表示エリア13(information component)については、特定疾患の有無を知りたいケースが多いため、画面右上などに検索窓を設け、この検索窓に疾患名や部位名を入力するとそれに該当する表示枠13A(カード)を表示するように構成してもよい。
【0039】
第4表示エリア14には、患者全体(全身)としての重症度14Aが表示される。この患者全体としての重症度は、第1取得部103が取得した複数のCTスライス画像に対する疾患判定モデル(本実施形態では、第1疾患判定モデル104A及び第2疾患判定モデル104B)の判定結果を総合的に加味して導出した値(スコア値)であり、この値を使うことで複数の患者の重症レベルを比較したり同じ患者の別日に撮影した測定データを比較することなどができる。なお、疾患判定モデルの判定結果を総合的に加味して導出した値(スコア値)をどのように算出するかは任意であるが、例えば、より詳細に疾患を判定する第2疾患判定モデル104Bによる判定結果の重み付けを高くするなどして算出してもよい。
またユーザは、ON/OFFボタン14BをON/OFF操作することで、判定結果を表示(描画)させるか否かを操作することができる。ON/OFFボタン14BをONとすることで、表示部106は、第1表示エリア11(viewer component)で測定データ(CTスライスの画像など)を見ていく際に、第2疾患判定モデル104Bによる判定結果の疾患セグメント情報と疾患名を画面(viewer)上に表示(描画)させ、ON/OFFボタン14BをOFFとすることで、表示部106は、第2疾患判定モデル104Bによる判定結果の疾患セグメント情報と疾患名を画面(viewer)上に表示(描画)させない(非表示とさせる)。なお、
図4に示す画面に、表示部106は、第1疾患判定モデル104Aによる判定結果を画面(viewer)上に表示(描画)させるか否か(表示/非表示)を操作できるON/OFFボタンを設けてもよい。
画面(viewer)上で判定結果を効率的に見たいニーズと、それを省いてより詳しく画像自体を見たいニーズの両方が存在すると考えられることから、ON/OFFボタン14Bを設けることで利便性が向上する。
また、ユーザは、アイコン14Cを操作することで、第1疾患判定モデル104A及び第2疾患判定モデル104Bを合わせた全体の判定結果を、医師が慣れ親しんだ画像診断レポートの形式に即したPDFファイルに変換して表示させることができる。医師が慣れ親しんだ画像診断レポートの形式に即したPDFファイルに変換することで、電子カルテ上で他のユーザが作ったレポートと同じように保管したり、アプリを直接使っていない医師への結果の伝達が容易となり、利便性が向上する。
また、ユーザは、ダウンロードアイコン14Dを操作することで、第1疾患判定モデル104A及び第2疾患判定モデル104Bを合わせた全体の判定結果をダウンロード(出力)することができる。なお、ダウンロードする情報は、例えば、アイコン14Cを操作することで表示される画像診断レポート形式のPDFファイルや研究用途の統計分析向けのデータファイルが含まれる。ここで、データファイルは、第1疾患判定モデル104A及び第2疾患判定モデル104Bそれぞれの判定結果(重症度含む)や入力の測定データに含まれる患者情報のメタデータをjsonやcsvファイル等にしたものである。なお、ダウンロード(出力)可能な情報は、上記例に限られず、サーバ1から取得可能な他の情報が含まれていてもよい。
【0040】
(情報処理)
図6~
図8は、サーバ1の判定情報処理の一例を示すフローチャートである。以下、
図6~
図8を参照して、サーバ1の情報処理について説明する。なお、以下の説明では、
図1~
図5を参照して説明した構成と同一の構成には同一の符号を付して重複する説明を省略する。
【0041】
(情報処理)
図6は、サーバ1の判定処理の一例を示すフローチャートである。以下、
図6を参照して、サーバ1の判定処理の一例について説明する。
【0042】
(ステップS101)
患者の身体の内部を撮影したCT画像(測定データ)の入力を受け付けると、サーバ1の第1取得部103は、検査対象である患者の身体状態を測定した測定データを取得する。
【0043】
(ステップS102)
サーバ1の第1取得部103が測定データを取得すると、表示部106は、第1取得部103が取得した測定データ(画像データ)を
図4の第1表示エリア11に表示(描画)させ、測定データ(CTスライスの画像)が見える状態(viewing)となる。なお、第1取得部103は、ネットワークを介して接続された他の装置(例えば、CT装置、VNA(vendor-neutral archive)又はPACS(Picture Archiving and Communication System))から測定データを取得してもよいし、サーバ1のユーザなどが入力した測定データを取得してもよい。
【0044】
(ステップS103)
サーバ1の第2取得部105は、第1疾患判定モデル104Aを用いて、第1取得部103が取得した測定データの身体部位の分類(頭部・胸部・腹部・骨盤部)、疾患の有無及び重症度などの第1疾患判定モデル104Aが生成した情報(第1判定結果)を取得する。
【0045】
(ステップS104)
サーバ1の表示部106は、第2取得部105が取得した情報を第2表示エリア12に表示させる(描画する)。ステップS104での処理(該描画)により、
図4で説明した情報が第2表示エリア12に表示される。なお、実施形態での描画時間は、10秒程度であるが、コンピュータ(サーバ1)の性能や分類の詳細度等により描画時間は異なる。これによりユーザは、一目でどこにどれだけ疾患があるか、を認識することができる。また、上述したように、第2表示エリア12を表示させる(描画する)際に、重症度に応じて各帯をソートして重症度の高い順に上から表示するようにしてもよいし、身体部位に応じた順序、外傷のみ/内科疾患のみなど種々の態様でソートして表示させるようにしてもよい。また、ユーザが指定した順序でソートしてさせてもよい。
【0046】
(ステップS105)
また、第2取得部105は、第2疾患判定モデル104Bを用いて、第1取得部103が取得した測定データに含まれる疾患についての疾患の名称及び疾患の発生箇所や発生セグメント情報及び重症度などの第2疾患判定モデル104Bが生成した情報(第2判定結果)を取得する。また、第2取得部105は、第2疾患判定モデル104Bを用いて、判定された疾患名称及び重症度に応じた治療方針等を取得する。
【0047】
(ステップS106)
サーバ1の表示部106は、第2取得部105が取得した情報を第3表示エリア13に表示させる(描画する)。ステップS106での処理(該描画)により、
図4で説明した情報が第3表示エリア13に表示される。なお、実施形態での描画時間は、1分程度であるが、コンピュータ(サーバ1)の性能や分類の詳細度等により描画時間は異なる。これによりユーザは、詳細部位ごとの疾患名や疾患の発生箇所の情報、治療方針等を把握できる。また、上述したように、第3表示エリア13を表示させる(描画する)際に、重症度に応じて各帯をソートして重症度の高い順に上から表示するようにしてもよいし、身体部位に応じた順序、外傷のみ/内科疾患のみなど種々の態様でソートして表示させるようにしてもよい。また、ユーザが指定した順序でソートしてさせてもよい。
【0048】
(ステップS107)
サーバ1の表示部106は、患者単位での重症度(患者比較用)を第4表示エリア14に表示させる。
【0049】
なお、
図4で説明したように、第4表示エリア14のON/OFFボタン14BがOFFである場合、表示部106は、第2疾患判定モデル104Bによる判定結果を画面(viewer)上に表示(描画)させない。なお、第1疾患判定モデル104Aによる判定結果を画面(viewer)上に表示(描画)させるか否か(表示/非表示)を操作できるON/OFFボタンが設けられており、該ON/OFFボタンがOFFである場合、表示部106は、第1疾患判定モデル104Aによる判定結果を画面(viewer)上に表示(描画)させない。
また、上記説明では、表示部106は、第1表示エリア11(viewer component)、第2表示エリア12(timeline component)、第3表示エリア13(information component)、第4表示エリア14(meta component)の順に表示(描画)を行っているが、内部処理は、必ずしも上述した第1表示エリア11~第4表示エリア14の順に行われる必要はなく、例えば、一部処理を並列に処理するようにしてもよい(但し、超緊急用モデルである第1疾患判定モデル104Aの判定処理が遅くならないことが好ましい)。
【0050】
(表示処理)
図7は、サーバ1の表示処理の一例を示すフローチャートである。以下、
図7を参照して、サーバ1の表示処理の一例について説明する。
【0051】
(ステップS201)
サーバ1の入力受付部102は、患者の身体状態を測定した測定データの表示の指定を受け付ける。
【0052】
(ステップS202)
サーバ1の表示部106は、入力受付部102が患者の身体状態を測定した測定データの表示の指定を受け付けると、入力受付部102が受け付けた内容に応じて、
図5を参照して説明した画面を表示装置100Dに表示させる。具体的には、サーバ1の表示部106は、入力受付部102が患者の身体状態を測定した測定データの表示の指定を受け付けると、入力受付部102が受け付けた内容に応じて、第1取得部103が取得した患者の身体状態を測定した測定データのうち対応する測定データ(画像データ)を表示させる。
【0053】
(検索処理)
図8は、サーバ1の検索処理の一例を示すフローチャートである。以下、
図8を参照して、サーバ1の検索処理の一例について説明する。
【0054】
(ステップS301)
サーバ1の入力受付部102は、検索条件、例えば、疾患名や部位名を受け付ける。
【0055】
(ステップS202)
サーバ1の表示部106は、入力受付部102が検索条件を受け付けると、入力受付部102が受け付けた検索条件に応じて、該当する表示枠13A(カード)を第3表示エリア13に表示させる。具体的には、検索条件に含まれる疾患名や部位名の情報が含まれる表示枠13A(カード)を第3表示エリア13に表示させる。
【0056】
以上のように、実施形態に係るサーバ1は、患者の身体状態を測定した測定データを取得する第1取得部103と、人間の身体状態を測定した測定データに対して、測定データに含まれる身体部位の第1分類及び身体部位の疾患の有無をラベル付けした教師データを用いた機械学習により生成された第1疾患判定モデル104Aを用いて、第1取得部103が取得した測定データの身体部位の第1分類及び身体部位の疾患の有無を取得する第2取得部105と、第2取得部105が取得した身体部位の疾患の有無を前記第1分類に応じて表示させる表示部106とを備える。
このため、分類に応じて身体部位の疾患の有無を確認することができ、利便性が向上する。
【0057】
実施形態に係るサーバ1の第1疾患判定モデル104Aは、身体部位の疾患の有無に応じて、患者の各身体部位の重症度を判定する。そして、第2取得部105は、第1疾患判定モデル104Aが判定した患者の各身体部位の重症度を取得し、表示部106は、第2取得部105が取得した身体部位ごとの重症度を、該重症度に応じた態様で表示させる。
このため、患者の重症度を容易に把握することができ、利便性が高い。
【0058】
実施形態に係るサーバ1の第2取得部105は、人間の身体状態を測定した測定データに対して、測定データに含まれる身体部位の第1分類よりも詳細な第2分類及び身体部位の疾患の有無をラベル付けした教師データを用いた機械学習により生成された第2疾患判定モデル104Bを用いて、第1取得部103が取得した測定データの身体部位の分類及び疾患の詳細を取得する。そして、サーバ1の表示部106は、第2取得部105が取得した身体部位ごとの疾患の詳細を表示させる。
このように、第1疾患判定モデル104Aを用いて取得された情報(
図4の第2表示エリア12)に加え、疾患の詳細(
図4の第3表示エリア13)を確認することができるので、利便性が向上する。
【0059】
実施形態に係るサーバ1の表示部106は、第2取得部105が第1,第2疾患判定モデル104A,104Bから取得した情報を、所定の優先度、例えば、重症度、身体部位に応じた順序、外傷のみ/内科疾患のみ、ユーザが指定した順序など、に応じて表示させる。
このため、例えば、重症度に応じてソートして重症度の高い順に上から表示するようにすれば、より危険と考えられる箇所から優先して症状等を確認することができるなど、利便性が向上する。
【0060】
実施形態の測定データは、患者の身体を走査した測定データであり、実施形態に係るサーバ1の表示部106は、第2取得部105が取得した身体部位の疾患の有無を走査の順序に応じて表示させる。
このように、CT(computed tomograph)やMRI(magnetic resonance imaging)で取得された測定データの判定結果を取得された順(同順)に表示するので、どの判定結果が患者のどの位置の測定データに対応するのかを把握しやすく利便性が高い。
【0061】
実施形態に係るサーバ1は、患者の身体状態を測定した測定データの表示を受け付ける入力受付部102(第1受付部)を備える。そして、表示部106は、入力受付部102が受け付けた内容に応じて、第1取得部103が取得した患者の身体状態を測定した測定データを表示させる。
このため、確認したい箇所がある場合に、元データである測定データを簡単に確認することができ、利便性が向上する。
【0062】
実施形態に係るサーバ1は、表示部106による前記第2取得部が取得した情報の表示/非表示を受け付ける入力受付部102(第2受付部)を備える。そして、表示部106は、入力受付部102が受信した内容に応じて、第2取得部105が取得した情報を表示又は非表示とさせる。
このため、必要に応じて第2取得部105が取得した情報を表示又は非表示とさせることができ、利便性が向上する。
【0063】
実施形態に係るサーバ1は、第2取得部105が取得した情報の一部又は全部を出力する出力部107を備える。
必要に応じて、第2取得部105が取得した情報の一部又は全部を出力して取り出すことができるので、利便性が向上する。
【0064】
[実施形態の変形例1]
なお、上記実施形態では、確認のために人間の身体状態を測定した測定データに対してそれぞれ第1疾患判定モデル104A及び第2疾患判定モデル104Bを利用した判定を行っているが、第1疾患判定モデル104Aの判定精度が十分に高い場合や緊急の場合には、第1疾患判定モデル104Aを利用した判定結果が疾患有りの測定データに対してのみ第2疾患判定モデル104Bを利用した判定を行うようにしてもよい。
また、ユーザが入力装置100Cを操作して第2疾患判定モデル104Bを利用した判定を行う部位や箇所、領域等を指定するようにしてもよい。また、ユーザが入力装置100Cを操作して第2疾患判定モデル104Bを利用した判定を行う部位や箇所、領域等の優先度を指定するようにしてもよい。このように構成すれば、緊急性の高い箇所の詳細を優先的に判定するなど、利便性が向上する。
【0065】
また、上記実施形態では、身体部位の簡易的な分類を頭部・胸部・腹部・骨盤部とし、詳細な身体部位の分類を肝臓・膵臓・脾臓・骨・血管としているが、身体部位をどのように分類するかは任意であり、必ずしも上記実施形態で示す例に限られない。例えば、同じ「胸部」でも「胸部外傷」と「胸部内科疾患」等に分けることも考えられ、部位の分類レベルだけでなく、対象疾患の単位で分けるようにしてもよい。
また、超緊急用モデルである第1疾患判定モデル104Aを利用して10秒程度で患者の状態を診断した後、緊急用モデルである第2疾患判定モデル104Bを利用してより詳細に患者の状態を診断できればよく、例えば、第1疾患判定モデル104Aでは部位を「頭部」、「胸部」、「腹部」、「骨盤部」としているがより詳細な部位としてもよい。また、第2疾患判定モデル104Bについても同様である。
また、上記実施形態では、超緊急用である第1疾患判定モデル104A及び緊急用である第2疾患判定モデル104Bを利用した2段階の診断としているが、第1疾患判定モデル、第2疾患判定モデル、第3疾患判定モデルなど、3段階以上の診断としてもよい。
【0066】
また、サーバ1は、例えば、サーバコンピュータ以外に、汎用コンピュータ、専用コンピュータ、又は携帯端末などにより構成されてもよいし、これらの機器を複数台組み合わせて構成されるもの(例えば、システム)であってもよい。また、機器を複数台組み合わせて構成される場合、WANやLANなどのネットワークにより機器間の通信を行ってもよい。また、ネットワークは無線又は有線を問わず、無線及び有線を組み合わせたものであってもよい。
【0067】
[実施形態の変形例2]
図9は、実施形態の変形例2に係るサーバ1の機能構成の一例を示す図である。
図9に示すように、サーバ1は、記憶装置制御部101、入力受付部102、第1取得部103、第1疾患判定モデル104A、第2疾患判定モデル104B、第2取得部105、表示部106、出力部107、検索部108などの機能を有する。以下、
図9を参照して実施形態の変形例2に係るサーバ1の機能構成について説明するが、
図2を参照して説明した機能構成と異なる部分について説明する。
【0068】
入力受付部102は、検索条件、例えば、撮影期間(例えば、何年何月何日、又は何年何月何日から何年何月何日まで等)、患者名(患者IDでもよい)を受け付ける。なお、患者名は複数名(2以上)を検索条件に含めてもよい。
また、入力受付部102は、第1取得部103が取得した情報の表示サイズを受け付ける。
【0069】
第1取得部103は、後述する検索部108が検索した測定データを取得する。
【0070】
表示部106は、検索部108による検索結果を表示させる。また、表示部106は、入力受付部102が受け付けた表示サイズに応じて、具体的には入力受付部102が受け付けた表示サイズが閾値未満であるか否かに応じて、第2取得部が取得した情報を異なる態様で表示させる。なお、表示部106は、予め設定された閾値(プリセット値)を利用するが、この閾値は、ユーザが変更可能であることが好ましい。また、この閾値が、表示装置100Dのサイズや解像度に応じて決まってもよい。例えば、閾値を解像度の1/n(nは0以上の整数)としてもよい(例えば、表示装置100Dの解像度が横1600×縦900であれば、閾値は、縦1600/n又は横900/nとなる)。表示部106による表示については、
図10から
図12を参照して説明する。
【0071】
検索部108は、入力受付部102が受け付けた検索条件を満たす測定データを検索する。例えば、検索条件で撮影時期が指定されている場合、検索部108は、検索条件で指定された範囲内の測定データを検索する。また、例えば、検索条件で患者名又は患者IDが指定されている場合、検索部108は、検索条件で指定された患者名又は患者IDが一致する測定データを検索する。また、例えば、検索条件で撮影期間及び患者名が指定されている場合、検索部108は、検索条件で指定された撮影時期の範囲内、かつ検索条件で指定された患者名又は患者IDが一致する測定データを検索する。なお、検索部108の検索先は、例えば、ネットワークを介して接続された他の装置(例えば、CT装置、VNA(vendor-neutral archive)又はPACS(Picture Archiving and Communication System))や記憶装置100B(測定データを記憶している場合)などである。
【0072】
(表示画面)
図10は、サーバ1の表示部106により表示装置100Dに表示される検索結果の画面の一例を示す図である。
図10に示すように、表示装置100Dには、検索部108の検索結果がリスト表示される。
図10の上部には、検索条件(期間21、患者名22)が表示される。また検索条件の下側には、検索結果のリストごとに日時23、患者名24、症例ID25(又は症例名)、解析ステータス26、アイコン27A~27D、遷移ボタン28が表示される。
表示部106は、測定データに付与された情報に基づいて日時23、患者名24、症例ID25を表示させる。
また、表示部106は、第1,第2疾患判定モデルによる解析結果に基づいて、解析ステータス26、アイコン27A~27Dを表示させる。
表示部106は、第1,第2疾患判定モデルによる解析が行われているか否かに応じて異なる態様で解析ステータス26を表示させる。例えば、表示部106は、解析が完了している場合、「解析完了」の文字を表示させるとともに解析ステータス26を点灯させた状態(以下、点灯表示)で表示させ、解析が行われていない場合、「未解析」の文字を表示させるとともに解析ステータス26を消灯させた状態(以下、消灯表示)で表示させる。なお、解析ステータス26の表示内容はこれらに限られず、例えば、表示部106は、解析が実行中である場合には、「解析中」の文字を表示させてもよい。
アイコン27A~27Dは、それぞれ患者の各身体部位(本実施例では、アイコン27Aは頭部、アイコン27Bは胸部、アイコン27Cは腹部、アイコン27Dは骨盤部)にそれぞれ対応している。なお、より詳細に患者の身体部位をわけてもよいが、その場合には対応するアイコン数も増える。
表示部106は、第1取得部103が取得した複数のCTスライス画像における頭部・胸部・腹部・骨盤部の測定データの存在及び解析結果に応じて異なる態様でアイコン27A~27Dを表示させる。例えば、表示部106は、解析の結果、測定データが存在しない部位に対応するアイコンを消灯表示(
図10に示す例では、白地にアイコンが黒色表示)させ、測定データが存在する部位に対応するアイコンを点灯表示(
図10に示す例では、黒地にアイコンが白色表示)させる。なお、
図10に示す例では、「解析完了」のリストにおいて、頭部の測定データが存在しなかった(例えば頭部が撮影されていなかった)ため、アイコン27Aが消灯表示となっており、その他の部位に対応するアイコン27B~27Dは点灯表示となっている。また「未解析」のリストでは、測定データの解析が行われていないため(すなわち、複数のCTスライス画像に含まれる身体部位の判定が未完了であるため)、全ての部位に対応するアイコン27A~27Dが消灯表示となっている。
また、表示部106は、頭部・胸部・腹部・骨盤部の測定データの解析結果(例えば、疾患なし、疾患あり(軽症)、疾患あり(重症))に応じて異なる態様でアイコン27A~27Dを表示させる。例えば、表示部106は、アイコンに対応する身体部位について疾患なしと判定された場合にはそのアイコンを消灯表示させ、疾患あり(軽症)と判定された場合にはそのアイコンを黄色の点灯表示とさせ、疾患あり(重症)と判定された場合にはそのアイコンを赤色の点灯表示とさせる。このように、サーバ1は、複数の症例に対応する測定データ(例えば、異なる患者のCT画像、又は同じ患者の撮影日が異なるCT画像)に対する解析結果を一画面内に並べて表示させる。さらに、サーバ1は、この画面における各症例に対する解析結果として、身体部位ごとの重症度を表示させる。このような表示により、ユーザは、複数の症例における疾患部位及び重症度を同一画面内で確認することができ、情報の一覧性が増すとともに、複数の症例の比較が容易になる。なお、ここで述べた表示の態様はあくまで一例であり、他の態様で表示させるようにしてもよい。例えば、サーバ1は、
図10に示す情報に加えて、解析が完了している症例の解析結果のサマリ(例えば患者の全身の総合的な重症度)を表示させてもよい。また、
図10に示した各情報の表示位置及び表示順が異なっていてもよい。
遷移ボタン28は、画面を遷移させるためのアイコンであり、ある症例に対応する解析ステータス26が「解析完了」である場合には、その症例に対応する遷移ボタン28を選択するユーザ操作に応じて、表示部106は解析結果を表示する画面へ遷移する。また、ある症例に対応する解析ステータス26が「未解析」である場合には、その症例に対応する遷移ボタン28を選択するユーザ操作に応じて表示部106は解析画面へ遷移し、解析完了後に解析結果を表示する画面へ遷移する。
【0073】
図11は、サーバ1の表示部106により第1の態様で表示装置100Dに表示される解析結果表示画面の一例を示す図、より詳細には、第1取得部103が取得した測定データ(画像データ)を表示するviewer componentである第1表示エリア11の表示サイズが閾値未満である場合に表示される画面の一例である。なお、以下の説明では、
図4で説明した構成と異なる構成について説明し、重複する説明を省略する。
図11に示すように、表示部106は、第1取得部103が取得した測定データ(画像データ)をviewer componentである第1表示エリア11に表示させ、第2取得部105が取得した第1疾患判定モデル104Aによる判定結果をtimeline componentである第2表示エリア12に表示させ、第2取得部105が取得した第2疾患判定モデル104Bによる判定結果をinformation componentである第3表示エリア13に表示させる。なお、
図11に示す例では、患者全体の重症度やその他操作用のアイコンなどを表示するmeta componentである第4表示エリア14が存在しないが、第4表示エリア14を表示させるようにしてもよい。
表示部106は、身体部位の分類ごとに、測定データの判定結果を、疾患の重症度及び疾患が存在する確度(確率)に応じた態様で第2表示エリア12に表示させる。表示部106は、例えば、各測定データに基づいて判定された疾患確度を示す折れ線グラフを、疾患の重症度に応じて異なる色又はパターン(
図11に示す例では、「軽症」を破線、「重症」を実線に対応させているが、この例に限られない)で表示させる。
図11に示す例では、各帯の下部(下線L1)が疾患確度「0」(確率0%)に対応し、各帯の上部(上線L2)が疾患確度「1」(確率100%)に対応する。すなわち、画面の左右方向におけるある表示位置において折れ線グラフの値が上線L2に近いほど、その表示位置に対応する患者の身体位置に疾患が存在する可能性が高い。また、当該表示位置において折れ線グラフが実線で描かれていれば、当該身体位置の疾患は重症であることがわかる。なお、折れ線グラフの代わりに棒グラフなど他の種類のグラフにより疾患確度を表示させるようにしてもよい。このように、表示部106は、患者の身体の各位置における疾患確度及び重症度を、身体部位の分類ごとに分けて表示させる。これにより、
図4に示した表示例よりも多くの情報を表示できるため、ユーザは患者の身体状態を簡単にかつ詳細に把握することができる。なお、
図4では身体部位ごとの重症度を示す表示の例を説明し、
図11では身体部位ごとの重症度及び疾患確度を示す表示の例を説明したが、表示部106は、身体部位ごとの疾患確度を示すが重症度は示さない表示を行ってもよい。
なお
図4でも述べたように、必ずしも「頭部12A」、「胸部12B」、「腹部12C」、「骨盤部12D」の順に表示させる必要は無く、「頭部12A」、「胸部12B」、「腹部12C」、「骨盤部12D」をどのような順で表示させるかは任意である。例えば、帯の行数が増えてくるとその帯自体の確認にも手間取る事が考えられる。このような場合、表示部106は、第1疾患判定モデル104Aから取得した重症度に応じて、各帯をソートして重症度の高い順に上から表示するようにしてもよい。このようにソートして表示することで、より危険と考えられる箇所から優先して症状等を確認することができる。なお、帯の表示順序は、上記例(重症度順)に限られず、例えば、身体部位に応じた順序、外傷のみ/内科疾患のみなど種々の態様でソートして表示させるように構成してもよい。また例えば、表示部106は、各身体部位における疾患確度の最大値又は平均値に応じて、各帯をソートして疾患確度の最大値又は平均値の高い順に上から表示するようにしてもよい。また、ユーザがソート態様を指定できるように構成してもよい。
また、
図4で説明したのと同様に、実施形態では、身体部位の簡易的な分類を頭部・胸部・腹部・骨盤部としているが、分類を例えば、「胸部」でも「胸部外傷」と「胸部内科疾患」等に分けるなど、多層化した場合、
図11の12A~12Dに示す分類も多層化して表示される。換言すると、
図11に示す画面は、あくまで実施形態の一例であり、身体部位の分類がより多層化されている場合、より多層化された分類で表示装置100Dの第2表示エリア12に表示される。分類がより多層化されるパターンとしては、例えば、頭部・胸部・腹部が外傷/内科疾患で分類が分かれる、腹部が肝臓・胃に分類が細分化される、胸部が心臓・肺に分類が細分化される、など種々のパターンが考えられる。また、細分化は、上述の例に留まらず、肺野におけるCOVID疾患の有無など特定疾患に対する帯の行が追加されるパターンも考えられる。このように、
図11の第2表示エリア12では、頭部、胸部、腹部、骨盤部の4行となっているが、細分化するレベルに応じた超緊急モデルの個数により、
図11の第2表示エリア12に表示される行数も変動する。
また、表示部106は、第2取得部105が取得した第2疾患判定モデル104Bによる判定結果(治療方針等を含む)を第3表示エリア13に表示させる。なお
図11に示す例では、表示部106は、測定データの種類(例えば、スライスデータ、スキャンデータなど)ごとに表示枠13A群を表示させる。
【0074】
図12は、サーバ1の表示部106により第2の態様で表示装置100Dに表示される解析結果表示画面の一例を示す図、より詳細には、第1取得部103が取得した測定データ(画像データ)を表示するviewer componentである第1表示エリア11の表示サイズが閾値未満でない場合に表示される画面の一例である。なお、以下の説明では、
図4で説明した構成と異なる構成について説明し、重複する説明を省略する。
図12に示すように、表示部106は、第1取得部103が取得した測定データ(画像データ)をviewer componentである第1表示エリア11に表示させ、第2取得部105が取得した第1疾患判定モデル104Aによる判定結果をtimeline componentである第2表示エリア12に表示させ、第2取得部105が取得した第2疾患判定モデル104Bによる判定結果をinformation componentである第3表示エリア13に表示させる。なお、
図12に示す例では、患者全体の重症度やその他操作用のアイコンなどを表示するmeta componentである第4表示エリア14が存在しないが、第4表示エリア14を表示させるようにしてもよい。
表示部106は、
図4に示す例と同様にして、身体部位の分類ごとの判定結果を疾患の重症度に応じた態様で第2表示エリア12に表示させる。
また、表示部106は、
図11に示す例と同様にして、第2取得部105が取得した第2疾患判定モデル104Bによる判定結果(治療方針等を含む)を第3表示エリア13に表示させる。
なお、本変形例では、サーバ1が、ユーザ操作に応じて第1表示エリア11の表示サイズを変更し、当該表示サイズに応じて
図11に示す画面と
図12に示す画面とを切り替えるものとした。ただし、画面の切り替え条件はこれに限定されない。例えば、サーバ1は、画面切り替え用のボタン画面内に表示させ、当該ボタンに対するユーザ操作に応じて
図11に示す画面と
図12に示す画面とを切り替えてもよい。
【0075】
(情報処理)
図13は、実施形態の変形例2に係るサーバ1で実行される検索処理の一例を示すフローチャートである。以下、
図13を参照して、サーバ1の検索処理の一例について説明する。
【0076】
(ステップS401)
サーバ1の入力受付部102は、検索条件、例えば、撮影期間及び患者名の少なくとも一方を受け付ける。
【0077】
(ステップS402)
サーバ1の検索部108は、入力受付部102が受け付けた検索条件を満たす測定データを検索する。サーバ1の第1取得部103は、検索部108が検索した測定データを取得する。なお、検索部108による検索については既に説明したので重複する説明を省略する。
【0078】
(ステップS403)
サーバ1の表示部106は、検索部108による検索結果をリスト表示させる(
図10参照)。
【0079】
(ステップS404)
サーバ1の入力受付部102は、遷移ボタン28の選択を受け付けると、解析ステータス26が「未解析」であるか否かを判定する。「未解析」である場合(YES)、サーバ1は、ステップS405の処理を実行する。「未解析」でない場合(NO)、サーバ1は、ステップS406の処理を実行する。
【0080】
(ステップS405)
サーバ1の表示部106は、表示画面を解析画面へ遷移させる。また、第1疾患判定モデル104A、第2疾患判定モデル104Bによる測定データの解析が開始され、表示部106は、解析後に解析結果を表示する画面へ遷移させる。
【0081】
(ステップS406)
サーバ1の表示部106は、入力受付部102が受け付けた第1表示エリア11の表示サイズが閾値未満であるか否かを判定する。表示サイズが閾値未満である場合(YES)、サーバ1は、ステップS407の処理を実行する。表示サイズが閾値未満でない場合(NO)、サーバ1は、ステップS408の処理を実行する。
【0082】
(ステップS407)
サーバ1の表示部106は、第1の態様で測定データの解析結果を表示させる(
図11参照)。
【0083】
(ステップS408)
サーバ1の表示部106は、第2の態様で測定データの解析結果を表示させる(
図12参照)。
【0084】
その他、上記実施形態及び変形例は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0085】
1 サーバ(情報処理装置)
100A 通信IF
100B 記憶装置
100C 入力装置
100D 表示装置
100E CPU
101 記憶装置制御部
102 入力受付部
103 第1取得部
104A 第1疾患判定モデル
104B 第2疾患判定モデル
105 第2取得部
106 表示部
107 出力部
108 検索部