IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特許7605184プログラム、情報処理装置、情報処理システム及び情報処理方法
<>
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図1
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図2
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図3
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図4
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図5
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図6
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図7
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図8
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図9
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図10
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図11
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図12
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図13
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図14
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】プログラム、情報処理装置、情報処理システム及び情報処理方法
(51)【国際特許分類】
   A61B 6/00 20240101AFI20241217BHJP
   A61B 6/46 20240101ALI20241217BHJP
   A61B 6/50 20240101ALI20241217BHJP
【FI】
A61B6/00 550P
A61B6/46 506A
A61B6/46 506Z
A61B6/50 500C
【請求項の数】 26
(21)【出願番号】P 2022095661
(22)【出願日】2022-06-14
(65)【公開番号】P2023182189
(43)【公開日】2023-12-26
【審査請求日】2024-07-25
【早期審査対象出願】
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】高橋 秀和
(72)【発明者】
【氏名】和田 恒
(72)【発明者】
【氏名】岡林 慶
【審査官】清水 裕勝
(56)【参考文献】
【文献】特開2005-334219(JP,A)
【文献】特開2005-328977(JP,A)
【文献】特開2016-157291(JP,A)
【文献】特開2004-344232(JP,A)
【文献】特開2005-102862(JP,A)
【文献】国際公開第2022/031945(WO,A1)
【文献】特開2012-011109(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58
A61B 5/00-5/398
(57)【特許請求の範囲】
【請求項1】
コンピューターに、
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得機能と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得機能と、
前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示機能と、
を実行させるプログラム。
【請求項2】
前記表示機能は、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報と、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第2の付帯情報とを、互いに異なる表示態様で表示させることを特徴とする請求項1に記載のプログラム。
【請求項3】
前記表示機能は、所定のユーザー操作によって、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と同じ表示態様から、異なる表示態様に切り替えて表示させることを特徴とする請求項1に記載のプログラム。
【請求項4】
前記表示機能は、所定のユーザー操作によって、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第2の付帯情報と同じ表示態様から、異なる表示態様に切り替えて表示させることを特徴とする請求項3に記載のプログラム。
【請求項5】
前記表示機能は、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を非表示とすることにより、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする請求項2に記載のプログラム。
【請求項6】
前記コンピューターに、さらに、
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域に対しユーザーが入力した病変入力領域を取得する第3の取得機能を実行させ、
前記表示機能は、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を除いた領域であって、前記第3の取得機能で取得された前記病変入力領域に対応する位置関係にない領域を、前記病変入力領域に対応する位置関係にある領域及び前記第1の取得機能により偽陽性であるという情報を取得した前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする、請求項1に記載のプログラム。
【請求項7】
前記第1及び第2の付帯情報は、アノテーション情報であることを特徴とする請求項2に記載のプログラム。
【請求項8】
前記表示機能は、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域が存在する場合に、所定の情報をユーザーに通知するか、マウスカーソルの表示態様を変更して表示するか、ウィンドウの表示態様を変更して表示することを特徴とする請求項1に記載のプログラム。
【請求項9】
前記表示機能は、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を強調表示することにより、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする請求項1に記載のプログラム。
【請求項10】
前記表示機能は、前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を表示し、かつ前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第2の付帯情報を非表示とすることにより、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする請求項2に記載のプログラム。
【請求項11】
前記第2の解析結果に含まれる前記病変検出領域に、前記第1の解析結果に含まれる偽陽性の病変検出領域に対応する位置関係にある領域があると判断した場合に、前記表示機能は、前記異なる表示態様で表示させる、請求項1に記載のプログラム。
【請求項12】
前記第1の医用画像は、前記第2の医用画像と異なる日時に撮影された画像であることを特徴とする請求項1から11のいずれか一項に記載のプログラム。
【請求項13】
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得手段と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得手段と、
前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示制御手段と、
を実行させる情報処理装置。
【請求項14】
前記表示制御手段は、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報と、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第2の付帯情報とを、互いに異なる表示態様で表示させることを特徴とする請求項13に記載の情報処理装置。
【請求項15】
前記表示制御手段は、所定のユーザー操作によって、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と同じ表示態様から、異なる表示態様に切り替えて表示させることを特徴とする請求項13に記載の情報処理装置。
【請求項16】
前記表示制御手段は、所定のユーザー操作によって、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第2の付帯情報と同じ表示態様から、異なる表示態様に切り替えて表示させることを特徴とする請求項15に記載の情報処理装置。
【請求項17】
前記表示制御手段は、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を非表示とすることにより、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする請求項14に記載の情報処理装置。
【請求項18】
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域に対しユーザーが入力した病変入力領域を取得する第3の取得手段を備え、
前記表示制御手段は、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を除いた領域であって、前記第3の取得手段で取得された前記病変入力領域に対応する位置関係にない領域を、前記病変入力領域に対応する位置関係にある領域及び前記第1の取得手段により偽陽性であるという情報を取得した前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする、請求項13に記載の情報処理装置。
【請求項19】
前記第1及び第2の付帯情報は、アノテーション情報であることを特徴とする請求項14に記載の情報処理装置。
【請求項20】
前記表示制御手段は、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域が存在する場合に、所定の情報をユーザーに通知するか、マウスカーソルの表示態様を変更して表示するか、ウィンドウの表示態様を変更して表示することを特徴とする請求項13に記載の情報処理装置。
【請求項21】
前記表示制御手段は、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を強調表示することにより、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする請求項13に記載の情報処理装置。
【請求項22】
前記表示制御手段は、前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第1の付帯情報を表示し、かつ前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域に付帯させる第2の付帯情報を非表示とすることにより、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させることを特徴とする請求項14に記載の情報処理装置。
【請求項23】
前記表示制御手段は、前記第2の解析結果に含まれる前記病変検出領域に、前記第1の解析結果に含まれる偽陽性の病変検出領域に対応する位置関係にある領域があると判断した場合に、前記異なる表示態様で表示させる、請求項13に記載の情報処理装置。
【請求項24】
前記第1の医用画像は、前記第2の医用画像と異なる日時に撮影された画像であることを特徴とする請求項13から23のいずれか一項に記載の情報処理装置。
【請求項25】
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得手段と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得手段と、
前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示制御手段と、
を備える情報処理システム。
【請求項26】
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得工程と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得工程と、
前記第2の取得工程で得られた前記病変検出領域のうち、前記第1の取得工程で偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得工程で偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示工程と、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理装置、情報処理システム及び情報処理方法に関する。
【背景技術】
【0002】
近年、コンピューターを用いて医用画像を解析し、画像解析により検出された病変検出領域を医師に提示し、医師の判断を仰ぐという診断支援(CAD:Computer Aided Detection/Diagnosis)システムが実用化されている。
【0003】
例えば、特許文献1には、CADにより検出された病変検出領域にアノテーションが付されることが開示されている。
また最近では、医用画像に対して、機械学習や深層学習技術に基づくAI(Artificial Intelligence)解析などのコンピューター処理を施すことにより、画像中の病変候補領域を検出可能なシステムも提案されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第4651353号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
CADやAIなどのコンピューター処理により検出された病変検出領域には偽陽性が多い。そのため、コンピューターが検出した病変検出領域に関して、医師は偽陽性か否かを判断する。
【0006】
しかし、同じ患者の新しい画像をコンピューターが病変検出する際、医師が前回の画像において偽陽性と判断した病変検出領域に対応する領域であっても、また同じようにコンピューターが病変検出領域として検出し表示してしまう場合がある。
そのため、例えば、熟練している医師や前回読影した医師の場合、偽陽性の結果が再び表示されることで煩わしさを感じる場合がある。また、熟練していない医師や前回読影していない医師の場合、偽陽性であることを見逃してしまうリスク等もある。
【0007】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、コンピューター処理により得られた病変検出領域のうち偽陽性の領域をユーザーが認識できるようにすることを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のプログラムは、
コンピューターに、
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得機能と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得機能と、
前記第2の取得機能で得られた前記病変検出領域のうち、前記第1の取得機能により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得機能により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示機能と、
を実行させる。
【0009】
また、本発明の情報処理装置は、
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得手段と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得手段と、
前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示制御手段と、
を実行させる。
【0010】
また、本発明の情報処理システムは、
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得手段と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得手段と、
前記第2の取得手段で得られた前記病変検出領域のうち、前記第1の取得手段により偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得手段により偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示制御手段と、
を備える。
【0011】
また、本発明の情報処理方法は、
患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した前記病変検出領域のそれぞれが偽陽性か否かの情報を取得する第1の取得工程と、
前記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する第2の取得工程と、
前記第2の取得工程で得られた前記病変検出領域のうち、前記第1の取得工程で偽陽性であるという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域を、前記第1の取得工程で偽陽性ではないという情報を取得した、前記第1の解析結果に含まれる病変検出領域に対応する位置関係にある領域と異なる表示態様で表示させる表示工程と、
を含む。
【発明の効果】
【0012】
本発明によれば、コンピューター処理により得られた病変検出領域のうち偽陽性の領域をユーザーが認識することが可能となる。
【図面の簡単な説明】
【0013】
図1】医用画像表示システムのシステム構成図である。
図2】医用画像管理サーバーの機能的構成を示すブロック図である。
図3】データ管理テーブルのデータ構成を示す図である。
図4】情報処理装置の機能的構成を示すブロック図である。
図5】医用画像管理サーバーにより実行される医用画像解析処理を示すフローチャートである。
図6】情報処理装置により実行される読影支援処理を示すフローチャートである。
図7】読影画面の一例を示す図である。
図8図6のステップS16により実行される解析結果表示処理を示すフローチャートである。
図9】本実施形態における現在画像の解析結果の表示例を示す図である。
図10】本実施形態における現在画像の解析結果の表示例を示す図である。
図11】現在画像の解析結果の病変検出領域に、過去画像において偽陽性として登録された領域に対応する領域が含まれていることをユーザーに通知するための表示例(ポップアップ画面の表示)を示す図である。
図12】現在画像の解析結果の病変検出領域に、過去画像において偽陽性として登録された領域に対応する領域が含まれていることをユーザーに通知するための表示例(マウスカーソルの表示態様の変更)を示す図である。
図13】現在画像の解析結果の病変検出領域に、過去画像において偽陽性として登録された領域に対応する領域が含まれていることをユーザーに通知するための表示例(ウィンドウの表示態様の変更)を示す図である。
図14】本実施形態における現在画像の解析結果の表示例を示す図である。
図15】本実施形態における現在画像の解析結果の表示例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明に係るプログラム、情報処理装置、情報処理システム及び情報処理方法の一実施の形態について説明する。ただし、発明の範囲は、図示例に限定されない。
【0015】
[医用画像表示システムの構成]
図1に、情報処理システムとしての医用画像表示システム100のシステム構成を示す。
図1に示すように、医用画像表示システム100は、医用画像管理サーバー10と、モダリティー20,20,・・・と、情報処理装置30と、から構成され、各装置は、通信ネットワークNを介してデータ通信可能となっている。なお、情報処理装置30は、必要に応じて医用画像管理サーバー10と通信ネットワークNを介して接続可能であればよい。医用画像表示システム100では、医用画像管理サーバー10に記憶されている医用画像や解析結果を情報処理装置30に表示可能となっている。医用画像表示システム100を構成する各装置は、HL7(Health Level Seven)やDICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、HL7やDICOMに則って行われる。なお、情報処理装置30の台数は、特に限定されない。
【0016】
モダリティー20は、患者(被検体)の撮影を行い、医用画像の画像データを生成する。モダリティー20として、例えば、CR(Computed Radiography)、DR(Digital Radiography)、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、US(Ultra Sonography)、NM(Nuclear Medicine:核医学検査)、ES(Endoscope:内視鏡検査)等が用いられる。
また、モダリティー20は、医用画像に対して、当該医用画像に係る画像属性情報を付帯させる。画像属性情報には、患者ID、患者名、生年月日、性別、撮影日時、画像ID、モダリティー、部位、方向等が含まれる。
モダリティー20により生成された医用画像の画像データは、医用画像管理サーバー10に送信される。
【0017】
医用画像管理サーバー10は、モダリティー20において生成された医用画像の画像データを保存し、管理する。医用画像管理サーバー10としては、例えば、PACS(Picture Archiving and Communication System)等が挙げられる。
【0018】
情報処理装置30は、PC(Personal Computer)やタブレット等のコンピューター装置である。情報処理装置30は、医師等のユーザーが医用画像を読影する際等に用いられる。
【0019】
[医用画像管理サーバーの構成]
図2に、医用画像管理サーバー10の機能的構成を示す。医用画像管理サーバー10は、制御部11、通信部12、画像解析部13、記憶部14等を備えて構成されており、各部はバス15により接続されている。
【0020】
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory
)等から構成され、医用画像管理サーバー10の各部の処理動作を統括的に制御する。具体的には、CPUは、記憶部14に記憶されている各種処理プログラムを読み出してRAMに展開し、当該プログラムとの協働により各種処理を行う。
【0021】
通信部12は、ネットワークインターフェース等により構成され、通信ネットワークNを介して接続された外部機器との間でデータの送受信を行う。例えば、通信部12は、モダリティー20により患者を撮影して得られた医用画像を受信する。また、通信部12は、情報処理装置30から要求された医用画像や解析結果を情報処理装置30に送信する。
【0022】
画像解析部13は、患者を撮影して得られた医用画像に対してコンピューター処理を行い、解析結果のデータを生成する。ここでコンピューター処理としては、例えばCAD(Computer Aided Diagnosis)による病変候補の検出を含む画像診断・画像解析を行うAI(Artificial Intelligence)を利用したAI解析が用いられる。解析結果のデータは、例えば、DICOMのGSPS(Grayscale Softcopy Presentation State)データ、オーバーレイデータ等により構成される。解析結果のデータには、解析結果を識別するための解析結果ID、検出された病変検出領域の情報(位置、病変の種類、付帯情報(アノテーション情報)の内容等))が含まれる。
画像解析部13は、記憶部14に格納されたプログラムと制御部11のCPUとの協働によってソフトウェア処理で実現される。
【0023】
記憶部14は、HDD(Hard Disk Drive)や不揮発性の半導体メモリー等により構成され、各種処理プログラム、当該プログラムの実行に必要なパラメーターやファイル等を記憶している。
【0024】
また、記憶部14には、ユーザー管理テーブル141、データ管理テーブル142が記憶されている。また、記憶部14は、医用画像記憶領域143、解析結果記憶領域144、読影結果記憶領域145を有する。
【0025】
ユーザー管理テーブル141は、医用画像表示システム100を利用するユーザー(医師等の医療従事者)を管理するためのテーブルである。ユーザー管理テーブル141には、ユーザーごとに、ユーザーID、パスワード、氏名、所属、メールアドレス、電話番号等が対応付けられて格納されている。
ユーザーIDは、ユーザーの識別情報である。パスワードは、ユーザーが情報処理装置30から医用画像管理サーバー10にアクセスする際の認証に用いられる。氏名は、ユーザーの氏名である。所属は、ユーザーが所属する医療施設、診療科等の情報である。メールアドレスは、ユーザーのメールアドレスである。電話番号は、ユーザーの電話番号である。
【0026】
データ管理テーブル142は、医用画像管理サーバー10内のデータを管理するためのテーブルである。
図3に、データ管理テーブル142のデータ構成を示す。データ管理テーブル142には、医用画像記憶領域143に記憶されている医用画像ごとに、画像ID、患者ID、撮影日時、モダリティー、部位、方向、解析結果ID、読影結果ID等が対応付けられて格納されている。
画像IDは、医用画像の識別情報である。患者IDは、医用画像の撮影対象とされた患者の識別情報である。撮影日時は、医用画像が撮影された日時である。モダリティーは、医用画像が撮影されたモダリティーである。部位は、医用画像の撮影対象とされた部位である。方向は、医用画像の撮影方向である。解析結果IDは、画像解析部13が医用画像を解析することで得られた解析結果の識別情報である。読影結果IDは、医用画像に対するユーザー(医師)による読影結果を識別するための識別情報である。
【0027】
医用画像記憶領域143には、モダリティー20から受信された医用画像の画像データが記憶される。
解析結果記憶領域144には、コンピューター処理による医用画像に対する解析結果のデータが記憶される。
読影結果記憶領域145には、ユーザーである医師による医用画像に対する読影結果のデータが記憶される。読影結果には、読影結果ID、ユーザーにより入力された病変入力領域の情報(位置、病変の種類、付帯情報(例えば、アノテーション情報)の内容等)、ユーザーにより入力された、コンピューター処理による解析結果に含まれる病変検出領域のそれぞれが偽陽性であるか否かの情報(解析結果における各病変検出領域の位置情報等を含む)、が含まれる。
【0028】
制御部11は、通信部12を介してモダリティー20から医用画像を受信すると、当該医用画像を記憶部14に記憶させるとともに、画像解析部13に医用画像を解析させる。
【0029】
制御部11は、通信部12を介して情報処理装置30から医用画像及び解析結果に対する取得要求があった場合に、当該医用画像及びその解析結果を記憶部14から読み出し、当該読み出された医用画像を通信部12を介して情報処理装置30に提供する。
制御部11は、通信部12を介して情報処理装置30から、取得済みの医用画像に対する過去画像及び読影結果の取得要求があった場合に、過去画像及びその読影結果を記憶部14から読み出し、当該読み出された医用画像を通信部12を介して情報処理装置30に提供する。ここで、過去画像は、情報処理装置30で取得した医用画像と同一患者の同一部位(方向)の画像であって、医用画像と異なる日時に撮影された画像である。
【0030】
[情報処理装置の構成]
図4に、情報処理装置30の機能的構成を示す。情報処理装置30は、制御部31、操作部32、表示部33、通信部34、記憶部35等を備えて構成されており、各部はバス36により接続されている。
【0031】
制御部31は、CPU、RAM等から構成され、情報処理装置30の各部の処理動作を統括的に制御する。具体的には、CPUは、記憶部35に記憶されている各種処理プログラムを読み出してRAMに展開し、当該プログラムとの協働により各種処理を行う。
【0032】
操作部32は、カーソルキー、文字・数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された操作信号を制御部31に出力する。また、操作部32が、表示部33に積層されたタッチパネルにより構成される場合には、ユーザーの指等によるタッチ操作の位置に応じた操作信号を制御部31に出力する。
【0033】
表示部33は、LCD(Liquid Crystal Display)等のモニターを備えて構成されており、制御部31から入力される表示信号の指示に従って、各種画面を表示する。
【0034】
通信部34は、ネットワークインターフェース等により構成され、通信ネットワークNを介して接続された外部機器との間でデータの送受信を行う。
【0035】
記憶部35は、HDDや不揮発性の半導体メモリー等により構成され、各種処理プログラム、当該プログラムの実行に必要なパラメーターやファイル等を記憶している。例えば、記憶部35には、読影支援処理プログラム351が記憶されている。読影支援処理プログラム351は、後述する読影支援処理(図6参照)を実行するためのプログラムである。
【0036】
読影支援処理において、制御部31は、患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した、コンピューター処理により得られた病変検出領域のそれぞれが偽陽性か否かの情報を取得する。すなわち、制御部31は、第1の取得手段として機能する。
【0037】
また、制御部31は、上記患者の第2の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第2の解析結果を取得する。すなわち、制御部31は、第2の取得手段として機能する。
【0038】
また、制御部31は、第2の取得手段で得られた第2の解析結果に含まれる病変検出領域のうち、第1の取得手段により偽陽性であるという情報を取得した、第1の解析結果に含まれる病変検出領域に対応する領域を、第1の取得手段により偽陽性ではないという情報を取得した、第1の解析結果に含まれる病変検出領域に対応する領域とは異なる表示態様で表示させる。すなわち、制御部31は、表示制御手段として機能する。
【0039】
第1の医用画像は、第2の医用画像と異なる日時に撮影された画像である。本実施の形態では、第1の医用画像が過去画像であり、第2の医用画像が現在画像である場合について説明する。現在画像は、新たに撮影された、読影対象とする医用画像である。過去画像は、現在画像と同一患者を撮影対象として過去に撮影された医用画像(撮影日時が現在画像より前の医用画像が複数ある場合には、一番最近のもの)である。また、本実施形態において、第1の解析結果は、過去画像に対するコンピューター処理により得られた解析結果である。第2の解析結果は、現在画像に対するコンピューター処理により得られた解析結果である。
また、本実施形態において、「過去画像における偽陽性の病変検出領域」は、ユーザーが偽陽性であるという情報を入力した、過去画像の解析結果に含まれる病変検出領域を指す。すなわち、「過去画像における偽陽性の病変検出領域」は、「第1の取得手段により偽陽性であるという情報を取得した、第1の解析結果に含まれる病変検出領域」を指す。
また、「過去画像における偽陽性ではない病変検出領域」は、ユーザーが偽陽性ではないという情報を入力した、過去画像の解析結果に含まれる病変検出領域を指す。すなわち、「過去画像における偽陽性ではない病変検出領域」は、「第1の取得手段により偽陽性ではないという情報を取得した、第1の解析結果に含まれる病変検出領域」を指す。
【0040】
また、制御部31は、患者の第1の医用画像に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む第1の解析結果に対しユーザーが入力した病変入力領域を取得する。すなわち、制御部31は、第3の取得手段として機能する。
【0041】
また、制御部31は、第2の取得手段で得られた第2の解析結果に含まれる病変検出領域のうち、第1の取得手段により偽陽性であるという情報を取得した、第1の解析結果に含まれる病変検出領域に対応する領域を除いた領域であって、第3の取得手段で取得された病変入力領域に対応していない領域を、病変入力領域に対応する領域及び第1の取得手段により偽陽性であるという情報を取得した、第1の解析結果に含まれる病変検出領域に対応する領域と異なる表示態様で表示させる。
【0042】
[医用画像表示システムにおける動作]
次に、医用画像表示システム100における動作について説明する。
図5は、医用画像管理サーバー10により実行される医用画像解析処理を示すフローチャートである。この処理は、制御部11のCPUと記憶部14に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
【0043】
医用画像管理サーバー10では、通信部12を介して、モダリティー20から患者を撮影して得られた医用画像を受信すると(ステップS1)、制御部11は、受信した医用画像を記憶部14の医用画像記憶領域143に記憶させる(ステップS2)。また、制御部11は、受信した医用画像の画像属性情報に含まれる画像ID、患者ID、撮影日時、モダリティー、部位、方向等を対応付けて、記憶部14のデータ管理テーブル142(図3参照)に格納する。
【0044】
次に、制御部11は、画像解析部13により、受信した医用画像を解析させる(ステップS3)。画像解析部13は、AI(Artificial Intelligence)により医用画像を解析して病変検出領域を取得し、取得した病変検出領域の情報を含む解析結果のデータを生成する。
【0045】
次に、制御部11は、画像解析部13により得られた解析結果を、医用画像と対応付けて記憶部14に記憶させ(ステップS4)、医用画像解析処理を終了する。具体的には、制御部11は、解析結果を記憶部14の解析結果記憶領域144に記憶させるとともに、記憶部14のデータ管理テーブル142において、解析対象とされた医用画像に対応するレコードに解析結果の解析結果IDを格納する。
【0046】
ユーザー(医師)が情報処理装置30から医用画像管理サーバー10にアクセスするにあたり、操作部32からの操作により、ユーザーID及びパスワードを入力すると、制御部31は、入力されたユーザーID及びパスワードを、通信部34を介して医用画像管理サーバー10に送信する。
医用画像管理サーバー10では、通信部12によりユーザーID及びパスワードを受信すると、制御部11は、受信されたユーザーID及びパスワードが、記憶部14のユーザー管理テーブル141に予め登録されているユーザーID及びパスワードの組み合わせのいずれかと一致するか否かを判断し、一致するものがある場合に、情報処理装置30のユーザーの利用を許可する。
【0047】
図6は、情報処理装置30により実行される読影支援処理を示すフローチャートである。この処理は、制御部31のCPUと記憶部35に記憶されている読影支援処理プログラム351との協働によるソフトウェア処理によって実現される。
【0048】
読影支援処理において、制御部31は、通信部34を介して、医用画像管理サーバー10から現在画像(第2の医用画像)及びその解析結果(第2の解析結果)を取得する(ステップS11)。
例えば、制御部31は、ユーザーの操作部32からの操作により指定された画像IDを含む医用画像の取得要求を、通信部34を介して医用画像管理サーバー10に送信する。医用画像管理サーバー10の制御部11は、取得要求に含まれる画像IDに対応する医用画像を医用画像記憶領域143から読み出し、当該医用画像を通信部12を介して情報処理装置30に送信する。また、制御部11は、記憶部14のデータ管理テーブル142を参照して、現在画像の「画像ID」に対応するレコードから「解析結果ID」を特定し、この「解析結果ID」に対応する解析結果を解析結果記憶領域144から読み出し、当該解析結果を通信部12を介して情報処理装置30に送信する。
なお、制御部31は、モダリティー20から現在画像を取得することとしてもよい。
【0049】
次いで、制御部31は、取得した現在画像が表示された読影画面331を表示部33に表示する(ステップS12)。
【0050】
読影画面は、医用画像を表示してユーザー(医師)が読影及び読影結果の入力を行うための画面である。図7に、読影画面331の一例を示す。図7に示すように、読影画面331には、読影対象の医用画像を表示するための医用画像表示領域331a、解析結果の表示を指示するための解析結果表示ボタン133b、読影の終了を指示するための終了ボタン133c、ツール表示領域331d等が設けられている。
【0051】
読影画面331においては、例えば、ユーザーである医師が、読影画面331に表示された医用画像上の病変と思われる領域の位置を操作部32により指定(例えば、右クリック)すると、指定された位置の近傍に、病変の種類を含むメニュー項目(例えば、右クリックメニュー)が表示される。操作部32により、メニュー項目の中から、指定された領域の病変の種類を選択すると、指定された領域に、ユーザーが検出した病変検出領域(病変入力領域という)であることを示す付帯情報(例えば、付帯情報(アノテーション情報))が付帯され、指定された領域が病変入力領域として入力される。病変入力領域の情報(病変入力領域の位置、病変の種類、付帯情報の内容等)は、RAMに一次記憶される。
【0052】
読影画面331が表示されると、制御部31は、操作部32により病変入力領域の入力操作が検出されたか否かを判断する(ステップS13)。
病変入力領域の入力操作が検出されていないと判断した場合(ステップS13;NO)、制御部31は、ステップS15に移行する。
病変入力領域の入力操作が検出されたと判断した場合(ステップS13;YES)、制御部31は、入力された病変入力領域の情報をRAMに記憶し(ステップS14)、ステップS15に移行する。
【0053】
ステップS15において、制御部31は、解析結果(コンピューター処理による病変検出領域の検出結果)の表示が指示されたか否かを判断する(ステップS15)。
例えば、操作部32により解析結果表示ボタン331bが押下された場合、解析結果の表示が指示されたと判断する。
解析結果の表示が指示されていないと判断した場合(ステップS15;NO)、制御部31は、ステップS19に移行する。
解析結果の表示が指示されたと判断した場合(ステップS15;YES)、制御部31は、解析結果表示処理を実行する(ステップS16)。
【0054】
図8は、情報処理装置30により実行される解析結果表示処理を示すフローチャートである。この処理は、制御部31のCPUと記憶部35に記憶されている解析結果表示処理プログラムとの協働によるソフトウェア処理によって実現される。
【0055】
まず、制御部31は、通信部34を介して、医用画像管理サーバー10に、現在画像と同一患者の過去画像(第1の医用画像)が存在するか否かを問い合わせる(ステップS161)。
例えば、制御部31は、現在画像の画像IDを医用画像管理サーバー10に送信し、現在画像と同一患者の過去画像が存在するか否かを問い合わせる。医用画像管理サーバー10の制御部11は、記憶部14のデータ管理テーブル142を参照して、「患者ID」、「モダリティー」、「部位」、「方向」が現在画像と共通の医用画像が医用画像記憶領域143に存在するか否かを判断し、判断結果を通信部12を介して情報処理装置30に通知する。
【0056】
現在画像と同一患者の過去画像が存在しない旨が医用画像管理サーバー10から通知された場合(ステップS161;NO)、制御部31は、表示されている現在画像の、ステップS11で取得した解析結果に含まれる病変検出領域に付帯情報(アノテーション情報)を表示し(ステップS162)、図6のステップS17に移行する。
【0057】
現在画像と同一患者の過去画像が存在する旨が医用画像管理サーバー10から通知された場合(ステップS161;YES)、制御部31は、通信部34を介して、過去画像(第1の医用画像)及びその読影結果を医用画像管理サーバー10から取得する(ステップS163)。
医用画像管理サーバー10の制御部11は、記憶部14のデータ管理テーブル142を参照して、「患者ID」、「モダリティー」、「部位」、「方向」が現在画像と共通の医用画像であって、「撮影日時」が現在画像より前かつ一番最近のレコードを抽出し、抽出されたレコードに含まれる画像ID(過去画像の画像ID)を取得する。そして、記憶部14の医用画像記憶領域143から、取得した画像IDに対応する医用画像を読み出す。また、制御部31は、データ管理テーブル142を参照して、取得した画像IDに対応するレコードから「読影結果ID」を特定し、この「読影結果ID」に対応する読影結果を読影結果記憶領域145から読み出し、読み出した医用画像(過去画像)及び読影結果を通信部12を介して情報処理装置30に送信する。
【0058】
次いで、制御部31は、現在画像の解析結果と過去画像の読影結果を比較して、現在画像の解析結果に含まれる病変検出領域(現在画像の病変検出領域)に、過去画像における偽陽性の病変検出領域に対応する領域があるか否かを判断する(ステップS164)。
ステップS164において、制御部31は、例えば、以下の(1)~(4)の処理を実行して、現在画像の解析結果に含まれる病変検出領域に、過去画像における偽陽性の病変検出領域に対応する領域があるか否かを判断する。
【0059】
(1)まず、制御部31は、現在画像と過去画像の位置合わせを行う。具体的には、制御部31は、現在画像及び過去画像の両方又はいずれか一方に対して、拡大・縮小・回転処理等を施し、現在画像と過去画像との間で画像内の骨や臓器等の位置を合わせる。
【0060】
(2)次に、制御部31は、現在画像と過去画像の位置合わせに伴い、現在画像の解析結果に含まれる病変検出領域及び過去画像における偽陽性の病変検出領域の位置を調整する。具体的には、制御部31は、現在画像の解析結果に含まれる病変検出領域又は過去画像における偽陽性の病変検出領域の位置を、各画像の位置合わせ後の位置に変換する。
【0061】
(3)次に、制御部31は、位置調整後の現在画像の解析結果に含まれる病変検出領域と過去画像における偽陽性の病変検出領域を重ね合わせ、現在画像の解析結果に含まれる各病変検出領域と、過去画像の解析結果に含まれる各病変検出領域の重複度合いを算出する。
例えば、病変検出領域の位置が1点(中心位置)で指定されている場合には、制御部31は、現在画像の病変検出領域と過去画像における偽陽性の病変検出領域における病変中心位置から予め指定されている範囲(例えば、所定半径の円等)の領域同士が重複する割合(重複度合い)を算出する。ここで、予め指定されている範囲としては、医療施設(撮影が行われた医療施設、ユーザーが所属する医療施設等)、依頼科、モダリティー、撮影部位ごとに変更可能とする。また、予め指定されている範囲として、ユーザー(医師)が任意の値を指定することとしてもよい。
例えば、病変検出領域の位置が領域で指定されている場合には、制御部31は、現在画像の病変検出領域と過去画像における偽陽性の病変検出領域が重複する割合(重複度合い)を算出する。
【0062】
(4)次に、制御部31は、現在画像の解析結果に含まれる各病変検出領域と過去画像の解析結果に含まれる偽陽性の各病変検出領域の重複度合いが予め定められた閾値以上であるか否かを判断する。ここで用いる閾値としては、医療施設、依頼科、撮影部位、ユーザーごとに変更可能としてもよい。
現在画像の病変検出領域と過去画像における偽陽性の病変検出領域の重複度合いが予め定められた閾値以上である場合、制御部31は、重複度合いを算出した現在画像の病変検出領域と過去画像における偽陽性の病変検出領域が一致する、すなわち、重複度合いを算出した現在画像の病変検出領域が、過去画像における偽陽性の病変検出領域に対応する領域であると判断する。現在画像の病変検出領域と過去画像における偽陽性の病変検出領域の重複度合いが予め定められた閾値未満である場合、制御部31は、重複度合いを算出した現在画像の病変検出領域と過去画像における偽陽性の病変検出領域が一致しない、すなわち、重複度合いを算出した現在画像の病変検出領域が、過去画像における偽陽性の病変検出領域に対応する領域ではないと判断する。現在画像の病変検出領域のうち、1つでも過去画像における偽陽性の病変検出領域に対応する領域がある場合は、現在画像の解析結果に含まれる病変検出領域に、過去画像における偽陽性の病変検出領域に対応する領域があると判断する。
【0063】
なお、上記(3)~(4)で重複度合いを算出せず、単純に、現在画像の病変検出領域のうち、過去画像における偽陽性の病変検出領域と一致する領域、一部重なっている領域、包含している領域を過去画像における偽陽性の病変検出領域に対応する領域と判断してもよい。
【0064】
ステップS164において、現在画像の解析結果に含まれる病変検出領域に、過去画像における偽陽性の病変検出領域に対応する領域があると判断した場合(ステップS164;YES)、制御部31は、現在画像の病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を、過去画像における偽陽性ではない病変検出領域に対応する領域と異なる表示態様で表示させる(ステップS165)。
【0065】
例えば、図9に示す現在画像50において、過去画像40の病変検出領域41~45に対応する領域が、それぞれ病変検出領域51~55であり、病変検出領域45が、偽陽性の病変検出領域である場合、制御部31は、読影画面331に表示された現在画像50において、病変検出領域45に対応する領域である病変検出領域55を、病変検出領域51~54とは異なる態様で表示させる。例えば、図9の「解析結果表示」に示すように、病変検出領域55に付帯させる第1の付帯情報(アノテーション情報)M1を、他の病変検出領域51~54に付帯させる第2の付帯情報(アノテーション情報)M2とは異なる表示態様で表示する。例えば、第1の付帯情報M1の、形状、線種、太さ、色、明度、透明度、記号の群から選ばれた少なくとも一つを第2の付帯情報M2と異ならせて、第1の付帯情報M1を第2の付帯情報M2に対して強調表示する。また強調表示には、第1の付帯情報M1に文字、記号の少なくとも一つの識別情報を付加することで、第1の付帯情報M1を第2の付帯情報M2に対して強調表示してもよい。図9では、第1付帯情報M1の線種を変えることで、第1の付帯情報M1を第2の付帯情報M2に対して強調表示した例を示している。
または、図10に示すように、病変検出領域55には第1の付帯情報を非表示とすることで、病変検出領域55を、病変検出領域51~54とは異なる態様で表示させることとしてもよい。
【0066】
また、制御部31は、現在画像の解析結果に含まれる病変検出領域に、過去画像における偽陽性の病変検出領域に対応する領域があることをユーザーに警告し(ステップS166)、ステップS167に移行する。
【0067】
ステップS166において、制御部31は、例えば、所定の情報をユーザーに通知するか、読影画面331のマウスカーソルの表示態様を変更して表示するか、読影画面331のウィンドウの表示態様を変更して表示することで、ユーザーに警告を行う。ウィンドウの表示態様の変更には、ウィンドウ内の医用画像表示領域331aに対してウィンドウ内で背景となる領域の色を変更する等が含まれる。背景となる領域とは、例えばウィンドウ内のツール表示領域331dが含まれる。
【0068】
例えば、図11に示すように、現在画像から、過去画像において偽陽性であると判定した病変検出領域が検出されていることを通知するポップアップウィンドウ332を読影画面331上に表示させる。
または、図12に示すように、マウスカーソル333の色(形状でもよい)を変更して表示させる。
または、図13に示すように、読影画面331のウィンドウ枠331eの色を通常表示の色(図7参照)から変更して表示する。或いは、ウィンドウ内の医用画像表示領域331aに対してウィンドウ内で背景となる領域331d、331f(ツール表示領域331dを含む)の少なくとも一つの色を変更して表示させる。
【0069】
一方、ステップS164において、現在画像の解析結果に含まれる病変検出領域に、過去画像における偽陽性の病変検出領域に対応する領域がないと判断した場合(ステップS164;NO)、制御部31は、ステップS167に移行する。
【0070】
ステップS167において、制御部31は、現在画像の解析結果に含まれる病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を除いた領域と、過去画像の読影結果に含まれる、過去画像においてユーザーが入力した病変入力領域とを比較し、現在画像の病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を除いた領域に、過去画像の病変入力領域に対応していない領域があるか否かを判断する(ステップS167)。
【0071】
現在画像の病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を除いた領域に、過去画像においてユーザーが入力した病変入力領域に対応していない領域があると判断した場合(ステップS167;YES)、制御部31は、現在画像の病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を除いた領域であって、過去画像の病変入力領域に対応していないと判断された現在画像の病変検出領域を、過去画像の病変入力領域に対応すると判断された病変検出領域及び偽陽性の病変検出領域に対応する領域と異なる表示態様で表示させ(ステップS168)、図6のステップS17に移行する。
【0072】
例えば、図9における病変検出領域56が、過去画像においてユーザーが入力した病変入力領域に対応していないと判断された病変検出領域である場合、病変検出領域56を、病変検出領域51~55とは異なる態様で表示させる。
例えば、図14に示すように、病変検出領域56に付帯させる第3の付帯情報(アノテーション情報)M3を、他の病変検出領域51~55に付帯させる第1の付帯情報M1及び第2の付帯情報M2とは異なる表示態様で表示させる。図14では、第1の付帯情報M1とは線種を、第2の付帯情報M2とは色(明度)を変えることで、第3の付帯情報M3を第1の付帯情報M1及び第2の付帯情報M2と異ならせて強調表示している。なお、第1の付帯情報M1が非表示となっている場合には、図15に示すように、病変検出領域56は、他の病変検出領域51~54に付帯させる第2の付帯情報M2とは異なる表示態様で表示させる。
【0073】
これにより、今回の撮影画像(現在画像)からコンピューター処理により得られた病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を除いた領域であって、過去画像においてユーザーが入力した病変入力領域に対応していない領域が、過去画像における病変入力領域に対応する領域及び偽陽性の病変検出領域に対応する領域とは異なる態様で表示されるので、今回の撮影画像(現在画像)からコンピューター処理により得られた新規の病変検出領域を、ユーザーが容易に把握することが可能となる。
【0074】
なお、本実施形態では、過去画像においてユーザーが入力した病変入力領域を、過去画像においてユーザーが病変候補として直接指定した領域としているが、これに限らず、過去画像の解析結果のそれぞれの病変検出領域に対してユーザーが入力した偽陽性か否かの情報で偽陽性ではないとされた領域としてもよい。または、過去画像においてユーザーが病変候補として直接指定した領域と過去画像の解析結果のそれぞれの病変検出領域に対してユーザーが入力した偽陽性か否かの情報において偽陽性ではないとされた領域を合わせた領域としてもよい。
【0075】
一方、ステップS167において、現在画像の病変検出領域に、過去画像においてユーザーが入力した病変入力領域に対応していない領域が存在しないと判断した場合(ステップS167;NO)、制御部31は、図6のステップS17に移行する。
【0076】
ここで、解析結果が表示されると、読影画面331では、表示された病変検出領域が偽陽性であるか否かの情報をユーザーが入力可能となる。
例えば、読影画面331に表示された医用画像(現在画像)に表示された付帯情報(アノテーション情報)が操作部32により選択(例えば、右クリック)されると、制御部31は、「偽陽性として登録」及び「真陽性として登録」の項目をメニュー項目(例えば、右クリックメニュー)に表示する。ユーザーである医師は、表示されたメニュー項目から操作部32により「偽陽性として登録」又は「真陽性として登録」を選択することで、選択された付帯情報が示す病変検出領域が偽陽性であるか否かの情報を入力することができる。なお、入力操作を簡易化するため、メニュー項目に「偽陽性として登録」のみを表示し、医師が偽陽性として判断した病変検出領域のみを入力可能とし、入力のない領域は真陽性として入力したとみなすこととしてもよいし、メニュー項目に「真陽性として登録」のみを表示し、医師が真陽性として判断した病変検出領域のみを入力可能とし、入力のない領域は偽陽性として入力したとみなすこととしてもよい。なお、引き続き、ユーザーが病変入力領域を入力することも可能である。
【0077】
図6のステップS17において、制御部31は、表示された病変検出領域が偽陽性であるか否かの情報または病変入力領域の入力操作が検出されたか否かを判断する(ステップS17)。
表示された病変検出領域が偽陽性であるか否かの情報または病変入力領域の入力操作が検出されていないと判断した場合(ステップS17;NO)、制御部31は、ステップS19に移行する。
表示された病変検出領域が偽陽性であるか否かの情報又は病変入力領域の入力操作が検出されたと判断した場合(ステップS17;YES)、制御部31は、入力された、病変検出領域が偽陽性であるか否かの情報又は入力された病変入力領域をRAMに記憶し(ステップS18)、ステップS19に移行する。
【0078】
ステップS19において、制御部31は、操作部32により読影の終了が指示されたか否かを判断する(ステップS19)。
例えば、操作部32により読影画面331に表示された終了ボタン331cが押下された場合、制御部31は、読影の終了が指示されたと判断する。
操作部32により読影の終了が指示されていないと判断した場合(ステップS19;NO)、制御部31は、解析結果の表示中であるか否かを判断する(ステップS20)。
解析結果の表示中であると判断した場合(ステップS20;YES)、制御部31は、ステップS17に戻る。
解析結果の表示中ではないと判断した場合(ステップS20;NO)、制御部31は、ステップS13に戻る。
【0079】
一方、ステップS19において、操作部32により読影の終了が指示されたと判断した場合(ステップS19;YES)、制御部31は、RAMに記憶されている読影結果(現在画像の解析結果に含まれる病変検出領域が偽陽性であるか否かの情報及びユーザーにより入力された病変入力領域の情報)に現在画像の画像IDを付与して通信部34を介して医用画像管理サーバー10に送信し(ステップS21)、読影支援処理を終了する。
【0080】
医用画像管理サーバー10において、通信部12により情報処理装置30から読影結果を受信すると、制御部11は、受信した読影結果を医用画像に対応付けて読影結果記憶領域145に記憶させる。例えば、受信した読影結果に読影結果IDを付与して読影結果記憶領域145に記憶させるとともに、データ管理テーブル142から読影結果に対応する画像IDのレコードを抽出し、抽出したレコードの「読影結果ID」の項目に、受信した読影結果に付与した読影結果IDを登録する。
【0081】
以上説明したように、本実施形態によれば、情報処理装置30の制御部31は、患者の過去画像(第1の医用画像)に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む解析結果(第1の解析結果)に対しユーザーが入力した病変検出領域のそれぞれが偽陽性か否かの情報を取得し、患者の現在画像(第2の医用画像)に対するコンピューター処理により得られた少なくとも一つの病変検出領域を含む解析結果(第2の解析結果)を取得し、現在画像の解析結果に含まれる病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を、偽陽性ではない病変検出領域に対応する領域と異なる表示態様で表示させる。
したがって、コンピューター処理により得られた病変検出領域のうち偽陽性の領域をユーザーが認識できるようにすることができる。その結果、偽陽性であることを見落としてしまうことを防止することができる。
【0082】
例えば、制御部31は、現在画像の解析結果に含まれる病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域に付帯させる第1の付帯情報(アノテーション情報)と、偽陽性ではない病変検出領域に対応する領域に付帯させる第2の付帯情報(アノテーション情報)とを、互いに異なる表示態様で表示させることで、コンピューター処理により得られた病変検出領域のうち偽陽性の病変検出領域と、偽陽性ではない病変検出領域をユーザーが区別して認識することができる。
【0083】
また、例えば、制御部31は、現在画像の解析結果に含まれる病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域に付帯させる第1の付帯情報を非表示とすることにより、過去画像の解析結果に含まれる偽陽性である病変検出領域に対応する領域を、偽陽性ではない病変検出領域に対応する領域と異なる表示態様で表示させることで、偽陽性の結果が再び表示される煩わしさを解消することができる。
【0084】
また、制御部31は、現在画像の解析結果に含まれる病変検出領域のうち、過去画像において偽陽性である病変検出領域に対応する領域を除いた領域であって、ユーザーが入力した病変入力領域に対応していない領域を、病変入力領域に対応する領域及び偽陽性である病変検出領域に対応する領域と異なる表示態様で表示させる。したがって、現在画像の解析結果に含まれる病変検出領域のうち、例えば、新規に検出された領域を、ユーザーが容易に認識することが可能となる。
【0085】
また、制御部31は、現在画像の解析結果に含まれる病変検出領域のうち、過去画像において偽陽性である病変検出領域に対応する領域が存在する場合に、所定の情報をユーザーに通知するか、マウスカーソルの表示態様を変更して表示するか、ウィンドウの表示態様を変更して表示させる。したがって、現在画像の解析結果に含まれる病変検出領域のうち、過去画像において偽陽性である病変検出領域に対応する領域が存在することをユーザーが容易に認識することが可能となる。
【0086】
また、制御部31は、現在画像の解析結果に含まれる病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域に付帯させる第1の付帯情報を強調表示することにより、過去画像における偽陽性ではない病変検出領域に対応する領域と異なる表示態様で表示させる。したがって、現在画像の解析結果に含まれる病変検出領域のうち、過去画像において偽陽性である病変検出領域に対応する領域をユーザーが容易に認識することが可能となる。
【0087】
なお、上記実施の形態における記述は、本発明に係るプログラム、情報処理装置、情報処理方法及び情報処理システムの例であり、これに限定されるものではない。システムを構成する各装置の細部構成及び細部動作に関しても本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【0088】
例えば、上記実施形態では、解析結果の表示が指示された場合に、コンピューター処理により得られた病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を、過去画像における偽陽性ではない病変検出領域に対応する領域と異なる表示態様で表示したが、これに限定されない。例えば、読影画面331に、切り替えボタン等の所定の操作ボタンを設けておき、解析結果の表示が指示された場合に、まず、制御部31は、読影支援処理プログラム351との協働により、コンピューター処理により得られた病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を、過去画像における偽陽性ではない病変検出領域に対応する領域と同じ表示態様で表示し、ユーザーによる操作部32による切り替えボタンの押下に応じて、コンピューター処理により得られた病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を、過去画像における偽陽性ではない病変検出領域に対応する領域と同じ表示態様から異なる表示態様に切り替えることとしてもよい。例えば、過去画像における偽陽性の病変検出領域に対応する領域に付帯させる第1の付帯情報を、過去画像における偽陽性ではない病変検出領域に対応する領域に付帯させる第2の付帯情報と同じ表示態様から異なる表示態様に切り替えて表示させることとしてもよい。あるいは、第1の付帯情報を非表示に切り替えることで、第1の付帯情報と異なる表示態様で表示することとしてもよい。
これにより、ユーザーがコンピューター処理により得られた病変検出領域のうち、過去画像における偽陽性の病変検出領域に対応する領域を、過去画像における偽陽性ではない病変検出領域に対応する領域と区別したい場合に、区別して表示することが可能となる。
【0089】
また、上述の切り替えボタンを押下するごとに、過去画像における偽陽性の病変検出領域に対応する領域に付帯させる第1の付帯情報を、(A)過去画像における偽陽性ではない病変検出領域に対応する領域に付帯させる第2の付帯情報と同じ表示態様で表示→(B)過去画像における偽陽性ではない病変検出領域に対応する領域に付帯させる第2の付帯情報と異なる表示態様で表示→(C)非表示にする、を切り替えて表示することとしてもよい。
【0090】
また、上記実施形態では、過去画像における偽陽性の病変検出領域に対応する領域に付帯させる第1の付帯情報を、過去画像における偽陽性ではない病変検出領域に対応する領域に付帯させる第2の付帯情報と異なる表示態様で表示させるか、又は、第1の付帯情報を非表示とすることで、両者を異なる表示態様で表示することとしたが、制御部31は、読影支援処理プログラム351との協働により、第2の付帯情報を非表示とすることにより、両者を異なる表示態様で表示することとしてもよい。
【0091】
また、上記実施形態では、現在画像の病変検出領域と過去画像における偽陽性の病変検出領域の重複度合いが予め定められた閾値以上の場合、重複度合いを算出した現在画像の病変検出領域と過去画像における偽陽性の病変検出領域が一致する、すなわち、現在画像の解析結果における病変検出領域が、過去画像における偽陽性の病変検出領域に対応する領域であると判断したが、一致すると判断された場合であっても、重複度合いが所定の基準より低い場合は、不一致の疑いも考えらえる。そこで、過去画像における偽陽性の病変検出領域に対応する領域であると判断した領域には、付帯情報(アノテーション情報)の表示を、重複度合いが基準より高い場合と低い場合とで変更して表示することとしてもよい。
【0092】
また、上記実施形態では、情報処理装置30の制御部31が第1の取得手段、第2の取得手段、第3の取得手段、表示制御手段として機能することとしたが、情報処理装置30以外の装置が上記各手段を備えることとしてもよい。
また、上記実施の形態では、医用画像に対してコンピューター処理を行い、解析結果を生成する機能を医用画像管理サーバー10が備えることとしたが、医用画像管理サーバー10以外の装置が解析機能を備えることとしてもよい。
【0093】
また、上記実施形態では、医用画像として胸部画像を用いた場合の例を図示したが、撮影部位は胸部に限定されない。また、処理対象とされる医用画像は、CT等により得られた複数のスライス画像、マルチフレーム画像(動画)、CTやMRI等により得られた画像を3D変換した画像であってもよい。
【0094】
また、例えば、マルチフレーム画像の動画再生時や計測実施時など、付帯情報(アノテーション情報)を表示しないほうがよい場合(邪魔になる場合)には、解析結果を自動的に非表示にしてもよい。
【0095】
また、上記実施の形態では、医用画像管理サーバー10において、医用画像の画像データと、解析結果のデータ及び読影結果のデータとを別の領域(医用画像記憶領域143、解析結果記憶領域144、読影結果記憶領域145)に格納することとしたが、解析結果のデータ及び読影結果のデータの少なくとも一方が、医用画像の画像データを含む医用画像ファイルに組み込まれることとしてもよい。
【0096】
また、各装置において各処理を実行するためのプログラムは、可搬型記録媒体に格納されていてもよい。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)を適用することとしてもよい。
【符号の説明】
【0097】
10 医用画像管理サーバー
11 制御部
12 通信部
13 画像解析部
14 記憶部
20 モダリティー
30 情報処理装置
31 制御部
32 操作部
33 表示部
331 読影画面
34 通信部
35 記憶部
100 医用画像表示システム
141 ユーザー管理テーブル
142 データ管理テーブル
143 医用画像記憶領域
144 解析結果記憶領域
145 読影結果記憶領域
351 読影支援処理プログラム
N 通信ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15