(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】医療診断支援装置、医療診断支援プログラム、および医療診断支援方法
(51)【国際特許分類】
A61B 5/00 20060101AFI20240228BHJP
【FI】
A61B5/00 G
(21)【出願番号】P 2020090518
(22)【出願日】2020-05-25
【審査請求日】2022-12-23
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110000671
【氏名又は名称】IBC一番町弁理士法人
(72)【発明者】
【氏名】根本 絵梨
(72)【発明者】
【氏名】角森 昭教
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2004-216008(JP,A)
【文献】特開2007-151645(JP,A)
【文献】特表2017-515574(JP,A)
【文献】特開2019-107084(JP,A)
【文献】国際公開第2009/081643(WO,A1)
【文献】特表2019-526869(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00
(57)【特許請求の範囲】
【請求項1】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する取得部と、
学習済みの識別器を用いて、前記取得部により取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定する特定部と、
前記特定部により特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力部に出力させる制御部と、
を備え
、
前記制御部は、予測された前記医用画像の読影者の疲労状態に応じて前記複数の医用画像のソート順を変更する医療診断支援装置。
【請求項2】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する取得部と、
学習済みの識別器を用いて、前記取得部により取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定する特定部と、
前記特定部により特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力部に出力させる制御部と、
を備え、
前記制御部は、各読影者が抱えるタスクに応じて前記複数の医用画像のソート順を変更す
る医療診断支援装置。
【請求項3】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する取得部と、
学習済みの識別器を用いて、前記取得部により取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定する特定部と、
前記特定部により特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力部に出力させる制御部と、
を備え、
前記制御部は、前記医用画像の読影者の読影能力に応じて前記複数の医用画像のソート順を変更す
る医療診断支援装置。
【請求項4】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する取得部と、
学習済みの識別器を用いて、前記取得部により取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定する特定部と、
前記特定部により特定された診断の難易度に基づいて、前記複数の医用画像を第1のソート順にソートして出力部に出力させる制御部と、
を備え、
前記制御部は、前記出力部に出力させる前記複数の医用画像
を、自動で、前記第1のソート順から、前記診断の難易度に基づく第2のソート順に変更可能であ
る医療診断支援装置。
【請求項5】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する取得部と、
学習済みの識別器を用いて、前記取得部により取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定する特定部と、
前記特定部により特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力部に出力させる制御部と、
を備え、
前記制御部は、
読影の時間帯に応じて前記複数の医用画像のソート順を変更す
る医療診断支援装置。
【請求項6】
前記医用画像は、X線撮影装置、超音波撮影装置、MRIおよびPETの少なくともいずれかによって取得された画像である請求項1
~5のいずれかに記載の医療診断支援装置。
【請求項7】
前記制御部は、さらに、前記医用画像情報に関連する関連情報を前記出力部に出力させる請求項1
~6のいずれかに記載の医療診断支援装置。
【請求項8】
前記制御部は、前記複数の医用画像の少なくとも一部の前記医用画像にテキストを付して前記出力部に出力させる請求項1~
7のいずれかに記載の医療診断支援装置。
【請求項9】
前記テキストは、前記医用画像の診断の難易度に関する情報を含む請求項
8に記載の医療診断支援装置。
【請求項10】
前記制御部は、前記複数の医用画像の少なくとも一部の前記医用画像にマークを付して前記出力部に出力させる請求項1~
9のいずれかに記載の医療診断支援装置。
【請求項11】
前記マークは、前記特定部により診断の難易度が高いと特定された一部の前記医用画像に付される請求項
10に記載の医療診断支援装置。
【請求項12】
前記制御部は、前記複数の医用画像の少なくとも一部の前記医用画像に前記医用画像の解析結果を付して前記出力部に出力させる請求項1~
11のいずれかに記載の医療診断支援装置。
【請求項13】
前記識別器は、前記医用画像情報を入力データとし、前記医用画像の診断の難易度を出力データとして機械学習される請求項1~
12のいずれかに記載の医療診断支援装置。
【請求項14】
前記出力データとしての前記診断の難易度は、医師による判断の難易度である請求項
13に記載の医療診断支援装置。
【請求項15】
前記出力データとしての前記診断の難易度は、前記医用画像情報に対するカテゴリー分類の結果に基づいて取得される請求項
13または
14に記載の医療診断支援装置。
【請求項16】
前記出力データとしての前記診断の難易度は、前記医用画像情報における病変候補領域の悪性確信度に基づいて取得される請求項
13または
14に記載の医療診断支援装置。
【請求項17】
前記特定部により特定された前記医用画像の診断の難易度を修正する修正部をさらに有し、
前記識別器は、前記修正部により修正された前記医用画像の診断の難易度を出力データとして機械学習される請求項
13~
16のいずれかに記載の医療診断支援装置。
【請求項18】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有する処理をコンピューターに実行させ
、
前記ステップ(c)では、予測された前記医用画像の読影者の疲労状態に応じて前記複数の医用画像のソート順を変更して出力する医療診断支援プログラム。
【請求項19】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有する処理をコンピューターに実行させ、
前記ステップ(c)では、各読影者が抱えるタスクに応じて前記複数の医用画像のソート順を変更して出力する医療診断支援プログラム。
【請求項20】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有する処理をコンピューターに実行させ、
前記ステップ(c)では、前記医用画像の読影者の読影能力に応じて前記複数の医用画像のソート順を変更して出力する医療診断支援プログラム。
【請求項21】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像を第1のソート順にソートして出力するステップ(c)と、
出力させる前記複数の医用画像を、自動で、前記第1のソート順から、前記診断の難易度に基づく第2のソート順に変更して出力するステップ(d)と、
を有する処理をコンピューターに実行させるための医療診断支援プログラム。
【請求項22】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有する処理をコンピューターに実行させ、
前記ステップ(c)では、読影の時間帯に応じて前記複数の医用画像のソート順を変更して出力する医療診断支援プログラム。
【請求項23】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有
し、
前記ステップ(c)では、予測された前記医用画像の読影者の疲労状態に応じて前記複数の医用画像のソート順を変更して出力する医療診断支援方法。
【請求項24】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有し、
前記ステップ(c)では、各読影者が抱えるタスクに応じて前記複数の医用画像のソート順を変更して出力する医療診断支援方法。
【請求項25】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有し、
前記ステップ(c)では、前記医用画像の読影者の読影能力に応じて前記複数の医用画像のソート順を変更して出力する医療診断支援方法。
【請求項26】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像を第1のソート順にソートして出力するステップ(c)と、
前記複数の医用画像を、自動で、前記第1のソート順から、前記診断の難易度に基づく第2のソート順に変更して出力するステップ(d)と、
を有する医療診断支援方法。
【請求項27】
1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、
学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、
前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、
を有し、
前記ステップ(c)では、読影の時間帯に応じて前記複数の医用画像のソート順を変更して出力する医療診断支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療診断支援装置、医療診断支援プログラム、および医療診断支援方法に関する。
【背景技術】
【0002】
医療の分野では、X線装置、CR(Computed Radiography)装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)、超音波装置およびOCT(Optical Coherence Tomography)装置等の医用撮影装置により、対象者を撮影する。この撮影により得られた医用画像を医師等の医療スタッフが読影することにより、病変領域の状態および経時変化等の診断がなされる。
【0003】
医用画像を読影する際に医療スタッフにかかる負担および読影時間等は、症例および医療スタッフの読影能力等に左右される(たとえば、特許文献1等)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
このような医用画像の読影では、読影効率を向上させることが望まれている。
【0006】
本発明は、上記事情に鑑みてなされたものであり、読影効率を向上させることが可能な医療診断支援装置、医療診断支援プログラム、および医療診断支援方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の上記目的は、下記の手段によって達成される。
【0008】
(1)1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する取得部と、学習済みの識別器を用いて、前記取得部により取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定する特定部と、前記特定部により特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力部に出力させる制御部と、を備える医療診断支援装置。
【0009】
(2)前記医用画像は、X線撮影装置、超音波撮影装置、MRIおよびPETの少なくともいずれかによって取得された画像である上記(1)に記載の医療診断支援装置。
【0010】
(3)前記制御部は、さらに、前記医用画像情報に関連する関連情報を前記出力部に出力させる上記(1)または(2)に記載の医療診断支援装置。
【0011】
(4)前記制御部は、前記複数の医用画像の少なくとも一部の前記医用画像にテキストを付して前記出力部に出力させる上記(1)~(3)のいずれかに記載の医療診断支援装置。
【0012】
(5)前記テキストは、前記医用画像の診断の難易度に関する情報を含む上記(4)に記載の医療診断支援装置。
【0013】
(6)前記制御部は、前記複数の医用画像の少なくとも一部の前記医用画像にマークを付して前記出力部に出力させる上記(1)~(5)のいずれかに記載の医療診断支援装置。
【0014】
(7)前記マークは、前記特定部により診断の難易度が高いと特定された一部の前記医用画像に付される上記(6)に記載の医療診断支援装置。
【0015】
(8)前記制御部は、前記複数の医用画像の少なくとも一部の前記医用画像に前記医用画像の解析結果を付して前記出力部に出力させる上記(1)~(7)のいずれかに記載の医療診断支援装置。
【0016】
(9)前記制御部は、前記出力部に出力させる前記複数の医用画像のソート順を変更可能である上記(1)~(8)のいずれかに記載の医療診断支援装置。
【0017】
(10)前記制御部は、時間帯に応じて前記複数の医用画像のソート順を変更する、上記(9)に記載の医療診断支援装置。
【0018】
(11)前記制御部は、予測された前記医用画像の読影者の疲労状態に応じて前記複数の医用画像のソート順を変更する、上記(9)に記載の医療診断支援装置。
【0019】
(12)前記制御部は、各読影者が抱えるタスクに応じて前記複数の医用画像のソート順を変更する、上記(9)に記載の医療診断支援装置。
【0020】
(13)前記制御部は、前記医用画像の読影者の読影能力に応じて前記複数の医用画像のソート順を変更する、上記(9)に記載の医療診断支援装置。
【0021】
(14)前記識別器は、前記医用画像情報を入力データとし、前記医用画像の診断の難易度を出力データとして機械学習される上記(1)~(13)のいずれかに記載の医療診断支援装置。
【0022】
(15)前記出力データとしての前記診断の難易度は、医師による判断の難易度である上記(14)に記載の医療診断支援装置。
【0023】
(16)前記出力データとしての前記診断の難易度は、前記医用画像情報に対するカテゴリー分類の結果に基づいて取得される上記(14)または(15)に記載の医療診断支援装置。
【0024】
(17)前記出力データとしての前記診断の難易度は、前記医用画像情報における病変候補領域の悪性確信度に基づいて取得される上記(14)または(15)に記載の医療診断支援装置。
【0025】
(18)前記特定部により特定された前記医用画像の診断の難易度を修正する修正部をさらに有し、前記識別器は、前記修正部により修正された前記医用画像の診断の難易度を出力データとして機械学習される請求項14~17のいずれかに記載の医療診断支援装置。
【0026】
(19)1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、を有する処理をコンピューターに実行させるための医療診断支援プログラム。
【0027】
(20)1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得するステップ(a)と、学習済みの識別器を用いて、前記ステップ(a)において取得された前記対象者の医用画像情報を入力とし、前記複数の医用画像各々の診断の難易度を特定するステップ(b)と、前記ステップ(b)において特定された診断の難易度に基づいて、前記複数の医用画像をソートして出力するステップ(c)と、を有する医療診断支援方法。
【発明の効果】
【0028】
本発明に係る医療診断支援装置、医療診断支援プログラム、および医療診断支援方法は、1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する取得部と、学習済みの識別器を用いて、取得部により取得された対象者の医用画像情報を入力とし、複数の医用画像各々の診断の難易度を特定する特定部と、特定部により特定された診断の難易度に基づいて、複数の医用画像をソートして出力部に出力させる制御部と、を備える。これにより、読影効率を向上させることが可能となる。
【図面の簡単な説明】
【0029】
【
図1】医療診断支援システムの全体構成を示す図である。
【
図2】情報処理装置の概略構成を示すブロック図である。
【
図3】情報処理装置の機能構成を示すブロック図である。
【
図4】情報処理装置において実行される医療診断支援処理の手順を示すフローチャートである。
【
図5】情報処理装置によって出力される情報の表示形態の一例を示す図である。
【
図6】情報処理装置によって出力される情報の表示形態の他の例を示す図である。
【
図7】情報処理装置によって出力される情報の表示形態の他の例を示す図である。
【
図8】情報処理装置によって出力される情報の表示形態の他の例を示す図である。
【
図9】情報処理装置によって出力される情報の表示形態の他の例を示す図である。
【
図10】学習済みモデルの機械学習方法を示すフローチャートである。
【
図11】変形例に係る情報処理装置の機能構成を示すブロック図である。
【
図12】
図11に示した情報処理装置において実行される医療診断支援処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0030】
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0031】
<全体構成>
図1は、医療診断支援システムの全体構成を示す図である。
【0032】
図1に示すように、医療診断支援システムは、たとえば、情報処理装置100、撮影装置200およびサーバー300を有する。
【0033】
情報処理装置100は、たとえばPCやスマートフォン、タブレット端末等のコンピューターであり、本実施形態においては医療情報支援装置として機能する。情報処理装置100は、撮影装置200およびサーバー300と接続可能に構成され、各装置との間で各種情報を送受信する。
【0034】
撮影装置200は、対象者を撮影した医用画像を示す医用画像情報を取得するための装置である。撮影装置200としては、たとえば、X線撮影装置、超音波撮影装置、MRIまたはPET等が用いられる。X線撮影装置は、マンモグラフィおよびトモシンセシス等の乳房X線撮影装置、単純X線撮影装置およびCT撮影装置等を含んでいる。撮影装置200によって取得された医用画像情報がサーバー300等に記憶されるようになっていてもよい。このとき、情報処理装置100は、サーバー300から医用画像情報を取得する。
【0035】
サーバー300は、たとえば、情報処理装置100によって処理された結果を取得して記憶する。サーバー300は、撮影装置200によって取得された医用画像情報を撮影装置200から取得して記憶してもよい。サーバー300には、医用画像情報の関連情報が記憶されていてもよく、たとえば、情報処理装置100は関連情報をサーバー300から取得する。医用画像情報の関連情報は、たとえば、対象者のカルテ情報等である。情報処理装置100および撮影装置200は、PACS(Picture Archiving and Communication Systems)または電子カルテ等と接続されていてもよい。
【0036】
<情報処理装置100の構成>
図2は、情報処理装置の概略構成を示すブロック図である。
【0037】
図2に示すように、情報処理装置100は、CPU(Central Processing Unit)110、ROM(Read Only Memory)120、RAM(Random Access Memory)130、ストレージ140、通信インターフェース150、表示部160、および操作受付部170を有する。各構成は、バス180を介して相互に通信可能に接続されている。
【0038】
CPU110は、ROM120やストレージ140に記録されているプログラムにしたがって、上記各構成の制御や各種の演算処理を行う。
【0039】
ROM120は、各種プログラムや各種データを格納する。
【0040】
RAM130は、作業領域として一時的にプログラムやデータを記憶する。
【0041】
ストレージ140は、オペレーティングシステムを含む各種プログラムや、各種データを格納する。たとえば、ストレージ140には、学習済みの識別器を用いて、医用画像情報から診断の難易度を特定するためのアプリケーションがインストールされている。また、ストレージ140には、撮影装置200から取得された医用画像情報が記憶されてもよい。ストレージ140に、対象者のカルテ情報が記憶されてもよい。また、ストレージ140には、識別器として用いられる学習済みモデルや、機械学習に用いられる教師データが記憶されてもよい。
【0042】
通信インターフェース150は、他の装置と通信するためのインターフェースである。通信インターフェース150としては、有線または無線の各種規格による通信インターフェースが用いられる。通信インターフェース150は、たとえば、撮影装置200またはサーバー300から医用画像情報を受信したり、保存のために特定結果をサーバー300等に送信したりする際に用いられる。
【0043】
表示部160は、LCD(液晶ディスプレイ)や有機ELディスプレイ等を備え、各種情報を表示する。表示部160は、ビューワーソフトまたはプリンター等により構成されていてもよい。本実施形態において、表示部160は、出力部として機能する。
【0044】
操作受付部170は、タッチセンサーや、マウス等のポインティングデバイス、キーボード等を備え、ユーザーの各種操作を受け付ける。なお、表示部160および操作受付部170は、表示部160としての表示面に、操作受付部170としてのタッチセンサーを重畳することによって、タッチパネルを構成してもよい。
【0045】
<情報処理装置100の機能>
図3は、情報処理装置の機能構成を示すブロック図である。
【0046】
図3に示すように、情報処理装置100は、CPU110がストレージ140に記憶されたプログラムを読み込んで処理を実行することによって、取得部111、特定部112、および制御部113として機能する。
【0047】
取得部111は、1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する。この医用画像情報は、たとえば、X線撮影装置、超音波撮影装置、MRIまたはPET等によって対象者を撮影して得られた画像を示す情報である。X線撮影装置によって取得される医用画像情報には、マンモグラフィ画像、トモシンセシス画像、単純X線画像およびCT画像等が含まれる。
【0048】
特定部112は、学習済みの識別器を用いて、取得部111により取得された対象者の医用画像情報を入力とし、医用画像の診断の難易度を特定する。
【0049】
制御部113は、特定部112により特定された医用画像の診断の難易度に基づいて、複数の医用画像をソートして表示部160に出力させる。
【0050】
情報処理装置100において実行される処理について、以下に詳述する。
【0051】
<処理概要>
<特定処理について>
図4は、情報処理装置100において実行される特定処理の手順を示すフローチャートである。
図5は、情報処理装置によって出力される情報の表示形態の一例を示す図である。
図6~
図9は、情報処理装置によって出力される情報の表示形態の他の例を示す図である。
図4のフローチャートに示される情報処理装置100の処理は、情報処理装置100のストレージ140にプログラムとして記憶されており、CPU110が各部を制御することにより実行される。
【0052】
(ステップS101)
情報処理装置100は、まず、1または複数の対象者を撮影して取得された複数の医用画像に関する医用画像情報を取得する。たとえば、情報処理装置100は、複数の対象者各々を撮影装置200によって撮影することによって取得された複数の医用画像に関する医用画像情報を取得する。対象者を撮影する撮影装置200は、同じであってもよく、異なっていてもよい。
【0053】
(ステップS102)
情報処理装置100は、ステップS101の処理において取得された複数の医用画像情報を、予め機械学習された識別器に入力して、各医用画像情報に対応する医用画像の診断の難易度を特定する。たとえば、識別器は、後述するような学習方法によって、予め多数準備された過去の複数の被検者の医用画像に関する医用画像情報と、各医用画像情報に対応する医用画像の診断の難易度に関する情報とを有する教師データを用いて機械学習される。具体的には、識別器は、過去の複数の被検者の医用画像に関する医用画像情報を入力データとし、各医用画像情報に対応する医用画像の診断の難易度に関する情報を出力データとして機械学習される。これにより、情報処理装置100は、対象者の医用画像について取得された医用画像情報を識別器に入力することによって、対象者の医用画像の診断の難易度を特定することができる。
【0054】
情報処理装置100は、たとえば、診断の難易度が低い、診断の難易度が中程度および診断の難易度が高い、等の3段階で各医用画像の診断の難易度を段階的に特定する。情報処理装置100は、4段階以上または2段階で各医用画像の診断の難易度を特定してもよい。あるいは、情報処理装置100は、連続値を用いて各医用画像の診断の難易度を特定してもよい。たとえば、情報処理装置100は、もっとも診断の難易度の低い医用画像を0、もっとも診断の難易度の高い医用画像を100とし、各医用画像の診断の難易度を0から100の間の連続値により特定する。
【0055】
識別器の教師データとなる診断の難易度に関する情報には、たとえば、医師による判断の難易度に関する情報が用いられる。この医師による判断の難易度は、たとえば、医用画像に対するカテゴリー分類の結果に基づいて取得(算出)される。以下の表1に、マンモグラフィのカテゴリー分類を表す。
【0056】
【0057】
カテゴリー分類では、医用画像中の病変候補領域の悪性確信度に応じて、医用画像が数段階(表1の例では5段階)に分類される。表1に示した例では、カテゴリー1およびカテゴリー2は悪性確信度ほぼ0%、カテゴリー3は悪性確信度5%-10%、カテゴリー4は悪性確信度30%-50%、カテゴリー5は悪性確信度100%である。たとえば、医師が病変候補領域の良性および悪性の判断に迷う症例を診断の難易度が高い医用画像、医師が容易に病変候補領域の良性および悪性を判断可能な症例を診断の難易度が低い医用画像とする。たとえば、表1に示した例では、カテゴリー3に分類された医用画像を診断の難易度が高い医用画像、カテゴリー4に分類された医用画像を診断の難易度が中程度の医用画像、カテゴリー1,2,5に分類された医用画像を診断の難易度が低い医用画像として、診断の難易度が取得されてもよい。
【0058】
医師による判断の難易度は、医用画像中の病変候補領域が悪性である確率に基づいて取得されてもよい。たとえば、医師が癌であるか否かの判断に迷う症例を診断の難易度が高い医用画像、医師が容易に癌であるか否かを判断可能な症例を診断の難易度が低い医用画像とする。たとえば、癌の確率5%-30%の医用画像を診断の難易度が高い医用画像、癌の確率30%-90%の医用画像を診断の難易度が中程度の医用画像、癌の確率0%-5%および90%-100%の医用画像を診断の難易度が低い医用画像として、診断の難易度が取得されてもよい。
【0059】
医師による判断の難易度は、癌のステージ分類の結果に基づいて取得されてもよい。たとえば、早期のガンと診断された医用画像を診断の難易度が高い医用画像、末期のガンと診断された医用画像を診断の難易度が低い医用画像とする。たとえば、ステージ0-1の医用画像を診断の難易度が高い医用画像、ステージ2の医用画像を診断の難易度が中程度の医用画像、ステージ3-4の医用画像を診断の難易度が低い医用画像として、診断の難易度が取得されてもよい。
【0060】
医師による判断の難易度は、複数の医師の間での診断結果の一致率に基づいて算出されてもよい。たとえば、複数の医師の間での診断結果の一致率が低い医用画像を診断の難易度が高い医用画像、複数の医師の間での診断結果の一致率が高い医用画像を診断の難易度が低い医用画像とする。
【0061】
医師による判断の難易度は、医師の間での読影時間に基づいて算出されてもよい。たとえば、所定の医用画像の読影に要する読影時間を複数の医師について計測し、この読影時間の平均値を所定の医用画像の読影時間とする。たとえば、読影時間の長い医用画像を診断の難易度が高い医用画像、読影時間の短い医用画像を診断の難易度が低い医用画像とする。
【0062】
医師による判断の難易度は、病変候補領域の数に基づいて算出されてもよい。たとえば、病変候補領域の数の多い医用画像を診断の難易度が高い医用画像、病変候補領域の数の少ない医用画像を診断の難易度が低い医用画像とする。
【0063】
医師による判断の難易度は、病変候補領域の特徴量に基づいて算出されてもよい。たとえば、病変候補領域の境界の不明瞭度、病変候補領域の不整形度および病変候補領域の不均一性等の特徴が顕著な医用画像を診断の難易度が高い医用画像、これらの特徴が確認できない医用画像を診断の難易度が低い医用画像とする。
【0064】
医師による判断の難易度は、病変候補領域の発生頻度に基づいて算出されてもよい。たとえば、病変候補領域の発生頻度の低い医用画像を診断の難易度が高い医用画像、病変候補領域の発生頻度が高い医用画像を診断の難易度が低い医用画像とする。
【0065】
医師による判断の難易度は、病変候補領域の発見の容易性に基づいて算出されてもよい。病変候補領域の発見の容易性は、たとえば、病変候補領域の大きさに関連付けられ、病変候補領域の小さい医用画像を診断の難易度が高い医用画像、病変候補領域の大きい医用画像を診断の難易度が低い医用画像とする。病変候補領域の発見の容易性は、病変候補領域の人体の構造物への重なりに具合に関連付けてもよい。たとえば、病変候補領域の人体の構造物への重なり具合が大きい医用画像を診断の難易度が高い医用画像、病変候補領域の人体の構造物への重なり具合が小さい医用画像を診断の難易度が低い医用画像とする。たとえば、病変候補領域が横隔膜、骨および胸壁等に大きく重なっている医用画像および乳腺量が多い医用画像が、診断の難易度が高い医用画像となる。
【0066】
ステップS102で使用される識別器は、たとえば、このようにして取得された医用画像の診断の難易度に関する情報を出力データとして用いて機械学習される。
【0067】
なお、識別器に入力する情報は医用画像情報に限定されない。たとえば、医用画像情報に加えて、医用画像情報から抽出された各種特徴量も、識別器に入力して学習および特定を行うための情報として用いられてもよい。また、医用画像情報に加えて、医用画像以外の医療情報が識別器に入力され、学習および特定を行うための情報として用いられてもよい。
【0068】
(ステップS103)
情報処理装置100は、ステップS102の処理における識別器による出力に基づいて、対象者の医用画像の診断の難易度の特定結果を生成する。
【0069】
(ステップS104)
情報処理装置100は、ステップS103の処理において生成された特定結果をソートして出力する。たとえば、情報処理装置100は、ステップS102の処理において特定された診断の難易度がもっとも高い医用画像から順に、医用画像を表示部160に表示する。あるいは、情報処理装置100は、たとえば、ステップS102の処理において特定された診断の難易度が最も低い医用画像から順に、医用画像を表示部160に表示する。表示部160には、複数の医用画像がソートされた順(以下、ソート順という。)に並んで表示されていてもよく、あるいは、ソート順に医用画像が1つずつ表示されるようになっていてもよい。情報処理装置100は、
図5~
図9に示すような画面を表示部160に表示することによって特定結果を出力する(エンド)。
【0070】
このように、表示部160に医用画像がソートして出力されることにより、医師等の医療スタッフは、医用画像の診断の難易度を一見して視認することができる。これにより、医師等の医療スタッフは、疲労度および読影能力等の個々の状況に応じて読影する医用画像の診断の難易度を選択することができる。たとえば、疲労度の小さい読影者または読影能力の高い読影者には、診断の難易度が高い医用画像から順に表示部160に医用画像が表示され、疲労度の大きい読影者または読影能力の低い読影者には、診断の難易度が低い医用画像から順に表示部160に医用画像が表示される。このように情報処理装置100では、状況に応じて読影する医用画像の診断の難易度を自在に選択することができるので、読影効率を向上させることが可能となる。また、誤診の発生を防止することも可能となる。
【0071】
たとえば、表示部160は、
図5に示すように、関連情報表示部160aおよび画像表示部160bを有している。情報処理装置100は、関連情報表示部160aに各医用画像の関連情報を含むリストLを表示し、画像表示部160bに1または複数の医用画像Iを表示する。
【0072】
リストLに含まれる関連情報は、たとえば、各対象者のカルテ情報である。リストLは、たとえば、各対象者の検査日時、ID(Identification)、氏名、生年月日、性別、年齢および撮影数等の情報を含んでいる。リストLでは、たとえば、このような関連情報が、医用画像のソート順に対応して並んでいる。
【0073】
リストLには、各医用画像の診断の難易度に関する情報が含まれていてもよい。たとえば、リストLには、医用画像各々の診断の難易度に応じて、異なる記号が付されていてもよい。あるいは、リストLには、医用画像の診断の難易度が高い場合のみ、記号が付されていてもよい。
【0074】
図6は、関連情報表示部160aの他の例を表している。リストLには、ステップS102で医用画像の診断の難易度とともに特定される情報が含まれていてもよい。たとえば、識別器の出力データが、医用画像中の病変候補領域の悪性確信度に基づいて算出されているとき、ステップS102では、医用画像の診断の難易度とともに、病変候補領域の悪性確信度が特定される。このとき、リストLが、病変候補領域の悪性確信度に関する情報を含んでいてもよい。
【0075】
画像表示部160bでは、たとえば、その中央部に1つの医用画像Iが大きく表示され、下部に複数の医用画像のサムネイル(縮小画像)Sが表示される(
図5)。情報処理装置100は、画像表示部160bに複数の医用画像のサムネイルSを、ソート順に並べて表示する。たとえば、各サムネイルSは、選択されることによって、中央部の医用画像Iとして拡大表示され得る。
【0076】
情報処理装置100は、
図7に示すように、マークMを付した医用画像IおよびサムネイルSを画像表示部160bに表示してもよい。
図7に示す例では、エクスクラメーションマークからなるマークMが、ステップS102で診断の難易度の高いと特定された医用画像IおよびサムネイルSに付されている。これにより、医師等の医療スタッフは、診断の難易度が高い医用画像IおよびサムネイルSを一見して容易に視認することができる。
【0077】
情報処理装置100は、
図8に示すように、医用画像の診断の難易度をヒートマップとして示す画面を画像表示部160bに表示してもよい。
図8に示す例では、対象者の医用画像上において、診断の難易度が高い病変候補領域ほど濃い色となるように表現されている。これにより、医師等の医療スタッフは、診断の難易度が高い病変候補領域を一見して容易に視認することができる。
【0078】
また、情報処理装置100は、画像表示部160bに、テキストを付した医用画像Iを表示してもよい。テキストは、たとえば、医用画像の診断の難易度に関する情報を含んでいる。テキストは、たとえば悪性確信度などの、ステップS102で医用画像の診断の難易度とともに特定される情報を含んでいてもよい。情報処理装置100は、たとえば、このようなテキストを、医用画像Iに重ねて表示する。情報処理装置100は、画像表示部160bに、テキストを医用画像Iに並べて表示してもよい(
図9)。このように、医用画像Iにテキストを付して表示することにより、医師等の医療スタッフは、医用画像Iとともに、医用画像Iの診断の難易度等の詳細な情報もあわせて確認することができる。テキストは、全ての医用画像Iに付されていてもよく、一部の医用画像Iに付されていてもよい。
【0079】
また、情報処理装置100は、画像表示部160bに、医用画像Iの解析結果を付して表示してもよい。医用画像Iの解析結果は、たとえば、病変候補領域に関する情報であり、具体的には、病変候補領域の位置および病変候補領域の特徴等である。
図9に示す例では、医用画像Iのうち、病変候補領域と解析された領域を囲む図形Fが表示されている。このように、医用画像Iに、その解析結果を付して表示することにより、医師等の医療スタッフは、医用画像Iの解析結果を一見して容易に視認できる。解析結果は、全ての医用画像Iに付されていてもよく、一部の医用画像Iに付されていてもよい。
【0080】
なお、情報処理装置100は、医用画像の診断の難易度に関する情報を、
図5~
図9のような画面として表示部160に表示させるかわりに、通信インターフェース150を介してサーバー300等の他の装置に送信することによって出力してもよい。あるいは、情報処理装置100は、医用画像の診断の難易度に関する情報を、プリンターに送信して印刷させることによって出力してもよい。上記の場合、通信インターフェース150は、出力部として機能する。
【0081】
また、情報処理装置100は、医用画像のソート順を変更して表示してもよい。医用画像のソート順の変更は、自動で行われてもよく、あるいは、手動で行われてもよい。たとえば、朝および夕方等の時間帯により、医用画像のソート順が変更される。具体的には、朝など読影者の疲労度が小さい時間帯には、診断の難易度が高い医用画像から順にソートされ、夕方など読影者の疲労度が大きい時間帯には、診断の難易度が低い医用画像から順にソートされる。
【0082】
情報処理装置100は、予測された読影者の疲労度に応じて医用画像のソート順を変更してもよい。たとえば、情報処理装置100は、読影者の読影スピードの変化、読影継続時間の長さ、および時間帯等から読影者の疲労度を予測する。あるいは、読影者の疲労状態の予測に、読影者を撮影するカメラを用いるようにしてもよい。情報処理装置100が、このカメラの画像解析結果の情報を取得し、読影者の疲労度を予測してもよい。
【0083】
また、情報処理装置100は、各読影者が抱えるタスクに応じてソート順を変更してもよい。読影者が抱えるタスクは、たとえば、読影する医用画像のボリューム等から算出される。読影者が抱えるタスクが多いときは、疲労度が読影効率に影響を及ぼしやすい。このため、タスクの多いときには、疲労度に応じてソート順を変更し、タスクの少ないときには、ソート順を維持するようにしてもよい。
【0084】
また、情報処理装置100は、診断の難易度が高い医用画像について、医用画像の読影を担当する医師等の人数を増やす旨の指示を出力してもよい。指示は、情報処理装置100が自動的に出力してもよく、あるいは、ユーザーが情報処理装置100に入力することにより出力されてもよい。
【0085】
また、情報処理装置100は、読影を担当する複数の医師各々の読影能力を予め記憶しておき、各医師の読影能力に応じて医用画像の読影依頼の指示を出力してもよい。たとえば、情報処理装置100は、多施設読影および遠隔読影等の指示を出力してもよい。指示は、情報処理装置100が自動的に出力してもよく、あるいは、ユーザーが情報処理装置100に入力することにより出力されてもよい。
【0086】
<学習処理について>
次に、識別器において用いられる学習済みモデルの機械学習方法について説明する。
【0087】
図10は、学習済みモデルの機械学習方法を示すフローチャートである。
【0088】
図10の処理においては、予め準備した医用画像情報を入力とし、医用画像の診断の難易度に関する情報を出力とする、多数(i組個(iは例えば数千から十数万))のデータセットを学習サンプルデータとして用いて機械学習が実行される。識別器として機能する学習器(図示せず)には、たとえば、CPUおよびGPUのプロセッサを用いたスタンドアロンの高性能コンピューター、またはクラウドコンピューターが用いられる。以下においては、学習器において、ディープラーニング等のパーセプトロンを組み合わせて構成したニューラルネットワークを用いる学習方法について説明するが、これに限られず、種種の手法が適用され得る。例えば、ランダムフォレスト、決定木、サポートベクターマシン(SVM)、ロジスティック回帰、k近傍法、トピックモデル等が適用され得る。
【0089】
(ステップS111)
学習器は、教師データである学習サンプルデータを読み込む。最初であれば1組目の学習サンプルデータを読み込み、i回目であれば、i組目の学習サンプルデータを読み込む。
【0090】
(ステップS112)
学習器は、読み込んだ学習サンプルデータのうち入力データをニューラルネットワークに入力する。
【0091】
(ステップS113)
学習器は、ニューラルネットワークの推定結果を、正解データと比較する。
【0092】
(ステップS114)
学習器は、比較結果に基づいてパラメータを調整する。学習器は、たとえば、バックプロパゲーション(Back-propagation、誤差逆伝搬法)に基づく処理を実行することにより、比較結果の差異が小さくなるようにパラメータを調整する。
【0093】
(ステップS115)
学習器は、1~i組目まで全データの処理が完了すれば(YES)、処理をステップS116に進め、完了していなければ(NO)、処理をステップS111に戻し、次の学習サンプルデータを読み込み、ステップS111以下の処理を繰り返す。
【0094】
(ステップS116)
学習器は、学習を継続するか否かを判定し、継続する場合(YES)、処理をステップS111に戻し、ステップS111~S115において再度1組目~i組目までの処理を実行し、継続しない場合(NO)、処理をステップS117に進める。
【0095】
(ステップS117)
学習器は、これまでの処理で構築された学習済みモデルを記憶して終了する(エンド)。記憶先には、情報処理装置100の内部メモリが含まれる。上述の
図4の処理では、このようにして生成された学習済みモデルを用いて医用画像の診断の難易度が特定される。
【0096】
<変形例>
変形例として、情報処理装置100が、特定部112により特定された医用画像の診断の難易度を修正可能な例を説明する。
【0097】
図11は、変形例に係る情報処理装置100の機能構成を表している。変形例に係る情報処理装置100は、CPU110がストレージ140に記憶されたプログラムを読み込んで処理を実行することによって、取得部111、特定部112、制御部113および修正部114として機能する。修正部114は、特定部112により特定された診断の難易度の修正が必要であるとき、特定された診断の難易度を修正する。このとき、制御部113は、修正部114により修正された医用画像の診断の難易度を表示部160に出力させる。
【0098】
図12は、この情報処理装置100において実行される修正処理の手順を示すフローチャートである。
【0099】
(ステップS201、S202)
ステップS201、S202の処理は、
図4のステップS101、S102の処理と同様であるため、重複する説明を省略する。
【0100】
(ステップS203~S207)
情報処理装置100は、ステップS202で特定された医用画像の診断の難易度の修正が必要であるか否かを判断する。たとえば、情報処理装置100は、修正に関する指示をユーザーから受け付けた場合に、診断の難易度の修正が必要であると判断し、修正に関する指示をユーザーから受け付けない場合に、診断の難易度の修正が不要であると判断する。
ステップS202で特定された医用画像の診断の難易度の修正が不要であると判断された場合(ステップS203:NO)、情報処理装置100は、ステップS202の処理における識別器による出力に基づいて、対象者の医用画像の診断の難易度の特定結果を生成する(ステップS206)。この後、情報処理装置100は、この特定結果をソートして出力し(ステップS207)、処理を終了する(エンド)。
【0101】
ステップS202で特定された医用画像の診断の難易度の修正が必要であると判断された場合(ステップS203:YES)、情報処理装置100は、ステップS202の処理において特定された医用画像の診断の難易度を修正する(ステップS204)。次に、情報処理装置100は、修正した医用画像の診断の難易度および当該医用画像に関する医用画像情報を、識別機の教師データとして、ストレージ140のデータベースに登録する(ステップS205)。この後、情報処理装置100は、ステップS204の処理において修正された医用画像の診断の難易度の修正結果を生成する(ステップS206)。この後、情報処理装置100は。この修正結果をソートして出力し(ステップS207)、処理を終了する(エンド)。
【0102】
以上のように、情報処理装置100によれば、医用画像に関する医用画像情報を取得し、学習済みの識別器に医用画像情報を入力することによって、医用画像の診断の難易度が特定される。情報処理装置100は、この特定結果に基づいて医用画像をソートして出力する。これにより、医師等の医療スタッフは、医用画像の診断の難易度を一見して視認することができ、疲労度および読影能力等の個々の状況に応じて読影する医用画像の診断の難易度を選択することができる。たとえば、疲労度の小さい読影者または読影能力の高い読影者には、診断の難易度が高い医用画像から順に表示部160に医用画像が表示され、疲労度の大きい読影者または読影能力の低い読影者には、診断の難易度が低い医用画像から順に表示部160に医用画像が表示される。このように情報処理装置100では、状況に応じて読影する医用画像の診断の難易度を自在に選択することができるので、読影効率を向上させることが可能となる。また、誤診の発生を防止することも可能となる。
【0103】
医用画像は、たとえば、X線撮影装置、超音波撮影装置、MRI、PETの少なくともいずれかによって取得された画像である。これにより、様々な種類の医用画像の診断の難易度を特定することができる。
【0104】
また、情報処理装置100は、医用画像とともに、医用画像情報に関連する関連情報を出力する。これにより、医師等の医療スタッフは、医用画像とともにその関連情報を一見して視認することができる。
【0105】
また、情報処理装置100は、出力させる医用画像のソート順を変更可能である。これにより、医師等の医療スタッフは、より柔軟に読影する医用画像の診断の難易度を選択することができる。
【0106】
なお、本発明は、上述した実施形態および各変形例のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。
【0107】
たとえば、情報処理装置100、撮影装置200、およびサーバー300は、それぞれ上記の構成要素以外の構成要素を含んでいてもよく、あるいは、上記の構成要素のうちの一部が含まれていなくてもよい。
【0108】
また、情報処理装置100、撮影装置200、およびサーバー300は、それぞれ複数の装置によって構成されてもよく、あるいは単一の装置によって構成されてもよい。
【0109】
また、各構成が有する機能は、他の構成によって実現されてもよい。たとえば、撮影装置200およびサーバー300は、情報処理装置100に統合され、撮影装置200およびサーバー300が有する各機能の一部または全部が情報処理装置100によって実現されてもよい。
【0110】
また、上記の実施形態におけるフローチャートの処理単位は、各処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方によって、本願発明が制限されることはない。各処理は、さらに多くの処理ステップに分割することもできる。また、1つの処理ステップが、さらに多くの処理を実行してもよい。
【0111】
上述した実施形態に係るシステムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、フレキシブルディスクおよびCD-ROM等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、システムの一機能としてその装置のソフトウエアに組み込まれてもよい。
【符号の説明】
【0112】
100 情報処理装置、
110 CPU、
111 取得部、
112 特定部、
113 制御部、
114 修正部、
120 ROM、
130 RAM、
140 ストレージ、
150 通信インターフェース、
160 表示部、
170 操作受付部、
200 撮影装置、
300 サーバー。