IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特許7452068情報処理装置、情報処理方法及びプログラム
<>
  • 特許-情報処理装置、情報処理方法及びプログラム 図1
  • 特許-情報処理装置、情報処理方法及びプログラム 図2
  • 特許-情報処理装置、情報処理方法及びプログラム 図3
  • 特許-情報処理装置、情報処理方法及びプログラム 図4
  • 特許-情報処理装置、情報処理方法及びプログラム 図5
  • 特許-情報処理装置、情報処理方法及びプログラム 図6
  • 特許-情報処理装置、情報処理方法及びプログラム 図7
  • 特許-情報処理装置、情報処理方法及びプログラム 図8
  • 特許-情報処理装置、情報処理方法及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-11
(45)【発行日】2024-03-19
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240312BHJP
   G16H 10/00 20180101ALI20240312BHJP
【FI】
G06T7/00 614
G06T7/00 350C
G16H10/00
【請求項の数】 9
(21)【出願番号】P 2020023909
(22)【出願日】2020-02-17
(65)【公開番号】P2021128648
(43)【公開日】2021-09-02
【審査請求日】2022-12-23
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】松本 洋日
【審査官】片岡 利延
(56)【参考文献】
【文献】特開2019-109553(JP,A)
【文献】国際公開第2019/234810(WO,A1)
【文献】特開2019-087229(JP,A)
【文献】特開2021-081793(JP,A)
【文献】特許第6468576(JP,B1)
【文献】特許第6422142(JP,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G16H 10/00
(57)【特許請求の範囲】
【請求項1】
診療用のデータについて適用される識別器と、
前記識別器の特性を設定する特性設定手段と、
前記識別器について評価データを用いて前記特性の充足度を評価する評価手段と、
前記評価手段による評価結果を参照して一の識別器を施設で使用する識別器として選択・設定する識別器設定手段と、
前記特性設定手段によって設定された前記識別器の特性に基づいて前記識別器の学習条件を設定する学習条件設定手段と、
を備え
前記特性は、検出したい検出対象についての検出性能を含み、
前記検出性能は、異常を含むデータを異常と識別する確率である感度及び正常であるデータを正常であると識別する確率である特異度の少なくともいずれかを含んでおり、
前記学習条件設定手段は、前記識別器の特性に応じて、前記異常を含むデータと前記正常であるデータとが適切な割合となるように、前記識別器の学習に用いる学習データを抽出することを特徴とする情報処理装置。
【請求項2】
前記評価手段の評価対象となる識別器は、識別器を使用する施設である自施設において収集されたデータを使用して学習した学習済みの識別器であることを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記評価手段の評価対象となる識別器は、識別器を使用する施設とは別の他施設で収集されたデータを使用して学習した学習済みの識別器であること特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記特性は、検出したい検出対象及び当該検出対象についての検出性能の少なくともいずれかを含み、
前記識別器の学習に使用される学習データは、前記識別器の特性に基づいて分別されており、
前記学習条件設定手段は、前記特性設定手段によって設定された前記識別器の特性に応じて前記学習データを抽出することを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記識別器の特性と前記識別器についての前記評価手段による前記評価結果とを表示する表示手段をさらに備えることを特徴とする請求項1から請求項のいずれか一項に記載の情報処理装置。
【請求項6】
前記表示手段は、前記評価結果が前記特性設定手段により設定された前記識別器の特性を満たす場合と満たさない場合とで表示手法を異にすることを特徴とする請求項に記載の情報処理装置。
【請求項7】
前記学習条件設定手段は、前記特性設定手段によって設定された前記識別器の特性に応じて前記学習データを抽出した際の評価結果が前記特性の条件を満たさない場合、学習条件を変更して再度学習を行うことを特徴とする請求項1に記載の情報処理装置。
【請求項8】
診療用のデータについて適用される識別器の特性を設定する特性設定工程と、
前記識別器について評価データを用いて前記特性の充足度を評価する評価工程と、
前記評価工程における評価結果を参照して一の識別器を施設で使用する識別器として選択・設定する識別器設定工程と、
前記特性設定工程において設定された前記識別器の特性に基づいて前記識別器の学習条件を設定する学習条件設定工程と、
を含み、
前記特性は、検出したい検出対象についての検出性能を含み、
前記検出性能は、異常を含むデータを異常と識別する確率である感度及び正常であるデータを正常であると識別する確率である特異度の少なくともいずれかを含んでおり、
前記学習条件設定工程では、前記識別器の特性に応じて、前記異常を含むデータと前記正常であるデータとが適切な割合となるように、前記識別器の学習に用いる学習データを抽出することを特徴とする情報処理方法。
【請求項9】
情報処理装置のコンピューターに、
診療用のデータについて適用される識別器の特性を設定する特性設定機能と、
前記識別器について評価データを用いて前記特性の充足度を評価する評価機能と、
前記評価機能による評価結果を参照して一の識別器を施設で使用する識別器として選択・設定する識別器設定機能と、
前記特性設定機能によって設定された前記識別器の特性に基づいて前記識別器の学習条件を設定する学習条件設定機能と、
を実現させ
前記特性は、検出したい検出対象についての検出性能を含み、
前記検出性能は、異常を含むデータを異常と識別する確率である感度及び正常であるデータを正常であると識別する確率である特異度の少なくともいずれかを含んでおり、
前記学習条件設定機能は、前記識別器の特性に応じて、前記異常を含むデータと前記正常であるデータとが適切な割合となるように、前記識別器の学習に用いる学習データを抽出することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
医療の分野では、各種の検査で得られた診療データ(医療用情報)を医師がチェックして検査結果から各種の異常の有無等を読み取る診療が行われる。
例えば、診療データが医用画像である場合には、CR(Computed Radiography)装置、FPD(Flat Panel Detector)装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置等のモダリティーにおいて生成された医用画像を表示部(モニター)に表示させて、医師が病変部分の状態や経時変化等を観察する読影診断が行われる。
【0003】
しかし、全ての診療データについて一から医師がチェックするには大変な労力を要する。このため、こうした医師の診断を支援するために、各種の診断支援システムが考案されている。
例えば、特許文献1には、医師の診断を支援する手法として、学習データを用いた学習により識別器を構成し、この識別器によって診療データを自動的にチェックする情報処理装置が提案されている。
そして特許文献1には、複数の識別器がある場合に、評価データを用いてそれぞれの判別精度を算出し、最も判別精度に優れた最適な識別器を適用することが開示されている。
このように、判別精度に優れた識別器を適用して医師の診断を支援するための情報処理装置を構成することにより、装置において自動的に行われる診療データのチェック結果を信頼性の高いものとすることが期待できる。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第5533662号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、医師の診断を支援するための情報処理装置に求められる性能(例えば、どのような病変を検出したいか、当該検出したい対象についてどのような検出性能がどの程度必要か等)は、各医療機関(施設)ごとに異なる。このため、情報処理装置に適用される「最適な識別器」も一義的なものではなく、識別器を用いる医療機関ごとに異なる特性のものが求められる。
【0006】
すなわち、識別器の特性としては、検出したい検出対象や各検出対象についての検出性能があげられるが、例えば癌の診断に特化した医療機関であれば、癌を検出対象とした場合の検出性能の高いものが求められる。
さらに、検出性能は、異常を含むデータを異常と識別する確率である感度と正常であるデータを正常であると識別する確率である特異度とを含むものであるところ、それぞれについてどの程度の精度を要求するかについても各医療機関によって異なる。
【0007】
例えば、基本的にはすべてのデータ(例えば画像)を医師等がチェックしており、識別器を用いた自動の判別結果は、その見落としを防ぐために参照される程度であるような場合であれば、正常であるデータを誤って異常と判断してしまったとしても、医師等が実際にデータを見て確認した際に気付くことができるため、それほど問題とならない。逆に、例えば異常陰影を含む画像を誤って正常と判断してしまった場合には、医師等による見落としがあった場合に、自動の判別結果における見落としがこれと重なり、病変等を見逃してしまうおそれがある。このため、高い感度が要求される一方で、特異度はそれほど要求されない。
【0008】
また例えば、健康診断のように大量のデータが取得され、そのほとんどが正常なデータであって、異常陰影を含む画像等の異常データはごく稀に混ざるだけであるような場合には、識別器を用いた自動の判別で正常と判断されたデータは医師等によるチェック(読影)の対象から外して医師等が実際に確認するデータを減らしたい場合もある。このような場合には、識別器を用いた自動の判別で異常陰影を含む画像等の異常データを誤って正常と判断されてしまうとチェック(読影)対象から外され、医師等によるチェックの機会を失ってしまう一方で、正常であるデータを正しく正常と判断できないと、医師によるチェック(読影)対象を減らすことができず、医師等の負担を軽減させる役割を適切に果たすことができない。このため、感度について高い精度が要求されるとともに、特異度についても高い精度が要求される。
【0009】
このように情報処理装置に適用される識別器は、ユーザーの用いるシチュエーション等によって、すなわち、個別の医療機関がどのような使い方をしたいのかによって、要求される特性が異なる場合が考えられる。
このため、どのような特性が要求されるのかを考慮せずに識別器が選択・設定されると、一般的には高い精度とされる識別器であっても、当該医療機関においては必ずしも適していない識別器が設定されてしまうおそれがある。
【0010】
本発明は上記事情に鑑みてなされたものであり、使用する施設で要求される特性に応じて当該施設に適した識別器を設定することのできる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1に記載の情報処理装置は、
診療用のデータについて適用される識別器と、
前記識別器の特性を設定する特性設定手段と、
前記識別器について評価データを用いて前記特性の充足度を評価する評価手段と、
前記評価手段による評価結果を参照して一の識別器を施設で使用する識別器として選択・設定する識別器設定手段と、
前記特性設定手段によって設定された前記識別器の特性に基づいて前記識別器の学習条件を設定する学習条件設定手段と、
を備え
前記特性は、検出したい検出対象についての検出性能を含み、
前記検出性能は、異常を含むデータを異常と識別する確率である感度及び正常であるデータを正常であると識別する確率である特異度の少なくともいずれかを含んでおり、
前記学習条件設定手段は、前記識別器の特性に応じて、前記異常を含むデータと前記正常であるデータとが適切な割合となるように、前記識別器の学習に用いる学習データを抽出することを特徴とする。
【0012】
また、請求項11に記載の情報処理方法は、
診療用のデータについて適用される識別器の特性を設定する特性設定工程と、
前記識別器について評価データを用いて前記特性の充足度を評価する評価工程と、
前記評価工程における評価結果を参照して一の識別器を施設で使用する識別器として選択・設定する識別器設定工程と、
前記特性設定工程において設定された前記識別器の特性に基づいて前記識別器の学習条件を設定する学習条件設定工程と、
を含み、
前記特性は、検出したい検出対象についての検出性能を含み、
前記検出性能は、異常を含むデータを異常と識別する確率である感度及び正常であるデータを正常であると識別する確率である特異度の少なくともいずれかを含んでおり、
前記学習条件設定工程では、前記識別器の特性に応じて、前記異常を含むデータと前記正常であるデータとが適切な割合となるように、前記識別器の学習に用いる学習データを抽出することを特徴とする。
【0013】
また、請求項12に記載のプログラムは、
情報処理装置のコンピューターに、
診療用のデータについて適用される識別器の特性を設定する特性設定機能と、
前記識別器について評価データを用いて前記特性の充足度を評価する評価機能と、
前記評価機能による評価結果を参照して一の識別器を施設で使用する識別器として選択・設定する識別器設定機能と、
前記特性設定機能によって設定された前記識別器の特性に基づいて前記識別器の学習条件を設定する学習条件設定機能と、
を実現させ
前記特性は、検出したい検出対象についての検出性能を含み、
前記検出性能は、異常を含むデータを異常と識別する確率である感度及び正常であるデータを正常であると識別する確率である特異度の少なくともいずれかを含んでおり、
前記学習条件設定機能は、前記識別器の特性に応じて、前記異常を含むデータと前記正常であるデータとが適切な割合となるように、前記識別器の学習に用いる学習データを抽出することを特徴とする。
【発明の効果】
【0014】
本発明によれば、使用する施設で要求される特性に応じて当該施設に適した識別器を設定することができる。
【図面の簡単な説明】
【0015】
図1】本実施形態における情報処理装置を含む医用画像システムのシステム構成を示す要部構成図である。
図2】本実施形態における情報処理方法の手順を示すフローチャートである。
図3】本実施形態の識別器に適用されるネットワークの一例を示す図である。
図4】識別器の学習用の入力データの構成例を模式的に示す説明図である。
図5】本実施形態において評価対象となる識別器を模式的に示す説明図である。
図6】入力画像が「異常あり画像」である場合の識別器の学習時の損失(Loss)計算について説明する説明図である。
図7】入力画像が「正常画像」である場合の識別器の学習時の損失(Loss)計算について説明する説明図である。
図8】本実施形態における評価結果の一覧画面の一例を示す図である。
図9】本実施形態における識別器の切替・設定画面の一例を示す図である。
【発明を実施するための形態】
【0016】
以下、図1から図9を参照して、本発明にかかる情報処理装置、情報処理方法及びプログラムの一実施形態について説明する。
ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の技術的範囲を以下の実施形態および図示例に限定するものではない。
【0017】
本実施形態における情報処理装置は、医用画像システム内に設けられて、各種のモダリティーによって取得された診療データ(医用画像のデータ等を含む診療情報、医療用情報)を処理するものである。
【0018】
[医用画像システムについて]
図1は、本実施形態における情報処理装置を備える医用画像システムのシステム構成を示す要部構成図である。
図1に示すように、医用画像システム100は、医療機関である施設H(図1では「A施設」)内に設けられるものであり、患者の検査撮影を行って診療データとしての医用画像データ等を生成、管理する。
本実施形態では、医療機関である施設Hとして、総合病院や開業医が個人で開業している医院、クリニックのように比較的小規模の医療施設、診療所等を想定している。
なお、医療機関である施設Hは、医療用情報としての医用画像等を扱う施設であればよく、ここに例示したものに限定されない。
【0019】
医用画像システム100は、医用画像を生成する各種モダリティー(画像生成装置)5と、モダリティー5による撮影動作を制御する撮影用コンソール6と、医用画像DB(Data Base)71を備えモダリティー5により取得された医用画像のデータ(医用画像データ)等を格納し管理する画像管理サーバー7と、電子カルテ入力装置8と、医用画像が異常データ(例えば異常陰影)を含むか否かを判別する情報処理装置3とを備えている。モダリティー5と接続された撮影用コンソール6、画像管理サーバー7、電子カルテ入力装置8、情報処理装置3は、図示しないスイッチングハブ等を介してネットワークNT1に接続されており、ネットワークNT1を介してデータ送受信可能となっている。
ネットワークNT1を介して接続され医用画像システム100を構成する各装置は、例えば一般に医療関連のデータを扱う通信規格であるDICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。なお、各装置の台数は、特に限定されない。
また、医用画像システム100を構成する要素はここに例示したものに限られず、その他の記憶部やサーバー等が含まれていてもよい。
また、医用画像システム100が画像管理サーバー7、電子カルテ入力装置8を備えることは必須ではない。例えば画像管理サーバー7等は、医用画像システム100の外に設けられ、図示しない外部ネットワークを介してデータ送受信可能に構成されていてもよい。
【0020】
医用画像システム100に設けられるモダリティー5は、患者の検査対象部位を撮影し、撮影した画像をデジタル変換して医療用情報としての医用画像データ等を生成するものである。
モダリティー5としては、例えばCR(Computed Radiography、X線単純撮影)装置、FPD(Flat Panel Detector)装置、マンモグラフィ装置、CT(Computed Tomography;コンピューター断層撮影)装置、超音波診断装置、内視鏡装置等が想定されているが、これらに限定されない。
なお、図1ではモダリティー5及び撮影用コンソール6を1組だけ図示しているが、モダリティー5等は医用画像システム100内に複数設けられていてもよい。この場合、同じ種類のモダリティー5が複数設けられていてもよいし、異なる種類のモダリティー5が複数種類設けられていてもよい。
【0021】
医用画像システム100を構成する各装置がDICOM規格に準じている場合、医用画像の画像データ(医用画像データ)は、DICOM規格に則ったDICOMファイル形式で保存されている。DICOMファイルは、画像部とヘッダ部とから構成される。画像部には医用画像の実データ、ヘッダ部に当該医用画像に関する付帯情報が書き込まれている。なお、本実施形態では、医用画像データとこれに付帯する情報(付帯情報・付加情報)とを合わせて「診療データ」ともいう。
【0022】
付帯情報は、例えば、患者情報、検査情報、画像詳細情報を含んで構成されている。
ここで、患者情報は、患者を識別するための患者識別情報(例えば、患者ID)、患者の名前、性別、生年月日等の医用画像の患者に関する各種情報が含まれる。
また、検査情報は、検査を識別するための検査識別情報(例えば、検査ID)、検査日付、モダリティーの種類、検査部位、担当医師等の検査に関する各種情報等が含まれる。
画像詳細情報は、画像ID、画像生成時刻、医用画像の格納場所を示すファイルパス名等の医用画像に関する各種情報が含まれる。
モダリティー5により取得された医用画像データは、撮影用コンソール6を介してネットワークNT1に接続されている画像管理サーバー7に送信され、その付帯情報とともに医用画像DB71等に格納される。
なお、医用画像がDICOMに準拠しない形式である場合には、その形式をDICOMに準拠する形式に変換したり、医用画像を個々に特定するためのUID(ユニークID)を医用画像に付加した上で、医用画像DB等に格納されることが好ましい。
【0023】
画像管理サーバー7は、モダリティー5により生成された医用画像の画像データ(医用画像データ)及び医用画像に関する付帯情報(医療用情報である診療データ)を蓄積記憶・管理するコンピューター装置である。
具体的に、画像管理サーバー7は、ハードディスク等により構成される医用画像DB71を有している。
前記のように、医用画像DB71において記憶される医用画像データは、DICOM規格に則ったDICOMファイル形式で保存されている。
DICOMファイルは、画像部とヘッダ部とから構成されており、医用画像DB71は、医用画像の付帯情報を格納する医用画像管理テーブルを有し、医用画像を検索可能に格納している。
画像管理サーバー7は、モダリティー5から医用画像を受信すると、受信された医用画像を医用画像DB71に格納し、その付帯情報を医用画像管理テーブルに登録する。
【0024】
また、画像管理サーバー7は、電子カルテ入力装置8から入力された電子カルテ情報を格納する図示しない記憶部(電子カルテ情報DB(Data Base))を有している。
画像管理サーバー7の電子カルテ情報DBには、患者ID、氏名、性別、年齢、体重、身長、体温、問診結果、記入日付等の各項目の患者情報が格納されている。
【0025】
電子カルテ入力装置8は、患者情報や問診結果等の電子カルテ情報を入力するための装置である。
電子カルテ入力装置8から入力された情報(電子カルテ情報)も医用画像データと関連付けられて医用画像DB71等に記憶される。
なお、電子カルテ情報としては、例えば、患者ID、氏名、性別、年齢、体重、身長、体温、問診結果、記入日付等の各項目の患者情報が挙げられるが、これに限定されない。
【0026】
[情報処理装置について]
情報処理装置3は、医療用情報である医用画像データを含む診療データについて異常データである異常陰影が含まれるか否か等を検出して医師等の診断を支援するものである。
本実施形態において、情報処理装置3は、制御装置30と、操作部33、表示部34、通信部35等を備えており、これら各部はバス36により接続されている。
【0027】
操作部33は、例えばカーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御装置30に出力する。
【0028】
表示部34は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニタにより構成され、制御装置30から入力される表示信号の指示に従って、各種画面や医用画像等を表示する。
また、表示部34には、タッチパネルが一体に構成されていてもよく、この場合には、タッチパネル上のタッチされた位置を示す信号が制御部31に送られ、タッチパネルが操作部33として機能する。
【0029】
通信部35は、LANアダプタ、ルータ、TA(Terminal Adapter)等を備え、ネットワークNT1に接続された各装置とデータの送受信を行う。
【0030】
情報処理装置3の制御装置30は、図示しないCPU等で構成される制御部31と、図示しないROM、RAM等で構成される記憶部32とを備えている。
制御装置30は、制御部31が記憶部32のROMに記憶されている各種プログラムを読み出してRAMの作業領域に展開し、プログラムと協働して各種機能を実現するコンピューターである。
本実施形態において、制御部31を機能的にみた場合、特性設定部11、識別器生成部12、評価部13、識別器設定部14、画像判定部15、表示制御部16等を有している。
【0031】
特性設定部11は、識別器23の特性を設定する特性設定手段である。
ここで「特性」とは、識別器23を適用することによって検出したい「検出対象」や当該検出対象についての「検出性能」である。「特性」は、これらのうちの少なくともいずれかを含んでいればよい。本実施形態では、「検出対象」と当該検出対象についての「検出性能」の両方を含む場合について説明する。
【0032】
検出対象とは、本実施形態のように医用画像から病変箇所である異常陰影の有無を検出するような場合、例えば病変の種類である。識別器23によって検出することのできる病変の種類は、特に限定されず、例えば10種類以上を識別可能であり、そのうち限定された2,3種類の病変(例えば、ノジュール、気胸、結核等)について特に精度良く検出できるようなものであってもよい。
また、検出性能とは、異常を含むデータを異常と識別する確率である「感度」や正常であるデータを正常であると識別する確率である「特異度」である。「検出性能」は、これらのうちの少なくともいずれかを含んでいればよい。本実施形態では、「感度」と「特異度」の両方を含む場合について説明する。
なお、特性設定部11が識別器23の特性を設定手法の詳細については後述する。
【0033】
識別器生成部12は、記憶部32(後述する識別器記憶領域22)に記憶されている識別器23について、学習(機械学習)を行うことにより新たな識別器23を生成するものである。
識別器23は、医療用情報である診療データ(診療用のデータ)について適用されるものであり、本実施形態では画像診断等に用いられる医用画像のデータに識別器23に適用することで、当該データが病変箇所を示す異常陰影を含む「異常あり画像」であるか異常陰影を含まない「正常画像」であるかの判別結果が出力される。
本実施形態において識別器23は、このように医用画像のデータが異常陰影を含む「異常あり画像」であるか異常陰影を含まない「正常画像」であるかを自動的に判別することで、医師による診断を補助する。
【0034】
情報処理装置3の初期状態において、識別器23は、例えば工場出荷段階で設定された汎用の識別器23である。
なお、情報処理装置3の初期状態において、汎用の識別器23に代えて、既に別の施設H(例えば自施設であるA施設とは別のB施設)の情報処理装置3等において使用実績のある識別器23を搭載してもよい。この場合、情報処理装置3を新たに導入する施設H(例えばA施設)の性質と近い性質を有する施設H(例えばA施設Hの利用が予想される患者の年齢層に近い患者を多く診療している施設H等)で使用されてきた識別器23を導入することにより、初期段階からある程度当該施設Hの性質に合った判別精度を期待することができるため好ましい。
【0035】
識別器23は、学習データを用いた学習(機械学習)を繰り返すことにより構成されている。
このような機械学習の手法としては、例えばCNN(Convolutional Neural Network、畳み込みニューラルネットワーク)等の深層学習(Deep Learning)を用いた領域認識手法が用いられる。
なお、学習手法は医療用情報である診療データについて適切に分類できるような識別器23を生成できるものであればよく、特に限定されない。すなわち、識別器23の学習(機械学習)の手法は深層学習に限定されず、例えばAdaBoost(又はその多値化であるAdaBoostMlt)、人工ニューラルネットワーク、サポートベクトルマシンの他、混合分布によるクラスタリングを利用した方法としてEM(Expectation-Maximization)アルゴリズム、ベイズ学習(例えば、変分ベイズ法)等でもよく、これらの手法と深層学習とを組み合わせたものであってもよい。
【0036】
初期設定の学習データとしては、データの傾向に偏りが無い、汎用的なデータが大量に用いられている。
本実施形態では、識別器生成部12が学習条件設定部121を含んでいる。学習条件設定部121は、識別器23の学習条件を設定する学習条件設定手段である。
本実施形態において学習条件設定部121による学習条件の設定は、特性設定部11によって設定された識別器23の特性に基づいて行われる。
識別器23の学習に使用される学習データは、識別器23の特性に基づいて分別されており、学習条件設定部121は、特性設定部11によって設定された識別器23の特性に応じて学習データを抽出する。
なお、学習条件設定部121による学習条件の設定の詳細については、後述する。
【0037】
なお、学習データや学習結果を評価するための後述する評価データには、異常陰影等の異常の有無の情報が紐付けられている。
学習データを用いた識別器23の学習や、評価データを用いた識別器23の判別精度の算出は、学習データや評価データに紐付けられているこの各種の異常の有無の情報に基づいて行われる。
すなわち、各データに紐付けられている異常の有無の情報は、各学習データや評価データが異常データを含むか否か、含んでいる場合にはどのような異常データを含んでいるのかの正解情報であり、識別器23の学習や、識別器23の判別精度の算出の際には、識別器23がこうした情報を正しく判別することができたか否かが評価される。
なお、異常陰影等の有無等に関する情報は、例えば医師による画像読影の結果や、他の検査等によって確定診断が得られた際に当該確定診断の結果に基づいて対応する学習データや評価データに紐付けられる。
【0038】
評価部13は、識別器23について評価データを用いて特性の充足度を評価する評価手段である。本実施形態では、評価部13は複数の識別器23についてそれぞれ特性の充足度を評価する。評価部13による各識別器23の判別精度の評価結果は、記憶部32の評価結果記憶領域24に記憶される。
本実施形態では、評価部13は、各識別器23について、評価データを用いて、異常陰影を判別することができる割合と、正常画像を異常陰影を含むものと誤認識する割合という2つの視点で評価を行い、それぞれの判別精度を算出する。
【0039】
識別器設定部14は、評価部13による算出結果に基づいて、一の識別器23を異常データ(異常陰影)の有無等の判別に使用する識別器23として設定する識別器設定手段である。本実施形態では、複数の識別器23(例えば図5において識別器B、識別器C、識別器D…)の中から一の識別器23を自施設H(例えばA施設)で用いる識別器23として設定する。
具体的には、例えば評価部13による算出結果を踏まえて、ユーザーが操作部33等を操作することで施設Hにおいて使用したい識別器23を選択・入力し、この選択・入力結果が制御装置30に出力されると、識別器設定部14は当該選択結果を受けてユーザーの選択した識別器23を当該施設Hにおける異常データ(異常陰影)の有無等の判別に使用するものとして設定する。すなわち、現在施設Hで使用されている識別器23(例えば識別器A)以外のもの(例えば識別器B,C,Dのいずれか)が選択された場合には、識別器23を選択されたものに切り替える。
【0040】
画像判定部15は、識別器設定部14により設定された識別器23(学習済みの識別器23)を適用して実際の診療用のデータ(未知の医用画像のデータ)が異常陰影を含む「異常あり画像」であるか異常陰影を含まない「正常画像」であるかを判定する画像判定手段である。
すなわち、モダリティー5により取得され画像管理サーバー7に格納された医用画像データ等を識別器23(学習済みの識別器23)に入力して、当該データについての判定結果を出力する。
【0041】
表示制御部16は、読影のための医用画像等の各種画像や各種情報を表示させるように表示部34を制御する表示制御手段である。
本実施形態では特に、表示制御部16は、評価部13により識別器23に対して算出された判別精度の情報を表示部34に表示させる。
具体的には、表示部34には識別器23の特性と各識別器23についての評価部13による評価結果とが表示されるようになっている。
表示制御部16は、評価結果が特性設定部11により設定された識別器23の特性を満たす場合と満たさない場合とで表示手法を異にするように表示部34の表示を制御することが好ましい。
具体的な表示例(図8参照)については後述する。
【0042】
記憶部32は、情報処理装置3が各種処理を行うために必要なデータ等を記憶する。本実施形態では、記憶部32は、プログラム記憶領域21、識別器23を格納する識別器記憶領域22、評価部13による評価結果を記憶する評価結果記憶領域24等の各種の記憶領域を有している。
なお、記憶部32には図1に例示した以外の記憶領域が設けられていてもよいし、図1に例示した記憶領域の全部又は一部が記憶部32の外に設けられていてもよい。
なお、情報処理装置3が各種処理を行うために必要なデータやプログラム、識別器23等を記憶する記憶部は図1に示すような情報処理装置3内に設けられているものに限定されない。例えば「クラウドコンピューティングサービス」をユーザーに提供するクラウドサーバー等、外部のサーバー装置を記憶部として用いてもよい。
【0043】
プログラム記憶領域21は、制御部31が情報処理装置3の各部を制御するために必要な各種のプログラムを格納する領域である。本実施形態では、例えば識別器の特性を設定するためのプログラムや識別器23について評価データを用いて特性の充足度を評価するためのプログラム、評価部13による評価結果を参照して複数の識別器23の中から一の識別器23を施設で使用する識別器23として選択・設定するためのプログラム等がプログラム記憶領域21に格納されている。
識別器記憶領域22は、情報処理装置3の初期状態において設定されている汎用の識別器23や、その後の学習(機械学習)によって新たに生成された識別器23等、複数の識別器23を格納している。
また、評価結果記憶領域24は、評価部13による各識別器23の判別精度の評価結果を記憶する領域である。評価結果は各識別器23と対応付け(紐付け)られた状態で記憶されている。
【0044】
[情報処理装置の作用(情報処理方法)]
次に、図2等を参照しつつ、本実施形態における情報処理装置3によって実行される処理を説明する。
【0045】
図2に示すように、本実施形態では、まず自施設H(例えばA施設)において情報処理装置3に求められる性質(例えば、どのような病変を検出したいか、当該検出したい対象についてどのような検出性能がどの程度必要か等)に応じて、特性設定部11が当該情報処理装置3において適用される識別器23の特性を設定する(ステップS1)。
識別器23の特性としては前述のように「検出対象」と「検出性能」とがあり、「検出性能」にはさらに異常を含むデータを異常と識別する確率である「感度」と正常であるデータを正常であると識別する確率である「特異度」とがある。
特性の設定の仕方は特に限定されないが、例えば、初期状態では識別器23に求められる特性についてデフォルト値として平均的な値が設定されており、ユーザーが特に精度良く検出できることを望む項目を指定すると、指定にしたがった特性が特性設定部11により設定されるようにする。
具体的には、例えば表示部34に図示しない設定画面等を表示させ、ユーザーが画面をタッチするタッチ操作を行ったり、操作部33から入力操作を行うことで、ユーザーが特に高い精度での判別を希望する「検出対象」を指定すると指示信号が制御部31に出力され、指示信号にしたがった設定が行われるようにする。
また、「検出性能」として「感度」や「特異度」をどの程度求めるかについても、同様に表示部34に構成されたタッチパネルや操作部33等によってユーザーが指定できるようにし、ユーザーの操作に応じた指示信号が制御部31に出力されると、当該指示信号にしたがった設定が行われるようにする。
【0046】
例えば、識別器23によって判別可能な病変(異常陰影)の種類が10数種類ある場合に、自施設H(例えばA施設)では、そのうち特にノジュール、気胸、結核の3種類についての判別ができればよい、という場合には、表示部34に病変の種類一覧を表示させ、その中からユーザーがノジュール、気胸、結核を選択すると、ノジュール、気胸、結核が、識別器23に要求される特性(検出対象)として特性設定部11により設定される。このように自施設H(A施設)において判別の必要性の高い3種類の病変(異常陰影)に検出対象を限った場合には、自施設H(A施設)において判別の必要性の低い他の病変(異常陰影)の検出の精度を求めない代わりに、特に必要性の高い検出対象についてはより高い検出精度の実現を期待できる。
【0047】
また、各検出対象(上記の例では、ノジュール、気胸、結核)について、異常陰影の感度(異常を含むデータを異常と識別する確率)をどの程度とし、特異度(正常であるデータを正常であると識別する確率)をどの程度とするかについても、表示画面上のタッチパネルや操作部33からユーザーが入力できるようにし、ユーザーの操作に応じた指示信号が制御部31に出力されると、当該指示信号にしたがった設定が行われるようにする。
これにより、例えば、検出対象がノジュールである場合の感度90%以上、気胸である場合の感度60%以上、結核である場合の感度80%以上、特異度は70%以上といった項目をユーザーが入力するだけで、特性設定部11により識別器23の特性(検出対象及び検出性能)がユーザーの要望に沿った値に設定される。
なお、特にユーザーによる指示がない項目については、デフォルト値のまま、または現状のままと設定される。なお、ユーザーによって特に指定されなかった項目については、予め設定された値や現状の値を最低値とし、これを下回らないように識別器23の特性が設定されることが好ましい。これにより、異常陰影を識別する感度や正常画像を正常と識別する特異度のそれぞれについて、ユーザーが個別に設定する手間を減らすことができ、ユーザーの負担を軽減しつつユーザーの要望に沿った特性を設定することができる。
【0048】
また、識別器23の特性として設定することのできる項目として、処理速度が含まれていてもよい。
処理速度は、例えば、1画像当たりの処理速度が0.5秒未満等のように設定される。これにより、ユーザーが望む処理速度の識別器23を得ることができる。また、処理速度の最低値(許容できる最も遅い値)を設定することにより、極端に処理速度が遅い識別器23が設定されないようにしてもよい。
なお、処理速度は、検出対象ごとに設定できてもよい。検出対象によっては異常を発見次第すぐに医師による診断や各種の処置を行う等の対応をすべき急を要する病変も存在する。このため、そのような急を要する検出対象(病変(異常陰影))については、処理速度を特に速く設定する等、個別の設定を可能とすることで、よりユーザーの要望に沿った特性の識別器23とすることができる。
【0049】
なお、識別器23の特性の設定の仕方、設定可能な内容等については上記の例に限定されない。
例えば、ユーザーが特に入力を行わなくても、自施設(例えばA施設)でこれまで取り扱った事案を分析し、取り扱い実績が上位の検出対象については自動的に検出性能(感度や特異度)の値を高く設定するようにしてもよい。
また、検出対象はノジュール、気胸、結核等のような個別の病変に限定されず、例えば肺に関する病変、内臓に関する病変、循環器系に関する病変等、ある程度グループ分けされた項目として選択・設定できるようにしてもよい。これにより特性設定の際のユーザーの負担をより軽減することができる。
さらに、ユーザーによる検出性能(感度や特異度)の値の指定は、何%という入力の仕方に限定されない。例えば、高・中・低といった大まかな指定を可能としてもよい。この場合、特性設定部11では、例えば「高」であれば90%以上、「中」であれば80%以上、「低」であれば80%未満というようにユーザーによる入力と具体的な数値とを対応付けて認識し、具体的な特性の数値を設定する。
また、例えば検出性能(特異度)について、1画像あたりの誤検出の個数(FPPI)の平均が0.1以下等の設定をすることができてもよい。この場合、正常であるデータ(「正常画像」)を誤って異常を含むデータ(「異常あり画像」)と検出してしまう頻度をユーザーが望む値に設定することができる。
また、複数選択された検出対象(病変(異常陰影))のうち、感度が最も低いものでもその最低値が所定値(例えば80%)以上であること等を設定できてもよい。この場合、複数の検出対象(病変(異常陰影))の検出性能(感度)をすべてユーザーが入力しなかった場合でも、識別器23の特性をユーザーが望む値に設定することができる。
【0050】
本実施形態の特性設定部11は、絶対に必要とされる必須の特性条件(以下「必須特性条件」とする。)と、そうでない特性条件(以下「望ましい特性条件」とする。)とに分けて設定するようになっている。これにより、各識別器23に対する評価部13による後述する評価結果をユーザーが比較する際に分かりやすく、ユーザーが、要望に沿った特性を持つ識別器23を選択する際に判断しやすくすることができる。
【0051】
特性設定部11により識別器23の特性が設定されると、設定された特性に基づいて自施設Hで使用する識別器23の候補を用意する。
具体的には、識別器23が設定された特性を備えるものとなるように、識別器生成部12において識別器23の学習を行い、学習済みの識別器23を生成する。生成された識別器23は記憶部32の識別器記憶領域22等に記憶される。
【0052】
学習は、前述のように例えばニューラルネットワーク(以下、単に「ネットワーク」ともいう。)を適用する機械学習(深層学習)によって行われる。
図3は、ネットワーク構成の一例を示すものである。
図3では、複数の畳み込み層を備え、入力画像が入力(input)されると、畳み込み層においてカーネル(フィルター)を掛けて畳み込み操作を行うことで画像から特徴量を抽出し、各ピクセルが異常陰影に該当する確信度を表す確信度画像が出力画像として出力される、画像の領域認識に特化したネットワークの構成例を示している。本実施形態に示す例では、出力される確信度画像(出力画像)の最大値が閾値を超えた場合に入力画像が異常陰影を含む「異常あり画像」であると判定する。
【0053】
なお、図3において、「1×1c」は、1×1×(入力チャネル数)の畳み込み層を示し、「3×3c」は、3×3×(入力チャネル数)の畳み込み層を示している。また、「2×2c」は、2×2×(入力チャネル数)を意味し、1画素おきにスキップ(この結果、1/2の画像サイズに間引かれる)する畳み込み層を示しており、「9×9c」は、9×9×(入力チャネル数)を意味し、同様に1画素おきにスキップ(この結果、1/2の画像サイズに間引かれる)する畳み込み層を示している。
「DenseBlock(Densenet)」は、複数の処理ブロックからなり、これより前の「Encoder」の出力すべてを連結した特徴マップをこれより後のレイヤへの入力とする全結合層として機能する。
「DenseBlock」から「Decoder」に入力された値は、活性化関数を経由することで異常陰影に該当するか否かの確信度を示す出力値が決定される。なお、図3では活性化関数として「sig(シグモイド関数)」を例示しているが、活性化関数はこれに限定されない。
さらに、本実施形態では図3に示すように、活性化関数を経由することで決定された出力値に、平均化フィルター(AVE層、図3において「AVE」とする。)を適用する。本実施形態のネットワークでは、前述のように各ピクセルについて異常陰影に該当する確信度(確信度画像)を出力するが、異常陰影(病変箇所)の検出において細かい解像度は不要であるため平均化しても問題がない。さらに、確信度画像(出力画像)に平均化フィルターを適用したのちに確信度画像の最大値で異常陰影(病変箇所)を含む「異常あり画像」か否かの判定を行うことで正常な領域(正常画像)について誤って異常陰影に該当する確信度が高くなる誤検出を減らすことができる効果がある。このため本実施形態では、平均化フィルターを適用して最終的な出力を行うようになっている。
【0054】
なお、図3に示したネットワーク構成は一例であり、本実施形態に適用可能なネットワークは図示例に限定されない。
例えばU-Net等の各種畳み込みニューラルネットワークを適用してもよい。
また、入力画像が異常陰影を含む「異常あり画像」であるか否かの判定ができれば足りる場合には、例えばVGGのように「Decoder」を備えない構成のネットワークを採用することも可能である。
なお、本実施形態では、後述のように損失(Loss)を算出して識別器23の評価を行うものとしている。このように損失(Loss)を算出する場合には、最終的な出力として確信度画像を出力させることのできる構成のネットワークを適用する。
【0055】
学習(機械学習(深層学習))は、識別器23を使用する施設である自施設H(例えばA施設)において収集されたデータを使用して行われることが好ましい。すなわち、自施設Hにおいて識別器23の学習に使用される学習データを大量に得られる場合には、できるだけ自施設Hにおいて得られたデータによって学習を行う方がより自施設Hに応じた特性に対応する識別器23とすることが期待できる。
なお、学習データは自施設Hにおいて得られたデータに限定されない。例えば識別器23を使用する自施設Hとは別の他施設Hで収集されたデータを使用して学習を行ってもよい。自施設Hにおいて得られるデータが少なく識別器23の学習に使用される学習データを十分に確保できない場合には、他施設Hにおいて得られたデータによって学習を行ってもよい。この場合、患者の年齢層や患者の病変の種類の傾向ができるだけ自施設Hと近い条件・環境の施設のデータを用いることが好ましい。
また、学習データは実データに基づくものに限定されない。実データだけでは学習を行うのに十分なデータ数が確保できないような場合には、自施設H(足りない場合には他施設H)で収集されたデータを元データとして、ディープラーニングにより疑似データを生成してもよい。疑似データを生成する手法は特に限定されない。例えばGAN(DCGAN;Deep Convolutional Generative Adversarial Networks)等の画像データ生成手段により元データに基づいて元データと特徴が共通する別個のデータを疑似データとして生成する。
【0056】
なお、識別器23の特性の充足度を評価するために用いられる評価データについても、上記の学習データと同様である。すなわち、評価データについても、自施設H(例えばA施設)において収集されたデータを使用することが好ましいが、他施設Hで収集されたデータや図示しない画像データ生成手段により生成された疑似データ等を用いてもよい。
【0057】
本実施形態では、複数の識別器23の学習を行う際の学習条件は、前述のように特性設定部11によって設定された識別器23の特性に基づいて、学習条件設定部121により自動的に設定される。
識別器23が所望の特性を持つものとなるように学習させるためには、学習条件を適切に設定する必要がある。しかし、何をどのように調整すれば所望の特性を満たす識別器23を得ることができるかをユーザーが判断して設定することは困難であり、手間がかかる。
この点、本実施形態では、ユーザーが要望する識別器23の特性を指定することで識別器23の特性が設定されると、当該設定された特性を持つ識別器23を得ることができるように学習条件が自動的に設定されるようになっている。
【0058】
識別器23の学習には、大量の学習データが使用されるが、この学習データの構成によって学習の結果が左右される。
例えば、入力(input)される入力画像には、異常陰影を含む「異常あり画像」と異常陰影を含まない「正常画像」とがあるが、入力画像が「正常画像」を多く含む場合、ほとんどの場合に異常なしと判断すれば正解となってしまう。このため、「正常画像」を多く含む学習データを用いて識別器23の学習を行うと、正常であるデータを正常であると識別する確率である「特異度」は高くなる半面、異常を含むデータを異常と識別する確率である「感度」の低い学習結果となってしまう。そこで、特性として「感度」の高い識別器23をユーザーが要望する場合には、「異常あり画像」を多く含む学習データを用いて識別器23の学習を行う必要がある。
このため、複数の学習データ(学習データ群)を構成する「正常画像」と「異常あり画像」とのもともとの比率に関わらず「正常画像」及び「異常あり画像」の割合を調整して学習データの構成を適正化する必要があり、本実施形態では、学習条件設定部121による学習条件の設定として、学習に用いる学習データを所望の特性に応じて調整するようになっている。
【0059】
図4は、画像管理サーバー7等に格納されている学習データのデータ構成例を示したものである。図4に示すように、識別器23の学習に使用される学習データ(学習データ群)は、識別器23の特性に基づいて分別されている。具体的には、識別器23の特性(検出性能)である「感度」(異常を含むデータを異常と識別する確率)、「特異度」(正常であるデータを正常であると識別する確率)に対応して、予め「異常あり画像」と「正常画像」とに分別されて記憶されている。
なお、図4では複数の学習データのデータベース(学習データ群のDB)が「異常あり画像」のデータベース(DB)と「正常画像」のデータベース(DB)とで構成されている場合を例示しているが、学習データのデータ構成はこれに限定されず、各学習データについて、それが「異常あり画像」であるか「正常画像」であるかがタグ付けされて1つのデータベース(DB)に記憶されていてもよい。また、図示は省略しているが、「異常あり画像」の学習データは、各検出対象(例えばノジュール、気胸等)に応じて分別されている。「異常あり画像」は各検出対象ごとにデータベース(DB)化されていてもよいし、データベースは分けずに各画像がどの検出対象に関わるものであるかを示すタグ付けがされた状態で記憶されていてもよい。
【0060】
通常、医用画像はその多くが「正常画像」であり、「異常あり画像」の比率は低い。症例の少ない病変の場合には、より一層「異常あり画像」が少なくなる。
識別器23の学習を行う際は、複数の学習データ(図4において「学習データ群」)から一部のデータを抽出して、学習用入力画像データとしてバッチを構成し、識別器23に入力する。
例えば「学習データ群」に1万枚の画像データ(正解情報と対になった画像データ)が記憶されている場合に、通常はこの中からランダムに16画像を抽出してバッチを構成し、識別器23の学習を行う。
しかし、「学習データ群」における「正常画像」と「異常あり画像」とのもともとの比率のままランダムに画像を抽出すると、例えば1つのバッチを構成する入力画像は、「正常画像」12画像に対して「異常あり画像」4画像等となり、学習結果として「感度」の低い識別器23しか得られない可能性が高い。
【0061】
そこで本実施形態では、学習条件設定部121が特性設定部11によって設定された識別器23の特性に応じて、「正常画像」と「異常あり画像」とが適切な割合となるように「学習データ群」から学習データを抽出し、1つのバッチを構成するようになっている。
例えば図4に示す例では、「学習データ群」を構成する画像データとしては「正常画像」が「異常あり画像」の倍以上の枚数あるような場合に、1バッチを構成する学習用入力画像データとして「正常画像」5画像、「異常あり画像」11画像を学習条件設定部121がそれぞれ抽出する場合を示している。なお、1つのバッチを構成する画像の数や、「正常画像」と「異常あり画像」との割合は、適宜設定可能な事項である。
これにより、バランスよく識別器23の学習を行うことができ、学習結果として「感度」の高い識別器23を得ることができる。
なお、後述のように学習結果を評価した場合に、識別器23の特性が特性設定部11によって設定された所望のレベルに達していなかった場合には、学習条件設定部121は1バッチを構成する学習用入力画像データにおける「正常画像」と「異常あり画像」との割合を変更する(例えば先の例では、16画像中「正常画像」を1画像、「異常あり画像」を15画像とする)等、学習条件を変えて再度識別器23の学習を行い、所望の特性を有する識別器23を得られるように調整する。
【0062】
なお、学習条件設定部121による学習条件の設定はこれに限らず、適宜各種の手法を採用することができる。
例えば学習条件設定部121が学習条件を設定する際のアプローチの仕方として、損失(Loss、実値と算出値とのズレ)が小さくなるようにパラメータを学習するように学習条件を設定してもよい。
また、例えば、高精度を求める検出対象としてユーザーに選択され特性設定部11によって設定された特性(病変、例えばノジュールや気胸等の検出対象)については、損失(Loss、実値と算出値とのズレ)に対する重み付けを設定することで、特性設定部11によって設定された特性に応じた学習条件の設定を行ってもよい。
さらに、損失(Loss、実値すなわち正解データと算出値とのズレ)が出る場合に、「正常画像」と「異常あり画像」とで重み付けを変えてもよい。例えば、同程度の範囲や個数の誤検出があった場合でも、「正常画像」を「異常あり画像」と誤って判断したときにはそれほど大きな損失とはしないが、異常陰影がある場合に「正常画像」であると誤って判断したときには大きな損失とする、というように誤検出の取り扱いにおいて重み付けをする。このようにすることで、異常を含むデータを異常と識別する確率である「感度」の高い識別器23となるように学習させることができる。
【0063】
識別器23について設定された特性に応じた学習が行われると、識別器23についての評価が行われる(ステップS2)。具体的には、特性設定部11によって設定された特性の充足度について評価部13において評価データを用いて評価を行う。なお、識別器23に対する評価は、学習の過程においても繰り返し行われ、学習が終了すると、各識別器23について学習後の最終的な評価結果がそれぞれ識別器23と対応付けられて記憶部等に記憶される。施設Hにおいて使用する新しい識別器23を設定する際の評価は、こうした評価結果から、識別器23の特性が自施設Hの要望に沿うと判断された識別器23をいくつか候補識別器として抽出し、この候補識別器に対して行われることが好ましい。これにより、評価対象となる識別器23の候補を絞り込むことができ、効率よく識別器23の評価を行うことができる。
なお、評価結果が特性設定部11によって設定された特性条件を満たさない識別器23については学習条件を変更して再度学習を行うことが好ましい。これにより、特性条件を満たし、評価対象、ひいては新たな識別器23として設定することのできる候補を増やすことができ、より多くの候補の中から適切な識別器23を設定することが可能となる。
【0064】
本実施形態において評価部13の評価対象となる識別器23は、図5に示すように、識別器23を使用する施設である自施設Hにおいて収集されたデータを使用して学習した学習済みの識別器23、又は識別器23を使用する施設とは別の他施設Hにおいて収集されたデータを使用して学習した学習済みの識別器23である。
【0065】
自施設H(例えばA施設)において収集されたデータを使用して学習した学習済みの識別器23とは、前述のように特性設定部11によって設定された特性に応じて学習条件設定部121が学習条件を設定し、設定された学習条件にしたがって自施設H(例えばA施設)において学習させた学習済みの識別器23(図5等において、識別器B、識別器C…)である。また、他施設Hにおいて収集されたデータを使用して学習した学習済みの識別器23とは、他施設H(例えばB施設)において学習させた学習済みの識別器23(図5等において、識別器D…)である。
自施設Hで用いる識別器23は自施設Hで学習されたものに限定されず、他施設で既に使用され学習結果が蓄積されている識別器23、使用実績のある識別器23やパラメータを適用することも考えられる。
例えばメーカー等が各種の識別器23とそれぞれの識別器23の特性の評価結果とを対応付けたものをデータベース(DB)化して予め用意しているような場合には、自施設Hにおいてユーザーが求めるものとして設定されている識別器23の特性に応じて、自施設H以外の外部から特性条件を満たすような識別器23等を候補識別器として抽出し評価対象としてもよい。
【0066】
図6は、「異常あり画像」が入力された場合の識別器の特性を判断するLoss計算を模式的に示した図であり、図7は、「正常画像」が入力された場合の識別器の特性を判断するLoss計算を模式的に示した図である。
図6及び図7に示すように、評価データとして入力画像が入力され、深層学習(ディープラーニング、図6及び図7において「DL」)の結果、出力画像が出力されると、この出力画像にマスクデータを適用することによって学習時の損失(Loss)を算出する。
【0067】
なお、本実施形態では、損失(Loss)として、後述するように、出力画像の「最大値」と「面積比率」とを算出する。
識別器23を適用して入力画像を判定する際には、出力画像(本実施形態では前述のように「確信度画像」)の「最大値」を取得し、これが閾値を超えているか否かによって入力画像が「異常あり画像」であるか否かの最終的な判定を行う。「最大値」を使用することで、判定精度を上げることができる。また、出力画像から判定を行っているため、「異常あり画像」と判定した根拠となった領域を出力画像において確認することができる。
ただ、「最大値」のみの評価では、大きな異常陰影(病変箇所)を小さな領域として検出したような場合にも正しい評価値となってしまい、異常陰影(病変箇所)の大きさについて学習することができない。この点、「面積比率」の評価値を合わせて用いることによって、大きな異常陰影(病変箇所)は大きく、小さな異常陰影(病変箇所)は小さく検出した場合に正解となり、異常陰影(病変箇所)の大きさについても正しく学習することができるようになる。
なお、異常陰影(病変箇所)の境界についても評価するとした場合には、異常陰影(病変箇所)の境界認識の評価値をも用いることで、単なる異常陰影(病変箇所)の有無だけでなく、異常陰影(病変箇所)の境界(異常陰影(病変箇所)の場所、大きさ等)についても併せて学習させることが可能となる。
【0068】
まず、入力画像が異常陰影を含む「異常あり画像」である場合には、マスクデータを異常陰影の部分を示す出力画像に設定する。マスクデータには異常ありを示す「1」又は異常なしを示す「0」の値が各ピクセルに設定されている。「1」が設定されている部分は異常陰影を示す異常領域ラベルが設定されている領域(マスク領域)である。深層学習(DL)の出力画像の各ピクセルに対応するマスクデータを掛け合わせると、マスクデータが「1」となっている領域に対応する出力画像(マスク処理後の出力画像)が取得される。これにより、異常あり画像の場合、異常陰影の部分(異常領域ラベルが設定されている領域)以外の出力結果は使われなくなる。このため、データ量の軽減を図ることができる。
そしてマスクデータの乗算後の結果の最大値を算出する。異常あり画像の場合、図6に示すように、異常陰影の部分(異常領域ラベルが設定されている領域)のいずれか1点でも高い異常値を示せば正解とする。
【0069】
この点、図6に示す「異常あり画像1」では、異常陰影を示す出力画像が実際の異常陰影の部分(異常領域ラベルが設定されている領域)を含んでいないため、損失(Loss)が大きい。これに対して「異常あり画像2」では、異常陰影の部分(異常領域ラベルが設定されている領域)の一部分に高い異常値を示しているため、最大値としては「1」となり、損失(Loss)はない。また、「異常あり画像3」の場合には、異常陰影を示す出力画像が実際の異常陰影の部分(異常領域ラベルが設定されている領域)よりも広い範囲となっているが、出力画像が実際の異常陰影の部分を包含するように出力されていれば正解とするため、この場合にも損失(Loss)はない。このように正解を設定することで、当該評価結果を受けた学習では、異常領域ラベルが設定されている領域(マスク領域)の境界を正確に描出しなくても、異常陰影の部分の確信度が高くなるように学習される。
なお、マスクデータにおいて異常ありを示す「1」が設定されていない部分(異常領域ラベルが設定されていない領域)は正常とも異常とも判断されない領域(学習に使わない領域)である。
【0070】
さらに、損失(Loss)の算出では、マスク乗算後の結果のマスク領域の面積比率(マスク乗算後(マスク処理後)の出力画像の総和/マスク領域の総和)すなわち、異常陰影の部分についての実値と算出値との面積比率についても算出する。
入力画像が異常陰影を含む「異常あり画像」である場合には、異常領域ラベルが設定されている領域(マスク領域)全体を異常陰影の部分として検出できるようにする。このために、「異常あり画像3」のように異常陰影の部分として検出された領域がマスク領域全体を包含していれば、マスク領域の境界を正確に定義できなくても(すなわち、マスク乗算後(マスク処理後)の出力画像がマスク領域より広範囲であっても)、損失(Loss)としない。
これに対して、「異常あり画像1」のように、異常陰影の部分として検出された領域がマスク領域を含まない場合や、「異常あり画像2」のように、異常陰影の部分として検出された領域がマスク領域よりも小さい場合には、そのズレ量が損失(Loss)となる。
【0071】
次に、入力画像が異常陰影を含まない「正常画像」である場合には、マスクデータを画像全体に設定する。マスクデータには異常なしを示す「0」の値が各ピクセルに設定されている。「正常画像」について学習する際には、画像全体のどこの場所でも「0」となるように学習させることとなる。これにより、「正常画像」において異常陰影(病変箇所)と間違えやすい領域の部分を「0」になるように学習させ、間違えやすい領域について正しく認識できるように学習を行うことができる。
「正常画像」の場合には、図7に示すように、深層学習(DL)の出力画像の各ピクセルに対応するマスクデータを掛け合わせると、異常陰影の部分と判断(誤判断)された領域が「1」となっている出力画像(マスク処理後の出力画像)が取得される。
そしてマスクデータの乗算後の結果の最大値を算出する。「正常画像」の場合、異常陰影であるとの出力確信度の高さが損失(Loss)となる。
この点、図7に示す「正常画像1」では、実際には「正常画像」であるのに異常陰影であることを強く示す出力画像が出力されているため、損失(Loss)が大きい。これに対して「正常画像2」では、広い範囲で異常陰影であると判断されているが出力確信度が弱いため、「正常画像1」よりも最大値としては低い「0.3」となり、損失(Loss)は小さい。また、「正常画像3」の場合には、出力画像が異常陰影を示していないため、正解となり、損失(Loss)はない。
【0072】
さらに、損失(Loss)の算出では、マスク乗算後の結果のマスク領域の面積比率(マスク乗算後(マスク処理後)の出力画像の総和/マスク領域の総和)すなわち、入力画像についての実値と算出値との面積比率についても算出する。
図7に示す例では、「正常画像1」と「正常画像2」で異常陰影が誤検出されている。「正常画像2」の方が「正常画像1」よりも検出された異常陰影の大きさ(範囲)が大きいが、「正常画像」の場合には、異常陰影の部分として出力される出力画像の大きさ(範囲)は損失(Loss)に影響しない。このため、「正常画像1」「正常画像2」はともに同じ「0.01」の損失(Loss)となる。
【0073】
評価部13は、各識別器23について、多数の評価データに基づいて評価した結果、特性設定部11によって設定された特性の各項目についての最終的な評価結果を各識別器23に対応付けて記憶部32の評価結果記憶領域24等に記憶させる。
そして、識別器23について上記のような学習及び評価が行われると、情報処理装置3では、表示制御部16が表示部34を制御して評価結果を表示部34に表示させる(ステップS3)。
【0074】
図8は、表示部に表示される評価結果一覧画面の一例を示す図である。
図8に示す評価結果一覧画面34aでは、現在施設で使用されている識別器23(図8において「識別器A」)、新しい識別器23の候補として自施設H(A施設)において学習済みの識別器23が2種類(図8において「識別器B」「識別器C」)と、他施設Hにおいて学習済みの識別器23が1種類(図8において「識別器D」)があげられており、各識別器23についての評価部13による評価結果がそれぞれ対応付けられて一覧表示されている。
なお、評価結果一覧画面34aの表示の仕方、表示項目、各項目の配置等は図示例に限定されない。また、ここで「一覧」表示という場合に、必ずしも1画面にすべてが表示される場合には限定されない。例えば、縦方向・横方向にスクロールさせることで表示される項目がある場合でも「一覧」表示であり、図8に示すような一覧表がページを跨ぐような場合にも「一覧」表示に含まれるものとする。
【0075】
図8に示す例では、識別器23の特性として設定されている項目が、検出対象が「ノジュール」「気胸」「結核」である場合についての異常陰影のある「異常あり画像」を異常と検出する「感度」、正常画像を正常であると識別する「特異度」、及び処理速度である場合の評価結果の一覧を表示する例を示している。そして、これらの項目のうち、「ノジュール」についての「感度」が90%以上であること及び「特異度」が現在(すなわち、現在の識別器Aの特性である70%)以上であることが必須の特性条件として設定されており、「気胸」についての「感度」が55%以上であること及び「処理速度」が現在(すなわち、現在の識別器Aの特性である0.5s/画像)以上であることが望ましい特性条件として設定されている。
【0076】
また、前述のように、表示制御部16は、評価部13による評価結果が特性設定部11により設定された識別器23の特性を満たす場合と満たさない場合とで表示部34における表示手法を異にするようになっており、図8に示す例では、設定された識別器23の特性を満たす場合を薄い網掛け(例えば新しい識別器Bの特性において「ノジュール」の「感度」92%の部分等参照)、必須特性条件を満たさない場合には濃い網掛け(例えば新しい識別器Cの特性において「ノジュール」の「感度」85%の部分等参照)で示し、望ましい特性条件を満たさない場合には斜線網掛け(例えば新しい識別器Bの特性において「気胸」の「感度」50%の部分等参照)で示している。
さらに、現状検出対象として重視しないとユーザーが判断した検出対象に関する表示欄(例えば図8では「結核」に関する項目)については濃い網掛けで塗り潰して目立たないようにしてもよい。
また、必須特性条件を満たさなかった識別器23の各項目(例えば新しい識別器Cの各項目参照)については濃い網掛けで塗り潰して目立たないようにしてもよい。
【0077】
なお、表示の仕方は特に限定されない。図示例のように網掛けの種類を変えてもよいし、例えば網掛けの色や文字の色を変えたり、文字の大きさや太さを変えて強調したい項目を目立つように表示させてもよい。また、特性の充足度の高い識別器23から順に表示させる等、表示画面に表示される識別器23の順番(並び順)を変える等の表示を行ってもよい。
識別器23が設定された特性の条件を満たさない場合、満たさないレベルによって色や表示のさせ方を変えてもよい。例えば、特性の条件に2%足りない場合(例えば「感度」95%以上が要求されている項目について93%である場合)には黄色、10%以上足りない場合(例えば「感度」95%以上が要求されている項目について84%である場合)には赤色の文字や網掛けで表示させる。これにより、ユーザーにとって見やすく、分かりやすくなり、効果的に注意喚起することができる。
また、例えば識別器23が設定された特性条件を満たさないときには文字や音声出力により警告を出したり、特性を満たしていない項目のみを画面上で点滅表示させたりしてもよい。
【0078】
必ずしも設定された特性を満たしてない識別器23であっても、各項目について他の識別器23と比較したときに自施設Hに適用するのに適しているとユーザーが判断すれば、施設Hで使用する新しい識別器23として設定してもよい。
例えば「望ましい特性条件」とされている項目において5%足りない項目があるが、「必須特性条件」とされている項目の特性が他の識別器23と比較して優れている場合や、「必須特性条件」とされている項目において1%足りない項目があるが、他の項目で全体的に高い性能を示している場合等、この程度であれば施設Hで使用するのに問題がない、とユーザーが判断する識別器23がある場合には、当該識別器23を施設Hで使用する新しい識別器23として設定することができる。
表示部34における表示の仕方を工夫して評価結果を一覧表示させることで、ユーザーがこうした比較検討をしやすく、適切な識別器23を選択しやすくなる。
【0079】
評価結果を見て、ユーザーがいずれかの識別器23を新しい識別器23として選択すると、当該指示に従った指示信号が制御部31に出力され、識別器設定部14において、選択された識別器23が当該施設Hで適用される新しい識別器23として設定される(ステップS4)。
具体的には、例えば、評価結果を表示部34に表示させたのち、表示制御部16はさらに識別器23の切替・選択画面を表示部34に表示させ、ユーザーに識別器23の選択を促す。
【0080】
図9は、表示部に表示される識別器の切替・選択画面の表示画面例である。
例えば識別器23の切替・選択画面34bには、図9に示すように、「必須特性条件」の表示欄b1が設けられ、「ノジュールについての感度が90%であること」等が表示される。
そして、「必須特性条件」に関する各識別器23の特性が特性表示欄b2に表示される。図9に示す例では、必須の条件として要求されている項目が「ノジュールについての感度」である場合にこの項目についての各識別器23の特性が特性表示欄b2に表示されている。図9では、現在識別器Aが使用されており、新しい識別器23の候補が識別器B,C,Dである場合に、それぞれの特性が、80%、92%、85%、90%となっている。
各識別器23にはチェックボックスb3が設けられており、使用中の識別器Aに使用中である旨を示すチェック(図9では塗潰し)が表示されている。他の識別器23(新しい識別器23の候補である識別器B,C,D)のいずれかを選択(図9ではチェックマークの入力)した上で切替ボタンb4を操作すると、当該選択された識別器23の情報が指示信号として制御部31に送られる。
切替・選択画面34bには、コメント欄b5が設けられており、例えば図9に示すように、現在使用中の識別器23や、推奨する識別器23、識別器23を切り替えたい場合の手順等が表示される。
なお、切替・選択画面34bの表示の仕方、表示項目、各項目の配置等は図示例に限定されない。
例えば列挙されている識別器23の中に「必須特性条件」を満たしていないものがある場合には、赤字等、他とは違う色で表示させる等により区別してもよい。
【0081】
ユーザーが切替・選択画面34bのチェックボックスb3のうち、切り替えたい識別器23(例えば識別器B)の横のチェックボックスb3にチェックし、その上で切替ボタンb4を操作すると、施設Hで使用する識別器23が現在使用中のもの(例えば識別器A)からユーザーが選択した所望の識別器23(例えば識別器B)に切り替える旨の指示信号が制御部31に入力される。
選択された識別器23の評価結果が設定された特性の条件を満たす場合には、施設Hにおいて使用される識別器23が当該選択された識別器23に識別器設定部14によって設定(更新)される。
なお、ユーザーが選択した所望の識別器23(例えば識別器B)の評価結果が設定された特性の条件を満たさない場合には、表示部34に警告メッセージを表示させたり、音声等で報知することで、ユーザーにその旨を警告してもよい。なお、前述のように特性条件を満たさない識別器23であってもユーザーが希望するものであれば、警告を行った上で新しい識別器23として設定、更新してもよい。
なお、ユーザーが何ら切替ボタンb4の操作を行わない場合には、現在使用中の識別器23(例えば識別器A)がそのまま当該施設Hで使用される識別器23として適用される。
【0082】
なお、ここでは、新しい識別器23をユーザーが手動で設定、更新する場合を例示したが、新しい識別器23の設定、更新は、情報処理装置3の制御部31(識別器設定部14)において自動で行われてもよい。この場合には、設定された特性の充足度の最も高いものが自動的に新しい識別器23として設定、更新される。この場合、同程度の精度の識別器23が複数ある場合には必須特性条件について評価の高いものが優先的に選択されてもよい。
また、自施設で学習された識別器23と他施設で学習された識別器23がある場合には自施設のものを優先的に設定する等、各種のルールがあらかじめ定められていてもよい。こうしたルールは、デフォルトで設定されていてもよいし、ユーザーが適宜ルール設定を行ってもよい。
なお、新しい識別器23が評価部13による評価結果に応じて識別器設定部14により自動的に設定されるとした場合には、図2においてステップS3で示した評価結果の表示を行わないとしてもよい。この場合には、ユーザーが何ら判断や検討を行わなくても、適切な識別器23が自動で設定される。
【0083】
施設Hにおいて使用する識別器23として新しい識別器23が設定されると、以後画像判定部15は当該識別器23を適用して画像の判定を行う。
なお、施設Hにおいて使用する識別器23は、適宜見直して新しい識別器23に更新されるようにしてもよい。
【0084】
[効果]
以上のように、本実施形態によれば、診療用のデータ(本実施形態では医用画像データ)について適用される識別器23を備える情報処理装置3が、識別器23の特性を設定する特性設定部11と、識別器23について評価データを用いて特性の充足度を評価する評価部13と、評価部13による評価結果を参照して一の識別器23を施設で使用する識別器23として選択・設定する識別器設定部14とを備えている。
これにより、識別器23を使用する施設Hで要望される特性(例えば精度よく検出したい検出対象や所望の検出性能)を設定することで、当該特性を充足する識別器23を施設で用いる識別器23として選択・設定することができる。
このため、施設Hごとの使用態様、使用状況を考慮した場合に、所望の判別精度に優れた、最も医師等の支援に役立つ最適な識別器23を施設Hで用いる識別器23として設定することが可能となる。
【0085】
また、本実施形態において、識別器23の「特性」は、検出したい検出対象及び当該検出対象についての検出性能を含んでいる。
これにより、識別器23を用いる施設Hにおいて特に精度よく判別したい異常陰影(病変)について所望の検出精度を備える識別器23を施設Hで用いる識別器23として設定することができる。
【0086】
また、本実施形態において、識別器23の「検出性能」は、異常を含むデータを異常と識別する確率である感度及び正常であるデータを正常であると識別する確率である特異度を含んでいる。
これにより、検出性能として「感度」を重視するのか「特異度」を重視するのか、その両方について高精度のものを求めるのか、各施設Hにおける使用態様、使用状況に応じた最適な特性を備える識別器23を施設Hで用いる識別器23として設定することができる。
【0087】
また、本実施形態では、評価部13の評価対象となる識別器23は、識別器23を使用する施設Hである自施設において収集されたデータを使用して学習した学習済みの識別器23である。
これにより、当該施設Hにおける使用態様、使用状況に応じた学習(機械学習)を行うことができ、当該施設Hにとって最適な特性を備える識別器23を施設Hで用いる識別器23として設定することができる。
【0088】
また、本実施形態では、評価部13の評価対象となる識別器23は、識別器23を使用する施設とは別の他施設で収集されたデータを使用して学習した学習済みの識別器23である。
これにより、自施設のみでは十分な数の学習データを確保することができない場合でも学習(機械学習)を高精度に行うために必要な大量のデータを得ることが可能となり、大量の学習データによる十分な学習を行うことで、優れた特性を備える識別器23を施設Hで用いる識別器23として設定することができる。
【0089】
また、本実施形態では、識別器23の学習条件を設定する学習条件設定部121を備えている。
これにより、適切な学習条件で学習させた識別器23を得ることができる。
【0090】
また、本実施形態では、学習条件設定部121よる学習条件の設定は、特性設定部11によって設定された識別器23の特性に基づいて行われる。
識別器23の特性は学習時の学習条件によって変わり、高精度の識別器23を得るためには適切な条件で学習させることが必要である。しかし、所望の特性を得るためにどのような学習条件とすればいいかをユーザーが判断し設定することは難しく試行錯誤することは手間であり負担となる。この点、本実施形態のように特性設定部11によって設定された識別器23の特性に基づいて学習条件を設定することで、所望の特性を備える識別器23を得るための学習条件をユーザーの手を煩わせず、自動的に行うことが可能となる。
【0091】
また、本実施形態では、識別器23の学習に使用される学習データは、識別器23の特性に基づいて分別されており、学習条件設定部121は、特性設定部11によって設定された識別器23の特性に応じて学習データを抽出する。
これにより、所望の特性を備える識別器23を得る上で重要な学習条件の1つは識別器23の学習に使用される学習データの構成であるところ、学習データの構成をユーザーが判断し設定することは難しく試行錯誤することは手間であり負担となる。この点、本実施形態のように特性設定部11によって設定された識別器23の特性に基づいて学習条件設定部121が自動的に学習データを抽出し、当該学習データによって識別器23の学習を行うことで、ユーザーの手を煩わせず、自動的に所望の特性を備える識別器23を得ることが可能となる。
【0092】
また、本実施形態では、識別器23の特性と識別器23についての評価部13による評価結果とを表示する表示部34をさらに備えている。
これにより、ユーザーが各識別器23の特性を比較検討しやすく、容易に適切な識別器23を選択することができる。
【0093】
また、本実施形態では、表示部34は、評価結果が特性設定部11により設定された識別器23の特性を満たす場合と満たさない場合とで表示手法を変えるようになっている。すなわち、例えば評価結果が特性設定部11により設定された識別器23の特性を満たす場合には緑色、満たさない場合には黄色や赤色で表示する等、表示を工夫するようになっている。
これにより、ユーザーは各識別器23の特性の評価結果を、表示部34の表示を見るだけで直感的に把握することができ、ユーザーが各識別器23の特性を比較検討しやすく、容易に適切な識別器23を選択することができる。
【0094】
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0095】
例えば、上記各実施形態では、診療データが医用画像のデータであり、識別器23により判別すべき異常データが画像に現れた異常陰影である場合を例示しているが、診療データは画像のデータに限定されない。
例えば、診療データは、聴診等によって得られる各種音のデータ(例えば、胸部聴診で得られる心音や心雑音、頸動脈雑音、呼吸音等や、腹部聴診で得られる腹部血管雑音、グル音等)であってもよいし、各種波形データ(例えば、心電図等の波形の時系列的な情報等)であってもよい。さらに診療データは、電子カルテ情報や医師等によって入力された診察情報等の文字データであってもよい。
診療データが音データである場合には、異常データは例えば音データに含まれる異常音であり、診療データが波形データである場合には、異常データは例えば波形データに含まれる異常波形であり、診療データが文字データである場合には、異常データは例えば異常状況を表す特定の文字列等(例えば病名等)である。
また、このように診療データが医用画像のデータ以外のデータである場合、学習データ等が足りずに疑似データを生成する必要がある場合には、GAN等の画像データを生成する手段ではなく、音データや波形データ、文字データ等、診療データに対応するデータを自動的に生成する手段が適用される。
また、診療データは、医用画像撮影装置により撮影された医用画像に限られない。画像一般について識別器による判別を行う場合にも本発明を適用することができる。
【0096】
また、上記実施形態では、医用画像データ等を格納する医用画像DB71等を備える画像管理サーバー7が施設H内の医用画像システム100内に設けられている場合を例示したが、医用画像DB71やこれを備える画像管理サーバー7等はネットワークNT(図1参照)等により情報送受信可能に接続された施設H外のサーバー装置等に設けることも可能である。
格納されるデータ量の多い医用画像DB71やこれを備える画像管理サーバー7等を施設H内の医用画像システム100とは別に設けることで、医用画像システム100の負担を少なくすることができる。
【符号の説明】
【0097】
3 情報処理装置
5 モダリティー
7 画像管理サーバー
12 識別器生成部
13 評価部
14 識別器設定部
16 表示制御部
23 識別器
30 制御装置
31 制御部
32 記憶部
34 表示部
100 医用画像システム
H 施設
図1
図2
図3
図4
図5
図6
図7
図8
図9