特許 6990540 映像処理装置、映像処理方法、および映像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-08

(45)【発行日】2022-01-12

(54)【発明の名称】映像処理装置、映像処理方法、および映像処理プログラム

(51)【国際特許分類】

   A61B 6/00 20060101AFI20220104BHJP

   A61B 5/00 20060101ALI20220104BHJP

【ＦＩ】

A61B6/00 360Z

A61B6/00 350D

A61B6/00 330Z

A61B5/00 G

【請求項の数】 10

(21)【出願番号】P 2017164029

(22)【出願日】2017-08-29

(65)【公開番号】P2019037692

(43)【公開日】2019-03-14

【審査請求日】2020-05-18

(73)【特許権者】

【識別番号】517302594

【氏名又は名称】井上 謙一

(74)【代理人】

【識別番号】100166051

【弁理士】

【氏名又は名称】駒津 啓佑

(72)【発明者】

【氏名】井上 謙一

【審査官】伊藤 昭治

(56)【参考文献】

【文献】国際公開第２００７／０５２６３４（ＷＯ，Ａ１）

【文献】特開２０１６－１９８１９７（ＪＰ，Ａ）

【文献】特開平０７－０３７０５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／１４

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

入力された医療映像から特定病変を検出して表示する映像処理装置において、
判定範囲を特定する判定範囲特定手段と、
前記判定範囲で特定病変の有無を判定する判定手段と、
前記判定手段が判定した結果に応じて、色彩変更手段が色彩を変更した透明色である色彩透明色を前記医療映像の上の前記判定範囲が判定した範囲に重ねて表示する強調表示手段と、
前記判定手段が判定する一の判定範囲におけるほぼ全領域に、前記判定手段が判定する他の判定範囲を重ねるように前記判定範囲を移動させる判定範囲移動手段と、
を備え、
前記判定範囲が前記医療映像上を走査するように前記判定手段による処理、前記強調表示手段による処理、および前記判定範囲移動手段による処理が繰り返されること、
を特徴とする映像処理装置。

【請求項2】

前記判定範囲の領域を任意に変更できる判定範囲変更手段、
を備えることを特徴とする請求項１記載の映像処理装置。

【請求項3】

前記判定範囲移動手段が移動させる前記判定範囲の移動値を任意に変更できる移動値変更手段、
を備えることを特徴とする請求項１記載の映像処理装置。

【請求項4】

前記医療映像から検出対象部以外を、前記判定手段が行う判定範囲から除外させる判定除外手段、
を備えることを特徴とする請求項１記載の映像処理装置。

【請求項5】

前記判定手段は、
前記判定手段が判定を行うべき特定病変の有無を決定するための学習手段、
を備えることを特徴とする請求項１記載の映像処理装置。

【請求項6】

前記学習手段は、
ニューラルネットワークを用いたディープラーニングによって、学習用の医療映像から特定病変の特徴を抽出することを特徴とする請求項５記載の映像処理装置。

【請求項7】

前記学習用の医療映像における特定病変有の情報と特定病変無の情報との比率を同等にする病変情報調整手段、
を備えることを特徴とする請求項６記載の映像処理装置。

【請求項8】

前記病変情報調整手段は、
複数に分割した特定病変無の情報を、特定病変有の情報に対して入れ替えながら比率を調整することを特徴とする請求項７記載の映像処理装置。

【請求項9】

入力された医療映像から特定病変を検出して表示する映像処理方法において、
判定範囲特定手段が、判定範囲を特定するステップと、
判定手段が、前記判定範囲で特定病変の有無を判定するステップと、
強調表示手段が、前記判定手段が判定した結果に応じて、色彩変更手段が色彩を変更した透明色である色彩透明色を前記医療映像の上の前記判定範囲が判定した範囲に重ねて表示するステップと、
判定範囲移動手段が、前記判定手段が判定する一の判定範囲におけるほぼ全領域に、前記判定手段が判定する他の判定範囲を重ねるように前記判定範囲を移動させるステップと、
を備え、
前記判定範囲が前記医療映像上を走査するように前記判定手段による処理、前記強調表示手段による処理、および前記判定範囲移動手段による処理が繰り返されること、
を特徴とする映像処理方法。

【請求項10】

入力された医療映像から特定病変を検出して表示する映像処理プログラムにおいて、
コンピュータを、
判定範囲を特定する判定範囲特定手段、
前記判定範囲で特定病変の有無を判定する判定手段、
前記判定手段が判定した結果に応じて、色彩変更手段が色彩を変更した透明色である色彩透明色を前記医療映像の上の前記判定範囲が判定した範囲に重ねて表示する強調表示手段、
前記判定手段が判定する一の判定範囲におけるほぼ全領域に、前記判定手段が判定する他の判定範囲を重ねるように前記判定範囲を移動させる判定範囲移動手段、
として機能させ、
前記判定範囲が前記医療映像上を走査するように前記判定手段による処理、前記強調表示手段による処理、および前記判定範囲移動手段による処理が繰り返されること、
を特徴とする映像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置、映像処理方法、および映像処理プログラムに関し、特に入力された医療映像から病変部を検出して表示する映像処理装置、映像処理方法、および映像処理プログラムに関する。

【背景技術】

【0002】

従来から、身体の外側から診るだけでは分からない臓器の形態、病変の有無などを画像として映し出すことで診断を行う画像診断が知られている。画像診断は、例えばエックス線や超音波、磁気共鳴などを用いて映像化したものや、内視鏡検査や眼底カメラなどの可視光線のもとで撮影された検査画像をもとに医師が診断している。

【0003】

ところが、このような検査画像から情報を読み解くことは容易ではなく、多くの専門知識や豊富な経験や症例が必要とされている。一方で、画像診断を専門に行う専門医を育成するには多くの時間とコストがかかるため、専門医が不足し、診療所などの医療施設では、症例に接する機会が少ない一般の医師が画像診断を行うこともある。

【0004】

近年では、コンピュータ機能や人工知能技術の技術水準が向上し、人工知能の技術を活用した画像判断のシステムは様々な産業分野で応用されており、医療分野においても人工知能を用いた開発が進んでいる。

【0005】

例えば、コンピュータに過去の検査画像を解析させ、その結果から有用な規則やルールから得られるアルゴリズムを利用して、コンピュータが新たな検査画像を認識し、病変の有無、その病変が良性か悪性かを区別する機械学習という技術が可能になってきた（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１５－１５４９１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、このような病変候補検証器では、特定領域内での病変候補の有無や、信頼度は把握できるが、病変の詳細な位置や、病変の形状、病変の進行度を明確に把握することができなかった。

【0008】

図２１は、従来の病変検出装置の一例を示すブロック図である。
図２１に示すように、病変検出装置１０は、映像入力部１１、病変候補検出器１２、周辺客体検出器１３、病変候補検証器１４、候補除去器１５、およびディスプレイ部１６を備えている。

【0009】

映像入力部１１は、例えば超音波またはエックス線などを用いて人体の特定部位を医療映像装置２０で撮影した医療映像を受信する。
病変候補検出器１２は、医療映像を分析して、病変候補の可否、および存在する病変候補の位置を検出する。

【0010】

周辺客体検出器１３は、医療映像内で複数の解剖学的客体として、映像内の皮膚、脂肪、腺組織、筋肉、骨などを検出する。
病変候補検証器１４は、病変候補検出器１２によって検出された病変候補、および周辺客体検出器１３によって検出された解剖学的客体を、解剖学的脈絡に関連した情報を含む脈絡情報３０にもとづいて、検出された病変候補が実際に悪性病変か否かを検証する。

【0011】

候補除去器１５は、病変候補検証器１４によって検証された結果を受信し、検出された病変候補のうち、病変候補検証器１４によって陰性と判定された病変候補を除去したのち、のこりの病変候補をディスプレイ部１６に出力する。

【0012】

例えば、病変候補検出器１２は、映像入力部１１より受信した医療映像を分析した後、医療映像内の一定の領域を「信頼度８５％の病変候補」であると決定することで、病変候補を検出する。

【0013】

周辺客体検出器１３は、映像入力部１１より受信した医療映像を分析した後、医療映像内の一定の領域を「信頼度９５％の皮下脂肪」であると決定することで、病変候補を検出する。

【0014】

これにより病変候補検証器１４は、病変候補検出器１２が病変候補として検出した特定領域Ａと解剖学的客体が存在する位置とを比較し、脈絡情報３０を参照することで、特定領域Ａが実際に病変であるか、または陰性であるかを判断する。

【0015】

図２２は、病変検出装置を用いて、検査画像から病変候補を検出した検出画像を示す図である。
図２２に示すように、病変候補検出画像４０は、画像内の複数の特定領域において、２つの病変候補領域４１および４２、腺組織領域４３が表示されている。

【0016】

病変候補領域４１は信頼度が６９％と表示され、病変候補４２は信頼度が１２％と表示されている。このように病変候補は、ユーザにとって容易に識別することができる。また特定領域は、病変候補検出器１２が自動で検出することもできるが、医師が特定領域を決定し、その医師が決定した特定領域を病変候補検証器１４が検証し、病変であるか、または陰性であるかを判断して表示することもできる。

【0017】

ところが、病変候補検出器１２や医師によって特定された領域を検証することで、領域内が病変または陰性であるかを表示することはできるが、病変全体の形状を把握することはできなかった。

【0018】

具体的には、医師は検査画像内で矩形の特定領域を決定し、その特定範囲で病変候補の検証を行った結果を数値で表示する。つまり医師が決定した特定領域内での結果しか見ることはできない。このため病変周辺の境界線を明確に表示することは困難であり、病変全体の形状を把握することはできなかった。

【0019】

本発明はこのような点に鑑みてなされたものであり、医療映像内における病変部位の位置および形状を明確に表示する映像処理装置、映像処理方法、および映像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0020】

本発明では上記問題を解決するために、入力された医療映像から特定病変を検出して表示する映像処理装置において、判定範囲を特定する判定範囲特定手段と、前記判定範囲で特定病変の有無を判定する判定手段と、前記判定範囲を移動させる判定範囲移動手段と、前記判定手段が判定した結果に応じて前記判定範囲を強調して表示する強調表示手段とを備えることを特徴とする映像処理装置が提供される。

【0021】

これにより、判定範囲特定手段が、判定範囲を特定し、判定手段が、判定範囲で特定病変の有無を判定し、判定範囲移動手段が、判定範囲を移動させ、強調表示手段が、判定手段が判定した結果に応じて判定範囲を強調して表示する。

【0022】

また、本発明では、入力された医療映像から特定病変を検出して表示する映像処理方法において、判定範囲特定手段が、判定範囲を特定するステップと、判定手段が、前記判定範囲で特定病変の有無を判定するステップと、判定範囲移動手段が、前記判定範囲を移動させるステップと、強調表示手段が、前記判定手段が判定した結果に応じて前記判定範囲を強調して表示するステップとを備えることを特徴とする映像処理方法が提供される。

【0023】

これにより、判定範囲特定手段が、判定範囲を特定し、判定手段が、判定範囲で特定病変の有無を判定し、判定範囲移動手段が、判定範囲を移動させ、強調表示手段が、判定手段が判定した結果に応じて判定範囲を強調して表示する。

【0024】

また、本発明では、入力された医療映像から特定病変を検出して表示する映像処理プログラムにおいて、コンピュータを、判定範囲を特定する判定範囲特定手段、前記判定範囲で特定病変の有無を判定する判定手段、前記判定範囲を移動させる判定範囲移動手段、前記判定手段が判定した結果に応じて前記判定範囲を強調して表示する強調表示手段として機能させることを特徴とする映像処理プログラムが提供される。

【0025】

これにより、判定範囲特定手段が、判定範囲を特定し、判定手段が、判定範囲で特定病変の有無を判定し、判定範囲移動手段が、判定範囲を移動させ、強調表示手段が、判定手段が判定した結果に応じて判定範囲を強調して表示する。

【発明の効果】

【0026】

本発明の映像処理装置、映像処理方法、および映像処理プログラムによれば、判定範囲特定手段が、判定範囲を特定し、判定手段が、判定範囲で特定病変の有無を判定し、判定範囲移動手段が、判定範囲を移動させ、強調表示手段が、判定手段が判定した結果に応じて判定範囲を強調して表示するので、医療映像内における特定病変の位置や形状を明確に表示することができる。

【図面の簡単な説明】

【0027】

【図1】本実施の形態に係る映像処理装置の概念を示す図である。

【図2】判定手段の詳細を示す図である。

【図3】判定処理部の詳細を示す図である。

【図4】映像処理手段の詳細を示す図である。

【図5】本実施の形態の映像処理装置が備える判定手段が、学習を行うまでの処理を示すフローチャートである。

【図6】本実施の形態の映像処理装置が備える映像処理手段が、映像を処理し、処理した映像を表示装置が表示するまでの処理を示すフローチャートである。

【図7】本実施の形態の映像処理装置が備える映像処理手段に、指示情報が入力されてから各処理を行うまでの処理を示すフローチャートである。

【図8】本実施の形態の映像処理装置が備える判定手段が、学習するまでの処理を示すフローチャートである。

【図9】本実施の形態の映像処理装置が備える判定手段が、学習した学習データを検証するまでの処理を示すフローチャートである。

【図10】本実施の形態の映像処理装置が備える判定手段が、判定結果を出力するまでの処理を示すフローチャートである。

【図11】本実施の形態の映像処理装置が備える映像処理手段が、映像処理し、処理映像を出力するまでの処理を示すフローチャートである。

【図12】本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行うまでの処理を示すフローチャートである。

【図13】本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行なった判定医療映像に、色彩変更を行うまでの処理を示すフローチャートである。

【図14】判定除外処理部が行った処理を示すマンモグラフィ画像である。

【図15】ディープラーニングで用いられるニューラルネットワークを示す図である。

【図16】判定手段に学習させる従来の学習方法と、本実施の形態に係る映像処理装置での学習方法を示す図である。

【図17】学習医療映像の情報量を学習情報調整部が処理した訓練データおよびテストデータによる機械学習の正診率と、学習医療映像の情報量を学習情報調整部が処理しない訓練データおよびテストデータによる機械学習の正診率とを示す図である。

【図18】判定枠の移動方法を示す図である。

【図19】色彩変更部が判定枠内の判定範囲の色彩を変更した様子を示す図である。

【図20】判定医療映像に悪性病変の部位を明確にした状態を示す図である。

【図21】従来の病変検出装置の一例を示すブロック図である。

【図22】病変検出装置を用いて、検査画像から病変候補を検出した検出画像を示す図である。

【発明を実施するための形態】

【0028】

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、本実施の形態に係る映像処理装置の概念を示す図である。
映像処理装置１００は、判定手段１１０および映像処理手段１２０を備えている。

【0029】

判定手段１１０は、例えば脳の働きを模したニューラルネットワークを用いたディープラーニングと呼ばれる機械学習技術を用いたものであって、画像認識、音声認識、言語処理などに用いられるものである。

【0030】

あらかじめ判定手段１１０に学習医療映像である良性の医療映像と悪性の医療映像とを学習させ、後に悪性病変の有無を判定するための判定医療映像を判定手段１１０に認識させることで、その認識した判定医療映像が良性か悪性かを判定させることができる。

【0031】

映像処理手段１２０は判定手段１１０に接続されており、外部から接続された医療映像装置２００で撮影した判定医療映像を映像処理手段１２０に入力することで、その判定医療映像を映像処理手段１２０が判定手段１１０に判定させる。その判定手段１１０が判定した結果から、悪性病変の位置や形状を明確にするための映像処理を映像処理手段１２０が行う。

【0032】

具体的には、医療映像装置２００で撮影された判定医療映像の一部を映像処理手段１２０が切り取り、判定手段１１０が良性か悪性かを判断する。映像処理手段１２０は、判定手段１１０が判断した結果を受け取り、例えば、その結果が悪性だった場合のみ該当する部位の色彩を変更して判定医療映像内で該当部位を強調表示する。これにより判定医療映像内の悪性部分のみ色彩が変更されるので、悪性病変の位置や形状を明確にすることができる。

【0033】

医療映像装置２００は、例えばエックス線装置、コンピュータ断層撮影装置、核磁気共鳴画像装置、超音波検査装置などによって撮影される医療映像である。この医療映像装置２００によって撮影された静止画や動画を映像処理装置１００が処理を行うことで、映像処理装置１００に接続された表示装置３００に病変の位置や形状を明確にした映像を出力することができる。

【0034】

表示装置３００は、例えばパソコンに接続されることで与えられた情報を表示するディスプレイや、入力された情報を印刷して表示するプリンターや、写真などを現像する現像機などが挙げられる。

【0035】

この映像処理装置１００を介して出力された判定医療映像は、病変の位置や形状が明確に表示されているので、医師が判定医療映像を見る際に見落としがないよう注意喚起ができ、医師の正確な診断率が上昇する。
なお、映像処理手段１２０に接続した外部接続機器により、指示値を入力することで、入力した映像の判定開始や、出力する映像の解像度などを指示することができる。

【0036】

図２は、判定手段の詳細を示す図である。
図２に示すように、判定手段１１０は、判定処理部１１１および学習データ記憶部１１２を備えている。

【0037】

判定処理部１１１は、あらかじめ学習医療映像を入力することにより判定処理部１１１に学習をさせ、その学習したデータは学習データ記憶部１１２に蓄積される。学習は、判定処理部１１１に学習させるための情報であるトレーニングデータセットと呼ばれる訓練用データや、学習したデータを検証するためのテストデータセットと呼ばれるテスト用データを用いて学習させる。

【0038】

また映像処理手段１２０によって切り取られて入力される判定医療映像の一部は、学習データ記憶部１１２に蓄積された学習データを利用することで、判定処理部１１１が悪性か良性かの判断処理を行い、その結果を映像処理手段１２０で悪性病変を明確にするための映像処理を行った後に、悪性病変が明確になった判定医療映像が表示装置３００で表示される。

【0039】

図３は、判定処理部の詳細を示す図である。
図３に示すように、判定処理部１１１は、学習情報調整部１１１０、学習部１１１１および判定部１１１２を備えている。

【0040】

学習情報調整部１１１０は、学習部１１１１に効率よく学習させるために、外部から入力された学習医療映像の情報量を調整するためのものである。入力される学習医療映像は、あらかじめ病変を有する医療映像を格子状に分割したものであり、良性と悪性とがわかるようにラベル付けされたものである。またこれらのラベル付けされた学習医療映像は、それぞれテスト用データと訓練用データとに分けられている。

【0041】

良性と悪性とに分類された学習医療映像は、良性と悪性との情報量に偏りがあるため、学習情報調整部１１１０は、この比率が異なった学習医療映像のバランスを調整することで学習部１１１１に正しく学習させることができる。

【0042】

まず学習情報調整部１１１０は、良性の訓練用データを複数のグループに分割する。分割された良性の訓練用データの１つは、悪性の訓練用データ量と等しくなるように学習情報調整部１１１０が分割を行う。

【0043】

１つの悪性の訓練用データに対して、分割した良性の訓練用データを入れ替えながら、悪性の訓練用データ量と良性の訓練用データ量とが等しくなるように学習情報調整部１１１０が学習部１１１１に学習させる。

【0044】

これにより比較的データ量の少ない悪性の訓練用データを、データ量の多い良性の訓練用データに対応させて学習させることができるので、全体的な学習量を減らさずに良性と悪性とのバランスを取りながら、学習部１１１１に大量の訓練用データを学習させることができる。

【0045】

学習部１１１１は、学習情報調整部１１１０が調整した学習医療映像を実際に学習するためのものであり、学習データ記憶部１１２および判定部１１１２に接続されている。
具体的な学習例としては、学習情報調整部１１１０で調整された学習医療映像が学習部１１１１に入力され、入力された学習医療映像は、畳み込みニューラルネットワークを用いたディープラーニングによって、入力された学習医療映像の特徴を抽出して学習部１１１１は学習する。学習した学習データは学習データ記憶部１１２に蓄積される。

【0046】

判定部１１１２は、映像処理手段１２０が切り取った判定医療映像の一部を、学習データ記憶部１１２に蓄積された学習データを利用することで、その判定医療映像の一部が良性か悪性かを判断し、その判定部１１１２が判断した結果は、映像処理手段１２０に送信される。

【0047】

図４は、映像処理手段の詳細を示す図である。
図４に示すように、映像処理手段１２０は、判定除外処理部１２１、判定範囲設定部１２２、判定範囲移動部１２３、および色彩変更部１２４を備えている。

【0048】

判定除外処理部１２１は、医療映像装置２００により入力された判定医療映像を格子状に分割し、分割された判定医療映像のうち判定対象以外の部分を取り除くためのものである。

【0049】

具体的には、医療映像装置２００により撮影される判定医療映像には、判定対象以外の部分も含んだ映像が撮影される。例えば、乳ガンなどの検査で用いられるマンモグラフィ検査で撮影された映像には、必ず映像全体に乳房が撮影されているわけではなく、実際は乳房以外の部分も映り込んでいる。

【0050】

この乳房以外の部分を判定の対象外として取り除くことで、判定処理部１１１が判定する情報量を低減させることができる。これにより判定処理部１１１が判定する判定医療映像全体の判定時間を短縮することができる。

【0051】

判定範囲設定部１２２は、判定除外処理部１２１により判定除外処理が行われた判定医療映像のうち、一部を切り取って判定処理部１１１に判定をさせるための判定範囲を定める、図示しない判定枠Ｆを設定するためのものである。

【0052】

判定範囲移動部１２３は、判定範囲設定部１２２により設定された判定枠Ｆを、判定医療映像内で移動させるためのものである。これにより移動した判定枠Ｆの軌跡上を判定処理部１１１が悪性か良性かを判定することができ、判定枠Ｆが判定医療映像内すべてを移動することで判定医療映像全体の判定処理を行うことができる。

【0053】

この判定枠Ｆは、判定範囲設定部１２２が判定枠Ｆ内の判定範囲を大きくすることで、判定医療映像全体を移動する判定枠Ｆの移動時間が短くなり、判定処理部１１１が判定する判定医療映像全体の判定時間は短くなる。

【0054】

また判定範囲設定部１２２が判定枠Ｆ内の判定範囲を小さくすることで、判定医療映像における細かい病変部の判定を行うことができるので悪性病変の明確度が上昇する。なお、この判定範囲設定部１２２設定する判定枠Ｆ内の判定範囲は、接続された外部接続機器により任意に設定することができる。

【0055】

また判定枠Ｆは、判定範囲移動部１２３が移動させる判定枠Ｆの移動値も任意に設定することができるが、判定範囲の大きさと同様に、判定枠Ｆの移動値が大きくすれば、判定医療映像全体を移動する判定枠Ｆの移動時間が短くなり、判定処理部１１１が判定する判定医療映像全体の判定時間は短くなる。
また判定枠Ｆの移動値を小さくすることで、判定医療映像における細かい病変部の判定を行うことができるので悪性病変の明確度が上昇する。

【0056】

色彩変更部１２４は、判定枠Ｆ内の判定範囲を判定手段１１０が判定した結果によって、その判定範囲の色彩を変更するためのものである。
具体的には、判定枠Ｆ内の判定範囲において良性か悪性かを判定手段１１０が判定し、判定した結果を色彩変更部１２４に送信する。

【0057】

判定結果を受け取った色彩変更部１２４は、悪性だった場合にのみ、その判定した判定範囲を赤く色彩を変更する。これによりその判定範囲には悪性病変部分のみ色彩が変更されるので、悪性病変の部位や形状が明確に表示されることになる。

【0058】

また色彩変更部１２４が行なう色彩変更は、透明色を用いることができる。例えば、色彩変更部１２４が行なう色彩変更に透明色の赤色を用いた場合、判定範囲移動部１２３が判定枠Ｆを移動させながら悪性病変部に透明色の赤色を重ねていくので、悪性病変の部分は何度も透明色の赤色が重なることになる。

【0059】

この透明色の赤色が重なり濃い赤色で表示された部位は、判定手段１１０が悪性だと強く判断した部位であり、濃い赤色で表示された部分全体が悪性病変の形状であるといえる。これにより、悪性病変の部位や形状を明確に表示することができる。

【0060】

図５は、本実施の形態の映像処理装置が備える判定手段が、学習を行うまでの処理を示すフローチャートである。以下、図５に示す処理をステップ番号に沿って説明する。
〔ステップＳ１１〕判定手段１１０に学習医療映像が入力される。具体的には、あらかじめ学習用の医療映像を格子状に分割し、良性と悪性とのラベル付けをした後、テスト用データと訓練用データとに分割された学習医療映像が、学習情報調整部１１１０に入力される。

【0061】

〔ステップＳ１２〕判定手段１１０は学習医療映像の情報量の調整を行う。具体的には、ステップＳ１１で入力された学習医療映像のうち、良性の訓練用データを複数のグループに分割し、分割した訓練用データのグループを入れ替えながら学習部１１１１に学習させ、それに対応するように悪性の訓練用データを繰り返して学習部１１１１に学習させるために、学習医療映像の情報量の調整を学習情報調整部１１１０が行なう。

【0062】

〔ステップＳ１３〕判定手段１１０は学習を行う。具体的には、ステップＳ１２で調整された訓練用データとテスト用データとをもとに、畳み込みニューラルネットワークを用いたディープラーニングで学習部１１１１が学習を行う。
このように学習した判定手段１１０は、学習した学習データをもとに判定医療映像が良性または悪性かを判定手段１１０が判定することが出来る。

【0063】

図６は、本実施の形態の映像処理装置が備える映像処理手段が、映像を処理し、処理した映像を表示装置が表示するまでの処理を示すフローチャートである。以下、図６に示す処理をステップ番号に沿って説明する。

【0064】

〔ステップＳ２１〕映像処理手段１２０に判定医療映像が入力される。具体的には、医療映像装置２００で撮影された病変の有無を判定するための判定医療映像が、映像処理手段１２０に入力される。

【0065】

〔ステップＳ２２〕映像処理手段１２０は、入力された判定医療映像を処理する。具体的には、ステップＳ２１で入力された判定医療映像に対して、悪性病変の部位や形状が明確になるような映像処理を、映像処理手段１２０が行う。

【0066】

〔ステップＳ２３〕映像処理手段１２０は、映像処理された判定医療映像を出力する。具体的には、ステップＳ２２で映像処理され、悪性病変の部位や形状が明確になった判定医療映像を、映像処理手段１２０が表示装置３００に出力する。
〔ステップＳ２４〕表示装置３００は、映像処理された判定医療映像を表示する。具体的には、ステップＳ２３で出力された判定医療映像を表示装置３００が表示する。

【0067】

図７は、本実施の形態の映像処理装置が備える映像処理手段に、指示情報が入力されてから、各処理を行うまでの処理を示すフローチャートである。以下、図７に示す処理をステップ番号に沿って説明する。

【0068】

〔ステップＳ３１〕映像処理手段１２０に指示情報が入力される。具体的には、映像処理装置１００の外部から接続された外部接続機器により、判定範囲設定、移動値設定、または映像処理開始の指示が入力される。

【0069】

〔ステップＳ３２〕映像処理手段１２０は、入力された指示情報を判断する。具体的には、映像処理装置１００に入力された指示情報が、判定範囲設定の指示、移動値設定の指示、または映像処理開始の指示であるかを、映像処理手段１２０が判断する。

【0070】

判定範囲設定の指示が入力されたと判断したときは、処理をステップＳ３３に進め、移動値設定の指示が入力されたと判断したときは、処理をステップＳ３４に進め、映像処理開始の指示が入力されたと判断したときは、処理をステップＳ３５に進める。

【0071】

〔ステップＳ３３〕映像処理手段１２０は、判定範囲を設定する。具体的には、ステップＳ２１で入力された判定医療映像の一部を切り取って判定するための判定枠Ｆ内の判定範囲を、判定範囲設定部１２２が設定する。
〔ステップＳ３４〕映像処理手段１２０は、移動値を設定する。具体的には、ステップＳ３３で設定された判定枠Ｆが移動する移動値を、判定範囲移動部１２３が設定する。

【0072】

〔ステップＳ３５〕映像処理手段１２０は、映像処理を開始する。具体的には、判定範囲設定部１２２が設定した判定枠Ｆを、判定医療映像内で判定範囲移動部１２３が移動させながら、悪性病変の判定を判定手段１１０にさせ、その判定結果をもとに判定範囲の色彩を色彩変更部１２４が変更する処理の開始を、映像処理手段１２０が行なう。

【0073】

図８は、本実施の形態の映像処理装置が備える判定手段が、学習するまでの処理を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。
〔ステップＳ４１〕判定手段１１０に学習医療映像が入力される。具体的には、畳み込みニューラルネットワークを用いたディープラーニングで判定手段１１０に学習させるために、ステップＳ１２で情報量が調整された訓練用データが、学習部１１１１に入力される。

【0074】

〔ステップＳ４２〕学習部１１１１は、入力された学習医療映像の特徴を抽出する。具体的には、ステップＳ４１で入力された訓練用データを、畳み込みニューラルネットワークを用いたディープラーニングで訓練用データの特徴を抽出し、その特徴から何が描出されているかを学習部１１１１が識別する。

【0075】

〔ステップＳ４３〕学習部１１１１は、入力された学習医療映像の判定を行う。具体的には、ステップＳ４２で抽出された訓練用データの特徴が、良性か悪性かを学習部１１１１が判定する。

【0076】

〔ステップＳ４４〕学習部１１１１は、判定結果とラベルとを比較する。具体的には、ステップＳ４３で判定した判定結果と、訓練用データに付されたラベルの内容との比較を行う。

【0077】

〔ステップＳ４５〕学習部１１１１は、記憶する学習データの修正を行う。具体的には、ステップＳ４３で判定した訓練用データの特徴の判定結果と、ステップＳ４４で比較した訓練用データに付されたラベルとの差異を小さくするために、記憶する学習データの修正を行なう。

【0078】

〔ステップＳ４６〕学習部１１１１は、所定の数まで学習処理が繰り返されたか判断する。具体的には、ステップＳ４２からステップＳ４５までの処理が所定の回数繰り返されたかを、学習部１１１１が判断する。

【0079】

所定の回数は、訓練用データの枚数や画像サイズによって調整を行うことができる。具体的にはステップＳ４２からステップＳ４５までの処理を、５０００回や１０万回などで設定し、設定した回数まで何度も繰り返しながら学習部１１１１に学習させることで、正しい判断率を上げていく。

【0080】

学習部１１１１がステップＳ４２からステップＳ４５までの処理を所定回数繰り返したと判断したときは、処理をステップＳ４７に進め、学習部１１１１がステップＳ４２からステップＳ４５までの処理を所定回数繰り返していないと判断したときは、処理をステップＳ４２に進める。

【0081】

〔ステップＳ４７〕学習部１１１１は、学習した学習データを記憶する。具体的には、学習部１１１１がステップＳ４２からステップＳ４５までの処理を所定回数繰り返して学習した学習データを、学習部１１１１が学習データ記憶部１１２に記憶させる。

【0082】

図９は、本実施の形態の映像処理装置が備える判定手段が、学習した学習データを検証するまでの処理を示すフローチャートである。以下、図９に示す処理をステップ番号に沿って説明する。

【0083】

〔ステップＳ５１〕判定手段１１０に学習医療映像が入力される。具体的には、ステップＳ４１からステップＳ４７までの処理を繰り返して、判定手段１１０が学習した学習データを検証するために、良性か悪性かのラベルが判定手段１１０から見えない状態にしたテスト用データが、学習部１１１１に入力される。

【0084】

〔ステップＳ５２〕学習部１１１１は、入力された学習医療映像の特徴を抽出する。具体的には、ステップＳ５１で入力されたテスト用データから特徴を抽出し、その特徴から何が描出されているかを学習部１１１１が識別する。

【0085】

〔ステップＳ５３〕判定手段１１０は、入力された学習医療映像の予測を行う。具体的には、ステップＳ５２で抽出した特徴と、学習データ記憶部１１２に蓄積した学習データとを比較し、ステップＳ５２で入力されたテスト用データが良性か悪性かの予測を学習部１１１１が行う。

【0086】

〔ステップＳ５４〕判定手段１１０は、予測結果の評価を行う。具体的には、ステップＳ５３で学習部１１１１が行った予測と、テスト用データに付されたラベルとを比較し、評価を学習部１１１１が行う。例えば予測とラベルとの値が一致した場合はプラスの評価を、また予測とラベルとの値が一致しなかった場合はマイナスの評価を与える。

【0087】

図１０は、本実施の形態の映像処理装置が備える判定手段が、判定結果を出力するまでの処理を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。

【0088】

〔ステップＳ６１〕判定手段１１０に判定範囲の情報が入力される。具体的には、映像処理手段１２０がステップＳ３３で設定した判定枠Ｆ内の判定範囲で切り取った判定医療映像の一部が、判定部１１１２に入力される。

【0089】

〔ステップＳ６２〕判定手段１１０は、入力された判定医療映像の特徴を抽出する。具体的には、ステップＳ６１で入力された判定医療映像の一部の特徴を抽出し、その特徴から何が描出されているかを識別する。

【0090】

〔ステップＳ６３〕判定手段１１０が、入力された判定医療映像の判定を行う。具体的には、ステップＳ６２で抽出した判定医療映像の一部の特徴と、学習データ記憶部１１２に蓄積した学習データとを比較し、ステップＳ６１で入力された判定医療映像の一部が良性か悪性かの判定を判定部１１１２が行う。

【0091】

〔ステップＳ６４〕判定手段１１０が、判定結果の出力を行う。具体的には、ステップＳ６３で判定医療映像の一部を判定した結果を、判定部１１１２が映像処理手段１２０に出力する。

【0092】

図１１は、本実施の形態の映像処理装置が備える映像処理手段が、映像処理し、処理映像を出力するまでの処理を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。

【0093】

〔ステップＳ７１〕映像処理手段１２０に判定医療映像が入力される。具体的には、医療映像装置２００で撮影した判定医療映像の情報が、映像処理手段１２０に入力される。
〔ステップＳ７２〕映像処理手段１２０は、入力された判定医療映像の判定除外処理を行う。具体的には、判定除外処理部１２１が、ステップＳ７１で入力された判定医療映像のうち判定対象以外の部分を除外する。

【0094】

〔ステップＳ７３〕映像処理手段１２０は、判定処理を行う。具体的には、判定範囲設定部１２２が設定した判定枠Ｆ内の判定範囲を、判定範囲移動部１２３が判定医療映像内で移動させながら、切り取った判定医療映像の一部を判定部１１１２が判定する。

【0095】

〔ステップＳ７４〕映像処理手段１２０は、色彩変更処理を行う。具体的には、ステップＳ７３で判定した結果により、色彩変更部１２４が色彩を変更する。さらに具体的には、ステップＳ７３で判定した結果が悪性だったときのみ、色彩変更部１２４が判定範囲の色彩を変更する。

【0096】

〔ステップＳ７５〕映像処理手段１２０は、処理映像を出力する。具体的には、ステップＳ７１からステップＳ７４で処理された判定医療映像を、色彩変更部１２４が表示装置３００に出力する。

【0097】

図１２は、本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行うまでの処理を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。

【0098】

〔ステップＳ８１〕映像処理手段１２０に判定医療映像が入力される。具体的には、医療映像装置２００で撮影した判定医療映像の情報が、映像処理手段１２０に入力される。
〔ステップＳ８２〕映像処理手段１２０は、判定医療映像を分割する。具体的には、ステップＳ８１で入力された判定医療映像を細かい格子状に、例えば入力された判定医療映像を縦１０×横８の８０枚の格子状に、判定除外処理部１２１が分割する。

【0099】

〔ステップＳ８３〕映像処理手段１２０は判定除外処理を行う最初の映像を選定する。具体的にはステップＳ８２で細かい格子状に分割した判定医療映像のうち、最初に判定除外処理を行なう映像を、判定除外処理部１２１が選定する。

【0100】

〔ステップＳ８４〕映像処理手段１２０は、判定医療映像の一部に判定対象映像が含まれているか否かを判断する。具体的には、ステップＳ８３で選定された判定医療映像の一部に、例えば人体の一部などの判定対象が含まれているか否かを判定除外処理部１２１が判断する。

【0101】

判定医療映像の一部に、判定対象が含まれていると判断したときは処理をステップＳ８５に進め、判定医療映像の一部に、判定対象が含まれていないと判断したときは処理をステップＳ８６に進める。

【0102】

〔ステップＳ８５〕映像処理手段１２０は、判定医療映像の最後まで判定除外処理を行ったかを判断する。具体的には、ステップＳ８４で判断した判定医療映像の一部が、複数に分割した判定医療映像のうち最後の分割映像か否かを判断する。

【0103】

判定医療映像の一部が、複数に分割した判定医療映像のうち最後の分割映像であると判断したときは、処理を終了させ、判定医療映像の一部が、複数に分割した判定医療映像のうち最後の分割映像ではないと判断したときは、処理をステップＳ８７に進める。

【0104】

〔ステップＳ８６〕映像処理手段１２０は、判定除外処理を行う。具体的にはステップＳ８４で判定除外処理部１２１が判断した結果、判定医療映像の一部に判定対象映像が含まれていない場合は、その判定医療映像の一部を判定手段１１０が判定する必要がないので、判定手段１１０が判定しないための判定除外フラグを、判定除外処理部１２１が立てる。

【0105】

〔ステップＳ８７〕映像処理手段１２０は、判定除外処理を行う次の映像を決定する。具体的にはステップＳ８２で細かい格子状に分割した判定医療映像のうち、次に判定除外処理をする判定医療映像の一部を、判定除外処理部１２１が選定する。

【0106】

図１３は、本実施の形態の映像処理装置が備える映像処理手段が、判定除外処理を行なった判定医療映像に、色彩変更を行うまでの処理を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。

【0107】

〔ステップＳ９１〕映像処理手段１２０に判定除外処理を行った判定医療映像が生成される。具体的には、映像処理手段１２０に入力された判定医療映像を、判定除外処理部１２１が判定除外処理を行い、判定除外処理後の判定医療映像が生成される。

【0108】

〔ステップＳ９２〕映像処理手段１２０は初期化を行う。具体的には、判定枠Ｆが移動しながら判定していく際の初期の位置、例えば判定医療映像の左側最上段などの位置に、判定範囲移動部１２３が判定枠Ｆを移動させる。

【0109】

〔ステップＳ９３〕映像処理手段１２０は、判定枠Ｆ内の判定範囲が判定対象か否かの判断を行う。具体的には、判定枠Ｆの移動先の分割映像に判定除外フラグが立てられているか否かで、判定範囲が判定対象か否かの判断を判定範囲移動部１２３が判断する。

【0110】

より具体的には、判定除外フラグが立てられた分割映像上に判定枠Ｆが移動した場合は判定除外であると判定範囲移動部１２３が判断し、判定除外フラグが立てられていない分割映像上に判定枠Ｆが移動した場合は判定対象であると判定範囲移動部１２３が判断する。

【0111】

また、判定除外フラグが立てられた分割映像と判定除外フラグが立てられていない分割映像との結合部上に判定枠Ｆが移動した場合は、判定対象であると判定範囲移動部１２３が判断する。

【0112】

判定枠Ｆ内の判定範囲が判定対象であると判断したときは、処理をステップＳ９４へ進め、判定枠Ｆ内の判定範囲が判定対象でないと判断したときは、処理をステップＳ９７へ進める。

【0113】

〔ステップＳ９４〕映像処理手段１２０は、判定枠Ｆ内の判定範囲が悪性病変か否かの判断を行う。具体的には、判定範囲移動部１２３が移動させた判定枠Ｆ内の判定範囲を、判定範囲移動部１２３が判定手段１１０に送信し判定をさせる。
判定枠Ｆ内の判定範囲が悪性であると判断したときは、処理をステップＳ９５へ進め、判定枠Ｆ内の判定範囲が良性であると判断したときは、処理をステップＳ９６へ進める。

【0114】

〔ステップＳ９５〕映像処理手段１２０は、色彩変更を行う。具体的には、ステップＳ９４で悪性と判断された判定枠Ｆ内の判定範囲の色彩を、色彩変更部１２４が変更する処理を行う。

【0115】

〔ステップＳ９６〕映像処理手段１２０は、判定医療映像の最後まで判定を行った否かを判断する。具体的には、ステップＳ９２で判定範囲移動部１２３が移動させた初期の位置から、判定範囲移動部１２３が判定枠Ｆを移動させていき、判定対象ではない範囲を除く判定医療映像のすべてを判定したかを判断する。

【0116】

例えば判定医療映像の左側最上位置を初期の位置とし、判定枠Ｆを右側に移動させながら判定を行ない、順に判定医療映像の上部から下部に向かって判定枠Ｆを移動させて判定する場合、判定枠Ｆが右側最下段に到達したときを判定終了と判断させる。

【0117】

判定範囲移動部１２３が最後まで判定枠Ｆを移動させて判定を行ったと判断したときは、処理を終了させ、判定範囲移動部１２３が最後まで判定枠Ｆを移動させて判定を行っていないと判断したときは、処理をステップＳ９７へ進める。

【0118】

〔ステップＳ９７〕映像処理手段１２０は判定枠Ｆを次の位置へ移動させる。具体的には、まだ判定枠Ｆを移動させて判定が完了していない位置に、判定範囲移動部１２３が判定枠Ｆを移動させる。

【0119】

なお、本実施の形態の映像処理装置１００では、ステップＳ９１で判定除外処理部１２１が判定除外処理を行なった判定医療映像を、ステップＳ９３で判定範囲移動部１２３が判定枠Ｆ内の判定範囲が判定対象か否かの判断をし、判定対処の場合にステップＳ９４で判定範囲が悪性病変であるか否かを判定手段１１０が判定する例で示したが、ステップＳ９１での処理を省略し、入力された判定医療映像を、判定枠Ｆ内の判定範囲が判定対象か否かを判定範囲移動部１２３が判断をし、判定対処の場合に判定範囲が悪性病変であるか否かを判定手段１１０が判定してもよい。

【0120】

図１４は、判定除外処理部が行った処理を示すマンモグラフィ画像である。
図１４（Ａ）に示すように、判定除外処理部１２１は、判定医療映像のうち判定対象を含まない範囲に判定除外フラグを立てるために、判定医療映像を細かい格子状に分割する。

【0121】

図１４（Ｂ）に示すように、判定除外処理部１２１は、分割した判定医療映像の一部に判定対象が含まれるか否かを判断し、判定対象が含まれない部位に判定除外フラグを立てることで、判定部１１１２が行なう判定処理から除外する。

【0122】

具体的には、図１４（Ａ）のうち乳腺以外の画像を除外する。図１４（Ｂ）の黒く表示された部位は、乳腺を含まない範囲なので、判定対象から除外され判定除外フラグが立てられる。

【0123】

図１４（Ｂ）の例の場合、判定除外処理を行なうと、判定対象の範囲が全体の半分以下になることがわかる。これにより判定対象の範囲が制限されるため、判定医療映像全体の内、判定部１１１２が行なう判定処理の情報量が減少するので、判定処理が完了するまでの処理速度を向上することができる。

【0124】

また図１４では、判定除外処理部１２１が判定除外処理を行うために、判定医療映像を分割し、判定対象以外を除外する例で示したが、判定除外処理部１２１が行なう判定除外処理は判定医療映像だけを処理するものだけではなく、学習医療映像を処理してもよい。

【0125】

例えば、判定除外処理部１２１に学習医療映像を入力すると、図１４（Ａ）のように、学習医療映像を判定除外処理部１２１が分割し、図１４（Ｂ）のように、分割した映像のうち乳腺以外の映像を判定除外処理部１２１が除外することで、判定対象を含む分割映像のみを残す処理が行なわれる。

【0126】

これらの判定対象として残された分割映像を、悪性病変が描出されている映像と、悪性病変が描出されていない映像とを区別するためにラベル付けをすることで、判定手段１１０が有する学習部１１１１に学習させるための学習医療映像として利用することが出来る。

【0127】

さらに、これらの判定除外処理部１２１が処理を行なった学習医療映像は、映像を左右反転させることで異なった映像として学習部１１１１に認識させ、学習部１１１１に入力される学習医療映像の情報量を増やすことも出来る。

【0128】

図１５は、ディープラーニングで用いられるニューラルネットワークを示す図である。
図１５に示すように、ニューラルネットワークでは、全体の処理を入力層、中間層、出力層と区分することが出来る。

【0129】

入力層は、画像や音声などを入力する場所であり、本発明では図１５の左側に示す格子状に細かく分割された医療映像の画像データを入力するために利用される。
中間層は、入力されたデータから様々な特徴である形や模様などを抽出する場所であり、本発明では入力層で入力された医療映像から形や模様などを抽出するために利用される。

【0130】

出力層は、中間層で抽出した特徴から入力したデータを識別する場所であり、本発明では入力された医療映像が、良性か悪性かを識別するために利用される。
一般的な形としてニューラルネットワークでは、入力されたデータの特徴を抽出する役割を果たす畳み込み層と、畳み込み層が抽出した特徴から強く表れている特徴を取り出すことで位置に不変性を与えるプーリング層とがセットで用いられ、最後の出力層に用いられる全結合層で、取り出された特徴にもとづく分類が行なわれている。

【0131】

また、中間層を複数入れ込み、複雑化することもできる。本実施の形態に係る映像処理装置１００では、畳み込み層とプーリング層を合わせて１０層としたニューラルネットワークを用いてディープラーニングを行った。その結果、例えばマンモグラフィの画像から、乳ガンの特徴を抽出し、ガンが７０％の確率で存在する、ガンが３０％の確率で存在しないなどを識別することが出来る。

【0132】

なお、本実施の形態に係る学習部１１１１が行うディープラーニングによる学習は、畳み込み層とプーリング層を合わせて１０層としたニューラルネットワークを用いたが、中間層における畳み込み層とプーリング層とのユニット数は適宜調整を行いながら学習部１１１１に学習させることができる。また、入力層や出力層も適宜調整を行いながら学習部１１１１に学習させることができる。

【0133】

図１６は、判定手段に学習させる従来の学習方法と、本実施の形態に係る映像処理装置での学習方法を示す図である。
図１６（Ａ）に示すように、従来の機械学習の学習方法は、医療映像を格子状に分割し、悪性病変が描出されている映像と、悪性病変が描出されていない映像とを区別するためにラベル付けを行い、訓練用データとテスト用データとに分け、これらの訓練用データとテスト用データとを用いて機械学習をさせていた。

【0134】

ところが医療映像を分割してみると、良性映像の数量が圧倒的に多く、良性と悪性との学習データに多くの差があった。実際には９割近くが良性の映像であり、この偏った学習データによって正しい機械学習が行えなかった。

【0135】

例えば悪性映像が１割、良性映像が９割の場合、全く学習せずにテストを行っても全て良性と診断すれば９割の正解率になってしまうため、このような学習医療映像で正しい学習を行なうことは困難であった。

【0136】

これらの解決方法の１つとして、良性の映像に合わせて、悪性の映像を増やすことも考えられるが、９割近い良性映像で、悪性の映像を集めるのは非常に困難であり、現実的ではなかった。

【0137】

また比較的データ量の多い良性映像を、比較的数データの少ない悪性映像に合わせて学習させることでバランスをとることも考えられるが、全体的な学習量が大幅に減少してしまうため、効率的な学習とは言えなかった。

【0138】

そこで図１６（Ｂ）に示すように、本実施の形態に係る映像処理装置１００が備える学習情報調整部１１１０が、学習医療映像の情報量の調整を行なうことで、良性映像と悪性映像との比率が異なっていても正しく学習できるようになる。

【0139】

具体的には、まず悪性病変が描出されている映像と、悪性病変が描出されていない映像とを合わせて４７２８２枚の分割した医療映像を用意し、その分割した医療映像に良性および悪性のラベル付けをした後、それぞれをテスト用データと訓練用データに分ける。

【0140】

この分けられたテスト用データと訓練用データのうち、比較的データ量の多い良性映像における訓練用データを、訓練用データ１、訓練用データ２、訓練用データ３・・・と複数のグループに分ける処理を学習情報調整部１１１０が行う。

【0141】

次に、良性映像における訓練用データを、訓練用データ１、訓練用データ２、訓練用データ３・・・と入れ替えた訓練用データを学習情報調整部１１１０が作成し、それに対応するように悪性映像も学習情報調整部１１１０が複製して、学習部１１１１に学習させる。

【0142】

このように良性における訓練用データを繰り返し入れ替えながら学習部１１１１学習させることで、良性と悪性とのバランスを取りながら、かつ学習医療映像の情報量を減らすことなく多くの学習医療映像を学習部１１１１に学習をさせることが出来る。

【0143】

本実施の形態に係る映像処理装置１００での学習方法では、悪性病変が描出されていない映像を合わせて４７２８２枚に対して、良性映像が悪性映像の２７倍あったので、すべての映像を使用して学習させるために、良性映像における訓練用データを２７回入れ替える処理を学習情報調整部１１１０が行い、学習部１１１１に繰り返して学習させた。

【0144】

図１７は、学習医療映像の情報量を学習情報調整部が処理した訓練データおよびテストデータによる機械学習の正診率と、学習医療映像の情報量を学習情報調整部が処理しない訓練データおよびテストデータによる機械学習の正診率とを示す図である。

【0145】

図１７（Ａ）は、マンモグラフィ検査における全ての病変と病変以外の学習医療映像の情報量を、学習情報調整部１１１０が処理を行い、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。

【0146】

図１７（Ａ）は、４７２８２枚の分割した医療映像を学習した結果を表している。また学習医療映像はテスト用データ７８８枚、訓練用データ３１５６枚用意し、どの映像も使用するように訓練用データのうち良性のデータを分割したものを、学習情報調整部１１１０が２７回入れ替えながら学習させた結果である。

【0147】

学習させた結果、正しい診断率である正診率が９６．６％、実際に病気に罹っている人のうち陽性と出る割合である感度が９３．９％、病気に罹っていない人のうち陰性と出る割合である特異度が９９．２％、検査で陽性と出た人のうち実際に病気に罹っている人の割合の陽性的中率であるＰＰＶ（Positive Predictive Value）が９９．２％、陰性と出た人のうち実際に罹っていない人の割合の陰性的中率であるＮＰＶ（Negative Predictive Value）が９４．２％であった。

【0148】

このように学習情報調整部１１１０が学習医療映像の情報量の処理を行うことで、悪性映像と良性映像とのバランスを取り、かつ学習する学習医療映像の情報量を多くして学習部１１１１に学習させることができるので、高い正診率を得ることができた。本実施の形態に係る映像処理装置１００では、学習情報調整部１１１０が処理した学習医療映像を用いることで、正診率を得ることが出来る。

【0149】

図１７（Ｂ）は、マンモグラフィ検査における構築の乱れの学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。

【0150】

図１７（Ｂ）は、７１６枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が９３．１％、感度が９８．４％、特異度が６１．９％、ＰＰＶが９３．８％、ＮＰＶが８６．７％であった。

【0151】

図１７（Ｃ）は、マンモグラフィ検査における局所的非対称性陰影であるＦＡＤ（focal asymmetric density）の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。

【0152】

図１７（Ｃ）は、４６４枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が９１．３％、感度が８６．０％、特異度が８８．９％、ＰＰＶが９２．５％、ＮＰＶが８０．０％であった。

【0153】

図１７（Ｄ）は、マンモグラフィ検査における石灰化の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。

【0154】

図１７（Ｄ）は、２４５６枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が８５．６％、感度が７６．８％、特異度が９２．２％、ＰＰＶが８８．０％、ＮＰＶが８４．１％であった。

【0155】

図１７（Ｅ）は、マンモグラフィ検査における腫瘍の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。

【0156】

図１７（Ｅ）は、１８１６枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が９０．１％、感度が９５．８％、特異度が７２．０％、ＰＰＶが９０．０％、ＮＰＶが８６．７％であった。

【0157】

図１７（Ｆ）は、マンモグラフィ検査における全ての病変の学習医療映像を、学習情報調整部１１１０が処理を行わずに、ニューラルネットワークを用いたディープラーニングで、その学習医療映像を学習部１１１１に学習させた結果を示す図である。

【0158】

図１７（Ｆ）は、３８０２枚の分割した医療映像を学習した結果を表している。学習させた結果、正診率が８９．５％、感度が９０．７％、特異度が８８．１％、ＰＰＶが８９．８％、ＮＰＶが８９．１％であった。

【0159】

上記から分かるように、図１７（Ａ）のように学習情報調整部１１１０が学習医療映像の情報量の処理を行い、悪性映像と良性映像とのバランスの取れた大量の学習医療映像を、学習部１１１１が学習することで、高い正診率を得られたことがわかる。
また学習部１１１１は、学習する学習医療映像の情報量が増加すればするほど、正診率が改善していることがわかる。

【0160】

図１８は、判定枠の移動方法を示す図である。
図１８（Ａ）に示すように、判定範囲設定部１２２が設定する判定枠Ｆは、判定医療映像内を移動しながら、その判定枠Ｆ内の判定範囲を判定手段１１０に判定させる。ここでは便宜上、判定除外処理部１２１による判定除外した範囲は表示しない。

【0161】

例えば、判定枠Ｆの初期の位置を左側最上位置とした場合、判定範囲移動部１２３が判定枠Ｆを判定医療映像の最上段で左から右にかけて移動させながら、判定手段１１０に判定範囲移動部１２３が判定をさせる。

【0162】

判定枠Ｆが判定医療映像の右側まで到達すると、次に最上段から少し下に下がった位置で、左側から右側にかけて判定範囲移動部１２３が判定枠Ｆを移動させながら判定手段１１０に判定させる。

【0163】

図１８（Ｂ）に示すように、判定枠Ｆの移動は、判定枠Ｆの移動する軌跡が重なるように判定範囲移動部１２３が移動させる。
具体的には、判定枠Ｆは、判定範囲移動部１２３がＦ１の高さを左から右にかけて移動させながら判定を行う。判定枠ＦがＦ１の高さで右側まで到達すると、次に判定枠ＦがＦ１で通った軌跡と重なるようなＦ２の高さで、判定枠Ｆを左から右にかけて判定範囲移動部１２３が移動させながら判定を行う。

【0164】

同様に、判定枠ＦがＦ２の高さで右側まで到達すると、次に判定枠ＦがＦ２で通った軌跡と重なるようなＦ３の高さで、判定枠Ｆを左から右にかけて判定範囲移動部１２３が移動させながら判定を行う。

【0165】

判定部１１１２が判定した結果により、色彩変更部１２４が色彩を変更することで、悪性病変の部位の色彩が変更され、悪性病変の位置や形状を明確に表示することが出来る。詳細は次に示す。

【0166】

図１９は、色彩変更部が判定枠内の判定範囲の色彩を変更した様子を示す図である。
図１９（Ａ）は、判定枠Ｆ内の判定範囲が良性であり、色彩変更部１２４が色彩変更を行わなかった様子を示している。

【0167】

このように、移動する判定枠Ｆ内の判定範囲が良性である限り、判定医療映像の色彩が色彩変更部１２４によって変更されることはないので、判定医療映像になんら変化は見られない。

【0168】

図１９（Ｂ）は、判定枠Ｆ内の判定範囲が悪性であり、色彩変更部１２４が色彩変更を行った様子を示している。
このように、移動する判定枠Ｆ内の判定範囲が悪性である場合、判定医療映像の色彩が色彩変更部１２４によって変更されるので、悪性部分が明確になる。また色彩変更部１２４が行う色彩変更を半透明化した色彩を判定範囲の上に重ねることで、重複した部分の色が重なり、より強調して見えるようになる。

【0169】

このように色彩変更部１２４が行う色彩変更を半透明化した色彩を判定範囲の上に重ねることで、従来では困難であった細長い悪性病変や複雑な形状をした病変部位であっても、図１９（Ｃ）のように悪性病変の位置や形状を明確に表示することができる。

【0170】

図１９（Ｃ）では、悪性病変の境界部分は、色彩変更部１２４によって色彩変更された判定枠Ｆ内の判定範囲が重ならないため薄く表示され、悪性病変の中心部分は、色彩変更された判定範囲が重なるため濃く表示されていることが分かる。

【0171】

なお判定枠Ｆが移動する大きさは任意に設定できるが、前述したように判定枠Ｆの移動値が多ければ、判定枠Ｆが最後まで到達する時間が短くなるため、判定医療映像の映像処理を行なうための時間を短くすることができる。

【0172】

また判定枠Ｆの大きさを小さくし、判定枠Ｆの移動値を小さくすることで、細かい判定が可能となる。このため病変部分の境界部分の表示が明確になり、図２０（Ｃ）のように病変部分周辺の境界部分を明確に表示することができる。

【0173】

図２０は、判定医療映像に悪性病変の部位を明確にした状態を示す図である。
図２０に示すように、判定部１１１２が悪性と判定した部位を、色彩変更部１２４が色彩変更することで、黒丸内に示されるように病変の部位を明確にすることができる。このため医師が判定医療映像を見る際に見落としがないよう注意喚起ができ、医師の正確な診断率が上昇する。

【0174】

本実施の形態で示した例では、医療映像装置２００で撮影した判定医療映像であるマンモグラフィ検査の静止画像を例として挙げたが、映像処理装置１００は静止画像だけを処理するだけでなく、医療映像装置２００が撮影した動画を、判定手段１１０が判定処理を行い、映像処理手段１２０が映像処理を行うことで、動画上でも病変部位を明確にすることができる。

【0175】

また、映像処理装置１００が行う映像処理は、エックス線や超音波、磁気共鳴などを用いて映像化したものだけでなく、判定手段１１０が必要な学習データを学習すれば、内視鏡検査や眼底カメラなどの可視光線の元で撮影された検査画像を、映像処理装置１００が映像処理を行うことで、悪性病変の位置や形状を明確にすることもできる。

【0176】

また、本実施の形態では、入力された判定医療映像全体を映像処理手段１２０が行なう映像処理によって、悪性病変の位置や形状を示したが、判定医療映像における映像処理手段１２０が行なう映像処理の範囲をあらかじめ特定し、その特定された範囲内で悪性病変の位置や形状を表示するようにしてもよい。

【符号の説明】

【0177】

１０ 病変検出装置
１１ 映像入力部
１２ 病変候補検出器
１３ 周辺客体検出器
１４ 病変候補検証器
１５ 候補除去器
１６ ディスプレイ部
２０、２００ 医療映像装置
３０ 脈絡情報
４０ 病変候補検出画像
４１、４２ 病変候補領域
４３ 腺組織領域
１００ 映像処理装置
１１０ 判定手段
１１１ 判定処理部
１１２ 学習データ記憶部
１２０ 映像処理手段
１２１ 判定除外処理部
１２２ 判定範囲設定部
１２３ 判定範囲移動部
１２４ 色彩変更部
３００ 表示装置
１１１０ 学習情報調整部
１１１１ 学習部
１１１２ 判定部
Ａ 特定領域
Ｆ 判定枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】