(58)【調査した分野】(Int.Cl.,DB名)
前記判別器出力部は、前記複数の判別結果のうち同じ結果となった数が最も多い判別結果を前記入力画像の正解データとして決定する請求項1から3のいずれか1項記載の学習支援装置。
前記判別器出力部は、前記学習済判別器に学習させた前記端末装置に応じて前記複数の学習済判別器のそれぞれの重みを決定し、前記判別結果のうち同じ結果となった前記学習済判別器の前記重みを加算し、前記加算した重みが最も大きい判別結果を前記入力画像の正解データとする請求項1〜4のいずれか1項記載の学習支援装置。
前記判別器出力部は、前記各端末装置で前記学習済判別器に学習させた正解データの数に応じて前記各端末装置で学習させた前記学習済判別器のそれぞれの重みを決定して、前記判別結果が同じ結果となった前記学習済判別器の前記重みを加算し、前記加算した重みが最も大きい判別結果を前記入力画像の正解データとする請求項5記載の学習支援装置。
前記判別器出力部は、前記学習済判別器のそれぞれに対して前記各学習済判別器に学習させた画像の症例種別ごとに重みを決定し、前記判別結果が同じ結果となった前記学習済判別器における前記入力画像の前記症例種別に対応する前記重みを加算し、前記加算した重みが最も大きい判別結果を前記入力画像の正解データとする請求項5記載の学習支援装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、医療分野において、学習させるデータは患者の医療データとなるため、秘匿性が非常に高く、学習データとして利用するためにはデータの取扱に注意を要する。また、画像データには正解データはつけられていない。あるいは、正解データがあったとしても元の画像データと関連付けされず管理されていることが多い。そのため、効率的に正解データが付加された学習データを集めることは難しくコストがかかる。
【0007】
そこで、本発明では、上述のような問題を解決するために、医療分野においてディープラーニングに必要な大量かつ多様な学習データの学習を可能にする学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の学習支援装置は、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力する判別器出力部を備え、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、判別器出力部によって、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す。
【0009】
本発明の学習支援装置の作動方法は、学習済判別器取得部と判別器出力部を備えた学習支援装置の作動方法であって、学習済判別器取得部が、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得し、判別器出力部が、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力し、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、判別器出力部によって、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す。
【0010】
本発明の学習支援プログラムは、コンピュータを、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得する学習済判別器取得部と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力する判別器出力部として機能させる学習支援プログラムであって、学習済判別器取得部によって、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、判別器出力部によって、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返させる。
【0011】
「学習済判別器を取得する」とは、学習済判別器を取得してもよいし、判別器のパラメーターを受取って、予め用意した判別器にパラメーターを設定することで学習済判別器を取得するものであってもよい。例えば、判別器が多層ニューラルネットワークである場合には、学習済みの多層ニューラルネットワークが組み込まれたプログラムを取得してもよいし、多層ニューラルネットワークのユニットの階層間における結合の重みをパラメーターとして取得して、予め用意された多層ニューラルネットワークにパラメーターを設定することで、学習済みの多層ニューラルネットワークを取得するようにしてもよい。
【0012】
また、判別器出力部が、さらに、新たな学習用判別器が学習に用いた画像とこの画像の正解データを学習した実運用判別器を出力する。
【0013】
「実運用判別器」は、入力された画像データの判別結果が取得可能な判別器であって、追加学習を行うことができない判別器であり、「学習用判別器」は、画像とその画像の正解データを用いて追加学習が可能な判別器である。また、出力される実運用判別器は、出力される学習用判別器が学習した画像とその画像の正解データと全て同じ画像とその画像の正解データを用いて学習が行われた判別器である。
【0014】
また、学習済判別器取得部が、複数の端末装置からネットワークを介して学習済判別器を取得し、判別器出力部が、新たな学習用判別器をネットワークを介して複数の端末装置に出力するようにしてもよい。
【0015】
また、判別器出力部は、複数の判別結果のうち同じ結果となった数が最も多い判別結果を入力画像の正解データとして決定してもよい。
【0016】
また、判別器出力部は、学習済判別器に学習させた端末装置に応じて複数の学習済判別器のそれぞれの重みを決定し、判別結果のうち同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
【0017】
また、判別器出力部は、各端末装置で学習済判別器に学習させた正解データの数に応じて各端末装置で学習させた学習済判別器のそれぞれの重みを決定して、判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
【0018】
また、判別器出力部は、学習済判別器のそれぞれに対して各学習済判別器に学習させた画像の症例種別ごとに重みを決定し、判別結果が同じ結果となった学習済判別器における入力画像の症例種別に対応する重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
【0019】
また、複数の学習済判別器に対して基準となる複数の画像からなる画像セットを用いて正解率を評価する評価部を有し、判別器出力部は、評価部によって得られた正解率に応じて複数の学習済判別器のそれぞれの重みを決定し、学習済判別器の判別結果が同じ結果となった学習済判別器のそれぞれの重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとしてもよい。
【0020】
本発明の学習支援システムは、学習支援装置と複数の端末装置とをネットワークを介して接続した学習支援システムであって、端末装置が、学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器をネットワークを介して出力する学習済判別器出力部を備え、学習支援装置が、複数の端末装置から複数の学習済判別器をネットワークを介して取得する学習済判別器取得部と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器をネットワークを介して複数の端末装置を出力する判別器出力部を備え、端末装置が、学習支援装置から出力された学習用判別器をネットワークを介して受信する判別器取得部を備える。
【0021】
また、学習支援システムにおいて、判別器取得部が、学習支援装置から出力された学習用判別器と同じ画像と画像の正解データを学習済みの実運用判別器をさらにネットワークを介して取得し、端末装置が、実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部をさらに備えてもよい。
【0022】
本発明の端末装置は、学習用判別器と、学習用判別器と同じ画像と画像の正解データを用いて学習させた学習済みの実運用判別器とを取得する判別器取得部と、実運用判別器を用いて判別対象の画像を判別した判別結果を取得する判別結果取得部と、 学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を出力する学習済判別器出力部を備える。
【0023】
また、端末装置において、判別器取得部が、学習支援装置からネットワークを介して学習用判別器と実運用判別器とを取得し、学習済判別器出力部が、ネットワークを介して学習済み判別器を送出力するようにしてもよい。
【0024】
本発明の他の学習支援装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、複数の端末装置のそれぞれに設けられた学習用判別器に画像と画像の正解データを用いて学習させた複数の学習済判別器を取得する取得処理と、複数の学習済判別器に対して同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて学習用判別器を再度学習させた新たな学習用判別器を出力する出力処理を実行し、複数の端末装置のそれぞれに設けられた判別器出力部から出力された学習用判別器に画像と画像の正解データを用いて学習させた学習済判別器を取得し、学習済判別器取得部で取得した複数の学習済判別器に対して入力画像と異なる新たな同一の入力画像を判別させた判別結果に基づいて新たな入力画像の正解データを決定して、新たな入力画像と決定した正解データを用いて判別器出力部で出力した学習用判別器を再度学習させた新たな学習用判別器を出力する処理を繰り返す。
【発明の効果】
【0025】
本発明によれば、複数の端末装置のそれぞれに設けられた学習用判別器に画像正解データを用いて学習させた複数の学習済判別器を学習支援装置で取得して、同一の入力画像を判別させた複数の判別結果を取得し、複数の判別結果に基づいて入力画像の正解データを決定し、入力画像と決定した正解データを用いて判別器を学習させるようにしたので、正解データがつけられていない画像から学習用のデータを自動的に生成して、大量の画像を用いてディープラーニングを行うことが可能になり、判別性能を向上させることが可能になる。
【発明を実施するための形態】
【0027】
図1に、本発明の第1の実施の形態における学習支援システム1の概略構成を示す。学習支援システム1は、複数の医療機関A,B・・・Xに設置される複数の端末装置10とクラウド側に置かれる学習支援装置20がネットワーク30で接続されて構成される。
【0028】
学習支援装置20は、CPU(Central Processing Unit)、メモリ、ストレージ、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、さらに、サーバの機能を有した高性能なコンピュータである。また、必要に応じてGUP(Graphics Processing Unit)を設けるようにしてもよい。あるいは、1つまたは複数のコンピュータを用いて提供される仮想化された仮想サーバであってもよい。本発明の学習支援プログラムがサーバにインストールされ、コンピュータのCPUによってプログラムの命令が実行されることにより学習支援装置として機能する。
【0029】
端末装置10は、各医療機関A,B・・・Xに設けられた画像処理用のコンピュータであり、CPU、メモリ、ストレージ、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置としてディスプレイを有している。また、必要に応じてGUPを設けるようにしてもよい。
【0030】
ネットワーク30は、公衆回線網または専用回線網を介して複数の医療機関A,B・・・Xに置かれた端末装置10と学習支援装置20を広域的に結ぶワイドエリアネットワーク (広域通信網 WAN:Wide Area Network) である。
【0031】
また、端末装置10は、
図2に示すように、ローカルエリアネットワーク(LAN:Local Area Network)51を介して、各医療機関A,B・・・Xのそれぞれの医療情報システム50に接続されている。医療情報システム50は、モダリティ(撮影装置)52、画像データベース53、読影医用ワークステーション54を備え、ネットワーク51を介して互いに画像データの送受信が行われるように構成される。なお、ネットワーク51は、画像データを高速転送が可能なように光ファイバーなどの通信ケーブルを用いるのが望ましい。
【0032】
モダリティ52には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にDICOM規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、CT装置(Computed Tomography:コンピュータ断層撮影装置)、MRI装置(magnetic resonance imaging:磁気共鳴画像撮影装置)、PET装置(Positron Emission Tomography:陽電子放射断層撮影装置)、超音波装置、または、平面X線検出器(FPD:flat panel detector)を用いたCR装置(Computed Radiography:コンピュータX線撮影装置)などが挙げられる。
【0033】
画像データベース53は、汎用のコンピュータにデータベース管理システム(Data Base Management System:DBMS)の機能を提供するソフトウェアプログラムが組み込まれ、大容量ストレージを備えている。このストレージは、大容量のハードディスク装置であってもよいし、ネットワーク51に接続されているNAS(Network Attached Storage)やSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、モダリティ52で撮影された画像データは、DICOM規格に準拠した格納フォーマットおよび通信規格に従って、ネットワーク51を介して画像データベース53に送信されて格納される。
【0034】
読影医用ワークステーション54は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータである。この読影医用ワークステーション54では、画像データベース53から受信した画像データの表示を行い、画像中の病変らしき部分の自動検出等をおこなう。
【0035】
本実施の形態では、学習支援装置20から、各端末装置10に実運用判別器として機能する判別器が組み込まれた画像処理プログラムが提供され、画像処理プログラムとは別に学習用として機能する判別器が組み込まれた学習用プログラムが提供される場合について説明する。各端末装置10に配信された画像処理プログラムおよび学習用プログラムは、端末装置10にインストールされることにより、実運用判別器が組み込まれた画像処理装置および学習用判別器として機能する。
【0036】
また、実運用判別器および学習用判別器は、複数種類の臓器領域および/または病変領域のいずれであるかを判別できるようにディープラーニングがなされた多層ニューラルネットワークである場合について説明する。多層ニューラルネットワークでは、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して、各層において各種カーネルを用いて演算処理を行い、これにより得られる特徴量のデータを取得し、特徴量のデータに対して次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力された画像データを複数の種類の領域のいずれであるかを判別することができる。
【0037】
図3は多層ニューラルネットワークの一例を示す図である。
図3に示すように多層ニューラルネットワーク40は、入力層41および出力層42を含む複数の階層からなる。
図3では、出力層42の手前の階層には参照番号43を付与している。
【0038】
多層ニューラルネットワーク40は、入力層41に画像データを入力して、領域の判別結果を出力させる。学習を行う際には、出力された判別結果を正解データと比較し、正解か不正解かに応じて、出力側(出力層42)から入力側(入力層41)に向かって、多層ニューラルネットワーク40の各層に含まれるユニット(
図3に丸印で示す)の各階層間における結合の重みを修正する。そして、結合の重みの修正を、多数の正解データ付の画像データを用いて、予め定められた回数、または出力される判別結果の正解率が100%、または予め定められたしきい値以上になるまで繰り返し行い、学習を終了する。
【0039】
図4は、端末装置10と学習支援装置20の概略構成を示すブロック図である。
図4を用いて、端末装置10と学習支援装置20の機能について詳細に説明する。まず、端末装置10について説明する。
【0040】
端末装置10は、判別器取得部12と、判別結果取得部13と、学習部14と、学習済判別器出力部15と備える。
【0041】
判別器取得部12は、学習用判別器と実運用判別器とを取得する。例えば、画像処理プログラムと学習用プログラムとをネットワーク30を介して学習支援装置20から受信して、受信した画像処理プログラムがインストールされることによって、端末装置10で、実運用判別器が組み込まれた画像処理が実行可能な状態になり、判別結果取得部13として機能する。同様に、学習用プログラムがインストールされることによって、学習用判別器が実行可能な状態となり、学習部14として機能する。なお、学習用判別器は、学習支援装置20から受信した実運用判別器と同じ画像正解データを学習済みの判別器である。実運用判別器が組み込まれた画像処理を単に実運用判別器として以下説明する。なお、画像正解データは、画像データとその正解データの組み合わせをいう。画像正解データの詳細は後述する。
【0042】
判別結果取得部13は、実運用判別器に判別対象の画像データを入力して、判別結果を取得する。実運用判別器は、学習支援装置20において判別性能が保障された判別器であり、各医療機関A,B・・・Xでは、診断対象の画像データに対しては、実運用判別器を用いて判別が行われる。また、判別結果取得部13は、読影医用ワークステーション54からネットワーク51を介して端末装置10に送られてきた診断対象の画像データの判別を行ない、判別結果を端末装置10から読影医用ワークステーション54に送信するようにしてもよい。
【0043】
学習部14は、画像データとその正解データを用いて学習用判別器に学習させる。正解データは、画像データの臓器または異常陰影など領域を示すマスク画像と、そのマスク画像の領域が何であるか(例えば、肝臓、腎臓または肺野などの臓器の領域であるか、あるいは、肝臓がん、腎臓がんまたは肺結節などの異常陰影の領域であるかなど)を表す情報を合わせて有している。
【0044】
正解データは、各医療機関A,B・・・Xの読影医などが画像データを観察して作成してもよい。例えば、画像データベース53から画像データを取り出して、判別結果取得部13で画像データを実運用判別器に入力して判別結果を取得し、判別結果に対して読影医などユーザが正解もしくは不正解であるという判定を行ない、正解の場合は、判別結果を正解データとして、入力した画像データと正解データを一緒に画像正解データとして画像データベース53に記憶する。不正解の場合は、ユーザが正解データのマスク画像を生成し、その正解データを画像データに付与して画像正解データとして画像データベース53に格納する。
【0045】
そこで、学習部14は、画像データベース53に記憶されている多数の画像正解データを用いて、学習用判別器の多層ニューラルネットワーク40に学習させる。まず、多層ニューラルネットワーク40に画像正解データの画像データを入力して、判別結果を出力させる。次に、出力された判別結果を正解データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク40の各層に含まれるユニットの各階層間における結合の重みを修正する。結合の重みの修正を、多数の正解データを用いて、予め定められた回数、または出力される判別結果の正解率が100%になるまで繰り返し行い、学習を終了する。
【0046】
学習済判別器出力部15は、学習部14で学習が終了した学習用判別器を学習済判別器として出力する。具体的には、学習済判別器を構成するニューラルネットワークを構成するユニットの階層間における結合の重み(以下、パラメーターという)をネットワーク30を介して定期的に学習支援装置20に送信する。
【0047】
次に、学習支援装置20について説明する。
図4に示すように、学習支援装置20は、学習済判別器取得部22、判別器記憶部23、正解データ取得部24、正解データ記憶部25、学習部26、および判別器出力部27を備える。
【0048】
学習済判別器取得部22は、ネットワーク30を介して複数の端末装置10から送信された学習済判別器を構成する多層ニューラルネットワーク40のパラメーターを受信する。受信したパラメーターは判別器記憶部23に一旦記憶する。学習支援装置20には多層ニューラルネットワーク40が予め設けられており、各端末装置10から受信したパラメーターを、学習支援装置20に設けられている多層ニューラルネットワーク40のユニットの各階層間の結合の重みとして設定する。この重みに各端末装置から受取ったパラメーターを設定しなおすことにより、各端末装置10と同じ学習済判別器を取得することができる。
【0049】
正解データ取得部24は、各端末装置10から集められた学習済判別器のそれぞれに対して同一の入力画像データを判別させて複数の判別結果を取得し、複数の判別結果の中から入力画像データの正解データを決定する。
【0050】
多くの画像データは正解データがつけられていないでデータベースに保管されていることが多い。これらの画像データに対して正解データを付けるために、例えば、画像データを判別器に入力して判別結果を取得し、判別結果に対して読影医などユーザが正解もしくは不正解であるという判定を行なって、正解である場合には判別結果を正解データと入力画像データと対応付けて画像正解データとして登録する。不正解の場合には、ユーザが正解データのマスク画像を生成して入力画像データと対応付けて画像正解データとして登録する。このように正解データを作成する作業は労力を要し、手動で正解データを多数生成するのは難しい。
【0051】
そこで、正解データ取得部24は、各端末装置10から集められた学習済判別器に対して同じ入力画像データを入力して得られた判別結果から、同じ結果となった数が最も多い判別結果を入力画像データの正解データとして決定する。このように、各端末装置10から集められた学習済判別器を用いて得られた複数の判別結果の中から正解データを決定するようにすれば、正確な正解データを自動で生成することができるので、多数の正解データを容易に得ることが可能になる。得られた正解データは、入力画像データと対応づけて画像正解データとしてストレージ(正解データ記憶部25)に蓄積していく。
【0052】
学習部26には、多層ニューラルネットワーク40で構成されたディープラーニング用判別器が設けられ、このディープラーニング用判別器に正解データ記憶部25に蓄積されている画像正解データを順次入力して学習させる。
【0053】
判別器出力部27は、ある程度学習が進みディープラーニング用判別器の判別精度が向上した段階で、学習部26で学習させたディープラーニング用判別器を組み込んだ画像処理プログラム(実運用判別器)と学習用プログラム(学習用判別器)を生成して、ネットワーク30を介して各端末装置10に配信する。医療用目的のソフトウェアに対しては、医薬品医療機器等法(改正薬事法)の対象となるため、医薬品医療機器等法で定められる基準をクリアしていることが求められる。そこで、医薬品医療機器等法で定められる基準が評価できる複数の画像の組み合わせで構成された評価用の画像セットを用いて、配信する前にディープラーニング用判別器が評価基準を超えていることを確認した上で、配信するのが好ましい。
【0054】
学習部26は、判別器出力部27で画像処理プログラムと学習用プログラムを各端末装置10に配信した後も、そのまま引き続き正解データ記憶部25に蓄積されている画像正解データをディープラーニング用判別器に順次入力して学習させていく。つまり、判別器出力部27で出力した学習用判別器に追加学習させ、追加学習された学習用判別器を新たな学習用判別器として判別器出力部27で出力することになる。
【0055】
次に、本実施の形態のディープラーニングの処理の流れについて、
図5の遷移図と
図6のフローチャートを用いて説明する。
【0056】
最初に、学習支援装置20は、判別器出力部27で実運用判別器NNoと学習用判別器NNtを複数の端末装置10にネットワーク30を介して医療機関A・・・、医療機関Xに配信する(S1)。
【0057】
端末装置10は、判別器取得部12で、実運用判別器NNoと学習用判別器NNtを取得する(S2)。実運用判別器NNoは読影医の診断に用いられ、判別結果取得部13によって診断対象の画像データ(Input)を判別して判別結果(output)を得る(
図5参照)。さらに、医療機関Aでは、端末装置10の学習部14で画像データベース53に記憶されている画像正解データTを用いて、学習用判別器NNtに学習させて(S3)、学習済判別器NNt-Aを生成する(S4)。同様に、医療機関Xでは、端末装置10の学習部14で、画像正解データTを用いて学習用判別器NNtに学習させて、学習済判別器NNt-Xを生成する(S4)。
【0058】
定期的に、各端末装置10から、学習済判別器出力部15で学習済判別器を学習支援装置20に送信する(S5)。医療機関Aの端末装置10からは学習済判別器NNt-Aのパラメーターを学習支援装置20に送信し、医療機関Xの端末装置10からは学習済判別器NNt-Xのパラメーターを学習支援装置20に送信する(
図5の実践の矢印(1)を参照)。
【0059】
学習支援装置20は、学習済判別器取得部22は複数の端末装置10から受け取った学習済判別器のパラメーターを一旦判別器記憶部23に記憶する。このパラメーターを学習支援装置20に設けられた多層ニューラルネットワーク40に設定することで、各端末装置10で学習させた学習済判別器を取得する(S6)。
【0060】
正解データ取得部24で、入力画像データPを各端末装置10の学習済判別器に入力して判別結果を得る。
図5の例では、結果a、結果b、結果c・・結果gが得られ、最も多数となった結果bを入力画像データPの正解データに決定する(S7)。入力画像データPと正解データを対応付けてストレージ25に蓄積していく。
【0061】
学習部26は、入力画像データPと結果b(正解データ)を用いて、ディープラーニング用判別器NNlに学習させる(S8)。定期的に、ディープラーニング用判別器NNlを元にして新しいバージョンの実運用判別器NNoと学習用判別器NNtを生成する(S9)。判別器出力部27は、新たなバージョンの実運用判別器NNoと学習用判別器NNtを各端末装置10に配信する(S10、
図5の破線の矢印(2)を参照)。
【0062】
医療機関Aの端末装置10は、判別器取得部12で新しいバージョンの実運用判別器NNoと学習用判別器NNtを再度取得する(S2)。端末装置10の学習部14で画像データベース53に記憶されている画像正解データTを用いて、新しいバージョンの学習用判別器NNtに学習させて(S3)、再度、学習済判別器NNt-Aを生成する(S4)。
【0063】
医療機関Xの端末装置10においても、判別器取得部12で新しいバージョンの実運用判別器NNoと学習用判別器NNtを再度取得する(S2)。端末装置10の学習部14で画像データベース53に記憶されている画像正解データTを用いて、新しいバージョンの学習用判別器NNtに学習させて(S3)、学習済判別器NNt-Xを生成する(S4)。続いて、S5〜S10の処理を上述と同様に行う。
【0064】
以上のS2〜S10の処理を繰り返し、学習支援装置20で正解データを生成しながら判別器の性能を向上させた実運用判別器と学習用判別器を生成して、端末装置10に配信する。
【0065】
上述のように、各医療機関に置かれている端末装置10でその医療機関に保管されている画像データを用いて学習を行うことにより、各医療機関で判別性能を向上させた判別器を生成することが可能になる。この各医療機関で性能を高めた判別器を用いて、学習支援装置20で正解データを生成することで、正確な正解データを大量に生成することが可能になり、この正解データを用いてディープラーニングを行うことが可能になる。
【0066】
上述では、画像データに対する正解データのマスク画像は、画像上の領域が何であるかを表す情報を合わせて有している場合について説明したが、判別器が、(1)画像データの各画素位置がどの臓器か判定することで臓器領域とその臓器名を判定する、(2)画像データの画素単位に各画素の病変の種別を判定することで病変領域およびその病変種別を判定するように構成してもよい。あるいは、1つの画像に対する正解データを病名または画像診断名として、(3)画像データから病名が特定できるものであってもよい。
【0067】
次に、第2の実施の形態について説明する。本実施の形態は、正解データの決定方法が第1の実施の形態と異なる。学習支援システム1の概略構成は第1の実施の形態と同じであるので詳細な説明は省略する。
図7は、本実施の形態の端末装置10と学習支援装置20の概略構成を示すブロック図である。第1の実施の形態と同じ構成については、第1の実施の形態と同一符号を付して詳細な説明は省略し、相違する構成についてのみ説明する。
【0068】
図7に示すように、端末装置10は、判別器取得部12と、判別結果取得部13と、学習部14と、学習済判別器出力部15と備え、学習支援装置20は、学習済判別器取得部22、判別器記憶部23、正解データ取得部24a、正解データ記憶部25、学習部26、および判別器出力部27を備える。端末装置10の構成は第1の実施の形態と同じであるが、学習支援装置20の正解データ取得部24aが評価部28と評価画像記憶部29を備える点で異なる。
【0069】
第1の実施の形態のように、多数決で正解データを決定する場合、それぞれの端末装置10で十分学習がなされていればよいが、例えば、端末装置10で追加の学習がされていない判別器を学習済判別器として受け取った場合、または、追加学習の数が少ない学習済判別器を用いた場合には、同じ入力画像データPに対して判定結果は同一になる可能性が高く、このような学習が十分に行われていない判別器の判定結果が正解データとなる可能性が高い。
【0070】
そこで、学習支援装置20は、各端末装置10から集められた学習済判別器を予め評価する。学習支援装置20は、代表的な症例パターンを網羅し画像データに対して正解データもある複数の症例を評価用の画像セットSETとし、評価部28は画像セットSETを用いて、各端末装置10から送られてきた学習済判別器を評価し、その正解率の高さに応じて判別器の重みを決定する。また、医療用目的のソフトウェアに対しては、医薬品医療機器等法(改正薬事法)の対象となるため、医薬品医療機器等法で定められる基準をクリアしていることが求められる。そこで、医薬品医療機器等法で定められる基準が評価できる複数の画像の組み合わせで構成された評価用の画像セットSETを予めストレージ(評価画像記憶部29)に記憶しておくのが好ましい。ただし、この評価用の画像セットSETは、ディープラーニングに用いるためには十分な数ではない。
【0071】
この評価用の画像セットの正解率に応じて、端末装置10から集められた学習済判別器のそれぞれに対して重みを決定し、判別結果のうち同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとする。
【0072】
ディープラーニングの処理の流れは第1の実施の形態と同じであるので省略する。
【0073】
次に、第3の実施の形態について説明する。本実施の形態は、正解データの決定方法が第1および第2の実施の形態と異なる。学習支援システム1の概略構成は第1の実施の形態と同じであるので詳細な説明は省略する。
図8は、本実施の形態の端末装置10と学習支援装置20の概略構成を示すブロック図である。第1の実施の形態と同じ構成については、第1の実施の形態と同一符号を付して詳細な説明は省略し、相違する構成についてのみ説明する。
【0074】
図8に示すように、端末装置10は、判別器取得部12、判別結果取得部13、学習部14、および学習済判別器出力部15aと備え、学習支援装置20は、学習済判別器取得部22a、判別器記憶部23、正解データ取得部24b、正解データ記憶部25、学習部26、および判別器出力部27を備える。端末装置10の学習済判別器出力部15aと学習支援装置20の学習済判別器取得部22aと正解データ取得部24bが第1の実施の形態と異なる。
【0075】
第2の実施の形態のように、学習済判別器の性能を評価しても、学習支援装置20の評価用症例数や症例の網羅性に問題がある場合には、評価用の画像セットを用いた評価結果が不十分な場合もある。しかし、学習済判別がある程度の数の画像正解データを学習している場合には、それなりに性能は向上していると推定できる。
【0076】
そこで、端末装置10の学習済判別器出力部15aは学習済判別器のパラメーターを送信する際に、学習済判別器に学習させた画像正解データの数を学習支援装置20に送信する。
【0077】
学習支援装置20の学習済判別器取得部22aは、パラメーターを受信する際に、一緒に各端末装置10で学習済判別器に学習させた画像正解データの数を受信する。正解データ取得部24b、各端末装置10の学習済判別器で学習させた画像正解データの数が多くなるほど、重みが大きくなるように重みを決定する。判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとする。
【0078】
ディープラーニングの処理の流れは第1の実施の形態と同じであるので省略する。
【0079】
次に、第4の実施の形態について説明する。本実施の形態は、正解データの決定方法が第1、第2および第3の実施の形態と異なる。学習支援システム1の概略構成は第1の実施の形態と同じであるので詳細な説明は省略する。
図9は、本実施の形態の端末装置10と学習支援装置20の概略構成を示すブロック図である。第1の実施の形態と同じ構成については、第1の実施の形態と同一符号を付して詳細な説明は省略し、相違する構成についてのみ説明する。
【0080】
図9に示すように、端末装置10は、判別器取得部12と、判別結果取得部13と、学習部14と、学習済判別器出力部15bと備え、学習支援装置20は、学習済判別器取得部22b、判別器記憶部23、正解データ取得部24c、正解データ記憶部25、学習部26、および判別器出力部27を備える。端末装置10の学習済判別器出力部15bと学習支援装置20の学習済判別器取得部22bと正解データ取得部24cが第1の実施の形態と異なる。
【0081】
医療施設の特性、または地域性などにより、症例種別ごとの画像正解データの数に偏りがあり、学習させた全ての数は多くても、ある種の疾患では画像正解データの数が少なく、その疾患では性能が向上していない可能性がある。そこで、各医療施設の学習済判別器に学習させた画像正解データの数を症例種別ごとに、各端末装置10から受信する。
【0082】
そこで、端末装置10の学習済判別器出力部15bは学習済判別器のパラメーターを送信する際に、学習済判別器に学習させた症例種別ごとの画像正解データの数を学習支援装置20に送信する。具体的には、端末装置10の学習部14で学習させた画像正解データがどの症例に関するかを、例えば、画像正解データの画像に付されているDICOMタグに基づいて判定し、症例種別ごとに学習した画像正解データの数を数えておく。症例種別は、病名(画像検査の場合は画像診断名でもよい)、または、病名種別で分類する。また、複数の臓器をまとめて一つの判別器で処理する場合は臓器名を用いてもよい。
【0083】
学習支援装置20の学習済判別器取得部22bは、パラメーターを受信する際に、一緒に各端末装置10で学習済判別器に学習させた症例種別ごとの画像正解データの数を受信する。
【0084】
正解データ取得部24cでは、学習済みの画像正解データの数が多いほど学習済判別器の性能が高いと推定される。これを反映するように、各端末装置10の学習済判別器に対して症例種別ごとに各施設に学習させた画像正解データの数を数えて、その数が多くなるほど重みが大きくなるように症例種別ごとの重みを各学習済判別器に対して決定する。さらに、入力画像の症例種別に対応して、判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとする。
【0085】
ディープラーニングの処理の流れは第1の実施の形態と同じであるので省略する。
【0086】
本実施の形態の方式であれば、各医療施設の画像正解データの数や得意な症例種別などを考慮して学習済判別器を評価することが可能になる。
【0087】
また、第2の実施の形態の評価用の画像セットを、疾患種別ごとに判別器を評価することが可能な評価用の画像セットにして、疾患種別ごとの正解率に応じて各端末装置の学習済判別器の重みを決定するようにしてもよい。入力画像の症例種別に応じて、判別結果が同じ結果となった学習済判別器の重みを加算し、加算した重みが最も大きい判別結果を入力画像の正解データとするようにしてもよい。
【0088】
また、第4の実施の形態では、重みを自動決定する場合について説明したが、施設の重要性や、施設ごとの得意疾患などを考慮して、手作業で重みを決定して、予め学習支援装置20内に記憶しておくようにしてもよい。
【0089】
上述では、学習支援装置20と端末装置10がネットワークで接続されている形態について説明したが、ネットワークを介すことなく実運用判別器として機能する判別器が組み込まれた画像処理プログラムと、学習用判別器として機能する判別器が組み込まれた学習用プログラムをDVD−ROMなどの記録媒体に記憶して、各医療機関に渡すようにしてもよい。
【0090】
この形態では、端末装置10の判別器取得部12は、DVD−ROMから画像処理プログラムと学習用プログラムを端末装置10に読み込んでインストールし、学習用判別器の学習に用いられた画像正解データの識別情報IDも記録媒体から読み込む。また、端末装置10の学習済判別器出力部15は、DVD−ROMに学習済判別器のパラメーターを記録して、郵送等によって学習支援装置20のオペレータに渡される。
【0091】
また、学習支援装置20の学習済判別器取得部22は、DVD−ROMに記録された学習済判別器のパラメーターを読み込む。さらに、学習支援装置20の判別器出力部27は、画像処理プログラムおよび学習用プログラムをDVD−ROMに記録して、郵送等によって端末装置10のオペレータに渡される。
【0092】
以上、詳細に説明したように、本願発明では、各医療機関に保管されている医用画像を用いて性能を向上させた判別器を用いて、自動的に画像の正確な正解データを生成することで、大量の医用画像をディープラーニングに用いることが可能になる。
【0093】
上述では、学習支援装置および端末装置が汎用コンピュータ上で機能する場合について説明したが、一部の機能を実行するためのプログラムを永久的に記憶するASIC(Application Specific Integrated Circuit :特定用途向け集積回路)やFPGA(field programmable gate arrays)などの専用回路を設けるようにしてもよい。あるいは、専用回路に記憶されたプログラム命令と、専用回路のプログラムを利用するようにプログラムされた汎用のCPUによって実行されるプログラム命令と組み合わせるようにしてもよい。以上のように、コンピュータのハードウェア構成をどのように組み合わせてプログラム命令を実行してもよい。