特許 7391113 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-24

(45)【発行日】2023-12-04

(54)【発明の名称】学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231127BHJP

   A61B 1/00 20060101ALI20231127BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/00 513

【請求項の数】 10

(21)【出願番号】P 2021572140

(86)(22)【出願日】2020-01-20

(86)【国際出願番号】 JP2020001783

(87)【国際公開番号】W WO2021149120

(87)【国際公開日】2021-07-29

【審査請求日】2022-07-14

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】坂元 静児

(72)【発明者】

【氏名】窪田 明広

(72)【発明者】

【氏名】神田 大和

【審査官】永田 浩司

(56)【参考文献】

【文献】国際公開第２０１９／２３５１９５（ＷＯ，Ａ１）

【文献】特開２０１３－１８８３６４（ＪＰ，Ａ）

【文献】特開２０１０－１７２６７３（ＪＰ，Ａ）

【文献】特開２００６－１４１６８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００

(57)【特許請求の範囲】

【請求項1】

第１の医療画像を取得する第１画像取得部と、
前記第１の医療画像とは観察モードが異なり、前記第１の医療画像と略同一の箇所を撮影して得られた第２の医療画像を取得する第２画像取得部と、
前記第１の医療画像と前記第２の医療画像の位置合わせを行う位置合わせ部と、
前記位置合わせが行われた前記第２の医療画像内の病変部についての病変領域情報を作成する病変領域情報作成部と、
前記位置合わせされた前記第２の医療画像内の前記病変領域情報を前記第１の医療画像に関連付けた教師データを作成するデータ作成部と、を有し、
前記第１の医療画像、および、前記教師データで構成された学習データセットを作成する、学習用医療画像データ作成装置。

【請求項2】

前記第１の医療画像と前記第２の医療画像は、それぞれ動画から選択された静止画である、請求項１に記載の学習用医療画像データ作成装置。

【請求項3】

前記第１の医療画像は、第１の観察モードで撮影された画像であり、前記第２の医療画像は、前記第１の観察モードとは異なる第２の観察モードで撮影された画像である、請求項１に記載の学習用医療画像データ作成装置。

【請求項4】

前記第１の観察モードは、白色光観察モードであり、
前記第２の観察モードは、狭帯域光観察モードである、請求項３に記載の学習用医療画像データ作成装置。

【請求項5】

前記位置合わせ部は、前記第１の医療画像の視線方向と前記第２の医療画像の視線方向のなす角度を検出し、前記角度に基づき前記位置合わせを行う、請求項１に記載の学習用医療画像データ作成装置。

【請求項6】

第１の医療画像を取得し、
前記第１の医療画像とは観察モードが異なり、前記第１の医療画像と略同一の箇所を撮影して得られた第２の医療画像を取得し、
前記第１の医療画像と前記第２の医療画像の位置合わせを行い、
前記位置合わせが行われた前記第２の医療画像内の病変部についての病変領域情報を作成し、
前記前記位置合わせされた前記第２の医療画像内の前記病変領域情報を前記第1の医療画像に関連付けた教師データを作成し、
前記第１の医療画像、および、前記教師データで構成された学習データセットを作成する、学習用医療画像データ作成方法。

【請求項7】

コンピュータに、
第１の医療画像を取得し、
前記第１の医療画像とは観察モードが異なり、前記第１の医療画像と略同一の箇所を撮影して得られた第２の医療画像を取得し、
前記第１の医療画像と前記第２の医療画像の位置合わせを行い、
前記位置合わせが行われた前記第２の医療画像内の病変部についての病変領域情報を作成し、
前記前記位置合わせされた前記第２の医療画像内の前記病変領域情報を前記第1の医療画像に関連付けた教師データを作成し、
前記第１の医療画像、および、前記教師データで構成された学習データセットを作成する、処理を実行させるプログラム。

【請求項8】

前記病変領域情報作成部は、前記位置合わせが行われた前記第２の医療画像内の病変部の領域の境界をなぞるようにして前記病変領域情報を作成することを特徴とする請求項１に記載の学習用医療画像データ作成装置。

【請求項9】

前記病変領域情報は、前記位置合わせが行われた前記第２の医療画像内の病変部の領域の境界をなぞるようにして作成されることを特徴とする請求項６に記載の学習用医療画像データ作成方法。

【請求項10】

前記病変領域情報は、前記位置合わせが行われた前記第２の医療画像内の病変部の領域の境界をなぞるようにして作成されることを特徴とする請求項７に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習用の医療画像データを作成する学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラムに関する。

【背景技術】

【0002】

近年、医用画像に対して病変部の候補位置を示し、鑑別情報を表示するコンピュータ診断支援装置（ＣＡＤ：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）が開発されている。例えば、日本国特開２００５－１８５５６０号公報には、医用画像を教師データとして装置に学習させて、病変部を検出あるいは鑑別する医用画像処理システムが提案されている。日本国特開２００５－１８５５６０号公報には、教師データを更新可能にしてＣＡＤの専門性を高くする医用画像処理システムが開示されている。

【0003】

しかし、教師データを作成するとき、症例によっては病変部が認識し難い場合がある。その症例分野のエキスパートの医者であれば、病変部を認識できるが、その症例分野のエキスパートでない医者には、病変部の有無及びその病変領域を判別できない場合がある。例えば、白色光を用いた通常観察の内視鏡画像では、その症例分野のエキスパートでない医者には、症例によっては病変部が認識し難い場合がある。

【0004】

従って、そのような病変部の有無及びその病変領域の判別が難しい医用画像を教師データにする場合、エキスパートが医用画像を実際に観て、病変部の病変領域の指定をする作業をしなければならない。そのため、病変部の画像データを医用画像処理システムに与えて学習させるための教師データの作成に膨大な時間が掛ってしまうという問題がある。

【0005】

よって、本発明は、教師データを簡単に作成することができる学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラムを提供することを目的とする。

【発明の開示】

【課題を解決するための手段】

【0006】

本発明の一態様の学習用医療画像データ作成装置は、第１の医療画像を取得する第１画像取得部と、前記第１の医療画像とは観察モードが異なり、前記第１の医療画像と略同一の箇所を撮影して得られた第２の医療画像を取得する第２画像取得部と、前記第１の医療画像と前記第２の医療画像の位置合わせを行う位置合わせ部と、前記位置合わせが行われた前記第２の医療画像内の病変部についての病変領域情報を作成する病変領域情報作成部と、前記位置合わせされた前記第２の医療画像内の前記病変領域情報を前記第１の医療画像に関連付けた教師データを作成するデータ作成部と、を有し、前記第１の医療画像、および、前記教師データで構成された学習データセットを作成する。

【0007】

本発明の一態様の学習用医療画像データ作成方法は、第１の医療画像を取得し、前記第１の医療画像とは観察モードが異なり、前記第１の医療画像と略同一の箇所を撮影して得られた第２の医療画像を取得し、前記第１の医療画像と前記第２の医療画像の位置合わせを行い、前記位置合わせが行われた前記第２の医療画像内の病変部についての病変領域情報を作成し、前記前記位置合わせされた前記第２の医療画像内の前記病変領域情報を前記第1の医療画像に関連付けた教師データを作成し、前記第１の医療画像、および、前記教師データで構成された学習データセットを作成する。

【0008】

本発明の一態様のプログラムは、コンピュータに、第１の医療画像を取得し、前記第１の医療画像とは観察モードが異なり、前記第１の医療画像と略同一の箇所を撮影して得られた第２の医療画像を取得し、前記第１の医療画像と前記第２の医療画像の位置合わせを行い、前記位置合わせが行われた前記第２の医療画像内の病変部についての病変領域情報を作成し、前記前記位置合わせされた前記第２の医療画像内の前記病変領域情報を前記第1の医療画像に関連付けた教師データを作成し、前記第１の医療画像、および、前記教師データで構成された学習データセットを作成する。

【図面の簡単な説明】

【0009】

【図1】本実施形態に関わる医用システムの構成図である。

【図2】本実施形態に関わるサーバの構成を示すブロック図である。

【図3】本実施形態に関わる画像データの処理の流れの例を示すフローチャートである。

【図4】本実施形態に関わる、教師用データの作成プロセスを説明するための図である。

【図5】本実施形態に関わる教師データテーブルの構成を示す図である。

【発明を実施するための最良の形態】

【0010】

以下、図面を用いて実施形態を説明する。
（システム構成）
図１は、本実施形態に関わる医用システムの構成図である。医用システム１は、内視鏡システムであり、内視鏡装置２と、コンピュータ診断支援装置（以下、ＣＡＤ装置という）３を含む。内視鏡装置２は、挿入部４ａを有する内視鏡４と、内視鏡４から延出するユニバーサルケーブル５が接続されたビデオプロセッサ６と、ビデオプロセッサ６と接続された表示装置７を有する。内視鏡装置２は、信号線８によりＣＡＤ装置３と接続されている。

【0011】

医者が挿入部４ａを被検体内に挿入すると、挿入部４ａの先端部の観察窓を通して得られた被検体内の部位の画像は、内視鏡画像として表示装置７に表示される。医者は、表示装置７に表示ざれる内視鏡画像を見て、病変部の発見及び鑑別を行う。なお、挿入部４ａの先端からは検査部位を照明する照明光が、ビデオプロセッサ６内に設けられた光源装置６ｄからの光を挿入部４ａ内に挿通されたライトガイドを通して挿入部４ａの先端部の照明窓から出射される。

【0012】

ビデオプロセッサ６は、制御部６ａ、記憶装置６ｂ、操作パネル６ｃ及び光源装置６ｄを有する。医者などは、操作パネル６ｃを操作して、内視鏡装置２に対する各種指示を与えることができる。内視鏡装置２は、第１の観察モードと、第１の観察モードとは異なる第２の観察モードを有している。内視鏡装置２は、観察モードとして、所謂通常光観察モードである白色光観察モードと、所謂特殊光観察モードである狭帯域光観察モードの２つの観察モードを有する。観察モードの切り替えは、医者などが操作パネル６ｃを操作することによって行うことができる。よって、医者は、２つの観察モードのうち所望の１つの観察モードを選択して被検体内を観察することができる。なお、医者は、観察中に、観察モードを切り換えることもできる。

【0013】

光源装置６ｄは、観察モードが白色光観察モードであるとき、白色光を出射し、観察モードが狭帯域光観察モードであるとき、所定の狭帯域光を出射する。白色光は、ＲＧＢの波長を含む広帯域光である。狭帯域光は、例えば中心波長が４１５ｎｍと５４０ｎｍの２つの狭帯域光である。

【0014】

観察部位からの反射光は、図示しない撮像素子により光電変換されて内視鏡画像が生成される。生成された内視鏡画像は、表示装置７に表示されると共に、医者が内視鏡４の操作部４ｂに設けられたレリーズスイッチ４ｃを押下することにより、静止画又は動画で記憶装置６ｂに記憶させることができる。よって、各観察モードで得られた静止画及び動画の内視鏡画像の画像データは、記憶装置６ｂに記録される。

【0015】

制御部６ａは、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭを含む。記憶装置６ｂは、ハードディスク装置などの書き換え可能な大容量の不揮発性メモリである。制御部６ａは、ＲＯＭ及び記憶装置６ｂに記憶されている各種機能のためのソフトウエアプログラムを読み出してＲＡＭに展開して実行することにより、内視鏡装置２の各種機能を実現する。

【0016】

内視鏡装置２とＣＡＤ装置３は、信号線８により通信可能となっている。ＣＡＤ装置３には、内視鏡装置２からの内視鏡画像の画像データがリアルタイムで入力される。ＣＡＤ装置３は、入力された内視鏡画像の画像データ中の病変部を検出し、その検出結果情報を内視鏡装置２へ出力する。内視鏡装置２は、検出結果情報を内視鏡画像と共に表示装置７に表示する。

【0017】

ＣＡＤ装置３は、病変部検出プログラムＬＤＰを有している。ここでは、病変部検出プログラムＬＤＰの病変部検出アルゴリズムは、病変部を含む画像データを教師データとして機械学習して得られたモデルを利用している。よって、ＣＡＤ装置３は、その病変部検出プログラムＬＤＰを用いて、内視鏡装置２から受信した内視鏡画像中の病変部の検出をリアルタイムで行う。ＣＡＤ装置３は、内視鏡画像中に病変部を発見すると、発見した病変部の領域情報を抽出して、病変部の検出メッセージなどを内視鏡装置２へ送信する。内視鏡装置２の表示装置７には、ＣＡＤ装置３からの検出メッセージが表示される。その結果、医者は、表示装置７に表示される内視鏡画像を見ながら、ＣＡＤ装置３からの病変部検出結果を認識することができる。

【0018】

内視鏡装置２は、サーバ１１とネットワーク１２により接続されている。ネットワーク１２は、インターネットでもよいし、ＬＡＮでもよい。サーバ１１は、プロセッサ１３と記憶装置１４を有している。サーバ１１は、後述するように、内視鏡装置２において得られた内視鏡画像の画像データから、教師データを作成する教師データ作成プログラムＴＤＣを有している。

【0019】

図２は、サーバ１１の構成を示すブロック図である。サーバ１１は、プロセッサ１３と、記憶装置１４と、通信回路１５と、表示装置１６と、キーボードとマウスを含む入力装置１７を有している。プロセッサ１３、記憶装置１４、通信回路１５、表示装置１６及び入力装置１７は、バス１８を介して互いに接続されている。なお、表示装置１６と入力装置１７は、それぞれインターフェース（Ｉ／Ｆ）１６ａ、１７ａを介して、バス１８に接続されている。

【0020】

プロセッサ１３は、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭを含む。プロセッサ１３は、ＲＯＭ及び記憶装置１４に記憶されているプログラムを読み出して実行する。なお、プロセッサ１３の一部がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの半導体装置、電子回路などで構成されていてもよい。

【0021】

記憶装置１４は、各種プログラムを記憶するプログラム記憶領域１４ａ、第１画像Ｇ１を記憶する第１画像記憶領域１４ｂ、第２画像Ｇ２を記憶する第２画像記憶領域１４ｃ、及び教師データを記憶する教師データ記憶領域１４ｄを含む。第１画像Ｇ１は、内視鏡装置２において白色光観察モードで得られた白色光画像であり、第２画像Ｇ２は、内視鏡装置２において狭帯域光観察モードで得られた狭帯域光画像である。

【0022】

プログラム記憶領域１４ａは、教師データ作成プログラムＴＤＣと病変部検出アルゴリズム作成プログラムＬＤＣを含む。教師データ作成プログラムＴＤＣは、内視鏡装置２において得られた内視鏡画像を用いて、病変部検出アルゴリズムのための教師データを作成するソフトウエアプログラムである。教師データ作成プログラムＴＤＣの処理については、後述する。

【0023】

病変部検出アルゴリズム作成プログラムＬＤＣの病変部検出アルゴリズムは、教師データ作成プログラムＴＤＣにより作成された教師データを用いて学習されたアルゴリズムである。病変部検出アルゴリズム作成プログラムＬＤＣは、ＣＡＤ装置３に格納される病変部検出プログラムＬＤＰの検出アルゴリズムの部分のプログラムを生成する。

【0024】

なお、ここでは、教師データ作成プログラムＴＤＣは、サーバ１１において実行されるが、パーソナルコンピュータなどのコンピュータでもよい。
（教師データの作成処理）
教師データの作成処理について説明する。図３は、画像データの処理の流れの例を示すフローチャートである。図３は、教師データ作成プログラムＴＤＣの処理を示す。教師データ作成プログラムＴＤＣは、プロセッサ１３により記憶装置１４から読み出されて実行される。

【0025】

教師データの作成処理が行われる前に、内視鏡装置２において取得された各観察モードの内視鏡画像は、ネットワーク１２を介してサーバ１１に転送される。白色光観察モードで撮影されて取得された白色光画像は、第１画像Ｇ１として、第１画像記憶領域１４ｂに記憶される。狭帯域光観察モードで撮影されて取得された狭帯域光画像は、第２画像Ｇ２として、第２画像記憶領域１４ｃに記憶される。よって、内視鏡装置２において検査毎に取得された２つの観察モードの多くの内視鏡画像の画像データが、第１画像記憶領域１４ｂと第２画像記憶領域１４ｃに記憶され蓄積されている。

【0026】

なお、ここでは、第１画像Ｇ１と第２画像Ｇ２の画像データは、内視鏡装置２からサーバ１１にネットワーク１２を介して転送されているが、第１画像Ｇ１と第２画像Ｇ２の画像データを記憶装置６ｂからＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの記憶媒体に転送して記録し、その記憶媒体をサーバ１１に装着して第１画像Ｇ１と第２画像Ｇ２の画像データを第１画像記憶領域１４ｂと第２画像記憶領域１４ｃに記憶させるようにしてもよい。

【0027】

プロセッサ１３は、教師データ作成プログラムＴＤＣを実行して、第１画像と第２画像を用いて教師用データを作成する。まず、プロセッサ１３は、第１画像記憶領域１４ｂから第１画像Ｇ１を取得する（ステップ（以下、Ｓと略す）１）。第１画像Ｇ１の取得は、第１画像記憶領域１４ｂに記憶された複数の内視鏡画像の中から１枚を、教師用データを作成するデータ作成者に選択させることにより行われる。例えば、データ作成者は、第１画像記憶領域１４ｂに記憶された複数の白色光画像を表示装置１６に表示させて、表示された複数の白色光画像の中から１枚を入力装置１７により選択する。

【0028】

次に、プロセッサ１３は、第２画像記憶領域１４ｃから第２画像Ｇ２を取得する（Ｓ２）。第２画像Ｇ２の取得も、第２画像記憶領域１４ｃに記憶された複数の内視鏡画像の中から１枚を、教師用データを作成するデータ作成者に選択させることにより行われる。例えば、データ作成者は、第２画像記憶領域１４ｃに記憶された複数の狭帯域光画像を表示装置１６に表示させて、表示された複数の狭帯域光画像の中から１枚を選択する。

【0029】

従って、Ｓ１の処理は、第１の医療画像を取得する第１画像取得部を構成し、Ｓ２の処理は、第１の医療画像とは異なり、第１の医療画像と略同一の箇所を撮影して得られた第２の医療画像を取得する第２画像取得部を構成する。

【0030】

なお、第１画像記憶領域１４ｂに記憶された白色光画像が、動画であるときは、データ作成者は、再生中の動画を見ながら、一時停止して特定された１枚の静止画が、第１画像Ｇ１として選択されて取得される。同様に、第２画像記憶領域１４ｃに記憶された狭帯域光画像が、動画であるときは、データ作成者は、再生中の動画を見ながら、一時停止して特定された１枚の静止画が、第２画像Ｇ２として選択されて取得される。すなわち、第１の医療画像と第２の医療画像は、それぞれ動画から選択された静止画でもよい。

【0031】

プロセッサ１３は、取得された第２画像Ｇ２中の病変部の病変領域を抽出する（Ｓ３）。病変部の病変領域の抽出は、第２画像Ｇ２中の色調の差、所定の特徴量の有無、等々により抽出することができる。例えば、所定の色の輝度値が、所定の閾値以上の画素値のある領域が病変領域として抽出される。

【0032】

なお、ここでは、プロセッサ１３が病変領域を、画像処理により抽出しているが、データ作成者が表示装置１６に表示された第２画像Ｇ２上で、マウスなどの入力装置１７を用いて病変部の領域の境界をなぞるようにして病変領域を設定してもよい。

【0033】

プロセッサ１３は、第１画Ｇ１像と第２画像Ｇ２の位置合わせを行う（Ｓ４）。Ｓ３では、第１画像Ｇ１と第２画像Ｇ２のそれぞれにおける２以上の特徴点を抽出し、抽出された２以上の特徴点に基づいて、第１画像Ｇ１と第２画像Ｇ２のずれ量が検出され調整される。なお、第１画像Ｇ１中の血管パターンと第２画像Ｇ２中の血管パターンの位置などを比較して、第１画像Ｇ１と第２画像Ｇ２のずれ量を検出してもよい。Ｓ４の処理が、第１の医療画像と第２の医療画像の位置合わせを行う位置合わせ部を構成する。

【0034】

図４は、教師用データの作成プロセスを説明するための図である。Ｓ１，Ｓ２において、白色光画像である第１画像Ｇ１と狭帯域光画像である第２画像Ｇ２が、データ作成者によって選択される。第１画像Ｇ１は、白色光画像であり、病変部は視認し難く表示されている。一方、第２画像Ｇ２は、上述した２つの狭帯域光を用いた狭帯域光画像であり、病変領域ＬＲは、第２画像Ｇ２中に識別可能に表示されている。第１画像Ｇ１が取得されたときとは別のタイミングで、第２画像は取得されたため、第１画像Ｇ１と第２画像Ｇ２は、被検体内の略同一の箇所を撮影して得られた画像であっても視点位置等が異なっている。

【0035】

そこで、Ｓ４では、第１画像Ｇ１と第２画像Ｇ２のそれぞれにおける２以上の特徴点を検出して、２以上の特徴点の位置から、第１画像Ｇ１上に対する第２画像Ｇ２のずれ量が算出され、算出されたずれ量に基づいて第１画像Ｇ１と第２画像Ｇ２の位置合わせが行われる。図４では、二点鎖線で示す第２画像Ｇ２の中心位置は、ＸＹ方向において第１画像Ｇ１の中心位置に対してずれているだけでなく、第２画像Ｇ２は第１画像Ｇ１に対して視線方向周りに角度θだけ回転している。よって、Ｓ４では、第２画像Ｇ２の第１画像Ｇ１に対する、ＸＹ方向における位置ズレ量と、視線方向周りの回転角θが検出され、第１画像の被写体像と第２画像中の被写体像の位置合わせが行われる。

【0036】

なお、位置合わせには、被写体の大きさを調整するための第２画像Ｇ２のサイズの拡大又は縮小処理を含んでもよい。第１画像Ｇ１が取得されたときの挿入部４ａの先端から被写体までの距離が、第２画像Ｇ２が取得されたときの挿入部４ａの先端から被写体までの距離と異なる場合があるからである。

【0037】

さらになお、図４の例では、第２画像Ｇ２の第１画像Ｇ１に対する、ＸＹ方向における位置ズレ量と視線方向周りの回転角θが検出されているが、第１画像Ｇ１の視線方向と第２画像Ｇ２の視線方向の成す角度を検出して、その角度についても位置合わせを行うようにしてもよい。すなわち、第１画像Ｇ１の視線方向に直交する面と、第２画像Ｇ２の視線方向に直交する面とは平行でないとき、第２画像Ｇ２の視線方向に直交する面が第１画像Ｇ１の視線方向に直交する面と平行になるように、第２画像Ｇ２を変形するように補正してもよい。

【0038】

Ｓ４の後、プロセッサ１３は、マスク領域ＭＲの設定を行う（Ｓ５）。マスク領域ＭＲは、第１画像Ｇ１において病変領域ＬＲ以外の領域をマスクする領域である。よって、図４において、位置合わせがされた第２画像Ｇ２中の病変領域ＬＲの、第１画像Ｇ１における領域（二点鎖線で示す）以外の領域が、マスク画像ＭＧのマスク領域ＭＲ（斜線で示す領域）である。Ｓ５では、マスク領域ＭＲを規定するマスク画像ＭＧが生成される。

【0039】

なお、ここでは、マスク領域ＭＲが設定されているが、Ｓ５において、病変領域ＬＲの領域を示す病変領域情報を生成するようにしてもよい。具体的には、図４において第１画像Ｇ１中の二点鎖線で示す領域（すなわち病変領域ＬＲ）を指定する情報を、Ｓ５において生成するようにしてもよい。

【0040】

よって、Ｓ５の処理は、第２の医療画像（狭帯域光画像）内の病変部についての病変領域情報（マスク領域情報又は病変領域情報）を作成する病変領域情報作成部を構成する。Ｓ５では、第１の医療画像に対して位置合わせが行われた第２の医療画像内の病変部の病変領域から病変領域情報が作成される。

【0041】

Ｓ５の後、プロセッサ１３は、教師データを作成し、教師データ記憶領域１４ｄの教師データテーブルＴＢＬに記憶する（Ｓ６）ここで作成される教師データは、第１画像Ｇ１の画像データとマスク画像ＭＧのマスク領域情報ＭＲＩを含む。すなわち、教師データは、第１画像Ｇ１と病変領域情報とを関連付ける学習用医療画像データを構成する。

【0042】

図５は、教師データテーブルＴＢＬの構成を示す図である。教師データテーブルＴＢＬは、第１画像Ｇ１の画像データと、その第１画像Ｇ１における病変領域を示すマスク領域情報ＭＲＩとからなる組のデータを複数格納する。図５に示すように、例えば、第１画像データ「Ｇ１００００１」とマスク領域情報「ＭＲＩ００００１」が１つの組のデータを構成する。各組のデータが１つの教師データを構成する。よって、Ｓ６の処理が、第１の医療画像（白色光画像）と病変領域情報とを関連付ける学習用医療画像データを作成するデータ作成部を構成する。

【0043】

以上のＳ１からＳ６の処理が実行されることにより、１つの教師データが作成される。よって、データ作成者は、Ｓ１からＳ６の処理を繰り返すことにより、学習用医療画像データである教師データを簡単に多く作成することができる。

【0044】

作成された教師データは、病変部検出プログラムＬＤＰの病変部検出アルゴリズムの病変部検出モデルの学習用医療画像データとして用いられる。教師データが増えることより、機械学習により得られた病変部検出モデルは、更新され、病変部検出アルゴリズムの病変部検出精度の向上が期待される。更新された病変部検出モデルを利用した病変部検出プログラムＬＤＰは、サーバ１１からネットワーク１２を介して、点線で示すように、ＣＡＤ装置３に送信され、病変部検出アルゴリズムのソフトウエアプログラムは更新される。その結果、内視鏡装置２には、病変部検出精度の向上した検出結果情報が内視鏡画像と共に表示装置７に表示される。

【0045】

従って、上述した実施形態によれば、教師データを簡単に作成することができる学習用医療画像データ作成装置を提供することができる。

【0046】

なお、上述した実施形態では、第１画像Ｇ１と第２画像の位置合わせ処理（Ｓ４）が行われているが、観察モードの切り替えタイミングで得られた第１画像Ｇ１と第２画像Ｇ２の場合は、位置合わせ処理を行わなくてもよい。

【0047】

例えば、白色光観察モードで白色光画像が取得された直後に、操作パネル６ｃが操作されて観察モードが白色光観察モードから狭帯域光観察モードに切り替わり、その切り替わった直後に狭帯域光画像が取得される場合がある。このような場合は、内視鏡４の挿入部４ａの位置及び向きはほとんど変化していない場合がある。

【0048】

あるいは、観察モードが切り替えタイミングに応じて、切り替え直前の白色光画像（又は狭帯域光画像）と、切り替え直後の狭帯域光画像（又は白色光画像）とが、それぞれ第１画像Ｇ１と第２画像Ｇ２として自動的に取得されるようにしたときは、第１画像Ｇ１と第２画像Ｇ２が取得されたときの内視鏡４の挿入部４ａの位置及び向きはほとんど変化していない。

【0049】

よって、このようにして取得された第１画像Ｇ１と第２画像Ｇ２から教師データを作成する場合には、図３のＳ４の処理は省略することができる。

【0050】

さらになお、上述した実施形態では、内視鏡装置２は、白色光観察モードと狭帯域光観察モードの２つの観察モードを有し、第１画像が白色光画像で、第２画像は、中心波長が４１５ｎｍと５４０ｎｍの２つの狭帯域光の狭帯域光画像であるが、所望の病変を検出できるが波長であれば、第２画像は、中心波長が４１５ｎｍと５４０ｎｍ以外の波長帯域の狭帯域光画像でもよい。

【0051】

また、内視鏡装置２が、白色光観察モードと、狭帯域光観察モード以外の観察モードとを有し、第１画像が白色光画像で、第２画像は、蛍光観察画像でもよい。

【0052】

さらにまた、第１画像が白色光画像で、第２画像は、ヨードを含むルゴール溶液などにより観察部位を染色した染色画像、インジゴカルミンなどを観察部位に散布した着色画像でもよい。

【0053】

さらにまた、第１画像が白色光画像で、第２画像は、他のモダリティにより得られた画像（Ｘ線画像、超音波画像など）や、その後に鉗子により生検が行われた領域を含む画像などでもよい。

【0054】

上述した実施形態及び各変形例によれば、例えばエキスパートの医者以外には病変部の認識が難しい又はできないような症例についても、教師データを迅速に作成することができる。その結果、上述した実施形態及び各変形例の学習用医療画像データ作成装置は、病変部の見落とし率を低減した、確度の高い生検箇所の提示をすることができるＣＡＤ装置の迅速な提供に寄与する。

【0055】

なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の学習用医療画像データ作成装置を実現することができる。

【0056】

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】