特許 7309035 教師データ作成システム、教師データ作成方法及び教師データ作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-06

(45)【発行日】2023-07-14

(54)【発明の名称】教師データ作成システム、教師データ作成方法及び教師データ作成プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230707BHJP

【ＦＩ】

A61B1/045 614

【請求項の数】 19

(21)【出願番号】P 2022506986

(86)(22)【出願日】2020-03-09

(86)【国際出願番号】 JP2020009909

(87)【国際公開番号】W WO2021181439

(87)【国際公開日】2021-09-16

【審査請求日】2022-09-06

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】速水 健人

(72)【発明者】

【氏名】北村 誠

(72)【発明者】

【氏名】神田 大和

【審査官】亀澤 智博

(56)【参考文献】

【文献】特開２０１３－２５４２８６（ＪＰ，Ａ）

【文献】特開２０１９－０８７０１２（ＪＰ，Ａ）

【文献】国際公開第２０１８／１４２６６４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１０／０１６５０８８（ＵＳ，Ａ１）

【文献】特開２００９－２９７３６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０６Ｔ １／００ ， ７／００

Ｇ１６Ｈ ３０／００ －３０／４０

(57)【特許請求の範囲】

【請求項1】

複数の医療画像を取得する画像取得部と、
前記複数の医療画像に含まれる医療画像間で撮影対象の類似性に基づく対応付けを行い、対応付けできた医療画像同士で群を構成した対応付け画像群を作成する画像対応付け部と、
前記対応付け画像群に基づいて、代表教師情報の付与対象となる画像である付与対象画像を表示部に出力する画像出力部と、
前記付与対象画像の特定領域の輪郭を示す代表輪郭情報を前記代表教師情報として受け付ける入力受付部と、
前記付与対象画像に対して入力された前記代表教師情報に基づいて、前記対応付け画像群に含まれる医療画像に対して輪郭情報を教師情報として付与する教師情報付与部と、
を含むことを特徴とする教師データ作成システム。

【請求項2】

請求項１において、
前記画像出力部は、
前記対応付け画像群の中から選択される医療画像を、前記付与対象画像として前記表示部に出力することを特徴とする教師データ作成システム。

【請求項3】

請求項２において、
前記類似性に基づく前記対応付けにおいて各医療画像に対応づけられる医療画像の数を対応付け画像数としたとき、
前記画像出力部は、
前記対応付け画像数に基づいて選択される医療画像を、前記付与対象画像として前記表示部に出力することを特徴とする教師データ作成システム。

【請求項4】

請求項２において、
前記画像対応付け部は、
前記対応付けにおいて各医療画像に対応づけられる医療画像の数に基づいて、前記複数の医療画像の中から前記付与対象画像を選択し、前記複数の医療画像のうち前記付与対象画像に対応付けられた医療画像を前記対応付け画像群とすることを特徴とする教師データ作成システム。

【請求項5】

請求項１において、
前記画像対応付け部は、
前記複数の医療画像の各医療画像から、画像の特徴を示す特徴点を抽出し、前記複数の医療画像のうち共通の前記特徴点を持つ医療画像の前記対応付けを行うことで前記対応付け画像群を作成し、
前記教師情報付与部は、
前記共通の前記特徴点を利用して、前記対応付け画像群に含まれる医療画像に対して、特定領域の輪郭を示す輪郭情報を前記教師情報として付与することを特徴とする教師データ作成システム。

【請求項6】

請求項２において、
前記画像出力部は、
前記付与対象画像に幾何学変換を加えた後に前記表示部に出力する表示調整部を有することを特徴とする教師データ作成システム。

【請求項7】

請求項６において、
前記複数の医療画像から画像処理により特定領域の情報を検出する検出部を含み、
前記表示調整部は、
前記特定領域の情報に基づいて前記幾何学変換を行うことで前記特定領域の表示調整を行うことを特徴とする教師データ作成システム。

【請求項8】

請求項２において、
前記入力受付部は、入力調整部を有し、
前記入力調整部は、
前記付与対象画像から画像処理により特定領域の推定輪郭情報を検出し、前記推定輪郭情報が所定以上の確からしさを持っている場合に、前記代表輪郭情報を前記推定輪郭情報に基づいて補正することを特徴とする教師データ作成システム。

【請求項9】

請求項２において、
前記入力受付部は、入力調整部を有し、
前記入力調整部は、
前記付与対象画像から画像処理により特定領域の推定輪郭情報を検出し、前記推定輪郭情報が所定以上の確からしさを持っている場合に、前記推定輪郭情報に基づいて前記代表教師情報を出力し、前記推定輪郭情報が所定未満の確からしさを持っている場合に、前記代表輪郭情報に基づいて前記代表教師情報を出力することを特徴とする教師データ作成システム。

【請求項10】

請求項１において、
前記画像対応付け部は、
前記複数の医療画像の各医療画像から、画像の特徴を示す特徴点を抽出し、前記複数の医療画像のうち共通の前記特徴点を持つ医療画像の前記対応付けを行うことで前記対応付け画像群を作成し、
前記画像対応付け部は、
前記代表輪郭情報の前記輪郭が前記特徴点から所定以上離れているとき、前記代表輪郭情報の前記輪郭の位置に基づいて、再度、前記特徴点の抽出と前記対応付けとを行うことを特徴とする教師データ作成システム。

【請求項11】

請求項１において、
前記画像出力部は、
前記付与対象画像と、前記複数の医療画像のうち前記付与対象画像を除く医療画像との間の対応付け情報を、前記表示部に出力することを特徴とする教師データ作成システム。

【請求項12】

請求項１１において、
前記入力受付部は、
前記複数の医療画像のうち前記付与対象画像を除く医療画像のいずれかを、新たな前記付与対象画像に指定する入力を、受け付け、前記受け付けた入力に基づいて前記付与対象画像を変更することを特徴とする教師データ作成システム。

【請求項13】

請求項１において、
前記画像出力部は、
前記対応付け画像群を用いて生成された画像を、前記付与対象画像として前記表示部に出力することを特徴とする教師データ作成システム。

【請求項14】

請求項１３において、
前記画像出力部は、
前記対応付け画像群に基づいて前記撮影対象の３次元モデルを生成し、前記３次元モデルに基づく画像を前記付与対象画像として前記表示部に出力することを特徴とする教師データ作成システム。

【請求項15】

請求項１４において、
前記画像出力部は、
前記３次元モデルに対する視線方向が異なる複数の２次元画像を、複数の前記付与対象画像として前記表示部に出力し、
前記入力受付部は、
前記複数の２次元画像の各々について、前記代表輪郭情報を前記代表教師情報として受け付け、
前記教師情報付与部は、
前記対応付け画像群に含まれる医療画像に対して輪郭情報を前記教師情報として付与することを特徴とする教師データ作成システム。

【請求項16】

請求項１４において、
前記入力受付部は、入力調整部を有し、
前記入力調整部は、
入力された前記代表輪郭情報を、前記３次元モデルの輪郭と奥行とに基づいて調整することを特徴とする教師データ作成システム。

【請求項17】

請求項１４において、
前記画像出力部は、
前記３次元モデルから２次元画像を生成し、前記２次元画像を前記付与対象画像として出力し、
前記入力受付部は、
前記３次元モデルから前記２次元画像が生成されるときの視線方向において前記代表輪郭情報の前記輪郭の奥行上に前記３次元モデルが無いとき、前記視線方向の変更を指示するエラー情報を出力することを特徴とする教師データ作成システム。

【請求項18】

複数の医療画像を取得することと、
前記複数の医療画像に含まれる医療画像間で撮影対象の類似性に基づく対応付けを行い、対応付けできた医療画像同士で群を構成した対応付け画像群を作成することと、
前記対応付け画像群に基づいて、代表教師情報の付与対象となる画像である付与対象画像を表示部に出力することと、
前記付与対象画像の特定領域の輪郭を示す代表輪郭情報を前記代表教師情報として受け付けることと、
前記付与対象画像に対して入力された前記代表教師情報に基づいて、前記対応付け画像群に含まれる医療画像に対して輪郭情報を教師情報として付与することと、
を含むことを特徴とする教師データ作成方法。

【請求項19】

複数の医療画像を取得することと、
前記複数の医療画像に含まれる医療画像間で撮影対象の類似性に基づく対応付けを行い、対応付けできた医療画像同士で群を構成した対応付け画像群を作成することと、
前記対応付け画像群に基づいて、代表教師情報の付与対象となる画像である付与対象画像を表示部に出力することと、
前記付与対象画像の特定領域の輪郭を示す代表輪郭情報を前記代表教師情報として受け付けることと、
前記付与対象画像に対して入力された前記代表教師情報に基づいて、前記対応付け画像群に含まれる医療画像に対して輪郭情報を教師情報として付与することと、
をコンピュータに実行させる教師データ作成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教師データ作成システム、教師データ作成方法及び教師データ作成プログラム等に関する。

【背景技術】

【0002】

画像認識技術として、ディープラーニング等の機械学習が広く利用されている。機械学習では、学習に適した教師画像を大量に入力する必要があるが、その大量の教師画像を用意する手法の１つにデータオーギュメンテーションがある。データオーギュメンテーションは、実際に撮影されたオリジナル画像を加工して新たな画像を生成することで、教師画像の枚数を増やす手法である。しかし、機械学習の認識精度を高める点からは、オリジナル画像を大量に用意し、そのオリジナル画像に教師ラベルを付与することが望ましい。特許文献１には、超音波診断装置の機械学習用の画像を生成する医療用画像生成装置が開示されている。特許文献１では、医療用画像生成装置は、ユーザが画像保存操作やフリーズ操作を行ったときに表示されていた医用画像を注目画像として設定し、時系列画像から当該注目画像と類似した複数画像を機械的に抽出する。ユーザは、注目画像にラベル情報を付与する。医療用画像生成装置は、注目画像に付されたラベル情報に基づいて、注目画像と類似した複数画像に対してラベル情報を付与する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１１８６９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１では、ユーザが画像保存操作やフリーズ操作を行ったときの画像が注目画像となるため、時系列画像に対して類似性が低い、又は時系列画像の中で類似性が高い画像数が少ない画像が、注目画像となる可能性がある。この場合、注目画像に付与されたラベル情報を用いて、医療用画像生成装置が時系列画像にラベル情報を付与できない、又は医療用画像生成装置がラベル情報を付与できる画像数が少ないという課題がある。例えば、内視鏡等においてカメラのアングルを一時的に大きく変えたときに撮影された画像が注目画像となった場合、そのアングル以外で撮影された画像に対しては類似性に基づくラベル情報の付与ができない可能性がある。

【課題を解決するための手段】

【0005】

本開示の一態様は、複数の医療画像を取得する画像取得部と、前記複数の医療画像に含まれる医療画像間で撮影対象の類似性に基づく対応付けを行い、対応付けできた医療画像同士で群を構成した対応付け画像群を作成する画像対応付け部と、前記対応付け画像群に基づいて、代表教師情報の付与対象となる画像である付与対象画像を表示部に出力する画像出力部と、前記代表教師情報の入力を受け付ける入力受付部と、前記付与対象画像に対して入力された前記代表教師情報に基づいて、前記対応付け画像群に含まれる医療画像に対して教師情報を付与する教師情報付与部と、を含む教師データ作成システムに関係する。

【0006】

本開示の他の態様は、複数の医療画像を取得することと、前記複数の医療画像に含まれる医療画像間で撮影対象の類似性に基づく対応付けを行い、対応付けできた医療画像同士で群を構成した対応付け画像群を作成することと、前記対応付け画像群に基づいて、代表教師情報の付与対象となる画像である付与対象画像を表示部に出力することと、前記代表教師情報の入力を受け付けることと、前記付与対象画像に対して入力された前記代表教師情報に基づいて、前記対応付け画像群に含まれる医療画像に対して教師情報を付与することと、を含む教師データ作成方法に関係する。

【0007】

本開示の更に他の態様は、複数の医療画像を取得することと、前記複数の医療画像に含まれる医療画像間で撮影対象の類似性に基づく対応付けを行い、対応付けできた医療画像同士で群を構成した対応付け画像群を作成することと、前記対応付け画像群に基づいて、代表教師情報の付与対象となる画像である付与対象画像を表示部に出力することと、前記代表教師情報の入力を受け付けることと、前記付与対象画像に対して入力された前記代表教師情報に基づいて、前記対応付け画像群に含まれる医療画像に対して教師情報を付与することと、をコンピュータに実行させる教師データ作成プログラムに関係する。

【図面の簡単な説明】

【0008】

【図1】教師データ作成システムの第１構成例。

【図2】第１構成例における処理のフローチャート。

【図3】画像対応付け部の動作を説明する図。

【図4】対応付け画像群の決定手法を説明する図。

【図5】画像出力部、入力受付部及び教師情報付与部の動作を説明する図。

【図6】第１構成例の第１変形例における処理のフローチャート。

【図7】第１構成例の第２変形例において表示部に表示される画像の例。

【図8】第１構成例の第３変形例における教師データ作成システムの構成例。

【図9】第１構成例の第３変形例における処理のフローチャート。

【図10】第１構成例の第４変形例における教師データ作成システムの構成例。

【図11】入力調整部の第１動作例を説明する図。

【図12】入力調整部の第２動作例を説明する図。

【図13】第２構成例における処理のフローチャート。

【図14】画像対応付け部の動作を説明する図。

【図15】画像出力部、入力受付部及び教師情報付与部の動作を説明する図。

【図16】第２構成例の第２変形例を説明する図。

【図17】第２構成例の第３変形例における処理のフローチャート。

【図18】第２構成例の第３変形例を説明する図。

【発明を実施するための形態】

【0009】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0010】

１．第１構成例
図１は、教師データ作成システム１０の第１構成例である。教師データ作成システム１０は、処理部１００と記憶部２００と表示部３００と操作部４００とを含む。なお図１には内視鏡６００及び学習装置５００も図示するが、教師データ作成システム１０が教師データを作成する際に、内視鏡６００と学習装置５００が教師データ作成システム１０に接続されている必要はない。

【0011】

処理部１００は、画像取得部１１０と画像対応付け部１２０と画像出力部１３０と入力受付部１４０と教師情報付与部１５０とを含む。画像取得部１１０は、複数の医療画像を取得する。画像対応付け部１２０は、複数の医療画像に含まれる医療画像間で撮影対象の類似性に基づく対応付けを行い、対応付け画像群を作成する。対応付け画像群は、上記対応付けにおいて対応付けできた医療画像同士で構成した群である。画像出力部１３０は、対応付け画像群に基づいて、代表教師情報の付与対象となる画像である付与対象画像を表示部３００に出力する。入力受付部１４０は、操作部４００から代表教師情報の入力を受け付ける。教師情報付与部１５０は、付与対象画像に対して入力された代表教師情報に基づいて、対応付け画像群に含まれる医療画像に対して教師情報を付与する。

【0012】

このようにすれば、ユーザに教師情報を付与してもらうために表示部３００に表示される付与対象画像は、撮影対象の類似性に基づく対応付けがされた対応付け画像群に基づいて表示される。即ち、ユーザに提示する前に類似性が判断されているため、付与対象画像は対応付け画像群の各医療画像に対して類似性を有する画像となっている。これにより、類似性が高い画像に多く対応付けられた医療画像に対して代表教師情報が付されるので、教師情報付与部１５０が１つの代表教師情報から、より多くの医療画像に教師情報を自動的に付与できる。結果として、ユーザが代表教師情報を入力すべき付与対象画像の枚数を削減でき、ユーザは少ない作業工数で教師画像を作成できる。

【0013】

以下、図１の教師データ作成システム１０の詳細を説明する。

【0014】

教師データ作成システム１０は、例えばＰＣ（Personal Computer）等の情報処理装置である。或いは、教師データ作成システム１０は、端末装置と情報処理装置とがネットワークで接続されたシステムであってもよい。例えば、端末装置が表示部３００と操作部４００と記憶部２００とを含み、情報処理装置が処理部１００を含む。或いは、教師データ作成システム１０は、複数の情報処理装置がネットワークで接続されたクラウドシステムであってもよい。

【0015】

記憶部２００は、内視鏡６００により撮像された複数の医療画像を記憶する。医療画像は、医療用内視鏡により撮影された体内画像である。医療用内視鏡は、消化管用内視鏡等のビデオスコープ、或いは外科手術用の硬性鏡等である。複数の医療画像は、時系列画像である。例えば、内視鏡６００は体内の動画を撮影し、その動画の各フレームの画像が個々の医療画像に相当する。記憶部２００は、半導体メモリ又はハードディスクドライブ等の記憶装置である。半導体メモリは、例えば、ＲＡＭ等の揮発性メモリ、或いはＥＥＰＲＯＭ等の不揮発性メモリである。

【0016】

処理部１００はプロセッサである。プロセッサは、ＣＰＵ、マイクロコンピュータ、ＤＳＰ、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の集積回路装置であってもよい。処理部１００は、１又は複数のプロセッサを含んでもよい。また、プロセッサである処理部１００は、例えば１又は複数の回路部品により構成された処理回路又は処理装置であってもよいし、或いは、１又は複数の回路部品が基板に実装された回路装置であってもよい。

【0017】

処理部１００の動作はソフトウェア処理により実現されてもよい。即ち、処理部１００に含まれる画像取得部１１０、画像対応付け部１２０、画像出力部１３０、入力受付部１４０及び教師情報付与部１５０の全部又は一部の動作を記述したプログラムが、記憶部２００に記憶される。その記憶部２００に記憶されたプログラムをプロセッサが実行することで、処理部１００の動作が実現される。なお、プログラムは、図８で後述する検出部１６０を更に記述したものであってよい。上記プログラムは、コンピュータにより読み取り可能な媒体である情報記憶媒体に格納されてもよい。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。コンピュータは、入力装置、処理部、記憶部、及び出力部を備える装置である。

【0018】

図２は、第１構成例における処理のフローチャートである。ステップＳ１において、画像取得部１１０は複数の医療画像を取得する。具体的には、画像取得部１１０は、記憶部２００からデータを読み出すアクセス制御部であり、記憶部２００から複数の医療画像を取得し、その複数の医療画像を画像対応付け部１２０に出力する。

【0019】

ステップＳ２において、画像対応付け部１２０は、複数の医療画像の特徴点を抽出し、各特徴点について画像間におけるマッチングを行う。ステップＳ３において、画像対応付け部１２０は、マッチングされた特徴点数が多い医療画像を選択し、画像出力部１３０は、その選択された医療画像を付与対象画像として表示部３００に出力する。表示部３００は、付与対象画像を表示する。表示部３００は、例えば液晶表示装置又はＥＬ（Electro Luminescence）表示装置等のディスプレイである。

【0020】

ステップＳ４において、入力受付部１４０は、表示された付与対象画像に対する教師情報入力を受け付ける。即ち、ユーザは、表示部３００に表示された付与対象画像に対して、操作部４００を用いて教師情報を付与し、その付与された教師情報が入力受付部１４０に入力される。入力受付部１４０は、例えば操作部４００と処理部１００の間の通信インターフェースである。操作部４００は、ユーザが教師データ作成システム１０に対して操作入力又は情報入力を行うための装置であり、例えばポインティングデバイス、キーボード、又はタッチパネル等である。

【0021】

ステップＳ５において、教師情報付与部１５０は、付与対象画像に付与された教師情報に基づいて、画像対応付け部１２０により対応付けられた各医療画像に対して教師情報を付与し、その教師情報を記憶部２００に記憶させる。教師情報が付与された医療画像を教師画像と呼ぶこととする。

【0022】

記憶部２００に記憶された教師画像は、学習装置５００に入力される。学習装置５００は記憶部５２０とプロセッサ５１０とを含む。記憶部２００から入力された教師画像は教師データ５２１として記憶部５２０に記憶される。記憶部５２０には、機械学習の学習モデル５２２が記憶されている。プロセッサ５１０は、教師データ５２１を用いて学習モデル５２２に対する機械学習を行う。機械学習された学習モデル５２２は、学習済みモデルとして内視鏡に転送され、内視鏡における画像認識に用いられる。

【0023】

図３は、画像対応付け部１２０の動作を説明する図である。図３において、ＩＡ１～ＩＡｍは、画像取得部１１０によって取得された複数の医療画像である。ｍは３以上の整数である。ここではｍ＝５、即ちＩＡｍ＝ＩＡ５とする。

【0024】

図３では、ＩＡ１に特徴点が検出されず、ＩＡ２～ＩＡ５から共通の特徴点ＦＰａが検出され、ＩＡ２～ＩＡ４から共通の特徴点ＦＰｂが検出され、ＩＡ４、ＩＡ５から共通の特徴点ＦＰｃが検出されている。特徴点とは、画像の特徴を示す点であり、画像から検出された特徴量によって特徴付けられた点である。特徴量として種々想定できるが、例えば画像のエッジ、勾配、又はそれらの統計量等である。画像対応付け部１２０は、例えばＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＨＯＧ（Histograms of Oriented Gradients）等の手法を用いて特徴点を抽出する。

【0025】

画像対応付け部１２０は、特徴点ＦＰａ～ＦＰｃに基づいて、撮影対象の類似性が高い画像群を対応付け画像群ＧＩＭとする。「撮影対象の類似性」とは、医療画像に写る対象が類似している度合いであり、類似性が高いほど対象が同一である可能性が高い。特徴点を用いた場合には、共通する特徴点の数が多いほど撮影対象の類似性が高いと判断できる。画像対応付け部１２０は、例えば共通する特徴点の数がしきい値以上である医療画像を対応付けする。図３の例では、画像対応付け部１２０は、２以上の特徴点が共通する医療画像を対応付けしており、ＩＡ４がＩＡ２、ＩＡ３及びＩＡｍの各々に対して２以上の特徴点が共通することから、ＩＡ２～ＩＡ４、ＩＡｍを対応付け画像群ＧＩＭとしている。

【0026】

図４は、対応付け画像群の決定手法を説明する図である。ここでは、複数の医療画像としてＩＸ１～ＩＸ５が取得されたとする。画像対応付け部１２０は、ＩＸ１～ＩＸ５の各医療画像について、他の医療画像との類似性を判断する。〇は類似性が高いと判断されたことを示し、×は類似性が低いと判断されたことを示す。ＩＸ１、ＩＸ２、ＩＸ３、ＩＸ４、ＩＸ５は、それぞれ２つ、３つ、３つ、２つ、２つの医療画像に対して類似性が高いと判断されている。

【0027】

画像対応付け部１２０は、類似性が高い医療画像を多くもつ医療画像を付与対象画像として選択し、その付与対象画像に対して類似性が高い医療画像を対応付け画像群とする。図４の例では、ＩＸ２が付与対象画像として選択され、ＩＸ１～ＩＸ３、ＩＸ５が対応付け画像群に設定される。或いは、ＩＸ３が付与対象画像として選択され、ＩＸ１～ＩＸ４が対応付け画像群に設定される。画像対応付け部１２０は、例えばＩＸ２、ＩＸ３のうち番号が小さい、即ち時系列において前の画像を、付与対象画像として選択してもよい。或いは、画像対応付け部１２０は、ＩＸ４が他の対応付け画像群に含まれる場合に、ＩＸ１～ＩＸ３、ＩＸ５を対応付け画像群とする等、他の対応付け画像群を考慮して対応付け画像群を選択してもよい。

【0028】

図５は、画像出力部１３０、入力受付部１４０及び教師情報付与部１５０の動作を説明する図である。図５において、ＩＢ１～ＩＢｎは図３のＩＡ２～ＩＡｍに相当する。図４で説明した手法により、対応付け画像群ＧＩＭである医療画像ＩＢ１～ＩＢｎのうちＩＢ３が付与対象画像ＲＩＭとして選択されている。ｎは２以上の整数である。

【0029】

画像出力部１３０は、画像対応付け部１２０により選択された付与対象画像ＲＩＭを表示部３００に表示させる。ユーザは、操作部４００を介して代表教師情報ＡＴＩＮを付与対象画像ＲＩＭに付与する。代表教師情報ＡＴＩＮは、付与対象画像ＲＩＭに付与される教師情報のことである。図５には、教師情報が、機械学習における検出対象を囲む輪郭情報である例を図示するが、教師情報は、テキスト、矩形、輪郭、又は領域であってもよい。テキストは、分類処理を行うＡＩの教師データとして用いられる情報である。テキストは、撮影対象の内容又は状態等を示す情報であり、例えば病変の種類、或いは病変の悪性度等を示す。矩形は、ディテクションを行うＡＩの教師データとして用いられる情報である。矩形は、病変等の撮影対象に外接する矩形であり、病変等の存在及びその位置を示す。輪郭又は領域は、セグメンテーションを行うＡＩの教師データとして用いられる情報である。輪郭は、病変等の撮影対象と、正常粘膜等の撮影対象以外の領域との境界を示す情報である。領域は、病変等の撮影対象が占める領域を示す情報であり、輪郭の情報を包含する。

【0030】

教師情報付与部１５０は、入力受付部１４０が受け付けた代表教師情報ＡＴＩＮに基づいて、対応付け画像群ＧＩＭに含まれる医療画像ＩＢ１～ＩＢｎに対して教師情報ＡＴ１～ＡＴｎを付与する。図５では、付与対象画像ＲＩＭであるＩＢ３には、教師情報ＡＴ３として代表教師情報ＡＴＩＮがそのまま付与される。教師情報付与部１５０は、ＩＢ３以外の医療画像に対して、特徴点に基づいて代表教師情報ＡＴＩＮを幾何学変換することで教師情報を付与する。即ち、２以上の特徴点が共通する２つの画像間において、その特徴点の位置及び対応関係から、画像間の平行移動量、回転量及び拡縮率が分かる。教師情報付与部１５０は、この平行移動量、回転量及び拡縮率を用いた幾何学変換によって代表教師情報ＡＴＩＮを教師情報ＡＴ１、ＡＴ２、ＡＴ４～ＡＴｎに変換する。

【0031】

本実施形態によれば、画像出力部１３０は、対応付け画像群ＧＩＭの中から選択される医療画像を、付与対象画像ＲＩＭとして表示部３００に出力する。

【0032】

このようにすれば、対応付け画像群ＧＩＭに含まれる医療画像のいずれかが付与対象画像ＲＩＭとして表示部３００に表示される。この付与対象画像ＲＩＭは、対応付け画像群ＧＩＭ内の他の医療画像と対応付けられているので、その対応関係を用いることで代表教師情報ＡＴＩＮから各医療画像の教師情報を付与できる。

【0033】

また本実施形態では、撮影対象の類似性に基づく対応付けにおいて各医療画像に対応づけられる医療画像の数を対応付け画像数としたとする。例えば図４においてＩＸ１～ＩＸ５の対応付け画像数は、それぞれ２、３、３、２、２である。画像出力部１３０は、対応付け画像数に基づいて選択される医療画像を、付与対象画像ＲＩＭとして表示部３００に出力する。

【0034】

具体的には、画像対応付け部１２０は、対応付け画像数に基づいて複数の医療画像の中から付与対象画像ＲＩＭを選択し、複数の医療画像のうち付与対象画像ＲＩＭに対応付けられた医療画像を対応付け画像群ＧＩＭとする。より具体的には、画像対応付け部１２０は、対応付け画像数を算出した複数の医療画像のうち、対応付け画像数が最も多い医療画像が付与対象画像ＲＩＭとして選択する。

【0035】

このようにすれば、１つの付与対象画像ＲＩＭに対応付けられる画像数が多くなるので、ユーザが代表教師情報ＡＴＩＮを付すべき付与対象画像ＲＩＭの数を減らすことができる。これにより、教師画像作成におけるユーザ負担を軽減できる。なお、上記構成例では画像対応付け部１２０が付与対象画像ＲＩＭを選択したが、画像出力部１３０が付与対象画像ＲＩＭを選択してもよい。例えば図４のＩＸ２、ＩＸ３のように、類似性が高い画像数が同数となっている候補が複数あるとき、画像出力部１３０が、その複数の候補のいずれかを付与対象画像として選択してもよい。画像出力部１３０は、例えば候補画像に含まれる特徴点の数が多いものを付与対象画像として選択してもよい。

【0036】

また本実施形態では、入力受付部１４０は、付与対象画像ＲＩＭの特定領域の輪郭を示す代表輪郭情報を代表教師情報ＡＴＩＮとして受け付ける。教師情報付与部１５０は、対応付け画像群ＧＩＭに含まれる医療画像に対して輪郭情報を教師情報ＡＴ１～ＡＴｎとして付与する。

【0037】

特定領域とは、教師データ作成システム１０により生成された教師画像に基づいて機械学習されるＡＩが検出対象とする領域のことである。本実施形態によれば、特定領域の輪郭を示す輪郭情報が教師情報ＡＴ１～ＡＴｎとして医療画像に付与されるので、その教師情報に基づいて機械学習を行うことで、セグメンテーションによる特定領域の検出が可能となる。

【0038】

また本実施形態では、画像対応付け部１２０は、複数の医療画像ＩＡ１～ＩＡｍの各医療画像から、画像の特徴を示す特徴点ＦＰａ～ＦＰｃを抽出し、複数の医療画像ＩＡ１～ＩＡｍのうち共通の特徴点を持つ医療画像ＩＢ１～ＩＢｎの対応付けを行うことで対応付け画像群ＧＩＭを作成する。教師情報付与部１５０は、共通の特徴点ＦＰａ～ＦＰｃを利用して、対応付け画像群ＧＩＭに含まれる医療画像ＩＢ１～ＩＢｎに対して、特定領域の輪郭を示す輪郭情報を教師情報ＡＴ１～ＡＴｎとして付与する。

【0039】

このようにすれば、対応付け画像群ＧＩＭを作成する際にマッチングされた特徴点の情報を用いて、各医療画像に輪郭情報を付与できる。上述したように、共通する特徴点を有する画像間において、幾何学変換により代表輪郭情報を各医療画像の輪郭情報に変換できる。

【0040】

２．第１構成例の変形例
第１変形例では、撮影対象の類似性が画像類似度に基づいて判断される。教師データ作成システム１０のハードウェア構成は図１と同様である。図６は、第１変形例における処理のフローチャートである。ステップＳ１１、Ｓ１５は図２のステップＳ１、Ｓ５と同様であるため説明を省略する。

【0041】

ステップＳ１２において、画像対応付け部１２０は、複数の医療画像に含まれる医療画像間の画像類似度を算出する。画像類似度は、２つの画像がどの程度類似しているかを示す指標、即ち画像そのものの類似性を示す指標である。画像が類似している場合、その画像に写る撮影対象の類似性も高いと判断できる。画像類似度は、例えばＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross Correlation）等である。

【0042】

ステップＳ１３において、画像対応付け部１２０は、複数の医療画像のうち高い画像類似度を多く持つ画像を付与対象画像として選択する。例えば画像対応付け部１２０は、画像類似度としきい値を比較することで、類似度の高低を判断する。付与対象画像の選択と、対応付け画像群の設定については、図４等で説明した手法と同様である。画像出力部１３０は、選択された付与対象画像を表示部３００に出力する。

【0043】

ステップＳ１４において、入力受付部１４０は、表示された付与対象画像に対する教師情報入力を受け付ける。画像類似度を用いた場合の教師情報としては、例えばテキストが想定されるが、これに限定されない。

【0044】

第２変形例では、対応付け状況を表示する。図７は、第２変形例において表示部３００に表示される画像の例である。

【0045】

画像出力部１３０は、付与対象画像ＲＩＭと、複数の医療画像のうち付与対象画像ＲＩＭを除く医療画像３０２との間の対応付け情報３０３を、表示部３００に出力する。図７において、３０１は、時間の流れを示す矢印である。即ち、矢印３０１に沿って医療画像３０２が時系列に表示されている。対応付け情報３０３は、付与対象画像ＲＩＭと医療画像３０２を接続する線である。線で接続された画像は、撮影対象の類似性が高いと判断されて対応付けされた画像であり、線で接続されない画像は、撮影対象の類似性が低いと判断されて対応付けられなかった画像である。

【0046】

このようにすれば、ユーザは付与対象画像ＲＩＭと各医療画像の対応付け状況を知ることができる。例えば、ユーザは、付与対象画像ＲＩＭとして適切な医療画像が選択されているか否かを判断できる。

【0047】

入力受付部１４０は、付与対象画像ＲＩＭを除く医療画像３０２のいずれかを、新たな付与対象画像に指定する入力を、受け付ける。入力受付部１４０は、受け付けた入力に基づいて付与対象画像を変更する。即ち、ユーザは、表示部３００に表示された対応付け情報３０３を見て、現在の付与対象画像ＲＩＭよりも適切な付与対象画像があると判断した場合に、その医療画像を選択する。入力受付部１４０は、ユーザにより選択された医療画像を新たな付与対象画像とする。

【0048】

このようにすれば、ユーザが代表教師情報を付与する医療画像として適切と判断した医療画像を付与対象画像として新たに選択し、その付与対象画像に対してユーザが代表教師情報を付与できる。これにより、より高精度な機械学習を実現できる教師画像を作成可能である。

【0049】

なお、ユーザが新たな付与対象画像を選択した後、画像対応付け部１２０は対応付け画像群を再設定し、その対応付け情報を画像出力部１３０が表示部３００に表示させてもよい。即ち、画像対応付け部１２０は、ユーザにより新たに選択された付与対象画像と類似性が高い医療画像を新たな対応付け画像群に設定し、その対応付け情報を画像出力部１３０に出力してもよい。

【0050】

第３変形例では、特定領域の表示調整を行う。図８は、第３変形例における教師データ作成システム１０の構成例である。図８では、処理部１００は検出部１６０を更に含む。また画像出力部１３０は表示調整部１３１を含む。なお、既に説明した構成要素については適宜に説明を省略する。

【0051】

図９は、第３変形例における処理のフローチャートである。ステップＳ２１、Ｓ２６、Ｓ２７は図２のステップＳ１、Ｓ４、Ｓ５と同様であるため説明を省略する。

【0052】

ステップＳ２２において、検出部１６０は複数の医療画像の各医療画像から特定領域を検出する。特定領域は、教師情報を付与する対象となる領域である。ステップＳ２３において、画像対応付け部１２０は、複数の医療画像の各医療画像から特徴点を抽出し、画像間において特徴点のマッチングを行う。このとき、画像対応付け部１２０は、検出部１６０により検出された特定領域に基づいて特徴点を抽出してもよい。例えば、画像対応付け部１２０は、特定領域を特徴付ける特徴点を抽出してもよい。

【0053】

ステップＳ２４において、表示調整部１３１は、対応付けられた画像の状況に応じて、付与対象画像を拡縮して表示部３００に表示させる。例えば対応付け画像群において、画像に写る特定領域のサイズが大きい又は小さい場合に、表示調整部１３１は、特定領域のサイズが適切となるように付与対象画像を拡縮する。ステップＳ２５において、表示調整部１３１は、検出された特定領域が見えやすいように調整して、付与対象画像を表示部３００に表示させる。例えば、表示調整部１３１は、特定領域が画面中央となるように平行移動したり、特定領域が見やすいように回転処理又は射影変換したりする。射影変換は、特定領域が存在する面の傾きを変える変換、即ち特定領域が存在する面とカメラ視線のなす角度を変える変換である。なお、ステップＳ２５又はＳ２４の両方が実施されてもよいし、いずれか一方が実施されてもよい。

【0054】

本実施形態によれば、表示調整部１３１は、付与対象画像に幾何学変換を加えた後に表示部３００に出力する。幾何学変換は、例えば平行移動、回転、拡縮、射影変換又はそれらの組み合わせである。

【0055】

このようにすれば、ユーザにより代表教師情報が付与される特定領域が見やすくなるように、幾何学変換できる。これにより、特定領域を見やすくユーザに提示でき、ユーザの作業負担を低減できる、或いはユーザが正確に代表教師情報を付与できるようになる。

【0056】

また本実施形態によれば、検出部１６０は、複数の医療画像から画像処理により特定領域の情報を検出する。表示調整部１３１は、検出された特定領域の情報に基づいて幾何学変換を行うことで特定領域の表示調整を行う。画像処理は、画像から特定領域の位置又は領域等を認識する画像認識処理である。画像認識処理としては種々の技術を採用できるが、一例としては機械学習を用いた画像認識技術、或いは特徴量抽出を用いた画像認識技術である。検出される特定領域の情報は、特定領域の位置、サイズ、輪郭、領域、又はそれらの組み合わせである。これらの情報を用いることで、特定領域が適切に表示されるように平行移動、回転又は拡縮等を行うことが可能である。

【0057】

このようにすれば、教師情報が付与されるべき特定領域が予め検出部１６０によって検出され、その特定領域が適切に表示されるように表示調整部１３１が付与対象画像を幾何学変換できる。

【0058】

第４変形例では、入力された代表教師情報の調整を行う。図１０は、第４変形例における教師データ作成システム１０の構成例である。図１０では、入力受付部１４０は入力調整部１４１を含む。なお、既に説明した構成要素については適宜に説明を省略する。

【0059】

図１１は、入力調整部１４１の第１動作例を説明する図である。入力調整部１４１は、付与対象画像から画像処理により特定領域の推定輪郭情報ＡＴＥＳを検出する。入力受付部１４０は、付与対象画像の特定領域の輪郭を示す代表輪郭情報ＡＴＩＮｂを代表教師情報として受け付ける。入力調整部１４１は、推定輪郭情報ＡＴＥＳが所定以上の確からしさを持っている場合に、代表輪郭情報ＡＴＩＮｂを推定輪郭情報ＡＴＥＳに基づいて補正する。

【0060】

入力調整部１４１は、ＡＩ処理による画像認識処理を行うことで、推定輪郭情報ＡＴＥＳと、その推定の確からしさとを出力する。例えば、輪郭に沿った各位置に対して確からしさが出力される。入力調整部１４１は、確からしさが所定以上の部分について、代表輪郭情報ＡＴＩＮｂを推定輪郭情報ＡＴＥＳに基づいて補正する。例えば、入力調整部１４１は、確からしさが所定以上の部分について、代表輪郭情報ＡＴＩＮｂを推定輪郭情報ＡＴＥＳで置き換える。入力調整部１４１は、補正後の代表輪郭情報を最終的な代表教師情報ＡＴＦとして教師情報付与部１５０に出力する。

【0061】

本実施形態によれば、画像処理による推定輪郭情報が確からしい場合に、その推定輪郭情報に基づいて、ユーザが入力した代表輪郭情報が補正される。例えば、ユーザが入力した輪郭情報が不正確な場合等が想定されるが、そのような場合であっても、正確な輪郭情報に補正できる。このとき、推定輪郭情報が確からしい場合にのみ補正されるので、確度の高い補正が可能である。

【0062】

図１２は、入力調整部１４１の第２動作例を説明する図である。入力調整部１４１は、付与対象画像から画像処理により特定領域の推定輪郭情報ＡＴＥＳを検出する。入力受付部１４０は、付与対象画像の特定領域の輪郭を示す代表輪郭情報ＡＴＩＮｂを代表教師情報として受け付ける。入力調整部１４１は、推定輪郭情報ＡＴＥＳが所定以上の確からしさを持っている場合に、推定輪郭情報ＡＴＥＳに基づいて代表教師情報を出力し、推定輪郭情報ＡＴＥＳが所定未満の確からしさを持っている場合に、代表輪郭情報ＡＴＩＮｂに基づいて代表教師情報を出力する。

【0063】

入力調整部１４１は、ＡＩ処理による画像認識処理を行うことで、推定輪郭情報ＡＴＥＳと、その推定の確からしさとを出力する。例えば、輪郭全体についての確からしさが出力される。入力調整部１４１は、確からしさが所定以上の場合に、推定輪郭情報ＡＴＥＳを最終的な代表教師情報ＡＴＦとして教師情報付与部１５０に出力する。また、入力調整部１４１は、確からしさが所定未満の場合に、代表輪郭情報ＡＴＩＮｂを最終的な代表教師情報ＡＴＦとして教師情報付与部１５０に出力する。図１２には、推定輪郭情報ＡＴＥＳが選択される場合を図示している。

【0064】

第５変形例では、入力された代表教師情報に基づいて特徴点を再抽出する。教師データ作成システム１０のハードウェア構成は図１と同様である。

【0065】

画像対応付け部１２０は、複数の医療画像の各医療画像から、画像の特徴を示す特徴点を抽出し、複数の医療画像のうち共通の特徴点を持つ医療画像の対応付けを行うことで対応付け画像群を作成する。入力受付部１４０は、付与対象画像の特定領域の輪郭を示す代表輪郭情報を代表教師情報として受け付ける。画像対応付け部１２０は、代表輪郭情報の輪郭が特徴点から所定以上離れているとき、代表輪郭情報の輪郭の位置に基づいて、再度、特徴点の抽出と対応付けとを行う。

【0066】

具体的には、画像対応付け部１２０は、代表輪郭情報の輪郭と付与対象画像の特徴点との距離を算出する。距離は、例えば輪郭のうち特徴点に最も近い点と特徴点との間の距離である。付与対象画像に複数の特徴点がある場合、各特徴点について距離が求められ、そのうちの最短距離又は平均距離等が最終的な距離として求められる。画像対応付け部１２０は、求めた距離が所定以上である場合、各医療画像の特徴点を再抽出する。このとき、画像対応付け部１２０は、ユーザにより入力された代表輪郭情報の輪郭付近に存在する特徴点を抽出し、その特徴点を用いて対応付け画像群の再構成を行う。

【0067】

本実施形態によれば、ユーザにより入力された代表輪郭情報の輪郭に基づいて特徴点が再抽出されるので、ユーザが認識した特定領域に関する特徴点が再抽出される。その特徴点を用いて対応付け画像群が再構成されることで、特定領域の特徴点によって適切に対応付けられた対応付け画像群が得られる。これにより、教師情報付与部１５０が、代表輪郭情報に基づいて各医療画像に対して精度良く輪郭情報を付与できる。

【0068】

３．第２構成例
教師データ作成システム１０の第２構成例を説明する。教師データ作成システム１０のハードウェア構成は図１と同様である。図１３は、第２構成例における処理のフローチャートである。ステップＳ３１、Ｓ３２は、図２のステップＳ１、Ｓ２と同様であるため説明を省略する。

【0069】

ステップＳ３３において、画像対応付け部１２０は、ステップＳ３２における対応付け結果に基づいて複数の医療画像を合成することで、３次元モデルを構築する。ステップＳ３４において、画像出力部１３０は、対応付けられた医療画像における対応点が多く写るように、３次元モデルの姿勢を調整し、その姿勢の２次元画像を付与対象画像として表示部３００に出力する。ステップＳ３５において、入力受付部１４０は、付与対象画像に対する代表教師情報の入力を受け付ける。教師情報としては、例えば矩形、輪郭又は領域等が想定されるが、これらに限定されない。

【0070】

ステップＳ３６において、入力受付部１４０は、入力された代表教師情報を３次元モデルにおける近くの輪郭に合わせて自動的に調整する、又は入力された代表教師情報を３次元モデルの奥行きに応じて自動的に調整する。ステップＳ３７において、教師情報付与部１５０は、３次元モデルに付与された代表教師情報に基づいて、３次元モデルに対応付けられた医療画像又は領域に教師情報を付与する。

【0071】

図１４は、画像対応付け部１２０の動作を説明する図である。図１４では省略しているが、図３と同様に医療画像ＩＢ１～ＩＢｎから特徴点が抽出されており、撮影対象の類似性が高い医療画像が対応付け画像群ＧＩＭとして対応付けられている。

【0072】

画像対応付け部１２０は、対応付け画像群ＧＩＭに含まれる医療画像ＩＢ１～ＩＢｎの対応付けを用いて、医療画像ＩＢ１～ＩＢｎから３次元モデルＭＤＬを合成する。具体的には、画像対応付け部１２０は、各医療画像における特徴点と、医療画像間における特徴点の対応とに基づいて、各医療画像がどのようなカメラ位置及び視線方向で撮影されたかを推定し、その推定結果に基づいて３次元モデルＭＤＬを推定する。３次元モデルＭＤＬの合成手法として、例えばＳｆＭ（Structure from Motion）を採用できる。

【0073】

図１５は、画像出力部１３０、入力受付部１４０及び教師情報付与部１５０の動作を説明する図である。画像出力部１３０は、３次元モデルＭＤＬから付与対象画像ＲＩＭ１、ＲＩＭ２を生成する。付与対象画像ＲＩＭ１、ＲＩＭ２は、３次元モデルＭＤＬを視線ＶＬ１、ＶＬ２で見たときの２次元画像である。例えば、視線ＶＬ２は、視線ＶＬ１に対して見る方向が反対になっている。即ち、付与対象画像ＲＩＭ１における３次元モデルＭＤＬの見え方を表と呼んだとすると、付与対象画像ＲＩＭ２における３次元モデルＭＤＬの見え方は裏ということになる。

【0074】

ユーザは、付与対象画像ＲＩＭ１、ＲＩＭ２の各々に対して代表教師情報ＡＴＩＮ１、ＡＴＩＮ２を付与する。図１５には、教師情報が輪郭情報である場合を図示している。入力受付部１４０は、代表教師情報ＡＴＩＮ１、ＡＴＩＮ２に基づいて、３次元モデルＭＤＬに代表教師情報を付与する。即ち、入力受付部１４０は、３次元モデルＭＤＬにおける特定領域の輪郭を、代表教師情報ＡＴＩＮ１、ＡＴＩＮ２の輪郭から生成する。例えば特定領域が凸部である場合、その凸部と、凸部以外の面との境界が、３次元モデルＭＤＬにおける特定領域の輪郭となる。

【0075】

教師情報付与部１５０は、３次元モデルＭＤＬに付与された代表教師情報に基づいて、対応付け画像群ＧＩＭの医療画像ＩＢ１～ＩＢｎに対して教師情報ＡＴ１～ＡＴｎを付与する。３次元モデルＭＤＬが生成される際に、各医療画像に対応したカメラ位置及び視線方向が推定されている。また、３次元モデルが生成されていれば、モデル上の各点とカメラ間の距離も推定されている。教師情報付与部１５０は、そのカメラ位置及び視線方向を用いて３次元モデルＭＤＬにおける代表教師情報を、医療画像ＩＢ１～ＩＢｎにおける教師情報ＡＴ１～ＡＴｎに変換する。

【0076】

本実施形態によれば、画像出力部１３０は、対応付け画像群ＧＩＭを用いて生成された画像を、付与対象画像として表示部３００に出力する。

【0077】

対応付け画像群ＧＩＭは、撮影対象の類似性に基づいて対応付けられているので、その対応付け画像群ＧＩＭを用いて生成された画像は、撮影対象に関する画像となっている。このような画像を付与対象画像として表示部３００に表示することで、撮影対象が適切にユーザに提示される。

【0078】

また本実施形態では、画像出力部１３０は、対応付け画像群ＧＩＭに基づいて撮影対象の３次元モデルＭＤＬを生成し、３次元モデルＭＤＬに基づく画像ＲＩＭ１、ＲＩＭ２を付与対象画像として表示部３００に出力する。

【0079】

このようにすれば、撮影対象の３次元モデルＭＤＬがユーザに提示される。３次元モデルＭＤＬを用いることで、３次元構造が重要な病変部等に対して教師情報が適切に付与されることが期待できる。また、各医療画像における撮影対象の写り方に左右されることなく、任意のカメラ視線で見た３次元モデルＭＤＬをユーザに提示することが可能となり、代表教師情報を付与するのに適した付与対象画像を表示できる。

【0080】

具体的には、画像出力部１３０は、対応点がより多く写るカメラ視線で３次元モデルＭＤＬを見たときの付与対象画像を表示する。対応点は、３次元モデルＭＤＬの構築に用いられた医療画像間において共通する特徴点のことである。３次元モデルＭＤＬを構築する際に特徴点の対応を用いているため、３次元モデルＭＤＬ上における特徴点の位置が分かっている。このため、３次元モデルＭＤＬをどのカメラ視線で見たときに多くの対応点が写るのかを知ることができ、そのカメラ視線で見た付与対象画像が表示される。図１５には２つの付与対象画像ＲＩＭ１、ＲＩＭ２が図示されているが、例えば、対応点の数が最大となるカメラ視線で見た画像を、ＲＩＭ１、ＲＩＭ２のいずれか一方にする。

【0081】

対応点が多く写る画像が表示されるということは、対応付け画像群ＧＩＭから３次元モデルＭＤＬを構築する際に対応付けの精度が高い部分が表示されるということである。このような付与対象画像は、対応付け画像群ＧＩＭの各医療画像に対して対応付けの精度が高いと考えられる。このため、付与対象画像に付与された代表教師情報に基づいて各医療画像に教師情報を付与する際に、高精度な教師情報を生成できる。

【0082】

また本実施形態では、画像出力部１３０は、３次元モデルＭＤＬに対する視線方向が異なる複数の２次元画像ＲＩＭ１、ＲＩＭ２を、複数の付与対象画像として表示部３００に出力する。入力受付部１４０は、複数の２次元画像の各々について、付与対象画像の特定領域の輪郭を示す代表輪郭情報を代表教師情報ＡＴＩＮ１、ＡＴＩＮ２として受け付ける。教師情報付与部１５０は、対応付け画像群ＧＩＭに含まれる医療画像ＩＢ１～ＩＢｎに対して輪郭情報を教師情報ＡＴ１～ＡＴｎとして付与する。

【0083】

３次元モデルＭＤＬを１つの視線方向に見たとき、凸部等の裏になって見えない部分が存在する可能性がある。本実施形態によれば、視線方向が異なる複数の２次元画像を表示することで、３次元モデルＭＤＬを様々な方向から見た２次元画像が表示され、その各２次元画像に対して代表輪郭情報が付与される。これにより、輪郭情報が欠けることなく３次元モデルＭＤＬに付与される。なお、図１５では、２つの２次元画像が付与対象画像として表示されるが、表示される２次元画像は２つに限定されず、複数であればよい。

【0084】

なお、以上では「対応付け画像群を用いて生成された画像」が３次元モデルＭＤＬに基づく画像である場合を例に説明したが、これに限定されず、後述する変形例のように、対応付け画像群ＧＩＭから生成された消化管等の展開図であってもよい。

【0085】

４．第２構成例の変形例
第１変形例では、代表輪郭情報の入力調整を行う。教師データ作成システム１０のハードウェア構成は図１０と同様である。

【0086】

入力受付部１４０は、付与対象画像ＲＩＭ１、ＲＩＭ２の特定領域の輪郭を示す代表輪郭情報を代表教師情報ＡＴＩＮ１、ＡＴＩＮ２として受け付ける。入力調整部１４１は、入力された代表輪郭情報を、３次元モデルＭＤＬの輪郭と奥行とに基づいて調整する。

【0087】

奥行きは、付与対象画像として表示される２次元画像で見たときの３次元モデルＭＤＬの奥行であり、２次元画像を生成するときのカメラ視線に相当する。例えば３次元モデルＭＤＬの凸部に輪郭が付されるような場合に、ユーザが付与した輪郭を奥行方向に見たとき、その奥行き方向に３次元モデルＭＤＬの複数の表面が存在している場合がある。このような場合、入力調整部１４１は、最も手前の表面に輪郭が付されるように、代表輪郭情報を調整する。また、ユーザが付与した代表輪郭情報が、付与対象画像における３次元モデルＭＤＬの輪郭から離れている場合には、その代表輪郭情報に近い３次元モデルＭＤＬの輪郭に合わせるように、代表輪郭情報を調整する。

【0088】

本実施形態によれば、２次元画像である付与対象画像に付与された代表輪郭情報に基づいて、３次元モデルＭＤＬにおける代表輪郭情報を適切に付与できる。即ち、３次元モデルＭＤＬの奥行を考慮することで、ユーザが意図した輪郭に代表輪郭情報が付与される。また、３次元モデルＭＤＬの輪郭を考慮することで、ユーザが入力した輪郭情報が不正確な場合等であっても、正確な輪郭情報に補正できる。

【0089】

第２変形例では、代表輪郭情報の入力エラーを検出する。教師データ作成システム１０のハードウェア構成は図１と同様である。図１６は、第２変形例を説明する図である。図１６には１つの付与対象画像を示すが、上述したように複数の付与対象画像が表示されてもよい。

【0090】

画像出力部１３０は、３次元モデルＭＤＬから２次元画像を生成し、その２次元画像を付与対象画像ＲＩＭとして出力する。入力受付部１４０は、付与対象画像ＲＩＭの特定領域の輪郭を示す代表輪郭情報ＡＴＩＮｃを代表教師情報として受け付ける。入力受付部１４０は、３次元モデルＭＤＬから２次元画像が生成されるときの視線方向において代表輪郭情報ＡＴＩＮｃの輪郭の奥行上に３次元モデルＭＤＬが無いとき、視線方向の変更を指示するエラー情報を出力する。

【0091】

図１６は、付与対象画像ＲＩＭに表示される３次元モデルＭＤＬと代表輪郭情報ＡＴＩＮｃが重なっていない。即ち、視線方向において代表輪郭情報ＡＴＩＮｃの輪郭の奥行上に３次元モデルＭＤＬが無い。この場合、入力受付部１４０はエラー情報を出力する。例えば、エラー情報は画像出力部１３０に入力され、画像出力部１３０は、エラー情報に基づいて、ユーザに視線方向の変更を促す表示を表示部３００に表示させる。或いは、エラー情報は画像対応付け部１２０に入力され、画像対応付け部１２０は、エラー情報に基づいて、医療画像の対応付けを再実行することで対応付け画像群と３次元モデルを再生成し、画像出力部１３０が付与対象画像を再表示する。

【0092】

本実施形態によれば、３次元モデルＭＤＬに適切でない代表輪郭情報ＡＴＩＮｃが入力されたとき、エラー情報が出力されるので、その適切でない代表輪郭情報が用いられることを防止できる。例えば、適切な３次元モデルが生成されなかった場合、或いは３次元モデルをユーザに提示する際のカメラ視線が適切でない場合等が想定される。本実施形態によれば、これらの場合であっても、適切でない代表輪郭情報が用いられることを防止できる。

【0093】

第３変形例では、対応付け画像群から展開図を生成し、その展開図に基づく付与対象画像を表示する。つまり、第３変形例では、「対応付け画像群を用いて生成された画像」は、展開図である。図１７は、第３変形例における処理のフローチャートである。ステップＳ４１、Ｓ４２は、図２のステップＳ１、Ｓ２と同様であるため説明を省略する。図１８は、第３変形例を説明する図である。

【0094】

ステップＳ４３において、画像対応付け部１２０は、対応付け画像群ＧＩＭにおける医療画像ＩＢ１～ＩＢｎの対応付けに基づいて医療画像ＩＢ１～ＩＢｎを合成することで、展開図ＴＫＺを作成する。具体的には、画像対応付け部１２０は、医療画像間における特徴点の対応関係に基づいて、対応する特徴点の位置が一致するように医療画像ＩＢ１～ＩＢｎを貼り合わせることで、展開図ＴＫＺを作成する。図１８には、ＩＢ１～ＩＢｎのうちＩＢ１～ＩＢ３の貼り合わせの様子を図示しているが、ＩＢ４～ＩＢｎについても同様に貼り合わせる。

【0095】

画像出力部１３０は、展開図ＴＫＺに基づいて付与対象画像を表示部３００に出力する。画像出力部１３０は、例えば展開図ＴＫＺの全体を表示部３００に表示させてもよいし、或いは展開図ＴＫＺのうち特定領域が写った一部を表示部３００に表示させてもよい。

【0096】

ステップＳ４４において、入力受付部１４０は、ユーザが入力した代表教師情報ＡＴＩＮを受け付ける。図１８には、教師情報が輪郭情報である場合を図示している。入力受付部１４０は、入力された代表教師情報を展開図における近くの輪郭に合わせて自動的に調整する。

【0097】

ステップＳ４６において、教師情報付与部１５０は、展開図に付与された代表教師情報に基づいて、展開図に対応付けられた医療画像又は領域に教師情報を付与する。ステップＳ４３において医療画像ＩＢ１～ＩＢｎを貼り合わせることで展開図ＴＫＺを作成しているので、展開図ＴＫＺにおける各医療画像の位置は分かっている。教師情報付与部１５０は、この展開図ＴＫＺにおける各医療画像の位置を用いて、代表教師情報ＡＴＩＮを各医療画像の教師情報に変換する。

【0098】

以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0099】

１０ 教師データ作成システム、１００ 処理部、１１０ 画像取得部、１２０ 画像対応付け部、１３０ 画像出力部、１３１ 表示調整部、１４０ 入力受付部、１４１ 入力調整部、１５０ 教師情報付与部、１６０ 検出部、２００ 記憶部、３００ 表示部、３０１ 矢印、３０２ 医療画像、３０３ 対応付け情報、４００ 操作部、５００ 学習装置、５１０ プロセッサ、５２０ 記憶部、５２１ 教師データ、５２２ 学習モデル、６００ 内視鏡、ＡＴ１～ＡＴｎ 教師情報、ＡＴＥＳ 推定輪郭情報、ＡＴＩＮ 代表教師情報、ＡＴＩＮｂ 代表輪郭情報、ＦＰａ～ＦＰｃ 特徴点、ＧＩＭ 対応付け画像群、ＩＡ１～ＩＡｍ 医療画像、ＩＢ１～ＩＢｎ 医療画像、ＭＤＬ ３次元モデル、ＲＩＭ 付与対象画像、ＴＫＺ 展開図

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】