特開2024-144311学習支援装置、内視鏡システム、学習支援方法および記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024144311
(43)【公開日】2024-10-11
(54)【発明の名称】学習支援装置、内視鏡システム、学習支援方法および記録媒体
(51)【国際特許分類】
A61B 1/045 20060101AFI20241003BHJP
【ＦＩ】
A61B1/045 614
A61B1/045 618
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2024049549
(22)【出願日】2024-03-26
(31)【優先権主張番号】63/455045
(32)【優先日】2023-03-28
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】佐々井 亮太
(72)【発明者】
【氏名】柳原 勝
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA24
4C161CC06
4C161HH52
4C161HH56
4C161JJ08
4C161WW02
4C161WW04
4C161WW06
4C161YY12
(57)【要約】 （修正有）
【課題】臨床画像に近いリアリティのあるトレーニング画像を生成する、学習支援装置を提供する。
【解決手段】一態様は、内視鏡画像内の処置具を認識する学習モデルの作成を支援する学習支援装置であって、プロセッサを備え、該プロセッサが、１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援装置である。
【選択図】図３
【解決手段】一態様は、内視鏡画像内の処置具を認識する学習モデルの作成を支援する学習支援装置であって、プロセッサを備え、該プロセッサが、１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援装置である。
【選択図】図３
【特許請求の範囲】
【請求項1】
内視鏡画像内の処置具を認識する学習モデルの作成を支援する学習支援装置であって、
プロセッサを備え、
該プロセッサが、
１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、
前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援装置。
プロセッサを備え、
該プロセッサが、
１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、
前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援装置。
【請求項2】
前記配置データが、内視鏡画像内の前記処置具の数、前記内視鏡画像内の各前記処置具の先端および基端の位置、前記内視鏡画像内の各前記処置具の面積、前記内視鏡から見た各前記処置具の３次元的な位置および姿勢の内、少なくとも１つを含む、請求項１に記載の学習支援装置。
【請求項3】
前記配置データは、各前記処置具の内視鏡からの距離に関する距離情報を含み、
前記プロセッサは、
前記前景画像内の各前記処置具の彩度、色相および明度の少なくとも１つを前記距離情報に基づいて調整し、
調整された前記前景画像を前記背景画像上に重畳して前記トレーニング画像を生成する、請求項１に記載の学習支援装置。
前記プロセッサは、
前記前景画像内の各前記処置具の彩度、色相および明度の少なくとも１つを前記距離情報に基づいて調整し、
調整された前記前景画像を前記背景画像上に重畳して前記トレーニング画像を生成する、請求項１に記載の学習支援装置。
【請求項4】
前記プロセッサが、
前記前景画像内の各前記処置具の明度を、前記内視鏡から見た各前記処置具の３次元的な位置および姿勢と、内視鏡の照明光の明るさの空間分布と、に基づいて補正し、
補正された前記前景画像を前記背景画像上に重畳して前記トレーニング画像を生成する、請求項１に記載の学習支援装置。
前記前景画像内の各前記処置具の明度を、前記内視鏡から見た各前記処置具の３次元的な位置および姿勢と、内視鏡の照明光の明るさの空間分布と、に基づいて補正し、
補正された前記前景画像を前記背景画像上に重畳して前記トレーニング画像を生成する、請求項１に記載の学習支援装置。
【請求項5】
前記プロセッサが、
前記背景画像の明度分布に基づいて、各前記処置具の明度を調整し、
調整された前記前景画像を前記背景画像上に重畳して前記トレーニング画像を生成する、請求項１に記載の学習支援装置。
前記背景画像の明度分布に基づいて、各前記処置具の明度を調整し、
調整された前記前景画像を前記背景画像上に重畳して前記トレーニング画像を生成する、請求項１に記載の学習支援装置。
【請求項6】
学習用モデルを記憶する記憶部をさらに備え、
前記プロセッサが、前記学習用モデルに前記トレーニング画像を学習させることによって、内視鏡画像内の処置具を認識する学習モデルを作成する、請求項１に記載の学習支援装置。
前記プロセッサが、前記学習用モデルに前記トレーニング画像を学習させることによって、内視鏡画像内の処置具を認識する学習モデルを作成する、請求項１に記載の学習支援装置。
【請求項7】
前記プロセッサが、
明るさが相互に異なる複数の前記トレーニング画像を生成し、
前記複数のトレーニング画像を前記学習用モデルに学習させることによって、内視鏡画像の異なる明るさに対応する複数の学習モデルを作成する、請求項６に記載の学習支援装置。
明るさが相互に異なる複数の前記トレーニング画像を生成し、
前記複数のトレーニング画像を前記学習用モデルに学習させることによって、内視鏡画像の異なる明るさに対応する複数の学習モデルを作成する、請求項６に記載の学習支援装置。
【請求項8】
前記プロセッサが、
前記前景画像内の前記１つ以上の処置具の領域のみを抽出したマスク画像を生成し、
前記マスク画像に基づいて前記トレーニング画像内の前記処置具の領域をアノテーションする、請求項６に記載の学習支援装置。
前記前景画像内の前記１つ以上の処置具の領域のみを抽出したマスク画像を生成し、
前記マスク画像に基づいて前記トレーニング画像内の前記処置具の領域をアノテーションする、請求項６に記載の学習支援装置。
【請求項9】
請求項６の学習支援装置と、
内視鏡画像を取得する内視鏡と、
プロセッサと、前記学習モデルを記憶する記憶部と、を有する画像処理装置と、
を備え、
前記画像処理装置のプロセッサが、前記内視鏡画像を前記学習モデルに入力し、前記学習モデルによる前記内視鏡画像内の前記処置具の認識結果を取得する、内視鏡システム。
内視鏡画像を取得する内視鏡と、
プロセッサと、前記学習モデルを記憶する記憶部と、を有する画像処理装置と、
を備え、
前記画像処理装置のプロセッサが、前記内視鏡画像を前記学習モデルに入力し、前記学習モデルによる前記内視鏡画像内の前記処置具の認識結果を取得する、内視鏡システム。
【請求項10】
前記プロセッサが、
前記内視鏡画像の色相、彩度および回転角度の少なくとも１つを、前記学習モデルの作成に使用された前記トレーニング画像に基づいて補正し、
補正された前記内視鏡画像を前記学習モデルに入力して前記内視鏡画像内の処置具を認識する、請求項９に記載の内視鏡システム。
前記内視鏡画像の色相、彩度および回転角度の少なくとも１つを、前記学習モデルの作成に使用された前記トレーニング画像に基づいて補正し、
補正された前記内視鏡画像を前記学習モデルに入力して前記内視鏡画像内の処置具を認識する、請求項９に記載の内視鏡システム。
【請求項11】
表示装置をさらに備え、
前記画像処理装置のプロセッサが、前記認識結果を前記表示装置に表示する、請求項９に記載の内視鏡システム。
前記画像処理装置のプロセッサが、前記認識結果を前記表示装置に表示する、請求項９に記載の内視鏡システム。
【請求項12】
内視鏡画像内の処置具を認識する学習モデルの作成を支援する学習支援方法であって、
１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、
前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援方法。
１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、
前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援方法。
【請求項13】
請求項１２に記載の学習支援方法をコンピュータに実行させるための学習支援プログラムを記憶した、コンピュータ読み取り可能な非一時的な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習支援装置、内視鏡システム、学習支援方法および記録媒体に関するものである。
【背景技術】
【0002】
内視鏡システムにおいて、内視鏡画像内の処置具を自動認識する技術が使用されている。処置具を認識する技術の１つは深層学習を利用した手法であり、深層学習には、多数のトレーニング画像が必要である。
一方、２つの画像からトレーニング画像を生成する技術が知られている（例えば、特許文献１参照。）。特許文献１において、第１の画像と第２の画像の各画素の強度を単に平均化することによって、トレーニング画像が生成される。
一方、２つの画像からトレーニング画像を生成する技術が知られている（例えば、特許文献１参照。）。特許文献１において、第１の画像と第２の画像の各画素の強度を単に平均化することによって、トレーニング画像が生成される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許第１０６１４３４６号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡手術中の処置具の認識性能を向上するためには、処置具を含む臨床画像か、または、これに近いリアリティのある画像をトレーニング画像として使用することが望ましい。しかし、所望の処置具を含む臨床画像が無いまたは少ないことがある。また、臨床画像が無いまたは少ない処置具について、特許文献１の単純な方法によって、臨床画像に近いリアリティのあるトレーニング画像を生成することは困難である。
【課題を解決するための手段】
【0005】
本発明の一態様は、内視鏡画像内の処置具を認識する学習モデルの作成を支援する学習支援装置であって、プロセッサを備え、該プロセッサが、１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援装置である。
【0006】
本発明の他の態様は、上記学習支援装置と、内視鏡画像を取得する内視鏡と、プロセッサと、前記学習モデルを記憶する記憶部と、を有する画像処理装置と、を備え、前記画像処理装置のプロセッサが、前記内視鏡画像を前記学習モデルに入力し、前記学習モデルによる前記内視鏡画像内の前記処置具の認識結果を取得する、内視鏡システムである。
【0007】
本発明の他の態様は、内視鏡画像内の処置具を認識する学習モデルの作成を支援する学習支援方法であって、１つ以上の処置具の画像を配置データに基づいて画像領域内に配置することによって前記１つ以上の処置具を含む前景画像を生成し、前記配置データは、内視鏡から見た前記１つ以上の処置具の３次元的な配置を示すデータであり、前記前景画像を背景画像上に重畳してトレーニング画像を生成する、学習支援方法である。
本発明の他の態様は、上記の学習支援方法をコンピュータに実行させるための学習支援プログラムを記憶した、コンピュータ読み取り可能な非一時的な記録媒体である。
本発明の他の態様は、上記の学習支援方法をコンピュータに実行させるための学習支援プログラムを記憶した、コンピュータ読み取り可能な非一時的な記録媒体である。
【図面の簡単な説明】
【0008】
【図1】学習支援装置が適用される内視鏡システムの一例の全体構成図である。
【図2A】追従制御を説明する内視鏡画像を示す図である。
【図2B】追従制御を説明する内視鏡画像を示す図である。
【図3】第１実施形態に係る学習支援装置の構成を示すブロック図である。
【図4】処置具に関する配置データの一例を示す図である。
【図5A】腹腔鏡手術における内視鏡ポートおよび処置具ポートの配置と観察領域の一例を示す図である。
【図5B】腹腔鏡手術における内視鏡ポートおよび処置具ポートの配置と観察領域の他の例を示す図である。
【図5C】腹腔鏡手術における内視鏡ポートおよび処置具ポートの配置と観察領域の他の例を示す図である。
【図6A】腹腔内における処置具および内視鏡の３次元的な位置関係を示す図である。
【図7】第１実施形態に係る学習支援方法のフローチャートである。
【図9】配置データに基づく処置具画像の選択方法を説明する図である。
【図10】第１実施形態に係る学習支援方法の変形例のフローチャートである。
【図11】第２実施形態に係る学習支援装置の構成を示すブロック図である。
【図12】配置データの作成方法を説明する図である。
【図13】第２実施形態に係る学習支援方法のフローチャートである。
【図15】第３実施形態に係る学習支援装置の構成を示すブロック図である。
【図16】内視鏡の照明光の明るさの空間分布を説明する図である。
【図17】第３実施形態に係る学習支援方法のフローチャートである。
【図18】第４実施形態に係る学習支援装置の構成を示すブロック図である。
【図19】第４実施形態に係る学習支援方法のフローチャートである。
【図20】背景画像の明度分布に基づく処置具の明度の調整を説明する図である。
【図21】第５実施形態に係る内視鏡システムの構成を示すブロック図である。
【図22A】第５実施形態に係る学習支援方法のフローチャートである。
【図22B】第５実施形態に係る画像処理方法のフローチャートである。
【図23】第５実施形態に係る学習支援方法を説明する図である。
【図24】表示装置に表示される処置具の認識結果の例を示す図である。
【図25】トレーニング画像に基づく内視鏡画像の補正を説明する図である。
【発明を実施するための形態】
【0009】
（第１実施形態）
本発明の第１実施形態に係る学習支援装置および学習支援方法について図面を参照して説明する。
本実施形態に係る学習支援装置１０は、内視鏡画像内の処置具を認識する学習モデルの作成を支援するものであり、具体的には、学習モデルの作成に必要なトレーニング画像を生成する。
本発明の第１実施形態に係る学習支援装置および学習支援方法について図面を参照して説明する。
本実施形態に係る学習支援装置１０は、内視鏡画像内の処置具を認識する学習モデルの作成を支援するものであり、具体的には、学習モデルの作成に必要なトレーニング画像を生成する。
【0010】
図１は、学習支援装置１０によって作成された学習モデルが適用される内視鏡システム１００の一例を示している。内視鏡システム１００は、内視鏡１１と、内視鏡１１の位置および姿勢を変更する移動装置１２と、制御装置１３と、表示装置１４と、を備える。内視鏡システム１００は、内視鏡１１および処置具１６を被検体Ｘである患者の体内に挿入し、処置具１６を内視鏡１１によって観察しながら処置具１６で処置対象部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
【0011】
制御装置１３は、処置具１６の位置に基づいて移動装置１２を制御することによって内視鏡１１の視野を処置具１６に追従させる追従制御を行う。図２Ａおよび図２Ｂは、追従制御の一例を示している。この例において、内視鏡画像Ｇ内の所定の特定領域Ｈ内に処置具１６の先端が配置されるように、移動装置１２が制御される。すなわち、先端が特定領域Ｈ内に位置するときには内視鏡１１は移動せず（図２Ａ参照。）、先端が特定領域Ｈ外に位置するときには、先端が特定領域Ｈに入るように内視鏡１１が移動させられる（図２Ｂ参照。）。
学習モデルは、例えば、追従制御中に内視鏡画像Ｇ内の追従対象の処置具１６を認識するために使用される。
学習モデルは、例えば、追従制御中に内視鏡画像Ｇ内の追従対象の処置具１６を認識するために使用される。
【0012】
図３に示されるように、学習支援装置１０は、中央演算処理装置のようなプロセッサ１と、記憶部２と、メモリ３と、入出力部４と、を備える。
記憶部２は、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ａを記憶している。さらに、記憶部２は、学習支援方法に必要なサンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂおよび配置データ６ａを記憶している。
記憶部２は、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ａを記憶している。さらに、記憶部２は、学習支援方法に必要なサンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂおよび配置データ６ａを記憶している。
【0013】
プロセッサ１は、記憶部２からＲＡＭ（Random Access Memory）等のメモリ３に読み込まれた学習支援プログラム５ａに従って、サンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂからトレーニング画像Ｄを生成する。
入出力部４は、公知の入力インタフェースおよび出力インタフェースを有する。
入出力部４は、公知の入力インタフェースおよび出力インタフェースを有する。
【0014】
サンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂは、臨床画像内に映り得る物体の画像である。臨床画像は、実際の内視鏡手術中に内視鏡１１によって撮影される内視鏡画像である。本実施形態において、サンプル画像群は、複数の処置具画像群Ａ１，Ａ２，Ａ３，…と、背景画像群Ｂと、を含む。
【0015】
処置具画像群Ａ１，Ａ２，Ａ３，…は、処置具１６ａ，１６ｂ，１６ｃ，…をそれぞれ含む複数の処置具画像からなり、処置具１６ａ，１６ｂ，１６ｃ，…は相互に異なる。
処置具画像群Ａ１の複数の処置具画像は、処置具１６ａの奥行方向の距離（すなわち、大きさ）および姿勢が相互に異なる複数のカラーの画像からなる。例えば、複数の処置具画像は、任意の背景上に様々な距離および様々な姿勢で配置された処置具１６ａを内視鏡で撮影することによって取得される。同様に、他の処置具画像群Ａ２，Ａ３，…の複数の処置具画像も、処置具１６ｂ，１６ｃ，…の距離および姿勢が相互に異なる複数のカラーの画像からなる。
背景画像群Ｂは、相互に異なる複数のカラーの背景画像からなる。背景画像は、臓器の画像であり、例えば、腹腔内の様々な位置を様々な角度から内視鏡で撮影することによって取得される。
処置具画像群Ａ１の複数の処置具画像は、処置具１６ａの奥行方向の距離（すなわち、大きさ）および姿勢が相互に異なる複数のカラーの画像からなる。例えば、複数の処置具画像は、任意の背景上に様々な距離および様々な姿勢で配置された処置具１６ａを内視鏡で撮影することによって取得される。同様に、他の処置具画像群Ａ２，Ａ３，…の複数の処置具画像も、処置具１６ｂ，１６ｃ，…の距離および姿勢が相互に異なる複数のカラーの画像からなる。
背景画像群Ｂは、相互に異なる複数のカラーの背景画像からなる。背景画像は、臓器の画像であり、例えば、腹腔内の様々な位置を様々な角度から内視鏡で撮影することによって取得される。
【0016】
配置データ６ａは、内視鏡から見た１つ以上の処置具の３次元的な配置を示すデータであり、１つ以上の処置具の各々の内視鏡からの距離に関する距離情報を含む。配置データ６ａは、内視鏡手術中に実際に発生し得る臨床画像内の処置具の３次元的な配置に基づいて作成される。
【0017】
図４は、配置データ６ａの一例を示している。配置データ６ａは、１つ以上の処置具１６を含む画像データであり、内視鏡画像内における、処置具１６の数と、各処置具１６の種類、先端ａおよび基端ｂの各々の位置ならびに面積Ｓａと、の情報を含む。先端ａから基端ｂまでの処置具１６の長さｄと面積Ｓａは、内視鏡から処置具１６までの距離と相関し、距離が近い程、長さｄおよび面積Ｓａは大きくなる。本実施形態において、距離情報は、長さｄおよび面積Ｓａを含む。
内視鏡手術中に起こり得る処置具の配置は、術式等の内視鏡手術の条件によって制約されるので、配置のパターンの数は有限である。内視鏡手術中に起こり得る処置具のあらゆる配置を網羅する多数の配置データ６ａが準備され、例えば、数千以上の配置データ６ａが準備される。
内視鏡手術中に起こり得る処置具の配置は、術式等の内視鏡手術の条件によって制約されるので、配置のパターンの数は有限である。内視鏡手術中に起こり得る処置具のあらゆる配置を網羅する多数の配置データ６ａが準備され、例えば、数千以上の配置データ６ａが準備される。
【0018】
図５Ａから図６Ｂは、配置データ６ａの作成方法の一例を説明している。
図５Ａから図５Ｃに示されるように、腹腔鏡手術の術式毎に、内視鏡ポートＰ１および処置具ポートＰ２の配置と、内視鏡１１によって観察される腹腔内の観察領域Ｑの位置は、決まっている。図５Ａ、図５Ｂおよび図５Ｃは、Ｓ状結腸切除術、胆のう摘出手術および鼠経ヘルニア根治術をそれぞれ示している。図６Ａに示されるように、内視鏡１１および処置具１６は、患者Ｘの腹壁に設けられたポートＰ１，Ｐ２から腹腔内にそれぞれ挿入される。
図５Ａから図５Ｃに示されるように、腹腔鏡手術の術式毎に、内視鏡ポートＰ１および処置具ポートＰ２の配置と、内視鏡１１によって観察される腹腔内の観察領域Ｑの位置は、決まっている。図５Ａ、図５Ｂおよび図５Ｃは、Ｓ状結腸切除術、胆のう摘出手術および鼠経ヘルニア根治術をそれぞれ示している。図６Ａに示されるように、内視鏡１１および処置具１６は、患者Ｘの腹壁に設けられたポートＰ１，Ｐ２から腹腔内にそれぞれ挿入される。
【0019】
内視鏡１１および処置具１６の動きは、ポートＰ１，Ｐ２を中心とする揺動および長手方向の移動に制限されるので、各処置具１６が内視鏡１１の先端に対して取り得る３次元な位置および姿勢は、ポートＰ１，Ｐ２の配置および観察領域Ｑによって決まるある一定の範囲内に制限される。したがって、臨床画像内の処置具１６の数、位置および姿勢の範囲は術式に応じて決まる。図６Ｂに示されるように、前記一定の範囲内で内視鏡１１の先端に対する各処置具１６の位置および姿勢を網羅的に変化させることによって、臨床画像内の処置具の数、位置ａ，ｂおよび面積Ｓａを網羅する多数の配置データ６ａが生成される。
【0020】
次に、学習支援装置１０が実行する学習支援方法について説明する。
図７に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１と、前景画像Ｃの色を調整するステップＳ２と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
図８は、本実施形態に係る学習支援方法における画像処理を説明している。
図７に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１と、前景画像Ｃの色を調整するステップＳ２と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
図８は、本実施形態に係る学習支援方法における画像処理を説明している。
【0021】
プロセッサ１は、学習支援方法の実行に必要なデータ、具体的には、画像群Ａ１，Ａ２，Ａ３，…，Ｂおよび配置データ６ａを記憶部２から読み込む（ステップＳ０）。
ステップＳ１において、プロセッサ１は、複数の処置具画像群Ａ１，Ａ２，Ａ３，…から、配置データ６ａに基づいて配置された１つ以上の処置具を含む前景画像Ｃを生成する。
ステップＳ１において、プロセッサ１は、複数の処置具画像群Ａ１，Ａ２，Ａ３，…から、配置データ６ａに基づいて配置された１つ以上の処置具を含む前景画像Ｃを生成する。
【0022】
具体的には、プロセッサ１は、配置データ６ａに基づいて処置具画像群Ａ１，Ａ２，Ａ３，…から１以上の処置具画像Ａ１ａ，Ａ３ａ，Ａ３ｂを選択する（ステップＳ１ａ）。
図９は、１つの処置具１６ａと３つの処置具１６ｃとを含む配置データ６ａに基づく処置具画像の選択方法を説明している。
プロセッサ１は、複数の処置具画像群Ａ１，Ａ２，Ａ３，…から、配置データ６ａに含まれる処置具と同一の種類の処置具の画像群Ａ１，Ａ３を選択する。次に、プロセッサ１は、配置データ６ａから各処置具の長さｄを算出し、長さｄおよび面積Ｓａと同一または近い長さおよび面積を有する処置具の処置具画像Ａ１ａ，Ａ３ａ，Ａ３ｂ，Ａ３ｃを処置具画像群Ａ１，Ａ３から選択する。例えば、プロセッサ１は、長さｄおよび面積Ｓａと、各処置具画像内の処置具の長さおよび面積との一致度を算出し、一致度が閾値以下である処置具画像を選択する。
図９は、１つの処置具１６ａと３つの処置具１６ｃとを含む配置データ６ａに基づく処置具画像の選択方法を説明している。
プロセッサ１は、複数の処置具画像群Ａ１，Ａ２，Ａ３，…から、配置データ６ａに含まれる処置具と同一の種類の処置具の画像群Ａ１，Ａ３を選択する。次に、プロセッサ１は、配置データ６ａから各処置具の長さｄを算出し、長さｄおよび面積Ｓａと同一または近い長さおよび面積を有する処置具の処置具画像Ａ１ａ，Ａ３ａ，Ａ３ｂ，Ａ３ｃを処置具画像群Ａ１，Ａ３から選択する。例えば、プロセッサ１は、長さｄおよび面積Ｓａと、各処置具画像内の処置具の長さおよび面積との一致度を算出し、一致度が閾値以下である処置具画像を選択する。
【0023】
次に、プロセッサ１は、選択された各処置具画像Ａ１ａ，Ａ３ａ，Ａ３ｂの背景を除去し、各処置具画像Ａ１ａ，Ａ３ａ，Ａ３ｂ内の処置具１６ａ，１６ｃの画像を抽出する（ステップＳ１ｂ）。
次に、プロセッサ１は、処置具１６ａ，１６ｃの画像を配置データ６ａに基づいて２次元の画像領域Ｊ内に配置して前景画像Ｃを生成する（ステップＳ１ｃ）。
次に、プロセッサ１は、処置具１６ａ，１６ｃの画像を配置データ６ａに基づいて２次元の画像領域Ｊ内に配置して前景画像Ｃを生成する（ステップＳ１ｃ）。
【0024】
次のステップＳ２において、プロセッサ１は、配置データ６ａに含まれる各処置具１６ａ，１６ｃの距離情報に基づき、前景画像Ｃ内の各処置具１６ａ，１６ｃの色を調整し、それにより調整された前景画像Ｃ’を生成する。
本明細書において、「色」は、色の３要素である彩度、色相および明度のことを言い、「色を調整する」は、彩度、色相および明度の少なくとも１つを調整することを言う。
本明細書において、「色」は、色の３要素である彩度、色相および明度のことを言い、「色を調整する」は、彩度、色相および明度の少なくとも１つを調整することを言う。
【0025】
例えば、プロセッサ１は、各処置具１６ａ，１６ｃの内視鏡からの距離を各処置具１６ａ，１６ｃの長さｄおよび面積Ｓａから見積もり、距離が近い程、明度が高くなるように、各処置具１６ａ，１６ｃの明度を調整する。
プロセッサ１は、距離に基づいて彩度および色相を調整してもよい。例えば、プロセッサ１は、距離が近い程、彩度が高くなるように彩度を調整してもよく、距離が近い程、色相が内視鏡の照明光の色相（例えば白）に近付くように色相を調整してもよい。
プロセッサ１は、距離に基づいて彩度および色相を調整してもよい。例えば、プロセッサ１は、距離が近い程、彩度が高くなるように彩度を調整してもよく、距離が近い程、色相が内視鏡の照明光の色相（例えば白）に近付くように色相を調整してもよい。
【0026】
次のステップＳ３において、プロセッサ１は、背景画像群Ｂから任意の１つの背景画像Ｂａを選択し（ステップＳ３ａ）、色が調整された前景画像Ｃ’を背景画像Ｂａ上に重畳してトレーニング画像Ｄを生成する（ステップＳ３ｂ）。
プロセッサ１は、ステップＳ１～Ｓ３を繰り返し、全ての配置データ６ａを使用して多数のトレーニング画像Ｄを生成する（ステップＳ４）。これにより、内視鏡手術中に起こり得る臨床画像内の処置具の配置を網羅した多数のトレーニング画像Ｄが生成される。
プロセッサ１は、ステップＳ１～Ｓ３を繰り返し、全ての配置データ６ａを使用して多数のトレーニング画像Ｄを生成する（ステップＳ４）。これにより、内視鏡手術中に起こり得る臨床画像内の処置具の配置を網羅した多数のトレーニング画像Ｄが生成される。
【0027】
このように、本実施形態によれば、トレーニング画像Ｄは、画像群Ａ１，Ａ２，Ａ３，…，Ｂから生成され、処置具を含む臨床画像は不要である。したがって、臨床画像が無いまたは少ない処置具を含む様々な処置具用のトレーニング画像Ｄを生成することができ、それにより、臨床画像の無いまたは少ない処置具を含む様々な処置具用の学習モデルの作成を支援することができる。
【0028】
また、本実施形態によれば、実際の内視鏡手術中の処置具の配置に基づいて、配置データ６ａが事前に作成される。このような配置データ６ａを使用することによって、処置具の配置および色が臨床画像に近いリアリティのあるトレーニング画像Ｄを生成することができる。また、このようなトレーニング画像Ｄを学習することによって、臨床画像内の処置具の認識精度の高い学習モデルを生成することができ、内視鏡手術中の内視鏡画像内の処置具の認識性能を向上することができる。
【0029】
具体的には、前景画像Ｃ内の処置具の配置は、位置ａ，ｂおよび面積Ｓａに基づいて決定され、それにより、トレーニング画像Ｄ内の処置具の配置は、臨床画像内の処置具の３次元的な配置と同一または近くなる。また、各処置具の色を内視鏡からの距離に基づいて調整することによって、トレーニング画像Ｄ内の各処置具の色は、臨床画像内の各処置具の色と同一または近くなる。
このように、臨床画像内の処置具の配置および色との乖離が少ないトレーニング画像Ｄを生成することができる。
このように、臨床画像内の処置具の配置および色との乖離が少ないトレーニング画像Ｄを生成することができる。
【0030】
図１０に示されるように、本実施形態の学習支援方法は、前景画像Ｃに基づいてマスク画像Ｅを生成するステップＳ５と、マスク画像Ｅに基づいてトレーニング画像ＤをアノテーションするステップＳ６と、をさらに含んでいてもよい。
図１０に示されるステップＳ５，Ｓ６のタイミングは一例であり、適宜変更することができる。
図１０に示されるステップＳ５，Ｓ６のタイミングは一例であり、適宜変更することができる。
【0031】
図８に示されるように、マスク画像Ｅは、前景画像Ｃ内の処置具１６ａ，１６ｃの領域のみが抽出された画像である。ステップＳ６において、プロセッサ１は、マスク画像Ｅ内の処置具１６ａ，１６ｃの領域と同一位置の領域をトレーニング画像Ｄから選択し、選択された領域の位置を処置具の領域の位置の情報としてトレーニング画像Ｄに付す。
【0032】
処置具を認識する学習モデルを作成するためには、処置具の領域の位置の情報を各トレーニング画像Ｄに付すアノテーションが必要である。前景画像Ｃからマスク画像Ｅを生成することによって、トレーニング画像Ｄのアノテーションを自動化し、多数のトレーニング画像Ｄのアノテーションをプロセッサ１に実行させることができる。また、前景画像Ｃ内の処置具の領域の位置はトレーニング画像Ｄ内の処置具の領域の位置と一致するので、前景画像Ｃから生成されたマスク画像Ｅを使用することによって、トレーニング画像Ｄに正確にアノテーションすることができる。
【0033】
図１０に示されるように、本実施形態の学習支援方法は、複数のトレーニング画像Ｄを学習することによって内視鏡画像内の処置具を認識する学習モデルを作成するステップＳ７をさらに含んでいてもよい。この場合、記憶部２は、トレーニング画像Ｄを学習して学習モデルを作成する学習用モデル７（図３参照。）をさらに記憶している。
【0034】
アノテーション後、プロセッサ１は、アノテーションされた多数のトレーニング画像Ｄを学習用モデル７に学習させ、学習用モデル７は学習モデルを作成する。
この構成によれば、学習支援装置１０によって、トレーニング画像Ｄの生成から学習モデルの作成までの全ての処理を行うことができる。
この構成によれば、学習支援装置１０によって、トレーニング画像Ｄの生成から学習モデルの作成までの全ての処理を行うことができる。
【0035】
本実施形態の学習支援方法は、ステップＳ２を必ずしも含んでいなくてもよい。すなわち、ステップＳ３において、プロセッサ１は、前景画像Ｃを背景画像Ｂａ上に重畳してトレーニング画像Ｄを生成してもよい。
配置データ６ａに基づいて生成された前景画像Ｃは、処置具の配置が臨床画像に近い画像である。したがって、前景画像Ｃを使用することによっても、リアリティのあるトレーニング画像Ｄを生成することができる。
配置データ６ａに基づいて生成された前景画像Ｃは、処置具の配置が臨床画像に近い画像である。したがって、前景画像Ｃを使用することによっても、リアリティのあるトレーニング画像Ｄを生成することができる。
【0036】
（第２実施形態）
次に、本発明の第２実施形態に係る学習支援装置および学習支援方法について説明する。
本実施形態は、処置具画像に代えてＣＧ（computer graphics）から前景画像Ｃを生成する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第２実施形態に係る学習支援装置および学習支援方法について説明する。
本実施形態は、処置具画像に代えてＣＧ（computer graphics）から前景画像Ｃを生成する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
【0037】
図１１に示されるように、本実施形態に係る学習支援装置２０は、プロセッサ１と、記憶部２と、メモリ３と、入出力部４と、を備える。
記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ｂを記憶している。さらに、記憶部２は、学習支援方法に必要な、複数のＣＡＤ（Computer Aided Design）データＩ１，Ｉ２，Ｉ３，…と、背景画像群Ｂと、配置データ６ｂと、記憶している。
ＣＡＤデータＩ１，Ｉ２，Ｉ３，…はそれぞれ、処置具１６ａ，１６ｂ，１６ｃ，…の３次元モデルの３次元ＣＡＤデータであり、処置具１６ａ，１６ｂ，１６ｃ，…は相互に異なる。
記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ｂを記憶している。さらに、記憶部２は、学習支援方法に必要な、複数のＣＡＤ（Computer Aided Design）データＩ１，Ｉ２，Ｉ３，…と、背景画像群Ｂと、配置データ６ｂと、記憶している。
ＣＡＤデータＩ１，Ｉ２，Ｉ３，…はそれぞれ、処置具１６ａ，１６ｂ，１６ｃ，…の３次元モデルの３次元ＣＡＤデータであり、処置具１６ａ，１６ｂ，１６ｃ，…は相互に異なる。
【0038】
配置データ６ｂは、処置具の数、および、各処置具の位置姿勢の情報を含む。処置具の位置姿勢は、内視鏡から見た処置具の３次元的な位置および姿勢である。本実施形態において、距離情報は、位置姿勢の情報を含む。
本実施形態においても、内視鏡手術中に起こり得る臨床画像内の処置具のあらゆる配置を網羅する多数の配置データ６ｂが準備され、例えば、数千以上の配置データ６ｂが準備される。
本実施形態においても、内視鏡手術中に起こり得る臨床画像内の処置具のあらゆる配置を網羅する多数の配置データ６ｂが準備され、例えば、数千以上の配置データ６ｂが準備される。
【0039】
図１２は、配置データ６ｂの作成方法の一例を説明している。
上述したように、各処置具１６が内視鏡１１の先端に対して取り得る３次元な位置および姿勢は、各術式のポートＰ１，Ｐ２の配置および観察領域Ｑによって決まるある一定の範囲内に制限される。前記一定の範囲内で内視鏡１１の先端に対する各処置具１６の位置および姿勢を網羅的に変化させることによって、臨床画像内の処置具の数および各処置具の位置姿勢を網羅する多数の配置データ６ｂが生成される。
上述したように、各処置具１６が内視鏡１１の先端に対して取り得る３次元な位置および姿勢は、各術式のポートＰ１，Ｐ２の配置および観察領域Ｑによって決まるある一定の範囲内に制限される。前記一定の範囲内で内視鏡１１の先端に対する各処置具１６の位置および姿勢を網羅的に変化させることによって、臨床画像内の処置具の数および各処置具の位置姿勢を網羅する多数の配置データ６ｂが生成される。
【0040】
次に、学習支援装置２０が実行する学習支援方法について説明する。
図１３に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１１と、前景画像Ｃの色を調整するステップＳ２１と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
図１４は、本実施形態に係る学習支援方法における画像処理を説明している。
図１３に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１１と、前景画像Ｃの色を調整するステップＳ２１と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
図１４は、本実施形態に係る学習支援方法における画像処理を説明している。
【0041】
プロセッサ１は、学習支援方法の実行に必要なデータ、具体的には、ＣＡＤデータＩ１，Ｉ２，Ｉ３，…、背景画像群Ｂおよび配置データ６ｂを記憶部２から読み込む（ステップＳ０）。
ステップＳ１１において、プロセッサ１は、複数のＣＡＤデータＩ１，Ｉ２，Ｉ３，…から、配置データ６ｂに基づいて配置された１つ以上の処置具を含む前景画像Ｃを生成する。
具体的には、プロセッサ１は、複数のＣＡＤデータＩ１，Ｉ２，Ｉ３，…から、配置データ６ｂに含まれる処置具と同一の種類の処置具のＣＡＤデータを選択する（ステップＳ１１ａ）。
ステップＳ１１において、プロセッサ１は、複数のＣＡＤデータＩ１，Ｉ２，Ｉ３，…から、配置データ６ｂに基づいて配置された１つ以上の処置具を含む前景画像Ｃを生成する。
具体的には、プロセッサ１は、複数のＣＡＤデータＩ１，Ｉ２，Ｉ３，…から、配置データ６ｂに含まれる処置具と同一の種類の処置具のＣＡＤデータを選択する（ステップＳ１１ａ）。
【0042】
次に、プロセッサ１は、配置データ６ｂ内の各処置具の位置姿勢に基づいて、３次元の画像領域Ｊ内にＣＡＤデータの３次元モデルからなる処置具１６ａ，１６ｃの画像を配置し、それにより、３次元ＣＧ画像を作成する（ステップＳ１１ｂ）。
次に、プロセッサ１は、内視鏡１１から見た処置具１６ａ，１６ｃの位置姿勢に基づいて３次元ＣＧ画像を２次元化することによって、処置具１６ａ，１６ｃを内視鏡から見た２次元ＣＧ画像である前景画像Ｃを生成する（ステップＳ１１ｃ）。
次に、プロセッサ１は、内視鏡１１から見た処置具１６ａ，１６ｃの位置姿勢に基づいて３次元ＣＧ画像を２次元化することによって、処置具１６ａ，１６ｃを内視鏡から見た２次元ＣＧ画像である前景画像Ｃを生成する（ステップＳ１１ｃ）。
【0043】
次のステップＳ２１において、プロセッサ１は、配置データ６ｂに含まれる各処置具の距離情報に基づき、前景画像Ｃ内の各処置具１６ａ，１６ｃの色を調整し、それにより前景画像Ｃ’を生成する。
例えば、プロセッサ１は、各処置具１６ａ，１６ｃの内視鏡からの距離を各処置具１６ａ，１６ｃの位置姿勢から算出し、距離が近い程、明度が高くなるように、各処置具１６ａ，１６ｃの明度を調整する。第１実施形態と同様、プロセッサ１は、距離に基づいて彩度および色相を調整してもよい。
ステップＳ３，Ｓ４は、第１実施形態において説明した通りである。
例えば、プロセッサ１は、各処置具１６ａ，１６ｃの内視鏡からの距離を各処置具１６ａ，１６ｃの位置姿勢から算出し、距離が近い程、明度が高くなるように、各処置具１６ａ，１６ｃの明度を調整する。第１実施形態と同様、プロセッサ１は、距離に基づいて彩度および色相を調整してもよい。
ステップＳ３，Ｓ４は、第１実施形態において説明した通りである。
【0044】
このように、本実施形態によれば、トレーニング画像Ｄは、ＣＡＤデータＩ１，Ｉ２，Ｉ３および背景画像群Ｂから生成され、処置具を含む臨床画像は不要である。したがって、臨床画像が無いまたは少ない処置具を含む様々な処置具用のトレーニング画像Ｄを生成することができ、それにより、臨床画像の無いまたは少ない処置具を含む様々な処置具用の学習モデルの作成を支援することができる。
【0045】
また、本実施形態によれば、実際の内視鏡手術中の処置具の配置に基づいて、配置データ６ｂが事前に作成される。このような配置データ６ｂを使用することによって、処置具の配置および色が臨床画像に近いリアリティのあるトレーニング画像Ｄを生成することができる。また、このようなトレーニング画像Ｄを学習することによって、臨床画像内の処置具の認識精度の高い学習モデルを生成することができ、内視鏡手術中の内視鏡画像内の処置具の認識性能を向上することができる。
【0046】
具体的には、前景画像Ｃ内の処置具の配置は、配置データ６ｂに含まれる各処置具の位置姿勢に基づいて決定され、それにより、トレーニング画像Ｄ内の処置具の配置は、臨床画像内の処置具の３次元的な配置と同一または近くなる。また、各処置具の色を内視鏡からの距離に基づいて調整することによって、トレーニング画像Ｄ内の各処置具の色は、臨床画像内の各処置具の色と同一または近くなる。
このように、臨床画像内の処置具の配置および色との乖離が少ないトレーニング画像Ｄを生成することができる。
このように、臨床画像内の処置具の配置および色との乖離が少ないトレーニング画像Ｄを生成することができる。
【0047】
第１実施形態と同様、本実施形態の学習支援方法も、ステップＳ５，Ｓ６，Ｓ７をさらに含んでいてもよく、また、ステップＳ２を含んでいなくてもよい。
【0048】
（第３実施形態）
次に、本発明の第３実施形態に係る学習支援装置および学習支援方法について説明する。
本実施形態は、内視鏡１１の照明に基づいて前景画像Ｃの色を調整する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第３実施形態に係る学習支援装置および学習支援方法について説明する。
本実施形態は、内視鏡１１の照明に基づいて前景画像Ｃの色を調整する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
【0049】
図１５に示されるように、本実施形態に係る学習支援装置３０は、プロセッサ１と、記憶部２と、メモリ３と、入出力部４と、を備える。
記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ｃを記憶している。さらに、記憶部２は、学習支援方法に必要なサンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂ、配置データ６ｃおよび照明の数式モデル８を記憶している。
記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ｃを記憶している。さらに、記憶部２は、学習支援方法に必要なサンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂ、配置データ６ｃおよび照明の数式モデル８を記憶している。
【0050】
配置データ６ｃは、第１実施形態において説明した処置具の数、各処置具の種類、各処置具の先端および基端の位置ならびに各処置具の面積の情報に加えて、内視鏡から見た各処置具の位置姿勢情報を含む。
位置姿勢情報は、内視鏡から見た処置具の３次元的な位置および姿勢の情報である。例えば、位置姿勢情報は、内視鏡によって処置具画像を撮影したときの、内視鏡に対する処置具の３次元的な位置および姿勢の情報であり、処置具画像と位置姿勢情報とのペアが記憶部２に記憶される。本実施形態において、距離情報は、位置姿勢情報を含む。
位置姿勢情報は、内視鏡から見た処置具の３次元的な位置および姿勢の情報である。例えば、位置姿勢情報は、内視鏡によって処置具画像を撮影したときの、内視鏡に対する処置具の３次元的な位置および姿勢の情報であり、処置具画像と位置姿勢情報とのペアが記憶部２に記憶される。本実施形態において、距離情報は、位置姿勢情報を含む。
【0051】
図１６に示されるように、内視鏡手術において、内視鏡１１の先端から射出される照明光Ｌで処置具１６は照明される。照明光Ｌは、明るさの空間分布を有し、内視鏡１１の先端から離れるにつれて暗くなる。したがって、臨床画像内の処置具の明度は、内視鏡１１の先端から遠い程、低くなる。
数式モデル８は、照明光Ｌの明るさの空間分布を表現する数式モデルであり、例えば、内視鏡手術に使用される内視鏡１１および照明光Ｌの光学特性に基づいて作成される。
数式モデル８は、照明光Ｌの明るさの空間分布を表現する数式モデルであり、例えば、内視鏡手術に使用される内視鏡１１および照明光Ｌの光学特性に基づいて作成される。
【0052】
次に、学習支援装置３０が実行する学習支援方法について説明する。
図１７に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１と、前景画像Ｃの色を調整するステップＳ２２と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
図１７に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１と、前景画像Ｃの色を調整するステップＳ２２と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
【0053】
プロセッサ１は、学習支援方法の実行に必要なデータ、具体的には、画像群Ａ１，Ａ２、Ａ３，…，Ｂ、配置データ６ｃおよび数式モデル８を記憶部２から読み込む（ステップＳ０）。
ステップＳ１において、プロセッサ１は、処置具画像群Ａ１，Ａ２，Ａ３，…から１以上の処置具画像Ａ１ａ，Ａ３ａ，Ａ３ｂを位置姿勢情報と一緒に選択する（ステップＳ１ａ）。ステップＳ１のその他の処理は、第１実施形態において説明した通りである。
ステップＳ１において、プロセッサ１は、処置具画像群Ａ１，Ａ２，Ａ３，…から１以上の処置具画像Ａ１ａ，Ａ３ａ，Ａ３ｂを位置姿勢情報と一緒に選択する（ステップＳ１ａ）。ステップＳ１のその他の処理は、第１実施形態において説明した通りである。
【0054】
ステップＳ２２において、プロセッサ１は、前景画像Ｃ内の各処置具に対応する位置姿勢情報と、数式モデル８とに基づき、前景画像Ｃ内の各処置具の明度を調整し、それにより、前景画像Ｃ’を生成する。前景画像Ｃ’において、各処置具の明度は内視鏡１１からの距離に応じて異なり、距離が近い程、明度が高くなる。
ステップＳ３，Ｓ４は、第１実施形態において説明した通りである。
ステップＳ３，Ｓ４は、第１実施形態において説明した通りである。
【0055】
第１実施形態と同様、本実施形態によれば、臨床画像が無いまたは少ない処置具を含む様々な処置具用のトレーニング画像Ｄを生成することができ、それにより、臨床画像の無いまたは少ない処置具を含む様々な処置具用の学習モデルの作成を支援することができる。
また、本実施形態によれば、配置データ６ｃを使用することによって、処置具の配置が臨床画像に近いリアリティのあるトレーニング画像Ｄを生成することができ、それにより、臨床画像内の処置具の認識精度の高い学習モデルを生成することができ、内視鏡手術中の内視鏡画像内の処置具の認識性能を向上することができる。
また、本実施形態によれば、配置データ６ｃを使用することによって、処置具の配置が臨床画像に近いリアリティのあるトレーニング画像Ｄを生成することができ、それにより、臨床画像内の処置具の認識精度の高い学習モデルを生成することができ、内視鏡手術中の内視鏡画像内の処置具の認識性能を向上することができる。
【0056】
また、本実施形態によれば、前景画像Ｃ内の各処置具の明度が、位置姿勢情報および数式モデル８に基づいて調整され、それにより、トレーニング画像Ｄ内の各処置具の明度は、臨床画像内の各処置具の明度と同一または近くなる。このような前景画像Ｃ’から、臨床画像内の処置具の明度との乖離が少ないトレーニング画像Ｄを生成することができる。
第１実施形態と同様、本実施形態の学習支援方法も、ステップＳ５，Ｓ６，Ｓ７をさらに含んでいてもよい
第１実施形態と同様、本実施形態の学習支援方法も、ステップＳ５，Ｓ６，Ｓ７をさらに含んでいてもよい
【0057】
本実施形態において、プロセッサ１は、処置具画像に代えて、ＣＧ（computer graphics）から前景画像Ｃを生成してもよい。
すなわち、記憶部２は、処置具画像群Ａ１，Ａ２，Ａ３，…に代えて、第２実施形態において説明したＣＡＤデータＩ１，Ｉ２，Ｉ３，…を記憶してもよく、本実施形態の学習支援方法は、ステップＳ１に代えて、第２実施形態において説明したステップＳ１１を含んでいてもよい。
すなわち、記憶部２は、処置具画像群Ａ１，Ａ２，Ａ３，…に代えて、第２実施形態において説明したＣＡＤデータＩ１，Ｉ２，Ｉ３，…を記憶してもよく、本実施形態の学習支援方法は、ステップＳ１に代えて、第２実施形態において説明したステップＳ１１を含んでいてもよい。
【0058】
（第４実施形態）
次に、本発明の第４実施形態に係る学習支援装置および学習支援方法について説明する。
本実施形態は、内視鏡からの距離に加えて背景画像の明度分布に基づいて前景画像Ｃの色を調整する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第４実施形態に係る学習支援装置および学習支援方法について説明する。
本実施形態は、内視鏡からの距離に加えて背景画像の明度分布に基づいて前景画像Ｃの色を調整する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
【0059】
図１８に示されるように、本実施形態に係る学習支援装置４０は、プロセッサ１と、記憶部２と、メモリ３と、入出力部４と、を備える。
記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ｄを記憶している。さらに、記憶部２は、学習支援方法に必要なサンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂおよび配置データ６ａを記憶している。
記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラム５ｄを記憶している。さらに、記憶部２は、学習支援方法に必要なサンプル画像群Ａ１，Ａ２，Ａ３，…，Ｂおよび配置データ６ａを記憶している。
【0060】
次に、学習支援装置４０が実行する学習支援方法について説明する。
図１９に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１と、前景画像Ｃの色を調整するステップＳ２３と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
図１９に示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１と、前景画像Ｃの色を調整するステップＳ２３と、色が調整された前景画像Ｃ’が背景画像上に重畳されたトレーニング画像Ｄを生成するステップＳ３と、を含む。
【0061】
ステップＳ０，Ｓ１，Ｓ４は、第１実施形態において説明した通りである。
ステップＳ２３において、プロセッサ１は、背景画像群Ｂから１つの背景画像Ｂａを選択し、各処置具の内視鏡からの距離と背景画像Ｂａの明度分布とに基づいて、前景画像Ｃ内の各処置具の明度を調整する。
ステップＳ２３において、プロセッサ１は、背景画像群Ｂから１つの背景画像Ｂａを選択し、各処置具の内視鏡からの距離と背景画像Ｂａの明度分布とに基づいて、前景画像Ｃ内の各処置具の明度を調整する。
【0062】
図２０は、トレーニング画像Ｄの一例を示している。
具体的には、プロセッサ１は、前景画像Ｃ内の１以上の処置具の中から、距離が所定値以上である処置具を選択する。プロセッサ１は、選択された処置具に対して下記の明度の調整を行い、距離が所定値未満であり選択されなかった処置具に対して明度の調整を行わない。
後述するように、明度は背景の明るさに応じて調整される。距離が近い場合、処置具の明度は背景側の明るさよりも内視鏡からの照明光の影響を受けやすく、距離が遠い程、処置具の明度は、照明光の影響よりも背景側の明るさの影響が支配的になる。したがって、明度の調整は、距離が所定値以上である処置具に対して選択的に行われる。
具体的には、プロセッサ１は、前景画像Ｃ内の１以上の処置具の中から、距離が所定値以上である処置具を選択する。プロセッサ１は、選択された処置具に対して下記の明度の調整を行い、距離が所定値未満であり選択されなかった処置具に対して明度の調整を行わない。
後述するように、明度は背景の明るさに応じて調整される。距離が近い場合、処置具の明度は背景側の明るさよりも内視鏡からの照明光の影響を受けやすく、距離が遠い程、処置具の明度は、照明光の影響よりも背景側の明るさの影響が支配的になる。したがって、明度の調整は、距離が所定値以上である処置具に対して選択的に行われる。
【0063】
次に、プロセッサ１は、選択された処置具１６ｂ，１６ｃが重畳される領域における背景画像Ｂａの明度に応じて当該処置具１６ｂ，１６ｃの明度を調整し、背景画像Ｂａの明度が高い程、処置具の明度を高くする。例えば、図２０に示されるように、背景画像Ｂａが、左下が明るく、右上が暗い明度分布を有する場合、左下の処置具１６ｃの明度は高く調整され、右上の処置具１６ｂの明度は低く調整される。
次のステップＳ３において、プロセッサ１は、ステップＳ２２において選択した背景画像Ｂａ上に前景画像Ｃ’を重畳してトレーニング画像Ｄを生成する。
次のステップＳ３において、プロセッサ１は、ステップＳ２２において選択した背景画像Ｂａ上に前景画像Ｃ’を重畳してトレーニング画像Ｄを生成する。
【0064】
一例において、プロセッサ１は、下式（１）に従って明度を調整し、それにより、背景画像の平均明度からの差分に応じて処置具の領域の明度を調整する。
(ｂ，ｇ，ｒ)＝（ｂ＋ｂｒ＿ｓｈｉｆｔ，ｇ＋ｇｒ＿ｓｈｉｆｔ，ｒ＋ｂｒ＿ｓｈｉｆｔ）
ここで、（ｂ，ｇ，ｒ）は、前景画像Ｃ内の処置具の領域の各画素のＲＧＢ値であり、ｂｒは、背景画像の各画素の明度であり、Ｂｒは、背景画像の平均明度であり、ｂｒ＿ｓｈｉｆｔ＝ｂｒ－Ｂｒである。
(ｂ，ｇ，ｒ)＝（ｂ＋ｂｒ＿ｓｈｉｆｔ，ｇ＋ｇｒ＿ｓｈｉｆｔ，ｒ＋ｂｒ＿ｓｈｉｆｔ）
ここで、（ｂ，ｇ，ｒ）は、前景画像Ｃ内の処置具の領域の各画素のＲＧＢ値であり、ｂｒは、背景画像の各画素の明度であり、Ｂｒは、背景画像の平均明度であり、ｂｒ＿ｓｈｉｆｔ＝ｂｒ－Ｂｒである。
【0065】
第１実施形態と同様、本実施形態によれば、臨床画像が無いまたは少ない処置具を含む様々な処置具用のトレーニング画像Ｄを生成することができ、それにより、臨床画像の無いまたは少ない処置具を含む様々な処置具用の学習モデルの作成を支援することができる。
また、本実施形態によれば、配置データ６ａを使用することによって、処置具の配置が臨床画像に近いリアリティのあるトレーニング画像Ｄを生成することができ、それにより、臨床画像内の処置具の認識精度の高い学習モデルを生成することができ、内視鏡手術中の内視鏡画像内の処置具の認識性能を向上することができる。
また、本実施形態によれば、配置データ６ａを使用することによって、処置具の配置が臨床画像に近いリアリティのあるトレーニング画像Ｄを生成することができ、それにより、臨床画像内の処置具の認識精度の高い学習モデルを生成することができ、内視鏡手術中の内視鏡画像内の処置具の認識性能を向上することができる。
【0066】
また、本実施形態によれば、前景画像Ｃ内の各処置具の明度が、背景画像の明度分布に基づいて調整され、それにより、トレーニング画像Ｄ内の各処置具の明度は、臨床画像内の各処置具の明度と同一または近くなる。このような前景画像Ｃ’から、臨床画像内の処置具の明度との乖離が少ないトレーニング画像Ｄを生成することができる。
第１実施形態と同様、本実施形態の学習支援方法も、ステップＳ５，Ｓ６，Ｓ７をさらに含んでいてもよい
第１実施形態と同様、本実施形態の学習支援方法も、ステップＳ５，Ｓ６，Ｓ７をさらに含んでいてもよい
【0067】
本実施形態において、プロセッサ１は、処置具画像に代えて、ＣＧ（computer graphics）から前景画像Ｃを生成してもよい。
すなわち、記憶部２は、処置具画像群Ａ１，Ａ２，Ａ３，…に代えて、第２実施形態において説明したＣＡＤデータＩ１，Ｉ２，Ｉ３，…を記憶してもよく、本実施形態の学習支援方法は、ステップＳ１に代えて、第２実施形態において説明したステップＳ１１を含んでいてもよい。
すなわち、記憶部２は、処置具画像群Ａ１，Ａ２，Ａ３，…に代えて、第２実施形態において説明したＣＡＤデータＩ１，Ｉ２，Ｉ３，…を記憶してもよく、本実施形態の学習支援方法は、ステップＳ１に代えて、第２実施形態において説明したステップＳ１１を含んでいてもよい。
【0068】
（第５実施形態）
次に、本発明の第５実施形態に係る学習支援装置および内視鏡システムについて説明する。
図２１に示されるように、本実施形態に係る内視鏡システム２００は、内視鏡１１と、内視鏡１１の位置および姿勢を変更する移動装置１２と、内視鏡１１および移動装置１２を制御する制御装置１３と、表示装置１４と、画像処理装置１５と、学習支援装置５０と、を備える。
内視鏡システム２００は、第１実施形態において説明した内視鏡システム１００と同様、例えば、腹腔鏡下手術に使用される。
次に、本発明の第５実施形態に係る学習支援装置および内視鏡システムについて説明する。
図２１に示されるように、本実施形態に係る内視鏡システム２００は、内視鏡１１と、内視鏡１１の位置および姿勢を変更する移動装置１２と、内視鏡１１および移動装置１２を制御する制御装置１３と、表示装置１４と、画像処理装置１５と、学習支援装置５０と、を備える。
内視鏡システム２００は、第１実施形態において説明した内視鏡システム１００と同様、例えば、腹腔鏡下手術に使用される。
【0069】
内視鏡１１は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような撮像素子を含むカメラを有し、カメラによって被検体Ｘ内の内視鏡画像Ｇを取得する。カメラは、ステレオ画像を取得する３次元カメラであってもよい。
内視鏡画像Ｇは、内視鏡１１から制御装置１３または画像処理装置１５を経由して表示装置１４に送信され、表示装置１４に表示される。表示装置１４は、液晶ディスプレイまたは有機ＥＬディスプレイ等の任意のディスプレイである。
内視鏡画像Ｇは、内視鏡１１から制御装置１３または画像処理装置１５を経由して表示装置１４に送信され、表示装置１４に表示される。表示装置１４は、液晶ディスプレイまたは有機ＥＬディスプレイ等の任意のディスプレイである。
【0070】
移動装置１２は、多関節のロボットアームからなる電動ホルダ１２ａを備え、制御装置１３によって制御される。内視鏡１１は、電動ホルダ１２ａの先端部に保持され、電動ホルダ１２ａの動作によって内視鏡１１の先端の位置および姿勢が３次元的に変更される。移動装置１２は、内視鏡１１の先端部に設けられた湾曲部等、内視鏡１１の先端の位置および姿勢を変更することができる他の機構であってもよい。
【0071】
制御装置１３は、プロセッサ、記憶部と、メモリおよび入出力インタフェース等を備える。また、制御装置１３は、内視鏡１１と接続される光源装置１７を備え、光源装置１７から内視鏡１１に供給される照明光Ｌの強度を制御することができる。光源装置１７は、制御装置１３と別体であってもよい。
第１実施形態において説明したように、制御装置１３は、内視鏡１１の視野を追従対象の所定の処置具１６に追従させる追従制御を実行する。例えば、追従制御において、制御装置１３は、ステレオ内視鏡画像Ｇから処置具１６の先端の３次元の位置を取得し、先端の位置に基づいて移動装置１２を制御する。
第１実施形態において説明したように、制御装置１３は、内視鏡１１の視野を追従対象の所定の処置具１６に追従させる追従制御を実行する。例えば、追従制御において、制御装置１３は、ステレオ内視鏡画像Ｇから処置具１６の先端の３次元の位置を取得し、先端の位置に基づいて移動装置１２を制御する。
【0072】
画像処理装置１５は、プロセッサ１５１、記憶部１５２、メモリおよび入出力部等を備える。
記憶部１５２は、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部１５２は、後述する画像処理方法をプロセッサ１５１に実行させるための画像処理プログラム１５２ａを記憶している。
記憶部１５２は、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部１５２は、後述する画像処理方法をプロセッサ１５１に実行させるための画像処理プログラム１５２ａを記憶している。
【0073】
学習支援装置５０は、学習支援装置１０と同様、プロセッサ１、記憶部２、メモリ３および入出力部４を備える。記憶部２は、後述する本実施形態に係る学習支援方法をプロセッサ１に実行させるための学習支援プログラムを記憶している。本実施形態の学習支援方法は、第１から第４実施形態において説明したいずれかの学習支援方法に基づく。したがって、記憶部２は、本実施形態の学習支援方法に応じて、データＡ１，Ａ２，Ａ３，…，Ｂ，Ｉ１，Ｉ２，Ｉ３，…，６ａ，６ｂ，６ｃおよび８のいずれかを記憶している。
【0074】
次に、第１実施形態の学習支援方法を例に、学習支援装置５０が実行する学習支援方法について説明する。
図２２Ａに示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１２と、前景画像Ｃの色を調整するステップＳ２と、背景画像上に前景画像Ｃ’が重畳されたトレーニング画像Ｄを生成するステップＳ３と、前景画像Ｃに基づいてマスク画像Ｅを生成するステップＳ５と、マスク画像Ｅに基づいてトレーニング画像ＤをアノテーションするステップＳ６と、複数のトレーニング画像Ｄを学習することによって内視鏡画像Ｇ内の処置具を認識する学習モデルを作成するステップＳ７と、を含む。
図２２Ａに示されるように、本実施形態に係る学習支援方法は、前景画像Ｃを生成するステップＳ１２と、前景画像Ｃの色を調整するステップＳ２と、背景画像上に前景画像Ｃ’が重畳されたトレーニング画像Ｄを生成するステップＳ３と、前景画像Ｃに基づいてマスク画像Ｅを生成するステップＳ５と、マスク画像Ｅに基づいてトレーニング画像ＤをアノテーションするステップＳ６と、複数のトレーニング画像Ｄを学習することによって内視鏡画像Ｇ内の処置具を認識する学習モデルを作成するステップＳ７と、を含む。
【0075】
ステップＳ１２において、プロセッサ１は、１つの配置データに基づいて明るさの異なる複数の前景画像Ｃを生成する。
例えば、図２３に示されるように、記憶部２は、複数の処置具画像群からそれぞれなる複数のセットα，β，γを記憶している。複数のセットα，β，γは、相互に異なる明るさに対応している。例えば、セットαは、暗い処置具画像からなる処置具画像群Ａ１，Ａ２，Ａ３からなり、セットγは、明るい処置具画像からなる処置具画像群Ａ１”，Ａ２”，Ａ３”からなる。
プロセッサ１は、各セットα，β，γから前景画像Ｃを生成し、それにより、各配置データ６について、処置具の数、種類および配置が同一であり明るさが相互に異なる複数の前景画像Ｃを生成する。
例えば、図２３に示されるように、記憶部２は、複数の処置具画像群からそれぞれなる複数のセットα，β，γを記憶している。複数のセットα，β，γは、相互に異なる明るさに対応している。例えば、セットαは、暗い処置具画像からなる処置具画像群Ａ１，Ａ２，Ａ３からなり、セットγは、明るい処置具画像からなる処置具画像群Ａ１”，Ａ２”，Ａ３”からなる。
プロセッサ１は、各セットα，β，γから前景画像Ｃを生成し、それにより、各配置データ６について、処置具の数、種類および配置が同一であり明るさが相互に異なる複数の前景画像Ｃを生成する。
【0076】
次のステップＳ２において、プロセッサ１は、各前景画像Ｃ内の処置具の色を調整する。
次のステップＳ３において、プロセッサ１は、背景画像上に各前景画像Ｃ’を重畳して、１つの配置データ６について明るさの異なる複数のトレーニング画像Ｄを生成する。
ステップＳ４，Ｓ５，Ｓ６は、第１実施形態において説明した通りである。
次のステップＳ３において、プロセッサ１は、背景画像上に各前景画像Ｃ’を重畳して、１つの配置データ６について明るさの異なる複数のトレーニング画像Ｄを生成する。
ステップＳ４，Ｓ５，Ｓ６は、第１実施形態において説明した通りである。
【0077】
全てのトレーニング画像Ｄのアノテーション後（ステップＳ６）、プロセッサ１は、同一のセットα、βまたはγから生成された多数のトレーニング画像Ｄを学習し、それにより、内視鏡画像の異なる明るさに対応する複数の学習モデル９ａ，９ｂ，９ｃを作成する（ステップＳ７）。例えば、学習モデル９ａは、暗い内視鏡画像Ｇ用であり、学習モデル９ｃは、明るい内視鏡画像Ｇ用である。学習モデル９ａ，９ｂ，９ｃは、学習支援装置５０の記憶部２に記憶される。
【0078】
次に、内視鏡手術中に画像処理装置１５が実行する画像処理方法について説明する。
図２２Ｂに示されるように、本実施形態に係る画像処理方法は、光源装置１７から照明光Ｌの明るさの情報を取得するステップＳ１０１と、明るさに基づいて学習支援装置５０から学習モデルを読み込むステップＳ１０２と、内視鏡画像Ｇを取得するステップＳ１０３と、内視鏡画像Ｇ内の処置具を学習モデルによって認識するステップＳ１０４と、認識結果を表示装置１４に出力するステップＳ１０５と、を含む。
図２２Ｂに示されるように、本実施形態に係る画像処理方法は、光源装置１７から照明光Ｌの明るさの情報を取得するステップＳ１０１と、明るさに基づいて学習支援装置５０から学習モデルを読み込むステップＳ１０２と、内視鏡画像Ｇを取得するステップＳ１０３と、内視鏡画像Ｇ内の処置具を学習モデルによって認識するステップＳ１０４と、認識結果を表示装置１４に出力するステップＳ１０５と、を含む。
【0079】
内視鏡手術中、内視鏡１１から画像処理装置１５に内視鏡画像Ｇが逐次入力される。
プロセッサ１５１は、光源装置１７から、照明光Ｌの明るさの現在の設定値を取得し（ステップＳ１０１）、設定値に対応する学習モデル９ａ、９ｂまたは９ｃを学習支援装置５０から読み込む（ステップＳ１０２）。
次に、プロセッサ１５１は、画像処理装置１５に入力された内視鏡画像Ｇを取得し（ステップＳ１０３）、読み込まれた学習モデルに内視鏡画像Ｇを入力し、学習モデルによる認識結果として認識された処置具の領域の位置を得る（ステップＳ１０４）。
プロセッサ１５１は、光源装置１７から、照明光Ｌの明るさの現在の設定値を取得し（ステップＳ１０１）、設定値に対応する学習モデル９ａ、９ｂまたは９ｃを学習支援装置５０から読み込む（ステップＳ１０２）。
次に、プロセッサ１５１は、画像処理装置１５に入力された内視鏡画像Ｇを取得し（ステップＳ１０３）、読み込まれた学習モデルに内視鏡画像Ｇを入力し、学習モデルによる認識結果として認識された処置具の領域の位置を得る（ステップＳ１０４）。
【0080】
プロセッサ１５１は、処置具の認識結果を表示装置１４に表示する（ステップＳ１０５）。例えば、図２４に示されるように、プロセッサ１５１は、内視鏡画像Ｇ内の認識された処置具１６の領域にカラーのマーカを重畳したり、認識された処置具１６を囲む枠を内視鏡画像Ｇに重畳したりしてもよい。
処置具の認識結果は、制御装置１３による追従制御に使用されてもよい。
処置具の認識結果は、制御装置１３による追従制御に使用されてもよい。
【0081】
ここで、本実施形態によれば、第１から第４実施形態において説明した通り、トレーニング画像Ｄは、処置具の配置および色が臨床画像に近いリアリティのある画像であり、このようなトレーニング画像Ｄの学習によって作成された学習モデルは、臨床画像内の処置具の認識精度が高い。したがって、内視鏡手術中の内視鏡画像Ｇ内の処置具の認識性能を向上することができる。また、これにより、追従制御において、内視鏡１１の視野を処置具に安定的に追従させることができ、より快適な視野を、術者または助手等のユーザに提供することができる。
【0082】
また、内視鏡画像Ｇの明るさは、照明光Ｌの明るさに応じて異なる。本実施形態によれば、照明光Ｌの明るさに応じた学習モデルが処置具の認識に使用される。例えば、照明光Ｌが暗いとき、暗いトレーニング画像Ｄの学習によって作成された暗い内視鏡画像Ｇ用の学習モデルが使用される。これにより、内視鏡画像Ｇ内の処置具の認識精度をさらに向上することができる。
【0083】
本実施形態のステップＳ１０４において、プロセッサ１５１は、内視鏡画像Ｇがトレーニング画像Ｄに近付くように内視鏡画像Ｇを補正し（ステップＳ１０４ａ）、補正された内視鏡画像Ｇを学習モデルに入力してもよい（ステップＳ１０４ｂ）。
具体的には、図２５に示されるように、プロセッサ１５１は、内視鏡画像Ｇの色相、彩度および回転角度の少なくとも１つを補正し、内視鏡画像Ｇ内の処置具の見え方をトレーニング画像Ｄ内の処置具の見え方に近付ける。トレーニング画像Ｄは、学習モデルの作成に使用された複数のトレーニング画像Ｄのいずれかである。
具体的には、図２５に示されるように、プロセッサ１５１は、内視鏡画像Ｇの色相、彩度および回転角度の少なくとも１つを補正し、内視鏡画像Ｇ内の処置具の見え方をトレーニング画像Ｄ内の処置具の見え方に近付ける。トレーニング画像Ｄは、学習モデルの作成に使用された複数のトレーニング画像Ｄのいずれかである。
【0084】
上述したように、内視鏡画像Ｇ内の処置具の配置は、術式によってある程度決まる。しかし、内視鏡１１の姿勢等に応じて、内視鏡画像Ｇ内の処置具の位置は周方向にずれ得る。内視鏡画像Ｇ内の処置具の配置がトレーニング画像Ｄ内の処置具の配置に近付くように内視鏡画像Ｇを回転させ、回転された内視鏡画像Ｇを学習モデルに入力することによって、処置具の認識精度を向上することができる。
【0085】
また、内視鏡画像Ｇ内の処置具の色相および彩度は、トレーニング画像Ｄ内の処置具の色相および彩度とは異なり得る。内視鏡画像Ｇ内の処置具の色相および彩度がトレーニング画像Ｄ内の処置具の色相および彩度に近付くように内視鏡画像Ｇ内の処置具の色相および彩度を補正し、補正後の内視鏡画像Ｇを学習モデルに入力することによって、認識性能を向上することができる。
ステップＳ１０５において、プロセッサ１５１は、認識結果を逆回転させ（ステップＳ１０５ａ）、その後、認識結果を内視鏡画像Ｇに重畳して表示装置１４に表示してもよい。
ステップＳ１０５において、プロセッサ１５１は、認識結果を逆回転させ（ステップＳ１０５ａ）、その後、認識結果を内視鏡画像Ｇに重畳して表示装置１４に表示してもよい。
【0086】
本実施形態において、プロセッサ１は、処置具画像群の複数のセットα，β，γから明るさの異なる複数のトレーニング画像Ｄを生成することとしたが、他の方法を用いて複数のトレーニング画像Ｄを生成してもよい。
例えば、プロセッサ１は、１つの前景画像Ｃから、画像処理によって明るさの異なる複数の前景画像を生成し、複数の前景画像から複数のトレーニング画像Ｄを生成してもよい。
例えば、プロセッサ１は、１つの前景画像Ｃから、画像処理によって明るさの異なる複数の前景画像を生成し、複数の前景画像から複数のトレーニング画像Ｄを生成してもよい。
【0087】
本実施形態において、学習支援装置５０が、制御装置１３および画像処理装置１５とは別体であることとしたが、これに代えて、制御装置１３および画像処理装置１５の少なくとも一方と一体であってもよい。例えば、学習支援装置５０および画像処理装置１５が、制御装置１３に組み込まれていてもよい。
【0088】
以上、本発明の実施形態およびその変形例について説明したが、本発明はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲で適宜変更可能である。
上記各実施形態および変形例において、サンプル画像群が、処置具画像群Ａ１，Ａ２，Ａ３，…および背景画像群Ｂから構成されることとしたが、他の物体の画像群をさらに含んでいてもよい。他の物体は、例えば、ガーゼまたはネラトンチューブ等の人工物、または、臓器であってもよい。
上記各実施形態および変形例において、サンプル画像群が、処置具画像群Ａ１，Ａ２，Ａ３，…および背景画像群Ｂから構成されることとしたが、他の物体の画像群をさらに含んでいてもよい。他の物体は、例えば、ガーゼまたはネラトンチューブ等の人工物、または、臓器であってもよい。
【符号の説明】
【0089】
１０，２０，３０，４０，５０ 学習支援装置
１ プロセッサ
２ 記憶部
３ メモリ
４ 入出力部
５ａ，５ｂ，５ｃ，５ｄ，５ｅ 学習支援プログラム
６ａ，６ｂ，６ｃ，６ｄ 配置データ
７ 学習用モデル
８ 数式モデル
１１ 内視鏡
１５ 画像処理装置
１００ 内視鏡システム
Ａ１，Ａ２，Ａ３ 処置具画像群
Ｂ 背景画像群
Ｃ，Ｃ’ 前景画像
Ｄ トレーニング画像
Ｅ マスク画像
Ｉ１，Ｉ２，Ｉ３ ＣＡＤデータ
Ｇ 内視鏡画像
Ｌ 照明光
１ プロセッサ
２ 記憶部
３ メモリ
４ 入出力部
５ａ，５ｂ，５ｃ，５ｄ，５ｅ 学習支援プログラム
６ａ，６ｂ，６ｃ，６ｄ 配置データ
７ 学習用モデル
８ 数式モデル
１１ 内視鏡
１５ 画像処理装置
１００ 内視鏡システム
Ａ１，Ａ２，Ａ３ 処置具画像群
Ｂ 背景画像群
Ｃ，Ｃ’ 前景画像
Ｄ トレーニング画像
Ｅ マスク画像
Ｉ１，Ｉ２，Ｉ３ ＣＡＤデータ
Ｇ 内視鏡画像
Ｌ 照明光
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図23】
【図24】
【図25】