ホーム > 特許ランキング > 国立大学法人鳥取大学
▶ 国立大学法人鳥取大学の特許一覧 ▶ 株式会社Ｒ０の特許一覧
特許7441452教師データ生成方法、学習済みモデル生成方法、および発病予測方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-21
(45)【発行日】2024-03-01
(54)【発明の名称】教師データ生成方法、学習済みモデル生成方法、および発病予測方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20240222BHJP
【ＦＩ】
A61B1/045 616
A61B1/045 614
【請求項の数】
5
(21)【出願番号】P 2019195362
(22)【出願日】2019-10-28
(65)【公開番号】P2021065606
(43)【公開日】2021-04-30
【審査請求日】2022-10-17
(73)【特許権者】
【識別番号】504150461
【氏名又は名称】国立大学法人鳥取大学
(73)【特許権者】
【識別番号】520439900
【氏名又は名称】株式会社Ｒ０
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】藤井 政至
(72)【発明者】
【氏名】磯本 一
(72)【発明者】
【氏名】植木 賢
(72)【発明者】
【氏名】上原 一剛
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特開２０１５－１３９６５７（ＪＰ，Ａ）
【文献】国際公開第２０１１／０６１９４０（ＷＯ，Ａ１）
【文献】特開２０１８－０２９８８０（ＪＰ，Ａ）
【文献】国際公開第２０１９／１９８６３７（ＷＯ，Ａ１）
【文献】特表２００２－５１７８３６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
(57)【特許請求の範囲】
【請求項1】
観察対象を撮影または描出した第１医用画像を取得する第１取得ステップと、前記第１医用画像の特徴量を抽出する第１抽出ステップと、
前記第１医用画像に病変部を含む第１関心領域を設定する第１設定ステップと、
前記第１医用画像の撮影時期よりも前に前記観察対象を撮影または描出した第２医用画像を取得する第２取得ステップと、
前記第２医用画像の特徴量を抽出する第２抽出ステップと、
前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較ステップと、
前記比較結果に基づいて、第２医用画像における第１関心領域に対応する第２関心領域を特定する関心領域特定ステップと、
前記関心領域特定ステップで特定された前記第２関心領域を前記第２医用画像に付加して、機械学習のための教師データを生成する教師データ生成ステップと、
を備え、
前記第１医用画像および前記第２医用画像は、前記観察対象を内視鏡で撮影した内視鏡画像であり、
前記第２関心領域は前記病変部を含まない、教師データ生成方法。
【請求項2】
前記特徴量は、前記観察対象の血管、リンパ管、腺管、柔毛または粘膜のパターンである、請求項１に記載の教師データ生成方法。
【請求項3】
前記第１抽出ステップの前に、前記第１医用画像の不明瞭な部分を補正する第１補正ステップと、前記第２抽出ステップの前に、前記第２医用画像の不明瞭な部分を補正する第２補正ステップと、
をさらに備えた、請求項１または２に記載の教師データ生成方法。
【請求項4】
請求項１～３のいずれかに記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における前記病変の発生に関する発病予測情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。
【請求項5】
被検者の観察対象の内視鏡画像を取得する第３取得ステップと、請求項４に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第３取得ステップで取得された内視鏡画像を入力して、前記被検者の観察対象における前記病変の発生に関する発病予測情報を取得する発病予測ステップと、
を備えた発病予測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像を用いた診断および治療に関し、特に内視鏡画像を用いた診断および治療に関する。
【背景技術】
【0002】
特許文献１には、内視鏡による撮影によって観察部位の画像をリアルタイムでモニタ表示する際に、比較対象となる過去に記録された内視鏡画像をリアルタイムの画像と合わせて同時表示することが開示されている。具体的には、リアルタイムの画像の血管パターンと、過去の内視鏡画像の血管パターンとを比較することにより、同一の部位を撮影したリアルタイムの画像と過去の内視鏡画像とを同時に表示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００８－１９４３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、同一の部位を含む画像であっても、内視鏡の撮像素子の指向方向によって、大きく見え方が異なる。そのため、過去の内視鏡画像における病変部などがリアルタイムの画像のどこに存在するかを容易に判別できるとは限らない。
【0005】
本発明は、上記問題を解決するためになされたものであって、異なる医用画像における位置関係を容易に把握できる画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は以下の態様を含む。
項１．
観察対象を撮影または描出した第１医用画像を取得する第１取得ステップと、
前記第１医用画像の特徴量を抽出する第１抽出ステップと、
前記観察対象を撮影または描出した第２医用画像を取得する第２取得ステップと、
前記第２医用画像の特徴量を抽出する第２抽出ステップと、
前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較ステップと、
前記比較ステップの比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定ステップと、
を備えた画像処理方法。
項２．
前記第１医用画像および前記第２医用画像は、前記観察対象を内視鏡で撮影した内視鏡画像である、項１に記載の画像処理方法。
項３．
前記特徴量は、前記観察対象の血管、リンパ管、腺管、柔毛または粘膜のパターンである、項２に記載の画像処理方法。
項４．
前記第１抽出ステップの前に、前記第１医用画像の不明瞭な部分を補正する第１補正ステップと、
前記第２抽出ステップの前に、前記第２医用画像の不明瞭な部分を補正する第２補正ステップと、
をさらに備えた、項２または３に記載の画像処理方法。
項５．
前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
前記位置関係特定ステップは、前記比較結果に基づいて、第２医用画像における第１関心領域に対応する第２関心領域を特定する関心領域特定ステップを備えた、項２から４のいずれかに記載の画像処理方法。
項６．
前記第２医用画像の撮影時期は、前記第１医用画像の撮影時期よりも後である、項５に記載の画像処理方法。
項７．
前記第２医用画像において、前記第２関心領域を他の領域と識別可能に表示する表示ステップをさらに備えた、項６に記載の画像処理方法。
項８．
前記第１医用画像の撮影時期は、前記第２医用画像の撮影時期よりも後である、項５に記載の画像処理方法。
項９．
前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
前記第２医用画像は、前記第１関心領域の一部を前記内視鏡で拡大して撮影した画像である、項２から４のいずれかに記載の画像処理方法。
項１０．
前記第１医用画像における前記第２医用画像の位置を識別可能に表示する表示ステップをさらに備えた、項９に記載の画像処理方法。
項１１．
前記第２取得ステップ、第２抽出ステップ、比較ステップおよび位置関係特定ステップを繰り返して、位置の異なる複数の第２医用画像を取得し、
前記複数の第２医用画像の互いに重複していない部分を繋ぎ合わせて合成拡大画像を生成する画像合成ステップ、
をさらに備えた、項９または１０に記載の画像処理方法。
項１２．
前記第２医用画像は、一度の内視鏡挿入において、前記第１医用画像に続いて連続的に撮影された画像である、項２から４のいずれかに記載の画像処理方法。
項１３．
前記一度の内視鏡挿入において、前記観察対象の異なる部位について、前記第２取得ステップおよび前記第２抽出ステップを繰り返し、
前記各第２取得ステップで取得された複数の第２医用画像について、各第２医用画像の特徴量とその直前に取得された第２医用画像の特徴量とを比較し、
前記比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係、および前記複数の第２医用画像同士の位置関係を特定し、前記第１医用画像および複数の前記第２医用画像を繋ぎ合わせて３次元合成画像を生成する合成ステップをさらに備えた、項１２に記載の画像処理方法。
項１４．
前記３次元合成画像を展開した２次元展開画像を生成する展開画像生成ステップをさらに備えた、項１３に記載の画像処理方法。
項１５．
前記２次元展開画像に基づき、前記観察対象における観察状態を評価する観察状態評価ステップをさらに備えた、項１４に記載の画像処理方法。
項１６．
項８に記載の画像処理方法の前記関心領域特定ステップで特定された前記第２関心領域を前記第２医用画像に付加して、機械学習のための教師データを生成する、教師データ生成方法。
項１７．
前記第１関心領域は病変部を含み、
前記第２関心領域は前記病変部を含まない、項１６に記載の教師データ生成方法。
項１８．
項１１に記載の画像処理方法の前記画像合成ステップによって生成された前記合成拡大画像に、前記第１関心領域を切除して得られた組織の病理学的診断情報を付加して、機械学習のための教師データを生成する、教師データ生成方法。
項１９．
前記病理学的診断情報は、前記第１関心領域における病変部および非病変部の範囲に関する情報を含む、項１８に記載の教師データ生成方法。
項２０．
項１６または１７に記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における前記病変の発生に関する発病予測情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。
項２１．
被検者の観察対象の内視鏡画像を取得する第３取得ステップと、
項２０に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第３取得ステップで取得された内視鏡画像を入力して、前記被検者の観察対象における前記病変の発生に関する発病予測情報を取得する発病予測ステップと、
を備えた発病予測方法。
項２２．
観察対象を撮影または描出した第１医用画像を取得する第１取得部と、
前記第１医用画像の特徴量を抽出する第１抽出部と、
前記観察対象を撮影または描出した第２医用画像を取得する第２取得部と、
前記第２医用画像の特徴量を抽出する第２抽出部と、
前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定部と、
を備えた画像処理装置。
項２３．
項１～１５のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させる画像処理プログラム。
項２４．
項２３に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。
項１．
観察対象を撮影または描出した第１医用画像を取得する第１取得ステップと、
前記第１医用画像の特徴量を抽出する第１抽出ステップと、
前記観察対象を撮影または描出した第２医用画像を取得する第２取得ステップと、
前記第２医用画像の特徴量を抽出する第２抽出ステップと、
前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較ステップと、
前記比較ステップの比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定ステップと、
を備えた画像処理方法。
項２．
前記第１医用画像および前記第２医用画像は、前記観察対象を内視鏡で撮影した内視鏡画像である、項１に記載の画像処理方法。
項３．
前記特徴量は、前記観察対象の血管、リンパ管、腺管、柔毛または粘膜のパターンである、項２に記載の画像処理方法。
項４．
前記第１抽出ステップの前に、前記第１医用画像の不明瞭な部分を補正する第１補正ステップと、
前記第２抽出ステップの前に、前記第２医用画像の不明瞭な部分を補正する第２補正ステップと、
をさらに備えた、項２または３に記載の画像処理方法。
項５．
前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
前記位置関係特定ステップは、前記比較結果に基づいて、第２医用画像における第１関心領域に対応する第２関心領域を特定する関心領域特定ステップを備えた、項２から４のいずれかに記載の画像処理方法。
項６．
前記第２医用画像の撮影時期は、前記第１医用画像の撮影時期よりも後である、項５に記載の画像処理方法。
項７．
前記第２医用画像において、前記第２関心領域を他の領域と識別可能に表示する表示ステップをさらに備えた、項６に記載の画像処理方法。
項８．
前記第１医用画像の撮影時期は、前記第２医用画像の撮影時期よりも後である、項５に記載の画像処理方法。
項９．
前記第１医用画像に第１関心領域を設定する第１設定ステップをさらに備え、
前記第２医用画像は、前記第１関心領域の一部を前記内視鏡で拡大して撮影した画像である、項２から４のいずれかに記載の画像処理方法。
項１０．
前記第１医用画像における前記第２医用画像の位置を識別可能に表示する表示ステップをさらに備えた、項９に記載の画像処理方法。
項１１．
前記第２取得ステップ、第２抽出ステップ、比較ステップおよび位置関係特定ステップを繰り返して、位置の異なる複数の第２医用画像を取得し、
前記複数の第２医用画像の互いに重複していない部分を繋ぎ合わせて合成拡大画像を生成する画像合成ステップ、
をさらに備えた、項９または１０に記載の画像処理方法。
項１２．
前記第２医用画像は、一度の内視鏡挿入において、前記第１医用画像に続いて連続的に撮影された画像である、項２から４のいずれかに記載の画像処理方法。
項１３．
前記一度の内視鏡挿入において、前記観察対象の異なる部位について、前記第２取得ステップおよび前記第２抽出ステップを繰り返し、
前記各第２取得ステップで取得された複数の第２医用画像について、各第２医用画像の特徴量とその直前に取得された第２医用画像の特徴量とを比較し、
前記比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係、および前記複数の第２医用画像同士の位置関係を特定し、前記第１医用画像および複数の前記第２医用画像を繋ぎ合わせて３次元合成画像を生成する合成ステップをさらに備えた、項１２に記載の画像処理方法。
項１４．
前記３次元合成画像を展開した２次元展開画像を生成する展開画像生成ステップをさらに備えた、項１３に記載の画像処理方法。
項１５．
前記２次元展開画像に基づき、前記観察対象における観察状態を評価する観察状態評価ステップをさらに備えた、項１４に記載の画像処理方法。
項１６．
項８に記載の画像処理方法の前記関心領域特定ステップで特定された前記第２関心領域を前記第２医用画像に付加して、機械学習のための教師データを生成する、教師データ生成方法。
項１７．
前記第１関心領域は病変部を含み、
前記第２関心領域は前記病変部を含まない、項１６に記載の教師データ生成方法。
項１８．
項１１に記載の画像処理方法の前記画像合成ステップによって生成された前記合成拡大画像に、前記第１関心領域を切除して得られた組織の病理学的診断情報を付加して、機械学習のための教師データを生成する、教師データ生成方法。
項１９．
前記病理学的診断情報は、前記第１関心領域における病変部および非病変部の範囲に関する情報を含む、項１８に記載の教師データ生成方法。
項２０．
項１６または１７に記載の教師データ生成方法によって生成された教師データを用いて機械学習を行い、
未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における前記病変の発生に関する発病予測情報を出力とする学習済みモデルを生成する、学習済みモデル生成方法。
項２１．
被検者の観察対象の内視鏡画像を取得する第３取得ステップと、
項２０に記載の学習済みモデル生成方法によって生成された学習済みモデルに、前記第３取得ステップで取得された内視鏡画像を入力して、前記被検者の観察対象における前記病変の発生に関する発病予測情報を取得する発病予測ステップと、
を備えた発病予測方法。
項２２．
観察対象を撮影または描出した第１医用画像を取得する第１取得部と、
前記第１医用画像の特徴量を抽出する第１抽出部と、
前記観察対象を撮影または描出した第２医用画像を取得する第２取得部と、
前記第２医用画像の特徴量を抽出する第２抽出部と、
前記第１医用画像の特徴量と前記第２医用画像の特徴量とを比較する比較部と、
前記比較部の比較結果に基づいて、前記第１医用画像と前記第２医用画像との位置関係を特定する位置関係特定部と、
を備えた画像処理装置。
項２３．
項１～１５のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させる画像処理プログラム。
項２４．
項２３に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体。
【発明の効果】
【0007】
本発明によれば、異なる医用画像における位置関係を容易に把握することができる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る内視鏡システムの構成を示すブロック図である。
【図2】第１実施形態に係る画像処理方法の処理手順を示すフローチャートである。
【図3】第１実施形態に係る画像処理方法の処理手順を示すフローチャートである。
【図4】画像補正の例を示す写真である。
【図5】画像補正の例を示す写真である。
【図6】異なる時期に撮影された同一人物の同一部位の内視鏡画像である。
【図7】第２実施形態に係る内視鏡システムの構成を示すブロック図である。
【図8】第２実施形態に係る画像処理方法の処理手順を示すフローチャートである。
【図9】第２実施形態に係る画像処理方法および教師データ生成方法の処理手順を示すフローチャートである。
【図10】第２実施形態に係る学習済みモデル生成装置の構成を示すブロック図である。
【図11】第２実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。
【図12】第２実施形態に係る他の内視鏡システムの構成を示すブロック図である。
【図13】第２実施形態に係る発病予測方法の処理手順を示すフローチャートである。
【図14】第３実施形態に係る内視鏡システムの構成を示すブロック図である。
【図15】第３実施形態に係る画像処理方法の処理手順を示すフローチャートである。
【図16】第３実施形態に係る画像処理方法の処理手順を示すフローチャートである。
【図17】関心領域が設定された通常倍率画像の一例である。
【図18】拡大画像の一例である。
【図20】通常画像、通常画像中に設定された関心領域の画像、８０倍の拡大画像および５２０倍の超拡大画像の一例である。
【図21】第３実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。
【図22】第４実施形態に係る内視鏡システムの構成を示すブロック図である。
【図23】第４実施形態に係る画像処理方法の処理手順を示すフローチャートである。
【図24】第４実施形態に係る画像処理方法の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。
【0010】
［第１実施形態］
以下、本発明の第１実施形態について説明する。図１は、第１実施形態に係る内視鏡システム１の構成を示すブロック図である。内視鏡システム１は、内視鏡２と、制御装置３と、モニタ４とを備えている。
以下、本発明の第１実施形態について説明する。図１は、第１実施形態に係る内視鏡システム１の構成を示すブロック図である。内視鏡システム１は、内視鏡２と、制御装置３と、モニタ４とを備えている。
【0011】
内視鏡２は、内部に光ファイバＦを備えている。内視鏡２の先端部には、蛍光体２ａ、および撮像素子２ｂが配置されており、内視鏡２の先端面には、１つの出射窓および１つの観察窓が設けられている。蛍光体２ａは出射窓に面しており、撮像素子２ｂは観察窓に面している。
【0012】
光ファイバＦからは青色光（中心発光波長４４５ｎｍ）が出射され、当該青色光は、蛍光体２ａによって白色光に変換され、出射窓から照射される。また、観察窓への入射光は、図示しないレンズにより撮像素子２ｂの受光面に結像する。撮像素子２ｂは、入射光を光電変換して、アナログの画像信号を生成する。
【0013】
なお、内視鏡２の構造はこれに限定されない。例えば、後述するカプセル内視鏡のように、光ファイバを持たず、先端部に光源が装着された内視鏡であってもよい。
【0014】
制御装置３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置３は、光源装置５と、プロセッサ６とを備えている。
【0015】
光源装置５は、青色光を生成する光源５ａと、光源５ａを駆動する光源駆動部５ｂと、を備えている。本実施形態において、光源５ａはＬＥＤ光源であるが、レーザ光源やキセノンランプ等の蛍光光源を用いることもできる。
【0016】
プロセッサ６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、関心領域特定部６ｈと、マーキング部６ｉと、を備えている。なお、プロセッサ６は、制御装置３とは別体の装置（例えば汎用コンピュータ）であってもよい。
【0017】
記憶部６０は、プロセッサ６による演算処理に用いられる各種プログラムや、演算処理によって生成された各種データを一時的／非一時的に記憶するものであり、主記憶装置（メモリ）および補助記憶装置として機能する。主記憶装置は、ＤＲＡＭ、ＳＲＡＭなどで構成することができ、補助記憶装置は、ハードディスク、ＳＳＤなどで構成することができる。
【0018】
ＡＤ変換部６ａは、撮像素子２ｂからの画像信号をＡＤ変換し、デジタルの画像信号を画像取得部６ｂに出力する。画像取得部６ｂ～マーキング部６ｉの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～マーキング部６ｉの各部は、プロセッサ６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。画像処理プログラムは、通信ネットワークを介して制御装置３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置３に供給してもよい。
【0019】
画像取得部６ｂ～マーキング部６ｉの各部の機能については、図２および図３に示すフローチャートを参照しながら説明する。図２に示すステップＳ１～Ｓ６は、内視鏡による検診時に実施され、図３に示すステップＳ８～Ｓ１６は、内視鏡による手術（本実施形態では、ＥＳＤ（内視鏡的粘膜下層剥離術）時に実施される。
【0020】
ステップＳ１（第１取得ステップ）では、内視鏡２が観察対象（例えば、下部消化管臓器）に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。
【0021】
続いて、ステップＳ２（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。光源の反射や焦点のずれがある場合や、粘液や異物、気泡等が存在すると、第１医用画像が部分的に不明瞭になる。補正部６ｃは、異なるタイミングで得られた内視鏡画像中の対応箇所を前記不明瞭な部分に置き換えることにより、第１医用画像を補正する。
【0022】
【0023】
第１医用画像中に癌やポリープなどの病変がない場合（ステップＳ３においてＮＯ）、検診が終了するまで（ステップＳ７においてＹＥＳ）、内視鏡２を異なる位置に移動させてステップＳ１およびＳ２を繰り返す。第１医用画像中に病変がある場合（ステップＳ３においてＹＥＳ）、ステップＳ４に移行する。
【0024】
なお、病変有無の判定は、ユーザが目視で行ってもよいし、制御装置３が自動で行ってもよい。自動判定の方法としては、例えば、内視鏡画像として白色光画像と、光力学的診断法（ＰＤＤ：Photodynamic Diagonosis）に用いられる蛍光画像とを同時に撮影し、蛍光画像において病変部として検出された部位に対応する白色光画像の部位を病変部として判定する方法や、人工知能による判定方法がある。
【0025】
ステップＳ４（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。本実施形態において、特徴量は血管パターンであり、特徴量抽出部６ｄは、血管パターンの中で特徴的な形状を呈している１または複数の箇所を特徴量として抽出する。
【0026】
図６は、異なる時期に撮影された同一人物の同一部位（回盲部）の内視鏡画像である。各画像の左上の数字は、撮影年月を示している。各画像における血管のパターンは、互いに同一であることから、血管構造は健康であれば経時的変化し難いことが分かる。例えば、丸枠で囲った部分は、同一部位であり、血管パターンが同じである。特徴量抽出部６ｄは、このような部分を特徴量として抽出する。
【0027】
ステップＳ５（第１設定ステップ）では、関心領域設定部６ｅが、第１医用画像に第１関心領域を設定する。本実施形態では、関心領域設定部６ｅは、病変部を囲むように第１関心領域を設定する。第１関心領域の設定は、自動であってもよいし、手動であってもよい。
【0028】
ステップＳ６では、保存部６ｆが、第１医用画像を特徴量および第１関心領域と関連付けて記憶部６０に保存する。なお、ステップＳ１～Ｓ６は、検診が終了するまで（ステップＳ７においてＹＥＳ）繰り返される。記憶部６０に保存されたデータを、参照用データＤ１と称する。
【0029】
続いて、内視鏡による手術時に図３に示すステップＳ８～Ｓ１５が実施される。
【0030】
ステップＳ８（第２取得ステップ）では、ステップＳ１と同様に、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第２医用画像とする。すなわち、第２医用画像の撮影時期は、第１医用画像の撮影時期よりも後である。
【0031】
ステップＳ９（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。補正方法は、ステップＳ２と同様である。
【0032】
ステップＳ１０（第２抽出ステップ）では、ステップＳ４と同様に、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。
【0033】
ステップＳ１１（比較ステップ）では、比較部６ｇが、参照用データＤ１を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。特徴量を比較する方法は、特に限定されないが、例えば特許文献１に記載の方法を用いることができる。同じ特徴量がない場合（ステップＳ１２においてＮＯ）、第２医用画像と同一部位を含む第１医用画像が存在しないため、手術が終了するまで（ステップＳ１６においてＹＥＳ）、内視鏡２を異なる位置に移動させて、ステップＳ８～Ｓ１１を繰り返す。
【0034】
同じ特徴量がある場合（ステップＳ１２においてＹＥＳ）、同じ特徴量を含む第１医用画像および第２医用画像は、同一部位を含む画像であるとみなすことができる。続いて、ステップＳ１３（関心領域特定ステップ）に移行し、関心領域特定部６ｈが、ステップＳ１１の比較結果に基づいて、第２医用画像における第１関心領域と対応する第２関心領域を特定する。具体的には、関心領域特定部６ｈは、第１医用画像における特徴量と第１関心領域との位置関係を演算し、第２医用画像における対応する特徴量と前記位置関係から、第２関心領域を特定する。また、内視鏡２の先端位置と観察対象に対する方向の同定を行うこともできる。
【0035】
続いて、ステップＳ１４（表示ステップ）では、マーキング部６ｉが、第２医用画像において、第２関心領域を他の領域と識別可能に表示する。本実施形態では、マーキング部６ｉは、第２関心領域を枠で囲むことにより、他の領域と識別可能に表示する。これにより、検査時に病変部として検出された第１関心領域に対応する箇所が、第２医用画像において自動的に識別可能に表示される。
【0036】
ステップＳ１５では、ユーザ（医師）が、鉗子等を操作することにより、第２関心領域に対応する組織を切除する。なお、組織の切除は、自動で行ってもよく、この場合、第２関心領域は自動切除のためのナビゲーション情報となる。ステップＳ８～Ｓ１５は、手術が終了するまで（ステップＳ１６においてＹＥＳ）繰り返される。
【0037】
このように、本実施形態では、手術時に取得された第２医用画像において、検査時に取得された第１医用画像を参照することにより、自動的に、病変部が第２関心領域として特定される。よって、異なる内視鏡画像における位置関係を容易に把握できる。
【0038】
なお、特徴量は、観察対象に現れる生体組織の構造パターンであれば特に限定されず、血管のパターンの他、腺管、柔毛、リンパ管、粘膜の紋様（皺）、臓器自体の形状のパターンなどであってもよい。このようなパターンは個人に特有のものであるが、生体組織の種類によって経時的変化の可能性が異なる。例えば、血管やリンパ管のパターンは経時的変化の可能性が低く、代謝により構造が置き換わる腺管、柔毛、粘膜の紋様は経時的変化の可能性が中程度であり、人体や臓器の動きによって変化する臓器自体の形状は経時的変化の可能性が大きい。そのため、特徴量抽出部６ｄは、複数種類の特徴量を抽出した場合、経時的変化の可能性に応じて、特徴量に対し傾斜的に優先度をつけて評価することが好ましい。また、特徴量の経時的変化の可能性が高いほど、第１医用画像を取得するタイミングと第２医用画像を取得するタイミングとの差を短くすることが好ましい。
【0039】
また、特徴量抽出部６ｄは、フェデレーテッドラーニング（分散協調学習）を使用して特徴量を抽出することが好ましい。これにより、処理速度の高速化、および、情報の匿名化の条件下での解析が可能となる。
【0040】
また、異なる時期に撮影された画像間で対応する部位の特徴量は、基本的には健康であれば同じである。そのため、対応する部位の特徴量が互いに異なっていた場合は、疾病の発生の可能性がある。そのため、同じ部位の特徴量を経時的に検知することで、健康状態の判定、疾病発生の予測、病状の増悪や改善の程度を判定することが可能となる。
【0041】
［第２実施形態］
以下、本発明の第２実施形態について説明する。なお、第１実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
以下、本発明の第２実施形態について説明する。なお、第１実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
【0042】
図７は、第２実施形態に係る内視鏡システム１１の構成を示すブロック図である。内視鏡システム１１は、内視鏡２と、制御装置１３と、モニタ４とを備えている。
【0043】
制御装置１３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置１３は、光源装置５と、プロセッサ１６とを備えている。
【0044】
プロセッサ６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、関心領域特定部６ｈと、教師データ生成部６ｊと、を備えている。画像取得部６ｂ～教師データ生成部６ｊの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～教師データ生成部６ｊの各部は、プロセッサ１６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムまたは教師データ生成プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。これらのプログラムは、通信ネットワークを介して制御装置１３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置１３に供給してもよい。
【0045】
以下、画像取得部６ｂ～教師データ生成部６ｊの各部の機能について、図８および図９に示すフローチャートを参照しながら説明する。図８に示すステップＳ２１～Ｓ２５は、ある年度の検診時に実施され、図９に示すステップＳ２５～Ｓ３３は、その翌年度の内視鏡による手術（本実施形態では、ＥＳＤ（内視鏡的粘膜下層剥離術）時に実施される。
【0046】
ステップＳ２１（第２取得ステップ）では、内視鏡２が観察対象（例えば、下部消化管臓器）に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第２医用画像とする。
【0047】
ステップＳ２２（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。
【0048】
ステップＳ２３（第２抽出ステップ）では、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。
【0049】
ステップＳ２４では、保存部６ｆが、第２医用画像を特徴量と関連付けて記憶部６０に保存する。なお、ステップＳ２１～Ｓ２４は、検診が終了するまで（ステップＳ２５においてＹＥＳ）繰り返される。記憶部６０に保存されたデータを、過去データＤ２と称する。
【0050】
続いて、翌年度の検診時に図９に示すステップＳ２６～Ｓ３５が実施される。
【0051】
ステップＳ２６（第１取得ステップ）では、ステップＳ２１と同様に、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。すなわち、第１医用画像の撮影時期は、第２医用画像の撮影時期よりも後である。
【0052】
ステップＳ２７（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。
【0053】
第１医用画像中に病変があった場合（ステップＳ２８においてＹＥＳ）、ステップＳ２９に移行する。ステップＳ２９（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。本実施形態において、特徴量は血管パターンである。
【0054】
ステップＳ３０（第１設定ステップ）では、関心領域設定部６ｅが、第１医用画像に第１関心領域を設定する。本実施形態では、関心領域設定部６ｅは、病変部を囲むように第１関心領域を設定する。第１関心領域を設定は、自動であってもよいし、手動であってもよい。
【0055】
ステップＳ３１（比較ステップ）では、比較部６ｇが、過去データＤ２を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。同じ特徴量がない場合（ステップＳ３２においてＮＯ）、第１医用画像と同一部位を含む第２医用画像が存在しないため、処理を終了する。
【0056】
同じ特徴量がある場合（ステップＳ３２においてＹＥＳ）、同じ特徴量を含む第１医用画像および第２医用画像は、同一部位を含む画像であるとみなすことができる。続いて、ステップＳ３３（関心領域特定ステップ）に移行し、関心領域特定部６ｈが、ステップＳ３１の比較結果に基づいて、第２医用画像における第１関心領域と対応する第２関心領域を特定する。
【0057】
続いて、ステップＳ３４では、教師データ生成部６ｊが、ステップＳ３３で特定された第２関心領域を第２医用画像（過去データＤ２）に付加して、機械学習のための教師データＤ３を生成する。検査が終了するまで（ステップＳ３５においてＹＥＳ）、内視鏡２の位置を移動させてステップＳ２６～Ｓ３４を繰り返す。生成された教師データＤ３は、記憶部６０に保存される。
【0058】
本実施形態では、あるタイミングで、第２医用画像を取得し、所定期間（１年）経過後に、第１医用画像を取得する。そして、第１医用画像において病変が発見された場合、病変部に第１関心領域を設定し、第１医用画像の特徴量と第２医用画像の特徴量とを比較することにより、第２医用画像における第１関心領域（病変部）に対応する第２関心領域を特定している。仮に、第２関心領域が病変部を含まない場合、前記所定期間が経過するまでに、病変が発生したことになる。すなわち、第２関心領域の組織は、病変が発生する前段階であることとなる。
【0059】
よって、図８および図９に示すフローを複数の被検者について行うことにより、第２関心領域が付加された第２医用画像を教師データＤ３のセット（学習用データセット）として蓄積し、機械学習を行うことにより、下記のように、病変が発生していない組織の画像に基づいて、所定期間後の病変の発生を予測することが可能となる。
【0060】
続いて、教師データＤ３を用いた機械学習について説明する。
【0061】
図１０は、本実施形態に係る学習済みモデル生成装置７の構成を示すブロック図である。学習済みモデル生成装置７は、例えば汎用のコンピュータで構成することができ、記憶部７０と、学習部７ａとを備えている。
【0062】
記憶部７０は、学習済みモデル生成装置７による演算処理に用いられる各種プログラムや、演算処理によって生成された各種データを保存するものであり、例えば、ＨＤＤ、ＳＳＤなどで構成される。記憶部７０には、上述のプロセッサ６によって生成された教師データＤ３が格納されている。
【0063】
学習部７ａは、学習済みモデル生成装置７のＧＰＵまたはＣＰＵが所定の学習プログラムを実行することにより実現される機能ブロックであり、教師データＤ３を用いて機械学習を行う。これにより、学習部７ａは、未知の観察対象を内視鏡で撮影した内視鏡画像を入力とし、前記未知の観察対象における病変の発生に関する発病予測情報を出力とする学習済みモデルＤ４を生成する。学習法は特に限定されないが、例えば、ディープラーニング、サポートベクターマシン、ランダムフォレストなどを用いることができる。
【0064】
図１１は、本実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。
【0065】
ステップＳ４１では、上述のプロセッサ６において生成された教師データＤ３を学習済みモデル生成装置７に転送して、記憶部７０に格納する。
【0066】
ステップＳ４２では、学習部７ａがニューラルネットワークなどの学習モデルに教師データＤ３を入力することにより、機械学習を実行する。機械学習が完了すると、学習済みモデルＤ４が作成される（ステップＳ４３）。作成された学習済みモデルＤ４は、記憶部７０に保存される（ステップＳ４４）。
【0067】
続いて、学習済みモデルＤ４を用いた診断支援について説明する。
【0068】
図１２は、本実施形態に係る内視鏡システム２１の構成を示すブロック図である。内視鏡システム２１は、内視鏡２と、制御装置２３と、モニタ４とを備えている。
【0069】
制御装置２３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置２３は、光源装置５と、プロセッサ２６とを備えている。
【0070】
プロセッサ２６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、発病予測部６ｋと、を備えている。画像取得部６ｂと～発病予測部６ｋの各部は、制御装置２３のＧＰＵまたはＣＰＵが所定の発病予測プログラムを実行することにより実現される機能ブロックである。
【0071】
以下、画像取得部６ｂ～発病予測部６ｋの各部の機能について、図１３に示すフローチャートを参照しながら説明する。このフローは、本実施形態に係る学習済みモデル生成方法および発病予測方法の手順を示すものであり、不特定の被検者に対して行われる。
【0072】
ステップＳ５１では、内視鏡２を被検者の観察対象（例えば、下部消化管臓器）に挿入する。
【0073】
ステップＳ５２（第３取得ステップ）では、光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。
【0074】
ステップＳ５３では、必要に応じて補正部６ｃが内視鏡画像の不明瞭な部分を補正する。
【0075】
ステップＳ５４（発病予測ステップ）では、発病予測部６ｋが、学習済みモデルＤ４にステップＳ５２で取得された内視鏡画像を入力して、被検者の観察対象における病変の発生に関する発病予測情報を取得する。
【0076】
ステップＳ５５では、モニタ４に予測結果が表示される。なお、予測結果をユーザに報知する態様は、特に限定されない。
【0077】
以上のように、本実施形態に係る発病予測方法では、複数の異なる時期の内視鏡検査による内視鏡画像の経時的変化から、被験者が将来的に発病するリスクを予測するとともに、発病リスクの高い部位を特定することができる。特に、ゲノムまたはエピゲノム解析の結果により、癌等の病変の発症リスクの高い疾患が予想される集団に対し、上記発病予測方法による予測を行うことにより、発病を未然に防ぐための手段を講じることができる。
【0078】
例えば、大腸癌の分野では、全大腸癌のうち５－１０％が遺伝性であるといわれており、大腸ポリポーシスの中でも、遺伝子異常を背景とする家族性大腸ポリポーシスが複数知られている。これまでは特定の疾患に対しての遺伝子スクリーニング検査が主であったが、全ゲノム解析やがん遺伝子パネル検査が行われるようになると、偶発的に発見される大腸ポリポーシス患者が増加することが予想される。これらの患者に対しては、定期的な大腸内視鏡検査によるサーベイランスが推奨されているが、このような集団に対して内視鏡検査をする際に、その遺伝子データと内視鏡画像情報の関連性を探索することに加え、内視鏡検査動画の経時的な情報を比較することにより、内視鏡検査画像上のポリープの発現史を探り、今後の内視鏡検査における早期診断・治療のための知見を得ることができる。
【0079】
また、ゲノム及びエピゲノム解析と、内視鏡画像の経時的変化との関連性を機械学習し、これによって生成された人工知能学習アルゴリズムによって求めることにより、将来的な発病リスクをより正確に予測することが可能となる。
【0080】
さらに、上記発病予測方法によって、病変の発症リスクが高い部位と、実際に発症した部位との同定数から、社会的スクリーニング検査における、有効な内視鏡検査の時間的間隔を割り出すことができる。
【0081】
［第３実施形態］
以下、本発明の第３実施形態について説明する。なお、第１および第２実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
以下、本発明の第３実施形態について説明する。なお、第１および第２実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
【0082】
図１４は、第３実施形態に係る内視鏡システム３１の構成を示すブロック図である。内視鏡システム３１は、内視鏡２と、制御装置３３と、モニタ４とを備えている。
【0083】
制御装置３３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置３３は、光源装置５と、プロセッサ３６とを備えている。
【0084】
プロセッサ３６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、位置演算部６ｍと、拡大位置表示部６ｎと、画像合成部６ｐと、を備えている。画像取得部６ｂ～画像合成部６ｐの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～画像合成部６ｐの各部は、プロセッサ３６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。画像処理プログラムは、通信ネットワークを介して制御装置３３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置３３に供給してもよい。
【0085】
【0086】
ステップＳ６１（第１取得ステップ）では、内視鏡２が観察対象（例えば、下部消化管臓器）に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。
【0087】
続いて、ステップＳ６２（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。
【0088】
第１医用画像中に癌やポリープなどの病変がない場合（ステップＳ６３においてＮＯ）、検診が終了するまで（ステップＳ６８においてＹＥＳ）、内視鏡２を異なる位置に移動させてステップＳ６１およびＳ６２を繰り返す。第１医用画像中に病変がある場合（ステップＳ６３においてＹＥＳ）、ステップＳ６４に移行する。
【0089】
ステップＳ６４（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。本実施形態において、特徴量は腺管のパターンである。
【0090】
ステップＳ６５（第１設定ステップ）では、関心領域設定部６ｅが、第１医用画像において病変部の全体または一部に第１関心領域を設定する。第１関心領域Ｒ１が設定された第１医用画像の一例を図１７に示す。
【0091】
図１５に示すステップＳ６６では、保存部６ｆが、第１医用画像を特徴量および第１関心領域と関連付けて記憶部６０に保存する。なお、第１医用画像が保存される領域は、記憶部６０の補助記憶領域であっても主記憶領域であってもよい。記憶部６０に保存されたデータを、参照用データＤ５と称する。
【0092】
続いて、ステップＳ６７の拡大画像処理に移行する。図１６は、ステップＳ６７の詳細な手順を示している。
【0093】
拡大画像処理では、まずステップＳ６７－１において、内視鏡２の図示しない対物レンズを制御して拡大モードに変更し、観察窓が第１関心領域内に指向するように調整する。本実施形態では、倍率が８０倍であるとする。
【0094】
ステップＳ６７－２では、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第２医用画像とする。すなわち、第２医用画像は、第１関心領域の一部を内視鏡２で拡大して撮影した画像である。第２医用画像の一例を図１８に示す。
【0095】
図１６に示すステップＳ６７－３（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。
【0096】
ステップＳ６７－４（第２抽出ステップ）では、ステップＳ６４と同様に、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。
【0097】
ステップＳ６７－５（比較ステップ）では、比較部６ｇが、参照用データＤ５を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。同じ特徴量がない場合（ステップＳ６７－６においてＮＯ）、第２医用画像は第１関心領域に含まれないものとみなすことができる。そのため、内視鏡２による撮影範囲が第１関心領域を全て網羅するまで（ステップＳ６７－１１においてＹＥＳ）、内視鏡２を第１関心領域中の異なる位置に指向させて、ステップＳ６７－２～Ｓ６７－５を繰り返す。
【0098】
同じ特徴量がある場合（ステップＳ６７－６においてＹＥＳ）、第２医用画像は第１関心領域に含まれるものとみなされ、ステップＳ６７－７（位置関係特定ステップ）に移行する。ステップＳ６７－７では、保存部６ｆが、第２医用画像を記憶部６０の主記憶領域に保存する。保存された第２医用画像を断片拡大画像Ｄ６と称する。
【0099】
続いて、ステップＳ６７－８において、位置演算部６ｍが、比較結果に基づき、第１医用画像と第２医用画像との位置関係を特定する。具体的には、位置演算部６ｍが、第１関心領域における特徴量の位置と、第２医用画像における特徴量の位置に基づき、第１関心領域における第２医用画像の位置を演算する。
【0100】
続いて、ステップＳ６７－９において、拡大位置表示部６ｎが、第１関心領域における第２医用画像の位置を識別可能にモニタ４に表示する。図１９は、図１７に示す第１医用画像において、第１関心領域Ｒ１中に第２医用画像が占める領域Ｒ２が示された画像の一例である。これにより、ユーザは、第２医用画像（拡大画像）の第１医用画像（通常倍率画像）における位置を把握することができる。
【0101】
従来の内視鏡検査では、通常倍率の画像から拡大画像または超拡大画像に切り換えた際に、拡大モードの内視鏡による撮影位置が同定し難くなるという欠点があった。これに対し、通常倍率画像の第１関心領域における拡大画像の位置を表示することにより、拡大画像または超拡大画像の位置が把握しやすくなる。
【0102】
続いて、ステップＳ６７－１０（画像合成ステップ）において、画像合成部６ｐが、記憶部６０に保存された第２医用画像（断片拡大画像Ｄ６）を合成する。ステップＳ６７－１０が最初に実行された時点では、記憶部６０に保存されている断片拡大画像Ｄ６は１つだけであるので、合成は行われない。ステップＳ６７－２～Ｓ６７－１０は、取得された第２領域が第１関心領域を全て網羅するまで（ステップＳ６７－１１においてＹＥＳ）、内視鏡２の指向方向を変えながら繰り返される。
【0103】
ステップＳ６７－１０が２度目に実行された時点で、記憶部６０には２つの断片拡大画像Ｄ６が保存されているため、画像合成部６ｐは、２つの断片拡大画像Ｄ６の互いに重複していない部分を繋ぎ合わせて合成拡大画像Ｄ７を生成する。
【0104】
その後、ステップＳ６７－２～Ｓ６７－１０が繰り返される度に、画像合成部６ｐは、新たに取得された第２医用画像を合成拡大画像Ｄ７にさらに合成する。これを繰り返すことにより、最終的に第１関心領域全体に対応する合成拡大画像Ｄ７が得られる。
【0105】
なお、第２医用画像が取得される度に画像合成を行ってもよいし、拡大モードで第１関心領域を全て撮影した後に、取得された第２医用画像をまとめて合成してもよい。すなわち、取得された第２領域が第１関心領域を全て網羅するまで（ステップＳ６７－１１においてＹＥＳ）、断片拡大画像Ｄ６を記憶部６０に蓄積しておき、その後、画像合成部６ｐが蓄積された全ての断片拡大画像Ｄ６の互いに重複していない部分を繋ぎ合わせて拡大画像Ｄ７を生成してもよい。
【0106】
ステップＳ６７－２～Ｓ６７－１１の処理が終了すると、ステップＳ６７－１２において、再び対物レンズを制御して拡大モードから変更前のモードに戻し、図１５に示すステップＳ６８に移行する。
【0107】
以上のように、拡大モードで得られた第２医用画像を合成することにより、関心領域全体の高精細な合成拡大画像を得ることができる。なお、高精細な合成拡大画像を第１医用画像とし、さらに倍率の高い超拡大モード（例えば５２０倍）で撮影された画像を第２医用画像として、上述のステップＳ６１～Ｓ６８を実施してもよい。
【0108】
これにより、図２０に示すように、超拡大モードによる第２医用画像の位置の把握が容易になり、第２医用画像を繋ぎ合せて合成することにより、さらに情報量の多い高精細な合成拡大画像を得ることができる。
【0109】
このようにして得られた合成拡大画像によって、通常倍率の画像を目視した程度では正常か異常かの判別が困難な病変部も正確に判別することが可能となる。さらに、合成拡大画像は、病理学的診断情報（病理学的標本所見情報）との対比により、病変の発病過程における画像的特徴の変化を推定するための人工知能アルゴリズムの生成に利用することができる。具体的なフローの一例を図２１に示す。
【0110】
まず、ステップＳ７１では、手術により第１関心領域を切除して病変部の組織を得る。
【0111】
続いて、ステップＳ７２において、切除された組織について検査を行い、病理学的診断情報を取得する。病理学的診断情報は、第１関心領域における病変部および非病変部の範囲に関する情報を含む。
【0112】
続いて、ステップＳ７３において、病理学的診断情報を合成拡大画像に付加して、教師データを作成する。
【0113】
ステップＳ７４では、生成された教師データを用いて機械学習を行う。その結果、ステップＳ７５において、学習済みモデルが生成される。この学習済みモデルに未知の観察対象から取得された拡大画像を入力すると、合成拡大画像中の複数の領域毎に病変部であるか否かの情報が出力される。これにより、未知の観察対象における病変部と非病変部との境界を識別することが可能となり、合成拡大画像中に病変の範囲を囲繞する環状の境界線を表示することができる。また、学習済みモデルの出力結果に基づいて、発病可能性のある部位を同定することも可能となる。
【0114】
［第４実施形態］
以下、本発明の第４実施形態について説明する。なお、第１～第３実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
以下、本発明の第４実施形態について説明する。なお、第１～第３実施形態におけるものと同一の機能を有する部材については、同一の符号を付し、原則として、その詳細な説明を省略する。
【0115】
図２２は、第４実施形態に係る内視鏡システム４１の構成を示すブロック図である。内視鏡システム４１は、内視鏡２と、制御装置４３と、モニタ４とを備えている。
【0116】
制御装置４３は、内視鏡２に接続されており、主に、内視鏡２による光出射の制御、および撮像素子２ｂからの画像信号の処理などを行う。制御装置４３は、光源装置５と、プロセッサ４６とを備えている。
【0117】
プロセッサ４６は、記憶部６０と、ＡＤ変換部６ａと、画像取得部６ｂと、補正部６ｃと、特徴量抽出部６ｄと、関心領域設定部６ｅと、保存部６ｆと、比較部６ｇと、位置演算部６ｍと、画像合成部６ｐと、展開画像生成部６ｑと、観察状態評価部６ｒと、を備えている。画像取得部６ｂ～観察状態評価部６ｒの各部は、集積回路などによってハードウェア的に実現してもよいが、ソフトウェア的に実現することもできる。この場合、画像取得部６ｂ～観察状態評価部６ｒの各部は、プロセッサ４６の図示しないＣＰＵまたはＧＰＵが、記憶部６０に格納されている画像処理プログラムを図示しない主記憶装置（メモリ）に読み出して実行することにより実現される。画像処理プログラムは、通信ネットワークを介して制御装置４３にダウンロードしてもよいし、画像処理プログラムのプログラムコードを記録したＳＤカードやＣＤ－ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、上記プログラムを制御装置４３に供給してもよい。
【0118】
【0119】
内視鏡システム４１は、観察対象全体の２次元展開画像を生成することにより、内視鏡検査の支援を行う機能や、人体を模擬した模型を用いた内視鏡検査のシミュレーションにおいて、検査精度を評価する機能を有している。下記のフローでは、実際の内視鏡検査、および内視鏡検査のシミュレーションの両方の場合について説明する。
【0120】
ステップＳ８１（第１取得ステップ）では、内視鏡２が観察対象に挿入された状態で光源装置５を作動させ、画像取得部６ｂが内視鏡画像を取得する。当該内視鏡画像を第１医用画像とする。実際の内視鏡検査の場合、観察対象は、例えば下部消化管臓器などであるが、内視鏡検査のシミュレーションの場合、観察対象は、人体模型もしくは臓器模型の内部である。
【0121】
続いて、ステップＳ８２（第１補正ステップ）では、必要に応じて補正部６ｃが第１医用画像の不明瞭な部分を補正する。
【0122】
ステップＳ８３（第１抽出ステップ）では、特徴量抽出部６ｄが、第１医用画像の特徴量を抽出する。実際の内視鏡検査の場合、特徴量は、血管パターンなどの観察対象の表面に現れる組織構造のパターンである。内視鏡検査のシミュレーションの場合、特徴量抽出部６ｄは、人体模型に形成された生体組織の構造を模したパターンを特徴量として抽出する。
【0123】
第１医用画像中に病変がある場合（ステップＳ８４においてＹＥＳ）、ステップＳ８５（第１設定ステップ）に移行し、関心領域設定部６ｅが、第１医用画像に第１関心領域を設定する。第１医用画像中に病変がない場合（ステップＳ８４においてＮＯ）、ステップＳ８６に移行する。
【0124】
ステップＳ８６では、保存部６ｆが、第１医用画像を記憶部６０の主記憶領域に保存する。保存された第１医用画像を断片画像Ｄ８と称する。
【0125】
続いて、ステップＳ８７の画像合成処理に移行する。図２３は、ステップＳ８７の詳細な手順を示している。
【0126】
画像合成処理では、まずステップＳ８７－１において、内視鏡２を移動させる。本実施形態では、内視鏡２を観察対象の奥側に所定距離だけ移動させる。
【0127】
続いて、ステップＳ８７－２において、画像取得部６ｂが第２医用画像を取得する。当該内視鏡画像を第２医用画像とする。つまり、第２医用画像は、一度の内視鏡挿入において、第１医用画像に続いて連続的に撮影された画像である。
【0128】
ステップＳ８７－３（第２補正ステップ）では、必要に応じて補正部６ｃが第２医用画像の不明瞭な部分を補正する。
【0129】
ステップＳ８７－４（第２抽出ステップ）では、ステップＳ８３と同様に、特徴量抽出部６ｄが第２医用画像の特徴量を抽出する。
【0130】
第２医用画像中に病変がある場合（ステップＳ８７－５においてＹＥＳ）、ステップＳ８７－６（第２設定ステップ）に移行し、関心領域設定部６ｅが、第２医用画像に第２関心領域を設定する。第２医用画像中に病変がない場合（ステップＳ８７－５においてＮＯ）、ステップＳ８７－７に移行する。
【0131】
ステップＳ８７－７（比較ステップ）では、比較部６ｇが、断片画像Ｄ８を参照して、第１医用画像の特徴量と第２医用画像の特徴量とを比較する。同じ特徴量がない場合（ステップＳ８７－８においてＮＯ）、第１医用画像と第２医用画像との共通部分がないものとみなすことができる。そのため、ステップＳ８７－９において、内視鏡２をいったんステップＳ８７－１における移動方向と逆方向（本実施形態では手前）に移動させ、その後、ステップＳ８７－２～Ｓ８７－７を繰り返す。
【0132】
同じ特徴量がある場合（ステップＳ８７－８においてＹＥＳ）、第１医用画像および第２医用画像は共通部分を有するため、第２医用画像は第１医用画像と連続した画像であるとみなすことができる。続いて、ステップＳ８７－１０において、保存部６ｆが、第２医用画像を記憶部６０の主記憶領域に保存する。
【0133】
続いて、ステップＳ８７－１１において、位置演算部６ｍが、比較結果に基づき、第１医用画像と第２医用画像との位置関係を特定し、ステップＳ８７－１２（画像合成ステップ）において、画像合成部６ｐが、記憶部６０に保存された断片画像Ｄ８（第１医用画像）に第２医用画像を合成する。
【0134】
その後、検査またはシミュレーションが終了するまで（ステップＳ８７－１３においてＹＥＳ）、観察対象の異なる部位について、ステップＳ８７－１～Ｓ８７－１２を繰り返す。すなわち、一度の内視鏡挿入において、観察対象の異なる部位について、ステップＳ８７－２およびＳ８７－４を繰り返し、ステップＳ８７－２の各々で取得された複数の第２医用画像について、ステップＳ８７－７において、各第２医用画像の特徴量とその直前に取得された第２医用画像の特徴量とを比較し、ステップＳ８７－１１において、比較結果に基づいて、第１医用画像と第２医用画像との位置関係、および複数の第２医用画像同士の位置関係を特定し、ステップＳ８７－１２において、第１医用画像および複数の前記第２医用画像を繋ぎ合わせて３次元合成画像を生成する。これにより、断片画像Ｄ８に、複数の第２医用画像が合成され、最終的に３次元合成画像Ｄ９が生成され、図２３に示すステップＳ８７が終了する。３次元合成画像Ｄ９は、同一の特徴量を有する画像同士を繋ぎ合わせたものであるため、観察対象の内周面の全周に亘る撮影によって生成された内表面全体の画像とみなすことができる。
【0135】
その後、ステップＳ８８（展開画像生成ステップ）において、展開画像生成部６ｑが、３次元合成画像Ｄ９を展開した２次元展開画像Ｄ１０を生成する。
【0136】
３次元合成画像Ｄ９および２次元展開画像Ｄ１０には、ステップＳ８５およびＳ８７－６で設定された関心領域が表示される。そのため、ユーザは、３次元合成画像Ｄ９または２次元展開画像Ｄ１０を参照することにより、病変部およびその周囲の範囲が容易に把握できるようになる。また、異なる時期に得られた複数の３次元合成画像Ｄ９または２次元展開画像Ｄ１０を比較することにより、領域ごとの経時的な変化が比較しやすくなる。
【0137】
また、内視鏡検査のシミュレーションの場合、さらにステップＳ８９を実施する。ステップＳ８９（観察状態評価ステップ）では、観察状態評価部６ｒが、２次元展開画像Ｄ１０に基づき、観察対象における観察状態を評価する。観察状態とは、観察すべき領域（観察対象の全領域）に対する実際に観察できた領域の割合や、未観察領域の有無などである。前記割合は、内視鏡２を挿入した人体模型の観察対象（模擬した管腔臓器）の全体面積を、あらかじめ人体模型作製時に計測しておき、２次元展開画像Ｄ１０から求められた２次元展開画像Ｄ１０の面積を観察対象の全体面積で除算することにより計算できる。また、未観察領域は、内視鏡２を挿入した人体模型の観察対象の２次元展開図を参照用２次元展開図としてあらかじめ作成しておき、２次元展開画像Ｄ１０を参照用２次元展開画像に重ね合わせることにより、把握することができる。
【0138】
このように、シミュレーションにおいて観察状態を評価することにより、内視鏡検査の質や検査術者の熟練度の評価を行うことができる。なお、シミュレーションは、人体模型を用いたシミュレーションの他、ＶＲシミュレータ、ＡＲシミュレータなどのコンピュータシミュレータによっても行うことができる。
【0139】
なお、内視鏡２が胆管膵管用内視鏡または消化管用細径内視鏡である場合、胆膵または膵管の内腔壁構造、血管、粘膜などのパターンを撮影した画像情報によって、病変や分枝等の相対的位置情報のマッピングを行うことができる。
【0140】
［付記事項］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、異なる実施形態に開示された技術的手段を適宜組み合わせて得られる形態も、本発明の技術的範囲に属する。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、異なる実施形態に開示された技術的手段を適宜組み合わせて得られる形態も、本発明の技術的範囲に属する。
【0141】
例えば、上記実施形態では、内視鏡による観察対象は主に下部消化管臓器（大腸）であったが、本発明はこれに限定されない。例えば、鼻腔、口腔、食道、胃、十二指腸、胆管、膵管、小腸、肺、その他の内臓も、観察対象とすることができる。また、観察対象は生体に限らず、第４実施形態のように、人体模型やＶＲ、ＡＲであってもよい。
【0142】
また、上記実施形態では、内視鏡２は軟性内視鏡の一種である消化器内視鏡であったが、適用可能な内視鏡の種類は特に限定されない。本発明に適用可能な内視鏡の例を、表１に示す。
【0143】
【表1】
【0144】
なお、内視鏡には、ＮＯＴＥＳ（natural orifice transluminal endoscopic surgery）に用いられるものも含まれる。ＮＯＴＥＳとは、軟性内視鏡を口や肛門、膣などの自然孔から挿入し、胃壁などの管腔壁を経て腹腔内に到達させ、診断や処置を行う手技である。
【0145】
また、上記実施形態では、画像処理の対象となる第１医用画像および第２医用画像が内視鏡画像であったが、本発明はこれに限定されず、例えば、ＭＲＩ画像、ＣＴ画像および超音波画像なども画像処理の対象とすることができる。ＭＲＩ画像およびＣＴ画像においては、血管構造や特定臓器の位置関係などが特徴量として使用できる。また、超音波画像においては、実質臓器内の血管、門脈、胆管、リンパ管などの脈管構造、特定臓器の位置関係などが特徴量として使用できる。
【符号の説明】
【0146】
１ 内視鏡システム
２ 内視鏡
２ａ 蛍光体
２ｂ 撮像素子
３ 制御装置
４ モニタ
５ 光源装置
５ａ 光源
５ｂ 光源駆動部
６ プロセッサ（画像処理装置）
６ａ ＡＤ変換部
６ｂ 画像取得部（第１取得部、第２取得部）
６ｃ 補正部
６ｄ 特徴量抽出部（第１抽出部、第２抽出部）
６ｅ 関心領域設定部（位置関係特定部）
６ｆ 保存部
６ｇ 比較部
６ｈ 関心領域特定部
６ｉ マーキング部
６ｊ 教師データ生成部
６ｋ 発病予測部
６ｍ 位置演算部
６ｎ 拡大位置表示部
６ｐ 画像合成部
６ｑ 展開画像生成部
６ｒ 観察状態評価部
７ 学習済みモデル生成装置
７ａ 学習部
１１ 内視鏡システム
１３ 制御装置
１６ プロセッサ（画像処理装置）
２１ 内視鏡システム
２３ 制御装置
２６ プロセッサ（画像処理装置）
３１ 内視鏡システム
３３ 制御装置
３６ プロセッサ（画像処理装置）
４１ 内視鏡システム
４３ 制御装置
４６ プロセッサ（画像処理装置）
６０ 記憶部
７０ 記憶部
Ｄ１ 参照用データ
Ｄ２ 過去データ
Ｄ３ 教師データ
Ｄ４ 学習済みモデル
Ｄ５ 参照用データ
Ｄ６ 断片拡大画像
Ｄ７ 拡大画像
Ｄ７ 合成拡大画像
Ｄ８ 断片画像
Ｄ９ ３次元合成画像
Ｄ１０ ２次元展開画像
Ｆ 光ファイバ
Ｒ１ 第１関心領域
Ｒ２ 領域
２ 内視鏡
２ａ 蛍光体
２ｂ 撮像素子
３ 制御装置
４ モニタ
５ 光源装置
５ａ 光源
５ｂ 光源駆動部
６ プロセッサ（画像処理装置）
６ａ ＡＤ変換部
６ｂ 画像取得部（第１取得部、第２取得部）
６ｃ 補正部
６ｄ 特徴量抽出部（第１抽出部、第２抽出部）
６ｅ 関心領域設定部（位置関係特定部）
６ｆ 保存部
６ｇ 比較部
６ｈ 関心領域特定部
６ｉ マーキング部
６ｊ 教師データ生成部
６ｋ 発病予測部
６ｍ 位置演算部
６ｎ 拡大位置表示部
６ｐ 画像合成部
６ｑ 展開画像生成部
６ｒ 観察状態評価部
７ 学習済みモデル生成装置
７ａ 学習部
１１ 内視鏡システム
１３ 制御装置
１６ プロセッサ（画像処理装置）
２１ 内視鏡システム
２３ 制御装置
２６ プロセッサ（画像処理装置）
３１ 内視鏡システム
３３ 制御装置
３６ プロセッサ（画像処理装置）
４１ 内視鏡システム
４３ 制御装置
４６ プロセッサ（画像処理装置）
６０ 記憶部
７０ 記憶部
Ｄ１ 参照用データ
Ｄ２ 過去データ
Ｄ３ 教師データ
Ｄ４ 学習済みモデル
Ｄ５ 参照用データ
Ｄ６ 断片拡大画像
Ｄ７ 拡大画像
Ｄ７ 合成拡大画像
Ｄ８ 断片画像
Ｄ９ ３次元合成画像
Ｄ１０ ２次元展開画像
Ｆ 光ファイバ
Ｒ１ 第１関心領域
Ｒ２ 領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】