特許 7688704 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-27

(45)【発行日】2025-06-04

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G16H 50/70 20180101AFI20250528BHJP

【ＦＩ】

G16H50/70

【請求項の数】 11

(21)【出願番号】P 2023533019

(86)(22)【出願日】2021-07-09

(86)【国際出願番号】 JP2021025970

(87)【国際公開番号】W WO2023281738

(87)【国際公開日】2023-01-12

【審査請求日】2023-11-15

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100109209

【弁理士】

【氏名又は名称】小林 一任

(72)【発明者】

【氏名】新谷 浩一

(72)【発明者】

【氏名】谷 憲

(72)【発明者】

【氏名】野中 修

(72)【発明者】

【氏名】市川 学

(72)【発明者】

【氏名】後町 智子

【審査官】青柳 光代

(56)【参考文献】

【文献】特開２０２１－０４８９２８（ＪＰ，Ａ）

【文献】国際公開第２０２０／１１０２７８（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１９４４７２（ＷＯ，Ａ１）

【文献】特開２０２１－１００５５５（ＪＰ，Ａ）

【文献】国際公開第２０２４／１８１５０６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ１６Ｈ １０／００ － ８０／００

(57)【特許請求の範囲】

【請求項1】

内視鏡用の推論モデルを作成可能な情報処理システムにおける情報処理装置であって、
上記情報処理装置は、
第１の内視鏡から連続して得られた画像に対して、特定の画像特徴の判定を行うために上記第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかを判定する判定部と、
上記第１の内視鏡から上記第２のタイミングで得られた画像群であると、上記判定部によって判定された画像群に基づいて、上記情報処理システム内に配置された学習部によって作成された第１の推論モデルを設けた推論部と、
上記第１の推論モデルを作成した際に第１のタイミングで得られた画像群と、新たに取得した上記第１の内視鏡または第２の内視鏡からの画像群との類似度に基づいて、上記第1の内視鏡または第２の内視鏡からの画像群の中から第２の教師データ候補となる画像群を選択して分類する分類部と、
上記分類部によって分類された上記第２の教師データ候補となる画像群に基づいて第２の推論モデルの作成を学習部に依頼する依頼部と、
を具備し、
上記学習部は、上記依頼部から依頼され、上記第２の教師データ候補であって、上記第１の内視鏡または第２の内視鏡から上記第２のタイミングで得られた画像に対して画像特徴判定用の第２の推論モデルを作成する。

【請求項2】

上記依頼部は、上記第２の教師データ候補として選択された画像データに、アノテーションを行い、上記学習部に上記第２の推論モデルの作成を依頼することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

上記分類部は、上記第１の内視鏡によって時系列で得られた画像群に基づく教師データを用いて、上記第１の推論モデルを作成する際に、上記第１のタイミングで得られた画像の中で、教師データ作成するための上記アノテーションの対象とならなかった画像を不要画像とし、上記情報処理システム内に配置された記録部に記録しないことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

上記第１の推論モデルを作成する際に、上記第１のタイミングで得られた画像群と、上記第２のタイミングで得られた画像群を、上記判定部によって判定した後に、上記情報処理システム内に配置された記録部に記録させる記録制御部を具備することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

上記学習部は、上記第２の推論モデルの作成に加えて、上記第１の推論モデルを改良した第３の推論モデルを更に作成可能であり、
上記依頼部は、入力画像を上記第１の推論モデルで推論した結果の信頼性が、高信頼と低信頼の中間範囲にある場合に、上記第２の推論モデルの作成の依頼に代えて、上記中間範囲に入る画像群に基づいて、上記学習部に上記第３の推論モデルの作成を依頼することを特徴とする請求項１に記載の情報処理装置。

【請求項6】

上記依頼部は、上記第１の推論モデルを作成した際に上記第１の内視鏡から取得された画像群の中から、上記第１のタイミングで得られた画像群の特徴に基づいて、上記第１の推論モデルを作成した時と同様の仕様で、上記第２の内視鏡によって取得された画像に対応した推論モデルを得るための教師データ候補を、上記第２の内視鏡からの画像群の中から選択し、第２の推論モデルの作成を上記学習部に依頼することを特徴とする請求項１に記載の情報処理装置。

【請求項7】

上記第１の推論モデルに画像を入力した時の推論結果の信頼性が所定値より低い場合に、入力した上記画像は上記第２の内視鏡からの画像であることを判定する入力判定部をさらに具備することを特徴とする請求項１に記載の情報処理装置。

【請求項8】

上記画像群をなす個々の画像データに画像を撮影した機器に関するカテゴリ情報および／もしくは推論モデルに関するスペック情報等の付随情報をメタデータとして関連付けて追記する追記部をさらに有することを特徴とする請求項１に記載の情報処理装置。

【請求項9】

上記分類部は、上記第１の推論モデルを作成した際の上記第１のタイミングで得られた画像群と、上記第１の内視鏡とは異なる第２の内視鏡から取得した画像群との特徴の差異に基づいて、上記第２の内視鏡からの画像群の中からアノテーション候補画像を選択して分類することを特徴とする請求項１に記載の情報処理装置。

【請求項10】

上記第２のタイミングは、画像データを入力した際に、適正な推論結果を出力するための推論モデルを作成するために、教師データ候補画像を取得できるタイミングであることを特徴とする請求項１に記載の情報処理装置。

【請求項11】

内視鏡用の推論モデルを作成可能な情報処理システムにおける情報処理方法であって、
上記情報処理システムは、推論部と、判定部と、分類部と、依頼部と、学習部を有し、
上記情報処理方法は、
第１の内視鏡から連続して得られた画像に対して、特定の画像特徴の判定を行うために上記第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかを上記判定部によって判定し、
上記第１の内視鏡から連続して得られ、上記第２のタイミングで得られた画像群に基づいて作成された画像に基づいて上記学習部によって作成された第１の推論モデルを上記推論部に設け、
第２の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかを、上記判定部によって判定し、
上記第１の推論モデルを作成した際に上記第１のタイミングで得られた画像群と、新たに取得した上記第１の内視鏡または第２の内視鏡からの画像群との類似度に基づいて、上記第１の内視鏡または第２の内視鏡からの画像群の中から第２の教師データ候補となる画像群を上記分類部によって選択して分類し、 上記第２の教師データ候補となる画像群に基づいて第２の推論モデルの作成を上記学習部に、上記依頼部によって依頼する、
ことを特徴とする。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡等の検査装置によって取得された画像にアノテーションを施し、教師データを作成し、この教師データを用いて推論モデルを生成するにあたって、取得した画像データを効率的に有効活用することが可能な情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

推論モデル（ＡＩモデル）を生成するために、まず、生データを収集し、この生データから推論モデル生成用に、データの特徴を抽出し解釈する信号分析システムおよび方法が提案されている（特許文献１参照）。すなわち、この信号分析システムでは、入力は生信号データであり、特徴の起源が信号データまで辿られ、領域／適用知識にマッピングされる。そして、ディープラーニングネットワークを使用することによって特徴が抽出され、機械学習モデルがセンサデータ分析のために実装され、故障予測のための因果関係分析が行われる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－８７２２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

前述の特許文献１に記載の信号分析システムでは、専門家の指示による分類を継続して行い、データを有効活用することができる。しかし、生データを生成するためのセンサは、センサ毎に特性等が異なっており、このため、深層学習を行って機械学習モデル（推論モデル）を生成する場合に、機種（例えば、装置に装着されたセンサ等）毎の特性の相違を考慮しなければならないが、この点については、特許文献１では何ら考慮されていない。このため、特許文献１では、機種が異なると、機種毎のアノテーションを同じ品質にすることは困難である。

【0005】

また、未知の特性を有するセンサ等からのデータを入力して機械学習モデル（推論モデル）を生成する場合があり得るが、この点についても、特許文献１では考慮されていない。このため、特許文献１では、未知の状況に対処することも困難である。

【0006】

本発明は、このような事情を鑑みてなされたものであり、特性の異なるセンサ等のデータを入力した場合や、また未知の状況といえるようなデータを入力した場合に、効率的に推論モデルを生成することが可能な情報処理装置および情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため第１の発明に係る情報処理装置は、内視鏡用の推論モデルを作成可能な情報処理システムにおける情報処理装置であって、上記情報処理装置は、第１の内視鏡から連続して得られた画像に対して、特定の画像特徴の判定を行うために上記第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかを判定する判定部と、上記第１の内視鏡から上記第２のタイミングで得られた画像群であると、上記判定部によって判定された画像群に基づいて、上記情報処理システム内に配置された学習部によって作成された第１の推論モデルを設けた推論部と、上記第１の推論モデルを作成した際に第１のタイミングで得られた画像群と、新たに取得した上記第１の内視鏡または第２の内視鏡からの画像群との類似度に基づいて、上記第１の内視鏡または第２の内視鏡からの画像群の中から第２の教師データ候補となる画像群を選択して分類する分類部と、上記分類部によって分類された上記第２の教師データ候補となる画像群に基づいて第２の推論モデルの作成を学習部に依頼する依頼部と、を具備し、上記学習部は、上記依頼部から依頼され、上記第２の教師データ候補であって、上記第１の内視鏡または第２の内視鏡から上記第２のタイミングで得られた画像に対して画像特徴判定用の第２の推論モデルを作成する。

【0008】

第２の発明に係る情報処理装置は、上記第１の発明において、上記依頼部は、上記第２の教師データ候補として選択された画像データに、アノテーションを行い、上記学習部に上記第２の推論モデルの作成を依頼する。
第３の発明に係る情報処理装置は、上記第２の発明において、上記分類部は、上記第１の内視鏡によって時系列で得られた画像群に基づく教師データを用いて、上記第１の推論モデルを作成する際に、上記第１のタイミングで得られた画像の中で、教師データ作成するための上記アノテーションの対象とならなかった画像を不要画像とし、上記情報処理システム内に配置された記録部に記録しない。

【0009】

第４の発明に係る情報処理装置は、上記第１の発明において、上記第１の推論モデルを作成する際に、上記第１のタイミングで得られた画像群と、上記第２のタイミングで得られた画像群を、上記判定部によって判定した後に、上記情報処理システム内に配置された記録部に記録させる記録制御部を具備する。
第５の発明に係る情報処理装置は、上記第１の発明において、上記学習部は、上記第２の推論モデルの作成に加えて、上記第１の推論モデルを改良した第３の推論モデルを更に作成可能であり、上記依頼部は、入力画像を上記第1の推論モデルで推論した結果の信頼性が、高信頼と低信頼の中間範囲にある場合に、上記第２の推論モデルの作成の依頼に代えて、上記中間範囲に入る画像群に基づいて、上記学習部に上記第３の推論モデルの作成を依頼する。
第６の発明に係る情報処理装置は、上記第１の発明において、上記依頼部は、上記第１の推論モデルを作成した際に上記第１の内視鏡から取得された画像群の中から、上記第１のタイミングで得られた画像群の特徴に基づいて、上記第１の推論モデルを作成した時と同様の仕様で、上記第２の内視鏡によって取得された画像に対応した推論モデルを得るための教師データ候補を、上記第２の内視鏡からの画像群の中から選択し、第２の推論モデルの作成を上記学習部に依頼する。

【0010】

第７の発明に係る情報処理装置は、上記第１の発明において、上記第1の推論モデルに画像を入力した時の推論結果の信頼性が所定値より低い場合に、入力した上記画像は上記第２の内視鏡からの画像であることを判定する入力判定部をさらに具備する。
第８の発明に係る情報処理装置は、上記第１の発明において、上記画像群をなす個々の画像データに画像を撮影した機器に関するカテゴリ情報および／もしくは推論モデルに関するスペック情報等の付随情報をメタデータとして関連付けて追記する追記部をさらに有する。
第９の発明に係る情報処理装置は、上記第１の発明において、上記分類部は、上記第１の推論モデルを作成した際の上記第１のタイミングで得られた画像群と、上記第１の内視鏡とは異なる第２の内視鏡から取得した画像群との特徴の差異に基づいて、上記第２の内視鏡からの画像群の中からアノテーション候補画像を選択して分類する。
第１０の発明に係る情報処理装置は、上記第１の発明において、上記第２のタイミングは、画像データを入力した際に、適正な推論結果を出力するための推論モデルを作成するために、教師データ候補画像を取得できるタイミングである。

【0014】

第１１の発明に係る情報処理方法は、内視鏡用の推論モデルを作成可能な情報処理システムにおける情報処理方法であって、上記情報処理システムは、推論部と、判定部と、分類部と、依頼部と、学習部を有し、上記情報処理方法は、第１の内視鏡から連続して得られた画像に対して、特定の画像特徴の判定を行うために上記第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかを上記判定部によって判定し、上記第１の内視鏡から連続して得られ、上記第２のタイミングで得られた画像群に基づいて作成された画像に基づいて上記学習部によって作成された第１の推論モデルを上記推論部に設け、第２の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかを、上記判定部によって判定し、上記第１の推論モデルを作成した際に上記第１のタイミングで得られた画像群と、新たに取得した上記第１の内視鏡または第２の内視鏡からの画像群との類似度に基づいて、上記第１の内視鏡または第２の内視鏡からの画像群の中から第２の教師データ候補となる画像群を上記分類部によって選択して分類し、 上記第２の教師データ候補となる画像群に基づいて第２の推論モデルの作成を上記学習部に、上記依頼部によって依頼する。

【発明の効果】

【0018】

本発明によれば、特性の異なるセンサ等のデータを入力した場合や、また未知の状況といえるようなデータを入力した場合に、効率的に推論モデルを生成することが可能な情報処理装置および情報処理方法を提供することができる。

【図面の簡単な説明】

【0019】

【図1A】本発明の一実施形態に係る情報処理システムとその周辺システムの構成を示すブロック図である。

【図1B】本発明の一実施形態に係る情報処理システムとその周辺システムの内の一部の構成を示すブロック図である。

【図2】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、画像データと、推論モデルの生成の関係を示す図である。

【図3A】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、新推論モデル作成の動作を示すフローチャートと、入力画像の例を示す図である。

【図3B】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、新推論モデル作成の動作の変形例を示すフローチャートである。

【図4】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、入力画像に対して、既存推論モデルが正しく推論できる場合と、入力画像に対して既存推論モデルが正しく出力できない場合を示す図である。

【図5A】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、内視鏡１の動作を示すフローチャートである。

【図5B】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、情報処理システムの動作を示すフローチャートである。

【図5C】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、内視鏡２の動作を示すフローチャートである。

【図6】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、現状改良か、新モデルか、それ以外かの判定の動作を示すフローチャートである。

【図7】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、学習装置における動作を示すフローチャートである。

【図8】本発明の一実施形態に係る情報処理システムとその周辺システムにおいて、アノテーションを行うべき画像を推論するための推論モデルの生成と、生成した推論モデルを用いた推論を説明する図である。

【発明を実施するための形態】

【0020】

本願に係る情報処理装置および情報処理方法は、新しい推論モデルや改良された推論モデルを作る際の、新しい教師データを効率的に収集する。このために、すでに実績のある推論モデルを作成した際に、機械学習を行う際に使用した、いわば過去の教師データの特徴を利用するようにする。すでに実績のある推論モデルの作成の際に使用した過去の教師データは、非常に労力をかけて作られていたことが多い。無数にある画像の中から、検出すべき対象物が写っている画像を選び出すことは、すでに大変な労力を要していたからである。

【0021】

したがって、本発明の一実施形態においては、連続画像の一部コマにアノテーションして得た教師データを学習する事によって得た推論モデルと同様の推論モデルを作成する時には、教師データ用のコマをアノテーションするには大量すぎる画像コマの絞り込みを行うことが望ましいことから、お手本となる推論モデルの作成履歴に倣い、アノテーションに先立って、アノテーション画像コマの選別を行う。つまり、お手本となる推論モデル作成時に、連続画像のうちアノテーション対象外とした画像コマを参考にすることによって、新たな（あるいは改良された）推論モデル用に、新しく得た連続画像のうちアノテーション候補画像とするステップを設けている（例えば、図３Ａ（ａ）のＳ５、Ｓ７、図３ＢのＳ１０３、Ｓ１０７、図５ＢのＳ２９、Ｓ３９等参照）。実績のある仕様の推論モデルの場合、教師データについても実績があるだろう。したがって、類似仕様のものを作るなら真似をして教師データ候補の画像コマを選ぶことで、余計な手間を減らそうとしている。

【0022】

推論モデルは、多様な状況で使われ、内視鏡を例にしても、どこかにアクセスするためのガイド用に、その過程でナビ表示等を行う推論モデル、また病変などを見逃さないようにするため、医師に注意喚起を促すための推論モデル、また病変と思われるものを観察しているときに、観察の仕方のガイド用の推論モデル、またそれが何かを鑑別するための推論モデルと、様々な仕様のものがある。以下の例では、主に鑑別用、観察用の推論モデルで説明するが、もちろん、他の仕様の推論に対しても応用可能であることは言うまでもない。いずれも一連の検査や処置の様子を撮影した動画をもとに、必要なコマを選んで教師データ化するものである。

【0023】

例えば、たった１０分の検査時間であっても、滑らかさを重視するために秒６０コマもの連写した動画であれば、３万６千コマという膨大なコマ数になる。しかも、消化器内視鏡用に、病変検出用の推論モデルを作成する場合には、体腔から、消化器内部の患部に至るまでのアクセス画像は使用されないままであり、この画像は膨大なコマ数となる。また、患部確認のあと、内視鏡抜去時の画像も同様である。したがって、このような部分を取り除いた残り画像の中から、患部の画像を探すことになる。ちなみに他の仕様の推論モデルを作成する際には、アクセス画像こそが重要という場合があり得ることを追記しておく。

【0024】

次に、この残り画像においても、複数の領域を見逃さないように、患部がないかどうかを確認する。この確認動作を行うことによって、患部なし確認画像と、患部を見つけて、それがいかなるものであるかを確認するための、患部あり確認画像に分類する。通常は、患部なし確認画像が、大半を占めることになる。患部あり確認画像を選び出し、医師等の専門家が、患部が写ったコマを見て、この部分に患部があるとアノテーションを実施する。仮に、その患部を確認するのに、たった１分かかるだけとしても、３６００コマが対象のコマとなる。この１コマごとのアノテーション（病名や症状や範囲の書き込み等）にも膨大な労力がかかる。

【0025】

一つの症例から、多くの症例に対応できる推論モデルは作成が困難であるから、アクセス画像群や患部なし確認画像を画像群の中から取り除いた結果のみをアノテーション対象画像として絞り込んでいく情報の処理過程に対して、工夫することが望まれる。この絞り込みを上手に行わないと、医師や専門家は、専門領域以外の膨大な業務を行わなければならない。つまり、アクセス画像や患部なし確認画像を取り除かないと、内視鏡画像が膨大なままであり、肝心の患部あり確認画像に対して正確な領域指定をする等、肝心な作業に十分な時間をかけることができなかったり、肝心な作業に行きつくまでの無駄時間が増えたりしてしまう。このため、高品質の教師データによって学習された推論モデルを手早く効率的に作ることが出来なくなってしまう。

【0026】

以上は、患部を確認して、それがどのような病変かを鑑別し、患部の広がりの範囲を検出するような推論モデルを作成する時の例を説明した。しかし、この例に限らず、内視鏡操作を正しくガイドする推論モデルの作成や、見逃しやすい患部を見つけるための見逃し防止用の推論モデルの作成がある。この推論モデルを作成する場合には、内視鏡の操作をガイドすべきシーンの画像や、見逃しやすい画像などが教師データになる。これらの場合にも、上述した理由と同様に、肝心のシーンに対応する教師データの候補となる対象画像を数万枚にも及ぶコマ数の中から選び出すことになり、専門家にアノテーションを依頼するのは効率的とは言えない。

【0027】

つまり、すでにある推論モデルの改良版を作ったり、同様の仕様の推論モデルを、想定していた機種以外用に新らたに作成したりする場合等においては、過去に実績のあった同様の仕様の推論モデルを作成するときに使用した画像選別の仕方を参考にすることによって、効率よく推論モデル作成が可能となる。内視鏡を使用することによって取得した画像は、検査ごとに同様の過程を経て収集されており、推論モデルを作成する過程において、これがアクセス画像、これが患部なし確認画像、患部あり確認画像といった情報を、内視鏡画像の全てのコマに対して付与していなくとも、数多くの教師データ作成の過程で、選び込まれた結果の情報があれば、この情報を流用して、どのような画像が教師データになりうるかを簡単に絞りこむことが可能となる。

【0028】

つまり、連続画像の一部コマにアノテーションして得た教師データを学習する事によって推論モデルを作成する場合には、教師データ候補をたくさんのコマの中から見つけ出すプロセスが必要になる。しかし、予め存在するお手本仕様の推論モデルを作成するという条件であれば、お手本となる推論モデル作成時の教師データを作成した時の元の連続画像のうち、アノテーション対象外とした画像コマを参考にして、新しく得た連続画像から対象外画像候補を取り去って、残りのコマからアノテーション候補画像を決めればよい。このようなステップを踏む学習方法、学習システム、プログラムによって、お手本推論モデル作成時のノウハウを生かすことができる。

【0029】

例えば、教師データとなった画像と内視鏡画像全体を用いて、推論するような特別な推論モデルを作成することも可能である。上述したような考え方を用いて、特定の検査時に得られた内視鏡動画情報に対し、この内視鏡動画のうち教師画像に対応するコマにアノテーション情報を付与し、この処理によって得られた動画情報を教師データとする。さらに、複数の検査結果の内視鏡動画画像（挿入または抜去画像を含んでもよい）に対して同様にアノテーションを付与して教師データを作成する。教師データが作成されると、入力を挿入または抜去画像を含む内視鏡動画とし、出力が教師データコマとなるように、学習を行うことによって、推論モデルを作成することができる。

【0030】

上述の推論モデルを作成する方法では、取得すべき教師データ画像が抜け落ちる可能性は、以下の２つの状況ではありえる。つまり、以下の２つの状況では、教師データ候補の見落としがありえると想定している。まず、その１番目として、想定している内視鏡（すでに推論モデルを作った実績があるもの）を使用する場合であるが、これまでと全く違うレアな症例や、通常とは異なる手技を伴うような、通常パターン以外の内視鏡画像に対しては、得られる画像も、観察、操作の仕方も異なるがゆえに、正しく、教師データとして推論されない可能性がある。また、その２番目として、想定している内視鏡装置とは、操作方法や画質などが異なる内視鏡装置に対しては、正しく、教師データが推論できない可能性がある。このようなケースに関しては、極力、見逃しがないように、教師データにすべき画像の条件を緩めにすることが望ましい。したがって、本発明の実施形態においては、極力、前例が少ないケースに対して、想定外を考慮しつつ、効率的な対応が出来るように優先度が低いものから落としていくような方法をとっている。また、教師データ候補にアノテーションを施すのは、病変鑑別の際などは医師など専門家が行うことが好ましいが、既存の推論モデルを利用して、その補助を行ってもよい。医師がＯＫを出せば、その結果をそのまま教師データ化する方法もある。

【0031】

以下、本発明の一実施形態として、情報処理システムとその周辺システムに本発明を適用した例について説明する。このシステムは、もともと、第１の内視鏡（例えば、既存の内視鏡）等の検査装置用の推論モデルを作成したり改善したりするシステムであるが、第１の内視鏡等の検査装置用の推論モデルを作った時の教師データなども管理している。これは、推論モデルの改良や、他の仕様の推論モデルを作成する時、あるいは、推論モデルの来歴を明確にするべく、教師データや、その教師データの元になった内視鏡画像等を管理することが好ましいからである。ただし、既存モデルの改善のみならず、第１の内視鏡等の検査装置とは異なる第２の内視鏡等の検査装置用の推論モデルも作成することを考慮して組まれたシステムである。ここで作られた第１の内視鏡等の検査装置用の推論モデルは、第１の内視鏡等の検査装置から得られた画像に対して、癌等の病変部があるか否かを判定する等、特定の画像特徴の判定を行う（例えば、図５ＢのＳ２５参照）。

【0032】

推論モデルの来歴を明確にするべく、教師データや、その教師データの元になった内視鏡画像等を管理すると記載したが、元になった内視鏡画像とは、例えば、特定の患者の内視鏡検査時に得られた画像を動画のような形式で、あるいは、適宜、検査中に医師が撮影した静止画のような形式で記録してある。体腔に内視鏡を挿入し、検査を行い、また、体腔から内視鏡を抜去する過程で得られた画像であるから数分以上の画像コマ列からなる動画、または付随する静止画が、患者や症例ごとに記録されている。この動画は、挿入時、検査時、抜去時において、時系列に沿った画像群を含んでおり、検査時の画像としては患部を見つけて精査している画像や、患部がないことをスクリーニングしているような画像群などがある。つまり、様々な時間軸に沿った画像列の画像群が複数の画像群に分けられることを説明している。複数の画像群を、最も単純に第１と第２の画像群と記してもよい。

【0033】

特に検査時の画像群を二つに分けるとすれば、第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群（アクセス途中の不要画像）としてもよく、また、第２のタイミングで得られた画像群（腫瘍等の患部を探してるタイミングの必要画像）としてもよい。例えば、この何れであるかを判定する（例えば、図３Ａ（ａ）のＳ５、図５ＢのＳ２３、図３（ｂ）の画像Ｐｓ、Ｐｏ等参照）場合も、第１、第２のタイミングと言えるが、挿入時、抜去時の画像群を第３、第４の画像群としてもよい。また、挿入画像群、抜去画像群も、スクリーニングしていると考え、第１タイミングに含めてもよい。ここでは、第２のタイミングの画像に、患部画像が含まれているとして説明する。

【0034】

第１のタイミングの画像群に患部があった場合は、第２のタイミングの画像群としてもよく、第２のタイミングの画像群に、結局、患部がなかった場合に、これを第１のタイミングの画像群に分類し直してもよい。第１のタイミングと第２のタイミングは、時系列の画像群を特定の時点で二つに分けるものではなく、ここは第１のタイミング、ここは第２のタイミング、再び第１のタイミングが現れる、といった風に、時系列、時間軸の中で、これらは適宜、複数のタイミングとして区域分けする。

【0035】

また情報システムは、すでに作成済の推論モデルを作成した実績のある学習部（例えば、図１Ｂの学習部１８）と連携している。この推論モデルは、第１の内視鏡用画像の画像特徴判定用の第１の推論モデルであって、教師データとしては、前述したように第２のタイミングで得られた画像群に対してアノテーションした結果を教師データとしたもので学習されている。

【0036】

この情報処理システムは、第１の内視鏡用の推論モデル作成した実績のあるものであるから、他の種類の内視鏡等に対しても推論モデルを作成するのに一日の長がある。そこで、第１の推論モデルを作成するに適した画像群を必要に応じて利用したりして、第１の内視鏡とは異なる全く未知の第２の内視鏡に対しても推論モデルを新作したり、教師データを集めて管理するような機能を有してもよく、第２の内視鏡から取得した画像群から、効率よく教師データを作り出せるように、画像を分類する分類部（例えば、分類部１５）を具備している。

【0037】

上述したように、本発明の一実施形態においては、第１の内視鏡とは異なる第２の内視鏡から画像を分類することができる。このため、第２の内視鏡が第１の内視鏡とは異なる未知の内視鏡のような場合であっても、情報処理システムが第２の内視鏡用の推論モデルを生成するに適した画像を効率よく収集することができる。すなわち、第１の内視鏡に対して推論モデルを作成した時の教師データや、技術やロジック、ノウハウ等を応用して効率化を図る。つまり、第１の内視鏡用の教師データを作成する時に、一つの検査ごとに大量に集まる動画コマの中から、教師データとなるコマを抜き出し、その教師データを使って推論モデルを作った実績がある。このため、第２の内視鏡から一つの検査の動画を取得した場合、第１の内視鏡で推論モデルを作成した時と同様の考え方で、第２の内視鏡用の推論モデルを（教師データを学習して）作成するために、取得動画の中から、教師データとして使用可能なコマを選別することができる。

【0038】

すなわち、第１の内視鏡を用いた一度の検査時に得られた一連の内視鏡画像の中から、教師画像になったコマを選び、一連の画像の中の教師画像コマをアノテーションしたものを教師データとして、推論モデルを学習させればよい。これは、一度の検査だけでは教師データが不足するので、さらに多くの検査結果について、同様の処理を行う。学習にあたっての入力情報は、挿入または抜去画像を含む内視鏡検査画像コマ群とし、出力情報は教師データとして採用されたコマとして、学習を行って推論モデルを作成する。推論モデルが作成されると、第２の内視鏡の検査画像群を推論モデルに入力し、推論の結果、教師データ候補が出力される、という考え方をしてもよい。

【0039】

図１Ａおよび図１Ｂは、本発明の一実施形態に係る情報処理システムとその周辺システムの構成を示すブロック図である。このシステムは、情報処理システム１０、画像システム２０、記録部３０を有する。図１Ａは、このシステムの全体を示し、図１Ｂは、情報処理システム１０内の制御部１１および記録部３０の内部構成を示す。画像システム２０は、内視鏡等の検査装置に含まれており、内視鏡画像等の画像データを取得する。情報処理システム１０は、画像システム２０が取得した画像データを取得し、この取得された画像データは記録部３０に記録される。また、取得された画像データに対して、アノテーションが施されて教師データが作成され、この教師データを用いて推論モデルが生成される。推論モデル１９ａを活用したシステムの場合、それがどのような教師データで学習して得られたかを証明できることが好ましく、来歴の透明性の要求もあり、記録部３０に記録されている。

【0040】

情報処理システム１０は、１つ又は複数のサーバ等に設けられている。また、記録部３０もサーバ等に設けられている。情報処理システム１０と記録部３０は同一のサーバ内に設けられていてもよく、また分散して設けられていてもよい。また、学習部１８は、本実施形態においては、情報処理システム１０内に設けられているとして説明するが、情報処理システム１０の外部に設けられていてもよい。画像システム２０、情報処理システム１０、記録部３０は、それぞれ、インターネット、イントラネット等の通信網を通じて接続でき、データ通信ができればよい。

【0041】

画像システム２０は、前述したように、内視鏡等の検査装置内に設けられている。この画像システム２０は、制御部２１、処置部２２、画像取得部２３、および表示部２４を有している。画像システム２０は、上述の各部以外にも、通信部（通信回路を有する）を有し、情報処理システム１０等と通信部を通じて送受信通信を行うことができる。

【0042】

制御部２１は、画像システム２０の全体を制御する。制御部２１は、ＣＰＵ等の処理装置、プログラムを記憶したメモリ等を有する１つ又は複数のプロセッサから構成され、プログラムを実行することによって、画像システム２０内の各部を制御することができる。

【0043】

処置部２２は、体内等の内部に挿入し、内部を観察するための処置を行う。工業用内視鏡や医療用内視鏡は、基本的には、何かの内部に挿入されて中を観察する撮像装置だが、実際には、撮像装置だけでなく、挿入や観察のための装置・機構がある。処置部２２は、内視鏡の先端部に設けられた撮像部の位置や向きを調整し、必要に応じて注水、吸引等の機能を必要とするため、専用の管などの併設しており、これらの機能要求を満たしている。また生検や治療を行うための処置具（生検鉗子、スネア、高周波ナイフ、注射針等）の駆動を行う。薬剤投与などの機能も、ここに含まれる。さらに、処置部２２は、照明部などを有し、照明部は内部を照射する他、光源特性（波長など）を切り替えて、対象物の表面や、それより深い位置の対象物の反射画像などを取得可能にしている。また、染色や蛍光観察が可能な機能を有する場合も、処置部２２が、それらの対応機能を有していてもよい。

【0044】

画像取得部２３は、撮影レンズ、撮像素子、撮像制御回路、画像処理回路等を含み、画像データを取得する。検査の際に、内視鏡の先端部が体内に挿入され、画像取得部２３によって、体内、例えば、食道や胃や腸内の画像データを取得することができる。画像取得部２３が、ズームや接写や３Ｄ情報取得の機能を有していてもよい。また、画像取得部２３が、複数の撮像部を有してもよく、上述したように、照射光の切り替えなどと連携して、同じ部分でも、異なる特性の画像を取得して、様々な画像分析を可能としてもよい。

【0045】

画像取得部２３は、体内に内視鏡の先端部が挿入された際に、連続的に画像を取得することができる。特に消化管などに沿って人体の内部を観察する内視鏡検査は、例えば、経口、経鼻、肛門など、体腔から挿入して、その挿入の開始から、確認用の観察が始まり、実際に様々な部位で検査を行い、最後に挿入したところから内視鏡を取り出して検査が終わる。このため、内視鏡検査では、対象となる検査ごとに、極めて類似した画像が得られる。撮像結果を確認しながら、進路を進むのは自動車運転のような技術とも言えるが、上述した点が大きく異なる。したがって、画像取得部２３は、体内に内視鏡の先端部が挿入された際に画像取得が始まって、検査が終わって、同じところから引き抜かれるまで、連続的に画像を取得することができる。

【0046】

図１Ａにおいて、入力画像Ｐ１、Ｐ２、Ｐ３は、連続的に取得された画像（動画と表現し、それらを構成する各コマでもよい）データである。また入力画像ＳＰは、動画の中の一コマであったり、医師あるいは医療従事者が意図的に記録用に取得したりした、いわば静止画の画像データである。多くの推論モデルが、静止画の中で、どの部分にどんなものが写り込んでいるかを判定するように設計されている現状において、推論モデルに対しての意味で、入力画像という表現を取っている。多くの場合、動画を推論の際に使用しており、動画の各コマを推論モデルに入力しているので、あえて、静止画と断る必要もないが、わかりやすく表現した。もちろん、複数コマから推論を行う場合もあるので、その場合は、入力画像は静止画である必要はない。ただし、静止画という表現にしておくと、通常の写真画像にいろいろな注釈して記録するような用途を想像しやすいので、そのイメージを流用する感じで、この入力画像ＳＰには、カテゴリ情報Ｐｃが関連付けられている。

【0047】

カテゴリ情報Ｐｃ（上述した注釈の一種）は、例えば、内視鏡の製造メーカや、機種名等、画像を取得した装置に関する情報である。画像Ｐ１～Ｐ３においても、それぞれの画像にカテゴリ情報を付与してもよく、また、複数の画像群をファイル化し、この画像ファイルにカテゴリ情報を関連付けておいてもよい。画像取得部２３内のセンサや画像処理回路等に応じて、画質等が異なるが、このカテゴリ情報Ｐｃが画像データに付与されていれば、どのような画質の特性であるかが容易に分かる。また、カテゴリ情報Ｐｃの下の空欄は、その他の注釈がメタデータとして記録するための領域である。この領域に様々な付随情報を記録して、画像とセットにしておけば、画像の内容をわざわざ判定しなくても、メタデータをみれば、どのような画像であるかが分かったり、撮影時の条件や補足情報など、その他の情報で画像を検索したりが出来る。もちろん、このようなメタデータを使って、学習や推論の効率を上げることも可能である。学習時にアノテーション情報等が付与されていれば、推論時にはマルチモーダルのような方式での高度な推論が可能になる。

【0048】

表示部２４は、ディスプレイ等を有し、画像取得部２３によって取得された内視鏡画像を表示することができる。この表示の際には、情報処理システム１０内の推論エンジン１９によって推論された表示内容２５、すなわち推論結果２５ａ、信頼性２５ｂも合わせて表示する。推論結果２５ａとしては、画像取得部２３によって取得された内視鏡画像に、癌等の病変部の位置が分かるように表示する。

【0049】

情報処理システム１０は、制御部１１と既存推論モデル１９ａを備えた推論エンジン１９を有する。制御部１１は、情報処理システム１０の全体を制御する。制御部１１は、ＣＰＵ等の処理装置、プログラムを記憶したメモリ等を有する１つ又は複数のプロセッサから構成され、プログラムを実行することによって、情報処理システム１０内の各部を制御することができる。制御部１１内には、図１Ｂに示すように、入力判定部１２、画像類似判定部１３、メタデータ付与部１４、分類部１５、第１依頼部１６、第２依頼部１７、学習部１８、および記録制御部１８Ａが設けられている。既存推論モデル１９ａがどのような教師データで学習して得られたかは、来歴の透明性の要求もあり、前述の記録部３０に来歴・仕様等の情報が記録されている。

【0050】

入力判定部１２は、画像取得部２３によって取得された画像データを入力する。情報処理システム１０と画像システム２０がインターネットやイントラネット等の通信網を通じて接続されている場合には、この通信網を通じて入力画像Ｐ１～Ｐ３、ＳＰ等の画像データやカテゴリ情報等を入力する。

【0051】

また、入力判定部１２は、この入力した画像データに関連付けられているカテゴリ情報やメタデータ等を判定する。また、既存推論モデル１９ａに画像取得部２３によって取得された画像を入力した際の推論結果に基づいて第２の内視鏡からの画像であるか否かを判定してもよい（例えば、図５ＢのＳ２３参照）。既存の推論モデル１９ａは、第１の内視鏡からの画像に基づいて生成していることから、第２の内視鏡からの画像に対しては、推論結果の信頼性が低くなってしまう。入力判定部１２は、第１の推論モデルに画像を入力した時の結果に従って、第２の内視鏡からの画像であることを判定する入力判定部として機能する（例えば、図５ＢのＳ２３参照）。入力判定部１２は、学習部が、第１の推論モデルとは異なる第２の推論モデルの作成のための学習時に、新たな検査動画を取得する動画取得部として機能する（例えば、図５ＢのＳ２１参照）。

【0052】

また、入力判定部１２は、入力画像にカテゴリ情報Ｐｃが関連付けられていない場合には、画像システム２０の機種、画質（光学特定）や、画像の照明の当たり具合や、画像の画角、画像の形状等、種々の情報を勘案して、入力画像の特性等を判定する。また、画像内に一緒に写っている処置具の形状等や、また動画であれば、操作の様子等に基づいて、入力画像の特性等を判定してもよい。これは、どのような機器からの画像であるかを判定したり、同じ機器でもどのような用途で使われているかを判定したり、操作する医師や医療従事者の技量等を判定したりできるものである。

【0053】

画像類似判定部１３は、入力判定部１２によって入力された画像が、記録部３０の既存教師データ作成時検査画像群３１内の第１タイミング画像部３１ｃおよび第２タイミング画像部３１ｄに記録されている画像のいずれかに類似しているかについて判定する。第１タイミング画像部３１ｃおよび第２タイミング画像部３１ｄには、既存推論モデルの作成時において、どのデータが教師データとして採用され、どのデータが教師データとして採用されなかったか、またアノテーションデータとして採用されたか、採用されなかったかが、記録されている。例えば、既存推論モデル１９ａが鑑別用の推論モデルであれば、第１のタイミングにおいて取得した画像、すなわち医師等が腫瘍等の病変部にアクセスしている際に取得した画像である。この第１タイミング画像部３１ｃに記録されている第１タイミング画像は、第１の内視鏡用の既存推論モデル（第１推論モデル）を生成するための教師データとしては、一般には採用しない画像である。第２タイミング画像部３１ｄに記録されている第２タイミング画像は、第２のタイミングにおいて取得した画像、すなわち医師等が腫瘍等の病変部を探して精査しているタイミング、または病変部として採用した画像である。

【0054】

内視鏡の特性上、安全上、また視覚で確認しての操作が重要であることから、特定部位検査に至るまでの、挿入の過程や、検査が終わってからの抜去の過程なども画像として残っており、また、連続して、より深部に向かったり、逆に、引き出されたりする過程が、画像として残っている。どのようなユーザがどのような対象物に対して、どのような機材を使おうとも、共通する画像変化の特性であるため、このような第１のタイミングで取得した画像および／または第２のタイミングで取得した画像、あるいは、さらに第３、第４のタイミングで取得した画像と、時間の軸に従って切り分けすることが出来るという特性を有効利用して、上述の類似判定を行っている。そして、例えば、挿入時の画像と同様の画像が、抜去時には、同じ部位を通るために、時間を遡るかのような画像として得ることが出来る。これは、挿入時画像を第１タイミング画像とすると、抜去時の画像は、同じ第１タイミング画像として、第２タイミング画像とは異なるものとして分類することが可能である。

【0055】

また、他にも、画像の分類は可能であり、内視鏡で得られる画像ならではの類似画像としては、腫瘍等の病変部（患部）について、医師等が、同じ部位を拡大観察したり、光源の波長の変更や画像処理特性の変更によって特殊観察をしたり、といった状況がある。これらの画像も、すべて、例えば第２タイミング画像として分類し、同様の画像として扱ってもよい。この時、拡大前後を１セットとしたり、特殊（光）観察有り無しなどを１セットとしたりして扱い、こういうセットのある画像を第２タイミング画像として、第１タイミング画像と区別してもよい。以上、説明したように、検査動画は、刻々と移り変わる検査の手順を記録したエビデンスであり、時間軸で分類された静止画コマの連なりとして整理することが簡単である。

【0056】

したがって、第１のタイミングは、医師等が内視鏡等を操作し、体内で目的とする部位に移動させる途中であり、この場合は、例えば、患部にあるのがどんな腫瘍であるかを検出する推論モデルを想定した場合、教師データ候補のないタイミングであるということから、医師等が患部等にアクセスしているタイミング等が対応する。ここでは、このような場合を例に挙げて説明する（図３（ｂ）の画像Ｐｓ参照）。この第１のタイミングにおいて取得できる画像は、観察を目的としておらず、手際よく患部へのアクセスできればよく、内部を傷つけることなく先端部を体内に送り込んでいることが分かる程度の画質で良い。時として内視鏡挿入操作に画像取得が追い付かず、流れており、またブレていることがあり、低画質である。このため、観察して鑑別するような推論モデルの作成には適切な画質ではなく、不要画像として記録しない（例えば、図３Ａ（ａ）のＳ３参照）。

【0057】

連続画像の一部コマにアノテーションして得た教師データを学習する事によって得た推論モデルの場合、教師データ候補をたくさんのコマの中から見つけ出すプロセスが必要になり、多大な労力がかかってしまう。しかし、本実施形態においては、予め存在するお手本と同様の仕様の推論モデルを作成するという条件であれば、お手本の推論モデル作成時の教師データを作成した時の元の連続画像のうち、アノテーション対象外とした画像コマを参考にして、新しく得た連続画像から対象外画像候補を取り去って、残りのコマからアノテーション候補画像を決めるようにしているので、簡単に教師データが作成できる。このように、重要度の低い画像というのは、お手本とする仕様の推論モデルを作成した時に、動画等、画像の列（時系列で得られた画像群）の中から、タイミングに応じて取捨選択した結果を反映して決められるものである。以上、説明したようなステップを踏む学習方法、学習システム、プログラムによれば、お手本推論モデル作成時の教師データ選択などのノウハウを生かすことができる。

【0058】

ただし、安全な挿入ガイド用の推論モデルを作る用途（仕様）の場合は、むしろ重要度が低いとして取り去った画像が重要になり、記録すべきであるケースもある。その場合は、不要画像（優先度低めにする画像）の考え方を、同様に行えばよい。つまり、同様の仕様の既存の推論モデルを作成した時に、アノテーションの対象にならなかったものを不要画像とすればよい。

【0059】

一方、第２のタイミングは、医師等が内視鏡等を対象物確認のため観察や鑑別するために操作して、体内で目的とする部位付近にあり、内視鏡先端をゆっくりと移動させ、曲げ、また精査しているタイミングである（図３（ｂ）の画像Ｐｏ参照）。この第２のタイミングでは、医師等は、注水などで汚れを落とし、吸引し、といった制御も伴いながら、内視鏡先端をゆっくりと移動させ、曲げ、また画質を変えたり、拡大したり、患部を手繰ったり、確認の角度を変えたり、特殊観察をしたり、染色や蛍光観察を行ったりする。この第２のタイミングにおいて取得する画像は、目的の部位付近であり、同様の部位を画像内に捉え続け、ブレも少なく、ピントがあった高画質であることが多い。このタイミングで取得した画像は、少なくとも、先ほどの第１のタイミングとは異なるタイミングで得られた画像として判定が可能である。

【0060】

上述の第１のタイミングで取得した画像と第２のタイミングで取得した画像は、画像撮影のタイミングに応じたグループに分けて、第１画像または第２画像として記録部３０に記録する（図３Ａ（ａ）のＳ５、Ｓ７、図５ＢのＳ３５、Ｓ３７、Ｓ２９参照）。もちろん、明確な時間的な一点で、切り分けられるとは言い切れないので、グループ間のコマには正しくグルーピングできない場合もあるが、大量の画像コマの中から、教師データの候補を見つけ出すような用途では、問題にならない場合が多い。仮にグルーピングが不適切な場合であっても、教師データ化のプロセスで、グルーピングを修正するようなことは十分可能である。例えば、第２画像の特定コマが教師データになった場合、それと類似のコマを第１画像から類似画像検索で判定して取り出して、第２画像として分類し直せばよい。第１画像は、第１タイミング画像部３１ｃに記録されている第１タイミング画像であり、第２画像は、第２タイミング画像部３１ｄに記録されている第２タイミング画像を簡略表記したものである。

【0061】

画像類似判定部１３は、前述したように、入力画像が、第１タイミング画像部３１ｃに記録されている第１タイミング画像に類似するか、第２タイミング画像部３１ｄに記録されている第２タイミング画像に類似しているかを、画像の類似度に基づいて判定する。既存推論モデル作成時に、第１タイミング画像部３１ｃおよび第２タイミング画像部３１ｄに、どのデータが教師データになったか、ならなかったか、またアノテーションデータになったか、ならなかったかが記録されている。そこで、ここに記録された画像を利用すれば、どのようなデータが教師データとして採用されて学習されたかのエビデンスにもなり、今後の新しい推論モデル用に、その画像を使用して、新しい画像が来た時に参考にして分類が可能になる。既存内視鏡用の推論モデル作成時に、第１タイミング画像部３１ｃ、第２タイミング画像部３１ｄに第１タイミング画像および第２タイミング画像を記録しておく。その後、情報処理システム１０は、多様な内視鏡から画像を入力することがある（例えば、図２の入力画像ＰＩ１～ＰＩ３参照）。これらの画像を入力する毎に、画像類似判定部１３は、類似仕様の推論モデル作成時において、どのデータが教師データになったか、ならなかったかや、アノテーションデータになったかならなかったかを記録した、第１タイミング画像、第２タイミング画像に類似するか否かを判定する。この判定結果は、分類部１５に送られる。

【0062】

メタデータ付与部１４は、画像データにメタデータを付与する。後述するように、既存教師データ作成時検査画像群３１の画像データ（第１タイミング画像、第２タイミング画像）には、メタデータとして、カテゴリ情報３１ａ、スペック情報３１ｂが関連付けられる。カテゴリ情報３１ａは、例えば、内視鏡のメーカ情報であり、また画像システム２０として使用した内視鏡のセンサや光学特性や画像処理回路の特性等である。推論モデルを作成する際には、内視鏡のメーカや機種等毎の画像を収集し、教師データを作成し、この教師データを用いて推論モデルを作成する。ある機種等に適した推論モデルであっても、他の機種等に対しては、推論の信頼性が低くなる場合があるからである。そこで、画像にカテゴリ情報３１ａを関連付けている。スペック情報３１ｂは、画像ファイル３２Ａを用いて第１推論モデル（既存推論モデル）を作成した際の推論モデルのスペックを情報である。スペック情報は、推論モデルを作成する際に、どのような画像を用いたかや、推論モデルの構造等、推論モデルに関する種々の情報を含む。メタデータ付与部１４は、画像群をなす個々の画像にメタデータを追記する追記部として機能する。

【0063】

既存推論モデル１９ａを活用したシステムの場合、それがどのような教師データで学習して得られたかを証明できることが好ましく、来歴の透明性の要求もあり、この記録部３０に記録されている。記録部３０に記録された画像ファイルは、教師データの元となった時系列で得られた画像群（例えば、特定の内視鏡検査で得られた動画）等も想定している。画像がどのような機器から得られたかや、何を撮像して得られたかや、撮影した日時などはカテゴリ情報３１ａとしてメタデータで整理が可能である。この画像からどのような推論モデルが出来たかを示すメタデータや記録部３０があってもよい。図１Ａおよび図１Ｂでは、その推論モデル１９ａのスペック情報３１ｂを記載したが、同じ画像から複数の推論モデルが出来る場合もある。また、その画像群のどの部分（コマ）が教師データとなったかを記録できるようにしてもよい。

【0064】

本明細書ではわかりやすく、第１タイミング画像、第２タイミング画像の情報を第1タイミング画像部３１ｃ、第２タイミング画像部３１ｄに記録できるとして単純化した。これ以外にも、教師データ候補になったかどうかで分けてもよいし、実際に教師データになったものを第２タイミング画像としてもよく、動画（時系列で得られた画像群）の先頭からの経過時間やコマ数などで特定可能にしてもよく、画像コマにフラグ等を付けて、それを管理できるようにしてもよい。教師データ候補でなく、教師データになったものを分類分けして記録してもよい。これを第２タイミング画像としてもよいし、第３タイミング画像としてさらに別の分類にしてもよい。

【0065】

本実施形態においては、動画など、時系列で得られた画像群を構成するコマの特徴を、少なくとも２つ、つまり複数に分けて記録できることを示すために第１タイミング、第２タイミングと大別した。また、アノテーションされたものが必ずしも教師データとして採用されるわけではないが、アノテーションという手間のかかる作業を経た画像には、それなりの重要度があったとして、判別可能にしておけば、他の推論モデルを作成するときなどに利用したり、参考にしたりできる。なお、図１Ｂでは、画像ファイルに、一つの推論モデル情報しか入らないように見えるが、同じ画像から複数の推論モデルが出来る場合もあり、その時は、それに応じて第１タイミング画像部３１ｃ、第２タイミング画像部３１ｄを個別に整理して記録する。

【0066】

なお、カテゴリ情報３１ａは、画像システム２０において、入力画像にカテゴリ情報Ｐｃが付与されている場合には、そのカテゴリ情報Ｐｃを流用してもよい。入力画像にカテゴリ情報Ｐｃが関連付けられていない場合には、入力判定部１２が、画像システム２０の機種、画質（光学特定）や、画像の照明の当たり具合や、画像の画角、画像の形状等、種々の情報を勘案して、カテゴリ情報３１ａを付与すればよい。また、画像内に一緒に写っている処置具の形状等や、また動画であれば、操作の様子等に基づいて、カテゴリ情報３１ａを判定し、付与してもよい。また、図１Ｂにおいては、既存教師データ作成時検査画像群３１の画像ファイル３２Ａについてのみ、スペック情報３１ｂを付与しているが、検査画像群３２を用いて、推論モデルを作成した場合に、その推論モデルのスペック情報を記録するようにしてもよい。

【0067】

分類部１５は、画像類似判定部１３における判定結果に基づいて、入力画像に第１タイミング画像または第２タイミング画像の分類付けを行う。この分類付けの結果に応じて、入力画像に第１タイミング画像または第２タイミング画像である旨のカテゴリ情報３２aを付す。第１タイミング画像は、市場ではあまり知られていないような、未知の内視鏡用（素性が不明の内視鏡）用の第２の推論モデルを生成する際に、使用できる可能性がある。

【0068】

分類部１５は、第１の推論モデルを作成した時の第１のタイミングで得られた画像群を利用して、新たに取得した第１または第２の内視鏡からの画像群の内、教師データ候補となる画像群を分類する分類部（プロセッサ）として機能する（例えば、図５ＢのＳ３５、Ｓ３７等参照）。分類部は、第１の内視鏡によって時系列で得られた画像群に基づく教師データを用いて、同様の仕様の既存の推論モデルを作成した時に、アノテーションの対象にならなかったものを不要画像とする（例えば、図２の画像Ｐｌｏ等参照）。また、分類部１５は、第１の推論モデルを作成した時であって、教師データとして使用されなかった画像群も含めて利用して、第１の内視鏡とは異なる第２の内視鏡から取得した検査画像群を分類する分類部として機能する（例えば、図５ＢのＳ３５、Ｓ３７等参照）。

【0069】

また、分類部１５は、第１の推論モデルを作成した時の第１のタイミングで得られた画像群の特徴を利用して、第１の内視鏡（既存の内視鏡、特定メーカ製の内視鏡）とは異なる第２の内視鏡から取得した画像群を分類する。つまり、分類部１５は、第１の推論モデルを作成した時の第１のタイミングで得られた画像群を利用し、この画像群の特徴を（例えば、第１タイミング画像群と第２タイミング画像群の持つ特徴の差異などで）判定して、第１の内視鏡とは異なる第２の内視鏡から取得した画像を時間的に分割して、同じ仕様、画質など性能で比較して、第１の画像と第２の画像の特徴の差異を見つけ出し、既存教師データ作成時検査画像群の全画像コマの中からアノテーション候補画像を分類する。

【0070】

分類部１５は、第１の推論モデルを作成した時の画像であって、教師データとして使用されなかった画像群も含めて利用し、その特徴を判定して、第１の内視鏡とは異なる第２の内視鏡から取得した画像のうちから、アノテーション候補画像として分類する分類部として機能する（例えば、図５ＢのＳ３５、Ｓ３７等参照）。なお、第２のタイミングは、推論モデルが求められる入出力の関係（推論モデルの仕様）に応じて決定される。

【0071】

記録制御部１８Ａは、入力判定部１２によって判定され、画像類似判定部１３によって類似判定がなされ、メタデータ付与部１４によってメタデータ付与され、分類部１５によって分類がなされた画像を、記録部３０への記録制御を行う。記録部３０への記録制御にあたって、既存教師データ作成時に入力した画像群を、既存教師データ作成時検査画像群３１に記録し、既存教師データ作成以後、通常の検査時に入力した画像群は検査画像群３２に記録する。なお、既存教師データを用いた既存推論モデルは、１つに限らず複数あり得るので、既存教師データ作成時検査画像群３１には、それぞれの既存推論モデルに応じて、複数の画像ファイル３１Ａが記録される。図１Ａでは、画像ファイル３１Ａが一つあるだけに見えるが、画像ファイルは多数記録されている。

【0072】

このように新たな検査画像が診察やそのエビデンス用に検査画像群３２に記録され、また既存教師データ作成時検査画像群３１の画像ファイル群３１Ａが併せて記録されている（連携可能であれば厳密に同じメモリである必要はない）。このため、これらの画像を比較することによって、検査画像群３２の画像（動画）は、どのタイミングにどのようなものが写っていたり、どのようなイベントがあったりしたかなどを判定することが容易である。この考え方は、後に、図８において、推論の一例として示す。このように、新しく取得され記録された画像群は、簡単に、タイミングごとに分類することが可能である。

【0073】

第１依頼部１６は、第２のタイミングにおいて取得し、既存教師データ作成時検査画像群３１の第２タイミング画像部３１ｄに記録されている第２タイミング画像群を用いて、推論モデルを作成することを学習部１８に依頼する。この推論モデルは既存推論モデル１９ａとして使用する。また、第１依頼部１６は、既存推論モデル１９ａを生成後に、第１の内視鏡（既存の内視鏡、特定メーカ製の内視鏡）を用いて内視鏡画像を入力した際に、それまでに見たことがないような稀な画像があった場合に、この画像を用いて、既存推論モデル１９ａの改良推論モデルの生成を学習部１８に依頼する（例えば、図３Ａ（ａ）のＳ７、図５ＢのＳ２７～Ｓ３３等参照）。第１依頼部１６は、同一の画像を第１の推論モデルで推論した結果の信頼性に従って、画像群に第１の推論モデルを改良した第３の推論モデルを生成するための教師データ用のアノテーションを依頼する第１依頼部として機能する（図４（ａ）、図３Ａ（ａ）のＳ７、図３ＢのＳ１０７、Ｓ１０９，図５ＢのＳ２７～Ｓ３３参照）。

【0074】

既存推論モデルの作成を依頼するための第１依頼部１６は、必ずしもこのシステム内に設けなくてもよい。しかし、この第1依頼部は、教師データを取捨選択して既存推論モデルを作成した実績があり、情報処理システム１０と何らかの連携があり、教師データの取捨選択結果が、既存教師データ作成時検査画像群３１として記録されるので、その時、どのような画像を教師データとしたかなどの制御をこの第１依頼部がしたことを明示するために図示してある。

【0075】

第２依頼部１７は、検査画像群３２に記録されている画像３２ｂの中から第２の内視鏡用推論モデルの生成に適した画像を用いて、推論モデルを作成することを学習部１８に依頼する。後述するように、検査画像群３２には、既存推論モデルが作成された後に、第１内視鏡（既存内視鏡、特定のメーカ製の内視鏡）や第２内視鏡で内視鏡検査を行った際に取得した画像データが記録されている。これらの画像データの中で、第２内視鏡によって取得した画像データに、アノテーションを付与し、教師データとする。この第２依頼部１７によって依頼することによって生成された推論モデルは、第２の内視鏡を用いて、医師等が検査する際に使用される推論モデルであり、この推論モデルは、第２の推論モデルとして、画像システム２０内の推論エンジン１９に設定してもよい。

【0076】

第２依頼部１７は、第２の内視視鏡から取得し、分類された画像群を、第２の内視鏡用の推論モデル生成用として分類すると共に、該分類された画像群に、第１の推論モデルと同様の仕様でありながら、第２の内視鏡によって取得された画像に対応した推論モデルを得るために、アノテーションを依頼する第２依頼部として機能する（例えば、図５ＢのＳ４３参照）。第１依頼部１６および／または第２依頼部１７は、新たな検査動画から、記録部に記録された分類画像群に従って、新たな教師データ候補を選択する選択部として機能する（例えば、図７のＳ９３等参照）。また、第２依頼部１７は、検査画像群に対してアノテーションした結果を教師データとして学習し第２の推論モデルの生成を依頼する第２依頼部として機能する（例えば、図５ＢのＳ２７～Ｓ３３参照）。

【0077】

学習部１８は、第１依頼部１６および第２依頼部１７から依頼を受け、推論モデルを生成する。学習部１８は、推論エンジンを有しており、教師データを入力し、推論結果がアノテーションされたものと同じになるように、中間層のニューロンの重み付けを設定する。

【0078】

ここで、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。

【0079】

ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることによって、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

【0080】

これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

【0081】

その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習によって導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

【0082】

学習部１８は、既存の推論モデルを生成する際にも使用することができる。既存の推論モデルを生成する場合、学習部は、第１の内視鏡から連続して得られた画像に対して、特定の画像特徴の判定を行うために第１の内視鏡によって時系列で得られた画像のうち、第２のタイミングで得られた画像群に対してアノテーションした結果を教師データとして学習した第１の内視鏡用画像の画像特徴判定用の第１の推論モデルを生成する。第１のタイミングで得られた画像群は、ここではアクセス途中の画像が分類されており、第２のタイミングで得られた画像群は、腫瘍等の確認時の画像が分類されているものとする。腫瘍等を確認した画像に対して、アノテーションは、それが画像コマ内のどこにあるかや、どんな腫瘍であるか鑑別した結果などをアノテーションすればよい。これらのアノテーション済み画像コマを学習させれば、既存の推論モデルを生成することが出来る。この既存推論モデルの仕様は、腫瘍の鑑別と書くことができる。繰り返しになるが、他の仕様の推論モデルの作成用に学習してもよいが、その時は、画像群の切り分けやアノテーションの内容が異なる。

【0083】

したがって、本実施形態における既存の推論モデルを生成する学習部は、第１の内視鏡から連続して得られた画像に対して、特定の画像特徴の判定を行うために第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群（アクセス途中の画像）か、第２のタイミングで得られた画像群（腫瘍等を探してるタイミングで得た画像）の何れであるかを判定し、第２のタイミングで得られた画像群に対してアノテーションした結果を教師データとして学習した第１の内視鏡用画像の画像特徴判定用の第１の推論モデルを生成する。本実施形態においては、学習部１８は、情報処理システム１０に設けられているが、既存の推論モデル生成用の学習部は、情報処理システム１０の内部に設けておかなくてもよく、外部に配置し、この学習部と情報処理システム１０が連携することができればよい。

【0084】

学習部１８は、分類部によって教師データ候補となる画像群から選ばれた画像を教師データとし、第１の推論モデルと同様の仕様でありながら、第２の内視鏡によって取得した画像に対応した第２の推論モデルを生成する（例えば、図７のＳ８９参照）。ここで生成した第２の推論モデルは、既存推論モデルと同様の仕様のものを想定しており、推論エンジン１９にその仕様を設定する。既存推論モデルが癌等の病変部の推論を行う場合には、第２の内視鏡から取得した画像について、癌等の病変部の推論を行う同様の仕様のものが第２推論モデルとなる。このように同様の仕様のものである場合、すでに第１推論モデルの学習用に使った画像の分類が参考になる。

【0085】

また、学習部１８は、内視鏡から得られた検査動画に含まれる画像群を教師データとして学習することによって、内視鏡用の第１の推論モデルを作成する学習部として機能する。学習部１８は、第１の内視鏡から得られた画像に対して、特定の画像特徴の判定を行うために第１の内視鏡によって得られた第１の画像群に対してアノテーションした結果を教師データとして学習した第１の内視鏡用画像の画像特徴判定用の第１の推論モデルを得る学習部として機能する。なお、第１の推論モデルは、内視鏡で得られた画像に対して推論結果を表示するための推論モデルである。

【0086】

推論エンジン１９には、既存推論モデル１９ａが設定されているが、この例では病変が何であるかの鑑別用のものを想定して説明する。画像システム２０は画像取得部２３によって取得された画像（Ｐ１～Ｐ３、ＳＰ等）を情報処理システム１０に送信する（例えば、図５ＡのＳ１３参照）。推論エンジン１９は、画像を入力すると、癌等の病変部があるか否か、またその位置等を推論し、推論結果を画像システム２０に送信する（例えば、図５ＢのＳ２５参照）。画像システム２０は、推論結果を入力すると、推論結果２５ａと信頼性２５ｂを画像システム２０に出力する。画像システム２０は、受信した推論結果２５ａと信頼性２５ｂを表示部２４に出力する。推論エンジン１９は、第１の内視鏡から得られた画像に対して、特定の画像特徴の判定を行うために第１の内視鏡によって得られた既存教師データ用検査画像群に対してアノテーションした結果を教師データとして学習した第１の内視鏡用画像の画像特徴判定用の第１の推論モデルを設定した推論エンジンとして機能する。

【0087】

次に、図１Ｂに示す記録部３０について説明する。記録部３０は、情報処理システム１０が備えられたサーバ等の内部に設けられていてもよく、また情報処理システム１０の外部のサーバ等の内部に設けられていてもよい。記録部３０は、大量の画像データを記録可能な電気的に書き換え可能な不揮発性メモリである。記録部３０には、既存教師データの作成時に使用した既存教師データ作成時検査画像群３１と、既存教師データ作成後に種々の内視鏡から入力した検査画像３２と、新推論モデルの作成仕様情報３３を記録可能である。

【0088】

既存教師データ作成時検査画像群３１は、既存の内視鏡に適した推論モデルを生成するために画像が収集されたときの画像データを記録する。前述したように、医師等が既存の内視鏡（第１内視鏡）を用いて検査を行い、この時取得され、既存教師データの作成に使用された画像データは、記録部３０に既存教師データ作成時検査画像群として記録される。この既存教師データの作成には、第２のタイミング、すなわち医師等が患部を見つけたタイミングにおいて、取得した第２タイミング画像が使用される。しかし、検査時には、上述したように、体内に内視鏡を挿入し、患部を見つけた後に、体内から内視鏡を抜去するまでの間、すなわち第２のタイミング以外として、いわば第１のタイミングにおける画像も一緒に取得できる。この第１のタイミングの画像は、既存教師データ作成時検査画像群３１の第１タイミング画像部３１ｃに記録されていた画像と同様の画像であるはずなので、新たに内視鏡画像が入力されると、第１のタイミング画像を参照して第１タイミング画像として整理される。

【0089】

既存内視鏡用に推論モデルを作成するにあたって、この推論モデルは単一とは限らず、種々の用途や機種に合わせて、複数の推論モデルが作成される場合がある。このため、画像取得部２３が画像データ（画像データ群も含む）を取得する毎に、情報処理システム１０が画像ファイル３２Ａを生成する。既存教師データ作成時検査画像群３１には、複数の画像ファイル３１Ａが記録される。各画像ファイル３１Ａは、カテゴリ情報３１ａ、スペック情報３１ｂ、第１タイミング画像部３１ｃ、第２タイミング画像部３１ｄを有する。第１タイミング画像部３１ｃに記録される第１タイミング画像は、画像システム２０が取得した画像ｌｏ、Ｐｎａ、第２タイミング画像Ｐａｄ１～Ｐａｄ３（図２参照）等の画像データに相当する。

【0090】

検査画像群３２は、既存教師データ作成のために画像が収集された後であって、第１内視鏡（既存内視鏡、特定のメーカ製の内視鏡）や第２内視鏡で内視鏡検査を行った際に取得した画像データを記録する。前述したように、情報処理システム１０は、既存の内視鏡以外にも未知の内視鏡からも画像を入力する場合があり（例えば、図２の画像ＰＩ３参照）、さらに、既存の内視鏡によって画像を入力する場合がある。検査画像群３２はこのような画像に相当する。この検査画像群３２を用いて新推論モデルが生成される。また、既存の内視鏡であっても、稀にしか見られないような画像もあり、この場合の検査画像群３２は、既存推論モデルを改良するために使用される。このため、情報処理システム１０が取得した画像データに対して、種々の情報を関連付けて、検査画像群３２として記録部３０に記録する。

【0091】

新推論モデル作成仕様情報３３は、後述するように、検査画像群３２の画像データを用いて、推論モデルを作成する場合における、推論モデル作成のための仕様に関する情報である。推論モデルを作成する際には、教師データの母集団に関する仕様や、推論モデルの構成の定義等の仕様が必要である。また、既存の推論モデルを改良する場合には、追加教師データの仕様情報３３ａを記録する。

【0092】

どのような機器で、どのような入力に対して、どんな出力をするかといった仕様の情報が、このような記録によって正しく管理されることが望ましい。これらの情報によって、各推論モデルの仕様や、その時に使った教師データなどが管理されているので、どの推論モデルで、どのような推論がなされたかを、例えばエビデンス情報として記録したり、画像に添付したり、記録する場合にも、簡単に参照することが出来る。新しい推論モデルや改良された推論モデルは、既存推論モデルと比べて、性能が同じなのか、優れているのか等について、正しく検証されることが好ましい。既存モデルで判別できていたものが出来なくなるような場合は、バージョンアップとは言えなくなるので、これらの申し送り事項や性能の限界等の情報も、記録領域で正しく管理されていることが望まれる。何か、問題があれば、この記録領域を参照すればよい。もちろん、既存推論モデルの情報をここに記録してもよい。

【0093】

上述したように、記録部３０には、第１の推論モデル作成用に取得された、第１のタイミングで得られた画像群と、第２のタイミングで得られた画像群が記録されている（例えば、図２の画像Ｐｌｏ、Ｐａｄ１～Ｐａｄ３、Ｐｎａ等参照）。すなわち、第１の推論モデル（既存推論モデル）を作成するための第２のタイミングで得られた画像群に限らず、第１のタイミングで得られた画像も記録される。また、記録部３０は、検査動画に含まれる画像コマから教師データを選択した時の画像群を、動画コマの時間情報で分類する結果と共に検査動画の少なくとも一部を記録する記録部として機能する（例えば、図５ＢのＳ３５、Ｓ３７等）。本実施形態においては、教師データ用検査画像を取得する際には、第１タイミングと第２タイミングを判定し、この判定結果に基づいて、画像データを記録している。図１Ｂに示す記録部３０において、検査画像群３２を記録する際に、第１、第２タイミングであるかを判定し、このタイミング情報を合わせて記録してもよい。なお、上述の検査動画の少なくとも一部は、アノテーション候補画像を含んでいる。

【0094】

次に、図２を用いて、本発明の一実施形態に係る情報処理システムとその周辺システムにおける、画像の収集と、この画像を用いた推論モデルの生成について説明する。本実施形態に係る情報処理システム１０は、前述したように、様々な内視鏡装置（画像処理システム２０）と接続可能であり、このため、多様な画像データが送信されてくる。情報処理システム１０は、この多様な画像データを用いて、既存の推論モデル以外に、改良型推論モデルや新推論モデルを生成することができる。改良型推論モデルは、従来から存在する既存推論モデルを改良したものである。また、新推論モデルは、全く新しいタイプであり、それまでの画質とは異なる画質の画像データが入力した場合でも、的確に推論できるようにようにした推論モデルある。この新推論モデルは、記録部３０に記録されている検査画像群３２を用いて生成する。

【0095】

図２において、画像Ｐｌｏ、Ｐａｄ１１～Ｐａｄ３、Ｐｎａは、情報処理システム１０が、既存推論モデル１９ａを作成する際に、検討の対象となる画像、あるいは検討の対象となっていた画像である。これらの画像は、既存の推論モデル（特定の推論モデル）を作成した時に使用実績があり、来歴を整理したものである。推論モデルが実績あるものに仕上がっている場合には、非常に重要な情報を含んで整理されたものになっている。

【0096】

図２においては表示を省略しているが、情報処理システム１０は、図１Ａに示す既存推論モデル１９ａ、図１Ｂに示す入力判定部１２、画像類似判定部１３、メタデータ付与部１４，分類部１５、第１依頼部１６、第２依頼部１７、学習部１８、および記録制御部１８Ａを有している。

【0097】

情報処理システム１０は、まず、入力画像に基づいて既存推論モデル１９ａを生成する。すなわち、入力画像Ｐｌｏ、ＰＩ１～ＰＩ３、Ｐｎａが入力されると、入力判定部１２は画像のカテゴリ１等の情報に基づいて、特定のメーカ製の内視鏡によって取得された画像であると判定する。そして、情報処理システム１０は、入力画像の内で、重要度の低い画像Ｐｌｏを排除し、また何らかの理由によって画像Ｐｎａを不採用とし、入力画像ＰＩ１～ＰＩ３の画像に癌等の位置を示すアノテーションの付与を依頼し、教師データを作成する。情報処理システム１０は、第１の内視鏡によって時系列で得られた画像群に基づく教師データを用いて、同様の仕様の既存の推論モデルを作成した時に、アノテーションの対象にならなかったものを不要画像としている。教師データが作成されると、学習部１８は、この教師データを用いて既存推論モデル１９ａを生成する。

【0098】

このように、整理されて利用された画像群（画像Ｐｌｏ、ＰＩ１～ＰＩ３、Ｐｎａ等）は、どのような画像がアノテーションされて教師データ化され、又どのような画像がアノテーションされても教師データとして使用されなかったかなど、これまで試行錯誤して得られた結果を含む、貴重なノウハウ情報である。つまり、新しい教師データ候補になり得るかどうかは、これまで、使用されなかった画像等を用いて判定可能であり、使われなかった画像と同様の画像をひたすら集めても、まったく何の役に立たなかったとしても、このシステムであれば、判定が可能になるのである。使われるはずのないもの以外には、しかし、新しい情報が含まれている可能性があり、労力をかけるには、使われるはずのないもの（いわば第１のタイミングの画像）以外をよく吟味した方が良い。本実施形態においては、この考え方を利用し、画像を効率的に収集するようにしている。

【0099】

以下、既存推論モデル１９ａの生成について、具体的に説明する。画像Ｐｌｏは重要度が低い画像であり、画像Ｐａｄ１～Ｐａｄ３は、採用実績のある既存教師データとした画像であり、画像Ｐｎａは、既存教師データとして作成されたが、採用実績のない画像である。これらの画像Ｐｌｏ、Ｐａｄ１～Ｐａｄ３、およびＰｎａは、いずれも上述の特定メーカの内視鏡で取得された画像である。ここで特定メーカと述べた理由は、一般に、内視鏡の製造メーカが異なると、センサ、光学系、画像処理等が異なり、このため、種々の製造メーカで取得した画像データが混在すると、推論モデルの信頼性が低下する。なお、製造メーカが異なっても、センサ、光学系、画像処理等が類似していれば、類似している範囲内の画像データを用いて、既存推論モデルを用いて推論を行うことは可能な場合がある。そのため、情報処理システム１０は、特定の推論モデルを作成する場合、特定メーカの内視鏡の画像データをよく判断して用いて、その機種の特性をよく考慮した推論モデル１９ａを生成するようにしている。

【0100】

既存推論モデルは、そのいわば、初期の試みによって生成された結果物であって、様々な試行錯誤や人力、あるいは手作業、目視で、選んだ教師データによって作られている場合が多い。したがって、この取捨選択の過程でのロジックやノウハウ、その結果として分類された画像は、言葉では表現できないほどに豊富な情報が詰まっている知的財産である。使われなかった画像Ｐｌｏは、前述したように、重要度の低い画像であり、画像データ５１ａとカテゴリ情報５１ｂを有する。画像Ｐｌｏは前述の特定メーカで取得した画像であることから、カテゴリ情報６１ｂとしては、カテゴリ１となっている。この画像Ｐｌｏは、例えば、病変の鑑別用の推論モデル作成を例にすると、医師等が内視鏡を用いて病変部をサーチしている際に取得した画像であったりする（例えば、図３（ｂ）の画像Ｐｓ参照）。サーチ中の画像は撮像部が動いているために、画像がブレてしまったために低画質であり、また病変部が鮮明に映っている可能性が低い。

【0101】

推論モデルには、様々な仕様のものがあるが、ここでは、病変が何であるかを推論する仕様のものを想定して説明を続ける。このような場合は、サーチ画像の中には、病変をじっくり見たものは少ないとして、ここではあえて単純化し、優先度を下げた例で説明する。もちろん、サーチ画像で見逃しを防止するような用途の推論モデルであれば、むしろサーチ画像を優先して教師データ化しなければならないが、ここでは、そうしたケースをあえて無視して説明する。もちろん、推論モデルの仕様と合わせて、画像群が整理されてさえいれば、サーチ画像を重視した推論モデルを新作する場合は、第１タイミングの画像群を優先して教師データ化すればよい。

【0102】

画像の特性や、撮影された画像の特徴、画像変化の特徴等に基づいて、サーチ画像と判定した場合には、鑑別用の推論モデル作成時に必要のない第１のタイミングの画像群に分類してもよい。また、動画のうち、どのようなコマが教師データになったかの推論を行って、その結果にそぐわないものという言い方が出来る。このような画像を、推論モデル生成の際に不採用にした経緯を、続く推論モデル作成時に利用しようというのが、前述したように、本実施形態における考え方である。

【0103】

画像Ｐａｄ１～Ｐａｄ３は、医師等が内視鏡を用いて病変部があるかもしれないとして精査した際に取得した画像である。鑑別用の推論モデルの場合、精査した際の画像から教師データを作る可能性があるので、これは、第１タイミングの画像に、最初から分類しない方が良い。これらの画像は、同じ部位を継続して観察している特徴などから、撮像部が静止または動きが少なく鮮明な高画質画像であり、また病変部が映っている可能性が高い画像といった特徴を有する画像を選んで第２タイミングの画像とする。この時、よく見えるように、洗浄水をかけたり、表面汚れを吸引したり、染色したり、観察時の光の波長や画像表現を光源や画像処理で変更したりすることがある。最初に内視鏡画像を分類して教師データを作成する時には、推論モデル作成マニュアル等に従って第２タイミング画像を選ぶ場合が多い。しかし、二回目以降の教師データの作成の際には、このような手作業で行った画像分類を、自動化する事が望まし。そこで、本実施形態においては、最初に取得した画像を教師データ化した経緯を参照し、続く推論モデル作成時に利用するという考え方を採用している。

【0104】

画像Ｐｎａは、既存教師データとして採用されなかった画像である。この画像Ｐｎａのカテゴリ情報５２ｅは、特定の製造メーカ製の内視鏡で取得した画像であることからカテゴリ１に属し、また画質は使用可能なレベルであり、また癌等の病変部の位置に関するアノテーションが付与されている。しかし、何らかの理由によって、既存推論モデル１９ａを生成する際に不採用となっている。理由としては、例えば、この画像Ｐｎａを用いて推論モデルを生成すると、信頼性が低下したので、除外した場合等がある。このような画像は、類似のものが今後得られても優先度が高く扱われる可能性が低い。必要に応じて、こうしたものを第１のタイミングの画像として分類できるようにしてもよい。

【0105】

このように、画像Ｐｌｏ、Ｐａｄ１～Ｐａｄ３、Ｐｎａは、特定の製造メーカ製の内視鏡を用いて取得した画像であり、これらの画像の内、画像Ｐａｄ１～Ｐａｄ３を用いて、情報処理システム１０は、深層学習を行い、既存推論モデル１９ａを生成する。なお、図２においては、重要度の低い画像Ｐｌｏは１つしか記載しておらず、また採用実績のある既存教師データの画像Ｐａｄ１～Ｐａｄ３は３つしか記載しておらず、また採用実績のない既存教師データの画像Ｐｎａは１つしか記載していない。しかし、これらの画像は、実際にはもっと多くの枚数の画像が使用されることはいうまでもない。

【0106】

上述したように、本実施形態においては、実績のある推論モデル用に集めて整理した各画像を、この推論モデルの改良や、別の機種用の推論モデル新作時に十分、利用できるようにしている。実績があるかどうかは、今後、ＡＩの透明性の問題解決のため、推論結果に推論の根拠を明示する必要があり顕現性があり、また、この実績のある推論モデル学習時の教師データも透明性ゆえに、必要に応じて公開される必要もあり、これも顕現性がある。

【0107】

上述したように、Ｐａｄ１～Ｐａｄ３を用いて、既存推論モデル１９ａが生成されると、画像システム２０は、この既存推論モデル１９ａを用いて、内視鏡画像Ｐ１～Ｐ３、ＳＰを入力し、癌等の有無等について判定できる。このような推論モデルは、当初の思惑通りの性能が得られない場合は、再度、学習をやり直してもよい。

【0108】

苦労を重ねて試行錯誤を経て画像Ｐａｄ１～Ｐａｄ３を選択し、既存推論モデルを生成すると、次に、情報処理システム１０は、種々の内視鏡装置から画像データ５１ｂ、５１ｃ、５１ｄを入力する。それぞれの画像データには、カテゴリ情報５２ｂ、５２ｃ、５２ｄとして、カテゴリ１が関連付けられ、また、それぞれの画像データにアノテーション情報５３ｂ、５３ｃ、５３ｄが付与される。アノテーション情報５３ｂ、５３ｃ、５３ｄとして、癌等の病変部の位置が付与される。

【0109】

図２における入力画像ＰＩ１は、カテゴリ情報６２ａがカテゴリ１であり、既存の内視鏡であることから、既存推論モデル１９ａを用いて、癌等の病変部があるか否かについて推論することができる。例えば、内視鏡検査の最初から最後までリアルタイムで各画像コマが推論モデルに入力され、患部有と鑑別されたコマなどが検出されると、病変部枠表示、警告等が行われ、正しい鑑別が可能となる。この推論を行うと、推論結果ＩＯ１と、推論時の信頼性Ｒ１を出力する。また、医師が特定の静止画を入力して鑑別依頼したものに対して、同様の効能を表してもよい。

【0110】

入力画像ＰＩ２は、既存の内視鏡とは異なり、既存の内視鏡の製造メーカと異なる製造メーカ製の内視鏡、また既存の内視鏡の製造メーカ製ではあるが、機種等が異なっている内視鏡によって取得された画像である。この入力画像ＰＩ２は、入力画像ＰＩ１用の既存推論モデル１９ａを用いて推論を行うことができる可能性がある。そこで、このときには、例えば、内視鏡検査の最初から最後までリアルタイムで各画像コマが推論モデルに入力され、患部鑑別されたコマなどが検出されると病変部枠表示、警告等が行われ、正しい鑑別が可能となる。また、医師が特定の静止画を入力して鑑別依頼したものに対して、同様の効能を表してもよい。入力画像に対して上述したような推論を行い、推論結果ＩＯ２、およびこの時の信頼性Ｒ２を出力する。信頼性が低い場合には、現状の推論モデルが自信をもって判断できない病変であったりすることから、カテゴリ２に属する画像を収集し、カテゴリ２に適した現状改良型の推論モデルまたは新推論モデルの生成を依頼する（例えば、図６のＳ８３、Ｓ８７参照）。なお、このときの画像は、検査画像群３２として記録される。

【0111】

また、入力画像ＰＩ３は、カテゴリ３に属する画像であり、市場で知られていない、全く未知の内視鏡によって取得され、それまで取得した画像データとは異質な特性を有する画像である。このため、例えば、内視鏡検査の最初から最後までリアルタイムで各画像コマが推論モデルに入力された、あるいは、医師が特定の静止画を入力して鑑別依頼した入力画像ＰＩ３に対しては、既存推論モデルでは、信頼性の高い推論を出力することができない場合もあり得る。そこで、新推論モデルの生成の依頼を前述の第２依頼部１７が行う。この依頼にあたっては、検査画像群３２に記録されている画像を用い、新推論モデル作成仕様情報ＩＦを作成し、この新推論モデル作成仕様情報ＩＦには、追加教師データ仕様ＴＤを含める。

【0112】

このように、実績のある推論モデルを生成した時の、画像の分類ノウハウ（画像Ｐｌｏ、Ｐａｄ１～Ｐａｄ３、Ｐｎａ分類時のロジックやこれらの画像の特徴情報等）に従って、改良推論モデルや新推論モデルを作る際の参考にすることが出来る。このような分類が、入力画像ＰＩ２、ＰＩ３に対して、効率よく行うことが出来れば、即座に、専門家に依頼するアノテーション用の画像を絞り込むことが可能となり、アノテーションが迅速にできれば、そのアノテーション結果を有する教師データを活用した推論モデルの改良、新推論モデルの学習工程に迅速に入ることが可能となる。

【0113】

以上説明したことを、どのようなステップを踏んで行ったかを概括する。もともと推論モデルを搭載するべく開発された、いわば、第１の内視鏡から得られた検査動画をタイミングに応じて分割する分割ステップがあり、これを仮に第１、第２のタイミングと称す。第１のタイミングに対応するコマを教師データ候補から外し、第２のタイミングに対応するコマを教師データ候補に採用する画像分類ステップがあり、検査動画を分割タイミングごとに画像分類して記録する記録ステップがある。これらのステップについては、画像Ｐｌｏ、Ｐａｄ１～Ｐａｄ３、Ｐｎａの処理として説明した。ここでの分類時のロジックやこれらの画像の特徴情報などを利用すれば、第１の推論モデルとは異なるが、同様の仕様の第２の推論モデル（改良推論モデルでも新モデルでも良い）を作成する際に、有効な知見を反映しての、効率的な教師データ化が可能になる。つまり、その第２の推論モデルが推論することになる新たな検査動画を取得するステップと、この新たな検査画像を上述の画像分類結果を反映した分類で分類することによって、第２の推論モデル用の教師データ候補を選択する選択ステップを設ける。これによって、迅速な推論モデル開発（学習）が可能となる。

【0114】

なお、教師データ候補の少なくとも一つを使って、検査動画のコマに含まれる患部情報を推論する第１の推論モデルを学習するステップがあるが、この時の教師データについては、第２のタイミングに対応するコマに対してアノテーションした結果を教師データ候補とするアノテーションステップを設ければよい。表現を変えると、内視鏡から得られた検査動画に含まれる画像群を教師データとして学習することによって、内視鏡用の第１の推論モデルを作成した学習部が、さらなる追加学習、改良学習等を引き続きできるようにした装置、方法とも説明できる。つまり、予め検査動画に含まれる画像コマから教師データを選択した時の画像群を、動画コマの時間情報で分類した結果と共に検査動画（の少なくとも一部でもよい）を記録した記録部を設けておけば、この記録内容が、有効な過去の資産となる。つまり、学習部が追加で学習する等、第１の推論モデルとはバージョンや想定機器が異なるが、仕様が類似の第２の推論モデル学習時において、新たな検査動画を取得する動画取得部と、新たな検査動画から、記録部に記録された分類画像群に従って、新たな教師データ候補を効率的に選択する選択部とを設ければよい。

【0115】

この新推論モデルの作成にあたって、カテゴリ３に属する画像を新たに収集し始めると膨大な時間を要してしまうために、本実施形態においては、既に医師等が検査の際に収集し、記録部３０に検査画像３２として記録されている画像等をなるべく有効活用するようにしている。すなわち、医師等が検査の際に取得した検査画像が、記録されており、この画像を利用する（例えば、図５ＢのＳ２８、Ｓ２９、Ｓ３７等参照）。

【0116】

新推論モデル作成仕様情報３３および追加教師データ仕様３３ａは、カテゴリ３に属する画像を推論する新推論モデルを生成するための仕様情報である。第２依頼部１７は、これらの情報と共に、学習部１８に推論モデルの生成を依頼する。どのような特性の内視鏡用の推論モデルが必要か、どのような患部画像に対しての推論が求められているかを、その画像データや、画像データの変化、撮影された画像に写し込まれたものの画像特徴、あるいは既存推論モデルによる推論結果や信頼性等に基づいて決定することが出来る。

【0117】

次に、図３Ａに示すフローチャートを用いて、新推論モデルの生成の動作について説明する。ただし、この新推論モデルは、すでに同様の仕様の推論モデルがあり、それと同様の仕様でありながら、さらに性能アップや、他の装置でも使えるようにしたものを想定している。したがって、図３Ａに示すフローは、特定仕様の推論モデルが、図１Ａの既存推論モデル１９ａとして存在しており、この既存推論モデルの仕様に倣ったものを新推論モデルとして生成する動作を示す。図１Ａの推論エンジン１９は複数あってもよく、あるいは、既存推論モデル１９ａが複数あってもよい。この場合は、そのうちのどの仕様の推論モデルを新作するかを選択するステップがあってもよい。ここでは、既存仕様の推論モデルに特定の期待をして推論を行っている状況で説明するので、仕様選択は既になされているものとして説明を続ける。

【0118】

図３Ａのフローは、または情報処理システム１０内の制御部１１が、メモリに記憶されたプログラムに従って情報処理システム１０内の各部を制御することによって実現する。このフローは、大量の画像の中から新推論モデル生成用の教師データを効率的に取得することができる。

【0119】

前述したように、以下の２つの状況では、単純な画像判定や状況判定では、重要な教師データ候補の見落としがあり得ると想定している。その１番目の状況として、これまでと全く違うレアな症例や、通常とは異なる手技を伴うような、通常パターン以外の内視鏡画像データ群（コマ群）については、得られる画像コマも、観察、操作の仕方も異なるがゆえに、正しく、教師データとして判定、取得されない可能性がある。その２番目の状況として、想定している内視鏡装置（すでに推論モデルを作成した実績があるもの）とは、操作方法や画質などが異なる内視鏡装置に対しては、正しく、教師データが判定、取得できない可能性がある。つまり、これらのケースでは、極力、見逃しがないように、教師データにすべき画像の条件を緩めにする必要がある。したがって、本実施形態においては、極力、こうした前例が少ないケースに対して、想定外を考慮しつつ、効率的な対応が出来るように優先度が低いものから落としていくような方法をとっている。第１の推論モデルとはバージョンや想定機器が異なるが仕様が類似の第２の推論モデルと書いたが、ここでの１番目の状況や２番目の状況は、それぞれバージョンアップや、想定機器の拡張といったもので、仕様としては同様のものを想定している。同様な仕様とは、類似状況で取得可能な画像コマを教師データ化できるものを想定している。

【0120】

上述の１番目の状況を考慮したのが、図３ＡのステップＳ１をＹｅｓに分岐した場合の対処である。これは、既知の装置からの画像であるが、これまで得られた事のないような画像であれば、何らかの改善の材料があり得るとして優先的に教師データ候補にしている。また、上述の２番目の状況を考慮したのが、図３ＡのステップＳ１をＮｏに分岐した場合の対処である。これは既知の内視鏡ではないので、すべての画像が、いわば「見たことがない」状況になり得る。ただし、このよう画像でも、内視鏡として、特定身体部位の検査に使われる場合、体腔から挿入し、アクセスし、患部を確認して、抜去するまでの過程は画像として得られているはずであるから、これまでの既知の内視鏡の推論モデルを作成した時の、どのような画像は不要であって、どのような画像の中から教師データ候補が得られるかというロジックや推論による判定は有効活用が可能となる。つまり、まず重要度の低い画像を取り除き、残りの中から、教師データ候補を見つけるようにしている。

【0121】

新推論モデル作成のフローが開始すると、まず、既存推論モデル対応可能か否かを判定する（Ｓ１）。ここでは、入力判定部１２が、画像システム２０の画像取得部２３から画像データ等を入力し、既存推論モデル１９ａを用いて推論することが可能であるか否かを判定する。この判定にあたっては、画像データに関連付けられているカテゴリ情報に基づいて判定する。なお、図２における入力画像の内、カテゴリ２、３に属するような画像の中には、カテゴリ情報が関連付けられていない場合がある。この場合には、他の添付データ、画質に関する情報、画面の形状に関する情報等、他の情報を用いて判定すればよい。また、カテゴリ等に基づいて判定せずに、推論の信頼性に基づいて判定してもよい。

【0122】

ステップＳ１における判定の結果、既存推論モデルで対応可能な画像であった場合には、見たことのない画像のみを教師データとして収集する（Ｓ７）。ステップＳ１における判定結果では、既存推論モデルに対応可能であることから、通常は、見たことがある画像（言い換えると、今までに取得した画像に類似した、または画像の特性が今までと同じである画像）の可能性が高い。この判定は、すでに実績のある推論モデルを作成した際に使用した元の内視鏡画像（動画）が記録されていれば（既存教師データ作成時検査画像群３１として記録されている）、類似度判定部１３が、それらの特徴と比較することによって行うことができる。類似度判定を行い、特定の閾値以上のものは類似画像（見た事のある画像）として判定すればよい。

【0123】

また、既存推論モデル生成の際に、画像の中のどの部分が教師データとして使われた実績があるかについても記録しておけば、教師データとしてレアかどうかも同様に判定が可能となる。これらの判定で類似でないと判定された画像は、「今まで見たことがない画像」として判定ができる。例えば、特定の検査時に得られた内視鏡動画情報について、この内視鏡動画のうち教師画像に対応するコマをアノテーション情報とすることによって得られた動画情報を教師データとし、さらに複数の検査結果の内視鏡動画画像に対して同様の教師データ化を行い、既存推論モデルを生成する。この既存推論モデルに、挿入または抜去画像を含む内視鏡動画を入力し、教師データとして使用するコマが出力となる推論を行う。今まで見たことのない画像は、これまでは教師データになった実績がないことから、見逃されてしまう可能性がありえる。そこで、この推論において、信頼性が中途半端なものを選び、これまで扱って来た内視鏡画像（または教師データとなった画像）と類似度判定を行い、類似度が低いものをレアデータ（稀な画像）として、教師データ候補にしてもよい。つまり、ステップＳ１において判定の対象となった画像が、今まで見たことがない稀な画像の場合には、既存推論モデルの推論の信頼性を向上させるために使用できる可能性がある。そこで、このステップでは、今まで見たことがある画像は収集せず、見たことがない特異な（稀な）画像のみを収集し、この画像を教師データとして使用できるようにしている。

【0124】

また、見たことのない稀な画像の収集にあたっては、正常かどうかの判断では正常ではなく、病変部かといわれるとその判断の信頼性が高くない画像を見たことがない画像として収集してもよい。ここで、収集した画像は、記録部３０に検査画像群３２として記録する。この記録の際に、見たことがない稀な画像であることを示すメタデータを付与しておく。見たことのない稀な画像であるか否かの判定方法の具体的な一例について、図４（ａ）を用いて後述する。

【0125】

次に、ステップＳ１における判定において、既存推論モデルでは対応可能できないと判断された場合について説明する。例えば、特定機種の内視鏡を使った特定の検査時に得られた内視鏡動画情報に対し、この内視鏡動画のうち教師画像に対応するコマをアノテーション情報とすることによって得られた動画情報を教師データとし、さらに複数の検査結果の内視鏡動画画像に対して同様の教師データ化を行い、既存推論モデルを生成する。この既存推論モデルに、挿入または抜去画像を含む内視鏡動画を入力し、教師データとして使用するコマが出力となる推論を行ってもよい。このステップにおける推論は、仕様や特性の異なる内視鏡からの画像に対して行うことになる。前述したように、内視鏡検査で得られたコマ数に対して、教師データの候補になるコマは少ないので、かなりの高精度の推論をしなければならず、なおかつ、このケースのような学習した経験がないような画質の画像に関しては、さらに信頼性が低くなると考えられる。むしろ、特定機種の内視鏡を使った特定の検査時に得られた一連の内視鏡画像の中から、教師画像の候補にもならなかったコマをアノテーションして得られた教師データを生成して推論モデルを生成し、この推論モデルに複数の検査結果の内視鏡画像を入力して、その推論結果に基づいて、教師データになりようがない画像を選択し、それ以外を教師データ候補として精査するような手法が好ましい。

【0126】

ただし、図３Ａに示すフローでは、もっと単純に例示しており、重要度が低い画像であるかどうかを判定して（Ｓ３）、それ以外を教師データ候補にしている。重要度の低い画像というのは、お手本とする仕様の推論モデルを作成した時に、動画等、画像の列の中から、タイミングに応じて取捨選択した結果を反映して決められるものである。例えば、観察用、鑑別用の推論モデルをお手本仕様とする場合、アクセス画像であれば、どのような内視鏡機種であろうとも必要なので取得（少なくとも電子データ化）されており、これを利用して、他の部分（アクセス以外の部分）と分離する方法が考えられる。まったく異なる機種の画像を比べるのは、比較対象が異なりすぎていて、比較の信頼性が低下する可能性があるが、同じ機種であれば、アクセス画像とそれ以外の患部なし確認画像や患部あり確認画像との差異を見つけ出すのは容易である。そして、この差異は、実績のある既知の内視鏡画像の中から、特定の教師データ候補部分（コマ）を選別した時のロジックを適用してもよく、また推論を適用してもよい。

【0127】

つまり、既知の推論モデルを作成した時の第１の内視鏡から連続して得られた画像に対して、例えば病変検出など、特定の画像特徴の判定を行うために時系列で得られた画像群は、すでにどのコマが教師データとして採用されたか分かっている。言い換えると、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかが判定できている。ここでは、第２のタイミングから教師データが得られたことが既知である。つまり、第２のタイミングで得られた画像群に対してアノテーションした結果を教師データとして学習した第１の内視鏡用画像の画像特徴判定用の第１の推論モデルを得る学習部があるので、その学習部に対して、第１の推論モデルを作成した時の第１のタイミングで得られた画像群の特徴を利用して、第１の内視鏡とは異なる第２の内視鏡から取得した画像群を分類する分類部を設ければよい。

【0128】

つまり、上述したような教師データ候補の画像群を効率よく、検査時の全画像（コマ）データから選別する情報処理装置を上述の学習部と連携可能にしておけば、すでに実績のある学習部に、新しい教師データを与えて、高速の学習が可能となる。つまり、上述の分類部は、第１の推論モデルを作成した時の第１のタイミングで得られた画像群を利用し、その特徴を（例えば、第１と第２の画像群の持つ特徴の差異などで）判定して、第１の内視鏡とは異なる第２の内視鏡から取得した画像を時間的に分割して、同じ仕様、画質等の性能で比較して、第１の画像と第２の画像の特徴の差異を見つけ出し、特定検査画像の全画像コマの中からアノテーション候補画像を分類することを可能としている。

【0129】

ここでは、アノテーション候補コマの選定を自動で行い、実際のアノテーションは、医師などの専門家が行って、教師データとして完成させることを想定して説明したが、アノテーションそのものを、前述の第１の推論モデルが行ってもよい。その結果を医師が確認する工程を設ければ、品質を担保しつつ、高速の教師データ作成と推論モデル作成が可能となる。

【0130】

医師等が内視鏡検査のためにスクリーニングしている際（アクセス中）の画像（例えば、図２の画像Ｐｌｏ、図３（ｂ）の画像Ｐｓ参照）は、内視鏡を体内に挿入し、病変部等を探すために、撮像部を動かしている時の画像であり、画像が流れており、また画質も低く、既存の推論モデルを改良する際に使用する教師データに適していない。このステップＳ３では、このような教師データ向きでない画像か否かを判定する。なお、この判定にあたっては、１枚だけではなく、連続画像単位で判定してもよい。つまり、１枚だけでは、画像の品質が低くても、連続画像で評価すれば、例えば、アクセス時のガイド表示用の推論モデルなどの場合には、教師データとして使用できる場合がある。

【0131】

上述したように、教師データの候補にする可能性の低い、いわば重要度の低い画像を判定したので、この画像以外を教師データ候補として収集すればよい（Ｓ５）。ここでは、ステップＳ３において重要度が低いと判定された画像を排除し、重要度が低くない画像データを、教師データとして収集する。この画像は、図３（ｂ）の観察中の画像Ｐｏに相当し、医師等が病変部をじっくり観察（精査）した画像等が含まれるはずである。既存推論モデルでは対応できなく、従来の推論モデルが推論することを悩ませる画像は、新推論モデル作成としては貴重な画像となる。そこで、ここで収集した画像を検査画像群３２（図１Ｂ参照）として記録しておく。この記録に際しては、未知の画像であり、新推論モデル用の画像である旨のメタデータを付与しておく。

【0132】

このように教師画像候補の画像コマを、一つの検査ごとに、数万枚にも及ぶ内視鏡コマから絞ることが出来れば、それ以外のコマの事を考えずに、どれをアノテーションして教師データにするべきかに専念できる。このため、改善された、あるいは新作の推論モデルを作成する効率を高めることが可能となる。

【0133】

ステップＳ３またはステップＳ５において画像を収集すると、アノテーション１またはアノテーション２を依頼する（Ｓ９）。ここでは、第１依頼部１６が、ステップＳ７において収集した画像を用いて、現状改良型の推論モデルを生成するためのアノテーション１を依頼する。このアノテーション１は、すでにある教師データを主とし、それに加えて学習させるための教師データを作るためのアノテーションであるから、既存のアノテーションツールなどをそのまま使える。

【0134】

また、ステップＳ９において、第２依頼部１７がステップＳ５において収集した画像を用いて、新推論モデルを生成するためのアノテーション２を依頼する。このアノテーション２は、既存の教師データが使えるかどうかわからず（推論モデルの出来栄えによる）、この新しい未知の内視鏡装置用の出力を得る必要があり、必ずしも、従来の仕様と同様のアノテーションツールで良いかは分からないので、敢えて、アノテーション１とは分けてアノテーション２としている。なお、アノテーション１、２が終わると、現状改良型推論モデルまたは新推論モデルの生成を、学習部１８に依頼する。アノテーションを依頼すると、このフローを終了する。

【0135】

新推論モデル作成のフローでは、入力画像について癌等の病変部の推論を行うにあたって、既存の推論モデルで推論可能であるか否かを判定し、推論可能である場合には、見たことのない稀な画像を教師データ候補として収集している（Ｓ１Ｙｅｓ→Ｓ７参照）。ここで、収集した教師データ候補は、既存の推論モデルを改良するためのデータとして使用される（例えば、図６のＳ８１、Ｓ８３、Ｓ８７参照）。また、既存の推論モデルで推論できない入力画像の場合には、重要度の低い画像を除いて、この画像を教師データ候補とする。ここで収集した教師データ候補は、新推論モデルを生成するためのデータとして使用される（例えば、図６のＳ８１Ｎｏ→Ｓ８５Ｙｅｓ→Ｓ９１参照）。

【0136】

情報処理システム１０は、様々な画像処理システム２０（内視鏡を含む）から多様な画像を入力しており、この中には、既存の推論モデルでは推論できない場合がある。本実施形態においては、推論できなかったような画像であっても検査画像群３２として記録しておき（Ｓ５参照）、この画像を新推論モデルの生成の際に、効率よく利用できるようにしている。また、既存の推論モデルで推論できるような場合であっても、それまで取得した画像とは異なるような場合（類似していないような場合）には、この画像を検査画像群３２として記録しておき、既存推論モデルを改良する場合に、使用できるようにしている。

【0137】

次に、図３Ｂに示すフローチャートを用いて、新推論モデル作成の動作の変形例を説明する。図３Ａに示すフローにおいては、ステップＳ１において、既存推論モデルが対応可能であるか否かを判定し、対応できない場合には新推論モデル作成用の画像を収集し（Ｓ３、Ｓ５参照）、一方、対応できる場合には推論モデルの改良用に見たことのない稀な画像を収集していた（Ｓ７参照）。この図３Ｂに示すフローでは、新推論モデル作成用の画像は、既存推論モデルで対応可能か否かに関係なく、収集している（Ｓ１０１、Ｓ１０３参照）。この収集の後に、既存推論モデルで対応可能な場合にのみ（Ｓ１０５Ｙｅｓ）、推論モデルの改良用に見たことのない稀な画像を収集している（Ｓ１０９参照）。

【0138】

図３Ｂのフローは、図３Ａのフローと比較して、図３ＡのステップＳ３、Ｓ５、Ｓ１、Ｓ７、Ｓ９が、それぞれ図３ＢのＳ１０１、Ｓ１０３、Ｓ１０５、Ｓ１０７、Ｓ１０９と同じ処理を行っており、処理の順番が異なるだけであるので、詳しい説明を省略し、簡単に説明する。

【0139】

図３Ｂのフローが開始すると、まず、重要度が低い画像か否か画像判定を行う（Ｓ１０１）。ここでは、分類部１５が、入力画像に対して行われた類似画像判定部１３の判定結果に基づいて、重要度が低い画像か否かを判定する。重要度の低い画像というのは、前述したように、お手本とする仕様の推論モデルを作成した時に、動画等、画像の列の中から、タイミングに応じて取捨選択した結果を反映して決定するものであり、例えば、推論モデル作成時に使用されなかった画像と類似であれば重要度が低いと判定される。

【0140】

次に、重要度が低いと判定された画像以外を教師データ（候補）として収集する（Ｓ１０３）。ここでは、ステップＳ１０１における判定結果に基づき、重要度が低いとされた画像以外を、教師データ（候補）として、記録部３０に記録する。すなわち、教師データ候補となる画像群から選ばれた画像は、記録部に記録している。

【0141】

重要度が低い画像以外を教師データ（候補）として収集すると、ステップＳ１と同様に、入力画像に対して、既存推論モデルが対応できるか否かを判定し（Ｓ１０６）、この判定の結果、対応できない場合には、ステップＳ７と同様に、見たことのない画像のみを教師データ（候補）として収集する。ステップＳ１０５、Ｓ１０７における処理を行うと、次に、ステップＳ９と同様に、アノテーション１またはアノテーション２を依頼し（Ｓ１０９）、依頼が終わると、このフローを終了する。

【0142】

上述したように、図３Ｂにおけるフローでは、新推論モデル作成用の画像収集は、既存推論モデルで対応可能であるか否かに関係なく行うことができる。このため、幅広く多様な画像を収集することができる。

【0143】

次に、図４を用いて、ステップＳ１（図３Ａ（図３ＢのＳ１０５）参照）における既存推進モデルで対応可能か否かの判定した後の処理の一例について説明する。図４（ａ）は、ステップＳ１（図３ＢのＳ１０５）において、既存推論モデルで対応可能と判定された場合に、ステップＳ７（図３のＳ１０７）において、見たことのない画像であるか否かを判定する方法を説明する図である。

【0144】

図４（ａ）に示す例では、正常検出ＡＩ（推論モデル）１９ａと、病変検出ＡＩ（推論モデル）１９ｂの２種類の推論モデルを設定した推論エンジンを用意しておき、同一の内視鏡画像ＰＩ４について、これらのＡＩ（推論モデル）を用いて推論する。ここで、正常検出ＡＩ１９Ａは、内視鏡画像ＰＩ４が正常か否か、言い換えると内視鏡画像ＰＩ４が異常でないかを判定する。また、病変検出ＡＩ１９Ｂは、内視鏡画像ＰＩ４に病変部があるか否かを判定する。癌等の病変部があるか否かを推論する推論モデルは、一般的には、この病変検出ＡＩが相当する。この病変検出ＡＩが第1の推論モデルとすれば、正常検出ＡＩは、第３の推論モデルに相当する。

【0145】

なお、正常検出ＡＩ１９ｂに設定する推論モデルは、病変がない画像を教師データとし、この教師データを用いて、学習することによって生成する。この推論モデルは、前述したように、入力画像が正常であるか否かを推論することができる。この推論モデルを生成するための画像は、例えば、後述する図５ＢのステップＳ２７において、それ以外と判定された画像を収集すればよい。

【0146】

内視鏡画像ＰＩ４が正常であれば、つまり異常がない場合には、正常検出ＡＩ１９Ａは正常と判定し、病変検出ＡＩ１９Ｂは病変なしと判定する。しかし、図４（ａ）に示す例は、既存推論モデルが内視鏡画像ＰＩ４を推論するに適していない場合であり、正常検出ＡＩ１９Ａによる推論結果は「異常」であり、一方、病変検出ＡＩ１９Ｂによる推論結果は「病変なし」である。すなわち、２つのＡＩによる判定結果が矛盾している。

【0147】

このように、内視鏡画像ＰＩ４が、既存推論モデルを用いて推論可能であるとしても、２つのＡＩによる判定結果が矛盾している場合には、内視鏡画像ＰＩ４は、見たことがないような稀な画像といえる。この場合には、見たことのない画像として、記録部３０に検査画像３２として記録しておき、アノテーションを行って教師データを作成し、この教師データを用いて、既存の推論モデルを改良する際に使用すればよい。

【0148】

類似画像判定部１３が、上述の見たいことがない稀な画像であると判定すると、第１依頼部１６が、この画像にアノテーションを依頼して教師データを作成し、この教師データを用いて推論モデルの生成を依頼する。すなわち、第１依頼部１６は、同一の画像（例えば、画像ＰＩ４）を第１の推論モデル（例えば、正常検出ＡＩ１９ａ）で推論した結果の信頼性に従って、画像群に第１の推論モデルを改良した第３の推論モデルを生成するための教師データ用のアノテーションを依頼する第１依頼部として機能する（例えば、図４（ａ）、図５ＢのＳ２７～Ｓ３３参照）。第１の推論モデルで推論した結果が、例えば、第１の内視鏡（特定メーカ製の内視鏡等）で取得した画像であると推論されれば良いとか、あるいは他の病変に対して正しく判定する推論モデルであると推論されれば、信頼性があると判定してもよい。

【0149】

図４（ｂ）に示す例は、ステップＳ１（図３ＢのＳ１０５）において、既存推論モデルで対応できないと判定された場合を示す。この場合は、内視鏡画像ＰＩ５の画像変化速度を検出し、スクリーニング（アクセス）中、すなわち医師等が病変部を探して撮像部を移動している最中であるか否かを判定する。また、内視鏡画像ＰＩ５と体内の表面との距離が所定距離よりも近距離であるか否かを判定（物体近接判定）する。この判定の結果、物体距離が所定距離よりも近接であれば、医師等は観察中であると判定することができる。

【0150】

このように、既存推論モデルで対応できないと判定された場合には、画像変化速度に基づいて、スクリーニング中であるか否かを判定し、また物体距離に基づいて観察中であるか否かを判定する。スクリーニング中の画像等、重要でない画像はフィルタリングし（すなわち、重要でない画像は排除し）、重要な画像（例えば、観察中の画像）は、記録部３０に検査画像群３２として記録しておく。この画像にアノテーションを施して、教師データとし、新推論モデルを作成する際に使用する。

【0151】

次に、図５Ａないし図５Ｃに示すフローチャートを用いて、本実施形態に係る情報処理システムと画像システムとしての内視鏡の具体的な動作について説明する。

【0152】

図５Ａに示すフローチャートは、内視鏡１のメイン動作を説明する。情報処理システム１０は、様々な内視鏡と接続し、画像取得部から種々の情報を取得する。内視鏡１は、特定の製造メーカ製の内視鏡であり、情報処理システム１０は、この内視鏡１からの画像に基づいて、既存推論モデル１９ａを生成したことがある。図５Ａに示す内視鏡１のメイン動作は、内視鏡１に相当する画像システム２０内の制御部２１が、画像システム２０内の各部を制御することによって実現する。

【0153】

図５Ａの内視鏡１のフローが開始すると、まず、画像を取得し、表示する（Ｓ１１）。ここでは、画像取得部２３が内視鏡画像を取得し、この内視鏡画像を表示部２４内のディスプレイにおいて表示する。医師等は、この内視鏡画像を見ながら、内視鏡１を操作し、目的の部位に内視鏡１の撮像部を移動させ、目的の部位を観察する。

【0154】

画像を取得し表示すると、次に、画像を情報処理システム１０に送信し、推論結果を取得する（Ｓ１３）。ここでは、制御部２１は、画像取得部２３によって取得した画像を、通信部を通じて、情報処理システム１０に送信する。このとき、機種情報（内視鏡１を示す情報）を、画像情報と一緒に情報処理システム１０に送信する（図５ＢのＳ２３参照）。画像を受信した情報処理システム１０は、推論エンジン１９の既存推論モデル１９ａを用いて、癌部等の病変部があるか否かを推論し、この推論結果を内視鏡１に返信する（図５ＢのＳ２５参照）。この推論結果を画像システム２０が受信する際に、推論結果の信頼性についても受信する。

【0155】

続いて、高信頼性で判定結果を得たか否かを判定する（Ｓ１５）。ここでは、ステップＳ１３において受信した推論の信頼性の結果に基づいて、制御部２１が、この信頼性が所定値よりも高いか否かを判定する。この判定の結果、信頼性が所定値よりも低い場合には、ステップＳ１１に戻る。

【0156】

一方、ステップＳ１５における判定の結果、信頼性が高ければ、次に、判定した位置を枠で表示する（Ｓ１７）。ステップＳ１３において、推論エンジン１９が癌等の病変部の有無と、有る場合にはその位置を推論するので、内視鏡１はこの推論結果を受信する。このステップでは、表示部２４は、推論エンジン１９によって推論された癌等の病変部の位置を枠で表示する。なお、表示方法は、枠で以外の表示方法を採用しても勿論かまわない。また、このステップでは、内視鏡の操作者に操作ガイドを表示するようにしてもよい。例えば、「出血の可能性あり」等を表示するようにしてもよい。このガイドのために、ガイド用の推論モデルを用意しておいて、この推論モデルでガイドを出力するようにしてもよい。判定位置を枠表示すると、ステップＳ１１に戻る。

【0157】

次に、図５Ｂに示すフローチャートを用いて、情報処理システム１０のメイン動作を説明する。情報処理システム１０は、前述したように様々な内視鏡と接続し、画像取得部から種々の情報を取得する。この情報処理システムは、多様な内視鏡から送信されてくる内視鏡画像が、現状改良推論モデルに使用できる画像か、新推論モデルを作成するに使用できる画像か、それ以外の画像かを判定する。そして、この判定結果に応じて、アノテーションの付与を依頼して教師データを作成し、推論モデルの生成を依頼する。図５Ｂに示す情報処理システムのメイン動作は、情報処理システム１０の制御部１１が、情報処理システム１０内の各部を制御することによって実現する。

【0158】

図５Ｂの情報処理システムのフローが開始すると、まず、画像取得スタンバイ状態となる（Ｓ２１）。前述したように、情報処理システム１０は、様々な内視鏡と接続可能であり、それぞれの内視鏡から内視鏡画像が送信されてくる。このステップＳ２１においては、制御部１１は、様々な内視鏡からの画像を受信できるように、スタンバイ状態としておく。

【0159】

次に、画像を取得すると、対象画像であるか否かを判定する（Ｓ２３）。ここでは、制御部１１は、情報処理システム１０が受信した画像が、癌等の病変部の有無等の判定対象となる画像であるか否かを判定する。ここでは、制御部１１は、画像のシーン等（例えば、体内の画像であり、医師等が精査している際の画像か等）に基づいて、対象画像か否かを判定する。例えば、医師等が目的とする部位（患部、腫瘍等の病変部が存在しそうな部位等）を精査している場合には、先端部が、同じ位置で止まっていたり、その周辺で探しまわったりする。精査しているか否かは、内視鏡画像を解析して判定してもよく、また医師等の操作状態に基づいて判定してもよい。この判定の結果、対象画像でない場合には、ステップＳ２１に戻る。

【0160】

一方、ステップＳ２３における判定の結果、対象画像であった場合には、推論結果と信頼性を送信する（Ｓ２５）。ここでは、推論エンジン１９が既存推論モデル１９ａを用いて、対象画像に癌等の病変部が有るか否かと、病変部がある場合にはその位置を推論する。また、推論の際に、推論論の信頼性についても算出する。推論エンジン１９による推論が終了すると、推論結果とその信頼性を、画像の取得元に送信する（図５ＡのＳ１３参照）。

【0161】

次に、現状改良か、新モデルか、それ以外かの判定を行う（Ｓ２７）。このフローでは、制御部１１は、今まで収集できなかったような画像か否かを判定し、いままで集められなかった画像を教師データとする。ここでは、まず、受信した対象画像が、推論モデルを生成する際に、現状改良型推論モデルを生成するに適しているか、または新推論モデルを生成するに適しているか、またはそれ以外であるかについて、制御部１１が判定する。前述したように、情報処理システム１０は、多様な内視鏡等の検査装置にインターネット等を通じて接続可能であり、これらの内視鏡等は、既存推論モデルを生成した際に使用した特定の製造メーカ製の内視鏡があれば、この特定の製造メーカ製の内視鏡に比較的類似している内視鏡もあれば、市場で知られていないような全く未知の内視鏡がある。このステップでは、特定の製造メーカ製以外の内視鏡画像であっても、癌等の病変部を推論する推論モデルを生成するために、ステップＳ２３において受信した内視鏡画像の判定を行う。このステップＳ２７における判定は、判定の詳細については、図６を用いて後述する。

【0162】

ステップＳ２７における判定の結果、現状改良用でもなく、新推論モデル用でもない場合には、それ以外の処理を行う（Ｓ２８）。ここでは、現状改良でもなく、新推論モデルでもないと判定された画像を記録する。後述するように（図６のＳ８１、Ｓ８９参照）、既存機種であり、かつ信頼性が４０～６０％以外であることから、癌等の病変部であるか否かがはっきりしている画像である。そこで、この画像を記録しておき教師データとすることによって、異常なしであることを推論するためのＡＩを作成することができる。ステップＳ２８における処理を実行すると、ステップＳ２１に戻る。

【0163】

一方、ステップＳ２７における判定の結果、画像が現状改良に適していた場合には、次に、画像を教師データ候補として記録する（Ｓ２９）。ここでは、制御部１１は、既存改良用の推論モデルを生成するに適した画像として、記録部３０に検査画像群３２として記録する。例えば、医師等が今まで見たことがないような稀な画像は、既存の推論モデルを改良する際に役立つ。検査画像群３２に画像を記録する際に、既存改良用の画像であることを、カテゴリ情報をメタデータとして記録しておくとよい。

【0164】

続いて、アノテーションを依頼する（Ｓ３１）。ここでは、制御部１１は、現状改良用の推論モデルを生成するために、アノテーションの付与を依頼する。アノテーションは、医師等の専門家が、癌等の病変部の位置を示すデータを、画像データに関連付ける。医師等の専門家が手動でアノテーションを付与する以外にも、ＡＩ等を用いて自動的に付与、またはＡＩのアドバイスを参考にして専門家が付与するようにしてもよい。

【0165】

次に、新教師データを取捨選択して学習し、改良推論モデルを作成する（Ｓ３３）。アノテーションが付与されると、新教師データが作成できるので、制御部１１は、新教師データを適宜取捨選択する。すなわち、新教師データの中から、改良推論モデルの生成に適した教師データを取捨選択する。新教師データの取捨選択を行うと、次に、第２依頼部１７は、改良推論モデルの生成を学習部に依頼する。学習は情報処理システム１０内の学習部１８に依頼するが、情報処理システム１０内に学習部を有していない場合には、外部の学習部に依頼する。改良推論モデルの生成を依頼すると、ステップＳ２１に戻る。

【0166】

ステップＳ２７に戻り、判定の結果、画像が新推論モデルの生成を行うに適している場合には、既存教師データ用検査画像判定を行う（Ｓ３５）。既存教師データ用検査画像群３１は、前述したように、第１のタイミングおよび第２のタイミングで取得し、既存の内視鏡に適した推論モデルを生成する際に、画像データを記録している。前述したように、第２のタイミングは、医師等が目的とする部位において精査しているタイミングであり（例えば、図３Ａ（ｂ）の画像Ｐｏ参照）、画像は静止し、鮮明度の高い高画質である。このステップでは、画像類似判定部１３は、取得画像が既存教師データ用検査画像群３１と類似しているか否を判定する。

【0167】

続いて、既存教師データ用検査画像群以外を検査画像群として記録する（Ｓ３７）。このステップでは、制御部１１は、ステップＳ３５における判定の結果、既存教師データ用検査画像群に類似していないと判定された画像のみを検査画像群として、記録部３０に検査画像群３２として記録する。この画像は、市場では知られていない全く未知の内視鏡で取得された可能性が高く、この画像を用いて推論することによって、この全く未知の内視鏡に適した推論モデルを作成することができる。

【0168】

続いて、アノテーションを依頼し、またアノテーションしなかった画像は検査画像群に追加する（Ｓ３９）。ステップＳ３７において検査画像群と判定された画像は、全く未知の内視鏡等によって取得された画像であることから、画像も未知のタイプの画像である。そこで、新推論モデル生成のために、アノテーションの付与を依頼する。このアノテーションは医師等の専門家が手動で付与する以外にも、ＡＩ等を利用して自動で行ってもよい。アノテーションを行わなかった画像は、今回の新推論モデルの作成の際には使用しないが、別の機会に推論モデルの作成の際に使用する可能性があることから、この画像を検査画像群３２として記録部３０に追加する。なお、この記録の際に、アノテーションなしの画像であったことを示すタグを付与しておく。

【0169】

続いて、検査画像群にアノテーションしたものを新教師データとして記録する（Ｓ４１）。制御部１１は、ステップＳ３７において記録した検査画像群についてアノテーションが終わると、この画像を新教師データとして記録部３０に検査画像群３２として記録する。

【0170】

続いて、新教師データを取捨選択して、学習を行い、新推論モデルを作成する（Ｓ４３）。新教師データが作成されると、次に、制御部１１は、新教師データを適宜取捨選択する。すなわち、新教師データの中から、新推論モデルの生成に適した教師データを取捨選択する。新教師データの取捨選択を行うと、次に、第２依頼部１７が新推論モデルの生成を学習部に依頼する。学習は、改良推論モデルの生成の場合と同様に、情報処理システム１０内の学習部１８に依頼するが、情報処理システム１０内に学習部を有していない場合には、外部の学習部に依頼する。新推論モデルの生成を依頼すると、ステップＳ２１に戻る。

【0171】

次に、図５Ｃに示すフローチャートを用いて、内視鏡２のメイン動作を説明する。情報処理システム１０は、前述したように、様々な内視鏡と接続可能であり、画像取得部から種々の情報を取得する。内視鏡２は、内視鏡１とは異なり、特定の製造メーカ以外で製造された内視鏡であり、図２の画像ＰＩ２または画像ＰＩ３を生成した内視鏡であえる。情報処理システム１０は、この内視鏡２からの画像に基づいて、推論モデルを生成したことがない。図５Ｃに示す内視鏡２のメイン動作は、内視鏡２に相当する画像システム２０内の制御部２１が、画像システム２０内の各部を制御することによって実現する。

【0172】

図５Ｃの内視鏡２のフローが開始すると、まず、画像を取得し、この画像を表示する（Ｓ５１）。ここでは、内視鏡２内の画像取得部２３が内視鏡画像を取得し、この内視鏡画像を表示部２４内のディスプレイにおいて表示する。医師等は、この内視鏡画像を見ながら、内視鏡２を操作し、目的の部位に内視鏡２の撮像部を移動させ、目的の部位を観察する。

【0173】

次に、推論補助操作がなされたか否かを判定する（Ｓ５３）。内視鏡２は、市場で知られていないような未知の内視鏡である場合には、医師等の操作者も慣れていない可能性がある。このような場合には、操作者が推論による補助を依頼して来ることがある。推論補助を依頼するために、例えば、内視鏡２に補助操作を依頼するための操作部材を設けておくとよい。また、医師等の操作者が依頼操作を行わなくても、内視鏡画像の解析結果や、内視鏡の操作状態に基づいて、推論補助操作がなされているか否かを自動的に判別してもよい。もちろん、補助操作が必要か否かを推論する推論モデルによって判定してもよい。このステップにおける判定の結果、操作者が推論補助操作を求めていない場合には待機状態となる。

【0174】

ステップＳ５３における判定の結果、推論補助操作が行われた場合には、次に、画像を情報処理システム１０に送信し、推論結果を取得する（Ｓ５５）。ここでは、内視鏡２の制御部２１は、画像取得部２３によって取得した画像を、通信部を通じて、情報処理システム１０に送信する。このとき、機種情報（内視鏡２を示す情報）を、画像情報と一緒に情報処理システム１０に送信してもよい。画像を受信した情報処理システム１０は、推論エンジン１９の既存推論モデル１９ａを用いて、癌部等の病変部があるか否かを推論し、この推論結果を内視鏡２に返信してくる（図５ＢのＳ２５参照）。この推論結果を受信する際に、推論結果の信頼性についても受信する。

【0175】

続いて、高信頼性で判定結果を得たか否かを判定する（Ｓ５７）。ここでは、ステップＳ５５において受信した推論の信頼性の結果に基づいて、制御部２１が、この信頼性が所定値よりも高いか否かを判定する。この判定の結果、信頼性が低い場合には、ステップＳ５３に戻る。

【0176】

一方、ステップＳ５７における判定の結果、信頼性が高ければ、次に、判定した位置を枠で表示する（Ｓ５９）。ステップＳ５５において、推論エンジン１９が癌等の病変部の有無と、病変部等が有る場合にはその位置の推論結果を受信している。このステップでは、推論エンジン１９によって推論された癌等の病変部の位置を枠で表示する。なお、表示方法は、枠で以外の表示方法を採用しても勿論かまわない。判定位置を枠表示すると、ステップＳ５１に戻る。

【0177】

このように、情報処理システムおよび内視鏡１、２の動作においては、情報処理システム１０が、画像システム（内視鏡１、２）から画像を受信すると、推論モデル１９ａによって推論を行い、推論結果を画像システムに返信している（Ｓ２１～Ｓ２５参照）。このため、画像システムにおいて、推論エンジンを有していなくても、簡便に癌等の病変部の有無やその位置を知ることができる。また、取得した画像が、既存の内視鏡で取得された画像であっても見たことがないような稀な画像の場合には、これらの画像を収集し、現状改良型の推論モデルを作成する（Ｓ２９～Ｓ３３参照）。

【0178】

また、情報処理システムの動作においては、既存の内視鏡とは異なる全く未知の内視鏡（例えば、図５Ｃに示す内視鏡２）で取得された画像の場合には、第１画像と非類似の場合には、この画像を検査画像として収集し、新推論モデルを生成している（Ｓ３５～Ｓ４３参照）。未知の内視鏡の画像に適した推論モデルを作成するためには、大量の画像を収集しなければならないが、このシステムによれば、日々、多様な内視鏡から集まってくる画像を効率的に利用することができる。

【0179】

次に、図６に示すフローチャートを用いて、ステップＳ２７（図５Ｂ参照）の現状改良、新モデルか、それ以外かの判定の動作の詳細について説明する。

【0180】

図６のフローが開始すると、まず、機種情報等が既存か否かを判定する（Ｓ６１）。機種情報は、図５Ａにおける内視鏡１や、図５Ｃにおける内視鏡２等、製造メーカ名や、そのメーカにおける機種名等の情報である。この機種情報等に基づいて、ステップＳ２１、Ｓ２３において受信した画像が、既存推論モデル１９ａを生成する際に使用した既存製造メーカ製の内視鏡によって取得した画像であるか否かを判定する。機種情報は、画像に関連付けられているカテゴリ情報等に含まれている場合があることから、制御部１１はカテゴリ情報に基づいて、機種情報を判定する。このステップでは、機種情報に限らず、モード、アクセサリ、術式等の情報に基づいて、既存の機種に関するか否かを判定してもよい。機種情報等を示すタグデータ等が画像に添付されていない場合には、画像の特性や画像の形状等に基づいて判定してもよい。

【0181】

ステップＳ６１における判定の結果、機種情報等が既存のメーカであった場合には、次に、癌判定の信頼性が特定範囲であるか否かを判定する（Ｓ６３）。ステップＳ２５（図５Ｂ参照）において、癌等の病変部の推論を行うと共に、この時の推論の信頼性を判定している。推論の信頼性は、０％と１００％の２通りではなく、その中間の値も取り得る。信頼性が４０％～６０％の場合には、既存推論モデルを用いて癌等の病変部の推定を行った場合に、その推論結果が正しいとも間違っているともいえない状態である。信頼性が０％の場合には、既存推論モデルが全く適合せず、一方信頼性が１００％の場合には、既存推論モデルが完全に適している場合である。信頼性が特定範囲の場合は、推論の対象となった内視鏡画像が、既存推論モデルにぴったり適合しているわけではなく、既存推論モデルに改良の余地があることを示している。

【0182】

そこで、ステップＳ８３における判定の結果、信頼性が特定範囲（４０～６０％）でない場合には、それ以外（Ｓ７３）とし、図５ＢのステップＳ２８に進む。一方、ステップＳ８３における判定の結果、信頼性が特定範囲の場合には、現状改良を行うことにする（Ｓ６５）とし、図５ＢのＳ２９に進む。

【0183】

ステップＳ６１に戻り、機種情報が既存の内視鏡等でない場合には、次に、画像の品質特性の差異、術式を考慮して、全く未知の機種か否かを判定する（Ｓ６７）。このステップでは、入力画像が、全く未知の内視鏡機種によって取得された画像であるか、それとも既存の内視鏡と大きく相違しないか、或いは市場で知られている内視鏡機種によって取得された画像であるかを判定する。ステップＳ６１における判定の結果がＮｏであったことから、入力画像は既存機種（既存推論モデルを生成するために使用された機種）ではない内視鏡によって取得された画像といえる。そこで、制御部１１は、画像の品質特性の差異や、術式を考慮して全く未知の機種であるか否かを判定する。画像の品質特性の差異や、術式の考慮にあたっては、機種、画質（光学特性）、照明、画角、操作の様子、処置具等、または信頼度を考慮する。外科用内視鏡等においては、術式が異なると推論モデルが異なるので、術式によって新推論モデルにするか、現状改良モデルにするかを切り替えてもよい。

【0184】

ステップＳ６７においては、情報処理システム１０が受信した内視鏡画像に機種情報が関連付けられている場合には、この情報に基づいて、既存推論モデルを生成した機種と大きく相違しない内視鏡機種であるか、全く未知の機種であるかを判定する。また、画像の画質（光学特性）や、画像に対する照明、画角等は、製造メーカの特徴が現れることから、これらの情報に基づいても機種を判定することができる。さらに、内視鏡の製造メーカによって、操作方法に特徴があり、また使用する処置具等も異なることから、取得した画像（特に動画）に基づいて機種を判定することができる。更に、推論の信頼度によっても、機種を判定することができる。

【0185】

ステップＳ６７における判定の結果、内視鏡画像が全く未知の機種によって取得されたものでないと判定された場合には、新モデル１とする（Ｓ６９）。取得した内視鏡画像は、既存機種ではないが、既存機種とは大きく相違していないことから、既存推論モデルを改良する程度の新推論モデルを生成すればよいといえる。そこで、ステップＳ６９において、新モデル１の生成を指定し、現状改良とし（Ｓ７５）、図５ＢのステップＳ２９に進む。

【0186】

一方、ステップＳ６７における判定の結果、内視鏡画像が全く未知の機種によって取得されたと判定された場合には、新モデル２とする（Ｓ６９）。取得した内視鏡画像は、既存機種とは全く異なる道の機種であることから、新推論モデルを生成することとする。そこで、ステップＳ７１において、新モデル２の生成を指定し、新モデルへし（Ｓ７７）、図５ＢのステップＳ３５に進む。

【0187】

このように、図６に示す判定フローでは、機種情報、信頼性の範囲、および画質、照明、画角、操作処理、処置具等、画像の品質特性や術式に基づいて、内視鏡画像を取得した機種等を判定し、これらの判定結果に基づいて、生成する推論モデルの切り分けを行っている。すなわち、情報処理システム１０に集まってきた、種々の多様な内視鏡によって取得された画像を、これらの画像の特性に応じて、効率的に利用することができる。

【0188】

次に、図７に示すフローチャートを用いて、学習装置（情報処理装置）の動作について説明する。この動作は、情報処理システム１０内の学習部１８が、メモリに記憶されたプログラムに従って情報処理システム１０内の各部を制御することによって実現する。このフローのために、学習部１８がＣＰＵ等の制御用プロセッサを有していてもよく、また制御部１１がこのフローを実現するように、情報処理システム１０内の各部を制御してもよい。さらに、学習部１８は、情報処理システム１０内に設けずに、情報処理システム１０の外部に設けても勿論かまわない。

【0189】

図７の学習のフローが開始すると、まず、対象シーンか否かを判定する（Ｓ８１）。対象シーンは、癌等の病変部等、目的とする部位を観察しているシーンであり、また観察以外にも、学習の対象となるシーである。ここでは、情報処理システム１０は、画像のシーン等（例えば、体内の画像であり、医師等が精査している際の画像か等）に基づいて、対象画像か否かを判定する。この判定は、前述したように、画像に関連付けられた機種情報に基づいて行ってもよく、また画質（光学特性）やその他の情報（図６のＳ６７参照）に基づいて判定してもよい。

【0190】

ステップＳ８１における判定の結果、対象シーンでない場合には、第１タイミング画像群として記録する（Ｓ８３）。この場合には、取得した内視鏡画像が、非対象シーン、例えば、内視鏡を挿入したときから、目的とする部位を探し、その後、内視鏡を抜去するまでの間、すなわち第１タイミングにおける画像である。情報処理システム１０は、取得画像を第１タイミング画像として、記録部３０の第１タイミング画像部３１ｃに記録する。

【0191】

一方、ステップＳ８１における判定の結果、対象シーンであった場合には、第２タイミング画像群として記録する（Ｓ８５）。この場合には、対象シーンの画像であることから、推論モデルの生成に適した画像であることが多い。既存の推論モデル作成の際に使用したものとは異なる機種で撮像した画像の場合には、新推論モデル生成用の画像になる。情報処理システム１０は、第２タイミング画像として、記録部３０の第２タイミング画像部３１ｄに記録する。

【0192】

続いて、アノテーション結果を記録する（Ｓ８７）。ここでは、学習部１８（制御部１１）は、画像の中で、癌等の病変部の位置を示すアノテーションを付与することを依頼し、このアテーションが施された画像、すなわち教師データを画像ファイル３１Ａに記録する。なお、アノテーションの付与はＡＩ等を利用して行ってもよい。

【0193】

続いて、学習を行う（Ｓ８９）。ここでは、ステップＳ６７において取得したアノテーションが施された教師データを、推論エンジンのニューラル・ネットワークにした際に、癌等の病変部の位置を出力するように、機械学習を行い、ニューラル・ネットワークの重み付けを設定する。

【0194】

ステップＳ６９において学習を行うと、次に、学習結果が高信頼性を確保したか否かを判定する（Ｓ９１）。この判定は、推論モデルにテストデータを入力してみて、その誤差がどれくらいの範囲に収まるか、或いは特定の誤差に収まるテストデータがどれぐらいあるかを、例えば予め決めておいた基準値と比較することによって、高信頼性を確保しているか否かの判断を行えばよい。

【0195】

ステップＳ７１における判定の結果、高信頼性が確保できていない倍には、画像の取捨選択を行う（Ｓ９３）。ここでは、信頼性を低下させることとなった画像を排除し、また信頼性を向上させることのできる画像を追加する。画像の取捨選択を行うと、ステップＳ８１に戻り、前述の動作を繰り返す。

【0196】

一方、ステップＳ９１における判定の結果、高信頼性が確保できた場合には、推論モデル、仕様、およびバージョン等を記録する（Ｓ９５）。高信頼性の推論モデルができたことから、この推論モデルと、この推論モデルを生成する際の仕様、およびバージョン情報等を記録部３０等に記録する。これらを記録すると、推論モデルが決定され、学習装置の動作が終了する。ここで、作成された推論モデルは、情報処理システム１０が検査画像群として記録された画像と同種の画像を受信した際に、癌等の病変部の推論を行う際に使用することができる。

【0197】

このように、図７に示す学習のフローにおいては、情報処理システム１０が推論モデルを生成するための学習を行う際に、入力した内視鏡画像が対象シーンであるか否かを判断し（Ｓ８１）、対象シーンであれば、この画像を第２タイミング画像として収集しておき（Ｓ８５）、この画像を用いて教師データを作成し、推論モデルを作成している（Ｓ８７～Ｓ８９）。このため、情報処理システム１０が収集した画像を、効率的に利用することができる。

【0198】

また、対象シーンでなかれば、第１タイミング画像として記録している。第1タイミング画像は、推論モデル作成のための学習（Ｓ８９）に直接的には使用されないが、第２タイミング画像との対比で、どのような画像が推論モデルに採用できるかを示す情報を含んでいる。新推論モデルを作成する際には、この情報を活用して、それまでに蓄積した検査画像群３２の中から、新推論モデル作成用の画像を選択する際に使用することができる。

【0199】

以上、説明した本実施形態における考え方は、特定仕様の推論モデルがあり、それを学習して作る時の教師データやその出所となる動画等の来歴が紐解けられる場合には、同様の仕様の推論モデルを改良したり新作したりする際に、教師データの出所動画や、その中における教師データとなった画像コマの関係を参照して、簡単に新しい教師データ候補の画像コマを見つけ出し、アノテーション工程に提示することが出来るというものである。この考え方は、この教師データ候補の画像コマを推論するという実施例によっても、実現することが可能となる。そこで、図８を用いて、一連の画像（動画でもよく、また複数の静止画でもよい）がある場合に、何れかの画像を教師データ作成用の画像として選択する推論モデルの生成と、この推論モデルを用いた推論について説明する。

【0200】

上述したように、本実施形態においては、新しい教師データを効率的に収集するために、すでに実績のある推論モデルを作成する際に、無数にある画像の中から、検出すべき対象物が写っている画像を選択していたことを利用している。すなわち、一連の画像群の中で、教師データ作成用に選択した画像に対してアノテーションを行って学習することによって、アノテーション候補となる画像を抽出する推論モデルを生成することができる。

【0201】

図８は、これまで得られた検査用動画（静止画コマ群）を用いて、アノテーション候補画像を選び出す推論モデルを作成するための学習の仕方（図８（ａ）参照）と、この学習によって生成された推論モデルにおける入出力の様子（図８（ｂ））を示す。つまり、実績のあるこれまでの検査動画と、その中の教師データの関係から、膨大なコマ数からなる検査動画から、限られたコマを検出する推論モデルを作ることが出来る。

【0202】

一連の検査動画Ｐｍ1～Ｐｍ３は、教師データとしての検査画像である。この一連の検査動画Ｐｍ1～Ｐｍ３を、それぞれ１つの画像として扱い、そのうちのいずれかの画像をアノテーションすべき画像として指定すれば、いわば写真画像の中の顔検出技術と同様に、どこにそれがあるかを推論する事が可能となる。

【0203】

なお、図８（ａ）において、一連の検査動画Ｐｍ１において、画像Ｐｍｉ１は、挿入時の画像群であり、画像Ｐｍａ１はアノテーションすべき画像群であり、画像Ｐｍｒ１は、抜去時の画像群である。機械学習を行う前に、一連の検査動画の中で、患部等の病変部が存在するとしてアノテーションした画像（ここでは、検査画像Ｐｍａ１）があれば、その画像に対して、アノテーション候補画像を選び出す推論モデル作成用にアノテーションを施す。

【0204】

ただし、一連の検査動画Ｐｍ１～Ｐｍ３の中には、膨大な画像が含まれるので、データ量が膨大になる。そこで、必要に応じて各コマの画素の間引きやコマ自体、あるいは全体の圧縮等を行ってから、アノテーションすべき画像を選択して、教師データ化してもよい。また、図８（ａ）では、動画を例に挙げて説明したが、動画のデータのみならず、その他、あるタイミングごとの処置情報Ｔｉ１、Ｔｉ２等をデータの一部として入れ込んでもよい。この情報も、画像の変化と合わせて、特徴を検出するための有用な情報となる。なお、図８（ａ）においては、検査動画をＰｍ１～Ｐｍ３と、３つしか示していないが、検査動画の数は、沢山あることを示している。

【0205】

このように、本実施形態においては、特定の検査時に得られた内視鏡動画情報（図中、教師データとしての検査画像Ｐｍ１）に対し、内視鏡動画のうち教師画像に対応するコマ（図中、アノテーションすべき検査画像Ｐｍａ１）をアノテーション情報とすることによって得られた動画情報を教師データとし、さらに複数の検査結果の内視鏡動画画像に対して同様の教師データ化を作成する（図８（ａ）の教師データとしての検査画像Ｐｍａ２、Ｐｍａ３）。教師データが作成されると、ニューラル・ネットワークＮＮＷの入力層Ｉｎに挿入または抜去画像を含む内視鏡動画を入力し、出力層Ｏｕｔが教師データコマ（Ｐｍａ１～Ｐｍａ３）となるように、学習を行って推論モデルを作成する。

【0206】

ちなみに、本実施形態の説明にあたって、挿入、抜去の画像を入れる事を前提にしているように書いたが、これは必須ではない。いわば、正規化といった考え方で、同じような規則に揃えておいた方が、例えば、顔画像を検出してから目を検出した方が、精度が上がるという前例を踏襲したものである。したがって、挿入、抜去は含まず、教師データ候補となる画像を含み、その前後の動画を含んだものでも同様の推論モデルは作成可能である。この時、処置や撮像方法の変化などを情報化し、画像に同期して記録しておけば、教師画像の候補ならではの画像を推論するための情報量が増えて、良好な推論が可能となる。

【0207】

図８（ａ）に示す方法によって推論モデルを生成すると、次に、図８（ｂ）に示す推論エンジンにＩｎＥｎに、生成された推論モデルを設定する。この推論エンジンＩｎＥｎの入力層Ｉｎに新たに取得した検査動画Ｐｍｘを入力すると、どのコマがアノテーションすべき画像であるかを推論し、出力層Ｏｕｔからアノテーション候補の画像を出力することが出来る。検査動画には、処置時情報Ｔｉｘ１、Ｔｉｘ２等を含めてもよい。推論時には、動画に含まれる各画像が時系列に並んだ、あたかもパノラマ合成画像のように表現可能な巨大な画像データとして判定され、その中から、いかにも教師データに相応しい部分を見つけ出す推論を行えばよい。また、処置情報を有効活用できるならば、これも推論時に利用してアノテーション候補を推論すればよい。

【0208】

このような図８（ａ）（ｂ）に示す方式は、推論モデルが第１のタイミングの画像群や第２のタイミングの画像群を判定して第２のタイミングの画像群、あるいは、その中の教師データ候補コマを推論して判定する。特に、同様の部位に同様の患部があるような場合に検査動画は同様の画像情報を含むので、精度の良い推論を行うことが出来る。

【0209】

従って、本実施形態における推論モデルの作成方法は、特定の検査時に得られた内視鏡動画情報（例えば、検査画像Ｐｍ１～Ｐｍ３等参照）に対し、この内視鏡動画のうち教師画像に対応するコマをアノテーション情報とすることによって得られた動画情報を教師データとし、さらに複数の検査結果の内視鏡動画画像に対して同様の教師データ化を行い（例えば、アノテーション画像Ｐｍａ１～Ｐｍａ３等参照）、学習装置に挿入または抜去画像を含む内視鏡動画を入力し（ニューラル・ネットワークＮＮＷの入力層Ｉｎ参照）、教師データのコマが出力となるように（ニューラル・ネットワークの出力層Ｏｕｔ参照）、学習を行って推論モデルを作成している。

【0210】

以上説明したように、本発明の一実施形態においては、情報処理装置は、第１の内視鏡から取得した画像に対して、特定の画像特徴の判定を行うために第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群か、第２のタイミングで得られた画像群の何れであるかを判定し、第２のタイミングで得られた画像群に対してアノテーションした結果を教師データとして学習した第１の内視鏡用画像の画像特徴判定用の第１の推論モデルを得る学習部と連携可能である。 この情報処理装置は、第１の推論モデル（既存の推論モデル）を作成した時の第１のタイミングで得られた画像群を利用して、新たに取得した上記第１または第２の内視鏡からの画像群を分類する分類部を有している。このため、第１の推論モデルとは異なる第２の推論モデルを生成用の画像を効率よく収集することができる。

【0211】

また、第１の内視鏡によって時系列で得られた画像群を、第１のタイミングで得られた画像群（アクセス途中の画像）か、第２のタイミングで得られた画像群（癌等の病変部を探して精査している際の画像）の何れであるかを判定し、第２の推論モデルを生成するための画像群は、第２のタイミングに限らず、第１のタイミングで得られた画像の中から、画像を選択する。このため、アクセスする際の画像をも利用することができ、第２の推論モデル用の画像を効率よく収集することができる。

【0212】

また、本発明の一実施形態においては、第１の内視鏡から得られた検査動画をタイミングに応じて分割する分割ステップ（例えば、第１のタイミングか第２のタイミングか）と、分割されたタイミングのうち、第１のタイミングに対応するコマを教師データ候補から外し、第２のタイミングに対応するコマを教師データ候補に採用する画像分類ステップ（例えば、図５ＢのＳ３５、Ｓ３７等参照）と、検査動画を分割タイミングごとに画像分類して記録する記録ステップ（例えば、図５ＢのＳ３７等参照）と、教師データ候補の少なくとも一つを使って、検査動画のコマに含まれる患部情報を推論する第１の推論モデルを学習するステップ（例えば、図７のＳ８９等参照）を有している。このため、第１の推論モデルとは異なる第２の推論モデルを生成用の画像を効率よく収集し、推論モデルを生成することができる。

【0213】

また、本発明の一実施形態においては、第２のタイミングに対応するコマに対してアノテーションした結果を教師データ候補とするアノテーションステップを有している（例えば、図７のＳ８５、Ｓ８７等参照）。また、本発明の一実施形態においては、第１の推論モデルとは異なる第２の推論モデルを作成する際に、新たな検査動画を取得するステップ（例えば、図７のＳ８１等参照）と、新たな検査動画を、画像分類結果を反映した分類で分類することによって、第２の推論モデル用の教師データ候補を選択する選択ステップ（例えば、図７のＳ８５、Ｓ８７等参照）を有する。

【0214】

なお、本発明の一実施形態においては、内視鏡画像を中心に説明したが、内視鏡画像以外にも、種々の検査装置の画像を用いて推論モデルを生成する情報処理装置にも適用できる。つまり、時系列画像コマの中から教師画像候補を選ぶ技術は、様々な分野で活用が期待される。本実施形態においては、内視鏡特有の体腔内からの挿入、抜去の例をあげて、検査の過程で得られた動画を時系列にタイミングごとに分類、分析することを説明した。しかし、このようないわば正規化された手順というものは、どのような分野でもあり得るため、内視鏡画像に限ったものではない。

【0215】

例えば、医療現場では、超音波や放射線など他の画像診断装置への応用も考えられ、また、手術室内での緊急時判定等への応用も可能である。監視カメラ等によって取得した画像に対して、人の行動や動きや人の群の状況変化等に基づいて緊急時を判定して、補助情報を出すような用途の推論モデルがある。この例でも経時的に得られる大量のデータから特定のデータを見つけるプロセスに手間がかかる。このように推論モデル作成のために教師データが必要であり、大量の情報の中から、教師データ化する候補情報を選び出す技術であれば、本実施形態の応用ができる。もちろん、画像情報に限るものではない。

【0216】

また、病変検出という分野においても、鑑別や見逃し防止や、教育用途などと様々な切り口でのアプローチがある。このような分野への応用以外に、挿入ガイドや処置ガイドといったような応用においても、教師データが必要であり、大量の情報から、教師データ化する候補情報を選び出す技術が必要であれば本実施形態を応用することができる。

【0217】

もちろん、医療分野から離れ、例えば、高速道路のインターチェンジから入り、インターチェンジから出て来るような自動運転の分野においても、特定のプロセスに挟まった動画コマ部分で、道や橋、トンネルなど構造物や、他の車との関係や標識その他の関係で様々な状況判定推論モデルを必要とするが、本実施形態の考え方が応用できる。どのような考え方で推論モデルを作ったかをエビデンスとして残す場合にも、本実施形態のように、データ入手から教師データ候補を選ぶ方法までが明確化することによって、ブラックボックス化を防止することが出来る。

【0218】

また、本発明の一実施形態においては、情報処理システム１０、画像システム２０、記録部３０は、別体として説明したが、これら２つを一体に構成してもよく、また３つを一体に構成してもよい。また、本発明の一実施形態においては、制御部１１、２１は、ＣＰＵやメモリ等から構成されている機器として説明した。しかし、ＣＰＵとプログラムによってソフトウエア的に構成する以外にも、各部の一部または全部をハードウエア回路で構成してもよく、ヴェリログ（Verilog）やＶＨＤＬ（Verilog Hardware Description Language）等によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。

【0219】

また、制御部１１、２１は、ＣＰＵに限らず、コントローラとしての機能を果たす素子であればよく、上述した各部の処理は、ハードウエアとして構成された１つ以上のプロセッサが行ってもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行しても構わない。

【0220】

また、本発明の一実施形態においては、情報処理システム１０は、制御部１１、入力判定部１２、画像類似判定部１３、メタデータ付与部１４、分類部１５、第１依頼部１６、第２依頼部１７、学習部１８を有しているものとして説明した。しかし、これらは一体の装置内に設けられている必要はなく、例えば、インターネット等の通信網によって接続されていれば、上述の各部は分散されていても構わない。

【0221】

また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。

【0222】

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。

【0223】

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

【0224】

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

【0225】

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【符号の説明】

【0226】

１０・・・情報処理システム、１２・・・入力判定部、１３・・・画像類似判定部、１４・・・メタデータ付与部、１５・・・分類部、１６・・・第１依頼部、１７・・・第２依頼部、１８・・・学習部、１９・・・推論エンジン、１９ａ・・・既存推論モデル、２０・・・画像システム、２１・・・制御部、２２・・・処理部、２３・・・画像取得部、２４・・・表示部、２５・・・表示内容、２５ａ・・・推論結果、２５ｂ・・・信頼性、３０・・・記録部、３１・・・既存教師データ用検査画像群、３１Ａ・・・画像ファイル、３１ａ・・・カテゴリ情報、３１ｂ・・・スペック情報、３１ｃ・・・第１タイミング画像部、３１ｄ・・・第２タイミング画像部、３２・・・検査画像群、３２ａ・・・カテゴリ情報、３２ｂ・・・画像、３３・・・新推論モデル作成仕様情報部、３３ａ・・・追加教師データ仕様、

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】