ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-30
(45)【発行日】2024-08-07
(54)【発明の名称】医療画像処理方法及び医療画像処理装置
(51)【国際特許分類】
G06N 3/082 20230101AFI20240731BHJP
G06N 3/0464 20230101ALI20240731BHJP
G06T 7/00 20170101ALI20240731BHJP
【ＦＩ】
G06N3/082
G06N3/0464
G06T7/00 350C
【請求項の数】
10
(21)【出願番号】P 2022551194
(86)(22)【出願日】2021-08-18
(86)【国際出願番号】 JP2021030212
(87)【国際公開番号】W WO2022064901
(87)【国際公開日】2022-03-31
【審査請求日】2023-05-26
(31)【優先権主張番号】P 2020162403
(32)【優先日】2020-09-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100153822
【弁理士】
【氏名又は名称】増田 重之
(72)【発明者】
【氏名】加門 駿平
【審査官】千葉 久博
(56)【参考文献】
【文献】国際公開第２０２０／０８２２６３（ＷＯ，Ａ１）
【文献】DUAN, Jie et al.，The Speed Improvement by Merging Batch Normalization into Previously Linear Layer in CNN，Proceedings of 2018 International Conference on Audio, Language and Image Processing (ICALIP)，IEEE，2018年07月，pp.67-72
【文献】LI, Dawei et al.，DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices，Proceedings of the AAAI Conference on Artificial Intelligence，Vol.32, No.1，AAAI，2018年04月26日，pp.2322-2330
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８２
Ｇ０６Ｎ ３／０４６４
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
プロセッサを備える医療画像処理装置により実行される医療画像処理方法であって、前記プロセッサは、
少なくとも１つの正則化層を含む学習済みの畳み込みニューラルネットワークに対し、前記正則化層の学習済みパラメータと、前記正則化層に隣接する第１畳み込み層の学習済みパラメータと、に基づいて第２畳み込み層を生成する畳み込み層生成工程と、
前記正則化層及び前記第１畳み込み層を前記第２畳み込み層に入れ替えて、変換された学習済みモデルである変換モデルを生成する変換モデル生成工程と、
を、前記ニューラルネットワークを構成する前記第１畳み込み層と前記正則化層とのセットのうち一部のセットについて実行して前記変換モデルを生成し、
前記プロセッサは、
入力データとしての医療画像データを取得するデータ取得工程と、
前記変換モデルに前記医療画像データを入力して推論結果を得る推論工程と、
を実行し、
前記プロセッサは、
前記推論工程の少なくとも一部を並列計算処理装置で実行する、
医療画像処理方法。
【請求項2】
前記プロセッサは、前記畳み込み層生成工程では、前記第１畳み込み層及び前記正則化層から構成される第１処理部と前記第２畳み込み層のみから構成される第２処理部のそれぞれにおいて、同一の特徴量を入力した場合の推論処理結果が等しくなるように前記第２畳み込み層を生成する請求項１に記載の医療画像処理方法。
【請求項3】
前記正則化層はバッチ正則化層である請求項１または２に記載の医療画像処理方法。
【請求項4】
前記プロセッサは、前記データ取得工程では前記入力データとして時系列データを取得する請求項１から３のいずれか１項に記載の医療画像処理方法。
【請求項5】
前記プロセッサは、前記データ取得工程では前記入力データとして被検体の動画像を取得する請求項１から４のいずれか１項に記載の医療画像処理方法。
【請求項6】
プロセッサを備える医療画像処理装置であって、前記プロセッサは、
少なくとも１つの正則化層を含む学習済みの畳み込みニューラルネットワークに対し、前記正則化層の学習済みパラメータと、前記正則化層に隣接する第１畳み込み層の学習済みパラメータと、に基づいて第２畳み込み層を生成する畳み込み層生成処理と、
前記正則化層及び前記第１畳み込み層を前記第２畳み込み層に入れ替えて、変換された学習済みモデルである変換モデルを生成する変換モデル生成処理と、
を、前記ニューラルネットワークを構成する前記第１畳み込み層と前記正則化層とのセットのうち一部のセットについて実行して実行して前記変換モデルを生成し、
前記プロセッサは、
入力データとしての医療画像データを取得するデータ取得処理と、
前記変換モデルに前記医療画像データを入力して推論結果を得る推論処理と、
を実行し、
前記プロセッサは、
前記推論処理の少なくとも一部を並列計算処理装置により実行する、
医療画像処理装置。
【請求項7】
前記プロセッサは、前記畳み込み層生成処理では、前記第１畳み込み層及び前記正則化層から構成される第１処理部と前記第２畳み込み層のみから構成される第２処理部のそれぞれにおいて、同一の特徴量を入力した場合の推論処理結果が等しくなるように前記第２畳み込み層を生成する請求項６に記載の医療画像処理装置。
【請求項8】
前記正則化層はバッチ正則化層である請求項６または７に記載の医療画像処理装置。
【請求項9】
前記プロセッサは、前記データ取得処理では前記入力データとして時系列データを取得する請求項６から８のいずれか１項に記載の医療画像処理装置。
【請求項10】
前記プロセッサは、前記データ取得処理では前記入力データとして被検体の動画像を取得する請求項６から９のいずれか１項に記載の医療画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は推論方法及び推論装置に関する。
【背景技術】
【0002】
特許文献１には、畳み込み演算のバイアスを除いた等価なニューラルネットワークを用いることが記載されている。また、特許文献２には、バッチ正規化層の前が畳み込み層の場合、特徴インデックスに対する１組のパラメータによる変換を行うことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－５７０７２号公報
【文献】特開２０１９－７１０８０号公報
【発明の概要】
【0004】
本発明の一つの実施形態は、正則化層による処理コストを低減することができる推論方法及び推論装置を提供する。
【課題を解決するための手段】
【0005】
本発明の第１の態様に係る学習済みモデル変換方法は、少なくとも１つの正則化層を含む学習済みの畳み込みニューラルネットワークに対し、正則化層の学習済みパラメータと、正則化層に隣接する第１畳み込み層の学習済みパラメータと、に基づいて第２畳み込み層を生成する畳み込み層生成工程と、正則化層及び第１畳み込み層を第２畳み込み層に入れ替えて、変換された学習済みモデルである変換モデルを生成する変換モデル生成工程と、を有する。
【0006】
第２の態様に係る学習済みモデル変換方法は第１の態様において、畳み込み層生成工程では、第１畳み込み層及び正則化層から構成される第１処理部と第２畳み込み層のみから構成される第２処理部のそれぞれにおいて、同一の特徴量を入力した場合の推論処理結果が等しくなるように第２畳み込み層を生成する。
【0007】
第３の態様に係る学習済みモデル変換方法は第１または第２の態様において、正則化層はバッチ正則化層である。
【0008】
本発明の第４の態様に係る推論方法は、入力データを取得するデータ取得工程と、第１から第３の態様のいずれか１つに係る学習済みモデル変換方法により得られた変換モデルに入力データを入力して推論結果を得る推論工程と、を有する。
【0009】
第５の態様に係る推論方法は第４の態様において、推論工程の少なくとも一部を並列計算処理装置で実行する。
【0010】
第６の態様に係る推論方法は第４または第５の態様において、データ取得工程では入力データとして時系列データを取得する。
【0011】
第７の態様に係る推論方法は第６の態様において、データ取得工程では入力データとして被検体の動画像を取得する。
【0012】
本発明の第８の態様に係る学習済みモデル変換装置はプロセッサを備え、プロセッサは、少なくとも１つの正則化層を含む学習済みの畳み込みニューラルネットワークに対し、正則化層の学習済みパラメータと、正則化層に隣接する第１畳み込み層の学習済みパラメータと、に基づいて第２畳み込み層を生成する畳み込み層生成処理と、正則化層及び第１畳み込み層を第２畳み込み層に入れ替えて変換された学習済みモデルである変換モデルを生成する変換モデル生成処理と、を実行する。
【0013】
本発明の第９の態様に係る学習済みモデルは、コンピュータが入力データに対する推論結果を出力させるために用いる学習済みモデルであって、学習済みモデル変換装置のプロセッサが、少なくとも１つの正則化層を含む学習済みの畳み込みニューラルネットワークに対し、正則化層の学習済みパラメータと、正則化層に隣接する第１畳み込み層の学習済みパラメータと、に基づいて第２畳み込み層を生成する畳み込み層生成処理と、正則化層及び第１畳み込み層を第２畳み込み層に入れ替えて、変換された学習済みモデルである変換モデルを生成する変換モデル生成処理と、を実行することにより得られる、学習済みモデルである。
【0014】
本発明の第１０の態様に係る推論装置は、プロセッサと、第９の態様に係る学習済みモデルと、を備え、プロセッサは、入力データを取得するデータ取得処理と、学習済みモデルに入力データを入力して推論結果を得る推論処理と、を実行する推論装置である。
【0015】
第１１の態様に係る推論装置は第１０の態様において、プロセッサは推論処理の少なくとも一部を実行する並列計算処理装置を備える。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
以下、添付図面を参照しつつ、本発明に係る推論方法及び推論装置の実施形態について詳細に説明する。
【0018】
＜学習済みモデル変換装置の構成＞
図１は、学習済みモデル変換装置５００（学習済みモデル変換装置）の構成を示す図である。学習済みモデル変換装置５００は、学習制御部５１２及び変換モデル生成部５１４を備えるプロセッサ５１０（プロセッサ、コンピュータ）と、ＲＯＭ５２０（ＲＯＭ：Read Only Memory、非一時的記録媒体、メモリ）と、ＲＡＭ５３０（ＲＡＭ：Random Access Memory）と、を備える。プロセッサ５１０は、後述する内視鏡システム１０（図８～１１及びこれらの図に関連する記載を参照）の主制御部２１０及び画像処理部２０４と同様に、各種のプロセッサ及び／または電気回路により構成することができる。ＲＯＭ５２０には、学習済みモデル変換プログラム（本発明に係る学習済みモデル変換方法をコンピュータに実行させるプログラム）のコンピュータ読み取り可能なコード、及び学習済みモデル変換方法の実行に必要な各種のデータが記憶されている。ＲＯＭ５２０ではなく、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）やフラッシュメモリにコードやデータを記憶してもよい。ＲＡＭ５３０は、処理の際の一時記憶領域や作業領域として用いられる。
図１は、学習済みモデル変換装置５００（学習済みモデル変換装置）の構成を示す図である。学習済みモデル変換装置５００は、学習制御部５１２及び変換モデル生成部５１４を備えるプロセッサ５１０（プロセッサ、コンピュータ）と、ＲＯＭ５２０（ＲＯＭ：Read Only Memory、非一時的記録媒体、メモリ）と、ＲＡＭ５３０（ＲＡＭ：Random Access Memory）と、を備える。プロセッサ５１０は、後述する内視鏡システム１０（図８～１１及びこれらの図に関連する記載を参照）の主制御部２１０及び画像処理部２０４と同様に、各種のプロセッサ及び／または電気回路により構成することができる。ＲＯＭ５２０には、学習済みモデル変換プログラム（本発明に係る学習済みモデル変換方法をコンピュータに実行させるプログラム）のコンピュータ読み取り可能なコード、及び学習済みモデル変換方法の実行に必要な各種のデータが記憶されている。ＲＯＭ５２０ではなく、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）やフラッシュメモリにコードやデータを記憶してもよい。ＲＡＭ５３０は、処理の際の一時記憶領域や作業領域として用いられる。
【0019】
学習済みモデル変換装置５００は、上述の構成により、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の学習及び学習済みモデルの変換を行う。図２の（ａ）部分は、学習前のＣＮＮ５６０が学習制御部５１２の制御により学習済みモデルであるＣＮＮ５６２となる様子を示しており、同図の（ｂ）部分は、ＣＮＮ５６２（学習済みモデル）が変換モデル生成部５１４の制御によりＣＮＮ５６３（変換モデル）となる様子（畳み込み層生成工程、変換モデル生成工程）を示している。なお、学習済みモデルの変換を行う処理装置の種類（ＣＰＵ、ＧＰＵ等）は特に限定されない。
【0020】
＜畳み込みニューラルネットワークの構成＞
図３はＣＮＮ５６２（畳み込みニューラルネットワーク；学習済みモデル）の構成例を示す図である（ＣＮＮ５６０も同様の構成である）。図３の（ａ）部分に示す例では、ＣＮＮ５６２は、入力層５６２Ａ、中間層５６２Ｂ、及び出力層５６２Ｃを有する。入力層５６２Ａは時系列データ（例えば被検体の動画像等であるが、これに限定されない；入力データ）を入力して特徴量を出力する。中間層５６２Ｂは畳み込み層５６４（第１畳み込み層）及びバッチ正則化層５６５（正則化層）を含み、入力層５６２Ａが出力する特徴量を入力して他の特徴量を算出する。畳み込み層５６４は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて初期状態（ＣＮＮ５６０での値）から変化していき、ＣＮＮ５６２（学習済みモデル）では学習が終了した状態での重み係数を用いる。
図３はＣＮＮ５６２（畳み込みニューラルネットワーク；学習済みモデル）の構成例を示す図である（ＣＮＮ５６０も同様の構成である）。図３の（ａ）部分に示す例では、ＣＮＮ５６２は、入力層５６２Ａ、中間層５６２Ｂ、及び出力層５６２Ｃを有する。入力層５６２Ａは時系列データ（例えば被検体の動画像等であるが、これに限定されない；入力データ）を入力して特徴量を出力する。中間層５６２Ｂは畳み込み層５６４（第１畳み込み層）及びバッチ正則化層５６５（正則化層）を含み、入力層５６２Ａが出力する特徴量を入力して他の特徴量を算出する。畳み込み層５６４は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて初期状態（ＣＮＮ５６０での値）から変化していき、ＣＮＮ５６２（学習済みモデル）では学習が終了した状態での重み係数を用いる。
【0021】
なお、図３において、変換対象層５６１Ａのように畳み込み層５６４が入力側でバッチ正則化層５６５が出力側の場合は図５について後述するような変換（畳み込み層生成工程、変換モデル生成工程）が行われ、変換対象層５６１Ｂのようにバッチ正則化層５６５が入力側で畳み込み層５６４が出力側の場合は図６について後述するような変換（畳み込み層生成工程、変換モデル生成工程）が行われる。
【0022】
＜中間層における処理＞
＜畳み込み＞
中間層５６２Ｂは、畳み込み演算によって特徴量を算出する。畳み込み層５６４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。中間層５６２Ｂは、畳み込みの処理を行う１または複数の層により構成することができる。
＜畳み込み＞
中間層５６２Ｂは、畳み込み演算によって特徴量を算出する。畳み込み層５６４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。中間層５６２Ｂは、畳み込みの処理を行う１または複数の層により構成することができる。
【0023】
図４は、フィルタによる畳み込み処理の様子を示す図である。中間層５６２Ｂの最初（１番目）の畳み込み層では、例えば複数の医療画像（入力データ）により構成される画像セット（学習時は学習用画像セット、推論時は推論用画像セット）とフィルタＦ１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ１を用いた畳み込み演算により、１つのフィルタＦ１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。
【0024】
１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ２～Ｆｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層によりダウンスケーリングされているからである。
【0025】
中間層５６２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（認識対象の形状、構造等に関する特徴の抽出）が行われる。
【0026】
＜正則化＞
畳み込みニューラルネットワークでの学習においては、正則化層を入れることで内部共変量シフトが抑制されるため、収束速度及び精度の向上が期待できる。正則化層では特徴量の平均や分散といった統計量を算出してそれにより特徴量の白色化を行っている。正則化層にはいくつかの種類があり、それらの正規化層は、以下に説明するように上述の統計量を算出する範囲が異なっている。なお、特徴量の値をf(b,x,y,c)と定義する。ここでb,x,y,c はそれぞれ、バッチ、X軸、Y軸、チャネルのインデックスとする。
畳み込みニューラルネットワークでの学習においては、正則化層を入れることで内部共変量シフトが抑制されるため、収束速度及び精度の向上が期待できる。正則化層では特徴量の平均や分散といった統計量を算出してそれにより特徴量の白色化を行っている。正則化層にはいくつかの種類があり、それらの正規化層は、以下に説明するように上述の統計量を算出する範囲が異なっている。なお、特徴量の値をf(b,x,y,c)と定義する。ここでb,x,y,c はそれぞれ、バッチ、X軸、Y軸、チャネルのインデックスとする。
【0027】
（１）バッチ正則化
平均及び分散はそれぞれ以下の式（１），（２）のように算出され、チャネル単位で白色化を行う。
平均及び分散はそれぞれ以下の式（１），（２）のように算出され、チャネル単位で白色化を行う。
【0028】
【数1】
【0029】
【数2】
【0030】
（２）レイヤー正則化
平均分散はそれぞれ以下の式（３），（４）のように算出され、バッチ単位で白色化を行う。
平均分散はそれぞれ以下の式（３），（４）のように算出され、バッチ単位で白色化を行う。
【0031】
【数3】
【0032】
【数4】
【0033】
（３）インスタンス正則化
平均及び分散はそれぞれ以下の式（５），（６）のように算出され、バッチ、チャネル単位で白色化を行う。
平均及び分散はそれぞれ以下の式（５），（６）のように算出され、バッチ、チャネル単位で白色化を行う。
【0034】
【数5】
【0035】
【数6】
【0036】
（４）グループ正則化
以下の式（７），（８）のように、チャネルをN個のグループに分割する。
以下の式（７），（８）のように、チャネルをN個のグループに分割する。
【0037】
【数7】
【0038】
【数8】
【0039】
平均及び分散はそれぞれ以下の式（９），（１０）のように算出され、各バッチのグループ単位で白色化を行う。
【0040】
【数9】
【0041】
【数10】
【0042】
なお、ＣＮＮ５６２の層構成は、畳み込み層５６４とバッチ正則化層５６５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層５６４）が複数連続して含まれていてもよい。
【0043】
＜その他の構成＞
ＣＮＮ５６２はプーリング層を含んでいてもよい。プーリング層で行われるプーリング処理は、畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。また、ＣＮＮ５６２は、図３の（ｂ）部分に示す例のように全結合層５６６を含んでいてもよい。
ＣＮＮ５６２はプーリング層を含んでいてもよい。プーリング層で行われるプーリング処理は、畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。また、ＣＮＮ５６２は、図３の（ｂ）部分に示す例のように全結合層５６６を含んでいてもよい。
【0044】
＜学習済みモデルの変換：推論時における正則化層の省略＞
上述のように、正則化の方法には複数の種類が存在するが、「特徴量のどの範囲で統計量を算出するか」の差異であり、以下の議論ではいずれも同様の方法で実施可能である。以降ではバッチ正則化のみについて説明する。
上述のように、正則化の方法には複数の種類が存在するが、「特徴量のどの範囲で統計量を算出するか」の差異であり、以下の議論ではいずれも同様の方法で実施可能である。以降ではバッチ正則化のみについて説明する。
【0045】
バッチ正則化層は多くの場合、畳み込み層の前、後ろ、もしくは前後に配置される。バッチ正則化処理は、推論時に限れば、以下に説明する方法で隣接する畳み込み層に統合する（畳み込みとバッチ正則化を１つの畳み込みにまとめる）ことが可能である。これにより、推論処理時のメモリアクセス回数を削減することができ計算高速化が可能となる。本発明の手法は、メモリアクセスコストが処理時間においてより支配的となる並列計算処理装置（ＧＰＵなど）上で推論を実行する場合に効果が大きい。また、本発明の手法はあくまで推論処理時に変換するのであり、学習時のモデルはバッチ正則化層を含んでいる。つまり、バッチ正則化の学習に対する効果を得ながら、学習済モデルの推論処理時にはその処理コストを省略することができる。
【0046】
＜変換方法（パターン１）＞
図５は、学習済みモデルの変換の様子（パターン１）を示す図である。パターン１は、図３の変換対象層５６１Ａ（第１処理部）のように、畳み込み層５６４が入力側でバッチ正則化層５６５が出力側の場合の処理である。図５の（ａ）部分のように、畳み込み層５６４の入力及び出力をそれぞれｘ、ｙとし、バッチ正則化層５６５の出力をｚとすると、畳み込み及びバッチ正則化の処理は以下の式（１１）、（１２）のように定式化することができる。
図５は、学習済みモデルの変換の様子（パターン１）を示す図である。パターン１は、図３の変換対象層５６１Ａ（第１処理部）のように、畳み込み層５６４が入力側でバッチ正則化層５６５が出力側の場合の処理である。図５の（ａ）部分のように、畳み込み層５６４の入力及び出力をそれぞれｘ、ｙとし、バッチ正則化層５６５の出力をｚとすると、畳み込み及びバッチ正則化の処理は以下の式（１１）、（１２）のように定式化することができる。
【0047】
【数11】
【0048】
【数12】
【0049】
ここでW, b は畳み込み層５６４（第１畳み込み層）の学習済みパラメータであり、γ、μ、σ、ε、βはバッチ正則化層５６５（正則化層）の学習済みパラメータである。上述を式変形することで、以下の式（１３）が得られる。
【0050】
【数13】
【0051】
つまり、パラメータとしてＷチルダ（第２畳み込み層５６７での畳み込みの際の重みパラメータ）及びｂチルダ（第２畳み込み層５６７でのバイアス成分）をもつ畳み込みによってｘからｚへの処理を実現できる。なお、Ｗチルダ及びｂチルダの定義は、それぞれ以下の式（１４）、（１５）の通りである。
【0052】
【数14】
【0053】
【数15】
【0054】
これにより、変換モデル生成部５１４は、図５の（ｂ）部分に示すように、畳み込み層５６４での畳み込みとその結果に対するバッチ正則化層５６５での処理を1つの畳み込み層５６７（第２畳み込み層、第２処理部）に変換することが可能となる（第２畳み込み層の生成、畳み込み層生成工程、畳み込み層生成処理）。すなわち、変換モデル生成部５１４は、畳み込み層生成工程において、畳み込み層５６４（第１畳み込み層）及びバッチ正則化層５６５（正則化層）から構成される第１処理部と畳み込み層５６７（第２畳み込み層）のみから構成される第２処理部のそれぞれにおいて、同一の特徴量（例えば上述のｘ）を入力した場合の推論処理結果（例えば上述のｚ）が等しくなるように畳み込み層５６７（第２畳み込み層）を生成することができる。
【0055】
なお、入力データが画像である場合、ｘ，ｙ，ｚはベクトル、Ｗ及びＷチルダ（式（１３），（１４）に記載された、変換後のパラメータ）は重み係数行列、ｂ及びｂチルダ（式（１３），（１５）に記載された、変換後のパラメータ）もバイアス成分を示す行列となる。
【0056】
変換モデル生成部５１４は、変換対象層５６１Ａ（畳み込み層５６４及びバッチ正則化層５６５；図３参照）を畳み込み層５６７（第２畳み込み層、第２処理部）と入れ替えて、変換された学習済みモデルである変換モデルを生成する（変換モデル生成工程、変換モデル生成処理）。
【0057】
＜変換方法（パターン２）＞
図６は、学習済みモデルの変換の様子（パターン２）を示す図である。パターン２は、図３の変換対象層５６１Ｂ（第１処理部）のように、バッチ正則化層５６５が入力側で畳み込み層５６４が出力側の場合の処理である。図６の（ａ）部分のように、バッチ正則化層５６５の入力及び出力をそれぞれｘ、ｙとし、畳み込み層５６４の出力をｚとすると、バッチ正則化及び畳み込みの処理は以下の式（１６）、（１７）のように定式化することができる。
図６は、学習済みモデルの変換の様子（パターン２）を示す図である。パターン２は、図３の変換対象層５６１Ｂ（第１処理部）のように、バッチ正則化層５６５が入力側で畳み込み層５６４が出力側の場合の処理である。図６の（ａ）部分のように、バッチ正則化層５６５の入力及び出力をそれぞれｘ、ｙとし、畳み込み層５６４の出力をｚとすると、バッチ正則化及び畳み込みの処理は以下の式（１６）、（１７）のように定式化することができる。
【0058】
【数16】
【0059】
【数17】
【0060】
パターン１と同様に式変形すると、以下の式（１８）が得られる。
【0061】
【数18】
【0062】
つまり、パラメータとしてＷチルダ（第２畳み込み層５６７での畳み込みの際の重みパラメータ）及びｂチルダ（第２畳み込み層５６７でのバイアス成分）をもつ畳み込みによってxからzへの処理を実現できる。なお、Ｗチルダの定義は以下の式（１９）の通りであり、ｂチルダの定義は以下の式（２０）の通りである。
【0063】
【数19】
【0064】
【数20】
【0065】
これにより、変換モデル生成部５１４は、図６の（ｂ）部分に示すように、バッチ正則化層５６５での処理とその結果に対する畳み込み層５６４での畳み込みとを1つの畳み込み層５６７（第２畳み込み層、第２処理部）に変換することが可能となる（第２畳み込み層の生成、畳み込み層生成工程、畳み込み層生成処理）。すなわち、変換モデル生成部５１４は、畳み込み層生成工程において、畳み込み層５６４（第１畳み込み層）及びバッチ正則化層５６５（正則化層）から構成される第１処理部と畳み込み層５６７（第２畳み込み層）のみから構成される第２処理部のそれぞれにおいて、同一の特徴量（例えば上述のｘ）を入力した場合の推論処理結果（例えば上述のｚ）が等しくなるように畳み込み層５６７（第２畳み込み層）を生成することができる。
【0066】
なお、入力データが画像である場合、ｘ，ｙ，ｚはベクトル、Ｗ及びＷチルダ（式（１８），（１９）に記載された、変換後のパラメータ）は重み係数行列、ｂ及びｂチルダ（式（１８），（２０）に記載された、変換後のパラメータ）もバイアス成分を示す行列となる。
【0067】
変換モデル生成部５１４は、変換対象層５６１Ａ（畳み込み層５６４及びバッチ正則化層５６５；図３参照）を畳み込み層５６７（第２畳み込み層、第２処理部）と入れ替えて、変換された学習済みモデルである変換モデルを生成する（変換モデル生成工程、変換モデル生成処理）。
【0068】
＜変換後の学習済みモデル＞
図７は、変換された畳み込みニューラルネットワーク（変換された学習済みモデル、変換モデル）の構成例を示す図である。図７の（ａ）部分は図３の（ａ）部分に対応するＣＮＮ５６３（変換モデル；全結合層なし）を示し、同図の（ｂ）部分は図３の（ｂ）部分に対応するＣＮＮ５６３（変換モデル；全結合層あり）を示す。ＣＮＮ５６３は、入力層５６３Ａ、中間層５６３Ｂ、及び出力層５６３Ｃを備える。なお、図７では畳み込み層５６４とバッチ正則化層５６５のセットを全て畳み込み層５６７に変換及び入れ替えした場合の例を示しているが、変換及び入れ替えは一部のセットについて行ってもよい。
図７は、変換された畳み込みニューラルネットワーク（変換された学習済みモデル、変換モデル）の構成例を示す図である。図７の（ａ）部分は図３の（ａ）部分に対応するＣＮＮ５６３（変換モデル；全結合層なし）を示し、同図の（ｂ）部分は図３の（ｂ）部分に対応するＣＮＮ５６３（変換モデル；全結合層あり）を示す。ＣＮＮ５６３は、入力層５６３Ａ、中間層５６３Ｂ、及び出力層５６３Ｃを備える。なお、図７では畳み込み層５６４とバッチ正則化層５６５のセットを全て畳み込み層５６７に変換及び入れ替えした場合の例を示しているが、変換及び入れ替えは一部のセットについて行ってもよい。
【0069】
＜推論装置及び推論方法の一態様：内視鏡システムへの適用＞
図８は、推論装置の一態様としての内視鏡システム１０（内視鏡システム、医療画像処理装置、推論装置）の外観図であり、図９は内視鏡システム１０の要部構成を示すブロック図である。図８，９に示すように、内視鏡システム１０は、内視鏡スコープ１００（画像取得部、内視鏡スコープ）、医療画像処理装置２００（医療画像処理装置、コンピュータ、プロセッサ、推論装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置、ディスプレイ）から構成される。
図８は、推論装置の一態様としての内視鏡システム１０（内視鏡システム、医療画像処理装置、推論装置）の外観図であり、図９は内視鏡システム１０の要部構成を示すブロック図である。図８，９に示すように、内視鏡システム１０は、内視鏡スコープ１００（画像取得部、内視鏡スコープ）、医療画像処理装置２００（医療画像処理装置、コンピュータ、プロセッサ、推論装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置、ディスプレイ）から構成される。
【0070】
＜内視鏡スコープの構成＞
内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。
内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。
【0071】
手元操作部１０２には、内視鏡スコープ１００の個体情報（個体情報、スコープ情報）を記録するスコープ情報記録部１３９が設けられている。個体情報は、例えば内視鏡スコープ１００のタイプ（直視か側視か、等）、機種、個体識別番号、光学系の特性（視野角、歪み等）、被検体の処置に使用される器具（処置具等）の情報等である。画像処理部２０４のスコープ情報取得部２０４Ｅ（スコープ情報取得部、個体情報取得部；図１０を参照）が、この個体情報を取得し、医療画像処理装置２００による処理（画像取得処理、推論処理、表示制御処理）に用いられる。なお、スコープ情報記録部１３９はライトガイドコネクタ１０８内等、他の部分に設けられていてもよい。
【0072】
挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図８，９参照）。
【0073】
観察、処置の際には、操作部２０８（図９参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮影部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
【0074】
図８，９に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮影部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、画像取得部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮像素子１３４、駆動回路１３６、及びＡＦＥ１３８を１つのパッケージに含めたイメージセンサを用いてもよい。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、撮像素子１３４はＸＹアドレス型やＣＣＤ（Charge Coupled Device）型でもよい。また、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
【0075】
被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して医療画像処理装置２００に出力されて映像信号に変換される。これにより、医療画像処理装置２００に接続されたモニタ４００に被写体の内視鏡画像（観察画像、医療画像）が画面表示される。
【0076】
また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
【0077】
ユーザは、上述した構成の内視鏡スコープ１００（挿入部１０４）を被検体である生体内に挿入または抜去しながら決められたフレームレートで撮影を行う（医療画像取得部２０４Ａの制御により行うことができる）ことにより、生体内（被検体）の時系列の画像を順次撮影することができる。
【0078】
＜光源装置の構成＞
図９に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。
図９に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。
【0079】
光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
【0080】
＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
【0081】
上述した特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
【0082】
また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
【0083】
また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医療画像（医用画像、生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
【0084】
光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
【0085】
また、内視鏡システム１０で用いる撮像素子は、撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなくモノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
【0086】
ライトガイドコネクタ１０８（図８，９参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
【0087】
＜医療画像処理装置の構成＞
図９に基づき医療画像処理装置２００の構成を説明する。医療画像処理装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２により入力し、画像処理部２０４（プロセッサ、コンピュータ）で必要な画像処理を行ってビデオ出力部２０６から出力する。これにより、モニタ４００（表示装置）に観察画像（医療画像、内視鏡画像、生体内画像）が表示される。これらの処理は主制御部２１０（プロセッサ、コンピュータ）の制御下で行われる。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医療画像の取得等についての通信制御を行う。
図９に基づき医療画像処理装置２００の構成を説明する。医療画像処理装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２により入力し、画像処理部２０４（プロセッサ、コンピュータ）で必要な画像処理を行ってビデオ出力部２０６から出力する。これにより、モニタ４００（表示装置）に観察画像（医療画像、内視鏡画像、生体内画像）が表示される。これらの処理は主制御部２１０（プロセッサ、コンピュータ）の制御下で行われる。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医療画像の取得等についての通信制御を行う。
【0088】
＜画像処理部の機能＞
図１０は画像処理部２０４の機能ブロック図である。画像処理部２０４は、医療画像取得部２０４Ａ（医療画像取得部）と、推論部２０４Ｂ（推論部、関心領域認識部）と、表示制御部２０４Ｃ（表示制御部）と、記録制御部２０４Ｄ（記録制御部）と、スコープ情報取得部２０４Ｅ（スコープ情報取得部）と、を備える。推論部２０４Ｂは、上述した手法（本発明に係る学習済みモデル変換方法）により得られた変換モデル（図７に示すＣＮＮ５６３等）を備える。
これらの機能を用いた処理については、詳細を後述する。
図１０は画像処理部２０４の機能ブロック図である。画像処理部２０４は、医療画像取得部２０４Ａ（医療画像取得部）と、推論部２０４Ｂ（推論部、関心領域認識部）と、表示制御部２０４Ｃ（表示制御部）と、記録制御部２０４Ｄ（記録制御部）と、スコープ情報取得部２０４Ｅ（スコープ情報取得部）と、を備える。推論部２０４Ｂは、上述した手法（本発明に係る学習済みモデル変換方法）により得られた変換モデル（図７に示すＣＮＮ５６３等）を備える。
これらの機能を用いた処理については、詳細を後述する。
【0089】
画像処理部２０４は、上述した機能により、医療画像の認識（推論）、特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（関心領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部を備え、医療画像（医用画像）としての特徴量画像を取得及び表示してもよい。なお、上述した処理は主制御部２１０の制御下で行われる。
【0090】
＜各種のプロセッサによる機能の実現＞
上述した画像処理部２０４及び主制御部２１０の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであり並列計算処理装置の一態様であるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した各種のプロセッサに含まれる。
上述した画像処理部２０４及び主制御部２１０の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであり並列計算処理装置の一態様であるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した各種のプロセッサに含まれる。
【0091】
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
【0092】
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）やフラッシュメモリ（不図示）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医療画像処理方法（医療画像処理装置の作動方法）を実行するためのプログラム及び実行に際して用いられるデータ（医療画像の取得に関するデータ、生検状態等の定義や識別表示の態様設定に用いられるデータ、認識部で用いられるパラメータ等）を含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。
【0093】
また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法（本発明に係る医療画像処理方法を含む）を主制御部２１０及び／または画像処理部２０４（コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。音声処理部２０９は、主制御部２１０及び画像処理部２０４の制御により、医療画像処理、関心領域の推論結果や報知等に関するメッセージ（音声）をスピーカ２０９Ａ（報知部、スピーカ）から出力する。
【0094】
なお、内視鏡システム１０のように画像の処理や認識を行う場合は、並列計算処理装置の一態様であるＧＰＵを用いて画像処理部２０４及び／または主制御部２１０を構成し、後述する推論工程（推論処理）の少なくとも一部をＧＰＵで実行することが効果的である。
【0095】
＜操作部＞
操作部２０８は図示せぬキーボード、マウス等のデバイスにより構成することができ、ユーザは操作部２０８を介して医療画像処理方法（推論方法）の実行指示や実行に必要な条件の設定を行うことができる。
操作部２０８は図示せぬキーボード、マウス等のデバイスにより構成することができ、ユーザは操作部２０８を介して医療画像処理方法（推論方法）の実行指示や実行に必要な条件の設定を行うことができる。
【0096】
＜医療画像処理方法の手順＞
内視鏡システム１０を用いた医療画像処理方法の一例（関心領域の認識）について説明する。なお、学習用データを用いたＣＮＮ５６２の学習及び学習済みモデルの変換（畳み込み層生成工程及び畳み込み層生成処理、変換モデル生成工程及び変換モデル生成処理；図２等を参照）を実行済みであるものとする。
内視鏡システム１０を用いた医療画像処理方法の一例（関心領域の認識）について説明する。なお、学習用データを用いたＣＮＮ５６２の学習及び学習済みモデルの変換（畳み込み層生成工程及び畳み込み層生成処理、変換モデル生成工程及び変換モデル生成処理；図２等を参照）を実行済みであるものとする。
【0097】
＜内視鏡画像の取得＞
医療画像取得部２０４Ａ（プロセッサ）は、時系列データの一例としての内視鏡画像（被検体の動画像；観察画像、医療画像）を取得する（データ取得工程、データ取得処理）。医療画像取得部２０４Ａは、内視鏡スコープ１００で撮影された内視鏡画像を取得してもよいし、記録部２０７に記録された内視鏡画像を取得してもよい。記録制御部２０４Ｄは、取得した内視鏡画像を記録部２０７に記録することができる。
医療画像取得部２０４Ａ（プロセッサ）は、時系列データの一例としての内視鏡画像（被検体の動画像；観察画像、医療画像）を取得する（データ取得工程、データ取得処理）。医療画像取得部２０４Ａは、内視鏡スコープ１００で撮影された内視鏡画像を取得してもよいし、記録部２０７に記録された内視鏡画像を取得してもよい。記録制御部２０４Ｄは、取得した内視鏡画像を記録部２０７に記録することができる。
【0098】
＜推論（関心領域の認識）＞
推論部２０４Ｂ（プロセッサ）は、ＣＮＮ５６３（学習済みモデル、変換モデル）を用いて、観察画像から関心領域を認識する（推論工程、推論処理）。関心領域の認識には、検出や鑑別が含まれる。図１１は変換モデルを用いた推論の様子を示す図であり、推論部２０４Ｂは被検体の動画像（時系列データ）をＣＮＮ５６３に入力して検出結果や鑑別結果（推論結果）を得る。なお、推論工程（推論処理）の少なくとも一部をＧＰＵ等の並列計算処理装置上で行うことが好ましい。また、推論部２０４Ｂは、上述の認識（推論）において内視鏡スコープ１００の個体情報を参照してもよい。
推論部２０４Ｂ（プロセッサ）は、ＣＮＮ５６３（学習済みモデル、変換モデル）を用いて、観察画像から関心領域を認識する（推論工程、推論処理）。関心領域の認識には、検出や鑑別が含まれる。図１１は変換モデルを用いた推論の様子を示す図であり、推論部２０４Ｂは被検体の動画像（時系列データ）をＣＮＮ５６３に入力して検出結果や鑑別結果（推論結果）を得る。なお、推論工程（推論処理）の少なくとも一部をＧＰＵ等の並列計算処理装置上で行うことが好ましい。また、推論部２０４Ｂは、上述の認識（推論）において内視鏡スコープ１００の個体情報を参照してもよい。
【0099】
＜観察画像の表示＞
表示制御部２０４Ｃは、観察画像を表示装置に識別表示させることができる（表示制御工程）。この際、表示制御部２０４Ｃは、関心領域を識別表示してもよい（関心領域を示す文字、図形、記号の表示や、関心領域の着色等）。
表示制御部２０４Ｃは、観察画像を表示装置に識別表示させることができる（表示制御工程）。この際、表示制御部２０４Ｃは、関心領域を識別表示してもよい（関心領域を示す文字、図形、記号の表示や、関心領域の着色等）。
【0100】
主制御部２１０及び画像処理部２０４は、観察が終了するまで、上述した処理を繰り返す。
【0101】
以上説明したように、内視鏡システム１０によれば、推論時に変換モデルであるＣＮＮ５６３を用いることにより、メモリアクセスコストの削減を行いつつ推論を行うことができる。
【0102】
＜医療用内視鏡以外への適用＞
本発明の手法（学習済みモデル変換方法、推論方法、学習済みモデル変換装置、推論装置、学習済みモデル）は医療用内視鏡以外にも、畳み込みニューラルネットワークを用いてリアルタイム処理を行うシステム一般に適用することができる。例えば、時系列データ（被検体の動画像）を扱う超音波検査装置やＸ線透視装置等の医療機器、工業用内視鏡、マシンビジョン、デジタルカメラでの顔認証や防犯カメラ、自動車や飛翔体等の移動体に搭載されるカメラでの物体認識等に適用することができ、これによりメモリアクセスコストの削減を行いつつ推論を行うことができる。
本発明の手法（学習済みモデル変換方法、推論方法、学習済みモデル変換装置、推論装置、学習済みモデル）は医療用内視鏡以外にも、畳み込みニューラルネットワークを用いてリアルタイム処理を行うシステム一般に適用することができる。例えば、時系列データ（被検体の動画像）を扱う超音波検査装置やＸ線透視装置等の医療機器、工業用内視鏡、マシンビジョン、デジタルカメラでの顔認証や防犯カメラ、自動車や飛翔体等の移動体に搭載されるカメラでの物体認識等に適用することができ、これによりメモリアクセスコストの削減を行いつつ推論を行うことができる。
【0103】
（付記）
上述した態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
上述した態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
【0104】
（付記１）
医療画像解析処理部（推論部）は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置（推論装置）。
医療画像解析処理部（推論部）は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置（推論装置）。
【0105】
（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【0106】
（付記３）
医療画像解析結果取得部は、
医療画像の解析結果（入力データ、時系列データ）を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果（入力データ、時系列データ）を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
【0107】
（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
【0108】
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
【0109】
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
【0110】
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【0111】
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
【0112】
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【0113】
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
【0114】
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【0115】
（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
【0116】
（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
【0117】
（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
【0118】
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【0119】
（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
【0120】
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
【0121】
（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
【0122】
（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置（推論装置）。
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置（推論装置）。
【0123】
（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置（推論装置）。
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置（推論装置）。
【0124】
（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置（推論装置）。
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置（推論装置）。
【0125】
以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【0126】
１０ 内視鏡システム
１００ 内視鏡スコープ
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３９ スコープ情報記録部
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ 医療画像処理装置
２０２ 画像入力コントローラ
２０４ 画像処理部
２０４Ａ 医療画像取得部
２０４Ｂ 推論部
２０４Ｃ 表示制御部
２０４Ｄ 記録制御部
２０４Ｅ スコープ情報取得部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ 主制御部
２１１ ＲＯＭ
２１２ ＲＡＭ
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５００ 学習済みモデル変換装置
５１０ プロセッサ
５１２ 学習制御部
５１４ 変換モデル生成部
５２０ ＲＯＭ
５３０ ＲＡＭ
５６１Ａ 変換対象層
５６１Ｂ 変換対象層
５６２Ａ 入力層
５６２Ｂ 中間層
５６２Ｃ 出力層
５６３ ＣＮＮ
５６３Ａ 入力層
５６３Ｂ 中間層
５６３Ｃ 出力層
５６４ 畳み込み層
５６５ バッチ正則化層
５６６ 全結合層
５６７ 畳み込み層
Ｆ １ フィルタ
Ｆ ２ フィルタ
１００ 内視鏡スコープ
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３９ スコープ情報記録部
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ 医療画像処理装置
２０２ 画像入力コントローラ
２０４ 画像処理部
２０４Ａ 医療画像取得部
２０４Ｂ 推論部
２０４Ｃ 表示制御部
２０４Ｄ 記録制御部
２０４Ｅ スコープ情報取得部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ 主制御部
２１１ ＲＯＭ
２１２ ＲＡＭ
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５００ 学習済みモデル変換装置
５１０ プロセッサ
５１２ 学習制御部
５１４ 変換モデル生成部
５２０ ＲＯＭ
５３０ ＲＡＭ
５６１Ａ 変換対象層
５６１Ｂ 変換対象層
５６２Ａ 入力層
５６２Ｂ 中間層
５６２Ｃ 出力層
５６３ ＣＮＮ
５６３Ａ 入力層
５６３Ｂ 中間層
５６３Ｃ 出力層
５６４ 畳み込み層
５６５ バッチ正則化層
５６６ 全結合層
５６７ 畳み込み層
Ｆ １ フィルタ
Ｆ ２ フィルタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】