特許 7593796 医用画像処理システム、医用画像処理システムの作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】医用画像処理システム、医用画像処理システムの作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241126BHJP

【ＦＩ】

A61B1/045 619

A61B1/045 618

A61B1/045 622

【請求項の数】 12

(21)【出願番号】P 2020203256

(22)【出願日】2020-12-08

(65)【公開番号】P2022090759

(43)【公開日】2022-06-20

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】下村 浩司

【審査官】牧尾 尚能

(56)【参考文献】

【文献】特許第５５０１２１０（ＪＰ，Ｂ２）

【文献】特開２０１６－１４４５０７（ＪＰ，Ａ）

【文献】特開２０１３－２３０３１９（ＪＰ，Ａ）

【文献】特開２０１５－１８１５９４（ＪＰ，Ａ）

【文献】国際公開第２０２０／０９０００２（ＷＯ，Ａ１）

【文献】特開２０２０－１０３８８０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０２７０７４２６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ａ６１Ｂ ５／００ － ５／０１

Ａ６１Ｂ ３／００ － ３／１８

Ｇ０６Ｔ １／００ － １／４０

(57)【特許請求の範囲】

【請求項1】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択し、
前記指定操作を行ったときに前記モニタに表示されている表示画像とは異なる病変部に対して前記注目領域が設定されている画像、前記表示画像の前記注目領域とは前記注目領域の位置が所定距離以上離れている画像、前記表示画像の前記注目領域とは前記注目領域の数が異なる画像、及び、前記表示画像の前記注目領域とは前記注目領域の面積が所定の大きさ以上異なる画像のうち少なくともいずれかが、前記指定する医用画像の選択対象から除外される医用画像処理システム。

【請求項2】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択し、
前記指定操作を行ったときに前記モニタに表示されている表示画像から所定期間内に撮像された画像の中に前記注目領域が検出されない画像が含まれる場合、前記表示画像のうち、前記注目領域が連続して検出されている期間に撮像された画像を、前記指定する医療画像の選択対象とし、前記注目領域が連続して検出されている期間以外の期間に撮像された画像を、前記指定する医療画像の選択対象から除外する医用画像処理システム。

【請求項3】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択し、
前記認識処理には、前記注目領域を鑑別する鑑別処理が含まれ、
前記指定操作を行ったときに前記モニタに表示されている表示画像とは異なる病変部に対して前記注目領域が設定されている画像、前記表示画像の前記注目領域とは前記注目領域の位置が所定距離以上離れている画像、前記表示画像の前記注目領域とは前記注目領域の数が異なる画像、前記表示画像の前記注目領域とは前記注目領域の面積が所定の大きさ以上異なる画像、及び、前記表示画像とは前記注目領域の前記鑑別処理の結果が異なる画像のうち少なくともいずれかが、前記指定する医用画像の選択対象から除外される医用画像処理システム。

【請求項4】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択し、
前記認識処理には、前記注目領域を鑑別する鑑別処理が含まれ、
前記指定操作を行ったときに前記モニタに表示されている表示画像から所定期間内に撮像された画像の中に前記表示画像とは前記注目領域の前記鑑別処理の結果が異なる画像が含まれる場合、前記表示画像から同じ鑑別結果が連続して検出されている期間に撮像された画像を、前記指定する医用画像の選択対象とし、前記同じ鑑別結果が連続して検出されている期間以外の期間に撮像された画像を、前記指定する医用画像の選択対象から除外する医用画像処理システム。

【請求項5】

コントラストが最も高い医用画像を視認性が最も高いと判定する、請求項１～４のいずれか１項記載の医用画像処理システム。

【請求項6】

前記認識処理により病変部位を含む領域が前記注目領域として検出される、請求項１～５のいずれか１項記載の医用画像処理システム。

【請求項7】

前記指定操作は、前記モニタの画面更新を停止して１の医用画像を継続して表示させるフリーズ操作である、請求項１～６のいずれか１項に記載の医用画像処理システム。

【請求項8】

前記指定操作は、前記モニタに表示された医用画像を記録用画像として取得するキャプチャ操作である、請求項１～７のいずれか１項に記載の医用画像処理システム。

【請求項9】

前記認識処理では、Convolutional Neural Networkを用いる、請求項１～８のいずれか１項に記載の医用画像処理システム。

【請求項10】

前記医用画像は、内視鏡から得られた画像である請求項１～９のいずれか１項に記載の医用画像処理システム。

【請求項11】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムの作動方法において、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択し、
前記指定操作を行ったときに前記モニタに表示されている表示画像とは異なる病変部に対して前記注目領域が設定されている画像、前記表示画像の前記注目領域とは前記注目領域の位置が所定距離以上離れている画像、前記表示画像の前記注目領域とは前記注目領域の数が異なる画像、及び、前記表示画像の前記注目領域とは前記注目領域の面積が所定の大きさ以上異なる画像のうち少なくともいずれかが、前記指定する医用画像の選択対象から除外される医用画像処理システムの作動方法。

【請求項12】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムの作動方法において、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、前記複数の医用画像をモニタに順次出力して表示し、
前記モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、前記モニタに表示中の医用画像と前記モニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、前記注目領域の視認性が最も高い医用画像を、前記指定操作により指定する医用画像として選択し、
前記認識処理には、前記注目領域を鑑別する鑑別処理が含まれ、
前記指定操作を行ったときに前記モニタに表示されている表示画像とは異なる病変部に対して前記注目領域が設定されている画像、前記表示画像の前記注目領域とは前記注目領域の位置が所定距離以上離れている画像、前記表示画像の前記注目領域とは前記注目領域の数が異なる画像、前記表示画像の前記注目領域とは前記注目領域の面積が所定の大きさ以上異なる画像、及び、前記表示画像とは前記注目領域の前記鑑別処理の結果が異なる画像のうち少なくともいずれかが、前記指定する医用画像の選択対象から除外される医用画像処理システムの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像処理システム、医用画像処理システムの作動方法に関する。

【背景技術】

【0002】

医療分野においては、内視鏡画像、超音波画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。

【0003】

例えば、下記特許文献１には、内視鏡装置において、観察対象を連続して撮像することにより生成された複数の医用画像（内視鏡画像）を順次モニタに出力して表示し、ユーザー（医師）がモニタを観察しながらフリーズスイッチを操作して指定した内視鏡画像を静止画として取得する構成が記載されている。

【0004】

また、下記特許文献２には、内視鏡装置において、学習器により内視鏡画像の各々から病変部等の注意して観察すべき異常領域（注目領域）を検出するとともに、共通の病変部等を含む一連の内視鏡画像の中から注目領域の視認性が最も高い内視鏡画像を代表画像に設定する構成が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第４６９４２５５号公報

【文献】特許第６３５１３２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１では、医師が指定した画像が必ずしも診断に最適な画像ではないといった問題があった。つまり、モニタ画面の更新（画像の撮像）は毎秒数十フレーム単位で行われるので、医師がフリーズスイッチを操作したときによりも数フレーム前（または、後）の内視鏡画像の方がより視認性の高い、診断に好適な画像である場合があった。

【0007】

また、上記特許文献２では、医師の意向に関わらず機械的に代表画像が設定されるため、医師が代表画像のみを観察し、代表画像の前後に観察すべき画像が存在する場合に見過ごされてしまう恐れがあった。

【0008】

本発明は上記背景を鑑みてなされたものであり、観察すべき画像の見過ごしを防止しながら診断に最適な画像を指定可能な、医用画像処理システム、医用画像処理システムの作動方法を提供することを目的としている。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の医用画像処理システムは、プログラム命令を記憶するメモリと、プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、プロセッサは、観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、複数の医用画像をモニタに順次出力して表示し、モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、モニタに表示中の医用画像とモニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、注目領域の視認性が最も高い医用画像を、指定操作により指定する医用画像として選択する。

【0010】

コントラストが最も高い医用画像を視認性が最も高いと判定してもよい。

【0011】

認識処理により病変部位を含む領域が注目領域として検出されるものでもよい。

【0012】

認識処理には、注目領域を鑑別する鑑別処理が含まれていてもよい。

【0013】

モニタに表示中の医用画像の撮像から所定期間内に撮像された医用画像の中から指定する医用画像を選択してもよい。

【0014】

指定操作は、モニタの画面更新を停止して１の医用画像を継続して表示させるフリーズ操作であってもよい。

【0015】

指定操作は、モニタに表示された医用画像を記録用画像として取得するキャプチャ操作であってもよい。

【0016】

認識処理では、Convolutional Neural Networkを用いてもよい。

【0017】

医用画像は、内視鏡から得られた画像であってもよい。

【0018】

また、上記目的を達成するために、本発明の医用画像処理システムの作動用法は、プログラム命令を記憶するメモリと、プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムの作動方法において、プロセッサは、観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、複数の医用画像の各々に対して認識処理を行うことにより注目領域を検出するとともに、複数の医用画像をモニタに順次出力して表示し、モニタに表示中の医用画像に対して医用画像を指定する指定操作が行われた場合に、モニタに表示中の医用画像とモニタに表示中の医用画像の前後の少なくとも一方に撮像された医用画像との中から、注目領域の視認性が最も高い医用画像を、指定操作により指定する医用画像として選択する。

【発明の効果】

【0019】

本発明によれば、観察すべき画像の見過ごしを防止しながら診断に最適な画像を指定可能な、医用画像処理システム、医用画像処理システムの作動方法を提供できる。

【図面の簡単な説明】

【0020】

【図1】内視鏡システムの外観図である。

【図2】内視鏡システムの機能を示すブロック図である。

【図3】指定画像選択部の動作の流れを示すフローチャートである。

【図4】指定画像選択処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0021】

図１において、内視鏡システム１０（医用画像処理システム）は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ＵＩ（User InterFace、ユーザーインターフェース）１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。

【0022】

内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

【0023】

また、操作部１２ｂには、医用画像（本実施形態では内視鏡画像）を指定する指定操作に用いる指定スイッチ１２ｇ、観察モードの切り替え操作に用いるモード切替スイッチ１２ｈ、ズーム倍率の変更操作に用いるズーム操作部１２ｉが設けられている。指定操作には、モニタ１８の画面更新を停止して１枚（フレーム）の医用画像を継続して表示させるフリーズ操作と、モニタ１８に表示された医用画像を記録用の静止画として取得（ストレージデバイス５８ａ（図２参照）に保存）するキャプチャ操作とがあり、例えば、モニタ１８に表示された医用画像に対して指定スイッチ１２ｇを長押しすることでフリーズ操作を行い、指定スイッチ１２ｇを短く１回押圧することでキャプチャ操作を行うことができる。

【0024】

なお、本実施形態では、フリーズ操作とキャプチャ操作を１つの操作部材（指定スイッチ１２ｇ）で行っているが、フリーズ操作用の操作部材とキャプチャ操作用の操作部材とを別体に設けてもよい。また、本実施形態では、フリーズ操作用の操作部材とキャプチャ操作用の操作部材とを操作部１２ｂに設けているが、これらをＵＩ１９に設けてもよい。さらに、本実施形態では、フリーズ操作とキャプチャ操作との両方が可能な内視鏡システムに本発明を適用する例で説明をしたが、フリーズ操作とキャプチャ操作とのうちの一方の操作のみが可能な内視鏡システムに本発明を適用してもよい。

【0025】

光源装置１４は、観察対象を照明するための照明光を発する光源部２０（図２参照）を備えている。光源部２０からの照明光は、ライトガイド２５（図２参照）により導光されて先端部１２ｄから観察対象へ向けて照射される。光源部２０からの照明光により照明された観察対象は、先端部１２ｄに内蔵された撮像センサ４４（図２参照）により撮像される。

【0026】

プロセッサ装置１６は、モニタ１８及びＵＩ１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。ＵＩ１９は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。なお、プロセッサ装置１６には、外付けのメモリ（図示しない）を接続してもよい。

【0027】

図２において、光源装置１４は、前述した光源部２０を備えている。光源部２０は、プロセッサ装置１６の光源制御部２１に接続されており、光源部２０が発する照明光の発光スペクトル並びに発光タイミングは、光源制御部２１により制御される。

【0028】

本実施形態において、光源部２０は、発光スペクトルが互いに異なる通常光と特殊光とを発光する。通常光は、例えば、白色光である。白色光は、例えば、波長帯域３８０～４２０ｎｍの紫色光、波長帯域４２０～５００ｎｍの青色光、波長帯域４８０～６００ｎｍの緑色光、波長帯域６００～６５０ｎｍの赤色光、を含む。通常光を観察対象に照射して撮像された内視鏡画像（通常画像）は、モニタ１８に表示される。

【0029】

特殊光は、１種類であってもよいし複数種類であってもよい。特殊光としては、例えば、血中ヘモグロビンの吸収係数が高い紫色光（ピーク波長４００ｎｍ～４２０ｎｍ）の発光量が、通常光よりも大きくされたものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、表層の血管構造や腺管構造を示す血管画像（生体情報画像）の生成に用いられる。

【0030】

また、特殊光としては、例えば、前述した紫色光のみを発光するものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、前述の場合（紫色光の発光量を通常光よりも大きくした場合）と比較して、より表層の血管構造や腺管構造を示す血管画像（生体情報画像）の生成に用いられる。

【0031】

さらに、特殊光としては、例えば、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある青紫色光（ピーク波長４７０ｎｍ～４８０ｎｍ）を発光するものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、血中ヘモグロビンの酸素飽和度を示す酸素飽和度画像（生体情報画像）の生成に用いられる。

【0032】

また、特殊光としては、例えば、前述した紫色光及び青紫光、並びに、赤色光（ピーク波長６２０ｎｍ～６３０ｎｍ）の発光量が、通常光よりも大きくされたものがある。この特殊光を観察対象に照射して撮像された内視鏡画像（特殊画像）は、病変部と病変部以外の範囲との色差を拡張した色差拡張画像（生体情報画像）の生成に用いられる。なお、特殊光の種類、及び、各特殊光を照射して撮像された内視鏡画像（特殊画像）を用いて生成する生体情報画像の種類は、上記に限定されず適宜変更できる。

【0033】

光源部２０からの照明光は、ミラーやレンズなどで構成される光路結合部２３を介して、前述したライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。

【0034】

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、ズームレンズ４３、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１２ｉを操作することによって、テレ端とワイド端と間を移動する。

【0035】

撮像センサ４４は、カラーセンサであり、本実施形態では、Ｂ（ブルー）カラーフィルタを有するＢ画素、Ｇ（グリーン）カラーフィルタを有するＧ画素、及び、Ｒ（レッド）カラーフィルタを有するＲ画素の３種類の画素を備えた原色系のカラーセンサを用いている。このような撮像センサ４４としては、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像センサ等を用いることができる。

【0036】

撮像センサ４４は、プロセッサ装置１６の撮像センサ制御部４５により制御される。撮像センサ制御部４５は、所定サイクルで（例えば、毎秒６０回）、撮像（撮像センサ４４の信号読み出し）を行う。そして、この撮像に伴い、撮像センサ４４から画像信号が出力される。例えば、毎秒６０回のサイクルで撮像を行った場合は、毎秒６０フレーム（枚）分の画像信号が出力される。

【0037】

なお、ＲＧＢの原色のカラーフィルタを設けた原色系の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを有する補色系の撮像センサを用いてもよい。補色系の撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いてもよい。

【0038】

ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。

【0039】

プロセッサ装置１６は、本発明のプロセッサを構成する中央制御部６８を備えている。中央制御部６８は、メモリ６９に格納されたプログラム命令を実行させるためのハードウェア資源であり、プロセッサ装置１６の各部を駆動制御してプログラム命令を実行させる。プログラム命令の実行に伴う中央制御部６８の駆動制御により、プロセッサ装置１６は、撮像制御部５０、ＤＳＰ（Digital Signal Processor）５２、ノイズ低減部５４、画像処理部５８、表示制御部６０、として機能する。

【0040】

撮像制御部５０には、前述した光源制御部２１及び撮像センサ制御部４５が設けられている。撮像制御部５０は、光源制御部２１を介して光源部２０を制御して観察対象を照明するとともに、撮像センサ制御部４５を介して撮像センサ４４を制御して観察対象を撮像する（撮像センサ４４から信号読み出しを行う）。そして、この撮像により撮像センサ４４から出力された内視鏡画像を取得する。

【0041】

撮像制御部５０は、通常光を観察対象に照射して撮像する通常撮像を行い、通常画像を取得する。また、撮影制御部５０は、特殊光を観察態様に照射して撮像する特殊撮像を行い、特殊画像を取得する。特殊撮像は、特殊光の種類毎に行われる。なお、本実施形態において、通常画像及び特殊画像といった内視鏡画像は、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）から構成されるカラー画像である。

【0042】

撮像制御部５０が取得した内視鏡画像は、ＤＳＰ５２に送信される。ＤＳＰ５２は、受信した内視鏡画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。

【0043】

欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲイン係数を乗じることにより内視鏡画像の信号レベルを整える。なお、内視鏡画像は、撮像センサ４４としてモノクロセンサを用いる場合には、特定の色の光の発光毎にモノクロセンサで撮像し、モノクロセンサから出力される複数色のモノクロ画像とすることが好ましい。

【0044】

ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。その後、ガンマ変換処理によって、内視鏡画像の明るさや彩度が整えられる。マトリクス処理後の内視鏡画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の内視鏡画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。

【0045】

ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施した内視鏡画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した内視鏡画像は、画像処理部５８に入力される。本実施形態では、内視鏡画像として、通常光を照射して撮像した内視鏡画像である通常画像と、特殊光を照射して撮像した内視鏡画像である特殊画像とが画像処理部５８に入力される。

【0046】

画像処理部５８は、ストレージデバイス５８ａを備え、入力された通常画像と特殊画像とをストレージデバイス５８ａに記憶する。また、画像処理部５８は、生体情報画像生成部５８ｂ、認識処理部５８ｃ、指定画像選択部５８ｄを備え、これら各部により、通常画像と特殊画像に対して各種処理を行う。

【0047】

生体情報画像生成部５８ｂは、特殊画像を単独で用いて、または、特殊画像と通常画像との両方を用いて観察対象の生体情報を示す生体情報画像を生成する。生体情報画像は、前述した血管画像、酸素飽和度画像、色差拡張画像などであり、特殊画像、または、特殊画像及び通常画像に対して解析処理を行なうことにより生成される画像であり、内視鏡画像の一種である。

【0048】

認識処理部５８ｃは、通常画像に対して認識処理を行う。認識処理には、病変部などの注目領域を検出する検出処理と、病変部の種類やステージ（程度）を鑑別する鑑別処理とが含まれる。また、鑑別処理には、注目領域に対して行なう処理と、認識処理を行なう画像全体に対して行う処理とが含まれる。

【0049】

認識処理では、例えば、内視鏡画像を複数の小領域に分割し、分割した内視鏡画像から画像的な特徴量を算出する。そして、検出処理では、算出した特徴量に基づき、各小領域が病変部であるか否かを判断し、同じ種類と特定されたひとかたまりの領域を１つの病変部として抽出し、抽出した病変部を含む領域を注目領域として検出する。また、鑑別処理では、検出された注目領域について、注目領域内の特徴量と、注目領域の態様（位置、大きさ、形状など）と、に基づいて病変部の種類及び／または病変部の程度（ステージ）が判断される。上述した認識処理（検出処理、鑑別処理）における判断は、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムによって行われることが好ましい。

【0050】

なお、通常画像の認識処理は、通常画像単体を用いて行ってもよいし、通常画像に加えて、特殊画像及び／または生体情報画像を用いて行ってもよい。また、通常画像の認識処理を行う例で説明をしたが、特殊画像及び／または生体情報画像に対して認識処理を行ってもよい。

【0051】

画像処理部５８は、生体情報画像の生成及び認識処理の後、通常画像及び生体情報画像並びに認識処理の結果を、表示制御部６０に入力する。表示制御部６０は、モニタ１８の表示制御を行うものであり、入力された通常画像及び生体情報画像並びに認識処理の結果を用いて表示用画面を生成し、モニタ１８に表示する。なお、表示画面において、生体情報画像は、通常画像に重畳させて、または、通常画像に並べて表示される。また、認識処理の結果は、例えば、注目領域を示す枠を通常画像に重畳させて表示するなどの態様で表示される。

【0052】

図３に示すように、指定画像選択部５８ｄは、モニタ１８に表示された通常画像（または、通常画像に生体情報画像及び／または認識処理の結果を重畳させた画像）に対して指定操作（指定スイッチ１２ｇの操作）が行われた場合に作動する。そして、指定画像選択部５８ｄは、指定画像を選択する指定画像選択処理を行う。

【0053】

図４に示すように、指定画像選択処理では、指定操作が行われたときにモニタ１８に表示中の通常画像と、この通常画像の撮像から所定期間（例えば、指定操作の前後数秒）内に撮像された数十フレーム分の通常画像とを選択対象の画像とし、これら選択対象の画像の注目領域を比較し、注目領域の視認性が最も高い画像を指定画像として選択する。なお、本実施形態では、コントラストが高いほど視認性も高いとみなし、画像解析により注目領域のコントラストが最も高いと判定された画像を指定画像として選択する。

【0054】

図３に戻り、指定画像選択部５８ｄは、指定画像選択処理により指定画像を選択した後、指定操作がフリーズ操作であった場合は、フリーズ操作が継続されている間、選択された指定画像を継続してモニタ１８に表示する。他方、指定画像選択部５８ｄは、指定操作がキャプチャ操作であった場合は、選択された指定画像を静止画像としてストレージデバイス５８ａに記憶する。

【0055】

なお、上記実施形態では、コントラストが高いほど視認性が高いとみなす例で説明をしたが、例えば、エッジ（輪郭）検出を行い、エッジがより多く及び／またはより明確に検出されるほど視認性が高いとみなしてもよい。もちろん、コントラスト、エッジ以外の要素に基づいて視認性を判定してもよい。また、コントラスト、エッジの両方の要素に基づいて視認性を判定するといったように、複数の要素を考慮して視認性を判定してもよい。

【0056】

また、上記実施形態では、指定操作から所定期間内に撮像された画像を、指定画像を選択する際の選択対象とする例で説明をしたが、本発明はこれに限定されない。指定操作から所定期間内に撮像された画像であっても、指定操作を行ったときにモニタ１８に表示されている画像（以下、表示画像）とは異なる病変部等に対して注目領域が設定されている画像も存在する。このように、表示画像とは異なる病変部等に対して注目領域が設定されている画像については、指定画像の選択対象から除外することが好ましい。

【0057】

具体的には、表示画像の注目領域とは注目領域の位置（例えば、注目領域の中心の位置）が所定距離以上離れている画像は、指定画像の選択対象から除外することが好ましい。また、表示画像の注目領域とは注目領域の数（検出数）が異なる画像、及び／または、表示画像の注目領域とは注目領域の面積が所定の大きさ以上異なる画像は、指定画像の選択対象から除外することが好ましい。さらに、表示画像とは注目領域の鑑別結果が異なる画像は、指定画像の選択対象から除外することが好ましい。

【0058】

また、表示画像から所定期間内に撮像された画像の中に注目領域の検出されない画像が含まれる場合、表示画像から注目領域が連続して検出されている範囲（期間）に撮像された画像のみを指定画像の選択対象とし、これ以外の範囲（期間）に撮像された画像については指定画像の選択対象から除外してもよい。さらに、表示画像から所定期間内に撮像された画像の中に表示画像とは注目領域の鑑別結果が異なる画像が含まれる場合、表示画像から同じ鑑別結果が連続して検出されている範囲（期間）に撮像された画像のみを指定画像の選択対象とし、これ以外の範囲（期間）に撮像された画像については指定画像の選択対象から除外してもよい。

【0059】

なお、上記実施形態では、内視鏡システムに本発明を適用する例（医用画像が内視鏡画像である例）で説明をしたが、本発明はこれに限定されない。内視鏡システム以外の医療システムに本発明を適用してもよい（医用画像が内視鏡画像以外の画像であってもよい）。内視鏡システム以外の医療システムとしては、超音波を用いて超音波画像を取得する超音波検査システム、Ｘ線を用いてＸ線画像を取得するＸ線検査システムなどが挙げられる。

【0060】

上記実施形態において、光源制御部２１、撮像センサ制御部４５、撮像制御部５０、ＤＰＳ５２、ノイズ低減部５４、画像処理部５８、生体情報画像生成部５８ｂ、認識処理部５８ｃ、指定画像選択部５８ｄ、表示制御部６０、中央制御部６８、等の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0061】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0062】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

【符号の説明】

【0063】

１０ 内視鏡システム（医用画像処理システム）
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｇ 指定スイッチ
１２ｈ モード切替スイッチ
１２ｉ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ＵＩ
２０ 光源部
２１ 光源制御部
２３ 光路結合部
２５ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
４２ 対物レンズ
４３ ズームレンズ
４４ 撮像センサ
４５ 撮像センサ制御部
４６ ＣＤＳ／ＡＧＣ回路
４８ Ａ／Ｄコンバータ
５０ 撮像制御部
５２ ＤＳＰ
５４ ノイズ低減部
５８ 画像処理部
５８ａ ストレージデバイス
５８ｂ 生体情報画像生成部
５８ｃ 認識処理部
５８ｄ 指定画像選択部
６０ 表示制御部
６８ 中央制御部（プロセッサ）
６９ メモリ

【図1】

【図2】

【図3】

【図4】