特許 7402314 医用画像処理システム、医用画像処理システムの作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-12

(45)【発行日】2023-12-20

(54)【発明の名称】医用画像処理システム、医用画像処理システムの作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231213BHJP

   A61B 5/00 20060101ALI20231213BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 619

A61B1/045 614

A61B5/00 G

【請求項の数】 15

(21)【出願番号】P 2022511709

(86)(22)【出願日】2021-03-05

(86)【国際出願番号】 JP2021008739

(87)【国際公開番号】W WO2021199910

(87)【国際公開日】2021-10-07

【審査請求日】2022-09-26

(31)【優先権主張番号】P 2020066912

(32)【優先日】2020-04-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】辻本 尭之

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】特開２０１０－１３１３７１（ＪＰ，Ａ）

【文献】特開２００７－３３０７６４（ＪＰ，Ａ）

【文献】特開２０１３－０１３５６９（ＪＰ，Ａ）

【文献】特開２００８－００６１８８（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３５１９５（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１２３９８６（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２１６６１７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ ６／１４

Ａ６１Ｂ ８／００－１０／００

(57)【特許請求の範囲】

【請求項1】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより、前記医用画像から注目領域を検出し、
前記複数の医用画像のうちの特定の医用画像に対して行われた認識処理で検出した注目領域の位置情報を、前記特定の医用画像の前後の少なくとも一方に撮像された比較用の医用画像に対して行われた認識処理で検出した注目領域の位置情報を用いて補正し、
前記補正は、前記特定の医用画像に対して行われた認識処理の結果の確信度が所定の閾値を下回る場合に行われる、医用画像処理システム。

【請求項2】

前記補正は、ユーザーが指示した場合に行われる請求項１に記載の医用画像処理システム。

【請求項3】

前記補正では、前記比較用の医用画像の注目領域の位置情報の線形和を用いる請求項１または２に記載の医用画像処理システム。

【請求項4】

前記補正では、前記比較用の医用画像の注目領域のうち、前記特定の医用画像の注目領域から所定範囲内に位置する注目領域の位置情報を用いる請求項１～３のいずれか１項に記載の医用画像処理システム。

【請求項5】

前記認識処理には、前記注目領域を鑑別する鑑別処理が含まれる請求項１～４のいずれか１項に記載の医用画像処理システム。

【請求項6】

前記補正では、前記鑑別の結果の補正が行われる請求項５に記載の医用画像処理システム。

【請求項7】

前記鑑別の結果の補正では、前記比較用の医用画像の前記鑑別の結果の種類毎の数を用いる請求項６に記載の医用画像処理システム。

【請求項8】

前記認識処理では、Convolutional Neural Networkを用いる請求項１～７のいずれか１項に記載の医用画像処理システム。

【請求項9】

前記医用画像は、内視鏡から得られた画像である請求項１～８のいずれか１項に記載の医用画像処理システム。

【請求項10】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムの作動方法において、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより、前記医用画像から注目領域を検出し、
前記複数の医用画像のうちの特定の医用画像に対して行われた認識処理で検出した注目領域の位置情報を、前記特定の医用画像の前後の少なくとも一方に撮像された比較用の医用画像に対して行われた認識処理で検出した注目領域の位置情報を用いて補正し、
前記補正は、前記特定の医用画像に対して行われた認識処理の結果の確信度が所定の閾値を下回る場合に行われる、医用画像処理システムの作動方法。

【請求項11】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより、前記医用画像から注目領域を検出し、
前記複数の医用画像のうちの特定の医用画像に対して行われた認識処理で検出した注目領域の位置情報を、前記特定の医用画像の前後の少なくとも一方に撮像された比較用の医用画像に対して行われた認識処理で検出した注目領域の位置情報を用いて補正し、
前記補正では、前記比較用の医用画像の注目領域の位置情報の線形和を用いる、医用画像処理システム。

【請求項12】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより、前記医用画像から注目領域を検出し、
前記複数の医用画像のうちの特定の医用画像に対して行われた認識処理で検出した注目領域の位置情報を、前記特定の医用画像の前後の少なくとも一方に撮像された比較用の医用画像に対して行われた認識処理で検出した注目領域の位置情報を用いて補正し、
前記補正では、前記比較用の医用画像の注目領域のうち、前記特定の医用画像の注目領域から所定範囲内に位置する注目領域の位置情報を用いる、医用画像処理システム。

【請求項13】

プログラム命令を記憶するメモリと、前記プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、
前記プロセッサは、
観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、
前記複数の医用画像の各々に対して認識処理を行うことにより、前記医用画像から注目領域を検出し、
前記複数の医用画像のうちの特定の医用画像に対して行われた認識処理で検出した注目領域の位置情報を、前記特定の医用画像の前後の少なくとも一方に撮像された比較用の医用画像に対して行われた認識処理で検出した注目領域の位置情報を用いて補正し、
前記認識処理には、前記注目領域を鑑別する鑑別処理が含まれる、医用画像処理システム。

【請求項14】

前記補正では、前記鑑別の結果の補正が行われる請求項１３に記載の医用画像処理システム。

【請求項15】

前記鑑別の結果の補正では、前記比較用の医用画像の前記鑑別の結果の種類毎の数を用いる請求項１４に記載の医用画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像処理システム、医用画像処理システムの作動方法に関する。

【背景技術】

【0002】

医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonance）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。

【0003】

近年、医用画像を用いた画像診断においては、臓器内の病変や腫瘍など注意して観察すべき注目領域を、医用画像処理装置によって認識処理することが行われつつある。特に、ディープラーニングなどの機械学習の手法は、認識処理の能力や効率の向上に寄与している。

【0004】

一方、医用画像処理装置によって行われた認識処理の結果は必ずしも完全なものではない。このため、下記特許文献１では、連続した撮影により順次取得された複数の医用画像の各々について認識処理を行って画像の特徴量を算出するとともに、認識処理を行った画像の前後に撮影された医用画像を用いて、認識処理において算出した特徴量の補正をし、補正した特徴量を用いて再度認識処理を行う方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第５８２５８８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記特許文献１では、特徴量の補正と再認識処理とを行うことで、より精度の高い認識結果を得られる反面、認識結果を得るための処理負荷が大きいといった問題があった。

【0007】

本発明は、上記背景を鑑みてなされたものであり、処理負荷を軽減しながらより精度の高い認識結果を得ることが可能な医用画像処理システム、医用画像処理システムの作動方法を提供することを目的としている。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の医用画像処理システムは、プログラム命令を記憶するメモリと、プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムにおいて、プロセッサは、観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、複数の医用画像の各々に対して認識処理を行うことにより、医用画像から注目領域を検出し、複数の医用画像のうちの特定の医用画像に対して行われた認識処理で検出した注目領域の位置情報を、特定の医用画像の前後の少なくとも一方に撮像された比較用の医用画像に対して行われた認識処理で検出した注目領域の位置情報を用いて補正する。

【0009】

補正は、認識処理の結果の確信度が所定の閾値を下回る場合に行われるものでもよい。

【0010】

補正は、ユーザーが指示した場合に行われるものでもよい。

【0011】

補正では、比較用の医用画像の注目領域の位置情報の線形和を用いてもよい。

【0012】

補正では、比較用の医用画像の注目領域のうち、特定の医用画像の注目領域から所定範囲内に位置する注目領域の位置情報を用いてもよい。

【0013】

認識処理には、注目領域を鑑別する鑑別処理が含まれていてもよい。

【0014】

補正では、鑑別の結果の補正を行ってもよい。

【0015】

鑑別の結果の補正では、比較用の医用画像の鑑別の結果の種類毎の数を用いてもよい。

【0016】

認識処理では、Convolutional Neural Networkを用いてもよい。

【0017】

医用画像は、内視鏡から得られた画像であってもよい。

【0018】

また、上記目的を達成するために、本発明の医用画像処理システムの作動方法は、プログラム命令を記憶するメモリと、プログラム命令を実行させるプロセッサと、を備えた医用画像処理システムの作動方法において、プロセッサは、観察対象を連続して撮像することにより生成された複数の医用画像を順次取得し、複数の医用画像の各々に対して認識処理を行うことにより、医用画像から注目領域を検出し、複数の医用画像のうちの特定の医用画像に対して行われた認識処理で検出した注目領域の位置情報を、特定の医用画像の前後の少なくとも一方に撮像された比較用の医用画像に対して行われた認識処理で検出した注目領域の位置情報を用いて補正する。

【発明の効果】

【0019】

本発明によれば、処理負荷を軽減しながらより精度の高い認識結果を得ることが可能な医用画像処理システム、医用画像処理システムの作動方法を提供できる。

【図面の簡単な説明】

【0020】

【図1】内視鏡システムの外観図である。

【図2】内視鏡システムの機能を示すブロック図である。

【図3】紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。

【図4】通常光の分光スペクトルを示すグラフである。

【図5】特殊光の分光スペクトルを示すグラフである。

【図6】注目領域モード画像処理部の機能を示すブロック図である。

【図7】注目領域モードの一連の流れを示すフローチャートである。

【図8】認識結果補正処理の説明図である。

【図9】認識結果補正処理の説明図である。

【図10】認識結果補正処理の説明図である。

【図11】認識結果補正処理の説明図である。

【図12】注目領域モードの一連の流れを示すフローチャートである。

【図13】注目領域モードの一連の流れを示すフローチャートである。

【図14】画像処理装置の機能を示すブロック図である。

【発明を実施するための形態】

【0021】

［第１実施形態］
図１に示すように、内視鏡システム１０（医用画像処理システム）は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

【0022】

また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画像取得部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄを設けている。静止画像取得部１３ｂは、モニタ１８に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。

【0023】

内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、注目領域モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Ｌｓで合波した特殊光を発光する。

【0024】

また、観察モードが注目領域モードである場合、注目領域モード用照明光を発光する。本実施形態では、注目領域モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。

【0025】

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、注目領域（ROI:Region Of Interest）の指定、認識処理を行う画像の指定、認識結果補正処理を行う画像または認識処理結果の指定、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。

【0026】

図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、複数色の光を発するＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

【0027】

第１実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを有している。図３に示すように、Ｖ－ＬＥＤ２０ａは、波長帯域３８０ｎｍ～４２０ｎｍの紫色光Ｖを発する。

【0028】

Ｂ－ＬＥＤ２０ｂは、波長帯域４２０ｎｍ～５００ｎｍの青色光Ｂを発する。Ｂ－ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０～４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。

【0029】

Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ～６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ－ＬＥＤ２０ｄは、波長帯域が６００ｎｍ～６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ２０ａ～２０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。

【0030】

光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部２２における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１４の明るさ設定部又はコンソール１９等によって設定可能である。

【0031】

通常モード又は注目領域モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｃは、青色光Bxの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は注目領域モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は注目領域モード用の多色光が、通常光として、が発せられる。通常光は、青色波長帯域から赤色波長帯域まで一定以上の強度を有しているため、ほぼ白色となっている。

【0032】

特殊モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｓは、紫色光Vの光強度のピークが、青色光Bx、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ２０ａ～２０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。

【0033】

図２に戻り、光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ～φ０．５ｍｍの細径なファイバケーブルを使用することができる。

【0034】

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４を伝搬した照明光によって観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、拡大光学系３６と、撮像センサ３８とを有している。これら対物レンズ３４及び拡大光学系３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。

【0035】

拡大光学系３６は、観察対象を拡大するズームレンズ３６ａと、ズームレンズ３６ａを光軸方向ＣＬに移動させるレンズ駆動部３６ｂとを備えている。ズームレンズ３６ａは、レンズ駆動部３６ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３８に結像する観察対象を拡大又は縮小させる。

【0036】

撮像センサ３８は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３８の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３８は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ回路４０に送信する。

【0037】

通常モード又は注目領域モードにおいては、撮像センサ３８は、通常光が照明された観察対象を撮像することにより、B画素からBｃ画像信号を出力し、G画素からGc画像信号を出力し、R画素からRｃ画像信号を出力する。また、特殊モードにおいては、撮像センサ３８は、特殊光が照明された観察対象を撮像することにより、B画素からBｓ画像信号を出力し、G画素からGｓ画像信号を出力し、R画素からRｓ画像信号を出力する。

【0038】

撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

【0039】

ＣＤＳ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４２は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。

【0040】

図２に示すように、プロセッサ装置１６は、本発明のプロセッサを構成する制御部４６を備えている。制御部４６は、メモリ４８に記憶されたプログラム命令を実行させるためのハードウェア資源であり、内視鏡システム１０の各部を駆動制御してプログラム命令を実行させる。プログラム命令の実行に伴う制御部４６の駆動制御により、プロセッサ装置１６は、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理部５６と、表示制御部５８として機能する。

【0041】

画像信号取得部５０は、内視鏡１２（撮像センサ３８など）を駆動制御して撮像を行い、内視鏡画像（医用画像）を取得する。画像信号取得部５０は、観察対象を連続して撮像することにより、複数の内視鏡画像を順次取得する。画像信号取得部５０は、観察モードに対応したデジタル画像信号として内視鏡画像を取得する。具体的には、通常モード又は注目領域モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。注目領域モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。

【0042】

ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。

【0043】

リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５６に入力される。

【0044】

画像処理部５６は、通常モード画像処理部６０と、特殊モード画像処理部６２と、注目領域モード画像処理部６４を備えている。通常モード画像処理部６０は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。

【0045】

色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bｘ、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。

【0046】

特殊モード画像処理部６２は、特殊モードに設定されている場合に作動する。特殊モード画像処理部６２では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部６０と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。

【0047】

注目領域モード画像処理部６４は、注目領域モード時に設定されている場合に作動する。注目領域モード画像処理部６４では、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード画像処理部６０と同様の画像処理を行う。

【0048】

図６に示すように、注目領域モード画像処理部６４は、前述したプログラム命令の実行に伴う制御部４６（図２参照）の駆動制御により、認識処理部７２と、認識結果補正部７３として機能する。図７に示すように、認識処理部７２は、通常モード画像処理部６０と同様の画像処理により内視鏡画像を順次取得し、取得した内視鏡画像を画像解析し、認識処理を行う。認識処理部７２が行う認識処理としては、認識用画像（本実施形態では、内視鏡画像）から注目領域を検出する検出処理と、認識用画像に含まれる病変の種類などを鑑別する鑑別処理とが含まれる。また、鑑別処理には、注目領域に対して行われる処理と、認識用画像全体に対して行われる処理とが含まれる。なお、本実施形態では、認識処理部７２は、内視鏡画像から病変部を含む矩形の領域を注目領域として検出する検出処理を行う。

【0049】

認識処理部７２は、認識処理において、先ず内視鏡画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを判断する。最後に、同じ種類と特定された、ひとかたまりの小領域を１つの病変部として抽出し、抽出した病変部を含む矩形の領域を注目領域として検出する。なお、上記の判断手法としては、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムであることが好ましい。

【0050】

また、認識処理部７２により内視鏡画像から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。

【0051】

図６、図７において、認識結果補正部７３は、認識処理部７２によって得られた認識処理結果を補正する認識結果補正処理を行う。以下、認識結果補正処理についての説明を行うが、以下の説明では、認識結果補正処理の対象となる認識処理結果が得られた内視鏡画像を、特定画像８０（特定の医用画像）（図８参照）と称する。

【0052】

図８に示すように、認識結果補正処理では、特定画像８０よりも前に取得（撮像）された前画像８２（比較用の医用画像）の注目領域８２ＲＯＩの位置情報、及び、特定画像８０よりも後に取得（撮像）された後画像８４（比較用の医用画像）の注目領域８４ＲＯＩの位置情報を用いて、特定画像８０の注目領域８０ＲＯＩの位置情報が補正される。

【0053】

前画像８２は、特定画像８０が取得（撮像）された時刻を「ｔ」としたときに、時刻「ｔ－Δ」に取得（撮像）された内視鏡画像である。なお、「Δ」の値は適宜設定できるが、本実施形態では、特定画像８０の直前に取得（撮像）された画像が前画像８２となるように「Δ」の値を設定している。すなわち、例えば、毎秒６０回（フレーム）のサイクルで撮像を行って内視鏡画像を取得する場合、「Δ」を「１/６０（秒）」としている。

【0054】

後画像８４は、特定画像８０が取得（撮像）された時刻を「ｔ」としたときに、時刻「ｔ＋Δ」に取得（撮像）された内視鏡画像である。なお、「Δ」の値は適宜設定できるが、本実施形態では、特定画像８０の直後に取得（撮像）された画像が後画像８４となるように「Δ」の値を設定している。すなわち、例えば、毎秒６０回（フレーム）のサイクルで撮像を行って内視鏡画像を取得する場合、「Δ」を「１/６０（秒）」としている。

【0055】

そして、認識結果補正処理では、前画像８２の注目領域８２ＲＯＩの中心と後画像８４の注目領域８４ＲＯＩの中心との中間位置が、特定画像８０の注目領域８０ＲＯＩの中心と一致するように、特定画像８０の注目領域８０ＲＯＩの位置（位置情報）が変更（補正）される。すなわち、前画像８２及び後画像８４の注目領域８２ＲＯＩ、８４ＲＯＩの位置情報の線形和を用いて、特定画像８０の注目領域８０ＲＯＩの位置情報が補正される。

【0056】

図２に戻り、通常モード画像処理部６０により生成された通常画像、特殊モード画像処理部６２により生成された特殊画像、及び、注目領域モード画像処理部６４によって得られた処理結果（認識処理の結果並びに認識結果補正処理の結果）は、表示制御部５８に入力される。表示制御部５８は、入力された情報を用いて表示用画面を生成し、モニタ１８に出力表示する。なお、通常画像、特殊画像、処理結果は、モニタ１８に出力表示することに代えてまたは加えて、メモリ４８などに記憶してもよい。

【0057】

以上のように、第１実施形態では、認識処理に用いる特徴量、及び／または、認識処理の処理アルゴリズムなどを変更したり、このような変更後に再度認識処理を行うといったことなく、前画像８２の認識処理結果と後画像８４の認識処理結果とを用いて特定画像８０の認識処理結果を補正している。これにより、認識処理に用いる特徴量、及び／または、認識処理のアルゴリズムなどを変更したり、再認識処理を行う場合と比較して、処理負荷を軽減しながらより精度の高い認識処理結果を得ることができる。

【0058】

上記第１実施形態では、認識結果補正処理において、特定画像８０の注目領域８０ＲＯＩの位置（中心の位置）の変更を行っている（図８参照）が、特定画像８０の注目領域８０ＲＯＩのサイズを変更してもよい。この場合、前画像８２の注目領域８２ＲＯＩのサイズ（面積）と後画像８４の注目領域８４ＲＯＩのサイズ（面積）とを平均したサイズ（面積）となるように、特定画像８０の注目領域８０ＲＯＩのサイズを変更（拡大または縮小）すればよい。

【0059】

また、前画像８２の注目領域８２ＲＯＩの右上の角と後画像８４の注目領域８４ＲＯＩの右上の角との中間位置が特定画像８０の注目領域８０ＲＯＩの右上の角となり、注目領域８２ＲＯＩの右下の角と注目領域８４ＲＯＩの右下の角との中間位置が注目領域８０ＲＯＩの右下の角となり、注目領域８２ＲＯＩの左上の角と注目領域８４ＲＯＩの左上の角との中間位置が注目領域８０ＲＯＩの左上の角となり、注目領域８２ＲＯＩの左下の角と注目領域８４ＲＯＩの左下の角との中間位置が注目領域８０ＲＯＩの左下の角となるように、注目領域８０ＲＯＩのサイズ及び中心位置を変更してもよい。このように、注目領域８０ＲＯＩのサイズについても補正を行うことで、より精度の高い認識処理結果を得ることができる。

【0060】

なお、比較用の医用画像（上記第１実施形態では前画像８２と後画像８４）の中には、特定画像８０には存在しない病変部が存在する場合などがあり、このような比較用の医用画像を用いて特定画像８０の認識処理結果を補正しても適切な補正を行うことはできない。このため、注目領域の位置が、特定画像８０の注目領域８０ＲＯＩの位置から所定範囲内に存在する比較用の医用画像のみを用いて、特定画像８０の認識結果を補正することが好ましい。こうすることで、適切な補正が行われて、より精度の高い認識処理結果を得ることができる。

【0061】

［第２実施形態］
第１実施形態では、認識処理結果補正処理において、特定画像８０の注目領域８０ＲＯＩの位置情報を補正する例で説明をしたが、認識処理結果補正処理において、特定画像８０の鑑別結果を補正する構成としてもよい。この場合、認識処理部７２が、第１実施形態と同様に特定画像８０から病変部を検出し、さらに検出した病変部に対して病変の種類などを鑑別する鑑別処理を行う、あるいは、特定画像８０全体に対して鑑別処理を行う。そして、認識結果補正部７３が、前画像８２の鑑別結果と、後画像８４の鑑別結果とを用いて、特定画像８０の鑑別結果を補正する。

【0062】

具体的には、図９に示すように、前画像８２の注目領域８２ＲＯＩの鑑別結果が「腫瘍」、特定画像８０の注目領域８０ＲＯＩの鑑別結果が「非腫瘍」、後画像８４の注目領域８４ＲＯＩの鑑別結果が「腫瘍」、であった場合、特定画像８０の注目領域８０ＲＯＩの鑑別結果を「腫瘍」へと変更（補正）する。すなわち、前画像８２と後画像８４の鑑別結果の種類毎の数のうち、最も数の多い鑑別結果へと特定画像８０の鑑別結果を補正する（比較用の医用画像の鑑別結果の種類毎の数を用いて特定画像８０の鑑別結果を補正する）。

【0063】

なお、認識処理部７２による鑑別処理の方法としては、人工知能（ＡＩ（Artificial Intelligence））、深層学習、畳み込みニューラルネットワーク（Convolutional Neural Network）、テンプレートマッチング、テクスチャ解析、周波数解析等を用いることが好ましい。

【0064】

［第３実施形態］
上記実施形態では、１枚の前画像８２の認識処理結果と１枚の後画像８４の認識処理結果とを用いて、特定画像８０の認識処理結果を補正しているが、本発明はこれに限定されない。例えば、図１０、図１１に示すように、複数枚の前画像８２の認識処理結果と複数枚の後画像８４の認識処理結果とを用いて、特定画像８０の認識処理結果を補正してもよい。

【0065】

図１０、図１１では、２枚の前画像８２の認識処理結果と２枚の後画像８４の認識処理結果とを用いて、特定画像８０の認識処理結果を補正している。具体的には、図１０では、２枚の前画像８２の注目領域８２ＲＯＩの中心位置と、２枚の後画像８４の注目領域８４ＲＯＩの中心位置との平均位置を算出し、算出した位置が、特定画像８０の注目領域８０ＲＯＩの中心位置となるように、注目領域８０ＲＯＩの中心位置を補正している。また、図１１では、２枚の前画像８２の鑑別結果と２枚の後画像８４の鑑別結果とのうち最も種類が多い鑑別結果である「腫瘍」へと特定画像８０の鑑別結果を補正している。なお、３枚以上の前画像８２及び後画像８４を用いて特定画像８０の認識処理結果を補正してもよい。

【0066】

また、前画像８２と後画像８４との両方を用いて特定画像８０の認識処理結果を補正しているが、前画像８２と後画像８４とのいずれか一方のみを用いて特定画像８０の認識処理結果を補正してもよい。例えば、図１０において、前画像８２のみを用いて特定画像８０の認識結果を補正する場合、２枚の前画像８２を比較して注目領域８２ＲＯＩの中心の単位時間あたりの移動量及び移動方向を算出し、算出した移動量及び移動方向を用いて、特定画像８０の注目領域８０ＲＯＩの中心の位置を補正すればよい。また、図１１において、前画像８２のみを用いて特定画像８０の認識結果を補正する場合、２枚の前画像８２の鑑別結果の種類のうち、最も多い種類の鑑別結果へと特定画像８０の鑑別結果を補正すればよい。

【0067】

［第４実施形態］
上述した実施形態では、注目領域モード画像処理部６４が取得した全ての内視鏡画像に対して認識処理並びに認識結果補正処理を行う例で説明をしたが、本発明はこれに限定されない。例えば、所定時間毎にまたは所定フレーム毎に認識処理並びに認識結果補正処理を行ってもよい。

【0068】

また、図１２に示すように、認識処理の結果の確信度が所定の閾値を下回る場合に、認識結果補正処理を行う構成としてもよい。この場合、認識処理部７２が、認識処理を実行するとともに実行した認識処理の確信度を算出して認識結果補正部７３に通知する。そして、認識結果補正部７３が、認識処理の結果の確信度が所定の閾値を下回る場合に認識結果補正処理を行う。

【0069】

さらに、図１３に示すように、ユーザーが指定した場合に、認識処理結果を補正してもよい。この場合、注目領域モード画像処理部６４が取得した内視鏡画像あるいは認識処理部７２が行った認識処理結果をモニタ１８に表示して、ユーザーがモニタ１８を観察しながらコンソール１９を操作することにより、認識結果補正処理を行う対象（内視鏡画像あるいは認識処理結果）を指定すればよい。また、静止画像取得部１３ｂの操作があった場合にユーザーの指定があったとみなし、静止画像取得部１３ｂの操作により取得された内視鏡画像について、認識結果補正処理を行う構成としてもよい。なお、ユーザーの指定で認識処理結果補正処理を行う構成の場合、認識処理結果補正処理で必要となるものは、前画像８２及び／または後画像８４の認識処理の結果である。このため、これ以外の内視鏡画像についての認識処理は省略してもよい。

【0070】

［第５実施形態］
上述した実施形態では、内視鏡システム１０の一部であるプロセッサ装置１６が本発明のプロセッサとして機能する例、すなわち、本発明のプロセッサである制御部４６が内視鏡システム１０（プロセッサ装置１６）に内蔵され、内視鏡システム１０（プロセッサ装置１６）が、注目領域モード画像処理部６４として機能する例で説明をしたが、本発明はこれに限定されない。図１４に示す医用画像処理システム９０ように、内視鏡システム１００とは別体に画像処理装置１１０を設け、この画像処理装置１１０に、制御部４６及びメモリ４８を設け、画像処理装置１１０を、注目領域モード画像処理部６４として機能させる構成としてもよい。図１４において、画像処理装置１１０は、内視鏡システム１００と接続され、画像処理装置１１０には、内視鏡システム１００から内視鏡画像が送信される。画像処理装置１１０では、注目領域モード画像処理部６４において前述した認識処理及び認識結果補正処理を行い、認識処理及び認識結果補正処理の結果を、所定の通知先（図１４の例では内視鏡システム１００）に送信する。

【0071】

もちろん、上述の画像処理装置１１０を、内視鏡画像以外の医用画像を取得する装置またはシステムに接続し、内視鏡画像以外の医用画像に対して認識処理及び認識結果補正処理を行う医用画像処理システムとして構成してもよい。内視鏡画像以外の医用画像としては、超音波診断装置により得られる超音波画像、Ｘ線検査装置により得られるＸ線画像、ＣＴ（Computed Tomography）検査装置により得られるＣＴ画像、ＭＲＩ（Magnetic Resonance Imaging）検査装置により得られるＭＲＩ検査画像などが挙げられる。

【0072】

なお、本発明の制御部４６（プロセッサ）には、注目領域モード画像処理部６４などの各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ(Field Programmable Gate Array)などが含まれる。また、本発明の制御部４６（プロセッサ）には、ＣＰＵ、ＧＰＵ、ＦＰＧＡなどのように製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）だけでなく、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路なども含まれる。

【0073】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0074】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

【符号の説明】

【0075】

１０ 内視鏡システム（医用画像処理システム）
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１３ａ アングルノブ
１３ｂ 静止画像取得部
１３ｃ モード切替部
１３ｄ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源部
２０ａ V-LED
２０ｂ B-LED
２０ｃ G-LED
２０ｄ R-LED
２２ 光源制御部
２３ 波長カットフィルタ
２４ ライトガイド
３０ａ 照明光学系
３０ｂ 撮像光学系
３２ 照明レンズ
３４ 対物レンズ
３６ 拡大光学系
３６ａ ズームレンズ
３６ｂ レンズ駆動部
３８ 撮像センサ
４０ ＣＤＳ回路
４２ ＡＧＣ回路
４４ Ａ／Ｄ変換回路
４６ 制御部（プロセッサ）
４８ メモリ
５０ 画像信号取得部
５２ DSP
５４ ノイズ低減部
５６ 画像処理部
５８ 表示制御部
６０ 通常モード画像処理部
６２ 特殊モード画像処理部
６４ 注目領域モード画像処理部
７２ 認識処理部
７３ 認識結果補正部
８０ 特定画像（特定の医用画像）
８０ＲＯＩ 注目領域
８２ 前画像（比較用の医用画像）
８２ＲＯＩ 注目領域
８４ 後画像（比較用の医用画像）
８４ ＲＯＩ 注目領域
９０ 医用画像処理システム
１００ 内視鏡システム
１１０ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】