特許 7373335 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-25

(45)【発行日】2023-11-02

(54)【発明の名称】医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231026BHJP

【ＦＩ】

A61B1/045 618

【請求項の数】 16

(21)【出願番号】P 2019169600

(22)【出願日】2019-09-18

(65)【公開番号】P2021045337

(43)【公開日】2021-03-25

【審査請求日】2021-08-20

【審判番号】

【審判請求日】2022-12-01

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(72)【発明者】

【氏名】加門 駿平

【合議体】

【審判長】石井 哲

【審判官】伊藤 幸仙

【審判官】上田 泰

(56)【参考文献】

【文献】国際公開第２０１９／０３９２５９（ＷＯ，Ａ１）

【文献】特開平１０－３２３３２６（ＪＰ，Ａ）

【文献】特開２００９－１００９３５（ＪＰ，Ａ）

【文献】国際公開第２０１９／０４９５０３（ＷＯ，Ａ１）

【文献】特開２０１７－２１３０９７（ＪＰ，Ａ）

【文献】国際公開第２０１９／０８７７９０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２１／０８２５６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A61B 1/00 - 1/32

(57)【特許請求の範囲】

【請求項1】

医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、
前記画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、
フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、
前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理部を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択部と、
を備え、
前記認識処理部は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類部、前記注目領域を測定する測定部及び前記注目領域に対して強調処理を施す強調処理部の少なくともいずれかを備え、
前記選択部は、前記分類部を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定部を用いて測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理部を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択する医用画像処理装置。

【請求項2】

前記選択部を用いて選択された医用画像を表示する表示部を備え、
前記表示部は、前記ユーザ入力信号を取得したタイミングから一定期間、前記選択部を用いて選択された医用画像を表示する請求項１に記載の医用画像処理装置。

【請求項3】

前記認識処理部を用いた医用画像に対する認識結果に応じて、処理対象の医用画像に処理を施す処理部を備え、
前記表示部は、前記処理部を用いて処理が実施された医用画像を表示する請求項２に記載の医用画像処理装置。

【請求項4】

前記選択部を用いて選択された医用画像を記憶する選択画像記憶部を備えた請求項１又は２に記載の医用画像処理装置。

【請求項5】

前記選択画像記憶部は、記憶対象の医用画像に対する認識処理の結果を関連付けして、前記記憶対象の医用画像を記憶する請求項４に記載の医用画像処理装置。

【請求項6】

前記画像取得部を用いて取得した医用画像の画質を評価する画質評価部を備え、
前記選択部は、前記画質評価部を用いた医用画像の画質評価結果に応じて医用画像を選択する請求項１から５のいずれか一項に記載の医用画像処理装置。

【請求項7】

前記画質評価部は、評価対象の医用画像のぼけ、ぶれ、明るさ、ノイズの有無及び鮮明度の少なくともいずれかを評価する請求項６に記載の医用画像処理装置。

【請求項8】

前記選択部は、前記ユーザ入力信号の取得タイミングと前記画像取得部を用いて医用画像を取得したタイミングとの間の期間に基づき医用画像を選択する請求項１から７のいずれか一項に記載の医用画像処理装置。

【請求項9】

前記取得画像記憶部は、規定の期間において前記画像取得部を用いて取得する複数の医用画像を記憶する請求項１から８のいずれか一項に記載の医用画像処理装置。

【請求項10】

前記取得画像記憶部は、規定の期間において前記画像取得部を用いて取得する複数の医用画像について、前記認識処理部を用いた認識処理の結果に応じて、記憶対象の医用画像を更新する請求項１から９のいずれか一項に記載の医用画像処理装置。

【請求項11】

前記選択部は、前記認識処理部から正解確率が付された複数の認識結果が導出される場合、規定の閾値以上の前記正解確率を有する前記認識結果を選択する請求項１から１０のいずれか一項に記載の医用画像処理装置。

【請求項12】

前記選択部は、前記認識処理部から正解確率が付された複数の認識結果が導出される場合、前記正解確率が最大となる前記認識結果を選択する請求項１から１０のいずれか一項に記載の医用画像処理装置。

【請求項13】

内視鏡を制御する内視鏡制御部と、
医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、
前記画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、
フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、
前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理部を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択部と、
を備え、
前記認識処理部は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類部、処理対象の医用画像を測定する測定部及び処理対象の医用画像から抽出された注目領域に対して強調処理を施す強調処理部の少なくともいずれかを備え、
前記選択部は、前記分類部を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定部を用いて測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理部を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択するプロセッサ装置。

【請求項14】

内視鏡と、
前記内視鏡を制御するプロセッサ装置と、
前記内視鏡を用いて取得した内視鏡画像に処理を施す医用画像処理装置と、
を備えた内視鏡システムであって、
前記医用画像処理装置は、
内視鏡を制御する内視鏡制御部と、
医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、
前記画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、
フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、
前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理部を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択部と、
を備え、
前記認識処理部は、前記注目領域を規定の一以上のクラスあり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類部、前記注目領域を測定する測定部及び前記注目領域に対して強調処理を施す強調処理部の少なくともいずれかを備え、
前記選択部は、前記分類部を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定部を用いて前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理部を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択する内視鏡システム。

【請求項15】

コンピュータが適用される医用画像処理装置の作動方法であって、
前記医用画像処理装置が、
医用画像を取得する画像取得工程と、
前記画像取得工程において取得した医用画像を記憶する取得画像記憶工程と、
前記画像取得工程において取得した医用画像に対して認識処理を施す認識処理工程と、
フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得工程と、
前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理工程において実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択工程と、
を実行し、
前記認識処理工程は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類工程、前記注目領域を測定する測定工程及び前記注目領域に対して強調処理を施す強調処理工程の少なくともいずれかを含む認識処理工程を含み、
前記選択工程は、前記分類工程において前記注目領域が予め定めたクラスに分類される医用画像、前記測定工程において測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理工程において前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択する医用画像処理装置の作動方法。

【請求項16】

コンピュータに、
医用画像を取得する画像取得機能、
前記画像取得機能を用いて取得した医用画像を記憶する取得画像記憶機能、
前記画像取得機能を用いて取得した医用画像に対して認識処理を施す認識処理機能、
フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得機能及び
前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理機能を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択機能を実現させ、
前記認識処理機能は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類機能、前記注目領域を測定する測定機能及び処理対象の医用画像から抽出された注目領域に対して強調処理を施す強調処理機能の少なくともいずれかを含み、
前記選択機能は、前記分類機能を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定機能を用いて測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理機能を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

内視鏡画像等に対してＡＩ技術等を導入し、病変の検出及び診断支援を行うシステムは、病変の見落とし率を低下させ、不要な生検の削減に繋がるとして注目を集めている。このようなシステムは、内視鏡検査の実施中においてリアルタイムに動作して、認識結果等の画面表示を実施するなどの医師への報知を実現する。なお、ＡＩはArtificial Intelligenceの省略語である。

【0003】

特許文献１は、通常光観察用の照明を用いて撮像された通常光観察画像と、特殊光観察用の照明を用いて撮像された特殊光観察画像を生成する内視鏡装置が記載されている。同文献に記載の装置は、通常光観察画像及び特殊光観察画像を同時に表示させる表示モードにおいてフリーズボタンが押下された場合に、通常光観察画像の静止画像及び特殊光観察画像の静止画像を同時に表示させる。

【0004】

その際に、同装置はフリーズ指示信号の入力から一定期間、通常光観察画像及び特殊光観察画像のそれぞれの連続する二フレームの動き量を算出し、動き量が最小となる場合にフリーズメモリの画像を更新する。同装置は、一定期間が経過したタイミングにおいてフリーズメモリ記憶されている画像を表示させる。これにより、ぶれがないか又はぶれが少ない静止画像の表示を実現している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－２３９７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、実際の内視鏡検査では、体動などの影響に起因する観察画像の変動が大きく、認識処理の結果が安定して得られないことによって、医師が認識処理の結果を確認することが困難な場合が発生し得る。これに対して、医師は内視鏡検査中にフリーズ指示操作等を実施して、観察画像の確認及び認識処理の結果の確認が可能である。しかし、適切なタイミングにおいてフリーズ指示操作を行い、操作者が意図する観察画像を得ることが困難であるという課題が存在する。フリーズ指示操作に基づく操作者が意図する静止画像の取得が困難な場合の例として、数フレームに渡って注目領域が検出できない場合及び注目領域の病種等が分類できず、分類不能と判断される場合等が挙げられる。

【0007】

内視鏡検査において、連続する二フレームについて認識処理の結果が安定して得られるとは限らない。そうすると、特許文献１に記載の装置は、通常光観察画像の全体の動き及び特殊光画像の全体の動きが最小となる画像を表示対象とするものであり、通常光観察画像等の全体の動きが最小となる画像であったとしても、認識処理の結果が得られていない場合があり得る。

【0008】

なお、上記した内視鏡検査における課題は、ＣＴ装置等の内視鏡システム以外の医用画像の撮像等を実施する装置においても同様に存在する。

【0009】

本発明はこのような事情に鑑みてなされたもので、注目領域に関する認識結果が得られ、認識結果が操作者の意図に合致する医用画像の記憶及び表示を実施し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、次の発明態様を提供する。

【0011】

第１態様に係る医用画像処理装置は、医用画像を取得する画像取得部と、画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、ユーザ入力信号を取得した場合に、認識処理部を用いて実施された認識処理において注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する選択部と、を備えた医用画像処理装置である。

【0012】

第１態様によれば、注目領域に関する認識処理の結果が得られた医用画像から、医用画像が選択される。これにより、選択部は認識結果が得られ、認識結果が操作者の意図に合致する医用画像を選択し得る。

【0013】

医用画像は、動画像でもよいし、複数の静止画像を含む静止画像群でもよい。医用画像の一例として、内視鏡画像が挙げられる。

【0014】

医用画像の取得は、医用画像を生成する撮像装置から取得してもよいし、撮像装置を用いて取得した医用画像を記憶する記憶装置から取得してもよい。

【0015】

医用画像の注目領域は、画素値等に基づく特徴量が周辺と区別される領域を表す。

【0016】

選択部の選択対象とされる医用画像は、認識処理部の認識結果に基づき更新される一つの医用画像を適用し得る。選択部の選択対象とされる医用画像は、認識処理部の認識結果が得られた複数の医用画像を適用し得る。

【0017】

第２態様は、第１態様の医用画像処理装置において、選択部は、ユーザ入力信号を取得したタイミングの近傍のタイミングにおいて、画像取得部を用いて取得し、注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する構成としてもよい。

【0018】

第２態様によれば、選択部はユーザ入力信号の取得タイミングの近傍タイミングにおける医用画像を選択し得る。

【0019】

ユーザ入力信号の取得タイミングの近傍タイミングは、ユーザ入力信号の取得タイミングよりも前でもよいし、ユーザ入力信号の取得タイミングよりも後でもよい。ユーザ入力信号の取得タイミングの近傍タイミングは、ユーザ入力信号の取得タイミングでもよい。

【0020】

近傍は、医用画像の取得周期及び医用画像の認識結果等に応じて規定し得る。

【0021】

第３態様は、第１態様又は第２態様の医用画像処理装置において、選択部を用いて選択された医用画像を表示する表示部を備え、表示部は、ユーザ入力信号を取得したタイミングから一定期間、選択部を用いて選択された医用画像を表示する構成としてもよい。

【0022】

第３態様によれば、医用画像の静止画像を表示させる旨のユーザ入力信号を取得した際に、表示部は選択部を用いて選択された医用画像を一定期間、表示し得る。

【0023】

一定期間は、医用画像の取得周期及び医用画像の認識結果等に応じて規定し得る。

【0024】

第４態様は、第３態様の医用画像処理装置において、認識処理部を用いた医用画像に対する認識結果に応じて、処理対象の医用画像に処理を施す処理部を備え、表示部は、処理部を用いて処理が実施された医用画像を表示する構成としてもよい。

【0025】

第４態様によれば、表示部は処理部を用いて規定の処理が施された医用画像を表示し得る。

【0026】

処理の例として、注目領域の強調処理が挙げられる。強調処理の例として、注目領域の少なくとも一部を囲む閉曲線の重畳表示、処理注目領域を指す矢印の重畳表示及び注目領域の四隅への図形の重畳表示等が挙げられる。

【0027】

表示部は、処理部を用いた処理の処理結果を表示してもよい。

【0028】

第５態様は、第１態様から第３態様のいずれか一態様の医用画像処理装置において、選択部を用いて選択された医用画像を記憶する選択画像記憶部を備えた構成としてもよい。

【0029】

第５態様によれば、選択画像記憶部は選択された医用画像を記憶し得る。

【0030】

第６態様は、第５態様の医用画像処理装置において、選択画像記憶部は、記憶対象の医用画像に対する認識処理の結果を関連付けして、記憶対象の医用画像を記憶する構成としてもよい。

【0031】

第６態様によれば、選択画像記憶部は選択された医用画像に対する認識処理の結果と関連付けして記憶し得る。

【0032】

第７態様は、第５態様又は第６態様の医用画像処理装置において、認識処理部を用いた医用画像に対する認識結果に応じて、処理対象の医用画像に処理を施す処理部を備え、選択画像記憶部は、処理部を用いて処理が実施された医用画像を記憶する構成としてもよい。

【0033】

第７態様によれば、選択画像記憶部は処理部を用いて処理が施された医用画像を記憶し得る。

【0034】

選択画像記憶部は、処理部を用いた医用画像は処理結果を重畳させた処理済み画像を記憶してもよいし、処理結果を医用画像と別のファイルとして記憶してもよい。

【0035】

第８態様は、第１態様から第７態様のいずれか一態様の医用画像処理装置において、画像取得部を用いて取得した医用画像の画質を評価する画質評価部を備え、選択部は、画質評価部を用いた医用画像の画質評価結果に応じて医用画像を選択する構成としてもよい。

【0036】

第８態様によれば、選択部は医用画像の画質に応じて医用画像を選択し得る。

【0037】

第９態様は、第８態様の医用画像処理装置において、画質評価部は、評価対象の医用画像のぼけ、ぶれ、明るさ、ノイズの有無及び鮮明度の少なくともいずれかを評価する構成としてもよい。

【0038】

第９態様によれば、選択部は、ぼけ、ぶれ、明るさ、ノイズの有無及び鮮明度の少なくともいずれかの観点を適用して画質の評価がされた医用画像を選択し得る。

【0039】

第１０態様は、第１態様から第９態様のいずれか一態様の医用画像処理装置において、選択部は、ユーザ入力信号の取得タイミングと画像取得部を用いて医用画像を取得したタイミングとの間の期間に基づき医用画像を選択する構成としてもよい。

【0040】

第１０態様によれば、選択部はユーザ入力信号の取得タイミングから最短期間に取得した医用画像を選択し得る。

【0041】

第１１態様は、第１態様から第１０態様のいずれか一態様の医用画像処理装置において、認識処理部は、処理対象の医用画像における注目領域を検出し、選択部は、注目領域が検出された医用画像を選択する構成としてもよい。

【0042】

第１１態様によれば、認識部は医用画像に対する認識処理として注目領域の検出処理を適用し得る。

【0043】

第１２態様は、第１態様から第１１態様のいずれか一態様の医用画像処理装置において、認識処理部は、処理対象の医用画像を規定の一以上のクラスに分類する分類部を備え、選択部は、予め定めたクラスに分類される医用画像を選択する構成としてもよい。

【0044】

第１２態様によれば、分類部は医用画像に対する認識処理として医用画像の分類処理を実施し得る。

【0045】

分類結果は正解確率を適用して表現し得る。

【0046】

第１３態様は、第１態様から第１２態様のいずれか一態様の医用画像処理装置において、認識処理部は、処理対象の医用画像を測定する測定部を備え、選択部は、測定部を用いて測定した値が予め定めた閾値以上である医用画像を選択する構成としてもよい。

【0047】

第１３態様によれば、測定部は医用画像に対する認識処理として医用画像の測定を実施し得る。

【0048】

第１４態様は、第１態様から第１３態様のいずれか一態様の医用画像処理装置において、取得画像記憶部は、規定の期間において画像取得部を用いて取得する複数の医用画像を記憶する構成としてもよい。

【0049】

第１４態様によれば、選択部は取得画像記憶部に記憶される複数の医用画像を選択対象とし得る。

【0050】

第１５態様は、第１態様から第１３態様のいずれか一態様の医用画像処理装置において、取得画像記憶部は、規定の期間において画像取得部を用いて取得する複数の医用画像について、認識処理部を用いた認識処理の結果に応じて、記憶対象の医用画像を更新する構成としてもよい。

【0051】

第１５態様によれば、選択部は取得画像記憶部に記憶される最新の医用画像を選択対象とし得る。

【0052】

第１６態様に係るプロセッサ装置は、内視鏡を制御する内視鏡制御部と、医用画像を取得する画像取得部と、画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、ユーザ入力信号を取得した場合に、認識処理部を用いて実施された認識処理において注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する選択部と、を備えたプロセッサ装置である。

【0053】

第１６態様によれば、第１態様と同様の効果を得ることができる。

【0054】

第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。

【0055】

第１７態様に係る内視鏡システムは、内視鏡と、内視鏡を制御するプロセッサ装置と、内視鏡を用いて取得した内視鏡画像に処理を施す医用画像処理装置と、を備えた内視鏡システムであって、医用画像処理装置は、内視鏡を制御する内視鏡制御部と、医用画像を取得する画像取得部と、画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、ユーザ入力信号を取得した場合に、認識処理部を用いて実施された認識処理において注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する選択部と、を備えた内視鏡システムである。

【0056】

第１７態様によれば、第１態様と同様の効果を得ることができる。

【0057】

第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。

【0058】

第１８態様に係る医用画像処理方法は、医用画像を取得する画像取得工程と、画像取得工程において取得した医用画像を記憶する取得画像記憶工程と、画像取得工程において取得した医用画像に対して認識処理を施す認識処理工程と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得工程と、ユーザ入力信号を取得した場合に、認識処理工程において実施された認識処理において注目領域に関する認識処理の結果が得られた医用画像から、医用画像を選択する選択工程と、を含む医用画像処理方法である。

【0059】

第１８態様によれば、第１態様と同様の効果を得ることができる。

【0060】

第１８態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理方法の構成要素として把握することができる。

【0061】

第１９態様に係るプログラムは、コンピュータに、医用画像を取得する画像取得機能、画像取得機能を用いて取得した医用画像を記憶する取得画像記憶機能、画像取得機能を用いて取得した医用画像の注目領域に対して認識処理を施す認識処理機能、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得機能及びユーザ入力信号を取得した場合に、認識処理機能を用いて実施された認識処理において注目領域に関する認識処理の結果が得られた医用画像から、医用画像を選択する選択機能を実現させるプログラムである。

【0062】

第１９態様によれば、第１態様と同様の効果を得ることができる。

【0063】

第１９態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

【発明の効果】

【0064】

本発明によれば、注目領域に関する認識処理の結果が得られた医用画像から、医用画像が選択される。これにより、選択部は認識結果が得られ、認識結果が操作者の意図に合致する医用画像を選択し得る。

【図面の簡単な説明】

【0065】

【図1】図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。

【図2】図２は内視鏡システムの機能ブロック図である。

【図3】図３は医用画像処理装置の機能ブロック図である。

【図4】図４は第一実施形態に係る医用画像処理方法の手順を示すフローチャートである。

【図5】図５は注目領域の検出結果の表示例を示す内視鏡画像の模式図である。

【図6】図６は注目領域の分類結果の表示例を示す内視鏡画像の模式図である。

【図7】図７は注目領域の測定結果の表示例を示す内視鏡画像の模式図である。

【図8】図８はユーザ指示入力信号取得タイミングの以前のフレーム画像を選択対象とする場合の模式図である。

【図9】図９はユーザ指示入力信号取得タイミングの以後のフレーム画像を選択対象とする場合の模式図である。

【図10】図１０はユーザ指示入力信号取得タイミングの前後のフレーム画像を選択対象とする場合の模式図である。

【図11】図１１は選択対象のフレーム画像の他の例を示す模式図である。

【図12】図１２は第二実施形態に係る医用画像処理装置の機能ブロック図である。

【図13】図１３は第二実施形態に係る医用画像処理方法の手順を示すフローチャートである。

【発明を実施するための形態】

【0066】

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

【0067】

［内視鏡システムの全体構成］
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。内視鏡システム１０は、内視鏡本体１００、プロセッサ装置２００、光源装置３００及びモニタ４００を備える。なお、同図には内視鏡本体１００に具備される先端硬質部１１６の一部を拡大して図示する。

【0068】

〔内視鏡本体の構成例〕
内視鏡本体１００は、手元操作部１０２及び挿入部１０４を備える。ユーザは、手元操作部１０２を把持して操作し、挿入部１０４を被検体の体内に挿入して、被検体の体内を観察する。なお、ユーザは医師及び術者等と同義である。また、ここでいう被検体は患者及び被検査者と同義である。

【0069】

手元操作部１０２は、送気送水ボタン１４１、吸引ボタン１４２、機能ボタン１４３及び撮像ボタン１４４を備える。送気送水ボタン１４１は送気指示及び送水指示の操作を受け付ける。

【0070】

吸引ボタン１４２は吸引指示を受け付ける。機能ボタン１４３は各種の機能が割り付けられる。機能ボタン１４３は各種機能の指示を受け付ける。撮像ボタン１４４は、撮像指示操作を受け付ける。撮像は動画像撮像及び静止画像撮像が含まれる。

【0071】

挿入部１０４は、軟性部１１２、湾曲部１１４及び先端硬質部１１６を備える。軟性部１１２、湾曲部１１４及び先端硬質部１１６は、手元操作部１０２の側から、軟性部１１２、湾曲部１１４及び先端硬質部１１６の順に配置される。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続され、挿入部１０４の基端側に手元操作部１０２が接続される。

【0072】

ユーザは、手元操作部１０２を操作し湾曲部１１４を湾曲させて、先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６は、撮像部、照明部及び鉗子口１２６を備える。

【0073】

図１では撮像部を構成する撮影レンズ１３２を図示する。また、同図では照明部を構成する照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを図示する。なお、撮像部は符号１３０を付して図２に図示する。また、照明部は符号１２３を付して図２に図示する。

【0074】

観察及び処置の際に、図２に示す操作部２０８の操作に応じて、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを介して、白色光及び狭帯域光の少なくともいずれかが出力される。

【0075】

送気送水ボタン１４１が操作された場合、送水ノズルから洗浄水が放出されるか、又は送気ノズルから気体が放出される。洗浄水及び気体は照明用レンズ１２３Ａ等の洗浄に用いられる。なお、送水ノズル及び送気ノズルの図示は省略する。送水ノズル及び送気ノズルを共通化してもよい。

【0076】

鉗子口１２６は管路と連通する。管路は処置具が挿入される。処置具は適宜進退可能に支持される。腫瘍等の摘出等の際に、処置具を適用して必要な処置が実施される。

【0077】

図２は内視鏡システムの機能ブロック図である。内視鏡本体１００は、撮像部１３０を備える。撮像部１３０は先端硬質部１１６の内部に配置される。撮像部１３０は、撮影レンズ１３２、撮像素子１３４、駆動回路１３６及びアナログフロントエンド１３８を備える。なお、図２に示すＡＦＥはAnalog Front Endの省略語である。

【0078】

撮影レンズ１３２は先端硬質部１１６の先端側端面１１６Ａに配置される。撮影レンズ１３２の先端側端面１１６Ａと反対側の位置には、撮像素子１３４が配置される。撮像素子１３４は、ＣＭＯＳ型のイメージセンサが適用される。撮像素子１３４はＣＣＤ型のイメージセンサを適用してもよい。なお、ＣＭＯＳはComplementary Metal-Oxide Semiconductorの省略語である。ＣＣＤはCharge Coupled Deviceの省略語である。

【0079】

撮像素子１３４はカラー撮像素子が適用される。カラー撮像素子の例としてＲＧＢに対応するカラーフィルタを備えた撮像素子が挙げられる。なお、ＲＧＢは赤、緑及び青のそれぞれの英語表記であるred、green及びyellowの頭文字である。

【0080】

撮像素子１３４はモノクロ撮像素子を適用してもよい。撮像素子１３４にモノクロ撮像素子が適用される場合、撮像部１３０は、撮像素子１３４の入射光の波長帯域を切り替えて、面順次又は色順次の撮像を実施し得る。

【0081】

駆動回路１３６は、プロセッサ装置２００から送信される制御信号に基づき、撮像素子１３４の動作に必要な各種のタイミング信号を撮像素子１３４へ供給する。

【0082】

アナログフロントエンド１３８は、アンプ、フィルタ及びＡＤコンバータを備える。なお、ＡＤはアナログ及びデジタルのそれぞれの英語表記であるanalog及びdigitalの頭文字である。アナログフロントエンド１３８は、撮像素子１３４の出力信号に対して、増幅、ノイズ除去及びアナログデジタル変換等の処理を施す。アナログフロントエンド１３８の出力信号は、プロセッサ装置２００へ送信される。

【0083】

観察対象の光学像は、撮影レンズ１３２を介して撮像素子１３４の受光面に結像される。撮像素子１３４は、観察対象の光学像を電気信号へ変換する。撮像素子１３４から出力される電気信号は、信号線を介してプロセッサ装置２００へ送信される。

【0084】

照明部１２３は先端硬質部１１６に配置される。照明部１２３は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを備える。照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂは、先端側端面１１６Ａにおける撮影レンズ１３２の隣接位置に配置される。

【0085】

照明部１２３は、ライトガイド１７０を備える。ライトガイド１７０の射出端は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂの先端側端面１１６Ａと反対側の位置に配置される。

【0086】

ライトガイド１７０は、図１に示す挿入部１０４、手元操作部１０２及びユニバーサルケーブル１０６に挿入される。ライトガイド１７０の入射端は、ライトガイドコネクタ１０８の内部に配置される。

【0087】

〔プロセッサ装置の構成例〕
プロセッサ装置２００は、画像入力コントローラ２０２、画像処理部２０４及びビデオ出力部２０６を備える。画像入力コントローラ２０２は、内視鏡本体１００から送信される、観察対象の光学像に対応する電気信号を取得する。

【0088】

画像処理部２０４は、観察対象の光学像に対応する電気信号である撮像信号に基づき、観察対象の内視鏡画像を生成する。なお、本明細書における画像という用語は、画像自体及び画像を表す画像データの意味を含み得る。画像は動画像及び静止画像を含み得る。なお、内視鏡画像は符号３８を付して図３に図示する。

【0089】

画像処理部２０４は、撮像信号に対してホワイトバランス処理及びシェーディング補正処理等のデジタル信号処理を適用した画質補正を実施し得る。画像処理部２０４は、ＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。

【0090】

ビデオ出力部２０６は、画像処理部２０４を用いて生成された画像を表す表示信号をモニタ４００へ送信する。モニタ４００は観察対象の画像を表示する。

【0091】

プロセッサ装置２００は、図１に示す撮像ボタン１４４が操作された際に、内視鏡本体１００から送信される撮像指示信号に応じて、画像入力コントローラ２０２及び画像処理部２０４等を動作させる。

【0092】

プロセッサ装置２００は、内視鏡本体１００から静止画像撮像を表すフリーズ指示信号を取得した場合に、画像処理部２０４を適用して、撮像ボタン１４４の操作タイミングにおけるフレーム画像に基づく静止画像を生成する。プロセッサ装置２００は、モニタ４００を用いて静止画像を表示させる。なお、フレーム画像は符号３８Ｂを付して図３に図示する。静止画像は符号３９を付して図３に図示する。

【0093】

プロセッサ装置２００は通信制御部２０５を備える。通信制御部２０５は、病院内システム及び病院内ＬＡＮ等を介して通信可能に接続される装置との通信を制御する。通信制御部２０５はＤＩＣＯＭ規格に準拠した通信プロトコルを適用し得る。なお、病院内システムの例として、ＨＩＳ（Hospital Information System）が挙げられる。ＬＡＮはLocal Area Networkの省略語である。

【0094】

プロセッサ装置２００は記憶部２０７を備える。記憶部２０７は、内視鏡本体１００を用いて生成された内視鏡画像を記憶する。記憶部２０７は、内視鏡画像に付帯する各種情報を記憶してもよい。

【0095】

プロセッサ装置２００は操作部２０８を備える。操作部２０８はユーザの操作に応じた指示信号を出力する。操作部２０８は、キーボード、マウス及びジョイスティック等を適用し得る。

【0096】

プロセッサ装置２００は、音声処理部２０９及びスピーカ２０９Ａを備える。音声処理部２０９は音声として報知される情報を表す音声信号を生成する。スピーカ２０９Ａは、音声処理部２０９を用いて生成された音声信号を音声へ変換する。スピーカ２０９Ａから出力される音声の例として、メッセージ、音声ガイダンス及び警告音等が挙げられる。

【0097】

プロセッサ装置２００は、ＣＰＵ２１０、ＲＯＭ２１１及びＲＡＭ２１２を備える。なお、ＣＰＵはCentral Processing Unitの省略語である。ＲＯＭはRead Only Memoryの省略語である。ＲＡＭはRandom Access Memoryの省略語である。

【0098】

ＣＰＵ２１０は、プロセッサ装置２００の全体制御部として機能する。ＣＰＵ２１０は、ＲＯＭ２１１及びＲＡＭ２１２を制御するメモリコントローラとして機能する。ＲＯＭ２１１は、プロセッサ装置２００に適用される各種のプログラム及び制御パラメータ等が記憶される。

【0099】

ＲＡＭ２１２は各種処理におけるデータの一時記憶領域及びＣＰＵ２１０を用いた演算処理の処理領域に適用される。ＲＡＭ２１２は内視鏡画像を取得した際のバッファメモリに適用し得る。

【0100】

プロセッサ装置２００は、内視鏡本体１００を用いて生成された内視鏡画像に対して各種の処理を実施し、モニタ４００を用いて内視鏡画像及び内視鏡画像に付帯する各種情報を表示させる。プロセッサ装置２００は、内視鏡画像及び内視鏡画像に付帯する各種情報を記憶する。

【0101】

すなわち、プロセッサ装置２００は、内視鏡本体１００を用いた内視鏡検査において、モニタ４００を用いた内視鏡画像等の表示、スピーカ２０９Ａを用いた音声情報の出力及び内視鏡画像に対する各種処理を実施する。

【0102】

プロセッサ装置２００は、画像処理部２０４などの構成要素を用いて、医用画像に対して規定の処理を実施する医用画像処理装置として機能し得る。規定の処理の例として、注目領域の検出処理、注目領域の強調処理、注目領域の分類処理及び注目領域の測定処理等が挙げられる。

【0103】

〔プロセッサ装置のハードウェア構成〕
プロセッサ装置２００はコンピュータを適用し得る。コンピュータは、以下のハードウェアを適用し、規定のプログラムを実行してプロセッサ装置２００の機能を実現し得る。なお、プログラムはソフトウェアと同義である。

【0104】

プロセッサ装置２００は、信号処理を実施する信号処理部として各種のプロセッサを適用し得る。プロセッサの例として、ＣＰＵ及びＧＰＵ（Graphics Processing Unit）が挙げられる。ＣＰＵはプログラムを実行して信号処理部として機能する汎用的なプロセッサである。ＧＰＵは画像処理に特化したプロセッサである。プロセッサのハードウェアは、半導体素子等の電気回路素子を組み合わせた電気回路が適用される。各制御部は、プログラム等が記憶されるＲＯＭ及び各種演算の作業領域等であるＲＡＭを備える。

【0105】

一つの信号処理部に対して二つ以上のプロセッサを適用してもよい。二つ以上のプロセッサは、同じ種類のプロセッサでもよいし、異なる種類のプロセッサでもよい。また、複数の信号処理部に対して一つのプロセッサを適用してもよい。なお、実施形態に記載のプロセッサ装置２００は内視鏡制御部の一例に相当する。

【0106】

〔光源装置の構成例〕
光源装置３００は、光源３１０、絞り３３０、集光レンズ３４０及び光源制御部３５０を備える。光源装置３００は、ライトガイド１７０へ観察光を入射させる。光源３１０は、赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂを備える。赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂはそれぞれ、赤色、緑色及び青色の狭帯域光を放出する。

【0107】

光源３１０は、赤色、緑色及び青色の狭帯域光を任意に組み合わせた照明光を生成し得る。例えば、光源３１０は赤色、緑色及び青色の狭帯域光を組み合わせて白色光を生成し得る。また、光源３１０は赤色、緑色及び青色の狭帯域光の任意の二色を組み合わせて狭帯域光を生成し得る。

【0108】

光源３１０は赤色、緑色及び青色の狭帯域光の任意の一色を用いて狭帯域光を生成し得る。光源３１０は、白色光又は狭帯域光を選択的に切り替えて放出し得る。なお、狭帯域光は特殊光と同義である。光源３１０は、赤外光を放出する赤外光源及び紫外光を放出する紫外光源等を備え得る。

【0109】

光源３１０は、白色光を放出する白色光源、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを備える態様を採用し得る。かかる態様の光源３１０は、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを切り替えて、白色光又は狭帯域光のいずれかを選択的に放出し得る。

【0110】

狭帯域光を通過させるフィルタは、異なる帯域に対応する複数のフィルタが含まれ得る。光源３１０は、異なる帯域に対応する複数のフィルタを選択的に切り替えて、帯域が異なる複数の狭帯域光を選択的に放出し得る。

【0111】

光源３１０は、観察対象の種類及び観察の目的等に応じた、種類及び波長帯域等を適用し得る。光源３１０の種類の例として、レーザ光源、キセノン光源及びＬＥＤ光源等が挙げられる。なお、ＬＥＤはLight-Emitting Diodeの省略語である。

【0112】

光源装置３００へライトガイドコネクタ１０８が接続された際に、光源３１０から放出された観察光は、絞り３３０及び集光レンズ３４０を介して、ライトガイド１７０の入射端へ到達する。観察光は、ライトガイド１７０及び照明用レンズ１２３Ａ等を介して、観察対象へ照射される。

【0113】

光源制御部３５０は、プロセッサ装置２００から送信される指示信号に基づき、光源３１０及び絞り３３０へ制御信号を送信する。光源制御部３５０は、光源３１０から放出される観察光の照度、観察光の切り替え及び観察光のオンオフ等を制御する。

【0114】

［第一実施形態に係る医用画像処理装置の構成例］
〔概要〕
第一実施形態に係る医用画像処理装置１４は、図１に示す内視鏡システム１０などのリアルタイムで被検体の診断を行うシステム等において、医用画像の認識処理を実施する。リアルタイムで被検体の診断を行うシステム等の他の例として、ＣＴ装置、ＭＲＩ装置及び超音波診断装置が挙げられる。

【0115】

なお、ＣＴはComputed Tomographyの省略語である。ＭＲＩはMagnetic Resonance Imagingの省略語である。超音波診断装置は、超音波検査装置及び超音波装置等と呼ばれる装置が含まれ得る。

【0116】

図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。同図に示す医用画像処理装置１４は、図２に示すプロセッサ装置２００の構成要素を適用して実現される。医用画像処理装置１４は、画像取得部４０、画像認識部４２、表示制御部４４、記憶部４６、画像選択部４８及び入力受付部５０を備える。以下、各部について説明する。

【0117】

〔画像取得部〕
画像取得部４０は、図１に示す内視鏡本体１００を用いて撮像した内視鏡画像３８を取得する。以下、内視鏡画像３８の取得は、動画像３８Ａの取得、フレーム画像３８Ｂの取得及び静止画像３９の取得を含み得る。

【0118】

画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部４６Ａへ記憶する。画像取得部４０は、内視鏡画像３８を表す信号を伝送するケーブルを介して、プロセッサ装置２００から内視鏡画像３８を取得してもよい。

【0119】

画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置２００から内視鏡画像３８を取得してもよい。画像取得部４０は、通信ネットワークを介して内視鏡画像３８を取得してもよい。

【0120】

画像取得部４０は、時系列のフレーム画像３８Ｂから構成される動画像３８Ａを取得し得る。画像取得部４０は動画像３８Ａの撮像途中に静止画像撮像が実施された場合に、静止画像３９を取得し得る。画像取得部４０は、図２に示す画像入力コントローラ２０２に対応する。

【0121】

〔画像認識部〕
画像認識部４２は、注目領域検出部４２Ａ、分類部４２Ｂ及び測定部４２Ｃを備える。画像認識部４２は、内視鏡画像３８を構成するフレーム画像３８Ｂに対して認識処理を施す。画像認識部４２はフレーム画像３８Ｂごとに認識結果を記憶する。画像認識部４２は、認識結果が得られないフレーム画像３８Ｂについて、認識不能であることを表す認識結果を記憶してもよい。画像認識部４２は、認識結果が得られないフレーム画像３８Ｂについて、認識結果を非記憶としてもよい。

【0122】

画像認識部４２は、画像取得部４０を用いて取得したフレーム画像３８Ｂに対して、リアルタイムで認識処理を実施し得る。画像認識部４２は、予め記憶されているフレーム画像３８Ｂに対して、認識処理を実施してもよい。画像認識部４２は、図２に示す画像処理部２０４に対応する。なお、実施形態に記載の画像認識部４２は認識処理部の一例に相当する。図１２に示す画像認識部４３も同様である。

【0123】

注目領域検出部４２Ａは、ＣＮＮ（Convolutional Neural Network）等の学習器を適用して、画像取得部４０を用いて取得したフレーム画像３８Ｂから注目領域を検出する。注目領域検出部４２Ａは、フレーム画像３８Ｂから検出した注目領域の検出結果を注目領域記憶部４６Ｂへ記憶する。

【0124】

注目領域検出部４２Ａは、フレーム画像３８Ｂとフレーム画像３８Ｂにおける注目領域の位置情報とのペアを学習データとして学習を実施した学習済みの学習器が適用される。注目領域の検出の例として、病変の検出及び特定臓器の検出等が挙げられる。

【0125】

注目領域検出部４２Ａは、注目領域を強調する強調表示を設定してもよい。すなわち、画像認識部４２は注目領域を強調する処理を実施する強調処理部を具備してもよい。強調処理部は、注目領域の位置を特定し、注目領域の位置に応じて強調表示の位置を規定する。強調処理部は、注目領域のサイズを特定し、注目領域のサイズに応じて強調表示のサイズを規定する。強調処理部は、強調表示の位置及び強調表示のサイズを含む強調表示の情報を注目領域と関連付けして記憶し得る。

【0126】

強調処理部は、注目領域の少なくとも一部を囲む閉曲線の重畳表示、注目領域を指す矢印の重畳表示及び注目領域の四隅への図形の重畳表示等を強調表示に適用し得る。強調処理部は、注目領域に対して色及びテクスチャ等を付加する強調表示を適用し得る。

【0127】

分類部４２Ｂはフレーム画像３８Ｂにおける注目領域を分類する。分類部４２Ｂは注目領域ごとの分類結果をフレーム画像３８Ｂと関連付けして分類結果記憶部４６Ｃへ記憶する。分類部４２ＢはＣＮＮ等学習器を適用し得る。

【0128】

分類部４２Ｂは注目領域の画像と分類結果とを学習データとして学習を実施した学習済みの学習器を適用し得る。注目領域の分類の例として、病変の病種の分類、臓器の分類、部位の分類及び撮像シーンの分類等が挙げられる。

【0129】

分類部４２Ｂは病変である注目領域の疾病名を特定してもよい。分類部４２Ｂは、ＵＩＣＣ（Union for International Cancer Control）及びＴＮＭ分類等の規格化された分類を適用し得る。なお、ＴＮＭのＴは、tumorの頭文字である。ＴＮＭのＮは、nodesの頭文字である。ＴＮＭのＭは、metastasisの頭文字である。

【0130】

なお、実施形態に示す分類部４２Ｂは、処理対象の医用画像における注目領域の状態を、規定の一以上のクラスに分類する分類部の一例に相当する。

【0131】

測定部４２Ｃはフレーム画像３８Ｂにおける注目領域を測定する。測定部４２Ｃは注目領域の測定結果をフレーム画像３８Ｂと関連付けして測定結果記憶部４６Ｄへ記憶する。注目領域の測定の例として、病変のサイズ測定、臓器のサイズ測定及び内視鏡本体１００と注目領域との間の距離の測定等が挙げられる。測定結果の例として測定値が挙げられる。なお、実施形態に示す測定部４２Ｃは、処理対象の医用画像における注目領域を測定する測定部の一例に相当する。

【0132】

本実施形態では、注目領域検出部４２Ａ、分類部４２Ｂ及び測定部４２Ｃを備える画像認識部４２を例示したが、画像認識部４２は、注目領域検出部４２Ａ、分類部４２Ｂ及び測定部４２Ｃの少なくともいずれかを備え得る。

【0133】

〔表示制御部〕
表示制御部４４は、モニタ４００へ表示させる内視鏡画像３８を表す表示信号をモニタ４００へ送信する。表示制御部４４は、各フレーム画像３８Ｂの認識結果を表す表示信号をモニタ４００へ送信する。表示制御部４４は、モニタ４００の制御信号をモニタ４００へ送信する。表示制御部４４は、図２に示すビデオ出力部２０６に対応する。

【0134】

モニタ４００は、内視鏡画像３８及び各フレーム画像３８Ｂの認識結果を表示する。認識結果は、注目領域検出部４２Ａを用いた注目領域の検出結果、分類部４２Ｂを用いた注目領域の分類結果及び測定部４２Ｃを用いた注目領域の測定結果の少なくともいずれかが含まれる。

【0135】

モニタ４００は、認識結果を内視鏡画像３８に重畳表示し得る。モニタ４００は、内視鏡画像３８が表示される領域と区画された領域に画像認識部４２の認識結果を表示し得る。表示制御部４４は、規定の更新間隔を適用して内視鏡画像３８の表示及び画像認識部４２の認識結果の表示を更新する。なお、内視鏡画像３８の表示態様の詳細は後述する。なお、実施形態に記載の表示制御部４４及びモニタ４００は表示部の一例に相当する。

【0136】

〔記憶部〕
記憶部４６は、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅを備える。内視鏡画像記憶部４６Ａは、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。記憶部４６は、図２に示す記憶部２０７に対応する。なお、内視鏡画像記憶部４６Ａは取得画像記憶部の一例に相当する。

【0137】

注目領域記憶部４６Ｂは、注目領域検出部４２Ａを用いて検出された注目領域の検出結果を記憶する。注目領域記憶部４６Ｂは、注目領域を検出したフレーム画像３８Ｂと関連付けして注目領域の検出結果を記憶し得る。

【0138】

フレーム画像３８Ｂと注目領域の検出結果との関連付けの例として、フレーム画像３８Ｂに対して注目領域の強調表示を重畳させた画像を記憶する態様が挙げられる。別の態様として、注目領域の検出結果をフレーム画像３８Ｂとは別のファイルとして、フレーム画像３８Ｂと関連付けして記憶する態様が挙げられる。なお、以下に説明するフレーム画像３８Ｂと分類結果の情報との関連付け及びフレーム画像３８Ｂと測定結果の情報との関連付けも同様である。

【0139】

分類結果記憶部４６Ｃは、注目領域ごとの分類結果が、フレーム画像３８Ｂと関連付けして記憶される。測定結果記憶部４６Ｄは、注目領域ごとの測定結果が、フレーム画像３８Ｂと関連付けして記憶される。

【0140】

選択画像記憶部４６Ｅは、ユーザ指示入力信号を取得した際の静止画像３９として、画像選択部４８を用いて選択されたフレーム画像３８Ｂが記憶される。選択画像記憶部４６Ｅの詳細は後述する。

【0141】

記憶部４６は、一つ以上の記憶素子を適用し得る。すなわち、記憶部４６は、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅのそれぞれに対応する四つの記憶素子を備え得る。また、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅは、それぞれ複数の記憶素子を適用し得る。

【0142】

更に、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅのうち任意の二つ、任意の三つ又は任意の四つを、一つの記憶素子を用いて構成し得る。内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅの全てを、一つの記憶素子を用いて構成し得る。

【0143】

〔画像選択部〕
画像選択部４８は、内視鏡検査の実施中にユーザ指示入力信号を取得した場合に、静止画像３９として、注目領域に関する適切な認識結果が得られているフレーム画像３８Ｂを選択する。画像選択部４８は、図２に示す画像処理部２０４に対応する。

【0144】

静止画像３９として、注目領域に関する適切な認識結果が得られているフレーム画像３８Ｂの例として、注目領域が検出されたフレーム画像３８Ｂ、予め定めたクラスに分類されるフレーム画像３８Ｂ及び測定部４２Ｃを用いて測定した値が予め定めた閾値以上であるフレーム画像３８Ｂが挙げられる。

【0145】

医用画像処理装置１４は、内視鏡検査の実施中に一定期間に取得した複数のフレーム画像３８Ｂを記憶しておく。記憶される複数のフレーム画像３８Ｂは、一定の周期ごとに更新される。

【0146】

医用画像処理装置１４は、ユーザ指示入力信号を取得した場合に、記憶されている複数のフレーム画像３８Ｂの中から適切な認識結果が得られているフレーム画像３８Ｂを選択する。

【0147】

適切な認識結果とは、正解確率を付した複数の認識結果が導出される場合では、規定の閾値以上の正解確率を有する認識結果を適用し得る。例えば、正解確率の最大値が規定の閾値以上の場合に、正解確率の最大値が付された認識結果を適切な認識結果と判定し得る。

【0148】

ユーザ指示入力信号がフリーズ指示入力信号の場合、画像選択部４８はフリーズ指示入力信号の取得タイミングの近傍タイミングにおいて取得した複数のフレーム画像３８Ｂの中から、適切な認識結果が得られているフレーム画像３８Ｂを選択する。

【0149】

フリーズ指示入力信号の取得タイミングの近傍タイミングは、フリーズ指示入力信号の取得タイミングが含まれ得る。なお、以下に説明する静止画像記憶指示入力信号の取得タイミングの近傍タイミングも同様である。ここでいう近傍は、同一の注目領域が主要被写体となる複数のフレーム画像を取得する期間を適用し得る。

【0150】

近傍タイミングは、内視鏡検査の条件に応じて規定し得る。内視鏡検査の条件は、内視鏡画像３８のフレームレート、内視鏡本体１００の移動速度、観察対象及び内視鏡本体１００の撮像条件等に基づき規定し得る。ここでいう移動速度は、移動速度の絶対値である速さに読み替えてもよい。

【0151】

複数のフレーム画像３８Ｂが適切な認識結果が得られたフレーム画像３８Ｂに該当する場合に、画像選択部４８は正解確率が最大となるフレーム画像３８Ｂを選択し得る。複数のフレーム画像３８Ｂが適切な認識結果が得られたフレーム画像３８Ｂに該当する場合に、画像選択部４８はユーザ指示入力信号の取得タイミングとの間の期間が最短となるタイミングのフレーム画像３８Ｂを選択し得る。

【0152】

表示制御部４４は、画像選択部４８を用いて静止画像３９として選択されたフレーム画像３８Ｂを表す画像信号をモニタ４００へ送信する。モニタ４００は、画像選択部４８を用いて選択されたフレーム画像３８Ｂを、フリーズ指示入力信号の取得タイミングにおける静止画像３９として一定期間表示する。静止画像３９の表示期間を設定する表示期間設定部を備え得る。静止画像３９の表示期間は、医用画像の取得周期及び医用画像の認識結果等に応じて規定し得る。

【0153】

ユーザ指示入力信号が静止画像記憶指示入力信号の場合、画像選択部４８は静止画像記憶指示入力信号の取得タイミングの近傍タイミングにおける複数のフレーム画像３８Ｂの中から、適切な認識結果が得られているフレーム画像３８Ｂを選択する。

【0154】

選択画像記憶部４６Ｅは、画像選択部４８を用いて選択されたフレーム画像３８Ｂを静止画像記憶指示入力信号の取得タイミングにおける静止画像３９として記憶する。選択されたフレーム画像３８Ｂに対して解像度変換等の処理を施して、選択対象の静止画像３９を生成してもよい。

【0155】

〔入力受付部〕
入力受付部５０は、ユーザが操作部４９を操作した際に送信されるユーザ指示入力信号を取得する。入力受付部５０は、取得したユーザ指示入力信号を画像選択部４８へ送信する。

【0156】

図３に示す操作部４９は、フリーズ表示を実施する際に操作される操作ボタン等及び静止画像記憶を実施する際に操作される操作ボタン等が含まれる。例えば、図３に示す操作部４９は、図１に示す撮像ボタン１４４を適用し得る。なお、実施形態に記載の入力受付部５０はユーザ入力信号取得部の一例に相当する。

【0157】

［医用画像処理方法の手順］
図４は第一実施形態に係る医用画像処理方法の手順を示すフローチャートである。内視鏡画像取得工程Ｓ１０では、図３に示す画像取得部４０は内視鏡画像３８を取得する。内視鏡画像取得工程Ｓ１０では、画像取得部４０は内視鏡画像記憶部４６Ａへ内視鏡画像３８を記憶する。内視鏡画像取得工程Ｓ１０の後に注目領域検出工程Ｓ１２へ進む。なお、実施形態に記載の内視鏡画像取得工程Ｓ１０は取得画像記憶工程の一例に相当する。

【0158】

注目領域検出工程Ｓ１２では、注目領域検出部４２Ａは内視鏡画像３８を構成する各フレーム画像３８Ｂから注目領域を検出する。注目領域検出工程Ｓ１２では、注目領域検出部４２Ａは動画像３８Ａの全てのフレーム画像３８Ｂから注目領域を検出してもよいし、規定の期間おきのフレーム画像３８Ｂから注目領域を検出してもよい。

【0159】

注目領域検出工程Ｓ１２では、注目領域検出部４２Ａは注目領域の検出結果をフレーム画像３８Ｂと関連付けして注目領域記憶部４６Ｂへ記憶する。注目領域検出工程Ｓ１２の後に分類工程Ｓ１４へ進む。なお、注目領域検出工程Ｓ１２は注目領域に対して認識処理を施す認識処理工程の一例に相当する。

【0160】

分類工程Ｓ１４では、分類部４２Ｂは注目領域の分類を実施する。分類工程Ｓ１４では、分類部４２Ｂは注目領域の分類結果をフレーム画像３８Ｂと関連付けして、分類結果記憶部４６Ｃへ記憶する。分類工程Ｓ１４の後に測定工程Ｓ１６へ進む。なお、分類工程Ｓ１４は医用画像に対して認識処理を施す認識処理工程の一例に相当する。

【0161】

測定工程Ｓ１６では、測定部４２Ｃは注目領域の測定を実施する。測定工程Ｓ１６では、測定部４２Ｃは注目領域の測定結果をフレーム画像３８Ｂと関連付けして、分類結果記憶部４６Ｃへ記憶する。測定工程Ｓ１６の後にフリーズ指示入力信号取得判定工程Ｓ１８へ進む。分類工程Ｓ１４及び測定工程Ｓ１６の少なくともいずれかを省略してもよい。なお、測定工程Ｓ１６は医用画像に対して認識処理を施す認識処理工程の一例に相当する。

【0162】

フリーズ指示入力信号取得判定工程Ｓ１８では、入力受付部５０はフリーズ指示入力信号を取得したか否かを判定する。フリーズ指示入力信号取得判定工程Ｓ１８において、入力受付部５０がフリーズ指示入力信号を取得していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は内視鏡画像取得工程Ｓ１０へ戻り、フリーズ指示入力信号取得判定工程Ｓ１８においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０からフリーズ指示入力信号取得判定工程Ｓ１８までの各工程を繰り返し実施する。

【0163】

一方、フリーズ指示入力信号取得判定工程Ｓ１８において、入力受付部５０がフリーズ指示入力信号を取得したと判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は表示画像選択工程Ｓ２０へ進む。なお、実施形態に記載のフリーズ指示入力信号取得判定工程Ｓ１８はユーザ入力信号取得工程の一例に相当する。

【0164】

表示画像選択工程Ｓ２０では、画像選択部４８はフリーズ指示入力信号の取得に対応して選択した静止画像３９として表示させるフレーム画像３８Ｂを選択する。表示画像選択工程Ｓ２０の後にフリーズ表示工程Ｓ２２へ進む。

【0165】

フリーズ表示工程Ｓ２２では、表示制御部４４は表示画像選択工程Ｓ２０において選択されたフレーム画像３８Ｂを表す表示信号をモニタ４００へ送信する。フリーズ表示工程Ｓ２２の後に静止画像記憶判定工程Ｓ２４へ進む。

【0166】

静止画像記憶判定工程Ｓ２４では、入力受付部５０は静止画像記憶指示入力信号を取得したか否かを判定する。静止画像記憶判定工程Ｓ２４において入力受付部５０が静止画像記憶指示入力信号を取得していないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合は最終フレーム画像判定工程Ｓ２８へ進む。

【0167】

一方、静止画像記憶判定工程Ｓ２４において、入力受付部５０が静止画像記憶指示入力信号を取得したと判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は静止画像記憶工程Ｓ２６へ進む。なお、実施形態に記載の静止画像記憶判定工程Ｓ２４はユーザ入力信号取得工程の一例に相当する。

【0168】

静止画像記憶工程Ｓ２６では、画像選択部４８は静止画像記憶指示入力信号の取得に対応して選択したフレーム画像３８Ｂを静止画像３９として選択画像記憶部４６Ｅへ記憶する。静止画像記憶工程Ｓ２６の後に最終フレーム画像判定工程Ｓ２８へ進む。

【0169】

最終フレーム画像判定工程Ｓ２８では、画像認識部４２は画像取得部４０を用いて取得した内視鏡画像３８における最終のフレーム画像３８Ｂに対する認識処理を実施したか否かを判定する。

【0170】

最終フレーム画像判定工程Ｓ２８において、画像認識部４２が最終のフレーム画像３８Ｂに対する認識処理を実施していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は内視鏡画像取得工程Ｓ１０へ進み、最終フレーム画像判定工程Ｓ２８においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から最終フレーム画像判定工程Ｓ２８までの各工程を繰り返し実施する。

【0171】

一方、最終フレーム画像判定工程Ｓ２８において、画像認識部４２が最終のフレーム画像３８Ｂに対する認識処理を実施したと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、画像認識部４２は医用画像処理方法を終了させる。

【0172】

静止画像記憶工程Ｓ２６における記憶対象の静止画像３９は、フリーズ指示入力信号に応じて選択されたフレーム画像３８Ｂとは別に選択されてもよい。例えば、測定工程Ｓ１６の後に静止画像記憶判定工程Ｓ２４及び静止画像記憶工程Ｓ２６を実施してもよい。

【0173】

［内視鏡画像の表示例］
図５は注目領域の検出結果の表示例を示す内視鏡画像の模式図である。同図には、内視鏡画像３８として大腸の観察画像の模式図を示す。図６及び図７についても同様である。同図に示す内視鏡画像３８は、図４に示す注目領域検出工程Ｓ１２が実施された際にモニタ４００へ表示される。

【0174】

図５に示す内視鏡画像３８は、注目領域５００として病変が検出されている。また、内視鏡画像３８は、注目領域５００を強調する強調表示として、バウンディングボックス５０２が注目領域５００に重畳表示されている。

【0175】

図６は注目領域の分類結果の表示例を示す内視鏡画像の模式図である。同図には、内視鏡画像３８の表示領域と異なる領域に、注目領域５００の分類結果５０４が表示される態様を示す。

【0176】

分類結果５０４は、注目領域５００である病変の診断結果がＴｙｐｅＡであることを表す文字情報が適用される。なお、図６に示す内視鏡画像３８は、図５に示すバウンディングボックス５０２を表示してもよい。図７に示す内視鏡画像３８についても同様である。

【0177】

図７は注目領域の測定結果の表示例を示す内視鏡画像の模式図である。同図には、内視鏡画像３８の表示領域と異なる領域に、注目領域５００の測定結果５０６が表示され、注目領域５００の測定位置を示す矢印線５０８が注目領域５００に重畳表示される態様を示す。測定結果５０６は、注目領域５００である病変の最大サイズが６ミリメートルであることを表す文字情報が適用される。

【0178】

静止画像３９を記憶する際に、画像認識部４２を用いた認識結果を静止画像３９に関連付けして記憶してもよい。例えば、静止画像３９として、図５に示す内視鏡画像３８に対応するフレーム画像３８Ｂに注目領域５００の強調表示を重畳させた画像を生成し、記憶してもよい。

【0179】

また、静止画像３９とは別に注目領域５００の認識結果を表すファイルを作成し、静止画像３９と認識結果を表すデータとを関連付けしてもよい。例えば、静止画像３９のヘッダとして、認識結果を表すデータを記憶してもよい。図６に示す分類結果５０４及び図７に示す測定結果５０６も同様である。

【0180】

これにより、静止画像３９自体を損なうことがなく、静止画像３９の認識結果を記憶し得る。また、静止画像３９の認識結果を用いた静止画像３９を整理し得る。更に、静止画像３９を再表示させる際に、認識結果の表示が可能である。

【0181】

かかる態様においても、フリーズ表示をさせるフレーム画像３８Ｂと、静止画像記憶させる静止画像３９との認識結果の表示態様を変更してもよい。

【0182】

内視鏡画像３８のフリーズ表示が実施される場合に、フリーズ表示させたフレーム画像３８Ｂに、図５に示すバウンディングボックス５０２、図６に示す分類結果５０４及び図７に示す測定結果５０６を表示させる。これにより、バウンディングボックス５０２等の認識結果が適切であるか否かを、ユーザである医師が確認し得る。

【0183】

内視鏡画像３８の静止画像記憶が実施される場合も同様である。例えば、静止画像３９を記憶した後に医師がレポートを作成する際にも、バウンディングボックス５０２等の認識結果が適切であるか否かを医師が確認し得る。

【0184】

図３に示す医用画像処理装置１４は、フリーズ表示を実施する場合に静止画像記憶を実施する場合と認識結果の表示態様を変更してもよい。例えば、フリーズ表示を実施する場合はバウンディングボックス５０２を表示させ、記憶された静止画像３９を表示させる場合は分類結果５０４を表示させてもよい。

【0185】

医用画像処理装置１４は、内視鏡画像３８の動画像３８Ａを表示させる場合は、認識結果を非表示としてもよい。また、内視鏡画像３８の動画像３８Ａは、フリーズ表示をさせたフレーム画像３８Ｂと認識結果の表示態様を変更してもよい。

【0186】

内視鏡画像３８の動画像３８Ａをリアルタイムで観察する場合、医師は病変を詳細に観察したいために、バウンディングボックス５０２等の認識結果の表示が医師の観察の邪魔になり得る。そこで、内視鏡画像３８の動画像３８Ａをリアルタイムで観察する場合は認識結果を非表示とし、フリーズ表示をさせる場合は認識結果を表示させる。これにより、医師にとってより適切な表示態様を実現し得る。

【0187】

医用画像処理装置１４は、フリーズ表示をさせるフレーム画像３８Ｂと、記憶する静止画像３９との認識結果の表示態様を変更し得る。フリーズ表示をさせる場合は、病変の微細な構造等の観察が実施される。

【0188】

一方、記憶された静止画像３９は、レポートの作成等に適用される。レポートの作成の際、静止画像３９を一覧表示させて、静止画像３９と分類結果及び医師の所見等との関連付けが実施される。

【0189】

例えば、病変検出が実施される場合、フリーズ表示では図５に示すバウンディングボックス５０２等の図形を用いて病変の周囲を囲む。これにより、認識結果の表示が観察の邪魔にならない。一方、静止画像３９の記憶の場合、特定の色を病変全体に重畳表示させる。これにより、静止画像３９を一覧表示させる場合でも病変を目立たせ得る。このようにして、医師の作業について適切な静止画像３９を提供し得る。

【0190】

［選択対象のフレーム画像の説明］
図８から図１０は選択対象のフレーム画像の説明図である。図８はユーザ指示入力信号取得タイミングの以前のフレーム画像を選択対象とする場合の模式図である。フレーム画像３８Ｂ_１からフレーム画像３８Ｂ_７までのそれぞれは、タイミングｔ_１からタイミングｔ_７までにおいて記憶される。

【0191】

タイミングｔ_ｆにおいてユーザ指示入力信号を取得した場合、図３に示す画像選択部４８は、フレーム画像３８Ｂ_１、フレーム画像３８Ｂ_２及びフレーム画像３８Ｂ_３を選択対象のフレーム画像３８Ｂとする。図８に示す例では、画像選択部４８は、フレーム画像３８Ｂ_３をユーザ指示の処理対象の静止画像３９として選択する。

【0192】

なお、内視鏡画像３８を構成する複数のフレームを一括して取得する場合、図８に示すフレーム画像３８Ｂのそれぞれの記憶タイミングは、フレーム画像３８Ｂの撮像タイミング又はフレーム画像３８Ｂの生成タイミングと読み替えてもよい。図９及び図１０についても同様である。

【0193】

図９はユーザ指示入力信号取得タイミングの以後のフレーム画像を選択対象とする場合の模式図である。タイミングｔ_ｆにおいてユーザ指示入力信号を取得した場合、画像選択部４８はフレーム画像３８Ｂ_４からフレーム画像３８Ｂ_７までを選択対象のフレーム画像３８Ｂとする。図９に示す例では、画像選択部４８は、フレーム画像３８Ｂ_４をユーザ指示の処理対象の静止画像３９として選択する。

【0194】

図１０はユーザ指示入力信号取得タイミングの前後のフレーム画像を選択対象とする場合の模式図である。タイミングｔ_ｆにおいてユーザ指示入力信号を取得した場合、画像選択部４８はフレーム画像３８Ｂ_２からフレーム画像３８Ｂ_５までを選択対象のフレーム画像３８Ｂとする。図１０に示す例では、画像選択部４８は、フレーム画像３８Ｂ_４をユーザ指示の処理対象の静止画像３９として選択する。

【0195】

図８から図１０に示す態様では、複数のフレーム画像３８Ｂにおける認識結果の優先度合いが同一の場合、画像選択部４８はユーザ指示入力信号を取得したタイミングｔ_ｆとの期間に応じてフレーム画像３８Ｂを選択し得る。例えば、上記期間が最短となるフレーム画像３８Ｂを選択し得る。

【0196】

図１１は選択対象のフレーム画像の他の例を示す模式図である。図１１に示す例では、画像選択部４８は、フレーム画像３８Ｂを取得する度に、先に記憶されているフレーム画像３８Ｂとの認識結果の比較を実施し、比較結果に基づき選択対象のフレーム画像３８Ｂを更新する。

【0197】

画像選択部４８は、ユーザ指示入力信号を取得したタイミングｔ_ｆにおいて記憶されているフレーム画像３８Ｂを、静止画像３９として選択する。図１１に示す例では、画像選択部４８は、フレーム画像３８Ｂ_１とフレーム画像３８Ｂ_３との比較結果に基づき、選択対象のフレーム画像３８Ｂを更新する。画像選択部４８は、ユーザ指示入力信号を取得したタイミングｔ_ｆにおいて記憶されているフレーム画像３８Ｂ_３を、静止画像３９として選択する。

【0198】

図８から図１１に示す態様において、複数のフレーム画像３８Ｂが記憶される一定期間は、内視鏡画像３８のフレームレート、内視鏡検査の条件及び内視鏡画像記憶部４６Ａの記憶容量等に基づき規定し得る。例えば、内視鏡画像３８のフレームレートが６０フレーム枚秒の場合、複数のフレーム画像３８Ｂが記憶される一定期間は１．０秒以下の任意の期間とし得る。

【0199】

［第一実施形態の作用効果］
第一実施形態に係る医用画像処理装置１４は、以下の作用効果を得ることが可能である。

【0200】

〔１〕
内視鏡検査において、内視鏡画像３８を構成するフレーム画像３８Ｂの認識処理を実施し、フレーム画像３８Ｂと認識結果とを関連付けし、一定期間のフレーム画像３８Ｂ及び認識結果を記憶する。ユーザ指示入力信号を取得した場合、注目領域に関する適切な認識結果が得られているフレーム画像３８Ｂを、ユーザ指示の処理対象の静止画像３９として選択する。これにより、ユーザ指示入力信号を取得した際に、適切な認識結果が得られているフレーム画像をユーザ指示の処理対象の静止画像３９として選択し得る。

【0201】

〔２〕
ユーザ指示はフリーズ表示及び静止画像記憶の少なくともいずれかを適用し得る。これにより、適切な認識結果が得られている静止画像３９の表示及び記憶が可能である。

【0202】

〔３〕
ユーザ指示がフリーズ表示の場合、静止画像３９に認識結果を重畳表示させる。これにより、フリーズ表示をさせた静止画像３９の認識結果を医師が確認し得る。

【0203】

〔４〕
ユーザ指示が静止画像記憶の場合、静止画像３９に認識結果を関連付けして記憶する。これにより、記憶した静止画像３９を表示させる際に認識結果の表示が可能となる。

【0204】

〔５〕
認識処理は、注目領域の検出、注目領域の分類及び注目領域の測定の少なくともいずれかが含まれる。これにより、注目領域の検出結果、注目領域の分類結果及び注目領域の測定結果の少なくともいずれかに基づく、ユーザ指示の処理対象の静止画像３９の選択が可能となる。

【0205】

〔６〕
画像選択部４８は、ユーザ指示入力信号の取得との間の期間に基づき、ユーザ指示の処理対象の静止画像３９を選択する。これにより、ユーザ指示入力信号の取得との間の期間を加味したユーザ指示の処理対象の静止画像３９の選択が可能となる。

【0206】

［第二実施形態に係る医用画像処理装置］
次に、第二実施形態に係る医用画像処理装置について説明する。第二実施形態に係る医用画像処理装置は、選択対象のフレーム画像３８Ｂの画質を加味して、ユーザ指示の処理対象の静止画像３９を選択する。以下、主として、第一実施形態に係る医用画像処理装置１４及び医用画像処理方法との違いについて説明する。

【0207】

図１２は第二実施形態に係る医用画像処理装置の機能ブロック図である。同図に示す医用画像処理装置１４Ａは、図３に示す画像認識部４２に代わり画像認識部４３を備える。また、医用画像処理装置１４Ａは、記憶部４６に代わり記憶部４７を備える。画像認識部４３は、図３に示す画像認識部４２に対して画質評価部４２Ｄが追加される。記憶部４７は、図３に示す記憶部４６に対して画質記憶部４６Ｆが追加される。

【0208】

画質評価部４２Ｄは、認識結果が得られたフレーム画像３８Ｂについて画質を評価する。フレーム画像３８Ｂの画質評価は、ピンぼけの有無及びピンぼけの程度など、フレーム画像３８Ｂのピンぼけの観点を適用し得る。

【0209】

画質評価の他の観点として、ぶれ、明るさ、ノイズの有無及び鮮明度が挙げられる。ぶれは、画質評価部４２Ｄは画質評価値を導出してもよい。画質評価部４２Ｄは画質評価の観点ごとに画質評価値を導出してもよい。画質評価部４２Ｄは複数の画質評価値を用いて画質の総合評価値を導出してもよい。

【0210】

画質評価部４２Ｄは、評価対象のフレーム画像３８Ｂに対して画質評価値を導出し得る。画質評価部４２Ｄは、画質評価とフレーム画像３８Ｂとを関連付けて、画質評価結果を画質記憶部４６Ｆへ記憶する。

【0211】

画像選択部４８は、認識結果が適切に判定されている複数のフレーム画像３８Ｂが存在する場合に、複数のフレーム画像３８Ｂの中から画質が最もよいフレーム画像３８Ｂを選択し得る。画質評価値は、認識結果の重み付けを実施する際の重み係数に適用し得る。

【0212】

図１３は第二実施形態に係る医用画像処理方法の手順を示すフローチャートである。図１３に示すフローチャートは、図４に示すフローチャートに対して、画質評価工程Ｓ１７が追加され、表示画像選択工程Ｓ２０に代わり表示画像選択工程Ｓ２１が実施される。

【0213】

図１３に示すフローチャートにおける内視鏡画像取得工程Ｓ１０から測定工程Ｓ１６までの各工程は、図１に示す内視鏡画像取得工程Ｓ１０から測定工程Ｓ１６までの各工程と同一である。ここでは、これらの説明を省略する。

【0214】

図１３に示すフローチャートでは、測定工程Ｓ１６の後に画質評価工程Ｓ１７へ進む。画質評価工程Ｓ１７では、図１２に示す画質評価部４２Ｄは、フレーム画像３８Ｂの画質を評価し、画質評価値を導出する。画質評価工程Ｓ１７では、画質評価部４２Ｄは画質評価値を画質記憶部４６Ｆへ記憶する。画質評価工程Ｓ１７の後にフリーズ指示入力信号取得判定工程Ｓ１８へ進む。

【0215】

フリーズ指示入力信号取得判定工程Ｓ１８は、図４に示すフローチャートと同一である。フリーズ指示入力信号取得判定工程Ｓ１８の後に表示画像選択工程Ｓ２１へ進む。表示画像選択工程Ｓ２１では、画像選択部４８はフレーム画像３８Ｂの画質を加味して、静止画像３９として表示させるフレーム画像３８Ｂを選択する。表示画像選択工程Ｓ２１の後にフリーズ表示工程Ｓ２２へ進む。

【0216】

フリーズ表示工程Ｓ２２から最終フレーム画像判定工程Ｓ２８までの各工程は、図４に示すフリーズ表示工程Ｓ２２から最終フレーム画像判定工程Ｓ２８までの各工程と同一である。ここでは、これらの説明を省略する。

【0217】

［第二実施形態の作用効果］
第二実施形態に係る医用画像処理装置１４Ａは、以下の作用効果を得ることが可能である。

【0218】

〔１〕
画質評価部４２Ｄは、取得したフレーム画像３８Ｂの画質を評価する。ユーザ指示入力信号に対応する処理対象のフレーム画像３８Ｂを選択する際に、フレーム画像３８Ｂの画質を加味する。これにより、適切なフレーム画像をユーザ指示の処理対象の静止画像３９として選択し得る。

【0219】

〔２〕
画質評価部４２Ｄは、取得したフレーム画像３８Ｂの画質評価値を導出する。これにより、定量的なフレーム画像３８Ｂの評価結果を導出し得る。

【0220】

［内視鏡システムの変形例］
〔照明光の変形例〕
本実施形態に示す内視鏡システム１０を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。

【0221】

本実施形態に示す内視鏡システム１０を用いて取得可能な医用画像の他の例として、特定の波長帯域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。

【0222】

〈第一変形例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

【0223】

〈第二変形例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

【0224】

〈第三変形例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

【0225】

〈第四変形例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

【0226】

〈第五変形例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

【0227】

〔特殊光画像の生成例〕
プロセッサ装置２００は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置２００は、特殊光画像取得部として機能する。そして、プロセッサ装置２００は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑及び青、或いはシアン、マゼンタ及びイエローの色情報に基づく演算を行うことで得る。

【0228】

なお、シアン、マゼンタ及びイエローは、それぞれの英語表記であるCyan、Magenta及びYellowの頭文字を用いてＣＭＹと表されることがある。

【0229】

〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。

【0230】

上記の実施形態及び変形例では、医用画像の一例として内視鏡画像を例示したが、医用画像は、ＣＴ画像、ＭＲＩ画像及び超音波画像等を適用してもよい。

【0231】

［コンピュータを医用画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理装置及び医用画像処理方法は、コンピュータを用いて、医用画像処理装置における各部又は医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。

【0232】

例えば、コンピュータに、画像取得機能、取得画像記憶機能、認識処理機能、ユーザ入力信号取得機能及び選択機能を実現させるプログラムを構成し得る。画像取得機能は、画像取得部４０及び内視鏡画像取得工程Ｓ１０に対応する。

【0233】

取得画像記憶機能は、内視鏡画像記憶部４６Ａ及び内視鏡画像取得工程Ｓ１０に対応する。認識処理機能は、画像認識部４２、注目領域検出工程Ｓ１２、分類工程Ｓ１４及び測定工程Ｓ１６に対応する。

【0234】

ユーザ入力信号取得機能は、入力受付部５０、フリーズ指示入力信号取得判定工程Ｓ１８及び静止画像記憶判定工程Ｓ２４に対応する。選択機能は、画像選択部４８、表示画像選択工程Ｓ２０及び表示画像選択工程Ｓ２１に対応する。

【0235】

プログラムは、画質評価部４２Ｄ及び画質評価工程Ｓ１７に対応する画質評価機能が含まれていてもよい。

【0236】

上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

【0237】

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。

【0238】

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

【0239】

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

【符号の説明】

【0240】

１０ 内視鏡システム
１４ 医用画像処理装置
１４Ａ 医用画像処理装置
３８ 内視鏡画像
３８Ａ 動画像
３８Ｂ フレーム画像
３８Ｂ_１ フレーム画像
３８Ｂ_２ フレーム画像
３８Ｂ_３ フレーム画像
３８Ｂ_４ フレーム画像
３８Ｂ_５ フレーム画像
３８Ｂ_６ フレーム画像
３８Ｂ_７ フレーム画像
３９ 静止画像
４０ 画像取得部
４２ 画像認識部
４２Ａ 注目領域検出部
４２Ｂ 分類部
４２Ｃ 測定部
４２Ｄ 画質評価部
４３ 画像認識部
４４ 表示制御部
４６ 記憶部
４６Ａ 内視鏡画像記憶部
４６Ｂ 注目領域記憶部
４６Ｃ 分類結果記憶部
４６Ｄ 測定結果記憶部
４６Ｅ 選択画像記憶部
４６Ｆ 画質記憶部
４７記憶部
４８ 画像選択部
４９ 操作部
５０ 入力受付部
１００ 内視鏡本体
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮像部
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ アナログフロントエンド
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮像ボタン
１７０ ライトガイド
２００ プロセッサ装置
２０２ 画像入力コントローラ
２０４ 画像処理部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記憶部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５００ 注目領域
５０２ バウンディングボックス
５０４ 分類結果
５０６ 測定結果
５０８ 矢印線
Ｓ１０からＳ２８ 医用画像処理方法の各工程

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】