特開 2024-45237 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024045237

(43)【公開日】2024-04-02

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240326BHJP

   A61B 1/00 20060101ALI20240326BHJP

【ＦＩ】

A61B1/045 623

A61B1/00 552

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2024004639

(22)【出願日】2024-01-16

(62)【分割の表示】P 2021572152の分割

【原出願日】2020-01-21

(71)【出願人】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】田中 敬士

(72)【発明者】

【氏名】速水 健人

(72)【発明者】

【氏名】窪田 明広

(72)【発明者】

【氏名】神田 大和

(72)【発明者】

【氏名】北村 誠

(57)【要約】      （修正有）

【課題】撮像すべき部位の撮り逃しおよび撮像ミスを防止することができる画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】画像処理装置１は、入力部１１と、推定部１２と、取得部１３と、作成部１５と、表示制御部１６とを備えている。入力部１１は、内視鏡画像を含む検査情報を取得する。推定部１２は、内視鏡画像に基づいて撮像部位を推定する。取得部１３は、検査情報から、内視鏡画像に対応し且つ内視鏡画像を撮像したときの内視鏡および被検体の少なくとも一方の状況を示す撮像情報を取得する。作成部１５は、モデルマップを作成すると共に、推定部１２による推定結果に基づいて仮想部位に対して撮像情報を紐付ける。表示制御部１６は、表示装置２を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

内視鏡が被検体を撮像した内視鏡画像を取得する入力部と、
前記内視鏡画像の前記被検体における撮像部位を推定する推定部と、
予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶する記憶部と、
臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定する作成部と、
前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する表示制御部と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記推定部は、前記内視鏡画像を画像解析することによって前記撮像部位を推定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記内視鏡画像に対応し且つ前記内視鏡画像を撮像したときの前記内視鏡および前記被検体の少なくとも一方の状況を示す情報である前記撮像情報を取得する取得部を更に備えたことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記入力部は、更に、前記内視鏡の動作に関する情報であるシステム情報を取得し、
前記取得部は、前記システム情報から前記撮像情報を取得することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記取得部は、前記内視鏡画像を画像解析することによって前記撮像情報を取得することを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記作成部は、更に、前記モデルマップ上の部位を複数の副部位に分割する分割部を含み、前記複数の副部位毎に前記撮像条件を決定し、
前記表示制御部は、前記撮像条件の少なくとも一部を前記表示装置によって表示させることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記内視鏡画像を記憶する画像記憶部と、
前記撮像情報を記憶する情報記憶部とを更に備え、
前記表示制御部は、１つの前記撮像部位に対応する複数の前記内視鏡画像であって、各々に対応する前記撮像情報の少なくとも一部が互いに異なる複数の前記内視鏡画像を前記画像記憶部から読み出し、且つ前記複数の前記内視鏡画像に対応する複数の前記撮像情報を前記情報記憶部から読み出すと共に、前記複数の前記内視鏡画像と前記複数の前記撮像情報との少なくとも一方を前記表示装置に出力することを特徴とする請求項３に記載の画像処理装置。

【請求項8】

前記内視鏡画像を記憶する画像記憶部を更に備え、
前記取得部は、前記内視鏡画像を画像解析することによって前記内視鏡画像の画質を評価する評価部を含み、
前記画像記憶部は、前記評価部による評価結果と前記内視鏡画像とを紐付けて記憶し、
前記表示制御部は、１つの前記撮像部位に対応する複数の前記内視鏡画像の中から前記評価部によって画質が良いと評価された前記内視鏡画像を前記画像記憶部から読み出し且つ前記表示装置によって表示させることを特徴とする請求項３に記載の画像処理装置。

【請求項9】

前記取得部は、前記内視鏡画像を画像解析することによって前記撮像部位における異常を検出する検出部を含み、
前記表示制御部は、前記検出部による検出結果を前記表示装置によって表示させることを特徴とする請求項３に記載の画像処理装置。

【請求項10】

前記入力部は、更に、前記内視鏡画像を撮像したときの時刻の情報である時刻情報を取得し、
前記表示制御部は、前記時刻情報に基づいて、前記モデルマップ上に、複数の前記内視鏡画像を撮像したときの撮像ルートを前記表示装置によって表示させることを特徴とする請求項１に記載の画像処理装置。

【請求項11】

入力部が、内視鏡が被検体を撮像した内視鏡画像を取得し、
推定部が、前記内視鏡画像の前記被検体における撮像部位を推定し、
記憶部が、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶し、
作成部が、臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定し、
表示制御部が、前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する、
ことを特徴とする画像処理方法。

【請求項12】

コンピュータに、
内視鏡が被検体を撮像した内視鏡画像を取得させ、
前記内視鏡画像の前記被検体の部位における撮像部位を推定させ、
予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶させ、
臓器を仮想化したモデルマップを作成させて、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定させ、前記仮想部位に撮像情報を紐付けさせて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定させ、
前記モデルマップおよび前記内視鏡画像を表示装置に出力させると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力させること、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡画像に関する情報または条件を表示装置に表示させることができる画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、内視鏡装置は、医療分野および工業用分野において広く用いられている。医療分野において用いられる内視鏡装置は、体内に挿入される細長い挿入部を具備しており、臓器の観察、処置具を用いた治療措置、内視鏡観察下における外科手術等に、広く用いられている。

【0003】

医療分野では、同じ臓器に対して、内視鏡装置を用いた検診が複数回行われる場合がある。ここで、内視鏡装置を用いた検診が２回行われる場合を想定する。以下、１回目の検診を一次検診と言い、２回目の検診を二次検診と言う。二次検診では、例えば、一次検診において撮像できなかった部位を撮像することが行われる。二次検診における撮像漏れを防止するためには、一次検診において撮像した部位と撮像しなかった部位を識別することが望ましい。

【0004】

日本国特開２０１８－５０８９０号公報には、内視鏡装置によって撮影された画像から撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を生成する画像表示装置が開示されている。この画像表示装置によれば、一次検診において撮像した部位と撮像しなかった部位を識別することができる。

【0005】

ところで、二次検診では、一次検診において撮像できなかった部位を撮像することの他、一次検診において所望の条件によって撮像できなかった部位を再度撮像したり、一次検診において病変や出血等の異常が見つかった部位を再度撮像したりすることも行われる。しかし、日本国特開２０１８－５０８９０号公報に開示された画像表示装置では、一次検診において撮像したか否かについてしか識別できず、二次検診において撮像すべき部位を見逃したり、二次検診において撮像すべき条件を満たさずに撮像すべき部位を撮像してしまう撮像ミスが発生したりするおそれがある。

【0006】

上記の問題は、医療分野に限らず、工業用分野にも当てはまる。

【0007】

そこで、本発明は、撮像すべき部位の撮り逃しおよび撮像ミスを防止することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【発明の開示】

【課題を解決するための手段】

【0008】

本発明の一態様の画像処理装置は、内視鏡が被検体を撮像した内視鏡画像を取得する入力部と、前記内視鏡画像の前記被検体における撮像部位を推定する推定部と、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶する記憶部と、臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定する作成部と、前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する表示制御部と、を備えている。

【0009】

本発明の一態様の画像処理方法は、入力部が、内視鏡が被検体を撮像した内視鏡画像を取得し、推定部が、前記内視鏡画像の前記被検体における撮像部位を推定し、記憶部が、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶し、作成部が、臓器を仮想化したモデルマップを作成して、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定し、前記仮想部位に撮像情報を紐付けて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定し、表示制御部が、前記モデルマップおよび前記内視鏡画像を表示装置に出力すると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力する。

【0010】

本発明の一態様のプログラムは、コンピュータに、内視鏡が被検体を撮像した内視鏡画像を取得させ、前記内視鏡画像の前記被検体の部位における撮像部位を推定させ、予め規定された前記被検体を撮像するための条件である初期撮像条件を所定の部位毎に記憶させ、臓器を仮想化したモデルマップを作成させて、推定された前記撮像部位に基づいて対応する前記モデルマップ上の仮想部位を特定させ、前記仮想部位に撮像情報を紐付けさせて、前記仮想部位毎に前記撮像情報と前記仮想部位に対応する前記所定の部位の前記初期撮像条件とを比較することにより撮像条件を決定させ、前記モデルマップおよび前記内視鏡画像を表示装置に出力させると共に、前記表示装置に出力中の前記内視鏡画像および前記内視鏡画像の前記撮像部位に該当する前記モデルマップ上の前記仮想部位に対応づけられた前記撮像情報と前記初期撮像条件との比較結果と、決定した前記撮像条件の、少なくとも一方を前記表示装置に出力させること、を実行させる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施の形態に係わる画像処理装置の構成を示す機能ブロック図である。

【図2】本発明の一実施の形態に係わる画像処理装置のハードウェア構成の一例を示す機能ブロック図である。

【図3】本発明の一実施の形態に係わる画像処理装置の第１の使用例を示す説明図である。

【図4】本発明の一実施の形態に係わる画像処理装置の第２の使用例を示す説明図である。

【図5】本発明の一実施の形態に係わる画像処理方法を示すフローチャートである。

【図6】本発明の一実施の形態における表示内容の第１の例を示す説明図である。

【図7】本発明の一実施の形態における表示内容の第２の例を示す説明図である。

【図8】本発明の一実施の形態における表示内容の第３の例を示す説明図である。

【図9】本発明の一実施の形態における表示内容の第４の例を示す説明図である。

【発明を実施するための最良の形態】

【0012】

以下、図面を参照して、本発明の実施の形態を説明する。

【0013】

（画像処理装置の構成）
始めに、本発明の一実施の形態に係わる画像処理装置の構成について説明する。本実施の形態に係わる画像処理装置１は、医療分野において用いられる内視鏡が被検体を撮像することによって生成された内視鏡画像を処理する画像処理装置である。本実施の形態では特に、被検体は、胃や大腸等の臓器である。内視鏡画像は、複数の画素を有すると共に、複数の画素の各々において、Ｒ（赤色）波長成分、Ｇ（緑色）波長成分およびＢ（青色）波長成分の各々に対応する画素値を有するカラー画像である。

【0014】

図１は、本実施の形態に係わる画像処理装置１の構成を示す機能ブロック図である。画像処理装置１は、入力部１１と、推定部１２と、取得部１３と、記憶部１４と、作成部１５と、表示制御部１６とを備えている。入力部１１は、内視鏡画像を含む検査情報を取得する。

【0015】

推定部１２は、内視鏡画像に基づいて内視鏡が撮像した被検体すなわち臓器の部位である撮像部位を推定する。推定部１２による撮像部位の推定は、内視鏡画像を画像解析することによって行われる。例えば、被検体が胃である場合には、推定部１２は、内視鏡画像を画像解析することによって、撮像部位が、噴門、胃底部、胃体部、小彎、大彎、前庭部、胃角部および幽門等のいずれであるかを推定する。また、被検体が大腸である場合には、推定部１２は、内視鏡画像を画像解析することによって、撮像部位が、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、盲腸等のいずれであるかを推定する。

【0016】

画像解析は、例えば、パターンマッチングを利用してもよいし、機械学習を利用してもよい。例えば、被検体が胃または大腸である場合、上記の各部位毎に分類された内視鏡画像群を用いて機械学習を行ってもよい。機械学習は、推定部１２によって行われてもよいし、機械学習を実行する図示しない機械学習部によって行われてもよい。推定部１２は、機械学習の学習結果を利用して撮像部位を推定する。

【0017】

後述する推定部１２以外の構成要素における画像解析についても、推定部１２における画像解析と同様に、パターンマッチングまたは機械学習等が利用される。

【0018】

取得部１３は、検査情報から、内視鏡画像に対応し且つ内視鏡画像を撮像したときの内視鏡および被検体すなわち臓器の少なくとも一方の状況を示す情報である撮像情報を取得する。検査情報は、内視鏡画像の他に、内視鏡の動作に関する情報であるシステム情報を含んでいる。取得部１３による撮像情報の取得は、システム情報から撮像情報を取得することと、内視鏡画像を画像解析することによって撮像情報を取得することの少なくとも一方によって行われる。

【0019】

検査情報は、更に、内視鏡画像を撮像したときの時刻の情報である時刻情報を含んでいる。取得部１３は、検査情報から、撮像情報として時刻情報を取得する。

【0020】

また、取得部１３は、内視鏡画像を画像解析することによって内視鏡画像の画質を評価する評価部１３Ａと、内視鏡画像を画像解析することによって撮像部位における異常を検出する検出部１３Ｂとを含んでいる。取得部１３、評価部１３Ａおよび検出部１３Ｂの動作については、後で更に詳しく説明する。

【0021】

記憶部１４は、条件記憶部１４Ａと、画像記憶部１４Ｂと、情報記憶部１４Ｃとを含んでいる。条件記憶部１４Ａは、予め規定された被検体すなわち臓器を撮像するための条件である初期撮像条件を、後述する仮想部位毎に記憶する。初期撮像条件は、内視鏡画像を画像解析することによって決定したものであってもよいし、使用者が設定したものであってもよい。内視鏡画像を画像解析することによって初期撮像条件を決定する場合、初期撮像条件は、後述する決定部による撮像条件の決定方法と同様の方法によって決定しても良い。

【0022】

図１に示した例では、画像処理装置１には、使用者が操作する入力機器３が接続されている。入力機器３は、キーボード、マウスおよびタッチパネル等によって構成されている。入力部１１は、入力機器３に入力された操作内容を取得する。初期撮像条件を使用者が設定する場合、使用者が入力機器３を操作することによって、初期撮像条件を設定することができる。

【0023】

画像記憶部１４Ｂは、入力部１１が取得した内視鏡画像を記憶する。なお、評価部１３Ａによって内視鏡画像の画質が評価されている場合には、画像記憶部１４Ｂは、評価部１３Ａによる評価結果と内視鏡画像とを紐付けて記憶する。情報記憶部１４Ｃは、取得部１３が取得した撮像情報を記憶する。

【0024】

作成部１５は、被検体すなわち臓器を仮想化したモデルマップを作成すると共に、推定部１２による推定結果すなわち撮像部位の推定結果に基づいて、撮像部位に対応するモデルマップ上の部位である仮想部位に対して撮像情報を紐付ける。具体的には、作成部１５は、任意の内視鏡画像を画像解析することによって推定された撮像部位に対応する仮想部位に対して、この任意の内視鏡画像を含む検査情報から取得された撮像情報を紐付ける。

【0025】

モデルマップは、臓器のシェーマ図であってもよいし、臓器の３Ｄモデル図であってもよい。仮想部位の数は複数である。

【0026】

また、作成部１５は、決定部１５Ａと、分割部１５Ｂとを含んでいる。決定部１５Ａは、仮想部位毎に、被検体すなわち臓器を撮像するための条件である撮像条件を決定する。決定部１５Ａは、内視鏡画像を画像解析することによって撮像条件を決定してもよいし、仮想部位毎に撮像情報と初期撮像条件とを比較することによって撮像条件を決定してもよい。

【0027】

分割部１５Ｂは、必要に応じて、仮想部位を複数の副部位に分割する。例えば、決定部１５Ａによって、１つの仮想部位に含まれる複数の領域の各々に対して、互いに異なる条件が決定された場合、分割部１５Ｂは、その１つの仮想部位を複数の副部位に分割する。複数の副部位は、複数の領域と一致していてもよいし異なっていてもよい。決定部１５Ａは、複数の副部位毎に、撮像条件として、上記の互いに異なる条件を決定する。

【0028】

決定部１５Ａおよび分割部１５Ｂの動作については、後で更に詳しく説明する。

【0029】

図１に示した例では、画像処理装置１には、作成部１５が作成したモデルマップを表示するための表示装置２が接続されている。表示装置２は、液晶パネル等によって構成された表示部を有している。

【0030】

表示制御部１６は、入力部１１が取得した内視鏡画像、取得部１３が取得した撮像情報および決定部１５Ａが決定した撮像条件等を表示装置２によって表示させる。本実施の形態では特に、表示制御部１６は、以下のように、表示装置２を制御することができる。

【0031】

決定部１５Ａが撮像情報と初期撮像条件とを比較することによって撮像条件を決定した場合には、表示制御部１６は、決定部１５Ａによる比較結果と決定部１５Ａが決定した撮像条件の少なくとも一部との少なくとも一方を表示装置２によって表示させることができる。

【0032】

また、表示制御部１６は、１つの撮像部位に対応する複数の内視鏡画像であって、各々に対応する撮像情報の少なくとも一部が互いに異なる複数の内視鏡画像を画像記憶部１４Ｂから読み出し、且つこの複数の内視鏡画像に対応する複数の撮像情報を情報記憶部１４Ｃから読み出すことができる。そして、表示制御部１６は、複数の内視鏡画像と複数の撮像情報との少なくとも一方を表示装置２によって表示させることができる。

【0033】

また、表示制御部１６は、１つの撮像部位に対応する複数の内視鏡画像の中から評価部１３Ａによって画質が良いと評価された内視鏡画像を画像記憶部１４Ｂから読み出し且つ表示装置２によって表示させることができる。

【0034】

また、検出部１３Ｂによって撮像部位における異常が検出された場合、表示制御部１６は、異常の内容を確認することができるように、検出部１３Ｂによる検出結果を表示装置２によって表示させることができる。

【0035】

また、表示制御部１６は、取得部１３によって取得された時刻情報に基づいて、モデルマップ上に、複数の内視鏡画像を撮像したときの撮像ルートを表示装置２によって表示させることができる。

【0036】

ここで、図２を参照して、画像処理装置１のハードウェア構成について説明する。図２は、画像処理装置１のハードウェア構成の一例を示す説明図である。図２に示した例では、画像処理装置１は、プロセッサ１Ａと、記憶装置１Ｂと、入出力インターフェース（以下、入出力Ｉ／Ｆと記す。）１Ｃとを有するコンピュータとして構成されている。プロセッサ１Ａは、例えば、中央演算処理装置（以下、ＣＰＵと記す。）によって構成されている。記憶装置１Ｂは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリおよびハードディスク装置等の記憶装置によって構成されている。入出力Ｉ／Ｆ１Ｃは、画像処理装置１と外部
との間において信号の送受信を行うために用いられるものである。

【0037】

プロセッサ１Ａは、画像処理装置１の構成要素である入力部１１、推定部１２、取得部１３、作成部１５および表示制御部１６等の機能を実行するために用いられる。記憶装置１Ｂは、これらの機能のためのソフトウェアプログラムである画像処理プログラムを記憶している。各機能は、画像処理プログラムをプロセッサ１Ａが記憶装置１Ｂから読み出しし且つ実行することによって実現される。記憶装置１Ｂは、上記の画像処理プログラムを含む複数のソフトウェアプログラムを記憶している。

【0038】

画像処理装置１の構成要素である記憶部１４の機能、すなわち条件記憶部１４Ａ、画像記憶部１４Ｂおよび情報記憶部１４Ｃの各々の機能は、基本的には、記憶装置１Ｂのうち、フラッシュメモリやハードディスク装置等の不揮発性且つ書き換え可能な記憶装置によって実現される。上記の不揮発性且つ書き換え可能な記憶装置は、初期撮像条件、内視鏡画像および撮像情報を記憶する。

【0039】

なお、画像処理装置１のハードウェア構成は、上記の例に限られない。例えば、プロセッサ１Ａは、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって構成されていてもよい。この場合、画像処理装置１の複数の構成要素の少なくとも一部は、ＦＰＧＡにおける回路ブロックとして構成される。あるいは、画像処理装置１の複数の構成要素は、それぞれ、別個の電子回路として構成されていてもよい。

【0040】

また、画像処理プログラムの少なくとも一部は、図示しない外部の記憶装置または記憶媒体に記憶されていてもよい。この場合、画像処理装置１の機能の少なくとも一部は、プロセッサ１Ａが、画像処理プログラムの少なくとも一部を外部の記憶装置または記憶媒体から読み出し且つ実行することによって実現される。外部の記憶装置は、例えば、ＬＡＮやインターネット等のコンピュータネットワークに接続された他のコンピュータの記憶装置であってもよい。記憶媒体は、例えば、ＣＤ、ＤＶＤおよびブルーレイディスク等の光ディスクであってもよいし、ＵＳＢメモリ等のフラッシュメモリであってもよい。

【0041】

また、画像処理装置１の複数の構成要素の一部は、いわゆるクラウドコンピューティングによって実現されてもよい。この場合、画像処理装置１の機能の一部は、インターネットに接続された他のコンピュータが画像処理プログラムの一部を実行し、且つ画像処理装置１がその実行結果を取得することによって実現される。上記の他のコンピュータのハードウェア構成は、図２に示した画像処理装置１のハードウェア構成と同様である。上記の他のコンピュータは、画像処理装置１の一部を構成しているとも言える。

【0042】

（画像処理装置の使用例）
次に、画像処理装置１の第１および第２の使用例について説明する。始めに、第１の使用例について説明する。図３は、画像処理装置１の第１の使用例を示す説明図である。図３には、図１に示した画像処理装置１、表示装置２および入力機器３の他に、内視鏡１０１、ビデオプロセッサ１０２、光源装置１０３および表示装置１０４が示されている。画像処理装置１、光源装置１０３および表示装置１０４は、ビデオプロセッサ１０２に接続されている。

【0043】

内視鏡１０１は、被検体内に挿入される挿入部１１０と、挿入部１１０の基端に連接された操作部１２０と、操作部１２０から延出するユニバーサルコード１３１と、ユニバーサルコード１３１の先端に設けられたコネクタ１３２とを備えている。コネクタ１３２は、ビデオプロセッサ１０２と光源装置１０３に接続されている。

【0044】

挿入部１１０は、細長い形状を有すると共に、挿入部１１０の先端に位置する先端部１１１と、湾曲自在に構成された湾曲部１１２と、可撓性を有する可撓管部１１３とを有している。先端部１１１、湾曲部１１２および可撓管部１１３は、挿入部１１０の先端側からこの順に連結されている。

【0045】

先端部１１１には、図示しない撮像装置が設けられている。撮像装置は、内視鏡１０１内に設けられた図示しないケーブルと、コネクタ１３２とビデオプロセッサ１０２を接続する図示しないケーブルとによって、ビデオプロセッサ１０２に電気的に接続されている。撮像装置は、最先端に位置する観察窓と、ＣＣＤまたはＣＭＯＳ等によって構成された撮像素子と、観察窓と撮像素子の間に設けられた複数のレンズとを含んでいる。複数のレンズのうちの少なくとも１つは、光学倍率を調整するために用いられる。

【0046】

撮像素子は、撮像面に結像された被検体すなわち臓器の光学像を光電変換した撮像信号を生成すると共に、生成した撮像信号をビデオプロセッサ１０２に出力する。ビデオプロセッサ１０２は、撮像信号に対して所定の画像処理を施すことによって画像信号を生成すると共に、生成した画像信号を表示装置１０４に出力する。表示装置１０４は、液晶パネル等によって構成された表示部を有している。表示装置１０４は、撮像装置によって撮像された画像すなわち撮像信号を内視鏡画像として表示するためのものであり、ビデオプロセッサ１０２によって生成された画像信号を内視鏡画像として表示する。

【0047】

先端部１１１には、更に、図示しない照明窓が設けられている。光源装置１０３は、ビデオプロセッサ１０２によって制御されて照明光を発生する。光源装置１０３によって発生された照明光は、光源装置１０３とコネクタ１３２を接続する図示しないライトガイドケーブルと、内視鏡１０１内に設けられた図示しないライトガイドとによって照明窓に伝送され、照明窓から被検体すなわち臓器に照射される。光源装置１０３は、照明光として、例えば、通常光である白色光（以下、ＷＬＩと記す。）と、特殊光である狭帯域光（以下、ＮＢＩと記す。）を発生させることができる構成を有している。

【0048】

先端部１１１には、更に、先端部１１１と被写体との距離を測定する第１のセンサと、先端部１１１の傾き角度を検出する第２のセンサが設けられていてもよい。

【0049】

操作部１２０には、挿入部１１０内に設けられた図示しない処置具挿通チャンネルに連通する処置具挿入口１２１と、挿入部１１０の湾曲部１１２を湾曲させるための複数の湾曲操作ノブ１２２と、撮像装置のレンズを移動させて光学倍率を調整するためのズームレバー１２３等が設けられている。挿入部１１０の先端部１１１には、処置具挿通チャンネルの開口部である処置具導出口が設けられている。鉗子や穿刺針等の処置具は、処置具挿入口１２１から処置具挿通チャンネル内に導入され、処置具導出口から導出される。

【0050】

図３に示した例では、ビデオプロセッサ１０２が検査情報を出力する。ビデオプロセッサ１０２が出力する検査情報には、内視鏡画像とシステム情報と時刻情報が含まれる。ビデオプロセッサ１０２は、内視鏡画像として、ビデオプロセッサ１０２によって生成された画像信号を出力する。また、ビデオプロセッサ１０２は、内視鏡画像（画像信号）として、撮像装置のレンズによって拡大された画像と、内視鏡画像の中央部分を切り出してから補間等を行って拡大した電子拡大画像を出力することができる。ビデオプロセッサ１０２が出力するシステム情報には、レンズによる拡大倍率（以下、光学拡大倍率と言う。）の情報と、電子拡大画像の拡大倍率（以下、電子拡大倍率と言う。）の情報が含まれる。

【0051】

また、ビデオプロセッサ１０２が出力するシステム情報には、更に、光源装置１０３が発生する照明光の種類および光量の情報が含まれる。また、先端部１１１に前述の第１および第２のセンサが設けられている場合には、ビデオプロセッサ１０２が出力するシステム情報には、更に、第１および第２のセンサの検出値の情報が含まれる。

【0052】

画像処理装置１の入力部１１（図１参照）は、ビデオプロセッサ１０２が出力した検査情報を所定のタイミングにおいて取得する。所定のタイミングは、内視鏡画像が生成されるタイミングであってもよいし、検査情報を取得するために使用者が入力機器３を操作したタイミングであってもよい。後者の場合、検査情報は、ビデオプロセッサ１０２または図示しない記憶装置によって、入力部１１が検査情報の取得を開始するタイミングまで保持される。

【0053】

なお、図３に示した例では、画像処理装置１は、表示装置２の代わりに、ビデオプロセッサ１０２に接続された表示装置１０４を用いてもよい。すなわち、画像処理装置１の表示制御部１６（図１参照）は、入力部１１が取得した内視鏡画像、取得部１３が取得した撮像情報および決定部１５Ａが決定した撮像条件等を表示装置１０４によって表示させてもよい。この場合、表示装置１０４には、内視鏡１０１が撮像した内視鏡画像と、表示制御部１６によって決定された表示内容が表示される。表示装置１０４は、内視鏡画像と前記表示内容を同時に表示してもよいし、内視鏡画像の表示と前記表示内容の表示を切り替
えてもよい。

【0054】

次に、第２の例について説明する。図４は、画像処理装置１の第２の使用例を示す説明図である。第２の使用例では、画像処理装置１は、ＬＡＮやインターネット等のコンピュータネットワーク２００に接続されている。画像処理装置１は、内視鏡１０１およびビデオプロセッサ１０２等（図３参照）が設置された診察室または手術室に設置されていてもよいし、診察室または手術室以外の部屋に設置されていてもよい。

【0055】

画像処理装置１の入力部１１（図１参照）は、コンピュータネットワーク２００を経由して、ビデオプロセッサ１０２または図示しない記憶装置が保持する検査情報を取得する。図示しない記憶装置は、コンピュータネットワーク２００に接続された他のコンピュータの記憶装置であってもよい。

【0056】

（取得部の動作）
次に、画像処理装置１の取得部１３の動作について詳しく説明する。前述のように、取得部１３による撮像情報の取得は、システム情報から撮像情報を取得することと、内視鏡画像を画像解析することによって撮像情報を取得することの少なくとも一方によって行われる。具体的には、取得部１３は、撮像情報として、システム情報に含まれる、光学拡大倍率の情報、電子拡大倍率の情報、光源装置１０３が発生する照明光の種類と光量の情報、時刻の情報ならびに第１および第２のセンサの検出値の情報等の複数の情報の中から、少なくとも１つの情報を取得する。

【0057】

内視鏡画像には、被写体そのものの他、標識のために散布された色素や、処置具が映り込むことがある。また、先端部１１１（図３参照）と被写体との距離や、先端部１１１と被写体との角度に応じて、内視鏡画像に映り込んだ被写体の態様が異なり得る。従って、内視鏡画像には、被写体の画像そのものに加えて、色素が散布された領域であるか否かの情報、処置具の有無および種類の情報、先端部１１１と被写体との距離の情報（以下、距離情報と言う。）、ならびに先端部１１１と被写体との角度の情報（以下、角度情報と言う。）等の複数の情報が含まれていると言える。取得部１３は、内視鏡画像を画像解析することによって、撮像情報として、上記の複数の情報の中から、少なくとも１つの情報を取得する。なお、先端部１１１に前述の第１のセンサが設けられている場合には、距離情報は、画像解析の結果に加えて、第１のセンサの検出値の情報を用いて取得してもよい。同様に、先端部１１１に前述の第２のセンサが設けられている場合には、角度情報は、画像解析の結果に加えて、第２のセンサの検出値の情報とを用いて取得してもよい。

【0058】

また、前述のように、取得部１３は、内視鏡画像を画像解析することによって内視鏡画像の画質を評価する評価部１３Ａを含んでいる。例えば、ブレ、ボケおよびサチュレーション等が少ない画像は、視認性が高く、画質が良いと言える。従って、画像の視認性を定量的に評価することによって、内視鏡画像の画質を評価することが可能である。一般的に、画像のエッジの強度を、視認可能な限界の輝度変化である閾値に対する倍率（以下、閾値倍率と言う。）として表現すると、閾値倍率が高いほど画像の視認性が高くなる。従って、内視鏡画像毎に閾値倍率を求めることによって、画像の視認性を定量的に評価することができる。画像の視認性すなわち見えやすさは、例えば、閾値倍率の対数を変数とする一次式を用いて表される。評価部１３Ａによる評価結果は、撮像情報として記憶部１４の情報記憶部１４Ｃに記憶される。記憶部１４の画像記憶部１４Ｂは、情報記憶部１４Ｃに記憶された評価部１３Ａによる評価結果と内視鏡画像とを紐付けて記憶する。

【0059】

また、前述のように、取得部１３は、内視鏡画像を画像解析することによって撮像部位における異常を検出する検出部１３Ｂを含んでいる。検出部１３Ｂは、撮像部位における異常として、例えば、病変や出血等を検出する。特に、病変の検出には、病変の検出に特化した公知の病変検出アルゴリズムを用いてもよい。撮像部位における異常は、撮像情報として記憶部１４の情報記憶部１４Ｃに記憶される。

【0060】

（決定部および分割部の動作）
次に、画像処理装置１の作成部１５の決定部１５Ａおよび分割部１５Ｂの動作について詳しく説明する。前述のように、決定部１５Ａは、仮想部位毎に撮像条件を決定する。撮像条件は、臓器の部位の違い、病変等の異常の有無、先端部１１１と被写体との距離および先端部１１１と被写体との角度等の複数の要因によって変化し得る。内視鏡画像を画像解析することによって撮像条件を決定する場合、例えば、複数の要因と、複数の要因によって変化する内視鏡画像の要素との関係を機械学習によって学習させてもよい。この機械学習は、決定部１５Ａによって行われてもよいし、機械学習を実行する図示しない機械学習部によって行われてもよい。決定部１５Ａは、機械学習の学習結果を利用して撮像条件を決定する。

【0061】

また、仮想部位毎に撮像情報と初期撮像条件とを比較することによって撮像条件を決定する場合、撮像情報が初期撮像条件を満足していない場合には、決定部１５Ａは、初期撮像条件を満足させるような撮像条件を決定する。また、決定部１５Ａは、病変等の異常が検出された撮像部位に対応する仮想部位に対しては、撮像情報が初期撮像条件を満足しているか否かに関わらず、病変等の異常を詳細に観察するための撮像条件を追加決定してもよい。具体的には、例えば、決定部１５Ａは、撮像条件として、照明光にＮＢＩを用いることや、光学拡大倍率または電子拡大倍率を大きくすることを追加決定してもよい。

【0062】

また、前述のように、分割部１５Ｂは、必要に応じて、仮想部位を複数の副部位に分割する。分割部１５Ｂは、例えば、上述のように、病変等の異常が検出された撮像部位に対応する仮想部位を複数の副部位に分割する。この場合、分割部１５Ｂは、異常を含む副部位と異常を含まない副部位とに分割してもよい。仮想部位がこのように分割される場合、決定部１５Ａは、異常を含む副部位に対しては、例えば、病変等の異常を詳細に観察するための撮像条件を追加決定してもよい。また、決定部１５Ａは、異常を含まない副部位に対しては、例えば、初期撮像条件と同じ撮像条件を決定してもよい。

【0063】

（画像処理方法）
次に、図５を参照して、本実施の形態に係わる画像処理方法について説明する。図５は、本実施の形態に係わる画像処理方法を示すフローチャートである。本実施の形態に係わる画像処理方法では、まず、入力部１１が、検査情報を取得する（ステップＳ１１）。次に、推定部１２が、内視鏡画像に基づいて撮像部位を推定する（ステップＳ１２）。次に、取得部１３が、検査情報から撮像情報を取得する（ステップＳ１３）。次に、作成部１５が、モデルマップを作成すると共に、推定部１２による推定結果に基づいて仮想部位に対して撮像情報を紐付ける（ステップＳ１４）。

【0064】

次に、作成部１５の決定部１５Ａが、仮想部位毎に撮像条件を暫定的に決定し、暫定的に決定した撮像条件に基づいて、分割が必要な仮想部位が存在するか否かを判定する（ステップＳ１５）。分割が必要な仮想部位が存在する場合（ＹＥＳ）には、分割部１５Ｂが、その仮想部位を複数の副部位に分割すると共に、決定部１５Ａが、複数の副部位毎に撮像条件を決定する（ステップＳ１６）。また、ステップＳ１６では、分割が不要な仮想部位については、決定部１５Ａは、ステップＳ１５において暫定的に決定した撮像条件を、その仮想部位の正式な撮像条件として決定する。ステップＳ１５において分割が必要な仮想部位が存在しない場合（ＮＯ）には、ステップＳ１５において暫定的に決定した撮像条件を、正式な撮像条件として決定する（ステップＳ１７）。

【0065】

なお、ステップＳ１５では、決定部１５Ａは、内視鏡画像を画像解析することによって撮像条件を暫定的に決定してもよいし、撮像情報と初期撮像条件とを比較することによって撮像条件を暫定的に決定してもよい。

【0066】

次に、表示制御部１６が、表示装置２を制御する一連の処理を実行する（ステップＳ１８，Ｓ１９，Ｓ２０，Ｓ２１，Ｓ２２）。表示制御部１６は、一連の処理をすべて実行してもよいし、一連の処理のうちの一部のみを実行してもよい。また、一連の処理の実行順序は、図５に示した例に限られない。表示制御部１６に実行させる処理は、例えば、使用者が入力機器３（図１参照）を操作することによって選択することができる。

【0067】

ステップＳ１８，Ｓ１９は、いずれも、表示制御部１６が、決定部１５Ａによって決定された撮像条件を、満足することが好ましい撮像条件として表示装置２によって表示させる処理である。ステップＳ１８では、ステップＳ１５において、決定部１５Ａが、内視鏡画像を画像解析することによって撮像条件を決定した場合、表示制御部１６は、その撮像条件の少なくとも一部を表示させる。また、ステップＳ１５において、決定部１５Ａが、撮像情報と初期撮像条件とを比較することによって撮像条件を決定した場合、表示制御部１６は、撮像情報が初期撮像条件を満足しているか否かに関わらずに、初期撮像条件の少なくとも一部を、満足することが好ましい撮像条件として表示させる。

【0068】

ステップＳ１９は、ステップＳ１５において、決定部１５Ａが、撮像情報と初期撮像条件とを比較することによって撮像条件を決定した場合に実行される。この場合、決定部１５Ａは、初期撮像条件を満足させるような撮像条件を決定する（ステップＳ１６，Ｓ１７）。ステップＳ１９では、表示制御部１６は、初期撮像条件を満足させるような撮像条件を表示させる。なお、ステップＳ１９では、表示制御部１６は、撮像情報と初期撮像条件との比較結果を表示させてもよい。

【0069】

ステップＳ２０は、１つの撮像部位に対応する複数の内視鏡画像が存在する場合に、表示制御部１６が、仮想部位毎に、複数の内視鏡画像と複数の撮像情報を表示装置２によって表示させる処理である。なお、１つの撮像条件に対応する内視鏡画像の数が複数である場合、表示制御部１６は、その１つの撮像条件に対応する内視鏡画像として、評価部１３Ａによって画質が良いと評価された内視鏡画像を表示させてもよい。表示制御部１６は、複数の内視鏡画像を同時に表示させてもよいし、複数の内視鏡画像を１つずつ表示させてもよい。

【0070】

ステップＳ２１は、検出部１３Ｂによって撮像部位における異常が検出された場合に、表示制御部１６が、検出部１３Ｂによる検出結果すなわち異常の有無および異常の内容を表示装置２によって表示させる処理である。

【0071】

ステップＳ２２は、表示制御部１６が、取得部１３によって取得された時刻情報に基づいて、モデルマップ上に、複数の内視鏡画像を撮像したときの撮像ルートを表示装置２によって表示させる処理である。

【0072】

（表示内容の例）
次に、表示制御部１６が表示装置２に表示させる内容（以下、表示内容と言う）の第１ないし第４の例について説明する。ここでは、被検体が胃である場合を例にとって説明する。第１ないし第４の例では、表示制御部１６は、被検体のモデルマップとして、胃のシェーマ図を表示させると共に、複数の仮想部位を表示させる。図６は、表示内容の第１の例を示す説明図である。図７は、表示内容の第２の例を示す説明図である。図８は、表示内容の第３の例を示す説明図である。図９は、表示内容の第４の例を示す説明図である。図６ないし図９において、符号２０は、表示装置２の表示部を示し、符号２１は、モデルマップ（シェーマ図）を示している。図６ないし図９に示した例では、モデルマップ２１上の格子状に区切られた１つの領域が、１つの仮想部位に対応する。

【0073】

始めに、図６を参照して、表示内容の第１の例について説明する。第１の例は、表示制御部１６が図５に示したステップＳ１９の処理を実行した場合の例である。図６に示した例では、表示部２０に、撮像条件を表示するための表２２が表示されている。表２２内には、仮想部位２１ａの撮像条件として、照明光の種類の条件（図６では「光源」と記す。）を示す項目と、先端部１１１と被写体との距離の条件（図６では「距離」と記す。）を示す項目と、先端部１１１と被写体との角度の条件（図６では「角度」と記す。）を示す項目が設けられている。図６に示した例では、これらの条件のうち、照明光の種類の条件のみが表示されている。この例では、照明光の種類の条件が、初期撮像条件を満足させるような撮像条件に該当する。

【0074】

仮想部位２１ａと表２２を結ぶ矢印２３は、表２２に表示した撮像条件が、仮想部位２１ａの撮像条件であることを示している。撮像条件を表示させる仮想部位は、例えば、使用者が入力機器３（図１参照）を操作することによって選択することができる。

【0075】

また、図６に示した例では、複数の仮想部位の各々に、決定部１５Ａによる撮像情報と初期撮像条件との比較結果が表示されている。比較結果は、例えば、図６に示したように、丸印、三角印、バツ印等の記号によって表される。丸印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件のうち比較的重要度の高い条件を満足していないことを表している。三角印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件のうち比較的重要度の高い条件を満足しているが、初期撮像条件のうち比較的重要度の低い条件を満足していないことを表している。バツ印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件の全てまたはほぼ全てを満足していることを表している。比較結果は、記号に限らず、文字または色によって表されてもよい。

【0076】

なお、表示制御部１６は、モデルマップ２１と表２２を同時に表示させてもよいし、モデルマップ２１と表２２の一方のみを表示させてもよい。

【0077】

次に、図７を参照して、表示内容の第２の例について説明する。第２の例は、表示制御部１６が図５に示したステップＳ２０の処理を実行した場合の例である。図７に示した例では、表示部２０に、内視鏡画像と撮像情報を表示するための表２４が表示されている。表２４内には、仮想部位２１ｂに対応する撮像部位における３つの内視鏡画像２４ａ，２４ｂ，２４ｃと、この３つの内視鏡画像２４ａ，２４ｂ，２４ｃに対応する３つの撮像情報が表示されている。

【0078】

図７に示した例では、撮像情報として、照明光の種類の情報（図７では「光源」と記す。）と、距離情報（図７では「距離」と記す。）と、角度情報（図７では「角度」と記す。）が表示されている。内視鏡画像２４ａ，２４ｂは、照明光の種類が互いに異なっている。内視鏡画像２４ａ，２４ｃは、先端部１１１と被写体との距離および角度が互いに異なっている。

【0079】

仮想部位２１ｂと表２４を結ぶ矢印２５は、表２４に表示した内視鏡画像２４ａ～２４ｃおよび撮像情報が、仮想部位２１ｂの内視鏡画像および撮像情報であることを示している。内視鏡画像および撮像情報を表示させる仮想部位は、例えば、使用者が入力機器３（図１参照）を操作することによって選択することができる。

【0080】

第２の例では、第１の例と同様に、複数の仮想部位の各々に、決定部１５Ａによる撮像情報と初期撮像条件との比較結果が表示されてもよい。図７に示した例では、図６に示した第１の例と同様に、比較結果を記号によって表している。表示制御部１６は、モデルマップ２１と表２４を同時に表示させてもよいし、モデルマップ２１と表２４の一方のみを表示させてもよい。

【0081】

次に、図８を参照して、表示内容の第３の例について説明する。第３の例は、表示制御部１６が図５に示したステップＳ２１の処理を実行した場合の例である。図８に示した例では、仮想部位に、検出部１３Ｂによる検出結果すなわち異常の有無が表示されている。検出結果は、例えば、図８に示したように、星印等の記号によって表される。星印が表示された仮想部位は、その仮想部位に対応する撮像部位に異常があることを表している。星印が表示されない仮想部位は、その仮想部位に対応する撮像部位に異常がないことを表している。なお、異常の有無は、記号に限らず、文字、色または内視鏡画像によって表されてもよい。

【0082】

また、図８に示した例では、表示部２０に、検出部１３Ｂによって検出された異常の内容を表示するための枠２６が表示されている。枠２６内には、異常の内容が表示されている。仮想部位２１ｃと枠２６を結ぶ矢印２７は、枠２６に表示した異常の内容が、仮想部位２１ｃに対応する撮像部位の異常の内容であることを示している。異常の内容を表示させる仮想部位は、例えば、使用者が入力機器３（図１参照）を操作することによって選択することができる。

【0083】

次に、図９を参照して、表示内容の第４の例について説明する。第４の例は、表示制御部１６が図５に示したステップＳ２２の処理を実行した場合の例である。図９に示した例では、モデルマップ２１上に、複数の内視鏡画像を撮像したときの撮像ルート２８が表示されている。

【0084】

第４の例では、第１の例と同様に、複数の仮想部位の各々に、決定部１５Ａによる撮像情報と初期撮像条件との比較結果が表示されてもよい。比較結果は、例えば、図９に示したように、丸印、三角印等の記号によって表される。丸印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件の全てまたはほぼ全てを満足していることを表している。三角印は、例えば、その仮想部位に対応する撮像部位における撮像情報が、初期撮像条件の一部を満足していることを表している。第４の例では、撮像ルート２８の始点と終点を、例えば記号によって表してもよい。

【0085】

（作用および効果）
次に、本実施の形態に係わる画像処理装置１、画像処理方法および画像処理プログラムの作用および効果について説明する。本実施の形態では、取得部１３が検査情報から撮像情報を取得し、作成部１５が仮想部位に対して撮像情報を紐付ける。本実施の形態によれば、仮想部位に紐付いた撮像情報を利用することによって、その撮像情報に対応する撮像部位を再度撮像すべきか否かを判断することができ、その結果、撮像すべき部位の撮り逃しおよび撮像ミスを防止することができる。

【0086】

また、本実施の形態では、分割部１５Ｂは、例えば、病変等の異常が検出された撮像部位に対応する仮想部位を複数の副部位に分割する（図５のステップＳ１５，Ｓ１６参照）。本実施の形態によれば、例えば、異常を含む副部位と異常を含まない副部位とに分割し、異常を含む副部位に対して撮像条件を追加決定することによって、異常が検出された撮像部位を重点的に検査することができる。

【0087】

また、本実施の形態では、初期撮像条件を満足させるような撮像条件を表示させることができる（図５のステップＳ１９および図６参照）。これにより、本実施の形態によれば、撮像ミスを防止することができる。

【0088】

また、本実施の形態では、仮想部位毎に、複数の内視鏡画像と複数の撮像情報を表示することができる（図５のステップＳ２０および図７参照）。本実施の形態によれば、複数の内視鏡画像と複数の撮像情報を参照することによって、正確な診断が可能になる。

【0089】

なお、図７に示した例では、複数の撮像情報として、照明光の種類の情報と、距離情報と、角度情報が表示され、複数の内視鏡画像として、照明光の種類が互いに異なる内視鏡画像２４ａ，２４ｂと、先端部１１１と被写体との距離および角度が互いに異なる内視鏡画像２４ａ，２４ｃが表示されている。本実施の形態では、複数の撮像情報として、上記の情報以外の撮像情報を表示させることが可能であり、複数の内視鏡画像として、上記の情報以外の撮像情報が互いに異なる複数の内視鏡画像を表示させることが可能である。具体的には、表示制御部１６は、撮像情報として、光学拡大倍率の情報、電子拡大倍率の情報、照明光の光量の情報、色素が散布された領域であるか否かの情報、ならびに処置具の有無および種類の情報等を表示させることが可能である。

【0090】

また、本実施の形態では、異常の有無および異常の内容を表示することができる（図５のステップＳ２１および図８参照）。これにより、本実施の形態によれば、異常が検出された撮像部位を重点的に検査することができる。

【0091】

また、本実施の形態では、複数の内視鏡画像を撮像したときの撮像ルートを表示することができる（図５のステップＳ２２および図９参照）。これにより、本実施の形態によれば、検査の手順をフィードバックすることが可能になり、使用者の技術向上を図ることができる。

【0092】

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば、本発明の画像処理装置、画像処理方法および画像処理プログラムは、医療分野に限らず、工業用分野にも適用することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】