特許 7068438 画像処理装置、内視鏡システム、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-06

(45)【発行日】2022-05-16

(54)【発明の名称】画像処理装置、内視鏡システム、画像処理方法およびプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220509BHJP

【ＦＩ】

A61B1/045 610

【請求項の数】 7

(21)【出願番号】P 2020506006

(86)(22)【出願日】2018-03-13

(86)【国際出願番号】 JP2018009816

(87)【国際公開番号】W WO2019175991

(87)【国際公開日】2019-09-19

【審査請求日】2021-03-12

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】菊地 直

【審査官】永田 浩司

(56)【参考文献】

【文献】特開２０１７－１５８８４０（ＪＰ，Ａ）

【文献】特開２０１３－１９７６４９（ＪＰ，Ａ）

【文献】特開２０１６－１５９９５（ＪＰ，Ａ）

【文献】特開２００８－２５６５１５（ＪＰ，Ａ）

【文献】特開２０１２－１０７３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置であって、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、
前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、
前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、
前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、
を備え、
前記生成部は、前記検出部が検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする画像処理装置。

【請求項2】

前記検出部が検出した前記位置ずれ量が閾値未満であるか否かを判定する判定部をさらに備え、
前記生成部は、
前記判定部によって前記位置ずれ量が閾値未満であると判定された場合、前記合成画像データを用いて前記参照画像データを生成する一方、
前記判定部によって前記位置ずれ量が閾値未満でないと判定された場合、前記基準フレームの前記画像データに対して補間処理を行うことによって前記参照画像データを生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１のフィルタは、緑色の波長帯域の光を透過する緑フィルタであることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記第１のフィルタは、青色の波長帯域の光および緑色の波長帯域の光を透過するシアンフィルタであることを特徴とする請求項１または２に記載の画像処理装置。

【請求項5】

被検体に挿入可能な内視鏡と、
前記内視鏡が接続される画像処理装置と、
を備え、
前記内視鏡は、
２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、
前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、
前記画像処理装置は、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、
前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、
前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、
前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、
を備え、
前記生成部は、前記検出部が検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする内視鏡システム。

【請求項6】

２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置が実行する画像処理方法であって、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、
前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、
前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、
前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、
を含み、
前記生成ステップは、前記検出ステップが検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする画像処理方法。

【請求項7】

２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置に、
前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、
前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、
前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、
前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、
を実行させ、
前記生成ステップは、前記検出ステップで検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡が撮像した撮像信号に対して画像処理を行う画像処理装置、内視鏡システム、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。

【0003】

内視鏡装置の撮像方式として、フレーム毎に異なる波長帯域の照明を照射することでカラー情報を取得する面順次式と、撮像素子上に設けたカラーフィルタによりカラー情報を取得する同時式とが用いられている。面順次式は、色分離性能および解像度に優れるが、動的シーンでは色ズレが発生する。これに対して、同時式は、色ズレが発生しないが、色分離性能および解像度において面順次式に対して劣る。

【0004】

また、従来の内視鏡装置の観察方式として、白色の照明光（白色光）を用いた白色光観察方式（ＷＬＩ：White Light Imaging）と、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光（狭帯域光）を用いた狭帯域光観察方式（ＮＢＩ：Narrow Band Imaging）が広く知られている。白色光観察方式では緑色の波長帯域の信号を輝度信号としてカラー画像を生成し、挟帯域光観察方式では青色の波長帯域の信号を輝度信号として擬似カラー画像を生成する。このうち、狭帯域光観察方式は、生体の粘膜表層に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。狭帯域光観察方式によれば、生体の粘膜表層における病変部をより的確に発見することができる。このような内視鏡装置の観察方式に関して、白色光観察方式と、狭帯域光観察方式とを切り替えて観察することも知られている。

【0005】

上述した観察方式でカラー画像を生成して表示するため、単板の撮像素子により撮像画像を取得すべく、撮像素子の受光面上には、一般的にベイヤー配列と呼ばれるカラーフィルタが設けられている。この場合、各画素は、フィルタを透過した波長帯域の光を受光し、その波長帯域の光に応じた色成分の電気信号を生成する。このため、カラー画像を生成する処理では、各画素においてフィルタを透過せずに欠落した色成分の信号値を補間する補間処理が行われる。このような補間処理は、デモザイキング処理と呼ばれる。また、撮像素子の受光面上には、一般的にベイヤー配列と呼ばれるカラーフィルタが設けられている。ベイヤー配列は、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の波長帯域の光を透過するフィルタ（以下、「フィルタＲ」、「フィルタＧ」および「フィルタＢ」という）を１つのフィルタ単位（ユニット）として画素毎に配列したものである。

【0006】

近年、生体内において、白色光観察方式および狭帯域光観察方式のどちらでも高い解像感を得るために、原色カラーフィルタだけでなく、シアン（Ｃｙ）またはマゼンタ（Ｍｇ）のような補色カラーフィルタ（以下、「フィルタＣｙ」および「フィルタＭｇ」という）を混在させたフィルタ配置の技術が知られている（特許文献１）。この技術によれば、補色画素を混在させることによって、原色画素のみの場合に比べて青色波長帯域の情報を多く取得することができるので、狭帯域光観察方式の場合において毛細血管等の解像度を向上させることができる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１５－１１６３２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、上述した特許文献１のように原色画素と補色画素が混在したフィルタ配置の撮像素子で撮像された画像データを用いた場合であっても、１フレームの画像データの情報のみに対してデモザイキング処理を施して生成したカラー画像データが面順次式と比べ情報量が不足しているため、解像度が低いという問題点があった。

【0009】

本開示は、上記に鑑みてなされたものであって、同時式であっても、高解像度の画像を生成することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置であって、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、を備えることを特徴とする。

【0011】

また、本開示に係る画像処理装置は、上記開示において、前記検出部が検出した前記位置ずれ量が閾値未満であるか否かを判定する判定部をさらに備え、前記生成部は、前記判定部によって前記位置ずれ量が閾値未満であると判定された場合、前記合成画像データを用いて前記参照画像データを生成する一方、前記判定部によって前記位置ずれ量が閾値未満でないと判定された場合、前記基準フレームの前記画像データに対して補間処理を行うことによって前記参照画像データを生成することを特徴とする。

【0012】

また、本開示に係る画像処理装置は、上記開示において、前記生成部は、前記検出部が検出した前記位置ずれ量に基づいて、前記合成画像データを用いて生成した前記参照画像データと、前記基準フレームの前記画像データを用いて生成した前記参照画像データとの重み付けを行って合成して新たな前記参照画像データを生成することを特徴とする。

【0013】

また、本開示に係る画像処理装置は、上記開示において、前記第１のフィルタは、緑色の波長帯域の光を透過する緑フィルタであることを特徴とする。

【0014】

また、本開示に係る画像処理装置は、上記開示において、前記第１のフィルタは、青色の波長帯域の光および緑色の波長帯域の光を透過するシアンフィルタであることを特徴とする。

【0015】

また、本開示に係る内視鏡システムは、被検体に挿入可能な内視鏡と、前記内視鏡が接続される画像処理装置と、を備え、前記内視鏡は、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記画像処理装置は、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出部と、前記検出部が検出した前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成部と、前記合成部が生成した前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成部と、前記生成部が生成した前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間部と、を備えることを特徴とする。

【0016】

本開示に係る画像処理方法は、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置が実行する画像処理方法であって、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、を含むことを特徴とする。

【0017】

本開示に係るプログラムは、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって画像データを所定のフレームで生成する撮像素子と、前記撮像素子における全画素の１／２以上の画素に配置されてなる第１のフィルタと、前記第１のフィルタと異なる分光感度特性を有する複数種類の第２のフィルタと、によって構成され、前記第１のフィルタおよび前記第２のフィルタを前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡が接続可能な画像処理装置に、前記撮像素子が生成した複数フレームの前記画像データ間の各画素の位置ずれ量を検出する検出ステップと、前記位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの前記画像データの前記第１のフィルタが配置された画素の情報を、基準フレームの前記画像データに合成して合成画像データを生成する合成ステップと、前記合成画像データに対して補間処理を行うことによって全画素位置に前記第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する生成ステップと、前記参照画像データを参照して、前記基準フレームの前記画像データに対して補間処理を行うことによって全画素位置に前記第２のフィルタの情報を含む第２の補間画像データを、前記複数種類の第２のフィルタ毎に生成する補間ステップと、を実行させることを特徴とする。

【発明の効果】

【0018】

本開示によれば、原色フィルタと補色フィルタが混在したフィルタ配置の撮像素子で撮像された画像データであっても、高解像度の画像を生成することができるという効果を奏する。

【図面の簡単な説明】

【0019】

【図1】図１は、本開示の実施の形態１に係る内視鏡システムの概略構成図である。

【図2】図２は、本開示の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。

【図3】図３は、本開示の実施の形態１に係るカラーフィルタの構成の一例を示す模式図である。

【図4】図４は、本開示の実施の形態１に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。

【図5】図５は、本開示の実施の形態１に係る光源が出射する各光の分光特性の一例を示す図である。

【図6】図６は、本開示の実施の形態１に係る光源装置が出射する狭帯域光の分光特性の一例を示す図である。

【図7】図７は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。

【図8】図８は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。

【図9】図９は、本開示の実施の形態２に係るカラーフィルタの構成の一例を示す模式図である。

【図10】図１０は、本開示の実施の形態２に係るカラーフィルタの構成の一例を示す模式図である。

【図11】図１１は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。

【図12】図１２は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。

【図13】図１３は、本開示の実施の形態３に係る画像処理部の機能構成を示すブロック図である。

【図14】図１４は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。

【図15】図１５は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。

【図16】図１６は、本開示の実施の形態１に係るプロセッサ装置が実行する処理の概要を示すフローチャートである。

【図17】図１７は、本開示の実施の形態１に係るプロセッサ装置が生成する画像を模式的に示す図である。

【図18】図１８は、本開示の実施の形態１～４の変形例に係るカラーフィルタの構成の一例を示す模式図である。

【発明を実施するための形態】

【0020】

以下、本開示を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

【0021】

（実施の形態１）
〔内視鏡システムの構成〕
図１は、本開示の実施の形態１に係る内視鏡システムの概略構成図である。図２は、本開示の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。

【0022】

図１および図２に示す内視鏡システム１は、患者等の被検体に挿入して被検体の体内を撮像し、この画像データに対応する体内画像を外部の表示装置へ出力する。医者等の使用者は、表示装置で表示された体内画像の観察を行うことによって、検出対象部位である出血部位、腫瘍部位および異常部位それぞれの有無を検査する。

【0023】

内視鏡システム１は、内視鏡２と、光源装置３と、プロセッサ装置４と、表示装置５と、を備える。内視鏡２は、被検体に挿入することによって被検体の観察部位を撮像して画像データを生成する。光源装置３は、内視鏡２の先端から出射する照明光を供給する。プロセッサ装置４は、内視鏡２が生成した画像データに所定の画像処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する。表示装置５は、プロセッサ装置４が画像処理を施した画像データに対応する画像を表示する。

【0024】

〔内視鏡の構成〕
まず、内視鏡２の詳細な構成について説明する。
内視鏡２は、撮像光学系２００と、撮像素子２０１と、カラーフィルタ２０２と、ライトガイド２０３と、照明用レンズ２０４と、Ａ／Ｄ変換部２０５と、撮像情報記憶部２０６と、操作部２０７と、を備える。

【0025】

撮像光学系２００は、少なくとも観察部位からの光を集光する。撮像光学系２００は、一または複数のレンズを用いて構成される。なお、撮像光学系２００には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構を設けてもよい。

【0026】

撮像素子２０１は、光を受光する画素（フォトダイオード）が２次元マトリックス状に配置されてなり、各画素が受光した光に対して光電変換を行うことによって画像データを生成する。撮像素子２０１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサを用いて実現される。

【0027】

カラーフィルタ２０２は、撮像素子２０１の各画素の受光面上に配置されてなり、各々が個別に設定された波長帯域の光を透過する複数のフィルタを有する。

【0028】

〔カラーフィルタの構成〕
図３は、カラーフィルタ２０２の構成の一例を示す模式図である。図３に示すカラーフィルタ２０２は、赤色の波長帯域の光を透過するＲフィルタと、緑色の波長帯域の光を透過する２つのＧフィルタと、青色の波長帯域の光を透過するＢフィルタとによって構成されたベイヤー配列をなす。赤色の波長帯域の光を透過するＲフィルタが設けられた画素Ｐは、赤色の波長帯域の光を受光する。以下、赤色の波長帯域の光を受光する画素ＰをＲ画素という。同様に、緑色の波長帯域の光を受光する画素ＰをＧ画素、青色の波長帯域の光を受光する画素ＰをＢ画素、緑色の波長帯域の光を受光する画素ＰをＧ画素という。なお、以下においては、Ｒ画素、Ｇ画素およびＢ画素が原色画素として説明する。ここで、青色、緑色および赤色の波長帯域Ｈ_Ｂ，Ｈ_ＧおよびＨ_Ｒは、波長帯域Ｈ_Ｂが３９０ｎｍ～５００ｎｍ、波長帯域Ｈ_Ｇが５００ｎｍ～６００ｎｍ、波長帯域Ｈ_Ｒが６００ｎｍ～７００ｎｍである。

【0029】

〔各フィルタの透過特性〕
図４は、カラーフィルタ２０２を構成する各フィルタの透過特性の一例を示す図である。なお、図４においては、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図４において、曲線Ｌ_ＢがＢフィルタの透過率曲線を示し、曲線Ｌ_ＧがＧフィルタの透過率曲線を示し、曲線Ｌ_ＲがＲフィルタの透過率曲線を示し、また、図４において、横軸が波長（ｎｍ）を示し、縦軸が透過率（感度）を示す。

【0030】

図４に示すように、Ｂフィルタは、波長帯域Ｈ_Ｂの光を透過する。Ｇフィルタは、波長帯域Ｈ_Ｇの光を透過する。Ｒフィルタは、波長帯域Ｈ_Ｒの光を透過する。このように、撮像素子２０１は、カラーフィルタ２０２の各フィルタに応じた波長帯域の光を受光する。

【0031】

図１および図２に戻り、内視鏡システム１の構成の説明を続ける。
ライトガイド２０３は、グラスファイバ等を用いて構成され、光源装置３から供給された照明光の導光路をなす。

【0032】

照明用レンズ２０４は、ライトガイド２０３の先端に設けられる。照明用レンズ２０４は、ライトガイド２０３によって導光された光を拡散して内視鏡２の先端から外部に出射する。照明用レンズ２０４は、一または複数のレンズを用いて構成される。

【0033】

Ａ／Ｄ変換部２０５は、撮像素子２０１が生成したアナログの画像データ（画像信号）をＡ／Ｄ変換し、この変換したデジタルの画像データをプロセッサ装置４へ出力する。Ａ／Ｄ変換部２０５は、コンパレータ回路、参照信号生成回路およびアンプ回路等で構成されたＡＤ変換回路を用いて構成される。

【0034】

撮像情報記憶部２０６は、内視鏡２を動作させるための各種プログラム、内視鏡２の動作に必要な各種パラメータおよび内視鏡２の識別情報を含むデータを記憶する。また、撮像情報記憶部２０６は、識別情報を記録する識別情報記憶部２０６ａを有する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、伝送方式およびカラーフィルタ２０２におけるフィルタの配列情報等が含まれる。撮像情報記憶部２０６は、フラッシュメモリ等を用いて実現される。

【0035】

操作部２０７は、内視鏡２の動作を切り替える指示信号や光源装置に照明光の切替動作を行わせるための指示信号等の入力を受け付け、この受け付けた指示信号をプロセッサ装置４へ出力する。操作部２０７は、スイッチ、ジョグダイヤル、ボタンおよびタッチパネル等を用いて構成される。

【0036】

〔光源装置の構成〕
次に、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。

【0037】

照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる照明光をライトガイド２０３へ供給する。照明部３１は、光源３１ａと、光源ドライバ３１ｂと、切替フィルタ３１ｃと、駆動部３１ｄと、駆動ドライバ３１ｅと、を有する。

【0038】

光源３１ａは、照明制御部３２の制御のもと、照明光を出射する。光源３１ａが出射した照明光は、切替フィルタ３１ｃや、集光レンズ３１ｆおよびライトガイド２０３を経由して内視鏡２の先端から外部に出射される。光源３１ａは、互いに異なる波長帯域の光を照射する複数のＬＥＤランプまたは複数のレーザ光源を用いて実現される。例えば、光源３１ａは、ＬＥＤ３１ａ＿Ｂ、ＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒの３つのＬＥＤランプを用いて構成される。

【0039】

図５は、光源３１ａが出射する各光の分光特性の一例を示す図である。図５において、横軸が波長を示し、縦軸が強度を示す。図５において、曲線Ｌ_ＬＥＤＢがＬＥＤ３１ａ＿Ｂによって照射される青色の照明光の分光特性を示し、曲線Ｌ_ＬＥＤＧがＬＥＤ３１ａ＿Ｇによって照射される緑色の照明光の分光特性を示し、曲線Ｌ_ＬＥＤＲがＬＥＤ３１ａ＿Ｒによって照射される赤色の照明光の分光特性を示す。

【0040】

図５の曲線Ｌ_ＬＥＤＢに示すように、ＬＥＤ３１ａ＿Ｂは、青色の波長帯域Ｈ_Ｂ（例えば３８０ｎｍ～４８０ｎｍ）にピーク強度を有する。また、図５の曲線Ｌ_ＬＥＤＧに示すように、ＬＥＤ３１ａ＿Ｇは、緑色の波長帯域Ｈ_Ｇ（例えば４８０ｎｍ～５８０ｎｍ）にピーク強度を有する。さらに、図５の曲線Ｌ_ＬＥＤＲに示すように、ＬＥＤ３１ａ＿Ｒは、赤色の波長帯域Ｈ_Ｒ（例えば５８０ｎｍ～６８０ｎｍ）にピーク強度を有する。

【0041】

図１および図２に戻り、内視鏡システム１の構成の説明を続ける。
光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することによって、光源３１ａに照明光を出射させる。

【0042】

切替フィルタ３１ｃは、光源３１ａが出射する照明光の光路上に挿脱自在に配置されてなり、光源３１ａが出射した照明光のうち所定の波長帯域の光を透過する。具体的には、切替フィルタ３１ｃは、青色の狭帯域光および緑色の狭帯域光を透過する。即ち、切替フィルタ３１ｃは、照明光の光路上に配置された場合、２つの狭帯域光を透過する。より具体的には、切替フィルタ３１ｃは、波長帯域Ｈ_Ｂに含まれる狭帯域Ｔ_Ｂ（例えば、３９０ｎｍ～４４５ｎｍ）の光と、波長帯域Ｈ_Ｇに含まれる狭帯域Ｔ_Ｇ（例えば、５３０ｎｍ～５５０ｎｍ）の光と、を透過する。

【0043】

図６は、光源装置３が出射する狭帯域光の分光特性の一例を示す図である。図６において、横軸が波長を示し、縦軸が強度を示す。また、図６において、曲線Ｌ_ＮＢが切替フィルタ３１ｃを透過した狭帯域Ｔ_Ｂにおける狭帯域光の分光特性を示し、曲線Ｌ_ＮＧが切替フィルタ３１ｃを透過した狭帯域Ｔ_Ｇにおける狭帯域光の分光特性を示す。

【0044】

図６の曲線Ｌ_ＮＢおよび曲線Ｌ_ＮＧに示すように、切替フィルタ３１ｃは、青色の狭帯域Ｔ_Ｂの光および緑色の狭帯域Ｔ_Ｇの光を透過する。切替フィルタ３１ｃを透過した光は、狭帯域Ｔ_Ｂおよび狭帯域Ｔ_Ｇからなる狭帯域照明光となる。この狭帯域Ｔ_Ｂ，Ｔ_Ｇは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。この狭帯域照明光による画像の観察を狭帯域光観察方式（ＮＢＩ方式）という。

【0045】

図１および図２に戻り、内視鏡システム１の構成の説明を続ける。
駆動部３１ｄは、ステッピングモータやＤＣモータ等を用いて構成され、照明制御部３２の制御のもと、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入または光路上から退避させる。具体的には、駆動部３１ｄは、照明制御部３２の制御のもと、内視鏡システム１が白色光観察方式（ＷＬＩ方式）を行う場合、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上から退避させる一方、内視鏡システム１が狭帯域光観察方式（ＮＢＩ方式）を行う場合、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入（配置）する。

【0046】

駆動ドライバ３１ｅは、照明制御部３２の制御のもと、駆動部３１ｄに所定の電流を供給する。

【0047】

集光レンズ３１ｆは、光源３１ａが発した照明光を集光してライトガイド２０３へ出射する。また、集光レンズ３１ｆは、切替フィルタ３１ｃを透過した照明光を集光してライトガイド２０３へ出射する。集光レンズ３１ｆは、一または複数のレンズを用いて構成される。

【0048】

照明制御部３２は、ＣＰＵ等を用いて構成される。照明制御部３２は、プロセッサ装置４から入力される指示信号に基づいて、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させる。また、照明制御部３２は、プロセッサ装置４から入力される指示信号に基づいて、駆動ドライバ３１ｅを制御して切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入したり、退避させたりすることによって、照明部３１が出射する照明光の種類（帯域）を制御する。具体的には、照明制御部３２は、面順次式の場合、光源３１ａの少なくとも２つのＬＥＤランプを個別に点灯させる一方、同時式の場合、光源３１ａの少なくとも２つのＬＥＤランプを同時に点灯させることによって、照明部３１から出射される照明光を、面順次式および同時式のいずれか一方に切り替える制御を行う。

【0049】

〔プロセッサ装置の構成〕
次に、プロセッサ装置４の構成について説明する。
プロセッサ装置４は、内視鏡２から受信した画像データに対して画像処理を行って表示装置５へ出力する。プロセッサ装置４は、画像処理部４１と、入力部４２と、記憶部４３と、制御部４４と、を備える。

【0050】

画像処理部４１は、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて構成される。画像処理部４１は、画像データに対して所定の画像処理を行って表示装置５へ出力する。具体的には、画像処理部４１は、後述する補間処理の他に、ＯＢクランプ処理、ゲイン調整処理およびフォーマット変換処理等を行う。画像処理部４１は、検出部４１１と、生成部４１３と、補間部４１４と、を有する。なお、実施の形態１では、画像処理部４１が画像処理装置として機能する。

【0051】

検出部４１１は、撮像素子２０１が生成した複数フレームの画像データ間の各画素の位置ずれ量を検出する。具体的には、検出部４１１は、複数フレームのうち過去フレームの画像データに対応する過去画像と基準フレーム（最新フレーム）の画像データに対応する最新画像とを用いて、過去画像と最新画像との画素間の位置ずれ量（動きベクトル）を検出する。

【0052】

合成部４１２は、検出部４１１が検出した位置ずれ量に基づいて、少なくとも１つ以上の過去フレームの画像データの第１のフィルタが配置された画素の情報を、基準フレーム（最新フレーム）の画像データに合成して合成画像データを生成する。具体的には、合成部４１２は、過去画像のＧ画素の情報（画素値）を最新画像のＧ画素の情報に合成することによって、１／２以上のＧ画素の情報を含む合成画像を生成する。また、合成部４１２は、過去フレームの画像データに対応する過去画像のＲ画素の情報（画素値）を基準フレーム（最新フレーム）の画像データに対応する最新画像のＲ画素の情報に合成した合成画像を生成し、かつ、過去画像のＢ画素の情報（画素値）を最新画像のＢ画素の情報に合成した合成画像データを生成する。

【0053】

生成部４１３は、合成部４１２が生成した合成画像データに対して補間処理を行うことによって全画素位置に第１のフィルタの情報を含む第１の補間画像データを参照画像データとして生成する。生成部４１３は、合成部４１２が生成した合成画像に対して、Ｇ画素の情報を補間する補間処理を行うことによって全画素にＧ画素の情報を含む補間画像を参照画像として生成する。

【0054】

補間部４１４は、生成部４１３が生成した参照画像データを参照して、基準フレーム（最新フレーム）の画像データに対して補間処理を行うことによって全画素位置に第２のフィルタの情報を含む第２の補間画像データを、複数種類の第２のフィルタ毎に生成する。具体的には、補間部４１４は、生成部４１３が生成した参照画像に基づいて、合成部４１２が生成したＲ画素の合成画像およびＢ画素の合成画像の各々に対して補間処理を行うことによって、全画素にＲ画素の情報を含む補間画像および全画素にＢ画素の情報を含む補間画像の各々を生成する。

【0055】

入力部４２は、スイッチ、ボタンおよびタッチパネル等を用いて構成され、内視鏡システム１の動作を指示する指示信号の入力を受け付け、この受け付けた指示信号を制御部４４へ出力する。具体的には、入力部４２は、光源装置３が照射する照明光の方式を切り替える指示信号の入力を受け付ける。例えば、入力部４２は、光源装置３が同時式で照明光を照射している場合、光源装置３に面順次式で照明光を照射させる指示信号の入力を受け付ける。

【0056】

記憶部４３は、揮発性メモリや不揮発性メモリを用いて構成され、内視鏡システム１に関する各種情報や内視鏡システム１が実行するプログラムを記憶する。

【0057】

制御部４４は、ＣＰＵ（Central Processing Unit）を用いて構成される。制御部４４は、内視鏡システム１を構成する各部を制御する。例えば、制御部４４は、入力部４２から入力された光源装置３が照射する照明光の方式を切り替える指示信号に基づいて、光源装置３が照射する照明光の方式を切り替える。

【0058】

〔表示装置の構成〕
次に、表示装置５の構成について説明する。
表示装置５は、映像ケーブルを経由してプロセッサ装置４が生成した画像データを受信し、この画像データに対応する画像を表示する。また、表示装置５は、プロセッサ装置４から受信した内視鏡システム１に関する各種情報を表示する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）の表示モニタ等を用いて構成される。

【0059】

〔プロセッサ装置の処理〕
次に、プロセッサ装置４が実行する処理について説明する。図７は、プロセッサ装置４が実行する処理の概要を示すフローチャートである。図８は、プロセッサ装置４が生成する画像を模式的に示す図である。なお、図８においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、図７および図８においては、光源装置３は、白色光を内視鏡２に供給する場合について説明する。

【0060】

図７に示すように、まず、制御部４４は、内視鏡２が光源装置３およびプロセッサ装置４に接続され、撮像を開始する準備が整った場合、記憶部４３から光源装置３の駆動方法および観察方式および内視鏡の撮像設定の読込を行い、内視鏡２の撮影を開始する（ステップＳ１０１）。

【0061】

続いて、制御部４４は、記憶部４３に複数フレーム（例えば２フレーム以上）の画像データが保持されているか否かを判断する（ステップＳ１０２）。制御部４４によって記憶部４３に複数フレームの画像データが保持されていると判断された場合（ステップＳ１０２：Ｙｅｓ）、プロセッサ装置４は、後述するステップＳ１０４へ移行する。これに対して、制御部４４によって記憶部４３に複数フレームの画像データが保持されていないと判断された場合（ステップＳ１０２：Ｎｏ）、プロセッサ装置４は、後述するステップＳ１０３へ移行する。

【0062】

ステップＳ１０３において、画像処理部４１は、記憶部４３から１フレームの画像データの読込を行う。具体的には、画像処理部４１は、記憶部４３から最新の画像データの読込を行う。ステップＳ１０３の後、プロセッサ装置４は、後述するステップＳ１０９へ移行する。

【0063】

ステップＳ１０４において、画像処理部４１は、記憶部４３から複数フレームの画像データの読込を行う。具体的には、画像処理部４１は、記憶部４３から過去フレームの画像データと最新フレームの画像データとの読込を行う。

【0064】

続いて、検出部４１１は、過去フレームの画像データと最新フレームの画像データとの位置ずれ量を検出する（ステップＳ１０５）。具体的には、検出部４１１は、過去フレームの画像データに対応する過去画像と最新フレームの画像データに対応する最新画像とを用いて、過去画像と最新画像との画素間の位置ずれ量（動きベクトル）を検出する。例えば、検出部４１１は、過去画像と最新画像の２枚の画像の位置合わせ処理を行う場合、２枚の画像間の位置ずれ量（動きベクトル）を検出し、この検出した位置ずれ量がなくなるように各画素を移動させながら基準となる最新画像の各画素に位置合わせを行う。ここで、位置ずれ量を検出する検出方法として、既知のブロックマッチング処理を用いて検出する。ブロックマッチング処理は、基準となるフレーム（最新フレーム）の画像（最新画像）を一定の大きさのブロック、例えば８画素×８画素に分割し、このブロック単位で位置合わせ対象となるフレーム（過去フレーム）の画像（過去画像）の画素との差を算出し、この差の絶対値の和（ＳＡＤ）が最小となるブロックを探索し、位置ずれ量を検出する。

【0065】

その後、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像のＧ画素の情報（画素値）を最新フレームの画像データに対応する最新画像のＧ画素の情報に合成する（ステップＳ１０６）。具体的には、図８に示すように、最新画像Ｐ_Ｎ１は、画像全体に対して１／２のＧ画素の情報を含む。このため、合成部４１２は、過去画像のＧ画素の情報を合成することによって、１／２以上のＧ画素の情報を含む合成画像を生成することができる。例えば、図８に示すように、合成部４１２は、過去画像Ｐ_Ｆ１のＧ画素の情報（画素値）を最新画像Ｐ_Ｇ１のＧ画素の情報に合成することによって、１／２以上のＧ画素の情報を含む合成画像ＰＧ_{_ｓ ｕｍ}を生成する。なお、図８では、説明を簡略化するため、過去画像が１フレームのみの場合について説明したが、これに限定されることなく、合成部４１２は、複数の過去フレームの各々の画像データのＧ画素の情報を最新フレーム画像データのＧ画素の情報に合成してもよい。

【0066】

続いて、生成部４１３は、合成部４１２が生成した合成画像ＰＧ_{_ｓｕｍ}に基づいて、Ｇ画素の情報を補間する補間処理を行うことによって全画素にＧ画素の情報を含む補間画像を参照画像として生成する（ステップＳ１０７）。具体的には、図８に示すように、生成部４１３は、合成画像ＰＧ_{_ｓｕｍ}に対して、Ｇ画素の情報を補間する補間処理を行うことによって全画素にＧ画素の情報を含む補間画像Ｐ_ＦＧ１を参照画像として生成する。Ｇ画素は、もともと画像全体に対して１／２の位置に存在しているため、Ｒ画素やＢ画素に比べて、画素位置に情報を含む状態となっている。このため、生成部４１３は、既知のバイリニア補間処理や方向判別補間処理等によって高精度に補間処理を行った補間画像Ｐ _ＦＧ１を参照画像として生成することができる。

【0067】

その後、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像のＲ画素の情報（画素値）を最新フレームの画像データに対応する最新画像Ｐ_Ｒ１のＲ画素の情報に合成してＲ画素の合成画像を生成し、かつ、過去画像のＢ画素の情報（画素値）を最新画像のＢ画素の情報に合成してＢ画素の合成画像を生成する（ステップＳ１０８）。具体的には、図８に示すように、合成部４１２は、過去画像Ｐ_Ｆ１のＢ画素の情報（画素値）を最新画像Ｐ_Ｂ１のＢ画素の情報に合成してＢ画素の合成画像ＰＢ_{_ｓｕｍ}を生成し、かつ、過去画像Ｐ_Ｆ１のＲ画素の情報（画素値）を最新画像Ｐ_Ｒ１のＲ画素の情報に合成してＲ画素の合成画像ＰＲ_{_ｓｕｍ}を生成する。

【0068】

続いて、補間部４１４は、生成部４１３が生成した参照画像に基づいて、Ｒ画素の合成画像ＰＲ_{_ｓｕｍ}およびＢ画素の合成画像ＰＢ_{_ｓｕｍ}の各々に対して補間処理を行うことによってＲ画像およびＢ画像の全画素にＲ画素およびＢ画素の情報を含むＲ画素の補間画像およびＢ画素の補間画像を生成する（ステップＳ１０９）。具体的には、補間部４１４は、図８に示すように、生成部４１３が生成した参照画像（補間画像Ｐ_ＦＧ）に基づいて、合成画像ＰＲ_{_ｓｕｍ}および合成画像ＰＢ_{_ｓｕｍ}の各々に対して補間処理を行うことによって、全画素にＲ画素の情報を含む補間画像Ｐ_ＦＲ１、および全画素にＢ画素の情報を含む補間画像Ｐ_ＦＢ１を生成する。ここで、参照画像を用いた補間方法としては、既知のジョイントバイラテラル補間処理またはガイデッドフィルタ補間処理等である。従来の参照画像を用いた補間処理は、高精度に補間を行うことができるが、補間対象の情報と参照画像の情報の相関が低い場合、補間対象の情報が少ないほど参照画像の情報が補間画像に混入してしまい、色分離性能が悪くなる問題点があった。これに対して、実施の形態１によれば、参照画像を用いてＲ画素およびＢ画素の補間処理を行う前に、合成部４１２が過去画像からＲ画素およびＢ画素の各々の情報を合成することによって、Ｒ画素およびＢ画素の情報量を増加させた状態にした後に、補間部４１４がＲ画素およびＢ画素の各々の補間処理を行うので、色分離性能を向上させることができる。この結果、高解像度の画像（カラー画像）を表示装置５へ出力することができる。なお、補間部４１４は、記憶部４３に過去フレームの画像データが記憶されていない場合、最新の画像データに対応する最新画像に対して、周知の補間処理を行うことによって、Ｒ画素、Ｇ画素およびＢ画素の各々の３色の画像を生成して表示装置５へ出力する。

【0069】

その後、入力部４２または操作部２０７から終了を指示する指示信号を受信した場合（ステップＳ１１０：Ｙｅｓ）、プロセッサ装置４は、本処理を終了する。これに対して、入力部４２または操作部２０７から終了を指示する指示信号を受信していない場合（ステップＳ１１０：Ｎｏ）、プロセッサ装置４は、上述したステップＳ１０２へ戻る。

【0070】

以上説明した実施の形態１によれば、補間部４１４が生成部４１３によって生成された参照画像データを参照して、最新フレームの画像データに対応する最新画像に対して補間処理を行うことによって全画素位置に第２のフィルタの情報を含む第２の補間画像データを、複数種類の第２のフィルタ毎に生成するので、同時式であっても、高解像度の画像を生成して表示装置５へ出力することができる。

【0071】

（実施の形態２）
次に、本開示の実施の形態２について説明する。実施の形態２は、上述した実施の形態１に係るカラーフィルタ２０２と構成が異なる。以下においては、実施の形態２のカラーフィルタの構成を説明後、実施の形態２に係るプロセッサ装置が実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。

【0072】

〔カラーフィルタの構成〕
図９は、本開示の実施の形態２に係るカラーフィルタの構成の一例を示す模式図である。図９に示すカラーフィルタ２０２Ａは、４×４で２次元格子状に並べられた１６個のフィルタからなり、各フィルタを画素の配置に応じて並べられて配置したものである。カラーフィルタ２０２Ａは、青色（Ｂ）の波長帯域Ｈ_Ｂ、緑色（Ｇ）の波長帯域Ｈ_Ｇおよび赤色（Ｒ）の波長帯域Ｈ_Ｒの光を透過する。また、カラーフィルタ２０２Ａは、赤色の波長帯域Ｈ_Ｒの光を透過するＲフィルタと、緑色の波長帯域Ｈ_Ｇの光を透過するＧフィルタ、青色の波長帯域Ｈ_Ｂの光を透過するＢフィルタと、青色の波長帯域の光および緑色の波長帯域の光を透過するＣｙフィルタを有する。具体的には、カラーフィルタ２０２Ａは、Ｃｙフィルタが全体の１／２の割合（８つ）で市松状に配置され、Ｇフィルタが全体の１／４の割合（４つ）で配置され、フィルタＢよびフィルタＲの各々が１／８（２つ）の割合で配置されている。

【0073】

〔各フィルタの透過特性〕
次に、カラーフィルタ２０２Ａを構成する各フィルタの透過特性について説明する。図１０は、カラーフィルタ２０２Ａを構成する各フィルタの透過特性の一例を示す図である。図１０において、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図１０において、曲線Ｌ_ＢがＢフィルタの透過率曲線を示し、曲線Ｌ _ＧがＧフィルタの透過率曲線を示し、曲線Ｌ_ＲがＲフィルタの透過率曲線を示し、曲線Ｌ _ＣｙがＣｙフィルタの透過率曲線を示す。また、図１０において、横軸が波長を示し、縦軸が透過率を示す。

【0074】

図１０に示すように、Ｃｙフィルタは、波長帯域Ｈ_Ｂおよび波長帯域Ｈ_Ｇそれぞれの光を透過し、波長帯域Ｈ_Ｒの光を吸収（遮光）する。即ち、Ｃｙフィルタは、補色であるシアン色の波長帯域の光を透過する。なお、本明細書において、補色とは、波長帯域Ｈ_Ｂ，Ｈ_Ｇ，Ｈ_Ｒのうち少なくとも二つの波長帯域を含む光により構成される色のことをいう。

【0075】

〔プロセッサ装置の処理〕
次に、プロセッサ装置４が実行する処理について説明する。図１１は、プロセッサ装置４が実行する処理の概要を示すフローチャートである。図１２は、プロセッサ装置４が生成する画像を模式的に示す図である。なお、図１２においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置３が狭帯域照明光を内視鏡２へ供給する場合について説明する。なお、光源装置３が白色光を内視鏡２へ供給する場合、プロセッサ装置４は、上述した実施の形態１と同様の処理を行うことによって、Ｒ、ＧおよびＢ画像それぞれの画像を生成する。

【0076】

図１１において、ステップＳ２０１～ステップＳ２０５は、上述した図７のステップＳ１０１～ステップＳ１０５の各々に対応する。

【0077】

ステップＳ２０６において、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像Ｐ_Ｆ２のＣｙ画素の情報（画素値）を最新フレームの画像データに対応する最新画像Ｐ_Ｃｙ１のＣｙ画素の情報に合成する。最新画像Ｐ_Ｎ２は、画像全体に対して１／２のＣｙ画素の情報を含む。このため、図１２に示すように、合成部４１２は、過去画像Ｐ_Ｆ２のＣｙ画素の情報を最新画像Ｐ_Ｃｙ１に合成することによって、１／２以上のＣｙ画素の情報を含む合成画像ＰＣｙ_{＿ ｓｕｍ}を生成することができる。なお、図１２では、説明を簡略化するため、過去画像が１フレームのみの場合について説明したが、これに限定されることなく、合成部４１２は、複数の過去フレームの各々の画像データのＣｙ画素の情報を最新フレーム画像データのＣｙ画素の情報に合成してもよい。

【0078】

続いて、生成部４１３は、補間部４１４が生成した合成画像に基づいて、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像を参照画像として生成する（ステップＳ２０７）。具体的には、図１２に示すように、生成部４１３は、合成画像Ｃｙ_{_ｓｕｍ}に対して、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像Ｐ_ＦＣｙを参照画像として生成する。Ｃｙ画素は、もともと全画素に対して１／２の位置に存在しているため、Ｇ画素やＢ画素に比べて、画素位置に情報を含む状態となっている。このため、生成部４１３は、既知のバイリニア補間処理や方向判別補間処理等によって高精度に補間処理を行った補間画像Ｐ_Ｆｃｙを参照画像として生成することができる。

【0079】

続いて、補間部４１４は、生成部４１３が生成した参照画像に基づいて、Ｂ画素の合成画像およびＧ画素の合成画像の各々に対して補間処理を行うことによってＢ画像およびＧ画像の全画素にＢ画素およびＧ画素の情報を含むＢ画素の補間画像およびＧ画素の補間画像を生成する（ステップＳ２０８）。具体的には、図１２に示すように、補間部４１４は、生成部４１３が生成した参照画像（補間画像Ｐ_ＦＣｙ）と最新画像Ｐ_Ｎ１に含まれるＢ画素の情報（画像Ｐ_Ｂ２）と、Ｇ画素（画像Ｐ_Ｇ２）の情報とを用いて、補間処理を行うことによってＢ画素の補間画像Ｐ_ＦＢ２およびＧ画素の補間画像Ｐ_ＦＧ２を生成する。市松状に配置されたＣｙ画素は、Ｂ画素およびＧ画素と相関が高い。このため、補間部４１４は、Ｂ画素およびＧ画素の情報量（画素値）が少なくとも、Ｃｙ画素の参照画像（補間画像Ｐ_ＦＣｙ）を用いて補間処理を行うことによって、色分離性能を保ちながら高精度に補間処理を行うことができる。これにより、内視鏡システム１は、内視鏡２が狭帯域光観察方式を行った場合、高解像度の画像を出力することができる。ステップＳ２０８の後、プロセッサ装置４は、ステップＳ２０９へ移行する。ステップＳ２０９は、上述した図７のステップＳ１０９に対応する。

【0080】

以上説明した実施の形態２によれば、補間部４１４がＣｙ画素の参照画像（補間画像Ｐ _ＦＣｙ）を用いてＢ画素およびＧ画素の各々の補間処理を行うことによって、Ｂ画素およびＧ画素の情報量（画素値）が少ない場合であっても、色分離性能を保ちながら高精度に補間処理を行うことができるので、色分離性能を向上させることができるうえ、Ｂ画素およびＧ画素の合成処理の省略化を行うことができる。

【0081】

（実施の形態３）
次に、本開示の実施の形態３について説明する。実施の形態３は、上述した実施の形態２に係る画像処理部４０１と構成が異なる。具体的には、実施の形態３では、位置ずれ量に基づいて、参照画像を用いた補間画像を生成するか否かを判定する。以下においては、実施の形態３に係る画像処理部の構成を説明後、実施の形態３に係るプロセッサ装置が実行する処理について説明する。

【0082】

図１３は、本開示の実施の形態３に係る画像処理部の機能構成を示すブロック図である。図１３に示す画像処理部４０１Ｂは、上述した実施の形態２に係る画像処理部４０１の構成に加えて、判定部４１５をさらに備える。

【0083】

判定部４１５は、検出部４１１が検出した位置ずれ量が閾値未満であるか否かを判定する。

【0084】

〔プロセッサ装置の処理〕
次に、プロセッサ装置４が実行する処理について説明する。図１４は、プロセッサ装置４が実行する処理の概要を示すフローチャートである。図１５は、プロセッサ装置４が生成する画像を模式的に示す図である。なお、図１５においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置３が狭帯域照明光を内視鏡２へ供給する場合について説明する。なお、光源装置３が白色光を内視鏡２へ供給する場合、プロセッサ装置４は、上述した実施の形態１と同様の処理を行うことによって、Ｒ、ＧおよびＢ画像それぞれの画像を生成する。

【0085】

図１４において、ステップＳ３０１～ステップＳ３０５は、上述した図７のステップＳ１０１～ステップＳ１０５の各々に対応する。

【0086】

ステップＳ３０６において、判定部４１５は、検出部４１１によって検出された位置ずれ量が閾値未満であるか否かを判定する。判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満であると判定した場合（ステップＳ３０６：Ｙｅｓ）、プロセッサ装置４は、後述するステップＳ３０７へ移行する。これに対して、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満でないと判定された場合（ステップＳ３０６：Ｎｏ）、プロセッサ装置４は、後述するステップＳ３０８へ移行する。

【0087】

ステップＳ３０７において、合成部４１２は、検出部４１１によって検出された位置ずれ量に基づいて、過去フレームの画像データに対応する過去画像Ｐ_Ｆ２のＣｙ画素の情報（画素値）を最新フレームの画像データに対応する最新画像Ｐ_Ｃｙ１のＣｙ画素の情報に合成する。具体的には、図１５に示すように、合成部４１２は、過去画像Ｐ_Ｆ２のＣｙ画素の情報を最新画像Ｐ_Ｃｙ１に合成することによって、１／２以上のＣｙ画素の情報を含む合成画像ＰＣｙ_＿ｓｕｍを生成する。ステップＳ３０７の後、プロセッサ装置４は、後述するステップＳ３０８へ移行する。なお、図１５では、説明を簡略化するため、過去画像が１フレームのみの場合について説明したが、これに限定されることなく、合成部４１２は、複数の過去フレームの各々の画像データのＣｙ画素の情報を最新フレーム画像データのＣｙ画素の情報に合成してもよい。

【0088】

続いて、生成部４１３は、補間部４１４が生成した合成画像または最新画像に基づいて、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像を参照画像として生成する（ステップＳ３０８）。具体的には、生成部４１３は、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満であると判定した場合において、合成部４１２が合成画像を生成したとき、合成画像Ｃｙ_{_ｓｕｍ}に対して、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像Ｐ_ＦＣｙを参照画像として生成する。これに対して、生成部４１３は、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満でないと判定した場合において、最新画像Ｐ_Ｎ２のＣｙ画素の情報（最新画像Ｐ_Ｃｙ１）に対して、Ｃｙ画素の情報を補間する補間処理を行うことによって全画素にＣｙ画素の情報を含む補間画像Ｐ_ＦＣｙを参照画像として生成する。即ち、生成部４１３は、内視鏡２による被検体の病変のスクリーニング時等の動き量（位置ずれ量）が大きいシーンの場合、解像度が比較的重要でないため、１フレームのみの画像データを用いて参照画像を生成する。

【0089】

ステップＳ３０９およびステップＳ３１０は、上述した図１１のステップＳ２０９およびステップＳ２１０それぞれに対応する。

【0090】

以上説明した実施の形態３によれば、判定部４１５が検出部４１１によって検出された位置ずれ量が閾値未満であると判定した場合において、合成部４１２が合成画像を生成したとき、生成部４１３が合成画像Ｃｙ_{_ｓｕｍ}に対して、Ｃｙ画素の情報を補間する補間処理を行うことによって画像の全画素にＣｙ画素の情報を含む補間画像Ｐ_ＦＣｙを参照画像として生成するので、上述した実施の形態２の効果に加えて、シーンの動き量に応じて最適な参照画像の生成が可能となり、動きの大きいシーンであっても、アーティファクトが発生させることなく、出力画像を生成することができる。

【0091】

（実施の形態４）
次に、本開示の実施の形態４について説明する。上述した実施の形態２では、位置ずれ量に基づいて、過去画像のＣｙ画素の情報と最新画像のＣｙ画素の情報とを単に合成していたが、実施の形態４では、位置ずれ量に基づいて合成する際の重み付けを行って合成する。以下において、実施の形態４に係るプロセッサ装置が実行する処理について説明する。なお、上述した実施の形態２に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。

【0092】

〔プロセッサ装置の処理〕
図１６は、プロセッサ装置が実行する処理の概要を示すフローチャートである。図１７は、プロセッサ装置４が生成する画像を模式的に示す図である。図１７においては、説明を簡略化するため、過去フレームの画像データとして１フレーム（１枚）の画像データを用いる場合について説明するが、これに限定されることなく、複数の過去フレームの各々の画像データを用いてもよい。さらに、以下においては、光源装置３が狭帯域照明光を内視鏡２へ供給する場合について説明する。なお、光源装置３が白色光を内視鏡２へ供給する場合、プロセッサ装置４は、上述した実施の形態１と同様の処理を行うことによって、Ｒ、ＧおよびＢ画像それぞれの画像を生成する。

【0093】

図１６において、ステップＳ４０１～ステップＳ４０７は、上述した図７のステップＳ１０１～ステップＳ１０７それぞれに対応する。

【0094】

ステップＳ４０８において、生成部４１３は、最新フレームの画像データに対応する最新画像のＣｙ画素に対して、補間処理を行うことによって全画素にＣｙ画素の情報を含む補間画像を生成する。具体的には、図１７に示すように、生成部４１３は、Ｃｙ画素の最新画像Ｐ_Ｃｙ１に対して、補間処理を行うことによって全画素にＣｙ画素の情報を含む補間画像Ｐ_ＦＣｙ２を生成する。

【0095】

続いて、生成部４１３は、検出部４１１が検出した位置ずれ量に基づいて、合成画像データを用いて生成した参照画像データと、最新フレーム（基準フレーム）の画像データを用いて生成した参照画像データとの重み付けを行って合成した新たな参照画像データを生成する（ステップＳ４０９）。具体的には、図１７に示すように、生成部４１３は、検出部４１１が検出した位置ずれ量が閾値未満である場合、参照画像Ｆ_Ｃｙ２に対して参照画像Ｆ_Ｃｙの割合が高くなるように重み付けを行って参照画像Ｐ_ＦＣｙ３を生成する。例えば、生成部４１３は、検出部４１１が検出した位置ずれ量が閾値未満である場合、参照画像Ｆ_Ｃｙ２と参照画像Ｆ_Ｃｙとを合成する比率を９：１の重み付けによって合成することによって参照画像Ｐ_ＦＣｙ３を生成する。これに対して、生成部４１３は、検出部４１１が検出した位置ずれ量が閾値未満でない場合、参照画像Ｆ_Ｃｙ２に対して参照画像Ｆ_Ｃｙの割合が小さくなるように重み付けを行って参照画像Ｐ_ＦＣｙ３を生成する。

【0096】

ステップＳ４１０およびステップＳ４１１は、図７のステップＳ１０９およびステップＳ１１０それぞれに対応する。

【0097】

以上説明した実施の形態４によれば、生成部４１３が検出部４１１によって検出された位置ずれ量に基づいて、合成画像データを用いて生成した参照画像データと、最新フレーム（基準フレーム）の画像データを用いて生成した参照画像データとの重み付けを行って合成して新たな参照画像データを生成するので、複数フレームの画像データを用いる場合と１フレームのみの画像データを用いる場合の切り替わり時の急激な画質変化を低減することができる。

【0098】

（その他の実施の形態）
上述した実施の形態１～４では、カラーフィルタの構成を適宜変更することができる。図１８は、本開示の実施の形態１～４の変形例に係るカラーフィルタの構成の一例を示す模式図である。図１８に示すように、カラーフィルタ２０２Ｃは、５×５で２次元格子状に並べられた２５個のフィルタからなる。カラーフィルタ２０２Ｃは、Ｃｙフィルタが全体の１／２以上の割合（１６つ）で配置され、Ｇフィルタが４つで配置され、フィルタＢが４つで配置され、フィルタＲが２つで配置されている。

【0099】

また、本開示の実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１～４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１～４で説明した構成要素を適宜組み合わせてもよい。

【0100】

また、本開示の実施の形態１～４では、プロセッサ装置と光源装置とが別体であったが、一体的に形成してもよい。

【0101】

また、本開示の実施の形態１～４では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能および照明光を照射する照射機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。

【0102】

また、本開示の実施の形態１～４では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。

【0103】

また、本開示の実施の形態１～４では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、例えば硬性の内視鏡を備えた内視鏡システム、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。

【0104】

また、本開示の実施の形態１～４では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【0105】

また、本開示の実施の形態１～４に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0106】

また、本開示の実施の形態１～４に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示の実施の形態１～４に係る内視鏡システムに実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0107】

また、本開示の実施の形態１～４は、ケーブルを介して双方向にデータを送受信していたが、これに限定されることなく、プロセッサ装置は、サーバ等を経由して内視鏡が生成した画像データを格納したファイルをネットワーク上に送信してもよい。

【0108】

また、本開示の実施の形態１～４では、伝送ケーブルを介して内視鏡からプロセッサ装置へ信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、内視鏡から画像信号等をプロセッサ装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。

【0109】

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

【0110】

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。

【符号の説明】

【0111】

１ 内視鏡システム
２ 内視鏡
３ 光源装置
４ プロセッサ装置
５ 表示装置
４１ 画像処理部
４２ 入力部
４３ 記憶部
４４ 制御部
２０１ 撮像素子
２０２,２０２Ａ,２０２Ｃ カラーフィルタ
４０１,４０１Ｂ 画像処理部
４１１ 検出部
４１２ 合成部
４１３ 生成部
４１４ 補間部
４１５ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】