(58)【調査した分野】(Int.Cl.,DB名)
対象物に、光源装置から出力される波長の異なる第1及び第2の光を交互に照射して取得される映像信号であって、それぞれ第1及び第2の光による第1及び第2の映像信号が混在した1つの映像ストリームから、映像信号からフレーム画像を抽出する抽出部と、
前記フレーム画像を解析し、該フレーム画像が前記第1及び第2の映像信号がそれぞれ有する特徴のいずれを備えるかを判定することにより、該フレーム画像が第1または第2の映像信号のいずれであるかを判定する検出部と、
前記検出部の検出結果に基づき、前記映像ストリームから第1の映像信号の映像ストリーム及び第2の映像信号の映像ストリームを分離して出力する出力部と、
を有することを特徴とする画像処理装置。
【背景技術】
【0002】
内視鏡システムにおいては、光源装置から発せられた光を内視鏡装置のスコープを通じて対象物である被検体の体腔内に照射し、胃や腸の表面または表面から内部に入り込んだ光の反射光を観察する。観察には、紫外領域から可視領域、及び赤外領域までの光を含む通常光のほかにも、所定の波長領域の光を使用することがある。
【0003】
通常光を使用する通常光観察においては、被検体の胃や腸等の表面が肌色やピンク色として認識される。その一方で、特殊光を使用する特殊光観察においては、例えば青〜緑側の波長の短い光を観察対象物に照射した場合には、照射した波長の短い光が被検体の表面または表面に近いごく浅い部分にしか届かないことにより、それ以外の部分が目立たなくなる。これにより、特殊光観察画像では、表面の変化を強調したり、表面に近い内部の構造を明確にすることが可能となる。
【0004】
このように、胃や腸の病変部が強調され、病変特有の内部構造がはっきり画像に表されることから、特殊光観察は、胃がん、大腸がん、食道がん等の早期発見に利用されている。
【0005】
しかし、特殊光観察においては、使用する波長領域が通常光観察の場合と比べて狭くなるために、得られる画像は、暗いものとなる。このため、内視鏡検査においては、通常光と特殊光との両方を使用して観察を行う。一般的には、
図6に例示するように、フィルタにより光源装置から出力される光の波長領域を制限することにより通常光と特殊光とを切り替える構成とし、切り替えを手動で行う場合は、例えば内視鏡装置の利用者である医師が手元の操作部に設けられているボタン等のユーザ操作部等により行う。光源にフィルタがかかっているときは、特殊光観察映像が得られ、フィルタがかかっていないときは、通常光観察映像が得られる。
【0006】
上記のとおり、特殊光観察によれば、病変部を確認し易くなる。その一方で、特殊光観察では、映像が暗くなるため、検査の開始から終了まで、常に特殊光観察により検査を行うことは難しい。このため、従来においては、通常、医師は、病変と疑われる箇所においては特殊光観察とし、他の箇所については通常光観察を行っている。しかし、実際の医療現場からは、内視鏡検査においては、明るく明瞭な画像の得られる通常光観察映像と、病変部が強調表示された画像の得られる特殊光観察映像との両方を同時に観察可能な技術が求められている。
【0007】
通常光観察と特殊光観察とを自動的に切り替える公知の技術としては、例えば、生成したタイミング信号にしたがって光源装置から出力される光を通常光または特殊光に切り替えて、通常光映像信号と特殊光映像信号とを得ることについて開示されている(例えば、特許文献1、2)。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図1は、本実施形態に係る画像処理装置を含む内視鏡システムの全体ブロック図である。
図1に示す内視鏡システム100は、ビデオプロセッサ1、スコープ2、光源装置3及びモニタ4を有する。
【0015】
光源装置3は、通常光観察用光源31、NBI(Narrow Band Imaging、狭帯域光観察)用光源32、NBI用フィルタ33、光源制御部34及び光源切替スイッチ部35を有する。
図1に示すように、本実施形態においては、光源装置3は、2台の光源31、32を備え、光源制御部34が、ビデオプロセッサ1からの命令にしたがって、光源切替スイッチ部35を制御する。光源切替スイッチ部35は、通常光観察用光源31またはNBI用光源32のいずれか一方から光が出力されるよう、切り替えを行う。
【0016】
2台の光源31、32のうち、NBI用光源32には、NBI用フィルタ33が取り付けられている。これにより、NBI用フィルタ33の取り付けられているNBI用光源32から出力する光は、RGBのうち、G(緑色)及びB(青色)のみに絞られることとなる。
【0017】
光源装置3は、出力した光を、
図1においては不図示のライトガイドケーブルを通じてスコープ2に伝送する。
スコープ2は、観察対象5すなわち被検体の体腔内に挿入されて、光源装置3から供給された光を、照射口21を通じて観察対象5に照射する。レンズ22は、観察対象5に照射した光の反射光を結像し、CCD(Charge Coupled Device)23は、これを電気信号に変換してビデオプロセッサ1に出力する。スコープ制御部24は、CCD23の駆動タイミングの制御等を行う。
【0018】
ビデオプロセッサ1は、プロセッサ10とFPGA(field-programmable gate array)6、8とを統合させて構成され、スコープ2で取得した映像信号を処理し、モニタ4に出力する。本実施形態においては、ビデオプロセッサ1は、ボタン等からなるユーザ操作部7を介してその旨が設定された場合には、通常光観察の映像ストリームとNBIの映像ストリームとが混在する映像ストリームの入力を受け付け、これを分離して、同時に2種類の観察映像を並列にモニタ4に出力することができる。
【0019】
プロセッサ10は、共有メモリ11、フロントエンド処理部12、画像処理部(
図1においてはISP(Image Signal Prosessing)処理部)13、メモリ14、システム制御部15、映像合成処理部16及びバックエンド処理部17を有し、FPGA6から入力された映像信号に必要な処理を施して、FPGA8を通じてモニタ4に出力する。
【0020】
このうち、共有メモリ11は、FPGA6から入力されたRAWデータ(映像ストリーム)を一時的に保持しておき、フロントエンド処理部12にRAWデータを渡す。詳しくは後述するが、ユーザ操作部7により光源装置3の出力を切り替え、通常光観察映像とNBI映像との両方を交互に撮影する撮影モードが設定されている場合は、プロセッサ10に入力されるRAWデータは、2種類の観察映像信号が混在している。複数種類(実施例では2種類)の観察映像信号が混在した映像ストリームを取得する撮影モードを、以下においては、「並列撮影モード」という。
【0021】
フロントエンド処理部12は、画像処理部13において画像処理を行う際の前段処理を実行する。例えば、モニタ4に表示するために画像サイズの縮小や拡大等の処理を実行する。
【0022】
画像処理部13は、フロントエンド処理部12にて必要な前段処理を施した映像信号に対し、必要な画像処理を施す。画像処理部において実行する画像処理の詳細については、公知の技術であるので詳細な説明は省略する。また、画像処理部13は、撮影モードが上記の撮影モードに設定されている場合は、入力された映像ストリームから、フレーム画像を抽出する。そして、画像処理部13は、各フレーム画像を解析し、そのフレーム画像がそれぞれの観察映像の映像信号が有する特徴のいずれを備えるかに基づき、通常光観察の映像ストリームまたはNBIの映像ストリームのいずれに含まれるものであるかを判定する。そして、画像処理部13は、撮影モードが上記の並列撮影モードに設定されている場合は、通常光観察の映像ストリームと、NBIの映像ストリームとに分離し、映像合成処理部16に出力する。
【0023】
映像合成処理部16は、画像処理部13が出力した映像ストリームを合成して、モニタ4に表示する映像を作成する。具体的には、内視鏡映像や、内視鏡映像以外のモニタ4に表示させる情報、例えば、患者情報、年月日や時刻その他各種の検査に関する情報を、それぞれ画面上の所定の位置に配置した映像を作成する。映像合成処理部16は、作成したモニタ4表示用の映像信号を、バックエンド処理部17に出力する。
【0024】
なお、実施例では、画像処理部13において観察映像の種類ごとに2つの映像ストリームに分離する構成としているが、これには限定されない。例えば、画像処理部13においては、フレーム画像ごとに、そのフレーム画像が2種類の観察映像のうちいずれに含まれるかを示す情報を付与しておき、映像合成処理部16においてこの情報を参照することにより、2つの映像ストリームに分離する構成としてもよい。
【0025】
バックエンド処理部17は、モニタ4表示用の映像信号に対してインターレース/プログレッシブ変換等の必要な処理を実行し、後段のFPGA8に出力する。こうして、スコープ2で撮影した内視鏡映像が、FPGA8を通じてモニタ4に出力される。
【0026】
モニタ4は、ビデオプロセッサ1から入力された映像信号に必要な処理を施し、画面上に映像を表示させる。
このように、本実施形態に係る内視鏡システム100によれば、並列撮影モードが設定されている場合は、光源装置3が、波長が互いに異なる光を交互に出力する。ビデオプロセッサ1の画像処理部13は、並列撮影モードにおいては、スコープ2から入力された2種類の観察映像が混在する映像ストリームを解析し、観察映像の種類ごとに分離し、モニタ4に出力する。モニタ4は、ビデオプロセッサ1から受信した2つの映像ストリームを、同時に出力表示することができる。
【0027】
なお、
図1においては1台のモニタ4に2つの映像を並列に表示する場合を例示しているが、これに限定されるものではない。例えば、ビデオプロセッサ1が2台のモニタ4A、4Bと接続され、モニタ4A、4Bのそれぞれに各観察映像の映像ストリームを出力する構成とすることもできる。かかる構成によれば、ビデオプロセッサ1は、通常光観察映像用の画像処理部13AとNBI映像用の画像処理部13Bとを備える。各画像処理部13は、それぞれの後段の映像合成処理部16A、16BやFPGA8A、8B等を通じてそれぞれのモニタ4A、4Bに自装置にて検出した観察映像の映像ストリームを出力することとなる。
【0028】
図2は、本実施形態に係る内視鏡システム100による観察映像の映像ストリームの分離方法についての全体説明図であり、
図3は、内視鏡システム100による各処理段階における観察映像のデータ構成を例示する図である。
図2及び
図3を参照して、ビデオプロセッサ1において、スコープ2から入力された2種類の観察映像が混在する映像ストリームを観察映像の種類により分離し、モニタ4に同時に並列で表示させる方法について、具体的に説明する。
【0029】
上記のとおり、ユーザ操作部7を介して設定された撮影モードに応じて、光源装置3の光源制御部34は、切替スイッチ部35に切替制御信号を送信する。ユーザによって通常光観察映像またはNBI映像のうちいずれか一方を撮影するモードが選択された場合には、光源制御部34は、光源31、32のうち、一方の撮影モードに対応する方を選択する旨の切替制御信号を生成し、切替スイッチ部35に送信する。上述の並列撮影モードが選択された場合には、光源制御部34は、通常光観察用光源31及びNBI用光源32の間で接続先を高速に切り替える旨の切替制御信号を生成し、切替スイッチ部35に送信する。切替スイッチ部35は、光源制御部34から受信した切替制御信号にしたがって、接続先の光源を決定し、並列撮影モードが設定されている場合は、2台の光源31、32の間で高速に接続先の切り替えを行う。
【0030】
なお、通常光観察またはNBIのいずれか一方の撮影モードが設定されている場合については、切替スイッチ部35により2台の光源31、32のうち撮影モードに応じた光源を接続先に設定する点以外については従来と同様である。このため、以下においては、従来技術に係わる説明は省略し、並列撮影モードが設定されている場合の内視鏡システム1を構成する各装置の動作を中心に説明することとする。
【0031】
切替スイッチ部35が、通常光観察用光源31とNBI用光源32とで接続先を高速で切り替えると、スコープ2の撮像部が取得する各フレームの画像は、通常光観察画像I
OまたはNBI画像I
Nのいずれかである。スコープ2からビデオプロセッサ1に入力される映像ストリームSには、通常光観察画像I
OとNBI画像I
Nが混在することとなる。なお、
図2では、
図1のレンズ22及びCCD23をスコープ2の「撮像部」としている。
【0032】
図2の映像検出部19は、ビデオプロセッサ1の画像処理部13の構成の一つである。映像検出部19は、各フレーム画像Iのうち、「映像データ」のフィールドを解析して、それが通常光観察画像I
OであるのかNBI画像I
Nであるのかを判定する。フレーム画像Iの「映像データ」に基づき、どのようにしてその画像Iが通常光観察画像I
OあるいはNBI画像I
Nのいずれであるかを判定するかについては、後に、
図4及び
図5を参照して説明することとする。
【0033】
画像処理部13は、画像処理部13内の映像検出部19において、いずれの観察画像であるかを判定する映像検出処理を実行すると、処理結果にしたがって、各フレーム画像Iを、通常光観察映像ストリームS
O及びNBI映像ストリームS
Nに振り分ける。このようにして、2つに分離された各映像ストリームS
O、S
Nは、同時にそれぞれモニタ4A、4Bに表示される。
図1の説明においても述べたように、1台のモニタ4に2種類の観察映像を並べて表示する構成としてもよい。
【0034】
なお、本実施形態においては、光源装置3の切替スイッチ部35が2つの光源31、32の切り替えを行うタイミングと、スコープ2のCCD23が撮像を行うタイミングとは、同期を取っていない。このため、
図2や
図3に例示するように、2種類の観察映像が交互に取得されるとは限らない。そこで、画像処理部13の映像検出部19は、フレーム画像Iごとに解析を行い、フレーム画像Iごとに、それぞれ通常光観察画像I
OまたはNBI画像I
Nのいずれであるのかを判定していく必要がある。これについて、
図4及び
図5を参照して説明する。
【0035】
図4は、観察画像の種類を判定する第1の方法を説明する図である。
第1の方法によれば、フレーム画像の色に関する特徴を利用して、そのフレーム画像の種類を判定する。具体的には、画像処理部13の映像検出部19は、画像処理部13に入力される映像ストリームSのフレーム画像ごとにRAWデータをデモザイク処理し、各ピクセルごとに色データ(RGBフォーマット)を得る。そして、得られた色データ(RGB)を用いて、そのフレーム画像が通常光観察画像I
OまたはNBI画像I
Nのいずれであるかを判定する。
【0036】
一般的に、
図4に模式的に示すように、NBI画像I
NのピクセルP
Nであれば、R(赤色)に対し、G(緑色)及びB(青色)が強くなる一方で、通常光観察画像I
OのピクセルP
Oであれば、RがGやBよりもやや強くなる。この特徴を利用して、フレーム画像の全てのピクセルのRGBデータから、R、G及びBの各値を求め、RのGやBに対する比率を所定のしきい値と比較する。
【0037】
RのGやBに対する比率が当該しきい値を超える場合には、そのフレーム画像は、通常光観察映像ストリームS
Oに含まれるものであると判断する。RのGやBに対する比率が当該しきい値以下である場合には、そのフレーム画像は、NBI映像ストリームS
Nに含まれるものであると判断する。
【0038】
例えばフルHDであれば、1920×1080ピクセル=2,073,600ピクセルをRGBデータに変換する。そして、全てのピクセルのR、G及びBについて、例えば合計値や平均値を求めて上記の比較を行い、2種類の映像ストリームS
OまたはS
Nのいずれに含まれるフレーム画像であるかを判定する。
【0039】
このように、通常光観察映像とNBI映像とで明確に異なるRGBデータの特徴を利用することで、簡便に観察映像の種類ごとに映像ストリームを分離することが可能となる。
【0040】
図5は、観察画像の種類を判定する第2の方法を説明する図である。
第2の方法によれば、フレーム画像の輝度に関する特徴を利用して、そのフレーム画像の種類を判定する。具体的には、画像処理部13の映像検出部19は、画像処理部13に入力される映像ストリームSのフレーム画像ごとに、上記のRAWデータについてデモザイク処理して得られたRGBフォーマットの色データを更にYUVフォーマットに変換する。そして、得られた色データ(YUV)を用いて、そのフレーム画像が通常光観察画像I
OまたはNBI画像I
Nのいずれであるかを判定する。
【0041】
一般的に、NBI等の特殊光では、一部の波長の光しか照射されないため、特殊光観察映像は、通常光観察映像と比較して、全体的に暗い映像となる。この特徴を利用して、フレーム画像の各ピクセルの色データ(YUV)の中から、Y(輝度)のデータを抽出し、Yが所定のしきい値と比較する。Yの値が当該しきい値を超える場合には、そのフレーム画像は、相対的に明るい映像、すなわち、通常光観察映像ストリームS
Oに含まれるものであると判断する。Yの値は、ITU−R BT709では、16≦Y≦235である。この範囲内で、適切なしきい値を設定する。
【0042】
Yの値が当該しきい値以下である場合には、そのフレーム画像は、相対的に暗い映像、すなわち、NBI映像ストリームS
Nに含まれるものであると判断する。上記のとおり、実施例では、RAWデータをデモザイク処理して得られるRGBフォーマットの色データを、公知の計算式によりYUVフォーマットに変換する。得られたYUVフォーマットのデータを用いて、Yの合計値や平均値より上記比較を行い、2種類の映像ストリームS
OまたはS
Nのいずれに含まれるフレーム画像であるかを判定し、分離して出力する。YUVフォーマットへの変換については、映像検出部19以外の構成がこれを実行し、変換後のYUVデータを映像検出部19に与える構成としてもよい。
このように、通常光観察映像とNBI映像とで明確に異なるY(輝度)の特徴を利用することで、簡便に観察映像の種類ごとに映像ストリームを分離することが可能となる。
【0043】
このように、本実施形態に係る内視鏡システム100によれば、光源装置3は、観察対象5である被検体に、波長の異なる通常光及び特殊光(狭帯域光)を交互に照射する。スコープ2は、通常光観察映像及びNBI映像の2種類の映像信号が混在する1つの映像ストリームを取得する。ビデオプロセッサ1の画像処理部13(の映像検出部19)は、スコープ2から入力された当該映像ストリームを構成する各フレーム画像について、通常光観察映像信号及びNBI映像信号のいずれの特徴を備えるかを判定する。これにより、画像処理部13(の映像検出部19)は、各フレーム画像が通常光観察映像信号またはNBI映像信号のいずれであるかを判定する。こうして、判定された観察映像の種類ごとに、2つの映像ストリームに分離して出力する。したがって、光の波長の異なる複数種類の内視鏡の映像信号を、波長を交互に切り替えて同時に取得した場合であっても、タイミング制御等の複雑な処理を要することなく、簡便な方法により、照射した光の波長に応じて、すなわち観察映像の種類に応じて、分離して並列に出力することが可能となる。
【0044】
なお、
図1等においては、光源装置3は2台の光源31、32を備え、光源32にはNBI用フィルタ33が取り付けられてそれぞれの光源が異なる波長の光を出力する構成を例に説明しているが、これに限定されるものではない。例えば、光源装置3は光源を1台のみ備え、光路上にNBI用フィルタを挿脱する制御を行って、通常光観察映像及びNBI映像を含む映像ストリームを取得する構成であってもよい。ビデオプロセッサ1は、入力された映像ストリームに対して上記と同様の処理を実施することにより、観察映像の種類により分離することができる。
【0045】
また、上記の説明においては、内視鏡検査や内視鏡手術において、スコープ2で取得した映像をリアルタイムでモニタ4に表示するときに映像ストリームを観察映像の種類により分離して表示する方法について述べているが、これに限定されるものではない。例えば、光源装置3を波長の異なる2台の光源31、32で切り替えて同時に2つの観察映像についての映像ストリームを取得してこれを記憶部等に記憶しておき、のちにこれを再生するときに、再生装置において、上記の方法により映像ストリームを観察映像の種類により分離して表示する方法に適用することも可能である。
【0046】
また、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。