特許第6422597号(P6422597)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
特許6422597画像処理装置、画像処理システム、画像処理装置の作動方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6422597
(24)【登録日】2018年10月26日
(45)【発行日】2018年11月14日
(54)【発明の名称】画像処理装置、画像処理システム、画像処理装置の作動方法
(51)【国際特許分類】
   A61B 1/045 20060101AFI20181105BHJP
   A61B 1/00 20060101ALI20181105BHJP
   H04N 7/18 20060101ALI20181105BHJP
   G06T 1/00 20060101ALI20181105BHJP
   G06T 7/00 20170101ALI20181105BHJP
【FI】
   A61B1/045 610
   A61B1/00 552
   A61B1/00 V
   H04N7/18 M
   G06T1/00 290
   G06T7/00 612
【請求項の数】8
【全頁数】28
(21)【出願番号】特願2017-552190(P2017-552190)
(86)(22)【出願日】2016年10月7日
(86)【国際出願番号】JP2016079988
(87)【国際公開番号】WO2017158896
(87)【国際公開日】20170921
【審査請求日】2017年10月4日
(31)【優先権主張番号】特願2016-51274(P2016-51274)
(32)【優先日】2016年3月15日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(74)【代理人】
【識別番号】100101661
【弁理士】
【氏名又は名称】長谷川 靖
(74)【代理人】
【識別番号】100135932
【弁理士】
【氏名又は名称】篠浦 治
(72)【発明者】
【氏名】秋本 俊也
(72)【発明者】
【氏名】大西 順一
【審査官】 山口 裕之
(56)【参考文献】
【文献】 特開2008−119253(JP,A)
【文献】 特開2007−159641(JP,A)
【文献】 特開平06−285016(JP,A)
【文献】 国際公開第2007/139187(WO,A1)
【文献】 特表2006−527012(JP,A)
【文献】 椛島 誠一郎 Seiichiro KABASHIMA,カプセル内視鏡映像における補助的画像特徴量を用いた病変トラッキング Tracking Abnormality in Video Capsule Endoscopy by using Supporters Interpolated from Image Features,電子情報通信学会技術研究報告 Vol.110 No.364 IEICE Technical Report,日本,社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,第110巻
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/045
A61B 1/00
(57)【特許請求の範囲】
【請求項1】
被検体を撮像した2次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の3次元xyz座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をz軸としたときの当該z軸に垂直なx軸周りの回転角とy軸周りの回転角、からなる撮像位置情報と、が入力される画像入力部と、
異なる2つの前記被検体画像に基づいて、前記被検体における第1の領域の3次元形状を示す第1の3次元画像データと、前記被検体における第2の領域の3次元形状を示す第2の3次元画像データと、を構築する3次元画像構築部と、
前記第1の3次元画像データに含まれる前記第1の領域の3次元形状と、前記第2の3次元画像データに含まれる前記第2の領域の3次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記3次元画像データが有する前記第1の領域の3次元形状と前記第2の領域の3次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出する位置関係算出部と、
前記撮像位置情報に対応した位置に配置された前記第1の領域の3次元形状と前記第2の領域の3次元形状との前記ずれ角度を補正して、3次元空間上に配置することで3次元形状画像を生成する3次元形状画像生成部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記位置関係算出部は、
2つの前記端縁のそれぞれに複数の指標点を同一数ずつ設定する指標点設定部と、
2つの前記端縁からそれぞれ選択した各1つの指標点が最も近接するように、前記第1の領域の3次元形状と前記第2の領域の3次元形状との少なくとも一方を前記回転軸周りに回転する角度変更部と、
前記指標点が設定された対向する前記端縁を平面に投影し、当該平面に投影された複数の指標点間の距離に基づいて評価距離を算出する評価距離算出部と、
を含み、
選択する各1つの指標点を異ならせて前記角度変更部により、前記第1の領域の3次元形状と前記第2の領域の3次元形状との少なくとも一方を回転させながら前記評価距離算出部により前記評価距離を算出し、対向する前記端縁の形状が類似するような前記評価距離が所定の閾値以下となるときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記位置関係算出部は、
前記回転軸周りに前記第1の領域の3次元形状と前記第2の領域の3次元形状との少なくとも一方を回転する角度変更部と、
2つの前記端縁を平面に投影し、当該平面に投影された2つ端縁で囲まれる2つ図形の重畳度を評価する重畳度評価部と、
を含み、
前記角度変更部により前記第1の領域の3次元形状と、前記第2の領域の3次元形状と、の少なくとも一方を回転させながら前記重畳度評価部により前記重畳度を評価し、対向する前記端縁の形状が類似するような前記重畳度が所定の閾値以上であることを示すときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記3次元形状画像生成部は、前記位置関係算出部により算出された前記ずれ角度に基づいて、前記第1の領域の3次元形状と、前記第2の領域の3次元形状と、の前記回転軸周りのずれ量が最小となるように、少なくとも一方の3次元形状を前記回転軸周りに回転して3次元空間上に配置した前記3次元形状画像を生成することを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。
【請求項5】
前記被検体を撮像して、前記2次元の被検体画像を生成する内視鏡と、
請求項1〜4の何れか一項に記載の画像処理装置と、
を備え、
前記画像入力部に入力される2次元の前記被検体画像は、前記内視鏡により生成された、2次元の前記被検体画像であることを特徴とする画像処理システム。
【請求項6】
被検体を撮像した2次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の3次元xyz座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をz軸としたときの当該z軸に垂直なx軸周りの回転角とy軸周りの回転角、からなる撮像位置情報と、が入力されるステップと、
異なる2つの前記被検体画像に基づいて、前記被検体における第1の領域の3次元形状を示す第1の3次元画像データと、前記被検体における第2の領域の3次元形状を示す第2の3次元画像データと、を構築するステップと、
前記第1の3次元画像データに含まれる前記第1の領域の3次元形状と、前記第2の3次元画像データに含まれる前記第2の領域の3次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記3次元画像データが有する前記第1の領域の3次元形状と前記第2の領域の3次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出するステップと、
前記撮像位置情報に対応した位置に配置された前記第1の領域の3次元形状と前記第2の領域の3次元形状との前記ずれ角度を補正して、3次元空間上に配置することで3次元形状画像を生成するステップと、
を備えたことを特徴とする画像処理装置の作動方法。
【請求項7】
前記算出するステップは、
2つの前記端縁のそれぞれに複数の指標点を同一数ずつ設定する指標点設定ステップと、
2つの前記端縁からそれぞれ選択した各1つの指標点が最も近接するように、前記第1の領域の3次元形状と前記第2の領域の3次元形状との少なくとも一方を前記回転軸周りに回転する角度変更ステップと、
前記指標点が設定された対向する前記端縁を平面に投影し、当該平面に投影された複数の指標点間の距離に基づいて評価距離を算出する評価距離算出ステップと、
を含み、
選択する各1つの指標点を異ならせて前記角度変更ステップにより、前記第1の領域の3次元形状と前記第2の領域の3次元形状との少なくとも一方を回転させながら前記評価距離算出ステップにより前記評価距離を算出し、対向する前記端縁の形状が類似するような前記評価距離が所定の閾値以下となるときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項6に記載の画像処理装置の作動方法。
【請求項8】
前記算出するステップは、
前記回転軸周りに前記第1の領域の3次元形状と前記第2の領域の3次元形状との少なくとも一方を回転する角度変更ステップと、
2つの前記端縁を平面に投影し、当該平面に投影された2つ端縁で囲まれる2つ図形の重畳度を評価する重畳度評価ステップと、
を含み、
前記角度変更ステップにより前記第1の領域の3次元形状と、前記第2の領域の3次元形状と、の少なくとも一方を回転させながら前記重畳度評価ステップにより前記重畳度を評価し、対向する前記端縁の形状が類似するような前記重畳度が所定の閾値以上であることを示すときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項6に記載の画像処理装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の2次元の被検体画像から3次元形状画像を生成する画像処理装置、画像処理システム、画像処理装置の作動方法に関する。
【背景技術】
【0002】
従来より、2次元画像から3次元形状を構築する技術が提案されている。このとき、1フレームの2次元画像から構築できる3次元形状は、1フレーム分の2次元画像に対応する3次元部分形状しか構築できないために、対象臓器の全域を観察した複数フレームの2次元画像を使用して臓器全域の3次元形状を構築する技術も提案されている。
【0003】
例えば、日本国特許5354494号公報には、解像度が高く且つ色情報を備えた3次元画像(例えば、仮想内視鏡画像)を生成する3次元画像生成装置が記載されている。具体的に、該公報に記載の技術では、あるフレーム画像における例えば円形の試験線上の画素のみを抽出して一次元的に展開することを、複数のフレーム画像について行い、さらに複数の一次元展開画素列を合成することで管状構造物の内壁を平面的に展開した2次元画像を生成する。さらに、生成した2次元画像を格子状に分割する。また、2次元画像における各座標上の輝度情報に基づいて3次元座標(x,y,z)(モデル空間座標)を算出し、3次元モデルを生成する。そして、2次元座標と3次元座標に基づいて、3次元モデルに2次元画像のテクスチャを貼り付けることで3次元モデルを生成するようになっている。
【0004】
このような技術において、管状構造物の内壁を平面的に展開した2次元画像を正確に生成するためには、複数の一次元展開画素列の位置関係を把握する必要があり、フレーム画像を取得する内視鏡の6自由度情報、すなわち、内視鏡の3次元位置(3次元並進自由度情報)と、内視鏡の光学系の光軸周りの回転自由度および光軸に直交する2軸周りの各回転自由度情報と、が必要である。
【0005】
しかしながら、内視鏡の挿入部は細径化が図られているために、挿入部の先端部において光軸周り(撮像方向周り)の回転角度を検出することは技術的に困難である。そして、撮像方向周りの回転角度が検出されない5自由度情報のみでは、あるフレーム画像における試験線上の画素と、他のフレーム画像における試験線上の画素と、の位置関係を推定することができず、正確な3次元形状画像を生成することが困難であった。
【0006】
本発明は上記事情に鑑みてなされたものであり、撮像方向周りの回転自由度情報がなくても、複数の2次元の被検体画像からより正確な3次元形状画像を生成することができる画像処理装置、画像処理システム、画像処理装置の作動方法を提供することを目的としている。
【発明の開示】
【課題を解決するための手段】
【0007】
本発明のある態様による画像処理装置は、被検体を撮像した2次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の3次元xyz座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をz軸としたときの当該z軸に垂直なx軸周りの回転角とy軸周りの回転角、からなる撮像位置情報と、が入力される画像入力部と、異なる2つの前記被検体画像に基づいて、前記被検体における第1の領域の3次元形状を示す第1の3次元画像データと、前記被検体における第2の領域の3次元形状を示す第2の3次元画像データと、を構築する3次元画像構築部と、前記第1の3次元画像データに含まれる前記第1の領域の3次元形状と、前記第2の3次元画像データに含まれる前記第2の領域の3次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記3次元画像データが有する前記第1の領域の3次元形状と前記第2の領域の3次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出する位置関係算出部と、前記撮像位置情報に対応した位置に配置された前記第1の領域の3次元形状と前記第2の領域の3次元形状との前記ずれ角度を補正して、3次元空間上に配置することで3次元形状画像を生成する3次元形状画像生成部と、を備える。
【0008】
本発明のある態様による画像処理システムは、前記被検体を撮像して、前記2次元の被検体画像を生成する内視鏡と、前記画像処理装置と、を備え、前記画像入力部に入力される2次元の前記被検体画像は、前記内視鏡により生成された、2次元の前記被検体画像である。
【0009】
本発明のある態様による画像処理装置の作動方法は、被検体を撮像した2次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の3次元xyz座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をz軸としたときの当該z軸に垂直なx軸周りの回転角とy軸周りの回転角、からなる撮像位置情報と、が入力されるステップと、異なる2つの前記被検体画像に基づいて、前記被検体における第1の領域の3次元形状を示す第1の3次元画像データと、前記被検体における第2の領域の3次元形状を示す第2の3次元画像データと、を構築するステップと、前記第1の3次元画像データに含まれる前記第1の領域の3次元形状と、前記第2の3次元画像データに含まれる前記第2の領域の3次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記3次元画像データが有する前記第1の領域の3次元形状と前記第2の領域の3次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出するステップと、前記撮像位置情報に対応した位置に配置された前記第1の領域の3次元形状と前記第2の領域の3次元形状との前記ずれ角度を補正して、3次元空間上に配置することで3次元形状画像を生成するステップと、を備える。
【図面の簡単な説明】
【0010】
図1】本発明の実施形態1における画像処理システムの構成を示す図。
図2】上記実施形態1の画像処理装置の構成を示すブロック図。
図3】上記実施形態1の画像処理装置の作用を示すフローチャート。
図4】上記実施形態1の画像処理装置における位置関係算出処理を示すフローチャート。
図5】上記実施形態1において、管状の被検体に内視鏡が挿入されている様子を示す図。
図6】上記実施形態1において、内視鏡画像に、3次元画像データを構築するための画像領域を設定する様子を示す図。
図7】上記実施形態1において、内視鏡画像から構築された3次元画像データの例を示す図。
図8】上記実施形態1において、一旦構築した比較元部分形状が分岐管状となっているときの例を示す図。
図9】上記実施形態1において、図8の断面C1における比較元部分形状の例を示す図。
図10】上記実施形態1において、図8の断面C2における比較元部分形状の例を示す図。
図11】上記実施形態1において、図8の断面C3における比較元部分形状の例を示す図。
図12】上記実施形態1において、内視鏡画像から構築された3次元画像データを2次元に展開した例を示す図。
図13】上記実施形態1において、展開画像に内視鏡画像を貼り合わせた周辺画像の例を示す図。
図14】上記実施形態1において、周辺画像を複数の領域に分割して、特徴部分としてのテンプレートを設定する例を示す図。
図15】上記実施形態1において、位置ずれ角度Δθをなくすように比較元展開画像と比較先展開画像とを重ね合わせる様子を示す概念図。
図16】上記実施形態1において、テンプレートマッチングの類似度が低い場合に、比較元部分形状を比較先部分形状と異なる色で表示する例を示す図。
図17】本発明の実施形態2の画像処理装置の構成を示すブロック図。
図18】上記実施形態2の画像処理装置における位置関係算出処理を示すフローチャート。
図19】上記実施形態2において、比較元部分形状および比較先部分形状の対向する端縁に、複数の指標点を同一数ずつ設定する様子を示す図。
図20】上記実施形態2において、平面に投影された複数の指標点間の距離に基づいて評価距離を算出する例を説明するための図。
図21】上記実施形態2の変形例1の画像処理装置の構成を示すブロック図。
図22】上記実施形態2の変形例1の画像処理装置における位置関係算出処理を示すフローチャート。
図23】上記実施形態2の変形例1において、平面に投影された2つ端縁で囲まれる2つ図形の重畳度を評価する例を説明するための図。
図24】上記実施形態2の変形例2の画像処理装置における位置関係算出処理を示すフローチャート。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して本発明の実施の形態を説明する。
【0012】
[実施形態1]
図1から図16は本発明の実施形態1を示したものであり、図1は画像処理システム1の構成を示す図である。
【0013】
本実施形態の画像処理システム1は、内視鏡2と、ビデオプロセッサ3と、ケーブル4と、画像処理装置5と、モニタ6と、キーボード7と、マウス8と、を備えており、被検体を撮像して得た2次元画像から、被検体の3次元形状画像を生成して表示する観察支援装置としての機能を備えている。
【0014】
内視鏡2は、例えば、対物レンズおよび撮像素子等を含む撮像系と、照明レンズおよび光ファイバを含む照明系と、を含んで構成された撮像装置である。ただし、内視鏡2はこの構成に限定されるものではなく、例えば照明系がLED等を含んでいても良いし、内視鏡において取り得るその他の任意の構成を採用しても構わない。ここに、内視鏡2は、医療用内視鏡でも工業用内視鏡でも何れでも構わない。
【0015】
また、内視鏡2は、挿入部の撮像系が設けられている先端部内に、5自由度センサ(以下、5Dセンサという)11を備えている。挿入部における対物レンズの光軸をz軸(正方向を物体側、負方向を像側とする)、z軸に垂直な2方向の軸をx軸およびy軸としたときに、この5Dセンサ11は、内視鏡先端部のxyz座標(3次元並進自由度)、およびx軸およびy軸周りの回転角(2つの回転自由度)を測定して、被検体画像が撮像されたときの、撮像位置の3次元並進自由度情報、および撮像方向に直交する2軸周りの各回転自由度情報を含む5自由度情報として出力するものである。なお、このような設定によれば、z軸の正方向が撮像方向であり、撮像素子の撮像面(ひいては内視鏡画像)の中心をz軸が通過する(すなわち、5自由度情報に基づいて被検体画像の撮像方向を定めることができる)。
【0016】
そして、このような内視鏡2は、ビデオプロセッサ3に接続されて制御されるようになっている。
【0017】
ビデオプロセッサ3は、信号処理部12と、制御部13と、光源部14と、を備えている。
【0018】
信号処理部12は、内視鏡2の撮像素子から出力される撮像信号を信号処理して、2次元の被検体画像としての内視鏡画像データを生成する。
【0019】
制御部13は、ユーザの操作に応じて内視鏡2の撮像制御を行い、内視鏡2の撮像素子へ駆動信号を送信して、撮像素子に被検体の内部を撮像させ撮像信号を生成させる。さらに、制御部13は、光源部14の照明光の光量調節や発光のオン/オフを切り換える制御を行う。また、制御部13は、内視鏡2から5自由度情報を受信して画像処理装置5へ送信する。
【0020】
光源部14は、照明光を発光する光源を含み、照明光を内視鏡の光ファイバの基端側へ照射する。この照明光は、光ファイバを伝送されて、内視鏡2の先端部から被検体へ向けて照射される。
【0021】
ここに、本実施形態においては、被検体として管腔等の管状構造物を想定しており、幾つかの例としては、腸や尿管、腎盂、腎杯、気管支などの管腔臓器、あるいはパイプや管路などが挙げられる。
【0022】
このビデオプロセッサ3は、例えばUSBケーブル等のケーブル4を介して、画像処理装置5に接続されている。
【0023】
ケーブル4は、ビデオプロセッサ3からの内視鏡画像データおよび5自由度情報を画像処理装置5へ送信すると共に、画像処理装置5からの制御信号をビデオプロセッサ3へ送信するようになっており、双方向に通信可能な通信回線である。
【0024】
画像処理装置5は、入出力インタフェース(I/F)15と、記憶部16と、制御部17と、を有している。この画像処理装置5は、例えば、パーソナルコンピュータに処理プログラムを実行させる構成としても良いが、専用の処理装置として構成しても構わない。
【0025】
入出力インタフェース(I/F)15は、画像処理装置5が外部の機器とデータの送受信を行うためのものであり、ビデオプロセッサ3、モニタ6、キーボード7、およびマウス8と接続されている。画像処理装置5は、入出力I/F15を介して、ビデオプロセッサ3から内視鏡画像データおよび5自由度情報を受信すると共に制御信号をビデオプロセッサ3へ送信し、内視鏡画像データから生成した3次元形状画像をモニタ6へ出力し、ユーザの操作によりキーボード7およびマウス8から発生した信号を受信する。
【0026】
記憶部16は、画像処理装置5により実行される処理プログラムを記憶すると共に、画像処理中の画像データを一時的に記憶し、さらに画像処理により生成された3次元形状画像を不揮発に記憶するものであり、例えばハードディスクやRAMやROM等の各種の記憶装置を含んで構成されている。
【0027】
制御部17は、処理プログラムに従って画像処理装置5を含む画像処理システム1を制御するものである。また、制御部17は、処理プログラムに従って画像処理を実行し、受信した内視鏡画像データから3次元形状画像を生成する。
【0028】
モニタ6は、画像処理装置5により生成された3次元形状画像を表示し、さらに画像処理システム1に係る各種の情報を表示する表示装置である。
【0029】
キーボード7およびマウス8は、操作部であり後述する入力部29(図2参照)であって、ユーザの操作に応じた信号を画像処理装置5へ出力する。制御部17は、キーボード7およびマウス8からの入力信号に応じて、処理プログラムに従った制御を行う。
【0030】
次に、上述したような構成の画像処理装置5における機能ブロックについて、図2を参照して説明する。図2は、画像処理装置5の構成を示すブロック図である。
【0031】
この画像処理装置5は、画像入力部21と、3次元画像構築部22と、位置関係算出部23と、3次元形状画像生成部24と、記憶部25と、を備えている。ここに、画像入力部21は上述した入出力I/F15に概略該当し、記憶部25は上述した記憶部16に概略該当し、3次元画像構築部22、位置関係算出部23、および3次元形状画像生成部24は、上述した制御部17に概略該当する。
【0032】
画像入力部21は、被検体の内部を撮像した2次元の被検体画像が入力されるとともに、さらに被検体画像が撮像されたときの撮像位置情報として、撮像位置の3次元並進自由度情報、および撮像方向に直交する2軸周りの各回転自由度情報を含む5自由度情報が入力される。
【0033】
3次元画像構築部22は、被検体画像に基づいて、3次元における曲面である3次元画像データを構築する。ここで構築された3次元画像データが、後述するように、比較元部分形状となる。
【0034】
位置関係算出部23は、少なくとも2つの異なる被検体画像に基づいて3次元画像構築部22により構築された少なくとも2つの異なる3次元画像データを、前記撮像位置情報に基づいて所定の位置に配置して各々の位置関係を算出する。具体的に、位置関係算出部23は、所定の位置に配置された少なくとも2つの異なる3次元画像データに対して、撮像位置情報に基づいて定まる被検体画像の撮像方向を回転軸として、例えば、5自由度情報に基づいて定まる被検体画像の撮像方向(上述したz軸)を回転軸として、2つの異なる3次元画像データの回転軸周りのずれを示す位置関係を算出する。
【0035】
3次元形状画像生成部24は、位置関係算出部23により算出された位置関係に基づいて、異なる3次元画像データのずれを補正するように該異なる3次元画像データを3次元空間上に配置することで3次元形状画像を生成する。具体的に、3次元形状画像生成部24は、位置関係算出部23により算出された位置関係に基づいて、2つの異なる3次元画像データの回転軸周りのずれが最小となるように、少なくとも一方の3次元画像データを回転軸周りに回転して3次元空間上に配置した3次元形状画像を生成する。そして、3次元形状画像生成部24は、異なる複数の3次元画像データの内の2つずつに対してこのような処理を順次行うことで、3次元画像データが3つ以上である場合にも(つまり、少なくとも2つの異なる3次元画像データに対して)処理を行うことができる。
【0036】
記憶部25は、記憶部16について上述したように各種の情報を記憶するが、特に、3次元形状画像生成部24により生成された3次元形状画像を記憶する。この記憶部25に記憶された3次元形状画像は、後述するように比較先部分形状となり、3次元画像構築部22により新たに構築された比較元部分形状に対して位置関係算出部23により比較され、位置関係が算出される。
【0037】
なお、記憶部25は、ある部分形状を、他の部分形状に対する位置関係と共に記憶することを、部分形状毎に行っても良い(つまり、複数の部分形状を個別に記憶しても良い)し、あるいは、複数の部分形状を位置関係に基づき位置合わせして構成されたトータルの部分形状を記憶しても構わないし、両方を記憶しても良い。
【0038】
上述した位置関係算出部23は、周辺画像生成部26と、特徴部分検出部27と、類似度算出部28と、を有している。
【0039】
周辺画像生成部26は、2つの異なる3次元画像データをそれぞれ2次元に展開することにより、被検体内部における周辺画像を2つ生成する。
【0040】
特徴部分検出部27は、2つの異なる3次元画像データ(例えば、3次元画像データの曲面を展開して得られる周辺画像)の一方に対して、所定のパラメータに基づいて特徴部分を検出する。具体的に、特徴部分検出部27は、2つの異なる3次元画像データの一方に対して、例えば、輝度値の変化量が第2の閾値以上である部分を特徴部分として検出する。
【0041】
類似度算出部28は、2つの異なる3次元画像データの他方を複数の領域に分割して、領域と特徴部分検出部27により検出された特徴部分との類似度を算出する。
【0042】
そして、位置関係算出部23は、類似度算出部28により算出された類似度が所定の閾値以上となるための位置関係を算出する。
【0043】
次に、このような画像処理システムの作用について、より詳細に説明する。まず、図3は、画像処理装置5の作用を示すフローチャートである。
【0044】
この図3に示す処理は、管腔臓器等の被検体内において、内視鏡2を必要に応じて移動しながら、時系列的な複数フレームの画像を取得しつつ行われる。
【0045】
ここで図5は、管状の被検体50に内視鏡2が挿入されている様子を示す図である。この図5に示す例では、撮像方向(z軸方向)と、管状の被検体50の奥行き方向とがずれた方向となっている。
【0046】
なお、画像処理装置5は、内視鏡画像データを、図1に示したような内視鏡2からリアルタイムで取得するに限るものではなく、記録媒体等の記録装置を介して取得しても構わないし、ネットワーク等の通信回線を介して取得しても良い。従って、内視鏡2により既に撮像されて例えばハードディスク等の記録装置に記録済みの画像を、記録装置から順次取得してこの図3に示す処理を実行しても構わない。
【0047】
この処理を開始すると、画像入力部21が、ビデオプロセッサ3から画像を1フレーム取得する(ステップS1)。ここでは、時系列的に撮像して取得された動画像(あるいは時系列的に連続して撮像された静止画像)の1フレームを取得するが、動画像を構成する複数フレームの全てを漏れなく取得するに限るものではなく、例えば、10フレームに1フレームの割合で取得する等であっても構わない。
【0048】
図6は、内視鏡画像に、3次元画像データを構築するための画像領域を設定する様子を示す図である。画像入力部21が取得した1フレームの画像をモニタ6に表示すると、例えばこの図6に示すようになる。ここに、図6におけるOは内視鏡画像の中心を示し、この中心Oを通って垂直な方向にz軸が設定されていると考えて良い。
【0049】
そして、モニタ6に表示された内視鏡画像6aには、被検体50の被検体像50iが写っている。このとき図5に示した状態では、上述したようにz軸方向と被検体50の奥行き方向とがずれているために、内視鏡画像6aにおいても被検体50の奥が中心Oとずれた位置となっている。
【0050】
次に、画像入力部21が取得した1枚の2次元の被検体画像から、3次元画像構築部22が3次元の比較元部分形状を構築する(ステップS2)。すなわち、3次元画像構築部22は、内視鏡画像6aにおける、内視鏡2の対物レンズから一定の距離範囲にある被写体部分が写っている画像領域50a(図6参照)に基づいて、3次元における曲面である3次元画像データを構築する。
【0051】
ここで、3次元画像構築部22が1枚の2次元の被検体画像に基づいて、3次元における曲面である3次元画像データを構築する方法は、特定の方法に依存するものではなく、各種の方法を広く採用することが可能である。例えば、暗部となっている管腔内では照明光を照射して観察を行うために、輝度が低い画素は遠い距離にあり、輝度が高い画素は近い距離にあると仮定することができ、この仮定に基づいて3次元形状を推定し構築することができる。また、シェイプ・フロム・シェイディング(shape from shading)法のように1フレームの画像から対象の形状を推定する方法も知られている。こうした方法に限らず、その他の任意の方法を採用しても構わない。
【0052】
上述したように被検体が管状構造物である場合には、構築される比較元部分形状51は、図7に示すように、元の管状構造物と同様の(ただし長さが短い)管状の曲面となる。ここに、図7は内視鏡画像6aから構築された3次元画像データの例を示す図である。
【0053】
なお、被検体50が分岐を持つ場合(図8参照)には、例えば、次のように処理を行う。ここに、図8は、一旦構築した比較元部分形状51が分岐管状となっているときの例を示す図である。
【0054】
比較元部分形状51が、図8に示すような形状である場合には、まず、一旦構築した比較元部分形状51の、内視鏡2に近い側の端縁にフィッティング(最適化)された平面(つまり、内視鏡2に近い側の端縁に最も近似する平面)を算出する。ここで算出された平面が図8に示す断面C3であるものとする。
【0055】
比較元部分形状51を、断面C3、および断面C3に並行な幾つかの断面C1,C2に沿って切断したときの画像例を図9図11に示す。ここに、図9は、図8の断面C1における比較元部分形状の例を示す図、図10は、図8の断面C2における比較元部分形状の例を示す図、図11は、図8の断面C3における比較元部分形状の例を示す図である。
【0056】
図示のように、断面C1で切断したときには比較元部分形状51の断面形状51c1は開曲線をなし、断面C2で切断したときには比較元部分形状51の断面形状51c2は複数の開曲線となり、断面C3で切断したときには比較元部分形状51の断面形状51c3は閉曲線をなす。
【0057】
そこで、このような場合には、探索用断面を断面C3から断面C1側へ向けて順次平行移動しながら、次のような条件(1)、(2)を満たす断面C4を探索する。
【0058】
(1)探索用断面を断面C3から平行移動していくときに、探索用断面における比較元部分形状51の断面形状が閉曲線である状態を維持しながら、断面C4に到達する。
【0059】
(2)断面C4と断面C3との面間距離が所定の閾値以上である。
【0060】
そして、断面C3と、これらの条件(1)、(2)を満たす断面C4との間の比較元部分形状51を、最終的な比較元部分形状51として設定する(図8にハッチングを付して示す部分参照)。
【0061】
条件(1)により、最終的な比較元部分形状51は、単一の(分岐がない)管状をなすことが担保され、条件(2)により最終的な比較元部分形状51の管路方向の長さを所定の閾値以上に確保することができる。
【0062】
続いて、位置関係算出部23が、ステップS2により構築された比較元部分形状と、3次元画像構築部22により過去に構築され記憶部25に記憶されている比較先部分形状と、の位置関係を、図4に示すように算出する(ステップS3)。
【0063】
ここで図4は、画像処理装置5における位置関係算出処理を示すフローチャートである。
【0064】
この処理に入ると、ステップS2において算出された短管状の比較元部分形状51に対して、周辺画像生成部26が、z軸負方向(内視鏡2に近い側)の端縁上の任意の位置に、図7に示すように1つの点P1を設定する。さらに、周辺画像生成部26は、z軸正方向(内視鏡2から遠い側)の端縁上において、点P1と最も近い点P2を算出する。
【0065】
そして、周辺画像生成部26は、点P1と点P2とを結ぶ線分P1P2で比較元部分形状を切断して平面に展開し、図12に示すような展開画像51dを生成する。ここに図12は、内視鏡画像6aから構築された3次元画像データを2次元に展開した例を示す図である。ここに、図12において、横軸は、短管状をなす比較元部分形状51のz軸周りの周方向位置を例えば角度により示すθ軸、縦軸はz軸にほぼ対応して内視鏡2に近いか遠いかを示すz'軸となっている。
【0066】
内視鏡画像6aから3次元画像データである比較元部分形状51を構築する際には、使用するアルゴリズムに応じて生成されるものが異なり、例えば、輝度値に基づく被検体の凹凸形状のみのモノクロ3次元画像データになる場合と、カラーの内視鏡画像6aがそのまま凹凸形状化され3次元化されたカラー3次元画像データになる場合と、がある。
【0067】
このとき、後者である場合には、生成された展開画像51dがそのまま周辺画像(後述するテンプレートマッチングに用いるマッチング用画像)である比較元展開画像51pとなる。一方、前者である場合には、周辺画像生成部26は、展開画像51dに内視鏡画像6aをテクスチャとして貼り付けることにより、比較元展開画像51pを生成する。ここに図13は、展開画像51dに内視鏡画像6aを貼り合わせた周辺画像の例を示す図である。
【0068】
また、周辺画像の生成に際しては、単に線分P1P2で切断して切り開いただけでは凹凸形状が残っており完全な平面にはならない。そこで、例えば切り開いた後に、展開画像に対して平行な面に展開画像を平行投影して、最終的な周辺画像として生成する。
【0069】
このようにして、周辺画像生成部26は、比較元部分形状51から周辺画像である比較元展開画像51pを生成する(ステップS11)。
【0070】
さらに、周辺画像生成部26は、記憶部25に記憶されている1つ以上の3次元形状画像の中から、比較元部分形状51に近接する部分形状を読み出して比較先部分形状に設定し、上述と同様に比較先展開画像を生成する(ステップS12)。
【0071】
次に、特徴部分検出部27が、比較元展開画像51pと比較先展開画像51p'との何れか一方、ここでは図14に示すように、例えば比較元展開画像51pを複数の領域51rに分割して、各領域51rの輝度の変化量を算出し、輝度の変化量が第2の閾値よりも大きい(好ましくは最も大きい)領域51rをテンプレート画像51qに設定する(ステップS13)。
【0072】
具体的に、輝度の変化量としては、領域51r内の各画素の輝度値(もしくはG成分などの輝度相当値)の分散(所定のパラメータの一例)を用いる一例が挙げられる。この場合には、分散が大きい程、輝度の変化量が大きいことを示す。また、他の例としては、キャニー法などを用いてエッジを抽出し、領域51r内においてエッジであると判断された画素数を、輝度の変化量の評価値として用いても良い。この場合には、エッジであると判断された画素数が多い程、輝度の変化量が大きいことを示す。
【0073】
なお、被検体が例えば血管を有する生体の体腔である場合には、血管が多い部分はテクスチャがはっきりしていて、テンプレートに設定するのに適していると考えられる。血管部分はRGB色成分の内のR成分が大きいと考えられ、輝度相当成分であるGとの比G/Rは相対的に小さな値となる。そこで、G/Rを指標値として用いて、画素単位の指標値G/Rを計算して、各領域51r毎に指標値G/Rが所定の閾値よりも小さい画素の数をカウントする。そして、カウントした画素数が最も大きい領域51rをテンプレート画像51qに設定するようにしても良い。
【0074】
また、テンプレート画像51qは、比較先展開画像51p'に近い側、具体的にここでは、内視鏡2側(z'軸の負方向側)の領域51rから選択することが望ましいために、テンプレート画像51qに適した領域51rを評価するときに内視鏡2側が選択され易いように重み付けしても良い。重みの具体例としては、例えば、内視鏡2側から1行目の各領域51rは評価値に重みkを乗算し、2行目の各領域51rは評価値に重みk/2を乗算し、3行目の各領域51rは評価値に重みk/4を乗算する等である。このように重みkを設定することで、比較先展開画像51p'において、テンプレート画像51qとマッチングする可能性が高いと考えられる端側(1行目の各領域51r)以外の領域でテンプレート画像51qに類似した領域が存在する場合に、誤ってマッチングすることを防止することができる。
【0075】
また、上述の例に限らず、被検体内における内視鏡2の移動速度や展開画像51dの大きさに応じて重みkの値を設定しても良い。
【0076】
あるいは、まず、内視鏡2側から1行目の各領域51rのみを評価の対象としてテンプレート画像51qの選択を行い、後述するステップS14の「テンプレートマッチング」の結果が良好でなくステップS15およびステップS16を経て再びステップS13の処理に戻ってきた場合に、内視鏡2側から2行目の各領域51rを評価の対象としてテンプレート画像51qの選択を行い、同様にして3行目以降を順次評価の対象とするという処理を行うようにしても良い。
【0077】
続いて、類似度算出部28が、比較先展開画像51p'を複数の領域51r'に分割し、ステップS13で得られたテンプレート画像51qを用いて、比較先展開画像51p'に対するテンプレートマッチングを行う(ステップS14)。テンプレートマッチングの具体的な方法の一例としては、テンプレート画像51qと比較先展開画像51p'の各領域51r'との画素毎の差分の2乗の総和を算出し、この総和の例えば逆数を類似度とすれば良い。このようなテンプレートマッチングは、テクスチャの類似度を算出することに該当し、テンプレート画像51qと領域51r'とが近似していれば、差分の総和が小さくなり、類似度が高くなる。なお、テンプレートマッチングの方法はこれに限るものではなく、種々の方法を広く適用することができる。
【0078】
そして、テンプレートマッチングを行った結果として得られた最も高い類似度が、所定の閾値以上であるか否かを判定する(ステップS15)。なお、テンプレートマッチングを行っている途中で類似度が所定の閾値以上である領域51r'が発見された場合には、それ以上のテンプレートマッチングを行うのを中止して、発見された領域51r'をテンプレートマッチングの結果とする処理を行うようにしても構わない。
【0079】
ここで所定の閾値以上であると判定された場合には、閾値以上の類似度が得られたときの比較元展開画像51pと比較先展開画像51p'との位置関係、具体的にはz軸周りの位置ずれ角度Δθが、この図4に示す位置関係算出処理の結果となる。そして、位置関係算出処理により位置ずれ角度Δθをなくすように比較元展開画像51pと比較先展開画像51p'を重ね合わせた展開画像の概念図を図15に示す。ここに、図15は、位置ずれ角度Δθをなくすように比較元展開画像と比較先展開画像とを重ね合わせる様子を示す概念図である。
【0080】
一方、ステップS15において閾値未満であると判定された場合には、テンプレート画像51qとして設定するのに適した全ての領域51rによるテンプレートマッチングを行ったか否かを判定する(ステップS16)。
【0081】
ここで、まだ未設定の領域51rがある場合には、ステップS13へ戻ってテンプレート画像51qを新たに設定し直して(従って、既にテンプレート画像51qとして設定済みの領域51rは、再度設定されることはない)、上述したような処理を行う。
【0082】
また、ステップS16において、テンプレート画像51qとして設定するのに適した全ての領域51rによるテンプレートマッチングを行ったと判定された場合には、テンプレート画像51qをどのように設定したとしても、テンプレート画像51qに対する類似度が閾値以上となる領域51r'が比較先展開画像51p'に発見されなかったことになる。
【0083】
この場合には、算出された全ての類似度の中で最大の類似度が得られたときの比較元展開画像51pと比較先展開画像51p'との位置関係、具体的にはz軸周りの位置ずれ角度Δθを選択すると共に、比較元展開画像51pに対応する3次元画像データである比較元部分形状51の表示色を変更して、比較先部分形状とは異なる色になるよう設定する(ステップS17)。
【0084】
このステップS17の処理を行うか、またはステップS15において類似度が閾値以上であると判定された場合には、図3に示した処理(上述したステップS4)にリターンする。
【0085】
なお、ここでは比較元展開画像51p及び比較先展開画像51p'を所定の領域に分割し、領域毎にテンプレートマッチングを行う例を示したが、本実施形態はこの方法に限定されるものではない。具体的には公知技術である日本国特開平7−262370号公報等と同様にして、比較元展開画像51pのみを領域51rに分割してテンプレート画像51qを設定し、当該テンプレート画像51qを比較先展開画像51p'の所定の画素毎にずらしながらテンプレートマッチングを行うようにしても良い。このような手法をとることで、比較先展開画像51p'の各領域51r'に分割してテンプレートマッチングを行う場合に比べ、領域51r'の境界に輝度の変化量が大きい画素が配置されていたとしても、精度の高いテンプレートマッチングを行うことが可能となる。
【0086】
図3の処理に戻って、ステップS3の位置関係算出処理において算出された位置関係、具体的には、比較先部分形状に対する比較元部分形状51のz軸周りの位置ずれ角度Δθに基づいて、3次元形状画像生成部24が、比較元部分形状51と比較先部分形状との少なくとも一方、例えば比較元部分形状51をz軸周りに回転して3次元空間上に配置した3次元形状画像を生成する(ステップS4)。これにより、比較元部分形状51の姿勢が決定されて、3次元形状画像の生成が行われる。
【0087】
なお、生成される3次元形状画像は、比較元部分形状51が比較先部分形状53(図16参照)に対して連結されていることが好ましいが、連結されなくても、互いの位置関係が一義的に定まっていれば良く、例えば1つの3次元空間(形状空間)上に比較元部分形状51と比較先部分形状53とが決定された位置関係に基づいて並べられているだけでも構わない。
【0088】
そして、生成した3次元形状画像をモニタ6へ出力して表示を行う(ステップS5)。また、生成された3次元形状画像は、記憶部25に記憶される。
【0089】
上述したステップS17において、比較元部分形状51の表示色が変更されている場合には、図16に示すように、過去の複数の部分形状を連結して得られた比較先部分形状53に対して、新たに連結された比較元部分形状51は異なる色で表示される。ここに図16は、テンプレートマッチングの類似度が低い場合(つまり、比較元部分形状51の配置、ひいては比較元部分形状51と比較先部分形状との連結が不適切である可能性がある場合)に、比較元部分形状51を比較先部分形状53と異なる色で表示する例を示す図である。
【0090】
なお、ここでは類似度が低いことを色によりユーザに報知するようにしたが、これに限定されるものではなく、例えば、輝度を変更する、輪郭を太く(あるいは細く、さらにあるいは点線等に)する、点滅表示する、音声で告知する、等の任意の方法、あるいはこれらの組み合わせにより報知するようにしても構わない。
【0091】
その後、表示を見たユーザが、入力部29からマニュアル設定を行ったか否かを判定する(ステップS6)。
【0092】
ここで、マニュアル設定を行ったと判定された場合には、設定内容が削除であるか否かをさらに判定する(ステップS7)。
【0093】
そして、削除であると判定された場合には、最後に生成された部分形状である比較元部分形状51を削除する(ステップS8)。このときには、表示されている画像だけでなく、記憶部25に記憶された比較元部分形状51も削除される。
【0094】
従って、入力部29は、削除対象となる部分形状を指定する指定部として機能し、画像処理装置5は指定された部分形状を削除する削除部として機能する。この削除の処理をユーザが指定するに際しては、上述したように、類似度が低い場合に比較元部分形状51は比較先部分形状53とは異なる色で表示されているために、ユーザは注意を喚起され、削除するかどうかを容易に判断することができる。
【0095】
また、ステップS7において設定内容が削除でないと判定された場合には、マニュアルにより比較元部分形状51の位置を調整することになるために、入力値に基づいて、比較先部分形状53に対する比較元部分形状51の位置関係を設定する(ステップS9)。具体的には、入力部29から入力された回転角度に応じて、部分形状回転部として機能する3次元形状画像生成部24が、最後に生成された部分形状である比較元部分形状51を回転させる。
【0096】
このステップS9の処理を行ったら、ステップS4へ戻って、入力された位置関係に基づき3次元形状画像を生成する。
【0097】
ステップS6において、マニュアル設定を行っていないと判定された場合、またはステップS8の削除処理を行った場合には、検査が終了したか否かを判定する(ステップS10)。
【0098】
ここで、検査が終了していないと判定された場合には、ステップS1へ戻って次の1フレームの画像を取得して、上述したような処理を繰り返して行う。
【0099】
一方、検査が終了したと判定された場合には、この処理を終了する。
【0100】
なお、上述したステップS13およびステップS14では、領域51rの輝度の変化量に基づきテンプレート画像51qを設定してテクスチャに基づきテンプレートマッチングを行ったが、これに限るものではなく、変形例として、例えば色相(所定のパラメータの他の例)を用いて位置合わせを行っても良い。
【0101】
この場合には、ステップS13の処理において、複数の領域51rに分割した後に、例えば内視鏡2側(比較先展開画像に近い側)から1行目の各領域51rを構成する各画素の色相の平均値を、領域51r毎に算出する。
【0102】
同様に、ステップS14の処理において、比較先展開画像を複数の領域51rに分割した後に、比較元展開画像51pに近い側から1行目の各領域51rを構成する各画素の色相の平均値を、領域51r毎に算出する。そして、比較元展開画像51pと比較先展開画像との相対位置を変更しながら、比較元展開画像51pの色相と比較先展開画像の色相とが最もマッチングする位置関係を探索する。
【0103】
具体的に、比較元展開画像51pの1行目と比較先展開画像の1行目から任意の領域51rを1つずつ選択して領域番号をそれぞれ1とし、色相の差分Hue(1,1)を算出する。同様に、選択した領域51rに、同一θ方向において隣接する領域51rを1つずつ選択して領域番号をそれぞれ2とし、色相の差分Hue(2,2)を算出する。さらに、同様にして、色相の差分Hue(3,3)〜Hue(n,n)を算出する(ここに、nは1行に存在する領域51rの数である)。そして、全て(i=1〜n)の差分の例えば2乗和(あるいは差分絶対値和等でも構わない)Σ[{Hue(i,i)}^2]を算出する。ここに、記号「^2」は2乗を表すものとする。こうして算出した2乗和の例えば逆数を類似度とすれば良い。
【0104】
この類似度が最大となるもの(これは、2乗和が最小となるものに対応する)をステップS14で得られた類似度として、ステップS15の処理を行う。
【0105】
そして、ステップS15において類似度が閾値未満であると判定され、ステップS16において比較元展開画像51pと比較先展開画像とで異なる行同士の組み合わせに行われていないものがあると判定された場合には、ステップS13へ戻って比較元展開画像51pと比較先展開画像との異なる行同士の組み合わせ、例えば1行目と2行目、あるいは2行目と1行目、さらにあるいは2行目と2行目等を順次行えば良い。
【0106】
テクスチャに基づくテンプレートマッチングは、部分形状同士の位置を正確に合わせることができるが、部分形状同士に重なりがあることが前提となる。これに対して、色相を用いるこの変形例によれば、部分形状同士の間に隙間がある場合でも、位置合わせを行うことができるメリットがある。
【0107】
このような実施形態1によれば、少なくとも2つの異なる被検体画像に基づいて構築された少なくとも2つの異なる3次元画像データに対して、各々の位置関係を算出し、位置関係に基づいて、異なる3次元画像データを3次元空間上に配置することで3次元形状画像を生成するようにしたために、撮像方向周りの回転自由度情報がなくても、より正確な3次元形状画像を生成することができる。
【0108】
また、5自由度情報に基づいて定まる撮像方向を回転軸として、2つの異なる3次元画像データの回転軸周りのずれが最小となるように3次元形状画像を生成するようにしたために、回転軸を容易に決定した上で、3次元形状画像を正確に生成することができる。
【0109】
さらに、所定のパラメータに基づいて特徴部分を検出し、3次元画像データの他方を複数の領域に分割して特徴部分との類似度を算出し、類似度が所定の閾値以上となるための位置関係を算出するようにしたために、特徴部分に基づくテンプレートマッチングを適切に行うことができる。
【0110】
そして、3次元画像データを2次元に展開して周辺画像を生成し、周辺画像から特徴部分を検出してテンプレートマッチングを行うようにしたために、3次元空間内の曲面を扱う代わりに平面を扱うことができ、演算負荷を大幅に軽減することが可能となる。
【0111】
加えて、輝度値の変化量が第2の閾値以上である部分を特徴部分として検出するようにしたために、カラー3次元画像データとモノクロ3次元画像データとの何れの場合にも、特徴部分を検出することができる。
【0112】
また、指標値G/Rが所定の閾値よりも小さい画素の数が最も大きい領域51rをテンプレート画像51qに設定する場合には、生体の体腔内における血管が多い領域を、適切にテンプレート画像51qに設定することができる。
【0113】
また、図4のステップS15において、類似度が閾値以上であると判定された場合においても、全ての領域51rによるテンプレートマッチングを行うようにしても良い。その際は、類似度が閾値以上であると判定された領域51rを一時的に記憶しておき、全ての領域51rのテンプレートマッチングが終了した後に、算出された全ての類似度の中で最大の類似度が得られたときの比較元展開画像51pと比較先展開画像51p'との位置関係を選択することで、より精度の高いマッチング結果を得ることが可能となる。
【0114】
[実施形態2]
図17から図20は本発明の実施形態2を示したものであり、図17は画像処理装置5の構成を示すブロック図である。
【0115】
この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【0116】
上述した実施形態1では、画像のテクスチャや色相などがマッチングするように比較元部分形状51と比較先部分形状との位置関係を算出したが、本実施形態は、比較元部分形状51と比較先部分形状との対向する端縁51c,52cが、形状的に連続性をもつように(滑らかとなるように)位置関係を算出するものとなっている。
【0117】
本実施形態の画像処理装置5は、上述した実施形態1の図2に示した画像処理装置5に比して、位置関係算出部23の構成が異なるものとなっている。
【0118】
すなわち、本実施形態の位置関係算出部23は、指標点設定部31と、角度変更部32と、評価距離算出部33と、を備えている。
【0119】
指標点設定部31は、図19に示すように、2つの異なる3次元画像データである比較元部分形状51および比較先部分形状52の対向する端縁51c,52cのそれぞれに、複数の指標点51t,52tを同一数ずつ設定する。
【0120】
ここに、図19は、比較元部分形状51および比較先部分形状52の対向する端縁51c,52cに、複数の指標点を同一数ずつ設定する様子を示す図である。
【0121】
角度変更部32は、2つの端縁51c,52cからそれぞれ選択した各1つの指標点が最も近接するように、回転軸(z軸)周りに比較元部分形状51と比較先部分形状52との少なくとも一方を回転する。
【0122】
評価距離算出部33は、図20に示すように、角度変更部32により回転された後の、指標点51t,52tが設定された対向する端縁51c,52cを平面52pに投影し、平面52pに投影された複数の指標点51t',52t'間の距離に基づいて評価距離を算出する。なお、図20におけるOは、回転軸であるz軸に対応する位置を示している。
【0123】
ここに、図20は、平面52pに投影された複数の指標点51t',52t'間の距離に基づいて評価距離を算出する例を説明するための図である。
【0124】
図18は、画像処理装置5における位置関係算出処理を示すフローチャートである。
【0125】
図3のステップS3においてこの処理に入ると、位置関係算出部23は、記憶部25に記憶されている1つ以上の3次元形状画像の中から、比較元部分形状51に近接する部分形状を読み出して比較先部分形状52に設定する(ステップS21)。
【0126】
次に、指標点設定部31が、比較元部分形状51の比較先部分形状52側の端縁51cに複数(例えばn個)の指標点51tを設定すると共に、比較先部分形状52の比較元部分形状51側の端縁52cに同一数のn個の指標点52tを設定する(ステップS22)。これらの指標点51t,52tは、それぞれの端縁51c,52cをn等分する点である。
【0127】
続いて、角度変更部32が、対向する2つの端縁51c,52cからそれぞれ選択した各1つの指標点が最も近接するように、比較元部分形状51と比較先部分形状52との少なくとも一方、ここでは例えば比較元部分形状51を、3次元空間内においてz軸周りに回転する(ステップS23)。
【0128】
さらに、評価距離算出部33が、平面を設定する。ここでは例えば、比較先部分形状52における指標点52tが設定された端縁52cに対してフィッティング(最適化)された平面52pを設定する。ただし、比較元部分形状51における指標点51tが設定された端縁51cに対してフィッティングされた平面を設定しても構わないし、これらに限らずその他の平面を設定することも可能である。
【0129】
そして、評価距離算出部33は、設定した平面52pに、指標点51t,52tが設定された対向する端縁51c,52cを投影して端縁51c',52c'とし、平面に投影された複数の指標点51t',52t'間の距離に基づいて評価距離を算出する(ステップS24)。
【0130】
具体的に、評価距離算出部33は、ステップS23において選択した指標点に対応する平面52p上の指標点51t'1,52t'1の指標点番号をそれぞれ1とし、指標点51t'1,52t'1間の距離D(1,1)を算出する。続いて、同一θ方向において隣接する指標点51t',52t'の指標点番号をそれぞれ2とし、指標点51t',52t'間の距離D(2,2)を算出する。さらに、同様にして、指標点51t',52t'間の距離D(3,3)〜D(n,n)を算出する。そして、全て(i=1〜n)間の距離Dの例えば和(あるいは2乗和等でも構わない)Σ{D(i,i)}を算出する。そして、算出した距離Dの和を、評価距離とする。なお、評価距離の例えば逆数は、類似度となる。
【0131】
そして、算出した評価距離が所定の閾値以下(つまり、類似度が所定の閾値以上)であるか否かを判定する(ステップS25)。
【0132】
ここで、評価距離が所定の閾値以下でないと判定された場合には、端縁51c上の指標点51tと、端縁52c上の指標点52tと、の全ての組み合わせを選択し終えたか否かを判定する(ステップS26)。
【0133】
ここで、まだ選択していない組み合わせが存在すると判定された場合には、ステップS23へ戻って、指標点51tと指標点52tとを1つずつ新たに選択して、上述したような処理を行う。
【0134】
また、ステップS26において、全ての組み合わせを選択し終えたと判定された場合には、評価距離が所定の閾値以下となる角度が発見されなかったことになる。
【0135】
この場合には、算出された全ての評価距離の中で最小の評価距離(つまり、最大の類似度)が得られたときの比較元展開画像51pと比較先展開画像との位置関係、具体的にはz軸周りの位置ずれ角度Δθを選択すると共に、比較元展開画像51pに対応する3次元画像データである比較元部分形状51の表示色を変更して、比較先部分形状とは異なる色になるよう設定する(ステップS27)。
【0136】
このステップS27の処理を行うか、またはステップS25において評価距離が閾値以下であると判定された場合には、図3に示した処理(上述したステップS4)にリターンする。
【0137】
このような実施形態2によれば、比較元部分形状51と比較先部分形状52の対向する端縁51c,52cに同一数の指標点51t,52tを設定して、平面に投影した指標点51t',52t'間の距離に基づく評価距離が所定の閾値以下となるときの回転量に基づき位置関係を算出することによっても、上述した実施形態1とほぼ同様の効果を奏することができる。
【0138】
なお、図18のステップS25において、評価距離が閾値以下であると判定された場合においても、全ての指標点を選択して評価距離を算出しても良い。その際は、評価距離が閾値以下であると判定された指標点の組み合わせを一時的に記憶しておき、全ての指標点を選択して評価距離の算出が終了した後に、算出された全ての評価距離の中で最小の評価距離が得られたときの比較元展開画像51pと比較先展開画像51p'との位置関係を選択することで、より精度の高い位置関係の算出を行うことが可能となる。
【0139】
[実施形態2の変形例1]
図21から図23は本発明の実施形態2の変形例1を示したものであり、図21は画像処理装置5の構成を示すブロック図である。
【0140】
この実施形態2の変形例1において、上述の実施形態1,2と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【0141】
本変形例1では、上述した実施形態2と同様に、比較元部分形状51と比較先部分形状52との対向する端縁が、形状的に連続性をもつように(滑らかとなるように)位置関係を算出するが、実施形態2が平面に投影した端縁の距離に基づくのに対して、本変形例1は平面に投影した端縁で囲まれる図形の形状と重畳面積とに基づくものとなっている。
【0142】
本変形例1の画像処理装置5は、上述した実施形態2の図17に示した画像処理装置5に比して、位置関係算出部23の構成が異なるものとなっている。
【0143】
すなわち、本変形例1の位置関係算出部23は、角度変更部32と、重畳度評価部41と、を備えている。
【0144】
角度変更部32は、回転軸(z軸)周りに、2つの異なる3次元画像データの少なくとも一方を回転する。
【0145】
重畳度評価部41は、2つの異なる3次元画像データである比較元部分形状51および比較先部分形状52の対向する端縁51c,52cを平面に投影し、図23に示すような、平面に投影された2つ端縁51c',52c'で囲まれる2つ図形の重畳度を評価する。ここに図23は、平面に投影された2つ端縁51c',52c'で囲まれる2つ図形の重畳度を評価する例を説明するための図である。なお、図23におけるOは、回転軸であるz軸に対応する位置を示している。
【0146】
そして、位置関係算出部23は、平面に投影された2つ端縁51c',52c'を楕円近似した上で、近似した2つの楕円の長軸の方向が一致する回転角度に基づき、角度変更部32により3次元画像データの少なくとも一方を回転させて重畳度評価部41により重畳度を評価する。そして、位置関係算出部23は、長軸の方向が一致する2つの回転角度(180°異なる回転角度)の内の、重畳度が大きい方の回転角度(投影平面上の回転角度)に対応する回転量(3次元画像データの回転量)に基づき位置関係を算出する。
【0147】
次に、図22は、画像処理装置5における位置関係算出処理を示すフローチャートである。
【0148】
図3のステップS3においてこの処理に入ると、位置関係算出部23は、ステップS21の処理を上述したように行って、比較先部分形状52を設定する。
【0149】
続いて、重畳度評価部41が、上述と同様に、例えば、比較先部分形状52の端縁52cに対してフィッティング(最適化)された平面52pを設定する。ただし、その他の平面を設定しても良いことは上述と同様である。そして、重畳度評価部41は、設定した平面52pに端縁51c,52cを投影して端縁51c',52c'とし、端縁51c'を楕円近似して長軸の方向を算出すると共に、端縁52c'を楕円近似して長軸の方向を算出する(ステップS31)。
【0150】
さらに、角度変更部32が、近似した2つの楕円の長軸の向きが一致する投影平面上の回転角度を算出し、算出した投影平面上の回転角度に基づき、3次元画像データの回転量(3次元におけるz軸周りの回転角度)を算出する。なお、ここでは投影平面上の回転角度に基づき3次元画像データの回転量を算出したが、投影平面上の回転角度を3次元画像データの回転量の近似値としてそのまま用いても構わない。角度変更部32は、こうして算出した回転量に基づいて、比較元部分形状51と比較先部分形状52との少なくとも一方を回転させ、重畳度評価部41が、端縁51c'に囲まれた図形と、端縁52c'に囲まれた図形と、の非重畳部分の合計面積(図23参照)を算出する(ステップS32)。
【0151】
その後、角度変更部32が、z軸周りの相対的な回転角度が180°変更されるように、比較元部分形状51と比較先部分形状52との少なくとも一方を回転させ(従って、長軸の向きがステップS32とは反転した状態となって再び一致する)、重畳度評価部41が、端縁51c'に囲まれた図形と、端縁52c'に囲まれた図形と、の非重畳部分の合計面積を再度算出する(ステップS33)。
【0152】
次に、重畳度評価部41は、ステップS32において算出した合計面積と、ステップS33において算出した合計面積とを比較して、小さい方の合計面積に対応するz軸周りの回転角度を選択する(ステップS34)。
【0153】
このステップS34の処理を行った場合には、図3に示した処理(上述したステップS4)にリターンする。
【0154】
なお、上述では非重畳部分の合計面積を2回算出して小さい方の合計面積に対応する回転角度を選択したが、重畳部分の面積を2回算出して大きい方の面積に対応する回転角度を選択しても構わない。そして、合計面積の例えば逆数(あるいは重畳部分の面積)は、類似度であって、重畳度を示す(つまり、合計面積が小さくなれば重畳度が大きくなる、あるいは重畳部分の面積が大きくなれば重畳度が大きくなる)。
【0155】
このような実施形態2の変形例1によれば、比較元部分形状51と比較先部分形状52の対向する端縁51c,52cを平面に投影した2つ端縁51c',52c'の形状と、2つ端縁51c',52c'で囲まれる2つ図形の重畳度とに基づき位置関係を算出することによっても、上述した実施形態1,2とほぼ同様の効果を奏することができる。
【0156】
[実施形態2の変形例2]
図24は本発明の実施形態2の変形例2を示したものであり、図24は画像処理装置5における位置関係算出処理を示すフローチャートである。
【0157】
この実施形態2の変形例2において、上述の実施形態1,2、あるいは実施形態2の変形例2と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【0158】
本変形例2では、上述した実施形態2の変形例1と同様に、比較元部分形状51と比較先部分形状52との対向する端縁が、形状的に連続性をもつように(滑らかとなるように)位置関係を算出するが、実施形態2の変形例1が平面に投影した端縁で囲まれる図形の形状と重畳面積とに基づくのに対して、本変形例2は平面に投影した端縁で囲まれる図形の重畳面積のみに基づくものとなっている。
【0159】
本変形例2の画像処理装置5の構成は、上述した実施形態2の変形例1の図21に示した構成と同様である。
【0160】
ただし、本変形例2の位置関係算出部23は、楕円近似や長軸方向の算出は行わず、角度変更部32により3次元画像データの少なくとも一方を回転させながら重畳度評価部41により重畳度を評価し、重畳度が所定の閾値以上であることを示すときの回転量に基づき位置関係を算出する。
【0161】
次に、図24を参照して、画像処理装置5における位置関係算出処理を説明する。
【0162】
図3のステップS3においてこの処理に入ると、位置関係算出部23は、ステップS21の処理を上述したように行って、比較先部分形状52を設定する。
【0163】
続いて、角度変更部32が、比較元部分形状51と比較先部分形状52との少なくとも一方、ここでは例えば比較元部分形状51を、3次元空間内においてz軸周りに所定の回転角度Δθだけ回転する(ステップS41)。
【0164】
なお、このステップS41を最初に実行したときの初期値をφとすると、このステップS41から後述するステップS44までのループを回るループ回数をnとすれば、比較元部分形状51の回転角度は、φ+Δθ×nのように順次変更されていくことになる。
【0165】
さらに、重畳度評価部41が、上述と同様に、例えば、比較先部分形状52の端縁52cに対してフィッティング(最適化)された平面52pを設定する。ただし、その他の平面を設定しても良いことは上述と同様である。そして、重畳度評価部41は、設定した平面52pに端縁51c,52cを投影して端縁51c',52c'とし、端縁51c'に囲まれた図形と、端縁52c'に囲まれた図形と、の非重畳部分の合計面積を算出する(ステップS42)。
【0166】
なお、ここでは非重畳部分の合計面積を算出して以下の処理を行うが、上述したように、重畳部分の面積を算出しても同様の処理を行うことが可能である。
【0167】
次に、重畳度評価部41は、合計面積が所定の閾値以下(つまり、重畳度が所定の閾値以上、あるいは類似度が所定の閾値以上)であるか否かを判定する(ステップS43)。
【0168】
ここで、合計面積が所定の閾値よりも大きいと判定された場合には、角度変更部32による変更角度が360度に達したか否かを位置関係算出部23が判定して(ステップS44)、達していない場合にはステップS41へ戻って角度変更部32により角度を変更し、上述したような処理を行う。
【0169】
また、ステップS44において、変更角度が360度に達したと判定された場合には、合計面積が所定の閾値以下となる角度が発見されなかったことになる。
【0170】
この場合には、算出された全ての合計面積の中で最小の合計面積(つまり、最大の類似度)が得られたときの比較元部分形状の端縁51c',比較先部分形状52の端縁52c'との位置関係、具体的にはz軸周りの位置ずれ角度φ+Δθ×nを選択すると共に、比較元展開画像51pに対応する3次元画像データである比較元部分形状51の表示色を変更して、比較先部分形状とは異なる色になるよう設定する(ステップS45)。
【0171】
このステップS45の処理を行うか、またはステップS43において合計面積が閾値以下であると判定された場合には、図3に示した処理(上述したステップS4)にリターンする。
【0172】
このような実施形態2の変形例2によれば、比較元部分形状51と比較先部分形状52の対向する端縁51c,52cを平面に投影した2つの端縁51c',52c'で囲まれる2つ図形の重畳度が所定の閾値以上であることを示すときの回転量に基づき位置関係を算出することによっても、上述した実施形態1,2とほぼ同様の効果を奏することができる。また、算出される位置関係が上述した実施形態2の変形例1よりも正確になると期待することができる。なお、図23のステップS43において、合計面積が閾値以下であると判定された場合においても、変更角度が360度に達するまで合計面積を算出しても良い。その際は、合計面積が閾値以下であると判定された変更角度を一時的に記憶しておき、変更角度が360度に達するまで合計面積を算出した後に、算出された合計面積の中で最小の合計面積が得られたときの比較元展開画像51pと比較先展開画像51p'との位置関係を選択することで、より精度の高い位置関係を算出することが可能となる。
【0173】
なお、本稿では5Dセンサを使用した実施形態について説明したが、本発明はこれに限定されるものではない。例えば6Dセンサを使用した場合、撮像方向の軸周りの回転自由度情報をさらに取得できる(従って、3次元並進自由度を記述するための3つの座標軸周りの全ての回転自由度情報を取得できる)ために、3次元形状画像生成部は異なる3次元画像データを3次元空間上に配置する処理が5Dセンサ使用時に比べて容易になる。しかしながら6Dセンサで測定した自由度情報にノイズが重畳することで、異なる3次元画像データを3次元空間上に配置した際に微小なずれが生じてしまう虞がある。このような場合にも、3次元画像データを3次元空間上に配置する処理に上述のテンプレートマッチングや評価距離に基づいた位置関係の選択を適用すれば、さらに精度の高い位置関係の算出を実現することが可能となる。
【0174】
なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。
【0175】
また、上述では主として画像処理装置、画像処理システムについて説明したが、画像処理装置または画像処理システムを上述したように作動させる作動方法であっても良いし、コンピュータに画像処理装置または画像処理システムと同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【0176】
そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0177】
本出願は、2016年3月15日に日本国に出願された特願2016−051274号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24