特許第6427280号(P6427280)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HOYA株式会社の特許一覧
特許6427280補正データ生成方法及び補正データ生成装置
<>
  • 特許6427280-補正データ生成方法及び補正データ生成装置 図000005
  • 特許6427280-補正データ生成方法及び補正データ生成装置 図000006
  • 特許6427280-補正データ生成方法及び補正データ生成装置 図000007
  • 特許6427280-補正データ生成方法及び補正データ生成装置 図000008
  • 特許6427280-補正データ生成方法及び補正データ生成装置 図000009
  • 特許6427280-補正データ生成方法及び補正データ生成装置 図000010
  • 特許6427280-補正データ生成方法及び補正データ生成装置 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6427280
(24)【登録日】2018年11月2日
(45)【発行日】2018年11月21日
(54)【発明の名称】補正データ生成方法及び補正データ生成装置
(51)【国際特許分類】
   A61B 1/00 20060101AFI20181112BHJP
   A61B 1/045 20060101ALI20181112BHJP
   G02B 23/24 20060101ALI20181112BHJP
【FI】
   A61B1/00 630
   A61B1/00 650
   A61B1/045 616
   G02B23/24 B
【請求項の数】10
【全頁数】18
(21)【出願番号】特願2017-543849(P2017-543849)
(86)(22)【出願日】2017年2月3日
(86)【国際出願番号】JP2017003945
(87)【国際公開番号】WO2017150071
(87)【国際公開日】20170908
【審査請求日】2017年8月17日
(31)【優先権主張番号】特願2016-40599(P2016-40599)
(32)【優先日】2016年3月3日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000113263
【氏名又は名称】HOYA株式会社
(74)【代理人】
【識別番号】100078880
【弁理士】
【氏名又は名称】松岡 修平
(74)【代理人】
【識別番号】100183760
【弁理士】
【氏名又は名称】山鹿 宗貴
(72)【発明者】
【氏名】池本 洋祐
(72)【発明者】
【氏名】水口 直志
(72)【発明者】
【氏名】小師 敦
(72)【発明者】
【氏名】橘 俊雄
(72)【発明者】
【氏名】人形 洋一
(72)【発明者】
【氏名】太田 紀子
【審査官】 奥田 雄介
(56)【参考文献】
【文献】 特開2016−015995(JP,A)
【文献】 特開平08−023449(JP,A)
【文献】 特開2002−142231(JP,A)
【文献】 特開平11−089789(JP,A)
【文献】 特開2015−066262(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00
A61B 1/045
(57)【特許請求の範囲】
【請求項1】
コンピュータにより実行される方法であって、
所定の疾患に関する指標を撮影した撮影画像データを取得する取得ステップと、
前記取得ステップにて取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて前記疾患と関連付けられた所定の色空間に配置する配置ステップと、
前記色空間内における前記データ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出ステップと、
前記算出ステップにて算出された補正値を記憶する記憶ステップと、
を含
前記取得ステップにて、
前記疾患について症状レベルが所定の第一のレベルであるときの生体組織の色である第一の色を持つ第一の指標を撮影した第一の撮影画像データと、該疾患について健常であるときの生体組織の色である第二の色を持つ第二の指標を撮影した第二の撮影画像データを取得し、
前記配置ステップにて、
取得された第一、第二の撮影画像データに応じた第一、第二の前記データ点をその色成分に応じて前記色空間に配置し、
前記算出ステップにて、
前記色空間内における前記第一のデータ点と所定の第一の目標点との距離及び前記第二のデータ点と所定の第二の目標点との距離に基づいて前記補正値を算出し、
前記第二の目標点は、
前記色空間において、体腔内の粘膜の色味と相関の高い軸上に位置する点である、
補正データ生成方法。
【請求項2】
ユーザによる症状レベルの指定操作を受け付けるステップと、
受け付けた症状レベルに対応する指標をユーザに報知するステップと、
を含む、
請求項に記載の補正データ生成方法。
【請求項3】
前記算出ステップにて、
前記第一のデータ点と前記第一の目標点との距離と、前記第二のデータ点と前記第二の目標点との距離との合計値を最小とするマトリックス係数を前記補正値として算出する、
請求項又は請求項に記載の補正データ生成方法。
【請求項4】
前記色空間は、
R成分の軸と、該R成分の軸と直交するG成分の軸を含む二次元色空間である、
請求項1から請求項の何れか一項に記載の補正データ生成方法。
【請求項5】
前記第一の色は、
前記疾患について症状レベルが最も高いときの生体組織の色であり、
前記第一の目標点は、
前記色空間において、ヘモグロビン色素と相関の高い軸上に位置する点である、
請求項から請求項の何れか一項に記載の補正データ生成方法。
【請求項6】
所定の疾患に関する指標を撮影した撮影画像データを取得する取得手段と、
前記取得手段によって取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて前記疾患と関連付けられた所定の色空間に配置する配置手段と、
前記色空間内における前記データ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出手段と、
前記算出手段によって算出された補正値を記憶する記憶手段と、
を備え
前記取得手段は、
前記疾患について症状レベルが所定の第一のレベルであるときの生体組織の色である第一の色を持つ第一の指標を撮影した第一の撮影画像データと、該疾患について健常であるときの生体組織の色である第二の色を持つ第二の指標を撮影した第二の撮影画像データを取得し、
前記配置手段は、
取得された第一、第二の撮影画像データに応じた第一、第二の前記データ点をその色成分に応じて前記色空間に配置し、
前記算出手段は、
前記色空間内における前記第一のデータ点と所定の第一の目標点との距離及び前記第二のデータ点と所定の第二の目標点との距離に基づいて前記補正値を算出し、
前記第二の目標点は、
前記色空間において、体腔内の粘膜の色味と相関の高い軸上に位置する点である、
補正データ生成装置。
【請求項7】
ユーザによる症状レベルの指定操作を受け付ける手段と、
受け付けた症状レベルに対応する指標をユーザに報知する手段と、
を備える、
請求項に記載の補正データ生成装置。
【請求項8】
前記算出手段は、
前記第一のデータ点と前記第一の目標点との距離と、前記第二のデータ点と前記第二の目標点との距離との合計値を最小とするマトリックス係数を前記補正値として算出する、
請求項又は請求項に記載の補正データ生成装置。
【請求項9】
前記色空間は、
R成分の軸と、該R成分の軸と直交するG成分の軸を含む二次元色空間である、
請求項から請求項の何れか一項に記載の補正データ生成装置。
【請求項10】
前記第一の目標点は、
前記色空間において、ヘモグロビン色素と相関の高い軸上に位置する点である、
請求項から請求項の何れか一項に記載の補正データ生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、補正データ生成方法及び補正データ生成装置に関する。
【背景技術】
【0002】
病変部は、一般に、正常な粘膜組織とは異なる色を呈する。近年、カラー内視鏡装置の性能の向上に伴い、正常組織に対して僅かに色の異なる病変部を術者が把握して診断することが可能になっている。しかし、術者が電子内視鏡による撮影画像上の僅かな色の違いによって正常組織から病変部を正確に把握して診断できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても、僅かな色の違いから病変部を把握して診断することは容易ではなく、慎重な作業が要求される。
【0003】
そこで、例えば特開2014−18332号公報(以下、「特許文献1」と記す。)に、術者による病変部の診断を補助するため、撮影画像に写る病変部をスコアリングする装置が記載されている。具体的には、特許文献1に記載の装置は、電子内視鏡による撮影画像を構成する各画素について、非線形な利得を画素値に与えるトーン強調処理を行って、病変部と判定される画素値の領域の境界近傍のダイナミックレンジを拡げた後、RGB3原色で定義されるRGB空間のトーン強調された画素データをHSI色空間、HSV色空間等の所定の色空間に変換して色相と彩度のデータを取得し、取得された色相と彩度のデータに基づいて病変部の画素であるか否かを判定し、判定された画素の数に基づいて評価値(病変指数)を計算する。
【発明の概要】
【0004】
電子内視鏡により取得される画素データは、そのままでは白の被写体に対してR/G/Bの各値が同値とならない。そこで、画素データに対してホワイトバランス調整が行われる。特許文献1に例示される装置では、撮影画像から取得される色データに基づいて病変指数が計算されるため、ホワイトバランス調整による撮影画像の色再現性の向上に伴い、病変指数の計算精度が向上するものと考えられる。
【0005】
しかし、同一の病変部を異なる電子内視鏡システムで撮影すると、目視では病変部が同じように写る場合であっても、病変指数等のスコア値に大きなばらつきが発生することがある。そこで、本発明者らは、鋭意検討を重ねた結果、主に電子内視鏡の光学部品(光学性能)の個体差により、ホワイトバランス調整では除去し切れない誤差(ばらつき)がスコア計算に用いられる色データに残存し、これがスコア計算の精度を劣化させる要因であるとの知見を得た。
【0006】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつきを抑えるための補正データ生成方法及び補正データ生成装置を提供することである。
【0007】
本発明の一実施形態に係る補正データ生成方法は、コンピュータにより実行される方法であり、所定の疾患に関する指標を撮影した撮影画像データを取得する取得ステップと、取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて所定の疾患と関連付けられた所定の色空間に配置する配置ステップと、所定の色空間内におけるデータ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出ステップと、算出された補正値を記憶する記憶ステップとを含む。
【0008】
また、本発明の一実施形態に係る補正データ生成方法は、取得ステップにて、所定の疾患について症状レベルが所定の第一のレベルであるときの生体組織の色である第一の色を持つ第一の指標を撮影した第一の撮影画像データと、該疾患について症状レベルが所定の第二のレベルであるときの生体組織の色である第二の色を持つ第二の指標を撮影した第二の撮影画像データを取得し、配置ステップにて、取得された第一、第二の撮影画像データに応じた第一、第二のデータ点をその色成分に応じて所定の色空間に配置し、算出ステップにて、所定の色空間内における第一のデータ点と所定の第一の目標点との距離及び第二のデータ点と所定の第二の目標点との距離に基づいて補正値を算出するものとしてもよい。
【0009】
また、本発明の一実施形態に係る補正データ生成方法は、ユーザによる症状レベルの指定操作を受け付けるステップと、受け付けた症状レベルに対応する指標をユーザに報知するステップとを含むものとしてもよい。
【0010】
また、本発明の一実施形態に係る補正データ生成方法は、算出ステップにて、第一のデータ点と第一の目標点との距離と、第二のデータ点と第二の目標点との距離との合計値を最小とするマトリックス係数を補正値として算出するものとしてもよい。
【0011】
また、本発明の一実施形態において、所定の色空間は、例えば、R成分の軸と、該R成分の軸と直交するG成分の軸を含む二次元色空間である。
【0012】
また、本発明の一実施形態において、第一の色は、例えば、疾患について症状レベルが最も高いときの生体組織の色である。この場合、第一の目標点は、所定の色空間において、ヘモグロビン色素と相関の高い軸上に位置する点である。
【0013】
また、本発明の一実施形態において、第二の色は、例えば、疾患について健常であるときの生体組織の色である。この場合、第二の目標点は、所定の色空間において、体腔内の粘膜の色味と相関の高い軸上に位置する点である。
【0014】
また、本発明の一実施形態に係る補正データ生成装置は、所定の疾患に関する指標を撮影した撮影画像データを取得する取得手段と、取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて所定の疾患と関連付けられた所定の色空間に配置する配置手段と、所定の色空間内におけるデータ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出手段と、算出された補正値を記憶する記憶手段とを備える。
【0015】
本発明の一実施形態によれば、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつきを抑えるための補正データ生成方法及び補正データ生成装置が提供される。
【図面の簡単な説明】
【0016】
図1】本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。
図2】本発明の一実施形態において特殊モード時に実行される特殊画像生成処理のフローチャートを示す図である。
図3】本発明の一実施形態において画素対応点がプロットされるRG平面を示す図である。
図4】RG平面内に設定される基準軸について説明する図である。
図5】本発明の一実施形態において特殊モード時にモニタの表示画面に表示される表示画面例を示す図である。
図6】本発明の一実施形態においてキャリブレーションモード時に実行されるキャリブレーション処理のフローチャートを示す図である。
図7図6のキャリブレーション処理の説明を補助する図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システム(コンピュータ)を例に取り説明する。
【0018】
[電子内視鏡システム1の構成]
図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、医療用に特化されたシステムであり、電子スコープ100、プロセッサ200及びモニタ300を備えている。
【0019】
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ222に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モード、特殊モード及びキャリブレーションモードがある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
【0020】
ランプ208は、ランプ電源イグナイタ206による始動後、白色光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。ランプ208より射出された白色光Lは、集光レンズ210によって集光されつつ絞り212を介して適正な光量に制限される。なお、ランプ208は、LD(Laser Diode)やLED(Light Emitting Diode)等の半導体発光素子に置き換えてもよい。半導体発光素子に関しては、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることは、後述する炎症評価値の精度を向上させることにつながる。半導体発光素子は、プロセッサ200に限らず、電子スコープ100に内蔵されてもよい。一例として、半導体発光素子は、電子スコープ100の先端部内に備えられてもよい。
【0021】
絞り212には、図示省略されたアームやギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214により動作され開度が変えられる。ランプ208より照射された白色光Lの光量は、絞り212の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル218の輝度調節操作に応じて設定変更される。なお、ドライバ216を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
【0022】
絞り212を通過した白色光Lは、LCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。入射端面よりLCB102内に入射された白色光Lは、LCB102内を伝播する。
【0023】
LCB102内を伝播した白色光Lは、電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して生体組織を照射する。白色光Lにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
【0024】
固体撮像素子108は、補色市松フィルタを搭載した単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローYe、シアンCy、グリーンG、マゼンタMgの画素データを生成して出力する。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子108はまた、原色系フィルタ(ベイヤ配列フィルタ)を搭載したものであってもよい。
【0025】
電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112には、白色光Lにより照射された生体組織を撮像した各画素の画素データが固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素データをプロセッサ200の信号処理回路220に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、1/30秒、1/60秒である。
【0026】
ドライバ信号処理回路112はまた、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
【0027】
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
【0028】
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【0029】
[通常モード時の動作]
通常モード時のプロセッサ200での信号処理動作を説明する。
【0030】
プロセッサ200に備えられる信号処理回路220は、プリプロセス回路220A、プロセス回路220B、出力回路220C、補正回路220D、スコアリング回路220E、マッピング回路220Fを有している。
【0031】
プリプロセス回路220Aは、ドライバ信号処理回路112よりフレーム周期で入力されるRAW形式の画素データにデモザイク処理を施してRGB形式の画素データに変換し、カラーマトリックス処理、ホワイトバランス調整、Hueゲイン調整等を施してプロセス回路220Bに出力する。
【0032】
プロセス回路220Bは、プリプロセス回路220Aより入力される画素データにエンハンス処理、ガンマ補正等を施して通常のカラー画像データを生成し、出力回路220Cに出力する。
【0033】
出力回路220Cは、プロセス回路220Bより入力されるカラー画像データに対してY/C分離、色差補正等の処理を施して所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、生体組織の通常のカラー画像がモニタ300の表示画面に表示される。
【0034】
[特殊モード時の動作]
次に、特殊モード時のプロセッサ200での信号処理動作を説明する。図2に、特殊モード時に実行される特殊画像生成処理のフローチャートを示す。図2の特殊画像生成処理は、電子内視鏡システム1の動作モードが特殊モードに切り替えられた時点で開始される。
【0035】
図2のS11(現フレームの画素データの入力)]
本処理ステップS11では、現フレームの各画素の画素データがプリプロセス回路220Aに入力される。各画素の画素データは、プリプロセス回路220Aによる信号処理後、プロセス回路220B及び補正回路220Dに入力される。
【0036】
図2のS12(RG平面へのプロット)]
図3に、補正回路220Dの動作を概念的に説明するための図であって、互いに直交するR軸とG軸とによって定義されるRG平面(二次元色空間)を示す。なお、R軸は、R成分(Rの画素値)の軸であり、G軸は、G成分(Gの画素値)の軸である。
【0037】
本処理ステップS12では、RGB3原色で定義されるRGB空間の各画素の画素データ(3種類の色成分よりなる三次元の画素データ)がRGの画素データ(2種類の色成分よりなる二次元の画素データ)に変換(正射影変換)される。概念的には、図3に示されるように、RGB色空間の各画素の画素データが、R、Gの画素値に応じてRG平面内にプロットされる。以下、説明の便宜上、RG平面内にプロットされた画素データの点を「画素対応点」と記す。なお、図3においては、図面を明瞭化する便宜上、全ての画素の画素対応点を示すのではなく一部の画素の画素対応点のみ示している。
【0038】
このように、本処理ステップS12では、RGB空間の画素データ(三次元データ)がRG平面に正射影され、該画素データに対応するRGB空間内の点からRG平面に下された垂線の足が画素対応点(二次元データ)となる。
【0039】
図2のS13(基準軸の設定)]
本処理ステップS13では、補正回路220Dにより、胃炎等の所定の疾患の炎症強度を計算するために必要なRG平面内の基準軸が設定される。図4に、基準軸の説明を補助する図を示す。
【0040】
撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりR成分が他の成分(G成分及びB成分)に対して支配的であり、典型的には、炎症が強いほど赤味(R成分)が他の色味(G成分及びB成分)に対して強くなる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件(例えば白色光Lの当たり具合)に応じて色味が変化する。例示的には、白色光Lの届かない陰影部分は黒(無彩色であり、例えば、R、G、Bがゼロ又はゼロに近い値)となり、白色光Lが強く当たって正反射する部分は白(無彩色であり、例えば、R、G、Bが255又は255に近い値)となる。すなわち、炎症が起こっている同じ異常部位を撮影した場合であっても、白色光Lが強く当たるほどその異常部位画像の画素値が大きくなる。そのため、白色光Lの当たり具合によっては、画素値が炎症の強さと相関の無い値を取ることがある。
【0041】
一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。病変部等の異常部位では炎症が強いほど粘膜が薄くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色味(黄色の色味)が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。
【0042】
そこで、本処理ステップS13では、図4に示されるように、RG平面内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。
【0043】
図4に示されるプロットは、本発明者が体腔内の多数のサンプル画像を解析した結果得たものである。解析に用いられるサンプル画像には、症状レベルの最も高い炎症画像例(最も重症なレベルの炎症画像例)や、症状レベルの最も低い炎症画像例(実質的に正常部位であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図4の例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図4に示されるプロットの数よりも遥かに多い。
【0044】
上述したように、炎症が強い異常部位ほどR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図4の例では、(50,0)及び(255,76)を通る境界線上の軸が、症状レベルの最も高い病変部(症状レベルの最も高い炎症(異常)部位)と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件(例えば白色光Lの当たり具合)で撮影された症状レベルの最も高い炎症部位に対応するプロットが重畳される。
【0045】
一方、正常部位に近いほどG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図4の例では、(0,0)及び(255,192)を通る境界線上の軸が、症状レベルの最も低い病変部(症状レベルの最も低い炎症(異常)部位であって、実質的に正常(健常)部位であるとみなされるもの)と相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件(例えば白色光Lの当たり具合)で撮影された症状レベルの最も低い炎症部位(実質的に正常部位とみなされるもの)に対応するプロットが重畳される。
【0046】
補足すると、症状レベルの最も高い炎症部位は、出血を伴う。一方、症状レベルの最も低い炎症部位は、実質正常部位であるから、十分な粘膜で覆われている。そのため、図4に示されるRG平面内のプロットは、血液(ヘモグロビン色素)と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、症状レベルの最も高い炎症部位を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、症状レベルの最も低い炎症部位を示す軸(粘膜変化軸AX2)に相当する。
【0047】
図2のS14(注目画素の選択)]
本処理ステップS14では、補正回路220Dにより、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
【0048】
図2のS15(画素データの補正)]
補正回路220Dには、後述のキャリブレーションモード時に算出された補正マトリックス係数が記憶されている。本処理ステップS15では、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつき(言い換えると、電子スコープの個体差)を抑えるため、補正回路220Dにより、処理ステップS14(注目画素の選択)にて選択された注目画素の画素データ(R,G)が補正マトリックス係数を用いて補正される。なお、補正マトリックス係数については、後述の[キャリブレーションモード時の動作]において詳細に説明する。
【0049】
・補正マトリックス例
new :補正後の注目画素の画素データ(R成分)
new :補正後の注目画素の画素データ(G成分)
11〜M22:補正マトリックス係数
R :補正前の注目画素の画素データ(R成分)
G :補正前の注目画素の画素データ(G成分)
【0050】
図2のS16(角度の算出)]
補正回路220Dにおいて現フレームの全ての画素に対して処理ステップS14(注目画素の選択)及びS15(画素データの補正)が実行されると、スコアリング回路220Eにより、処理ステップS15(画素データの補正)にて補正された各画素の画素データ(Rnew,Gnew)について、炎症強度を計算するための角度が算出される。具体的には、本処理ステップS16では、各画素について、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点(基準点)O’と画素対応点(Rnew,Gnew)とを結ぶ線分Lと、ヘモグロビン変化軸AX1とがなす角度θ(図3参照)が算出される。なお、基準点O’は、座標(−150,−75)に位置する。
【0051】
図2のS17(正規化処理)]
体腔内の撮影画像の明るさが白色光Lの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG平面内において、概ね、症状レベルの最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、症状レベルの最も低い炎症部位では粘膜変化軸AX2上に沿って変化する。また、中間の症状レベルの炎症部位の撮影画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、角度θが一定のまま移動して基準点O’との距離が変わる。これは、角度θが撮影画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
【0052】
角度θが小さいほどR成分がG成分に対して強くなり、炎症部位の症状レベルが高いことを示す。また、角度θが大きいほどG成分がR成分に対して強くなり、炎症部位の症状レベルが低いことを示す。
【0053】
そこで、本処理ステップS17では、スコアリング回路220Eにより、角度θがゼロであるときに値255となり、角度θがθMAXであるときに値ゼロとなるように、現フレームの全ての画素について角度θが正規化される。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。これにより、0〜255の範囲に収まる炎症強度(8bitの情報)が得られる。
【0054】
図2のS18(炎症評価値の計算)]
本処理ステップS18では、スコアリング回路220Eにより、現フレームの全ての画素の炎症強度を平均化した平均値(又は全ての画素の炎症強度の積算値)が撮影画像全体の炎症評価値として計算されると共に、計算した炎症評価値の表示データ(表示データ例:Score:○○)が生成される。
【0055】
図2のS19(カラーマップ画像上での表示色の決定)]
本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがスコアリング回路220Eの所定の記憶領域に記憶されている。本テーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が0〜5の範囲では黄色が対応付けられており、該値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が250〜255の範囲では赤色が対応付けられている。
【0056】
本処理ステップS19では、マッピング回路220Fにより、現フレームの各画素の、カラーマップ画像上での表示色が、上記テーブルに基づいて、処理ステップS17(正規化処理)にて得た炎症強度の値に応じた色に決定される。
【0057】
図2のS20(カラーマップ画像データの生成)]
本処理ステップS20では、マッピング回路220Fにより、現フレームの各画素の色データが、処理ステップS19(カラーマップ画像上での表示色の決定)にて決定された表示色のデータに変換され、変換された表示色で表示される画素よりなるカラーマップ画像データが生成される。
【0058】
図2のS21(オーバレイ処理)]
本処理ステップS21では、出力回路220Cにより、プロセス回路220Bより入力される通常のカラー画像データに基づく通常のカラー画像と、処理ステップS20(カラーマップ画像データの生成)にて生成されたカラーマップ画像データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画像データ(通常のカラー画像データ)と後者の画像データ(カラーマップ画像データ)とが加算される。
【0059】
なお、係数の設定は、ユーザ操作により適宜設定変更することが可能である。例えば、通常のカラー画像の方を濃く表示したい場合は、カラー画像データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ画像データの係数が高く設定される。
【0060】
図2のS22(終了判定)]
本処理ステップS22では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S22:NO)、図2の特殊画像生成処理は、処理ステップS11(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S22:YES)、図2の特殊画像生成処理は終了する。
【0061】
[画面表示例]
出力回路220Cは、図2の処理ステップS21(オーバレイ処理)にて加算処理された画像データに基づいて通常のカラー画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ300の表示画面の周辺領域(画像表示領域の周囲)をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。出力回路220Cは、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ300に出力する。
【0062】
図5に、特殊モード時の画面表示例を示す。図5に例示されるように、モニタ300の表示画面には、その中央領域に体腔内の撮影画像(通常画像とカラーマップ画像とがオーバレイ表示されたオーバレイ画像)が表示されると共に画像表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には、炎症評価値(スコア)が表示される。
【0063】
なお、特殊モード時の撮影画像の表示形態は、通常のカラー画像とカラーマップ画像とをオーバレイ表示したものに限らない。例えば、通常のカラー画像とカラーマップ画像を一画面内に並べて表示したり、カラーマップ画像のみを表示したりする表示形態が挙げられる。前者の場合、通常のカラー画像とカラーマップ画像の両方を同一のサイズで表示してもよいし、通常のカラー画像とカラーマップ画像の一方をメイン画像として表示すると共に他方をメイン画像より小さいサブ画像として表示してもよい。
【0064】
このように、本実施形態によれば、トーン強調処理等の非線形な計算処理や複雑な色空間変換処理等を行うことなく単純な計算処理を行うだけで、炎症評価値(ここでは撮影部位のヘモグロビン色素の増減に相関のある値)が求まる。すなわち、炎症評価値の計算に必要なハードウェアリソースが大幅に抑えられる。また、体腔内の撮影画像の明るさに影響する撮影条件(例えば照射光の当たり具合等)によって炎症評価値が実質的に変動しないため、術者は、炎症についてより客観的で正確な判断を下すことが可能となる。
【0065】
[キャリブレーションモード時の動作]
次に、キャリブレーションモード時の電子内視鏡システム1の動作について説明する。図6に、キャリブレーションモード時に実行されるキャリブレーション処理のフローチャートを示す。また、図7に、図6のキャリブレーション処理の説明を補助する図を示す。図6のキャリブレーション処理は、例えば工場出荷時に実行されるものであり、電子内視鏡システム1の動作モードがキャリブレーションモードに切り替えられた時点で開始される。
【0066】
なお、キャリブレーション処理の実行に先立ち、作業者による準備作業が行われる。具体的には、作業者は、グレーカード等を用いて電子内視鏡システム1のホワイトバランスを調整する。
【0067】
作業者は、ホワイトバランスの調整が完了すると、電子内視鏡システム1をキャリブレーション用治具にセットすると共に、プロセッサ200に接続された端末(PC)上でキャリブレーション用ソフトウェアを起動させる。
【0068】
作業者は、次いで、電子スコープ100による撮影画像の輝度調整を行う。例示的には、作業者は、輝度調整用の被写体を撮影したときの撮影画像の輝度値が目標輝度値に収まるように、絞り212の開度をマニュアル調整する。なお、撮影画像の輝度値は、キャリブレーション用ソフトウェア上で確認することができる。
【0069】
作業者は、撮影画像の輝度調整が完了すると、第一の指標をキャリブレーション用治具にセットすることにより、電子スコープ100の画角内に第一の指標を固定配置する。ここで、第一の指標は、所定の疾患について症状レベルが最も高いときの生体組織の色である第一の色を持つ指標である。本実施形態において、第一の指標は、RG平面内のヘモグロビン変化軸AX1上の所定点(後述の第一の目標点PT1)に対応する色が塗布された板状部材である。
【0070】
図6のS31(第一の指標の撮影)]
本処理ステップS31では、作業者による操作入力に従い、第一の指標(第一の色が塗布された面)が電子スコープ100によって撮影され、その撮影画像データ(RAW形式やYUV形式等)がPCに入力される。
【0071】
図6のS32(第二の指標の撮影)]
作業者は、第一の指標に代えて第二の指標をキャリブレーション用治具にセットすることにより、電子スコープ100の画角内に第二の指標を固定配置する。ここで、第二の指標は、所定の疾患について健常であるときの生体組織の色である第二の色を持つ指標である。本実施形態において、第二の指標は、RG平面内の粘膜変化軸AX2上の所定点(後述の第二の目標点PT2)に対応する色が塗布された板状部材である。
【0072】
本処理ステップS32では、作業者による操作入力に従い、第二の指標(第二の色が塗布された面)が電子スコープ100によって撮影され、その撮影画像データ(RAW形式やYUV形式等)がPCに入力される。作業者は、キャリブレーション用治具を使用することにより、第一の指標と第二の指標を同一の条件で撮影することができる。処理ステップS31(第一の指標の撮影)及び本処理ステップS32の実行により、所定の疾患に関する指標を撮影した撮影画像データが取得される。
【0073】
図6のS33(第一の実撮影データ点PD1の算出)]
作業者による操作入力に従い又は指定枚数(ここでは二枚)の撮影後自動的に、本処理ステップS33の実行が開始される。
【0074】
本処理ステップS33では、キャリブレーション用ソフトウェアにより、処理ステップS31(第一の指標の撮影)にて撮影された第一の指標の撮影画像データから、第一の指標の実測値として第一の実撮影データ点PD1が算出される。例示的には、第一の指標の画像内の中央領域の画素(例えば200×200画素)の平均値が第一の実撮影データ点PD1として算出される。
【0075】
図6のS34(第二の実撮影データ点PD2の算出)]
本処理ステップS34では、キャリブレーション用ソフトウェアにより、処理ステップS32(第二の指標の撮影)にて撮影された第二の指標の撮影画像データから、第二の指標の実測値として第二の実撮影データ点PD2が算出される。例示的には、第一の実撮影データ点と同様に、第二の指標の画像内の中央領域の画素(例えば200×200画素)の平均値が第二の実撮影データ点PD2として算出される。
【0076】
図6のS35(RG平面への実撮影データ点の配置)]
本処理ステップS35では、キャリブレーション用ソフトウェアにより、図7に示されるように、第一の実撮影データ点PD1及び第二の実撮影データ点PD2が、ここでの対象疾患(胃炎等)と関連付けられたRG平面に配置される。本処理ステップS35の実行により、各実撮影データ点がその色成分に応じて所定の疾患と関連付けられた所定の色空間に配置される。
【0077】
図6のS36(補正マトリックス係数の算出)]
図7に示されるように、ヘモグロビン変化軸AX1上には第一の実撮影データ点PD1に対応する第一の目標点PT1が設定され、粘膜変化軸AX2上には第二の実撮影データ点PD2に対応する第二の目標点PT2が設定されている。第一の目標点PT1は、第一の指標が持つ第一の色に対応し、第二の目標点PT2は、第二の指標が持つ第二の色に対応する。
【0078】
本処理ステップS36では、キャリブレーション用ソフトウェアにより、第一の実撮影データ点PD1と第一の目標点PT1との距離(第一の距離Δ1)と、第二の実撮影データ点PD2と第二の目標点PT2との距離(第二の距離Δ2)との合計値を最小とする補正マトリックス係数が最小二乗法等を用いて算出される。本処理ステップS36の実行により、色空間内における実撮影データ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値が算出される。
【0079】
また、補正マトリックス係数は、次式を用いて算出されてもよい。
・補正マトリックス係数の算出例
11〜M22 :補正マトリックス係数
REF11、REF21:第一の目標点PT1
REF12、REF22:第二の目標点PT2
MEA11、MEA21:第一の実撮影データ点PD1
MEA12、MEA22:第二の実撮影データ点PD2
【0080】
上記の式は、次に示されるように、計測値(実撮影データ点)に補正マトリックスを掛けて補正目標(目標点)へと補正する式を変形することによって導出される。
【0081】
図6のS37(補正マトリックス係数の保存)]
本処理ステップS37では、処理ステップS36(補正マトリックス係数の算出)にて算出された補正マトリックス係数がプロセッサ200の補正回路220Dに保存(記憶)される。これにより、図6に示されるキャリブレーション処理が完了する。
【0082】
各電子内視鏡システムに対してキャリブレーション処理を実行することにより、対象疾患(胃炎等)に関連する第一の指標や第二の指標を各電子内視鏡システムで撮影したときに略同じ値(何れの電子内視鏡システムにおいても第一の目標点PT1や第二の目標点PT2に近似する値)が得られるため、最終的に計算される炎症評価値も略等しい値となる。そのため、対象疾患(胃炎等)を各電子内視鏡システムで実際に撮影した場合にも炎症評価値のばらつきが抑えられることが判る。
【0083】
すなわち、本実施形態によれば、補正対象を限定する(具体的には、対象疾患に関連する特定の色を補正対象とする)ことにより、対象疾患の評価値計算に用いられる色データに残存する誤差(主に電子スコープ100の光学部品の個体差によるばらつき)が良好に除去される。これにより、評価値の計算精度が向上する。
【0084】
また、本実施形態に係る電子内視鏡システムは、当技術分野における次のような効果及び課題の解決をもたらすものである。
【0085】
第1に、本実施形態に係る電子内視鏡システムは、炎症性疾患を早期に発見するための診断補助となるということである。
【0086】
第2に、本実施形態の構成によれば、視認し難い軽度炎症を術者が発見できるように、炎症程度を画面表示する、又は、炎症が生じている領域の画像を強調することができる。特に、軽度炎症は正常部との判別が難しいため、軽度炎症の評価に関して本実施形態の構成によりもたらされる効果が顕著となる。
【0087】
第3に、本実施形態の構成によれば、炎症度の評価として客観的な評価値を術者に提供することができるため、術者間の診断差を低減することができる。特に、経験の浅い術者に対して本実施形態の構成による客観的な評価値を提供できるメリットは大きい。
【0088】
第4に、本実施形態の構成によれば、画像処理の負荷が軽減されることにより、炎症部を画像としてリアルタイムに表示することができる。そのため、診断精度を向上させることができる。
【0089】
第5に、本実施形態の構成によれば、評価値計算の処理負荷が軽減されるため、遅滞なくカラーマップ画像(炎症度を示した画像)と通常画像とを並べて、又は、合成して表示することができる。そのため、検査時間の延長を伴うことなくカラーマップ画像を表示することが可能となり、ひいては、患者負担が増すことを回避することが可能となる。
【0090】
本実施形態における観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。本実施形態に係る電子内視鏡システムは、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、具体的には、次のような理由による。
【0091】
大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きいということである。特に、潰瘍性大腸炎に代表される炎症性腸疾患(IBD)の指標として、本実施形態による炎症評価値は有効である。潰瘍性大腸炎は治療法が確立されていないため、本実施形態の構成の電子内視鏡システムの使用により早期に発見して進行を抑える効果は非常に大きい。
【0092】
大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。本実施形態の構成によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができる。従って、本実施形態に係る電子内視鏡システムを大腸の観察に適用すると、本実施形態による効果が顕著となる。すなわち、本実施形態に係る電子内視鏡システムは、呼吸器用電子内視鏡システム又は消化器用電子内視鏡システムであることが好ましく、大腸用電子内視鏡システムであることがより好ましい。
【0093】
また、軽度の炎症は一般に診断が難しいが、本実施形態の構成によれば、例えば、炎症度を評価した結果を画面に表示することで、術者が軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、術者間の個人差を大きくする要因となっている。この点に関しても、本実施形態の構成によれば、客観的な評価値を術者に提供できるため、個人差による診断のばらつきを低減することができる。
【0094】
なお、本実施形態の上記構成は、炎症度のみでなく、ガン、ポリープその他の色変化を伴う各種病変の評価値の算出に適用することができ、それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、本実施形態の評価値は、色変化を伴う病変の評価値であることが好ましく、炎症度、ガン、ポリープの少なくとも何れかの評価値を含む。
【0095】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【0096】
上記の実施形態では、作業者により、第一の指標として、第一の色(所定の疾患について症状レベルが最も高いときの生体組織の色)を持つものが選択され、第二の指標として、第二の色(所定の疾患について健常であるときの生体組織の色)を持つものが選択されている。そのため、上記の実施形態では、色空間内において第一の色や第二の色(すなわち補正対象)に距離が近い色ほど高い精度でキャリブレーションされている。言い換えると、色空間内において、補正対象から距離が遠い色(例えば水色のような、炎症ではあり得ない色)ほどキャリブレーションの精度が低い。
【0097】
従って、作業者は、キャリブレーション用治具にセットする指標について、電子内視鏡システム1を用いて特に高い精度でスコアリングしたい症状レベルに対応するものを選択するとよい。例えば、軽度炎症を高い精度でスコアリングしたい場合、術者は、第一の指標として、軽度の炎症が起こったときの生体組織の色を持つものを選択するとよい。
【0098】
なお、指標が細分化されて用意されるほど、術者がその中から適切な指標を選択することが難しい。そこで、システムコントローラ202は、接続された周辺機器(キーボード等)を介して、作業者による症状レベルを指定する操作を受け付けると、指定された症状レベルに対応する指標をモニタ300の表示画面に表示したり音声再生で通知したりする(すなわち、ユーザに報知する)ことができる。これにより、術者は、複数の指標の中から適切な指標を確実に選択することができる。
【0099】
また、上記の実施形態では、各画素に含まれるR成分とG成分(RGの二次元色空間)を用いて炎症評価値が計算されているが、別の実施形態では、RGの二次元色空間に代えて、RBの二次元色空間やHSI、HSV、Lab等の三次元色空間を用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患(胃の委縮や大腸腫瘍等)に関する評価値を計算することもできる。この場合、上記の実施形態とは異なる指標及び目標点を用いて補正マトリックス係数が算出される。
【0100】
プロセッサ200の補正回路220Dには、各種対象疾患に対応する複数種類の補正マトリックス係数が保存されてもよい。診断対象の疾患に応じて補正マトリックス係数が切り替わることにより、それぞれの対象疾患で安定した(個体差によるばらつきの少ない)評価値計算が行われる。
図1
図2
図3
図4
図5
図6
図7