特許第6059271号(P6059271)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サイバネットシステム株式会社の特許一覧
<>
  • 特許6059271-画像処理装置及び画像処理方法 図000002
  • 特許6059271-画像処理装置及び画像処理方法 図000003
  • 特許6059271-画像処理装置及び画像処理方法 図000004
  • 特許6059271-画像処理装置及び画像処理方法 図000005
  • 特許6059271-画像処理装置及び画像処理方法 図000006
  • 特許6059271-画像処理装置及び画像処理方法 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6059271
(24)【登録日】2016年12月16日
(45)【発行日】2017年1月11日
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
   A61B 1/00 20060101AFI20161226BHJP
   G01N 33/48 20060101ALI20161226BHJP
   G01N 33/483 20060101ALI20161226BHJP
   G02B 23/24 20060101ALI20161226BHJP
【FI】
   A61B1/00 300D
   A61B1/00 300Y
   G01N33/48 M
   G01N33/483 C
   G02B23/24 B
【請求項の数】8
【全頁数】9
(21)【出願番号】特願2015-36771(P2015-36771)
(22)【出願日】2015年2月26日
(65)【公開番号】特開2016-154810(P2016-154810A)
(43)【公開日】2016年9月1日
【審査請求日】2015年5月28日
【審判番号】不服-3604(P-3604/J1)
【審判請求日】2016年3月8日
【早期審査対象出願】
(73)【特許権者】
【識別番号】502457249
【氏名又は名称】サイバネットシステム株式会社
【住所又は居所】東京都千代田区神田練塀町三番地 富士ソフトビル
(73)【特許権者】
【識別番号】592019213
【氏名又は名称】学校法人昭和大学
【住所又は居所】東京都品川区旗の台1丁目5番8号
(74)【代理人】
【識別番号】100119677
【弁理士】
【氏名又は名称】岡田 賢治
(74)【代理人】
【識別番号】100115794
【弁理士】
【氏名又は名称】今下 勝博
(72)【発明者】
【氏名】脇坂 隆史
【住所又は居所】東京都千代田区神田練塀町3番地 サイバネットシステム株式会社内
(72)【発明者】
【氏名】森 悠一
【住所又は居所】横浜市都筑区茅ヶ崎中央35−1 学校法人昭和大学 横浜市北部病院 消化器センター内
(72)【発明者】
【氏名】工藤 進英
【住所又は居所】横浜市都筑区茅ヶ崎中央35−1 学校法人昭和大学 横浜市北部病院 消化器センター内
(72)【発明者】
【氏名】三澤 将史
【住所又は居所】横浜市都筑区茅ヶ崎中央35−1 学校法人昭和大学 横浜市北部病院 消化器センター内
【合議体】
【審判長】 郡山 順
【審判官】 藤田 年彦
【審判官】 ▲高▼橋 祐介
(56)【参考文献】
【文献】 特表2003−510112(JP,A)
【文献】 特開2006−320367(JP,A)
【文献】 特開2004−317437(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
内視鏡を介して光を照射した消化管の粘膜の細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する機能と、
前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う機能と、
前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、非腫瘍、腺腫、癌及びSSA/P(sessile serrated adenoma/polyp)のいずれであるのかの識別を行い、非腫瘍、腺腫、癌及びSSA/Pのうちのいずれかを診断結果として出力する機能と、
を備える画像処理装置。
【請求項2】
前記内視鏡画像は、光学顕微鏡を搭載した内視鏡を用いて細胞を拡大撮像して得られた画像である、
請求項1に記載の画像処理装置。
【請求項3】
前記内視鏡画像は、共焦点内視鏡を用いて細胞を拡大撮像して得られた画像である、
請求項1に記載の画像処理装置。
【請求項4】
前記内視鏡画像は、染色された細胞を拡大撮像して得られた画像である、
請求項1から3のいずれかに記載の画像処理装置。
【請求項5】
画像処理装置が、内視鏡を介して光を照射した消化管の粘膜の細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する手順と、
画像処理装置が、前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う手順と、
画像処理装置が、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、非腫瘍、腺腫、癌及びSSA/P(sessile serrated adenoma/polyp)のいずれであるのかの識別を行い、非腫瘍、腺腫、癌及びSSA/Pのうちのいずれかを診断結果として出力する手順と、
を行う画像処理方法。
【請求項6】
前記内視鏡画像は、光学顕微鏡を搭載した内視鏡を用いて細胞を拡大撮像して得られた画像である、
請求項5に記載の画像処理方法。
【請求項7】
前記内視鏡画像は、共焦点内視鏡を用いて細胞を拡大撮像して得られた画像である、
請求項5に記載の画像処理方法。
【請求項8】
前記内視鏡画像は、染色された細胞を拡大撮像して得られた画像である、
請求項5から7のいずれかに記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
画像処理を行うことによって、病理診断を行う発明が提案されている(例えば、特許文献1〜3参照。)。しかし、食道、胃、小腸、大腸などの消化管の病理診断は、専門的な知識と経験を要するため、消化管の一部組織を切除し、体外にて顕微鏡による診断を行っている。
【0003】
一方で、近年、超拡大機能(380倍〜450倍)の高倍率機能により、リアルタイムに体内(消化管内)で病理組織を予測できる内視鏡endocytoscopyが開発されており、病理診断の代替になることが期待されているが、画像解読に専門的トレーニングが必要である。(非特許文献1)。そのため、先行研究によりendocytoscopy画像に対するコンピュータ診断支援システムが開発され(非特許文献2)、非腫瘍・腺腫・癌の鑑別に有用性があることがわかった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−153742号公報
【特許文献2】WO2012/011579号公報
【特許文献3】WO2012/157201号公報
【非特許文献】
【0005】
【非特許文献1】Kudo S, Wakamura K, Ikehara N, Mori Y, Inoue H, Hamatani S. Diagnosis of colorectal lesions with a novel endocytoscopic classification−a pilot study−. Endoscopy 2011;43:869−875
【非特許文献2】Mori Y,Kudo SE,Wakamura K,“Novel computer−aided diagnostic system for colorectal lesions by using endocytoscopy (with videos).”,Gastrointestinal Endosc. 2014 Epub
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の課題は、sessile serrated adenoma/polyp (SSA/P)という病変の診断をコンピュータ診断支援システムを用いて客観的に行うことである。SSA/Pはこれまで非腫瘍に分類されてきたが、近年腫瘍になる可能性のあるということがわかってきた重要病変である。SSA/Pは、細胞核の形状は非腫瘍のものと同じであるため、これまでの細胞核の形状のみに基づいた既存のコンピュータ診断支援システム(非特許文献2)では、非腫瘍であるのか、SSA/Pであるのかを判断することはできなかった。
【0007】
本発明は、専門的な知識と経験を有する者でなくとも、非腫瘍、腺腫、癌及びSSA/Pのうちのいずれであるのかを判断可能にすることを目的とする。また、腺腫・癌の診断についても、より精度の高い診断を取得することを目的とする。
【課題を解決するための手段】
【0008】
発明者らは、内視鏡画像に含まれるすべての細胞核の特徴解析の結果と、同じ内視鏡画像から得られるテクスチャ解析の結果と、をパラメータに用いた分類を行うことで、非腫瘍、腺腫及び癌の診断精度が向上し、さらにSSA/Pが分類可能になることを発見した。
【0009】
具体的には、本発明に係る画像処理装置は、内視鏡を介して光を照射した消化管の粘膜の細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する機能と、前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う機能と、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、非腫瘍、腺腫、癌及びSSA/Pのいずれであるのかの識別を行い、非腫瘍、腺腫、癌及びSSA/Pのうちのいずれかを診断結果として出力する機能と、を備える。
【0010】
具体的には、本発明に係る画像処理方法は、画像処理装置が、内視鏡を介して光を照射した消化管の粘膜の細胞を拡大撮像して得られた内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する手順と、画像処理装置が、前記内視鏡画像の全体の濃淡について、テクスチャ解析を行う手順と、画像処理装置が、前記細胞核の特徴及び前記テクスチャ解析の結果を用いて、非腫瘍、腺腫、癌及びSSA/Pのいずれであるのかの識別を行い、非腫瘍、腺腫、癌及びSSA/Pのうちのいずれかを診断結果として出力する手順と、を行う。
【0011】
前記内視鏡画像は、光学顕微鏡を搭載した内視鏡を用いて細胞を拡大撮像して得られた画像であってもよい。
【0012】
前記内視鏡画像は、共焦点内視鏡を用いて細胞を拡大撮像して得られた画像であってもよい。
【0013】
前記内視鏡画像は、染色された細胞を拡大撮像して得られた画像であってもよい。
【発明の効果】
【0014】
本発明によれば、専門的な知識と経験を有する者でなくとも、非腫瘍、腺腫、癌及びSSA/Pのうちのいずれであるのかを判断可能にすることができる。また、腺腫・癌の診断についても既存の診断支援システムに比べ高い精度で診断が可能となる。
【図面の簡単な説明】
【0015】
図1】本実施形態に係る画像処理方法の一例を示す。
図2】本実施形態に係る内視鏡画像の一例を示す。
図3】抽出した細胞核の形状の一例を示す。
図4】テクスチャ解析を行う画素の一例を示す。
図5】テクスチャ解析の一例を示す。
図6】テクスチャ解析の結果の一例を示す。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【0017】
図1に、本実施形態に係る画像処理方法の一例を示す。本実施形態に係る画像処理方法は、画像処理装置が、特徴量算出手順S101と、識別手順S102と、診断結果出力手順S103と、を順に実行する。本実施形態に係る画像処理装置は、CPU(Central Processing Unit)と、メモリと、を備えるコンピュータである。本実施形態に係る画像処理装置は、メモリに記憶されたコンピュータプログラムを実行することで、各手順を行う。コンピュータプログラムは、コンピュータから読み出し可能な任意の記録媒体に記憶され得る。
【0018】
特徴量算出手順S101では、画像処理装置が、細胞核計測手順及びテクスチャ解析手順を実行し、内視鏡画像に含まれる細胞核の特徴を算出する。細胞核計測手順では、内視鏡画像に含まれる細胞核を抽出し、抽出したすべての細胞核について、細胞核の特徴を計測する。テクスチャ解析手順では、内視鏡画像の全体について、テクスチャ解析を行う。
識別手順S102では、画像処理装置が、特徴量算出手順S101で得られた特徴量を用いて、病理診断に対応した分類を行う。
診断結果出力手順S103では、画像処理装置が、識別手順S102の分類結果を出力する。
【0019】
本発明では、内視鏡を介して光を照射した細胞を拡大撮像して得られた内視鏡画像を用いる。拡大撮像して得られた内視鏡画像は、細胞核の形状が特定可能な画像であり、例えば、endocytoscopy系又は共焦点系の内視鏡を用いて拡大撮像された画像を用いることができる。共焦点系は、対物レンズの焦点位置と共役な位置(像位置)に開口を配置したものである。本実施形態では、内視鏡に光学顕微鏡を搭載したendocytoscopyを用いることが好ましく、これにより共焦点系に比べて鮮明なカラー画像を取得することができる。
【0020】
内視鏡画像は、染色された細胞を拡大撮像して得られた画像であることが好ましい。染色液は、組織像の獲得が可能でありかつ安全性が高いものが好ましく、例えば、メチレンブルー(3,7−ビス(ジメチルアミノ)フェノチアジニウムクロリド)若しくはクリスタルバイオレット([4‐{ビス(4‐ジメチルアミノフェニル)メチレン}‐2,5‐シクロヘキサジエン‐1‐イリデン]ジメチルアンモニウムクロリド)又はこれらの組み合わせを用いることができる。特にこれらの2重染色により、細胞核は青色に細胞質はピンク色に染め分けられるため、安全性を維持しつつ鮮明な組織像を獲得することが可能となる。
【0021】
図2に、本実施形態に係る内視鏡画像の一例を示す。内視鏡画像には、複数の細胞核が含まれる。本実施形態に係る発明は、内視鏡画像の全体を用いるため、病理診断に有用な領域を切り出すことが好ましい。
【0022】
また、本実施形態における内視鏡画像は、病理診断を行いたい組織を拡大したものの画像である。拡大の倍率は、細胞核の形状を測定可能な任意の倍率であり、例えば、380倍である。内視鏡画像の組織は、生体の一部を切除したものの画像であってもよいし、生体の表面を撮影したものの画像であってもよい。生体の表面は、例えば、内視鏡で観測可能な任意の部位であり、例えば、口腔内、咽頭、食道、胃、小腸、大腸、肛門などの消化管の粘膜や胆管・膵管および肺・気管支である。
【0023】
特徴量算出手順S101における細胞核計測手順について説明する。
まず、内視鏡画像に含まれるすべての細胞核を抽出する。細胞核の抽出は、細胞核の領域のセグメンテーションを行い、アーチファクト除去を行う。細胞核の領域のセグメンテーションは、例えば、R成分での大津の2値化手法を用いる。アーチファクト除去は、たとえば、2値化画像の白い画素が連続した画素を1つの領域とし、各領域に対し面積と長径、真円度を算出する。面積が設定した範囲(例えば30μmから500μm)、かつ長径が設定した値(例えば30μm以下)、かつ真円度が設定した値(例えば0.3以上)のものを解析対象として残し、それ以外の領域を除去する。長径と真円度は、例えば、領域を楕円近似して算出する。抽出された核の個数が予め設定した個数(たとえば30個)以下の場合は、画像の信頼性が低いと考え、診断不能例としてもよい。図3に、抽出した細胞核の一例を示す。
【0024】
次に、抽出した全ての細胞核の特徴を計測する。細胞核の特徴は、例えば、細胞核の長径DL、細胞核の短径DS、細胞核の周囲長、細胞核の面積、細胞核の真円度及び細胞核の色である。面積及び真円度は、平均値及び標準偏差を用いることが好ましい。
【0025】
特徴量算出手順S101におけるテクスチャ解析手順について説明する。
まず、内視鏡画像を予め定められた画素に分割する。例えば、図4に示すように、画素P11からP89までの画素に分割する。
そして、各画素について、テクスチャ解析を行う。腺腔や核の配列によって、各画素の濃淡は変化する。特に、隣接する画素との濃淡を比較することで、腺腔や細胞核の配列を数値化することが可能である。そこで、テクスチャ解析では、濃淡変化によって表わす模様(=テクスチャ)を解析する。テクスチャ解析の手法は任意であり、例えば、Local Binary Pattern(LBP)を用いることができる。
【0026】
テクスチャ解析の一例であるLBPについて、図5を参照しながら説明する。LBPは、3×3画素領域内での中央に位置する画素PXと隣接する画素P1〜P8の濃淡の大小を2進法で数値化する手法である。
【0027】
例えば、画素PXが図4に示す画素P23である場合、画素P1〜P8は、それぞれ、P12、P13、P14、P24、P34、P33、P32、P22である。画素P23の濃度と画素P12の濃度を比較し、画素P23の濃度が画素P12の濃度よりも高ければ「1」とし、画素P23の濃度が画素P12の濃度よりも低ければ「0」とする。画素P2〜P8についても、画素P1と同様に「1」又は「0」のいずれであるかを判定する。これにより、画素P1〜P8の濃淡の大小を数値化した、例えば、00111001というバイナリーデータを得ることができる。この場合、「00111001」を10進法に変換すると、256階調における57という値が得られる。
【0028】
図6に、テクスチャ解析の結果の一例を示す。テクスチャ解析を全画素に行い、画素値の分布を示すヒストグラムを作成する。
【0029】
識別手順S102における分類について説明する。本実施形態では、特徴量算出手順S101で得られた特徴量を用いて、病理診断に対応した分類を行う。病理診断に対応した分類は、例えば、非腫瘍、腺腫、癌、SSA/Pである。分類は、例えば、SVM(Support Vector Machine)を用いる。
【0030】
SVMの各データ点は、例えば、内視鏡画像から抽出した全ての細胞核の各特徴に加え、テクスチャ解析で得られたヒストグラムを用いる。細胞核の各特徴は、長径DL、短径DS、周囲長、面積、真円度及び色である。テクスチャ解析で得られたヒストグラムは、例えば、テクスチャ解析によって算出される全ての要素であり、例えば、256階調とした場合は256個の要素となる。
【0031】
ここで、分類を行うに際し、非腫瘍、腺腫、癌、SSA/Pのそれぞれについて、学習用サンプルとなるデータを画像処理装置に与える。本実施形態に係る画像処理装置は、学習用サンプルとして、内視鏡画像から抽出した全ての細胞核の各特徴に加え、テクスチャ解析で得られたヒストグラムを与えることで、非腫瘍とSSA/Pとを識別することができる。
【0032】
SVMの各データ点は、任意であるが、例えば、細胞核の全特徴パラメータの平均、標準偏差及び変動係数の要素全てと、テクスチャ解析によって算出される256個の要素全てとする。これにより、1つの内視鏡画像から合計約300次元の要素をもつ複合ベクトルをデータ点として生成し、SVMに適用する。
【0033】
診断結果出力手順S103では、画像処理装置が、識別手順S102の分類結果を出力する。例えば、画像処理装置が、非腫瘍、腺腫、癌、SSA/Pのうちのいずれかを診断結果として出力する。出力は、例えば、コンピュータに備わるモニタに表示する。また、分類結果を内視鏡画像とともにメモリに格納する。
【0034】
以上の特徴量算出手順S101、識別手順S102及び診断結果出力手順S103を、内視鏡画像ごとに行う。これによって、専門的な知識と経験を有する者でなくとも、病理診断を行いたい各部位が、非腫瘍、腺腫、癌、SSA/Pのいずれであるか判断することができる。特に、消化管などの体内での粘膜の内視鏡画像を内視鏡を用いて撮像することで、リアルタイム自動診断が可能となり、内視鏡検査のクオリティを向上することができる。
【0035】
なお、本実施形態に係る発明は、内視鏡画像だけでなく、生体から採取した組織を顕微鏡で撮像した顕微鏡画像に対しても適用することができる。
【0036】
また、本実施形態では、細胞核の特徴が、長径DL、短径DS、周囲長、面積、真円度及び色である場合について説明するが、本発明はこれに限定されない。例えば、離心率・弦節比・凹凸形状・フラクタル次元・線の集中度・濃度コントラストを含めてもよい。
【0037】
また、本実施形態では、SVMを用いて分類を行う例を示したが、SVM以外の任意のアルゴリズムを用いることができる。そのようなアルゴリズムとしては、例えば、ニューラルネットワーク、単純ベイズ分類器、決定木、クラスター解析、線形回帰分析及びロジスティック回帰分析がある。
図1
図2
図3
図4
図5
図6