特表-19064704IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
再表2019-64704内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
<>
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000003
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000004
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000005
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000006
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000007
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000008
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000009
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000010
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000011
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000012
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000013
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000014
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000015
  • 再表WO2019064704-内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年4月4日
【発行日】2019年11月14日
(54)【発明の名称】内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
(51)【国際特許分類】
   A61B 1/00 20060101AFI20191018BHJP
   A61B 1/045 20060101ALI20191018BHJP
【FI】
   A61B1/00 C
   A61B1/045 623
   A61B1/045 618
   A61B1/045 614
【審査請求】有
【予備審査請求】未請求
【全頁数】27
【出願番号】特願2018-549366(P2018-549366)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年6月5日
(11)【特許番号】特許第6425868号(P6425868)
(45)【特許公報発行日】2018年11月21日
(31)【優先権主張番号】特願2017-191730(P2017-191730)
(32)【優先日】2017年9月29日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(74)【代理人】
【識別番号】100109081
【弁理士】
【氏名又は名称】三木 友由
(72)【発明者】
【氏名】西村 律郎
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161DD07
4C161FF14
4C161SS21
4C161TT15
4C161WW02
4C161WW10
4C161WW12
4C161WW13
4C161WW14
4C161WW18
4C161WW19
(57)【要約】
内視鏡画像観察支援システムは、カプセル内視鏡により撮影された複数の画像の観察を支援する。内視鏡画像観察支援システムは、複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する判別部と、判別確度に基づいて、複数の画像を複数のクラスタに分類する分類部と、複数のクラスタの分類に基づいて、複数の画像の中から部位の境界の候補画像を特定する特定部と、を備える。
【特許請求の範囲】
【請求項1】
カプセル内視鏡により撮影された複数の画像の観察を支援する観察支援システムであって、
前記複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する判別部と、
前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類する分類部と、
前記複数のクラスタの分類に基づいて、前記複数の画像の中から前記部位の境界の候補画像を特定する特定部と、
を備えることを特徴とする内視鏡画像観察支援システム。
【請求項2】
前記分類部は、前記複数の画像を、第1クラスタと、前記第1クラスタとは異なる第2クラスタと、に分類し、
前記特定部は、前記第1クラスタを前記判別対象の部位の画像が分類されたクラスタであると特定した場合、前記第2クラスタに分類された画像を前記候補画像として特定する、
ことを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項3】
前記判別対象の部位がL個(Lは1以上の整数)であるとき、
前記分類部は、前記複数の画像を(L+1)個以上のクラスタに分類する、
ことを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項4】
前記判別対象の部位が複数個であるとき、
前記判別部は、前記複数の画像のそれぞれについて、前記複数の判別対象の部位のそれぞれの画像である確度を成分に含むベクトルを判別確度として出力し、
前記特定部は、
前記複数のクラスタのそれぞれについて、分類された1以上の画像の判別確度を代表する代表ベクトルを特定し、
前記複数のクラスタのうち、前記代表ベクトルと前記複数の判別対象の部位のうちの或る部位に対応する標準基底ベクトルとの内積が最大になるクラスタを、その部位の画像が分類されたクラスタとして特定する、
ことを特徴とする請求項1から3のいずれかに記載の内視鏡画像観察支援システム。
【請求項5】
前記判別対象の部位が複数個であるとき、
前記判別部は、前記複数の画像のそれぞれについて、前記複数の判別対象の部位のそれぞれの画像である確度を成分に含むベクトルを判別確度として出力し、
前記特定部は、
前記複数のクラスタのそれぞれについて、分類された1以上の画像の判別確度を代表する代表ベクトルを特定し、
前記複数のクラスタのうち、前記代表ベクトルと前記複数の判別対象の部位のそれぞれに対応する各標準基底ベクトルとの内積の合計が小さいものから順に所定数のクラスタを、前記候補画像が分類されたクラスタとして特定する、
ことを特徴とする請求項1から3のいずれかに記載の内視鏡画像観察支援システム。
【請求項6】
前記複数の画像のそれぞれの撮影開始時刻からの相対的な時間情報および判別確度に基づいて、前記複数の画像を前記複数のクラスタに分類することを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項7】
前記判別部は、前記複数の画像のそれぞれについて、少なくとも胃、小腸、大腸のいずれかの画像である確度を示す判別確度を出力することを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項8】
前記特定部により特定された前記候補画像に関する情報を表示部に表示させる表示制御部をさらに備えることを特徴とする請求項1から7のいずれかに記載の内視鏡画像観察支援システム。
【請求項9】
前記表示制御部は、前記特定部により特定された前記候補画像を表示部に一覧表示させることを特徴とする請求項8に記載の内視鏡画像観察支援システム。
【請求項10】
前記表示制御部は、一端を撮影開始時刻、他端を撮影終了時刻とするタイムバーを表示するとともに、前記候補画像に対応する指標をタイムバーに対応付けて表示させることを特徴とする請求項8に記載の内視鏡画像観察支援システム。
【請求項11】
前記表示制御部は、各撮影時刻における画像が、所定部位の画像または前記候補画像であることを表示するバーを、画像の撮影時刻に対応付けて表示させることを特徴とする請求項8に記載の内視鏡画像観察支援システム。
【請求項12】
カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の前記画像である確度を示す判別確度に基づいて、前記複数の画像が複数のクラスタに分類され、前記複数のクラスタの分類に基づいて前記複数の画像の中から特定された部位の境界の候補画像に関する情報を、表示部に表示させる表示制御部を備えることを特徴とする内視鏡画像観察支援装置。
【請求項13】
カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の画像である確度を示す判別確度に基づいて、前記複数の画像が複数のクラスタに分類され、表示部に表示させるために、前記複数のクラスタの分類に基づいて前記複数の画像の中から部位の境界の候補画像を特定する特定部を備えることを特徴とする内視鏡画像観察支援装置。
【請求項14】
カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力するステップと、
前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類するステップと、
前記複数のクラスタの分類に基づいて、前記複数の画像の中から部位の境界の候補画像を特定するステップと、
を含むことを特徴とする内視鏡画像観察支援方法。
【請求項15】
カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する機能と、
前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類する機能と、
前記複数のクラスタの分類に基づいて、前記複数の画像の中から部位の境界の候補画像を特定する機能と、
をコンピュータに実行させることを特徴とする内視鏡画像観察支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡画像観察支援システムに関する。
【背景技術】
【0002】
特許文献1は、カプセル内視鏡で取得された体内画像データを、被検者内部の所定部位ごとに分類することを開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−321603号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。特許文献1に記載される装置では、画像観察を効率化して読影にかかる負担を低減する目的で、部位の範囲、言い換えれば部位の境界を画像の色に基づいて自動判別し、画像の色を時系列で示したバーとともに自動判別の結果を表示する。この自動判別の結果には誤差が含まれるため、実際の部位の境界を自動判別の結果を参考に探す必要があるが、どの時系列範囲の画像を探せばよいか明確でないため、探す作業に手間がかかっている。
【0005】
本発明はこうした状況に鑑みなされたものであり、その目的は、部位の境界の画像を読影者が容易に見つけられる技術を提供する。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある態様の観察支援システムは、カプセル内視鏡により撮影された複数の画像の観察を支援する観察支援システムであって、複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する判別部と、判別確度に基づいて、複数の画像を複数のクラスタに分類する分類部と、複数のクラスタの分類に基づいて、複数の画像の中から部位の境界の候補画像を特定する特定部と、を備える。
【0007】
本発明の別の態様は、観察支援装置である。この装置は、カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の画像である確度を示す判別確度に基づいて、複数の画像が複数のクラスタに分類され、複数のクラスタの分類に基づいて複数の画像の中から抽出された部位の境界の候補画像に関する情報を、表示部に表示させる表示制御部を備える。
【0008】
本発明のさらに別の態様もまた、観察支援装置である。この装置は、カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の画像である確度を示す判別確度に基づいて、複数の画像が複数のクラスタに分類され、表示部に表示させるために、複数のクラスタの分類に基づいて複数の画像の中から部位の境界の候補画像を特定する特定部を備える。
【0009】
本発明のさらに別の態様は、観察支援方法である。この方法は、カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力するステップと、判別確度に基づいて、複数の画像を複数のクラスタに分類するステップと、複数のクラスタの分類に基づいて、複数の画像の中から部位の境界の候補画像を特定するステップと、を含む。
【0010】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0011】
本発明によれば、読影者による画像観察を効率的に実施させるための支援技術を提供できる。
【図面の簡単な説明】
【0012】
図1】第1の実施の形態に係る画像観察支援システムの概要を説明するための図である。
図2図1の管理サーバおよび記録装置の構成を示す図である。
図3】候補画像特定処理のフローチャートを示す図である。
図4】複数の内視鏡画像の判別確度を、直交座標系にプロットした図である。
図5】内視鏡画像の読影画面の例を示す図である。
図6】内視鏡画像のオーバービュー画面の例を示す図である。
図7】候補画像一覧画面の例を示す図である。
図8】内視鏡画像の読影画面の別の例を示す図である。
図9】内視鏡画像の読影画面のさらに別の例を示す図である。
図10】第2の実施の形態に係る候補画像特定処理のフローチャートを示す図である。
図11】第3の実施の形態に係る内視鏡画像観察支援システムの管理サーバおよび記録装置の構成を示す図である。
図12】変形例に係る内視鏡画像観察支援システムの概要を説明するための図である。
図13図12の管理サーバ、記録装置およびクラウドサーバの構成を示す図である。
図14】別の変形例に係る内視鏡画像観察支援システムの管理サーバ、記録装置およびクラウドサーバの構成を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【0014】
(第1の実施の形態)
図1は、第1の実施の形態にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム1は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。
【0015】
カプセル内視鏡検査において、患者は腹部に複数のアンテナ(図示せず)を貼り付けられ、受信装置4をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡3を口から飲み込む。カプセル内視鏡3は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像IDおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置4に送信する。なお本実施の形態のカプセル内視鏡3は、撮影フレームレートの可変機能を有し、たとえば移動速度が大きくなると撮影フレームレートを高くして、撮影を行ってもよい。
【0016】
受信装置4には、記録媒体5が内蔵されており、受信装置4は受信した画像ファイルを記録媒体5に記録する。カプセル内視鏡3が0.5秒ごとに体内を撮影する場合、約8時間で体内の撮影を終了すると、約6万枚の内視鏡画像ファイルが記録媒体5に記録される。
【0017】
画像IDは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像IDには「1」が付加され、2番目に撮影された内視鏡画像の画像IDには「2」が付加されてよい。このように画像IDを生成することで、画像IDに含まれるシリアル番号が撮影順を表現するとともに、画像IDの重複を回避できる。なお画像IDおよび撮影時刻情報は、受信装置4が撮影画像を受信したときに、受信装置4により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡3で撮影された画像は、画像IDおよび撮影時刻情報を対応付けられて記録媒体5に記録される。
【0018】
患者からアンテナと受信装置4が回収されると、受信装置4のデータ端子が、管理サーバ10に接続したデータ読出装置に接続され、データ読出装置が、記録媒体5に記録された約6万枚の内視鏡画像ファイルを読み出し、管理サーバ10に送信する。データ読出装置は、管理サーバ10にUSBケーブルなどで接続される外部装置であってよい。なお記録媒体5は、受信装置4に着脱可能なメモリカードであってもよく、記録媒体5が受信装置4から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体5は、管理サーバ10に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。
【0019】
管理サーバ10は、記録媒体5から読み出された内視鏡画像に所定の画像処理を施して、記録装置12に記録する。記録装置12は、HDD(ハードディスクドライブ)で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体5に記録された内視鏡画像は、無圧縮のRAW(生の)画像であるか、または可逆圧縮のみを施したRAW画像であるため、データサイズは非常に大きい。そこで管理サーバ10は、RAW画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置12に記録する。なお本実施の形態では管理サーバ10が内視鏡RAW画像の画像処理を担当するが、他の機器、たとえば端末装置20が内視鏡RAW画像に画像処理を施して、記録装置12に記録してもよく、記録装置12は、端末装置20に設けられてもよい。
【0020】
複数の端末装置20はLAN(ローカルエリアネットワーク)などのネットワーク2によって管理サーバ10に接続される。端末装置20はたとえば医師や技師(以下、単に「ユーザ」と呼ぶこともある)に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置22に接続されるが、端末装置20は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置20は管理サーバ10にアクセスして、記録装置12に記録された内視鏡画像を表示装置22に表示する。
【0021】
管理サーバ10は、内視鏡RAW画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡RAW画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。
【0022】
カプセル内視鏡検査の目的の一つは、消化管における出血源を探すことにある。管理サーバ10は、記録媒体5から内視鏡RAW画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡RAW画像を特定する。たとえば管理サーバ10は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡RAW画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。
【0023】
また消化管内におけるカプセル内視鏡3の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の内視鏡画像を含む全ての内視鏡画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡RAW画像を比較して、変化が小さい画像(類似画像)を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。
【0024】
画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ10は、基準画像である内視鏡RAW画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡RAW画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。
【0025】
また解析アプリケーションは、複数の基準画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定する。読影者が、所定の部位をメインターゲットとする診断を行う場合、撮影した内視鏡画像のどこからどこまでが当該対象となる部位の撮影画像であるかを容易に認識できることが好ましい。カプセル内視鏡3は、「胃」、「小腸」、「大腸」の各消化管内部を撮影するため、解析アプリケーションが、各消化管の入口(開始位置)を撮影した可能性のある候補画像を事前に特定しておくことで、読影者が画像診断時に、各消化管の境界を容易に探し出すことが可能となる。
【0026】
管理サーバ10ないしは端末装置20において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。
【0027】
実施例の再生アプリケーションは、4つの再生モードを有して構成される。
(第1再生モード)
第1再生モードは、端末装置20に接続されたユーザインタフェースの操作を利用した手動再生モードである。第1再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を1枚ずつコマ送り表示させることができる。そのため第1再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向(撮影時刻の古い画像から新しい画像に向かう方向)に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向(撮影時刻の新しい画像から古い画像に向かう方向)に連続再生表示される。
【0028】
(第2再生モード)
第2再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第2再生モードは、通常の内視鏡画像観察に利用される。
【0029】
(第3再生モード)
第3再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第3再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第2再生モードと比べて観察時間の短縮を実現する。
【0030】
(第4再生モード)
第4再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第4再生モードは、類似画像の表示を省略することで、第3再生モードと比べて観察時間の短縮を実現する。なお第4再生モードに対して、裏モードである第4裏再生モードが設定されてよい。第4裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第4裏再生モードは、第4再生モードでの観察後に、観察漏れのないことを確認するために利用される。
【0031】
第1〜第3再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第4再生モード(第4裏再生モード)は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ10で実行されてもよく、また端末装置20で実行されてもよい。
【0032】
端末装置20には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置20は、管理サーバ10と協働して、読影者による読影作業を支援する機能をもつ。端末装置20は、表示装置22に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。
【0033】
図2は、管理サーバ10および記録装置12の構成を示す。管理サーバ10は、RAW画像取得部30、画像処理部32、表示制御部42および再生処理部46を備える。画像処理部32は、赤み判定部34、画像要約処理部36、候補画像特定部38および圧縮処理部40を有する。候補画像特定部38は、判別部50、分類部52および特定部54を有する。管理サーバ10の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施の形態では、管理サーバ10が各種アプリケーションを実行するが、端末装置20が各種アプリケーションを実行してもよい。
【0034】
記録装置12は、内視鏡画像記録部60、検査情報記録部62および観察内容記録部64を備える。内視鏡画像記録部60は、画像処理部32により画像処理を施された内視鏡画像を記録する。検査情報記録部62は、内視鏡検査に関する情報を記録する。観察内容記録部64は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。
【0035】
管理サーバ10の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【0036】
RAW画像取得部30は、データ読出装置から送信される約6万枚の内視鏡RAW画像を取得し、記録装置12に一時記憶させる。画像処理部32は、すべての内視鏡RAW画像に対して、以下に示す画像処理を実施する。
【0037】
<赤み画像の特定>
赤み判定部34は、赤みを帯びた内視鏡RAW画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部34は、特定した赤み画像の画像IDを、圧縮処理部40に提供する。
【0038】
<画像要約処理>
画像要約処理部36は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部36は、最初に撮影された画像を基準画像として設定する。画像要約処理部36は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部36は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。
【0039】
画像要約処理部36は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部36は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡3の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。
【0040】
一方で、画像要約処理部36は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部36は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部36は、この画像要約処理を、約6万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。
【0041】
基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第4再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約6万枚の内視鏡画像のうち、約2万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部36は、分類した基準画像の画像IDおよび類似画像の画像IDを、それぞれ圧縮処理部40に提供する。
【0042】
<境界候補画像の特定>
体内部位の境界の撮影位置をタイムバー上にランドマークとして設定することは、読影者が、部位毎の撮影画像の範囲を認識できるようになるため、特定の部位画像を診断する際に都合がよい。カプセル内視鏡3は、胃、小腸、大腸の各消化管内部を撮影するが、読影者が小腸の撮影画像のみを観察する場合、胃と小腸の境界の画像の撮影位置と、小腸と大腸の境界の画像の撮影位置とを画像診断の前にタイムバーにランドマークとして設定しておけば、小腸の撮影画像の範囲を容易に認識できるようになる。そこで候補画像特定部38は、読影者が体内部位の境界を容易に探し出すことが可能となるように、複数の内視鏡画像の中から、体内の部位の境界を撮影した可能性のある候補画像を特定する処理を、読影者による画像観察の前に実施する。
【0043】
図3は、候補画像特定処理のフローチャートを示す。判別部50は、全ての内視鏡画像を対象として、各内視鏡画像が、判別対象である各部位の内視鏡画像である確度(以下、「判別確度」とも呼ぶ)を出力する(S10)。判別部50が実行する処理は、SVM(Support Vector Machine)、ニューラルネットワーク等の機械学習手法など、既知の技術を用いて実現できる。本実施の形態では、胃、小腸および大腸の各部位が判別対象の部位であり、判別確度は次式で表されるベクトル量である。確度は、判別の確からしさを表す数値であり、0〜1の間の実数値を取る。
判別確度=(胃の内視鏡画像である確度,小腸の内視鏡画像である確度,大腸の内視鏡画像である確度)
【0044】
分類部52は、複数の内視鏡画像のそれぞれの判別確度に基づいて、クラスタリング手法により、その複数の内視鏡画像を複数(K個)のクラスタに分類する(S12)。このクラスタリングは、既知の技術を利用してよい。なお、階層的手法(たとえばウォード法など)を利用する場合、クラスタの数がK個になった時点でクラスタの併合を停止し、非階層的手法(たとえばK−means法など)を利用する場合、初期値として、分類すべきクラスタ数にKを与える。
【0045】
図4は、複数の内視鏡画像の判別確度を、直交座標系にプロットした図である。胃を撮影した内視鏡画像は、基本的に、胃の内視鏡画像である確度は高く、小腸および大腸の内視鏡画像である確度は低く判別されるため、座標(1,0,0)の近傍に集まる。小腸を撮影した内視鏡画像は、基本的に、小腸の内視鏡画像である確度は高く、胃および大腸の内視鏡画像である確度は低く判別されるため、座標(0,1,0)の近傍に集まる。大腸を撮影した内視鏡画像は、基本的に、大腸の内視鏡画像である確度は高く、胃および小腸の内視鏡画像である確度は低く判別されるため、座標(0,0,1)の近傍に集まる。胃と小腸との境界を撮影した内視鏡画像、および小腸と大腸との境界を撮影した内視鏡画像は、基本的に、胃、小腸、および大腸の内視鏡画像である確度はいずれも低く判別されるため、座標(0,0,0)の近傍に集まる。したがって、判定対象の部位をL個とすると、K(≧L+1)個のクラスタに分類することで、各判別対象部位の内視鏡画像のクラスタと、それ以外、すなわち候補画像のクラスタとに分類されることが期待される。
【0046】
なお胃と小腸との境界を撮影した内視鏡画像、および小腸と大腸との境界を撮影した内視鏡画像は、前者は胃および小腸の内視鏡画像である確度が大腸の内視鏡画像である確度よりも高く判別され、後者は小腸および大腸の内視鏡画像である確度が胃の内視鏡画像である確度よりも高く判別されるため、多少離れた位置に分布する。したがって、これらが異なるクラスタに分類されるように分類するクラスタの個数を設定すると、クラスタリングの精度が向上する。つまり複数の内視鏡画像をK(=2L−1)個、すなわち判別対象である部位の個数に部位の境界の個数を加えた個数のクラスタに分類することが好ましい。
【0047】
変形例では、分類部52は、複数の内視鏡画像のそれぞれの判別確度に加え、複数の内視鏡画像のそれぞれの撮影開始時刻からの相対的な時間情報に基づいて、すなわち判別確度の各成分および時間情報を各成分とするベクトルに基づいて、クラスタリング手法により、その複数の内視鏡画像を複数のクラスタに分類してもよい。クラスタリングに時間情報が使われることにより、時間情報が近い内視鏡画像が同じクラスタに分類されやすくなり、クラスタリングの精度が向上する。また、たとえば、胃と小腸との境界を撮影した内視鏡画像と、小腸と大腸との境界を撮影した内視鏡画像のように時間情報が遠い内視鏡画像は、クラスタリングに時間情報が使われることにより、位置が離れるため、クラスタリングの精度が向上する。
【0048】
以下では、分類部52により、それぞれ点線で囲まれた5つのクラスタに分類された場合を例に説明する。
【0049】
特定部54は、全てのクラスタを対象として、各クラスタの代表ベクトルを特定する(S14)。代表ベクトルは、たとえばクラスタに属する1以上の内視鏡画像の判別確度(ベクトル)の平均値や中央値である。特定部54は、複数のクラスタの中から、各部位の内視鏡画像が分類された可能性の高いクラスタを特定する(S16)。
【0050】
具体的に特定部54は、複数のクラスタのそれぞれの代表ベクトルと胃に対応する標準基底ベクトル(1,0,0)との内積を算出し、内積が最大となるクラスタを胃の内視鏡画像が分類された可能性が高いクラスタ(以下、「胃クラスタ」とも呼ぶ)として特定する(S160)。図4の例では、座標(1,0,0)の近傍に位置するクラスタ160が胃クラスタとして特定される。特定部54は、複数のクラスタのそれぞれの代表ベクトルと小腸に対応する標準基底ベクトル(0,1,0)との内積を算出し、内積が最大となるクラスタを小腸の内視鏡画像が分類された可能性が高いクラスタ(以下、「小腸クラスタ」とも呼ぶ)として特定する(S162)。図4の例では、座標(0,1,0)の近傍に位置するクラスタ162が小腸クラスタとして特定される。特定部54は、複数のクラスタのそれぞれの代表ベクトルと大腸に対応する標準基底ベクトル(0,0,1)との内積を算出し、内積が最大となるクラスタを小腸の内視鏡画像が分類された可能性が高いクラスタ(以下、「大腸クラスタ」とも呼ぶ)として特定する(S164)。図4の例では、座標(0,0,1)の近傍に位置するクラスタ164が大腸クラスタとして特定される。
【0051】
特定部54は、胃クラスタ、小腸クラスタおよび大腸クラスタ以外のクラスタを、部位の境界の画像が分類された可能性が高いクラスタ(以下、「境界クラスタ」とも呼ぶ)として特定する(S18)。図4の例では、座標(0,0,0)の近傍に位置するクラスタ166、168が境界クラスタとして特定される。特定部54は、境界クラスタに分類された内視鏡画像を候補画像として特定する(S20)。なお特定部54は、境界クラスタに分類された内視鏡画像に加えて、他のクラスタに分類された内視鏡画像のうち、境界クラスタに分類された任意の2つの内視鏡画像に撮影時刻が挟まれる内視鏡画像を、候補画像として特定してもよい。特定部54は、特定した候補画像の画像IDを、圧縮処理部40に提供する。
【0052】
<内視鏡RAW画像の圧縮処理>
赤み判定部34、画像要約処理部36および候補画像特定部38による画像解析処理は、圧縮処理部40による内視鏡RAW画像の圧縮処理の際に実施される。圧縮処理部40は、内視鏡RAW画像に非可逆の圧縮処理を施して、画像IDおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部60に記録する。たとえば圧縮処理部40は、JPEGなどの画像フォーマットで内視鏡RAW画像を圧縮してよい。
【0053】
圧縮処理部40は、圧縮した画像ファイルに、赤み判定部34、画像要約処理部36および候補画像特定部38から提供された解析結果を示す情報を付加する。具体的に圧縮処理部40は、赤み判定部34から提供される画像IDをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部40は、画像要約処理部36による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値1が基準画像を、フラグ値0が類似画像を表現してもよい。また圧縮処理部40は、候補画像特定部38から提供される画像IDをもつ圧縮画像に、候補画像であることを示す情報を付加する。
【0054】
実施例では、赤み判定部34、画像要約処理部36および候補画像特定部38が、圧縮処理部40による内視鏡RAW画像の圧縮処理の前に、内視鏡RAW画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部34、画像要約処理部36および候補画像特定部38が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部60には、画像処理部32により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部60に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。
【0055】
以下、読影時に表示装置22に表示される画面について説明する。
ユーザである医師Bは、端末装置20にユーザIDおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ10が検査情報記録部62に記録された検査情報を端末装置20に提供し、表示装置22には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ID、患者氏名、検査ID、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者IDが「1111」、患者氏名「A」、検査IDが「0001」の検査が選択されると、表示制御部42は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置22に表示させる。
【0056】
図5は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を切り替えて再生表示するための再生領域100が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン102aが選択された状態で、表示装置22に表示される。なおオーバービューモード選択ボタン102bが選択されると、表示制御部42は、図6に示すオーバービュー画面を生成して、表示装置22に表示させる。また候補画像選択ボタンが選択されると、表示制御部42は、図7に示す候補画像選択画面を生成して、表示装置22に表示させる。
【0057】
再生枚数切替ボタン108は、再生領域100に表示する画像枚数を切り替えるための操作ボタンである。図5には、1枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン108を操作することで、2枚表示または4枚表示を選択できる。
【0058】
第2再生モード選択ボタン110は、第2再生モードを選択するための操作ボタンである。第3再生モード選択ボタン112は、第3再生モードを選択するための操作ボタンである。第4再生モード選択ボタン114は、基準画像のみを再生表示する第4再生モードを選択するための操作ボタンである。第4裏再生モード選択ボタン116は、類似画像のみを再生表示する第4裏再生モードを選択するための操作ボタンである。第4再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第4再生モードを選択して読影した場合には、第4裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。
【0059】
ユーザは、第2再生モード選択ボタン110、第3再生モード選択ボタン112、第4再生モード選択ボタン114および第4裏再生モード選択ボタン116のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第2再生モード選択ボタン110が選択されている。再生領域100の下方に設けられた再生ボタン表示領域104には再生ボタン104aと逆再生ボタン104bとが表示され、再生ボタン104aが選択されると、再生領域100において内視鏡画像が順方向(撮影時刻の古い画像から新しい画像に向かう方向)に再生表示され、逆再生ボタン104bが選択されると、再生領域100において内視鏡画像が逆方向(撮影時刻の新しい画像から古い画像に向かう方向)に再生表示される。再生速度調節部106は、再生速度(1枚の内視鏡画像の表示時間)を調節するためのスライダを備える。再生速度調節部106は、スライダの位置により、再生速度、すなわち内視鏡画像の表示フレームレートを設定する。たとえば20fpsの表示フレームレートは、1秒あたり20枚の内視鏡画像を切替表示して、1枚あたりの表示時間が0.05秒であることを意味する。
【0060】
再生処理部46は、再生モード選択領域130において選択された再生モード、および再生速度調節部106により設定された再生速度(表示フレームレート)にしたがって、再生領域100に内視鏡画像を再生表示する。再生ボタン104aまたは逆再生ボタン104bが選択されると、再生処理部46は再生表示を開始するが、選択された再生ボタン104aまたは逆再生ボタン104bの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生処理部46は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生処理部46が、マウスホイールの回転に応じて、第1再生モードで内視鏡画像をコマ送り表示する。
【0061】
ユーザは再生領域100に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域128に表示される。キャプチャ画像表示領域128に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、8枚のキャプチャ画像128a〜128hが選択されている様子が示される
【0062】
表示制御部42は、一端を撮影開始時刻、他端を撮影終了時刻とするタイムバー120を再生領域100の下方に表示する。実施の形態においてタイムバー120は、左端を撮影開始時刻、右端を撮影終了時刻とする横長矩形のバーであり、スライダ122は、再生領域100に表示されている内視鏡画像の時間的な位置を示す。スライダ122により表現される時間位置は、時間表示領域124に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがタイムバー120の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域100に表示される。またユーザがスライダ122をドラッグしてタイムバー120内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域100に表示される。
【0063】
表示制御部42は、タイムバー120において、内視鏡画像の平均色値を示す表示を行う。表示制御部42は各内視鏡画像の平均色値を算出し、タイムバー120の矩形領域内部を、各内視鏡画像の時間位置に合わせて、各内視鏡画像の平均色値で色塗りする。これによりタイムバー120は、内視鏡画像の時間的な色味を表現するカラーバーとして表示されることになる。カプセル内視鏡3により撮影された内視鏡画像は、その撮影した消化管の太さ等により色味が異なるため、表示制御部42が、タイムバー120に、画像平均色値による色を付加することで、読影者は、撮影時刻と撮影部位との関係を感覚的に認識できるようになる。
【0064】
表示制御部42はさらに、タイムバー120において、候補画像の撮影時刻を示す指標134を表示する。図5で指標134は、タイムバー120上に網掛けとして表示されているが、所定色で塗りつぶされてもよい。指標134が表示されることで、ユーザは、候補画像を撮影した可能性の高い画像の存在を認識できる。なお表示制御部42は、後述のようにランドマーク設定された場合、指標134の表示態様を、ランドマーク設定前と比べて異ならせてよい。表示制御部42は、ランドマーク 設定された後は、候補画像に関する情報をユーザに提示する必要がないため、指標134を非表示としてよい。
【0065】
赤色画像表示ボタン126は、タイムバー120において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン126が操作されると、表示制御部42は、赤み画像の撮影時刻に、赤色マークを表示する。タイムバー120に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。
【0066】
拡大表示ボタン118は、再生領域100を拡大するためのボタンである。拡大表示ボタン118が操作されると、キャプチャ画像表示領域128は非表示とされて、その分だけ再生領域100が拡大される。
【0067】
ユーザはタイムバー120に、部位の開始位置を示すためのマークを付加できる。このマーク付加はランドマーク設定とも呼ばれ、画像診断を効率化する目的で、撮影画像の部位の範囲を特定するために実施される。ユーザは、マウス操作により、指標134の左端の時間位置あるいはそれより僅かに前の時間位置から再生表示を開始する。ユーザは、再生領域100で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されると、再生領域100の再生表示を停止させ、再生領域100に表示された境界画像上にマウスポインタを配置して、右クリックする。表示制御部42は、ランドマーク設定用の選択肢を含む選択ウィンドウを表示する。選択ウィンドウには、胃、小腸、大腸の開始位置をランドマーク設定するための3つの項目が表示される。ユーザは、項目を選択することで、当該項目で特定される部位の開始位置を、タイムバー120にランドマーク設定できる。ランドマークは、読影者が境界を認識できるような態様で、タイムバー120に表示される。読影者がランドマーク設定を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。
【0068】
画面左上隅にあるオーバービューモード選択ボタン102bが選択されると、表示制御部42は、オーバービュー画面を生成して、表示装置22に表示させる。オーバービュー画面では、画像要約処理により特定された複数の基準画像から抽出された画像が表示される。
【0069】
図6は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域132には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約6万枚の内視鏡画像から約2万枚の基準画像が特定されているとき、表示制御部42は、約2万枚の基準画像の中から所定の間隔で抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、2千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をN枚、オーバービュー画面に含める画像枚数をM枚とすると、表示制御部42は、時系列に並べた基準画像の中から(N/M)枚ごとに画像を抽出する。たとえばN=2万枚、M=2千枚であるとき、表示制御部42は、撮影時刻順に基準画像を10枚ごとに1枚を抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域132において格子状に配列され、ユーザはページ送りボタン140a、140bを操作して、画像を切り替えることができる。オーバービュー画面に表示される内視鏡画像は基準画像であり、互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。
【0070】
図5に戻って、画面左上隅にある候補画像一覧選択ボタン102cが選択されると、表示制御部42は、複数の基準画像の中から、付加情報を参照して、体内の部位の境界を撮影した可能性のある候補画像を特定し、候補画像を含む候補画像一覧表示画面を生成して、表示装置22に表示させる。なおタイムバー120に表示された指標134上にマウスポインタを配置して右クリックしたときに、表示制御部42は、「候補画面一覧画面を表示する」ことを選択するための選択肢を含む選択ウィンドウを表示し、その選択肢が選択された場合に候補画像一覧画面を生成して、表示装置22に表示させてもよい。
【0071】
図7は、候補画像一覧画面の例を示す。画像表示領域136には、候補画像の一覧が格子状に並べて表示される。ユーザは、ページ送りボタン138a、138bを操作して、画像を切り替えることができる。ユーザが候補画像をマウスでダブルクリックすると、候補画像は拡大表示される。候補画像が一覧で表示されるため、体内の部位の境界を容易に探し出すことが可能となる。
【0072】
ユーザは、候補画像が小腸の入口を撮影した画像であることを確認すると、候補画像上にマウスポインタを配置して、右クリックする。表示制御部42は、ランドマーク設定用の選択肢を含む選択ウィンドウ150を表示する。選択ウィンドウ150には、胃、小腸、大腸の開始位置をランドマーク設定するための3つの項目が表示される。ユーザは選択枠152を所望の項目に合わせて、決定操作(たとえばマウスのダブルクリック)を行うことで、候補画像を、体内部位の開始位置画像として、ランドマーク設定できる。ランドマーク設定された画像の画像IDは、観察内容記録部64にランドマーク画像の画像IDとして記録され、タイムバー120上の候補画像の撮影位置に、小腸の開始位置であることを示すマークが付加される。ユーザは、まず図7に示す候補画像一覧画面でランドマーク設定してから、図4に示す読影画面や図5に示すオーバービュー画面で画像観察を行ってもよい。
【0073】
図8は、内視鏡画像の読影画面の別の例を示す。表示制御部42は、タイムバー120の下方に、候補画像の撮影時刻を示す指標134を中括弧として表示する。中括弧の指標134が表示されることで、ユーザは、候補画像を撮影した可能性の高い画像の範囲を認識できる。
【0074】
図9は、内視鏡画像の読影画面のさらに別の例を示す。表示制御部42は、タイムバー120の下方に、タイムバー120に隣接する部位バー142を表示する。部位バー142は、タイムバー120と同じ長さの横長矩形のバーであり、再生領域100に表示されている内視鏡画像が、胃、小腸または大腸の各部位の内視鏡画像であるか、または候補画像であるか識別できるような態様で表示される。たとえば部位バー142において、胃に対応する部分142a、小腸に対応する部分142b、大腸に対応する部分142cおよび境界に対応する部分142dがそれぞれ異なる色で表示されてもよい。
【0075】
以上説明した第1の実施の形態に係る内視鏡画像観察支援システム1によると、判別確度をクラスタリングすることにより、部位の境界を探すべき範囲が特定される。これにより、読影者は部位の境界を容易に見つけることができる。
【0076】
(第2の実施の形態)
図10は、候補画像特定処理のフローチャートを示す。図10は、第1の実施の形態の図3に対応する。第1の実施の形態に係る内視鏡画像観察支援システム1との主な違いは、候補画像特定部38による処理である。以下、第1の実施の形態に係る内視鏡画像観察支援システム1との違いを中心に説明する。
【0077】
S14までは図3と同様であるため、S26から説明する。特定部54は、複数のクラスタの中から、境界クラスタを特定する(S26)。具体的に特定部54は、複数のクラスタのそれぞれの代表ベクトルと各標準基底ベクトルとの内積を算出し(S260)、クラスタごとに内積を合計する(S262)。特定部54は、内積の合計が小さいものから順に(K−N)個のクラスタを、すなわち判定対象の部位に対応するクラスタの数を除いた数のクラスタを、境界クラスタとして特定する(S264)。特定部54は、そのクラスタに分類された内視鏡画像を候補画像として特定する(S20)。
【0078】
以上説明した第2の実施の形態に係る内視鏡画像観察支援システムによれば、第1の実施の形態に係る内視鏡画像観察支援システム1と同様の効果を奏することができる。
【0079】
(第3の実施の形態)
図11は、第3の実施の形態に係る内視鏡画像観察支援システムの管理サーバ10および記録装置12の構成を示す。図11は、第1の実施の形態の図2に対応する。第1の実施の形態に係る内視鏡画像観察支援システム1との主な違いは、候補画像特定部38による処理である。以下、第1の実施の形態に係る内視鏡画像観察支援システム1との違いを中心に説明する。
【0080】
管理サーバ10は、RAW画像取得部30、画像処理部32、表示制御部42および再生処理部46を備える。画像処理部32は、赤み判定部34、画像要約処理部36、候補画像特定部38および圧縮処理部40を有する。候補画像特定部38は、判別部50および特定部54を有する。
【0081】
本実施の形態では、判別部50は、各内視鏡画像について、判別対象である各部位の内視鏡画像である確度のうち、確度が最も高い部位についての確度を、判別確度として出力する。なお、判別部50は、第1の実施の形態と同様に、各部位の内視鏡画像である確度を成分とするベクトルを出力し、その絶対値を判別確度として出力してもよい。いずれにしても判別部50は、スカラー量の判別確度を出力する。
【0082】
特定部54は、判別確度が比較的低い内視鏡画像を、具体的には判別確度が所定の閾値(0<閾値<1)を下回る内視鏡画像を候補画像として特定する。閾値には、実験や各種知見に基づき、候補画像を的確に特定できる値が設定されればよい。
【0083】
変形例では、特定部54は、所定枚数連続して閾値を上回る領域以外における内視鏡画像を、候補画像として特定してもよい。
【0084】
以上説明した第3の実施の形態に係る内視鏡画像観察支援システムによれば、第1の実施の形態に係る内視鏡画像観察支援システム1と同様の効果を奏することができる。
【0085】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0086】
(変形例1)
図12は、変形例に係る内視鏡画像観察支援システムの概要を説明するための図である。図12は、第1の実施の形態の図1に対応する。本変形例では、内視鏡画像観察支援システム1は、クラウドサーバ14をさらに備える。クラウドサーバ14は、クラウドサービス事業者が提供するサーバである。
【0087】
図13は、管理サーバ10、記録装置12およびクラウドサーバ14の構成を示す図である。図13は、第1の実施の形態の図1に対応する。管理サーバ10は、RAW画像取得部30、表示制御部42および再生処理部46を備える。クラウドサーバ14は、画像処理部32を備える。すなわち、本変形例では、管理サーバ10が画像処理部32の機能を有しない代わりに、クラウドサーバ14が画像処理部32の機能を有する。クラウドサーバ14の画像処理部32は、記録装置12に一次記憶された内視鏡RAW画像に対して、赤み画像の特定、画像要約処理、境界候補画像の特定を実施する。圧縮処理部40は、所定の情報が付加された画像ファイルを生成し、記録装置12に送信して内視鏡画像記録部60に記録させる。
【0088】
(変形例2)
変形例1では、クラウドサーバ14が候補画像特定部38のすべての機能を有する場合について説明した。クラウドサーバ14は、候補画像特定部38の一部の機能だけを有してもよい。図14は、別の変形例に係る内視鏡画像観察支援システムの管理サーバ10、記録装置12およびクラウドサーバ14の構成を示す図である。管理サーバ10の画像処理部32の候補画像特定部38は、分類部52および特定部54を有する。クラウドサーバ14は判別部50を有する。すなわち、本変形例では、管理サーバ10の画像処理部32の候補画像特定部38が判別部50の機能を有しない代わりに、クラウドサーバ14が画像処理部32判別部50の機能を有する。判別部50は、記録装置12に一次記憶された内視鏡RAW画像に対して、判別確度を出力する処理を実施する。判別部50は、出力した判別確度を、管理サーバ10の候補画像特定部38に提供する。
【符号の説明】
【0089】
1 内視鏡画像観察支援システム、 10 管理サーバ、 12 記録装置、 32 画像処理部、 38 候補画像特定部、 42 表示制御部、 50 判別部、 52 分類部、 54 特定部。
【産業上の利用可能性】
【0090】
本発明は、内視鏡画像観察支援システムに利用できる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14

【手続補正書】
【提出日】2018年9月19日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
カプセル内視鏡により撮影された複数の画像の観察を支援する観察支援システムであって、
前記複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する判別部と、
前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類する分類部と、
前記複数のクラスタの分類に基づいて、前記複数の画像の中から前記部位の境界の候補画像を特定する特定部と、
を備えることを特徴とする内視鏡画像観察支援システム。
【請求項2】
前記分類部は、前記複数の画像を、第1クラスタと、前記第1クラスタとは異なる第2クラスタと、に分類し、
前記特定部は、前記第1クラスタを前記判別対象の部位の画像が分類されたクラスタであると特定した場合、前記第2クラスタに分類された画像を前記候補画像として特定する、
ことを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項3】
前記判別対象の部位がL個(Lは1以上の整数)であるとき、
前記分類部は、前記複数の画像を(L+1)個以上のクラスタに分類する、
ことを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項4】
前記判別対象の部位が複数個であるとき、
前記判別部は、前記複数の画像のそれぞれについて、前記複数の判別対象の部位のそれぞれの画像である確度を成分に含むベクトルを判別確度として出力し、
前記特定部は、
前記複数のクラスタのそれぞれについて、分類された1以上の画像の判別確度を代表する代表ベクトルを特定し、
前記複数のクラスタのうち、前記代表ベクトルと前記複数の判別対象の部位のうちの或る部位に対応する標準基底ベクトルとの内積が最大になるクラスタを、その部位の画像が分類されたクラスタとして特定する、
ことを特徴とする請求項に記載の内視鏡画像観察支援システム。
【請求項5】
前記判別対象の部位が複数個であるとき、
前記判別部は、前記複数の画像のそれぞれについて、前記複数の判別対象の部位のそれぞれの画像である確度を成分に含むベクトルを判別確度として出力し、
前記特定部は、
前記複数のクラスタのそれぞれについて、分類された1以上の画像の判別確度を代表する代表ベクトルを特定し、
前記複数のクラスタのうち、前記代表ベクトルと前記複数の判別対象の部位のそれぞれに対応する各標準基底ベクトルとの内積の合計が小さいものから順に所定数のクラスタを、前記候補画像が分類されたクラスタとして特定する、
ことを特徴とする請求項に記載の内視鏡画像観察支援システム。
【請求項6】
前記複数の画像のそれぞれの撮影開始時刻からの相対的な時間情報および判別確度に基づいて、前記複数の画像を前記複数のクラスタに分類することを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項7】
前記判別部は、前記複数の画像のそれぞれについて、少なくとも胃、小腸、大腸のいずれかの画像である確度を示す判別確度を出力することを特徴とする請求項1に記載の内視鏡画像観察支援システム。
【請求項8】
前記特定部により特定された前記候補画像に関する情報を表示部に表示させる表示制御部をさらに備えることを特徴とする請求項に記載の内視鏡画像観察支援システム。
【請求項9】
前記表示制御部は、前記特定部により特定された前記候補画像を表示部に一覧表示させることを特徴とする請求項8に記載の内視鏡画像観察支援システム。
【請求項10】
前記表示制御部は、一端を撮影開始時刻、他端を撮影終了時刻とするタイムバーを表示するとともに、前記候補画像に対応する指標をタイムバーに対応付けて表示させることを特徴とする請求項8に記載の内視鏡画像観察支援システム。
【請求項11】
前記表示制御部は、各撮影時刻における画像が、所定部位の画像または前記候補画像であることを表示するバーを、画像の撮影時刻に対応付けて表示させることを特徴とする請求項8に記載の内視鏡画像観察支援システム。
【請求項12】
カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の前記画像である確度を示す判別確度に基づいて、前記複数の画像が複数のクラスタに分類され、前記複数のクラスタの分類に基づいて前記複数の画像の中から特定された部位の境界の候補画像に関する情報を、表示部に表示させる表示制御部を備えることを特徴とする内視鏡画像観察支援装置。
【請求項13】
カプセル内視鏡により撮影された複数の画像のそれぞれについて出力された判別対象の部位の画像である確度を示す判別確度に基づいて、前記複数の画像が複数のクラスタに分類され、表示部に表示させるために、前記複数のクラスタの分類に基づいて前記複数の画像の中から部位の境界の候補画像を特定する特定部を備えることを特徴とする内視鏡画像観察支援装置。
【請求項14】
カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力するステップと、
前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類するステップと、
前記複数のクラスタの分類に基づいて、前記複数の画像の中から部位の境界の候補画像を特定するステップと、
を含むことを特徴とする内視鏡画像観察支援方法。
【請求項15】
カプセル内視鏡により撮影された複数の画像のそれぞれについて、判別対象の部位の画像である確度を示す判別確度を出力する機能と、
前記判別確度に基づいて、前記複数の画像を複数のクラスタに分類する機能と、
前記複数のクラスタの分類に基づいて、前記複数の画像の中から部位の境界の候補画像を特定する機能と、
をコンピュータに実行させることを特徴とする内視鏡画像観察支援プログラム。
【国際調査報告】