特許 5748369 生体内カメラ装置とその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5748369

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】生体内カメラ装置とその制御方法

(51)【国際特許分類】

   A61B 1/04 20060101AFI20150625BHJP

   A61B 1/00 20060101ALI20150625BHJP

   H04N 5/343 20110101ALI20150625BHJP

【ＦＩ】

   A61B1/04 370

   A61B1/00 320B

   H04N5/335 430

【請求項の数】22

【全頁数】23

(21)【出願番号】特願2013-510070(P2013-510070)

(86)(22)【出願日】2011年3月21日

(65)【公表番号】特表2013-529950(P2013-529950A)

(43)【公表日】2013年7月25日

(86)【国際出願番号】US2011000526

(87)【国際公開番号】WO2011142794

(87)【国際公開日】20111117

【審査請求日】2014年3月19日

(31)【優先権主張番号】12/776,434

(32)【優先日】2010年5月10日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】508218589

【氏名又は名称】カプソ ビジョン， インコーポレイテッド

【氏名又は名称原語表記】ＣＡＰＳＯ ＶＩＳＩＯＮ， ＩＮＣ．

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(72)【発明者】

【氏名】リ，チュン−タ

(72)【発明者】

【氏名】ワン，カン−ファイ

(72)【発明者】

【氏名】ウィルソン，ゴードン・シイ

【審査官】 安田 明央

(56)【参考文献】

【文献】 特表２００９−５１３２８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０１７０８４６（ＵＳ，Ａ１）

【文献】 特表２００４−５２１６６２（ＪＰ，Ａ）

【文献】 特開２００９−１７２２８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ａ６１Ｂ ５／０６−５／２２

(57)【特許請求の範囲】

【請求項1】

カプセルカメラを制御するための方法であって、
（ａ）光源に第１の光源制御を適用して内腔壁を照らす段階と、
（ｂ）カプセルカメラのイメージセンサから画像データを受信して、第１のフレームを得る段階と、
（ｃ）前記第１のフレーム及び以前に取得したフレームに関連する動きメトリックを、動きベクトル、フレーム差分の絶対差、フレーム差分平均二乗誤差、全分散、重心、大きな差異を有するピクセル数、又はゼロ値動きベクトル数に基づいて評価する段階と、
（ｄ）動きメトリックのプロファイルに基づいて、次の画像データに関する作動モードを取得モード及び節約モードを含むグループから選択する段階と、
を含み、前記取得モードは、前記プロファイルが前記第１のフレームと前記以前に取得したフレームとの間の動き量が閾値を超えることを示す場合に選択され、さもなければ前記節約モードが選択され、現行の画像データは、前記節約モードの場合、空間的に低減された解像度及び／又は空間的に縮小されたサイズでバッファリングされ、ステップ（ａ）から（ｄ）はカプセルカメラ内部で実行されるようにされ、さらに、
前記作動モードは前回のモードに基づいて動的に設定される方法。

【請求項2】

前記動きメトリックを評価する段階は、前記第１のフレームの一部と前記以前に取得したフレームの一部に基づく、請求項１に記載の方法。

【請求項3】

前記第１のフレームの一部は、前記イメージセンサを設定することでもたらされる、請求項２に記載の方法。

【請求項4】

前記第１のフレームの一部は、処理モジュールを使用して前記受信画像データを処理することでもたらされる、請求項２に記載の方法。

【請求項5】

前記作動モードは、前記カプセルカメラ内の第１のメモリ及び前記カプセルカメラの外側の第２のメモリからなるグループから選択される記憶装置に記憶される、請求項１に記載の方法。

【請求項6】

前記取得モードは、（ｅ）前記次の画像データから得た最大解像度及び最大サイズのフレームを、前記カプセルカメラ内のメモリ及び前記カプセルカメラの外側のメモリからなるグループから選択される保存メモリに記憶する段階を更に含む、請求項１に記載の方法。

【請求項7】

前記取得モードは、
（ｆ）前記次の画像データを前記イメージセンサから受信して新しい現行フレームを得る段階と、
（ｇ）前記新しい現行フレーム及び前記以前に取得したフレームに関する第２の動きメトリックを評価する段階と、
（ｈ）前記第２の動きメトリックのプロファイルに基づいて、前記新しい現行フレームに続くフレームに関する新しい作動モードを選択する段階であって、前記プロファイルが、前記新しい現行フレームと前記以前に取得したフレームとの間の動き量が第２の閾値を超えることを示す場合は前記取得モードを選択し、さもなければ節約モードを選択する段階と、
（ｉ）前記新しい現行フレームに続く前記フレームを得られた最大サイズ及び最大解像度のフレームで保存メモリに記憶する段階と、
を更に含む、請求項１に記載の方法。

【請求項8】

前記取得モードは、
（ｊ）前記新しい作動モードが節約モードの場合は前記次の画像データを破棄する段階、
を更に含む、請求項７に記載の方法。

【請求項9】

前記新しい画像データは、バッファメモリに圧縮形式でバッファリングされる、請求項７に記載の方法。

【請求項10】

前記節約モードは、
（ｋ）以下のグループから選択した段階を処理する段階であって、該段階は、
（ｉ）前記イメージセンサが前記次の画像データを出力しないように前記イメージセンサを設定する段階、
（ｉｉ）前記次の画像データを前記イメージセンサから受信して、前記次の画像データを破棄する段階、
（ｉｉｉ）前記次の画像データを前記イメージセンサから受信して、前記次の画像データを縮小サイズ及び／又は低い解像度で記憶する段階、
を更に含む、請求項７に記載の方法。

【請求項11】

前記節約モードは、
（ｌ）前記次の画像データを前記イメージセンサから受信する段階の前に、前記新しい画像データに関して、前記イメージセンサを縮小した画像サイズ及び／又は低い解像度をもたらすように設定する段階、
を更に含む、請求項１０に記載の方法。

【請求項12】

前記節約モードは、
（ｍ）前記光源に第２の光源制御を適用して照明エネルギを低減する段階、
を更に含む、請求項７に記載の方法。

【請求項13】

前記第１の光源制御及び前記第２の光源制御は、乗算型照明エネルギ制御を含む、請求項１２に記載の方法。

【請求項14】

前記動きメトリックのプロファイルは、現行フレーム及び少なくとも１つの以前のフレームに対応する動きマトリックスを含む、請求項１に記載の方法。

【請求項15】

カプセルカメラ装置であって、
前記カプセルカメラ内の、画像データを提供するためのイメージセンサと、
前記カプセルカメラ内の、前記画像データから第１のフレーム及び第２のフレームを得るための処理モジュールと、
前記カプセルカメラ内の、前記第１のフレーム及び以前に取得したフレームに基づいて、動きベクトル、フレーム差分の絶対差、フレーム差分平均二乗誤差、全分散、重心、大きな差異を有するピクセル数、又はゼロ値動きベクトル数に基づく動きメトリックを計測する動き評価モジュールと、
保存制御に従ってフレームを記憶する保存メモリと、
前記カプセルカメラ内の、前記動きメトリックのプロファイルに基づいて前記第２のフレームに関する作動モードを取得モード及び節約モードを含むグループから選択する決定モジュールと、
前記カプセルカメラ内の、選択した作動モードに基づいて前記保存制御をもたらすコントローラと、
を備え、前記プロファイルが前記新しい現行フレームと前記以前に取得したフレームとの間の動き量が第２の閾値を超えることを示す場合は、前記取得モードを選択し、さもなければ節約モードを選択し、前記節約モードの場合、現行の画像データは、空間的に低い解像度及び／又は空間的に縮小したサイズでバッファリングされ、さらに、
前記作動モードは前回のモードに基づいて動的に設定される、カプセルカメラ装置。

【請求項16】

前記第２のフレームに関して前記取得モードが選択される場合、
動き評価モジュールは、前記第２のフレーム及び第２の以前に取得したフレームに関する第２の動きメトリックを評価するように構成され、
前記コントローラは、前記第２の動きメトリックのプロファイルが、前記第２のフレームと前記第２の以前に取得したフレームとの間の動き量が第２の閾値を超えることを示す場合、前記第２のフレームを最大サイズ及び最大解像度で記憶させるように構成される、請求項１５に記載のカプセルカメラ装置。

【請求項17】

前記コントローラは、前記第２の動きメトリックのプロファイルが、前記第２のフレームと前記第２の以前に取得したフレームとの間の動き量が第２の閾値を超えないことを示す場合、前記第２のフレームを破棄するように構成される、請求項１６に記載のカプセルカメラ装置。

【請求項18】

前記第２のフレームに関して節約モードが選択された場合、前記コントローラは、前記第２のフレームを前記保存メモリに縮小サイズ及び／又は低い解像度で記憶させるか、又は前記第２のフレームを保存メモリに記憶させない保存制御をもたらす、請求項１５に記載のカプセルカメラ装置。

【請求項19】

前記動き評価モジュールは、前記第１のフレームの一部及び前記以前に取得したフレームの一部に基づいて動きメトリックを計測する、請求項１５に記載のカプセルカメラ装置。

【請求項20】

カプセルカメラ装置であって、
前記カプセルカメラ内の、画像データを提供するためのイメージセンサであって、画像サイズ及び／又は解像度は、該イメージセンサに適用されるセンサ制御に従って調整できるイメージセンサと、
前記カプセルカメラ内の、前記画像データに関連する前記第１のフレーム及び以前に取得したフレームに基づいて、動きベクトル、フレーム差分の絶対差、フレーム差分平均二乗誤差、全分散、重心、大きな差異を有するピクセル数、又はゼロ値動きベクトル数に基づく動きメトリックを計測する動き評価モジュールと、
前記カプセルカメラ内の、前記動きメトリックのプロファイルに基づいて前記画像データに関連する第２のフレームに関する作動モードを取得モード及び節約モードを含むグループから選択する決定モジュールと、
前記カプセルカメラ内の、選択した作動モードに基づいて前記センサ制御をもたらすコントローラと、
を備え、前記プロファイルが、前記新しい現行フレームと前記以前に取得したフレームとの間の動き量が第２の閾値を超えることを示す場合は、前記取得モードを選択し、さもなければ節約モードを選択し、前記節約モードの場合、前記センサ制御は、前記イメージセンサに空間的に低い解像度及び／又は空間的に縮小したサイズの画像データを出力させ、さらに、
前記作動モードは前回のモードに基づいて動的に設定される、カプセルカメラ装置。

【請求項21】

前記第２のフレームに関して節約モードが選択される場合、前記コントローラは、イメージセンサに縮小サイズ及び／又は低い解像度の画像を出力させて第２のフレームを形成するか、又はイメージセンサに画像データを出力させないで前記第２のフレームを形成するセンサ制御を提供する、請求項２０に記載のカプセルカメラ装置。

【請求項22】

前記動き評価 モジュールは、前記第１のフレームの一部及び前記以前に取得したフレームの一部に基づいて動きメトリックを計測する、請求項２０に記載のカプセルカメラ装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本発明 は、２００６年９月１９日出願の米国特許出願番号１１／５３３，３０４「Ｉｎ Ｖｉｖｏ Ａｕｔｏｎｏｍｏｕｓ Ｃａｍｅｒａ ｗｉｔｈ Ｏｎ−Ｂｏａｒｄ Ｄａｔａ Ｓｔｏｒａｇｅ ｏｒ Ｄｉｇｉｔａｌ Ｗｉｒｅｌｅｓｓ Ｔｒａｎｓｍｉｓｓｉｏｎ ｉｎ Ｒｅｇｕｌａｔｏｒｙ Ａｐｐｒｏｖｅｄ Ｂａｎｄ」、及び２００７年１月１６日出願の米国特許出願番号１１／６２３，６０１「Ｌｉｇｈｔｉｎｇ Ｃｏｎｔｒｏｌ Ｆｏｒ Ｉｎ Ｖｉｖｏ Ｃａｐｓｕｌｅ Ｃａｍｅｒａ」の一部継続出願である、２０１０年５月１０日出願の米国特許出願番号１２／７７６，４３４「Ｉｍａｇｅ Ｃａｐｔｕｒｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｉｎ Ｖｉｖｏ Ｃａｍｅｒａ」の継続出願であり、その優先権を主張するものである。

【0002】

（技術分野）
本発明は、人体内の画像診断に関する。詳細には、本発明は、オンボード記憶装置又は無線伝送装置を有するカプセルカメラの画像取得制御に関する。

【背景技術】

【0003】

体腔又は生体内通路をイメージングする装置は従来から公知であり、内視鏡及び自律カプセル化カメラを含む。内視鏡は、開口部又は外科的開口を通って人体に入る。一般的には口腔から食道又は直腸から結腸に入る可撓性又は硬質チューブである。画像は、レンズを用いて遠位端で形成され、レンズリレーシステム又はコヒーレント光ファイバ束のいずれかによって体外の近位端に伝送される。概念的に類似の機器は、例えばＣＣＤ又はＣＭＯＳアレイを用いて画像を遠位端で電子的に記録して、画像データを電気信号としてケーブル経由で近位端に伝送することができる。内視鏡により、医師は視野をコントロールすることができ、これは広く受け入れられている診断ツールである。しかしながら、内視鏡には患者へのリスクをもたらす多くの制限があり、患者には侵襲的で不快であり、そのコストが通常の健康スクリーニング手段としての応用を制限している。

【0004】

複雑な通路を移動するのが難しいので、内視鏡は小腸の大部分に到達できず、結腸全体に到達するためには、コストのかかる特殊な技術及び予防策が必要となる。内視鏡リスクとしては、横切る体部器官の穿孔の可能性、及び麻酔による厄介な問題を挙げることができる。更に、施術時の患者の痛みと、健康上のリスクと、麻酔に関連する施術後のダウンタイムの間のトレードを行う必要がある。内視鏡は、必然的な入院患者へのサービスではなく、臨床医の多大の時間を必要とするのでコストがかかる。

【0005】

これらの多くの問題を解決する他の生体内イメージセンサは、カプセル内視鏡である。カメラは、主としてデジタルカメラが記録した画像を含むデータを体外の基地局の受信器又は送受信器及びデータ記録装置に伝送するための無線送信器と一緒に内服用カプセルに収容される。また、カプセルは、基地局の送信器から命令又は他のデータを受信する無線受信器を含むことができる。無線通信の代わりに、低周波電磁信号を使用することができる。電力は、外部インダクタからカプセル内の内部インダクタに誘導的に供給するか、又はカプセル内のバッテリから供給することができる。

【0006】

オンボードデータ記憶装置を有する自律カプセルカメラシステムは、２００６年９月１９日出願の米国特許出願番号１１／５３３，３０４「Ｉｎ Ｖｉｖｏ Ａｕｔｏｎｏｍｏｕｓ Ｃａｍｅｒａ ｗｉｔｈ Ｏｎ−Ｂｏａｒｄ Ｄａｔａ Ｓｔｏｒａｇｅ ｏｒ Ｄｉｇｉｔａｌ Ｗｉｒｅｌｅｓｓ Ｔｒａｎｓｍｉｓｓｉｏｎ ｉｎ Ｒｅｇｕｌａｔｏｒｙ Ａｐｐｒｏｖｅｄ Ｂａｎｄ」に開示される。この出願は、特定のフレームバッファに記憶された各画像の一部を用いて行う動き検出を開示している。１つの実施形態において、２つのパーシャルフレームバッファは、現行画像と参照画像のそれぞれの限定バージョンに関してオペランドバッファとして使用する。参照フレームバッファは、以前に記憶又は送信したデジタル画像を含むものに対応する。オペランド部分フレームバッファ内の画像が記憶されていないと判定されると、このパーシャルフレームバッファは、動き検出される次のデジタル画像で上書きできる。さもなければ、オペランドパーシャルフレームバッファは、次の参照パーシャルフレームバッファに指定されることになり、最新の参照パーシャルフレームバッファは次のオペランドパーシャルフレームバッファに指定される。前記出願において、２つの部分画像の間の動きの程度を計測するメトリックは、対象画像を取り込むか否かに関する、又は対象画像の適切な圧縮比率の決定に関する閾値を比較するために使用される。

【0007】

米国特許出願番号１１／６２３，６０１「Ｌｉｇｈｔｉｎｇ Ｃｏｎｔｒｏｌ ｆｏｒ Ｉｎ Ｖｉｖｏ Ｃａｐｓｕｌｅ Ｃａｍｅｒａ」は、画像を評価した画像パラメータに基づいて光源照明を調整するための方法及びシステムを開示する。更に、本特許出願は、カプセルカメラの動きを検出するために２つの画像の抽出パラメータ値を比較する動き検出回路を開示する。カプセルカメラシステムのコントローラは、カプセルカメラを動き検出の結果に基づいてアクティブモード及びモニタモードに操作するようになっている。しかしながら、この特許出願では、追加のカプセルカメラとしてのイメージセンサの制御を記憶装置及び／又は消費電力の節約のために調整するようにはなっていない。

【0008】

２００９年８月１９日出願の米国特許出願番号１２／５４３，５０８「Ｉｍａｇｅ Ｃａｐｔｕｒｅ Ｃｏｎｔｒｏｌ ｆｏｒ ｉｎ Ｖｉｖｏ Ａｕｔｏｎｏｍｏｕｓ Ｃａｍｅｒａ」は、オンボードデータ記憶装置又は無線伝送装置を備えた他のカプセルカメラシステムを開示する。本出願は、オンボード画像記憶装置又は無線送信器を備えるカプセルカメラの画像取得パラメータを調整する適応的及び動的方法を開示する。動きの程度を計測するメトリックは、最初に現行画像のパーシャルフレーム及び以前取得した画像フレームから計算する。メトリックは、パラメータセットと比較して対象画像に関する適切なアクションを決定する。

【0009】

前述の各出願は、動き検出及び動き予測を使用していくつかの不要な画像取得を無くし、高価なオンボード記憶装置を不要とし、バッテリ電力を削減するが、カメラ取得制御装置の他の態様に完全に対処していない。例えば、動きが全く検出されなかった場合、又は僅かな動きしか検出されなかった場合、取得画像は、最大の空間解像度とする必要はない。更に、光源の照明エネルギも取得画像の品質に影響を与え、記憶装置及び電力消費要件に影響を与える。照明エネルギは、光源の光度と露光時間の積で表される。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】米国特許出願番号１１／５３３，３０４

【特許文献2】米国特許出願番号１１／６２３，６０１

【特許文献3】米国特許出願番号１２／５４３，５０８

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明は、動きメトリックに基づいて取得制御の前記問題点を解決することを目的としている。

【課題を解決するための手段】

【0012】

本発明は、光源を準備して腔壁を照らし、光源で照らした光景に対応した画像データをメージセンサから受信することで、カプセルカメラを制御するための方法及びシステムを提供する。受信した画像データは動きメトリック評価のために使用し、動きメトリック評価は、現行フレーム及び以前のフレームに関連する画像データに基づく。動きメトリックプロファイルを使用して、取得モード及び節約モードを含むグループから作動モードを選択して決定する。選択したモードに応じて、対応する光源制御を光源に適用して画像の取得に必要な所望の照明を得る。随意的な画像クロッピング／空間サブサンプリングモジュールを使用して、動きメトリック評価のために画像サイズを縮小することができる。バッファメモリを使用して現行フレームに関する画像データをバッファリングすることができる。取得モードを選択した場合、現行フレームに関する画像データは、保存メモリに記憶することができる。この取得制御別の実施形態において、追加の（Ｎ−１）フレームを取得することができ、Ｎは１よりも大きい整数である。光源制御を適用して光源が十分な照明エネルギを供給して内腔壁を照らし、センサから画像データを受信して保存メモリに記憶することができる。前述の手順は、（Ｎ−１）回だけ繰り返すことができる。節約モードを選択した場合、光源制御は、光源の照明エネルギを実質的に低下させて電力を節約することができ、実質的に照明エネルギを低下させることは、光源をＯＦＦするモードを含み、及び／又はイメージセンサは、パーシャルフレーム出力を生じるように構成することができる。光源の照明エネルギは、出力光強度を調整すること、露光時間を調整すること、又はこれらを組み合わせることで制御できる。到来画像は破棄すること、つまり記憶しないことができる。節約モードは、Ｍフレームに適用でき、Ｍはゼロに等しいか又はそれ以上の整数とすることができる。到来画像を破棄する代わりに、節約モードは、別の方法で、到来画像を実質的に低減された照明エネルギ及び／又はパーシャルフレームを用いて低品質で記憶することができる。取得制御処理モジュールが動きメトリックを評価して作動モードを決定するフェーズは、動き評価フェーズと呼ぶ。取得モード又は節約モードに対応する処理が終了すると、取得制御は、動き評価フェーズに戻ることになり、この処理は繰り返される。

【0013】

本発明の別の実施形態において、処理モジュールを使用する代わりに、イメージセンサは、動き評価フェーズの間にパーシャルフレーム出力をもたらすように構成される。システムハードウェアリソースを節約するために、現行フレームに関する画像データは、メモリにバッファリングしない。取得モードが選択されると、光源制御及びイメージセンサ制御を適用して画像を高品質で取得することになる。取得モードにおいて、Ｎフレームを取得することになるが、Ｎはゼロよりも大きい整数である。節約モードが選択されると、光源制御を適用して光源の照明エネルギを実質的に低下させることになり、及び／又はイメージセンサはパーシャルフレーム出力をもたらすか又はフレームを出力しないように構成できる。到来画像は破棄すること、つまり記憶しないことができる。節約モードは、Ｍフレームに適用でき、Ｍはゼロに等しいか又はそれ以上の整数とすることができる。到来画像を破棄する代わりに、節約モードは、別の方法で到来画像を記憶することができる。

【0014】

この取得制御法による別の実施形態において、動き評価は、カプセルカメラ内部のモジュールの代わりに外部処理装置を使用して行い、画像データは、動きメトリック評価のために外部処理装置に送信される。また、外部処理装置は、動きメトリックのプロファイルに基づいて作動モードを決定できる。次に、決定した作動モードは取得制御処理モジュールに戻されて、カプセルカメラシステムは受信した作動モードに従って作動することになる。

【0015】

本発明の実施形態によるカプセルカメラ装置が開示される。カプセルカメラ装置は、光強度を調整するための光源制御を受信するように接続され、第１の光源制御が適用される光源と、画像バッファに接続されて画像データを提供するイメージセンサと、画像バッファに接続され現行フレーム及び以前のフレームに関連する画像データに基づいて動きメトリックを計測する動き評価モジュールと、動きメトリックのプロファイルに基づいて作動モードを選択する決定モジュールとを備える。また、本発明の実施形態による別のカメラ装置が開示される、カプセルカメラ装置は、光強度を調整するための光源制御を受信するように接続され、第１の光源制御が適用される光源と、イメージセンサ制御を受信するように接続されるイメージセンサであって、イメージセンサ制御はイメージセンサを調整するものであり、イメージセンサは画像バッファに接続されて画像データを提供し、イメージセンサ制御はイメージセンサに適用されるようになっているイメージセンサと、画像バッファに接続され現行フレーム及び以前のフレームに関連する画像データに基づいて動きメトリックを計測する動き評価モジュールと、動きメトリックのプロファイルに基づいて作動モードを選択する決定モジュールとを備える。

【0016】

本発明の前記及び他の目的、特徴、及び利点は、添付図面を参照する以下の好ましい実施形態の詳細な説明から理解できるはずである。

【図面の簡単な説明】

【0017】

【図1A】１つの実施形態による、オンボード記憶装置を有するカプセルカメラシステムの１つの実施例を示す。

【図1B】別の実施形態による、無線送信器／受信器を有するカプセルカメラシステムの１つの実施例を概略的に示す。

【図2】１つの実施形態による取得制御処理モジュールの例示的なブロック図を示し、画像クロッピング／空間サブサンプリングモジュールを使用している。

【図3】１つの実施形態による取得制御処理モジュールの別の例示的なブロック図を示し、イメージセンサは、イメージセンサ制御に従って出力画像サイズを調整できる。

【図4A】１つの実施形態による取得制御処理モジュールの例示的なブロック図を示し、画像クロッピング／空間サブサンプリングモジュールを使用し、動き評価は外部の処理装置で行うようになっている。

【図4B】１つの実施形態による取得制御処理モジュールの別の例示的なブロック図を示し、イメージセンサは、イメージセンサ制御に従って出力画像サイズを調整でき、動き評価は外部の処理装置で行うようになっている。

【図5】１つの実施形態による取得モード及び節約モードをもたらす取得制御作動を示すフローチャートである。

【図6A】１つの実施形態による取得制御作動の実施例を示すフローチャートであり、画像クロッピング／空間サブサンプリングモジュールを使用している。

【図6B】１つの実施形態による、取得モードにおいて追加の（Ｎ−１）フレームを取得するためのルーティンの実施例を示すフローチャートであり、Ｎ＞１である。

【図6C】１つの実施形態による、節約モードにおいてＭフレームを処理するためのルーティンの実施例を示すフローチャートである。

【図6D】別の実施形態による取得制御作動の実施例を示すフローチャートであり、画像クロッピング／空間サブサンプリングモジュールを使用している。

【図7】別の実施形態による取得制御作動の実施例を示すフローチャートであり、イメージセンサは、動き評価フェーズの間にパーシャルフレームを出力するように構成されている。

【図8A】１つの実施形態による取得制御作動の実施例を示すフローチャートであり、動き評価及び動き評価を外部処理装置で行うために、画像クロッピング／空間サブサンプリングモジュールを使用してパーシャルフレームを提供するようになっている。

【図8B】別の実施形態による取得制御作動の実施例を示すフローチャートであり、動き評価及び動き評価を外部処理装置で行うために、画像クロッピング／空間サブサンプリングモジュールを使用してパーシャルフレームを提供するようになっている。

【図9】別の実施形態による取得制御作動の実施例を示すフローチャートであり、イメージセンサは、動き評価フェーズの間にパーシャルフレームを出力するように構成されている。

【発明を実施するための形態】

【0018】

半導体メモリは、低コスト並びに低消費電力であり、複数の供給源から容易に入手でき、フォーマット変換装置無しで特定用途向け半導体回路（ＡＳＩＣ）、センサ回路（つまり、データソース）、及びパーソナルコンピュータ（つまり、データ行き先）で互換性がある。本発明の１つの実施形態により、画像は、半導体メモリを用いて「オンボード記憶装置」に記憶できる。結腸等の領域の大量の診断画像を記憶するために、１つの実施形態による方法では、２つのフレームの間の動きメトリックを評価する。２つのフレーム間の動きが十分大きい場合、画像データは、高解像度及び／又は大きな画像サイズを用いて高品質で取得される。更に、画像圧縮技術を使用する場合、光源の照明エネルギは記憶サイズを制御するために使用できる。一般的な画像圧縮システムにおいて、照明エネルギが低いと取得画像のダイナミックレンジが狭くなり高圧縮比につながる。１つの実施形態において、システム制御は、しばらくの間、カプセルの胃腸管での移動は僅かである、又はカメラ視野内の胃腸管部分は変化しないという現実をうまく利用する。この期間では、画像を記憶する必要はないか、又は記憶スペース又は消費電力を節約するために画像は低解像度で記憶することができる。本明細書において、用語「カプセル」及び「カプセルカメラ」は同じ意味である。また、「カプセルシステム」及び「カプセルカメラシステム」も同様である。

【0019】

米国特許出願番号１１／５３３，３０４及び米国特許出願番号１２／５４３，５０８に開示するように、動き評価は、画像取得を動的に制御するために利用できる。それにもかかわらず、動き評価そのものは、著しく電力を消費する。動きメトリック計算に関連する電力消費を低減するために、パーシャルフレームを使用できる。パーシャルフレームは、画像サイズを空間的に低減することで、フルフレームから得ることができ、空間サブサンプリング又は空間クロッピングとすることができる。パーシャルフレームの使用は、動きメトリック計算に関連する電力消費の低減だけでなく、画像データをバッファリングするのに必要な記憶サイズを低減することもできる。いくつかのイメージセンサは、サイズ低減された画像データを出力する制御機構を提供する。例えば、プログラマブルレジスタセットを使用して、関心領域（ＲＯＩ）を選択することができ、開始ピクセルの位置、画像の水平サイズ及び垂直サイズを選択できる。ＲＯＩを使用すると画像クロッピングを効果的に実現できる。多くの場合、イメージセンサは、別個の水平及び垂直サブサンプリング比を使用できる空間サブサンプリング機能を提供する。通常、所望の空間サブサンプリング比を選択するようにプログラム可能なレジスタセットが存在する。例えば、２：１垂直サブサンプリング比及び４：１水平サブサンプリング比は、元のサイズの１／８のサイズに等しい画像をもたらすことができる。イメージセンサが出力画像サイズを調整するためのイメージセンサ制御をサポートしていない場合、別個の処理装置を使用して空間サブサンプリング及びクロッピングを行うことができる。

【0020】

光源の照明エネルギは、取得制御の別のパラメータとしての機能を果たすことができる。評価した動きメトリックが小さい場合、関連のフレームは記憶する必要がないか、又は低品質で記憶できる。フレームを低い照明エネルギで取得した場合。取得画像は、最大限の輝度レンジをもつ画像よりも小さな圧縮ファイルサイズをもたらす可能性のある、制限された輝度レンジをもつことになる。更に、照明エネルギが低下すると、電力消費が減少する。カプセルカメラシステムにおいて、複数光源は内腔壁を照らすために使用できる。照明エネルギは、個々の光源をＯｎ／Ｏｆｆすることで調整できる。また、照明エネルギは、光源に供給する電圧又は電流、又は露光時間を調整することで、又は両者の組み合わせを調整することで制御できる。例えば、光源としてＬＥＤを使用する場合、ＬＥＤに供給する電流は、ＬＥＤの光強度を制御するために制御できる。もしくは、光源の露光時間は、照明エネルギを低下させるために短くすることができる。いくつかの光源は、供給電圧によって光強度を調整できる。本明細書において、個々の光源のＯｎ／Ｏｆｆによる照明エネルギの調整は、倍数因子がゼロの倍数輝度制御の特別な場合と考えられる。光源制御回路は従来から公知である。従って、光源制御に関する概略図又はブロック図は、発明を不必要に不明瞭にしないために本明細書では説明しない。

【0021】

本発明の取得制御方法の１つの実施形態において、動きメトリックは、縮小サイズの画像及び／又は電力消費を節約するために低減された照明エネルギに基づいて評価する。動き評価は、画像を取得すべきか否かを決定するために必要である。縮小画像サイズ及び／又は低減された照明エネルギは、動きメトリックを計算するのに必要な電力消費を節約しながら、動きメトリックを評価するのに十分であることが必要である。評価された動きメトリックに照らして、カメラ取得制御は、画像を取得するか否かを決定すること、及び取得する画像の品質を決定することができる。例えば、動きメトリックで示されるように、現行フレームと参照フレームとの間に実質的な差異がある場合、カメラ取得制御は、最大限の空間解像度及び最大限の照明エネルギを使用することで最大画像品質での取得を要求することができる。他方で、動きメトリックで示されるように、現行フレームと参照フレームとの間に殆ど差異がない場合、カメラ取得制御は、画像を破棄すること又は低い空間解像度及び／又は低い照明エネルギを使用することで画像を低品質で記憶することを決定できる。

【0022】

取得制御の流れは、動き評価フェーズを備えることができ、動きメトリックを評価して、評価した動きメトリックのプロファイルに応じて高品質画像を保持するか（取得モード）又は画像を無視するか（節約モード）を決定するようになっている。１つの実施例として、取得モードは、最大解像度の画像を生じることができ、内部メモリ又は画像を外部デバイスに伝送することで外部記憶装置に記憶するようになっている。節約モードにより、カプセルカメラは、実質的に光源の照明エネルギを低下させるか又は光源をＯＦＦにすることでその後のＭフレームを無視する。もしくは、節約モードは、実質的に低減された照明エネルギ又は光源ＯＦＦの状態でＭフレームを記憶できる。更に、出力画像サイズを変更するためにイメージセンサがイメージセンサ制御装置で制御できない場合、節約モードは、記憶スペースを節約するために実質的に縮小した画像サイズでこのＭフレームを記憶できる。この低品質Ｍフレームは、コンテンツを可視的にプレビューのような二次的な観察目的に利用できる。一連の画像に対して決定される作動モードは、再生時に有用な情報をもたらすことになる。従って、作動モードは、取得画像データと一緒に記憶すること又は別個に記憶することができる。また、Ｍフレームは、廃棄して記憶しないことができる。イメージセンサ制御装置は、センサが画像データを出力しないように設定でき、又は画像データはセンサから出力できる。

【0023】

動きメトリック評価は、広範囲におよぶ計算を必要とし大きな電力を消費する。このことは、動き予測法に基づく動きメトリック評価には特にあてはまる。従って、外部処理装置は、動きメトリックを評価するために使用できるが、通常、外部デバイスでは電力消費がカプセルカメラよりも問題にならない。外部処理装置を使用して動きメトリックを評価する場合、画像データを処理装置に伝送して動きメトリック評価を行う必要がある。法的に認可された帯域でのデジタル無線通信に基づく画像データの伝送は従来から公知であり、この目的に使用できる。もしくは、人体を伝送媒体として利用でき、画像データは体内から体外に伝送できる。このような技術の１つは、２００３年５月１５日出願の米国特許出願番号２００３／００９２９７３「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｂｅｔｗｅｅｎ ｉｎｓｉｄｅ ａｎｄ ｏｕｔｓｉｄｅ ｏｆ ｔｒａｎｓｍｉｓｓｉｏｎ ｍｅｄｉｕｍ ｕｓｉｎｇ ｔｒａｎｓｍｉｓｓｉｏｎ ｍｅｄｉｕｍ ａｓ ａ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｌｉｎｅ」に開示されている。この開示において、用語「無線伝送」は、高周波伝送及び人体を介した電気伝導を含む。動きメトリック評価のために伝送される画像データは、伝送帯域幅要求並びに伝送電力を低減するためにパーシャルフレームに対応することができる。

【0024】

本開示において、前述の方法及び構造の種々の実施形態及び実施例を説明する。この詳細な説明は例示的であり、限定的ではないことを理解されたい。本開示の恩恵を受ける当業者であれば他の実施形態を容易に想起することができるはずである。

【0025】

図１Ａは、１つの実施形態による体腔１００内の内服用カプセルシステム１１０を示す。例えば、体腔１００は、結腸、小腸、食道、又は胃とすることができる。カプセルシステム１１０は、遅内では完全に自律型であり、全ての要素が体液から内部構成要素を保護する防湿層をもたらすカプセルハウジング１０にカプセル化されている。照明システム１２の発光ダイオード（ＬＥＤ）からの光がカプセルハウジング１０の壁を通って体腔１００に届き、カプセル内で体腔１００の壁からの散乱光を集めて画像化できるように、カプセルハウジング１０は透明である。また、カプセルハウジング１０は、体腔１００がカプセルハウジング１０内の異物と直接接触しないように保護する。カプセルハウジング１０は、容易に飲み込めて、その後に胃腸管を通過することができる形状である。一般に、カプセルハウジング１０は、毒性のない材料で作られており、体腔内で引っかかり難いように滑らかである。

【0026】

図１Ａに示すように、カプセルシステム１１０は、照明システム１２及び光学システム１４及びイメージセンサ１６を有するカメラを含む。イメージセンサ１６で取得した画像は、取得制御処理モジュール１７で処理して、現行のフレーム及び以前のフレームに関する、カメラの光学ビュー内の画像の動きメトリックを決定するようになっている。取得制御処理モジュール１７は、デジタル信号処理装置（ＤＳＰ）又は中央処理装置（ＣＰＵ）で実行されるソフトウェア、専用ハードウェア、又はソフトウェア及びハードウェアの組み合わせで実施できる。半導体不揮発性メモリ２０を設けて画像をオンボードで記憶して、カプセルの回収後に体外のドッキングステーションで読み出すことができる。システム１１０は、バッテリ電源２４及び出力ポート２６を含むことができる。カプセルシステム１１０は、蠕動によって胃腸管の中を通って進むことができる。

【0027】

照明システム１２はＬＥＤで実施できる。図１Ａにおいて、ＬＥＤは、カメラ開口の近くに配置されるが、他の構成も可能である。また、光源は、例えば開口の後方に配置できる。また、レーザダイオード等の他の光源を使用することができる。もしくは、白色光源又は２つ又はそれ以上の狭波長帯域光源を使用することができる。白色ＬＥＤは入手可能であり、これは青色ＬＥＤ又は紫色ＬＥＤ、並びにＬＥＤ光で励起すると長い波長で発光する燐光材料を含むことができる。透光可能なカプセルハウジング１０の一部は、生体適合性ガラス又はポリマーで作ることができる。

【0028】

複数の屈折性、回折性、又は反射性レンズ要素を含むことができる光学システム１４は、イメージセンサ１６上に内腔壁の画像を形成する。イメージセンサ１６は、受け取った光強度を対応する電気信号に変換する電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）タイプの素子とすることができる。イメージセンサ１６は、単色応答性とすること、又は画像を取得できるように（例えば、ＲＧＢ又はＣＹＭ表現を使用して）カラーフィルタアレイを含むことができる。イメージセンサ１６からのアナログ信号は、デジタル形式で処理できるようにデジタル形式に変換することが好ましい。この変換は、センサ内に設けることができる（本例のように）、カプセルハウジング１０の別の場所に設けることができるアナログ−デジタル（Ａ／Ｄ）コンバータを用いて実現することができる。Ａ／Ｄユニットは、イメージセンサ１６とシステムの他の部分との間に設けることができる。照明システム１２のＬＥＤはイメージセンサ１６の作動と同期する。制御モジュール２２は、初期のシステムＯＮ及び最終画像データの読み出し等のシステムの全体動作の制御を担うことができる。取得制御処理モジュール１７及び制御モジュール２２は２つの別個のモジュールとして示すが、１つの処理装置に統合することができ、いくつかの共通要素を共有することができ、又は協調的に機能することができる。例えば、ＬＥＤの照明エネルギ制御の判断は取得制御処理モジュール１７で行うことができ、制御モジュール２２は、ＬＥＤに制御信号を供給して照明エネルギを制御するためのインタフェースを含むことができる。

【0029】

取得制御処理モジュール１７は、到来画像を選択して、限られた記憶スペースを節約するために、現行のフレームと以前のフレームとの間に十分な差異がある場合にのみ保存することができる。画像は、オンボード保存メモリシステム２０に記憶する。図１Ａに示す出力ポート２６は生体内では機能しないが、人体からカプセル回収後にワークステーションにデータを転送する。取得制御処理モジュール１７は、動きメトリックを計算するモジュールを備える。動きメトリックが示す動き量に応じて、取得制御処理装置１７は、対象画像を取得すべきか、つまり、オンボード記憶装置に記憶するか又は外部記憶装置に伝送するかを決定することになる。対象画像と以前の取得画像との間の差異が小さいために動き量が小さい場合、対象画像は記憶する必要がない、つまり対象画像を取得しない場合がある。もしくは、動き量が小さい場合には低品質画像を記憶することができる。

【0030】

保存メモリシステム２０は、１つ又はそれ以上の不揮発性半導体メモリ素子で実装できる。多くのメモリタイプを使用できるが、写真用フイルムも画像検出及び記憶のために使用できる。画像データは、動き検出等のデジタル画像処理技術に関してデジタル化されるので、デジタルデータと互換性のあるメモリ技術が選択される。勿論、平面技術を使用する半導体メモリ製品は最も使い易い。このようなメモリは安価であり、複数の供給源から入手できる。半導体メモリは、カプセルシステム１１０内のセンサ及び他の回路と電源を共用し、出力ポート２６での転送デバイスとインタフェース接続する際にデータ変換を殆ど又は全く必要としないので最も互換性がある。保存メモリシステム２０は、作動時、作動後でカプセルが体内にある間、及びカプセルが人体から出た後でデータをアップロードするまで、収集したデータを保存する。この期間は一般に数日以内である。カプセルのバッテリ電力が消耗した後でもデータを電力消費なしに保持できるので、不揮発性メモリが好ましい。好適な不揮発性メモリとしては、フラッシュメモリ、書き込み可能メモリ、プログラム可能読み出し可能メモリを挙げることができる。もしくは、保存メモリシステム２０は、揮発性及びスタティック（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）又はＶＳＲＡＭ、ＰＳＲＡＭ等の変形例）とすることができる。

【0031】

保存メモリ２０は、カプセルシステム１１０の作動を開始するための、何らかの初期化情報を保持するために使用できる（例えば、起動コード、初期レジスタ値）。従って、第２の不揮発性又はフラッシュメモリのコストを抑えることができる。不揮発性部分は、選択した取得画像を記憶するために作動時に上書きすることができる。カプセルは人体から出た後に回収される。カプセルハウジング１０を開放してアップロードデバイスを入力１６に接続し、データをコンピュータのワークステーションに伝送して記憶及び解析を行う。

【0032】

図１Ｂは、１つの実施形態による、体腔１００内の別のカプセルカメラシステム１５０を示す。図１Ｂのカプセルカメラシステムは、保存メモリ２０の代わりに送信器／受信器１２６を使用する以外は図１Ａと同じである。図ＩＢにおいて、図１Ａと同じ構成部品は同じ参照番号で示す。図１Ａでは取得画像は保存メモリ２０に記憶するが、図１Ｂでは、取得画像は、送信器／受信器１２６によって外部記憶デバイスに送信する。外部デバイスは基地局とすることができる。送信器／受信器１２６は、外部デバイスからの信号を受信することができる。以下に説明するように、送信器／受信器１２６は、動きメトリック評価のために外部デバイスに画像データを送信するために、及び外部デバイスから作動モードを受信するために使用することもできる。このような実施例において、カプセルカメラシステムは、取得画像を記憶するために保存メモリ２０を含むこともでき、外部処理装置を頼りにして動きメトリックのみを評価するようになっている。この場合、カプセルカメラシステムから外部処理装置へ送信した画像データは、動きメトリック評価目的だけである。

【0033】

図２は、１つの実施形態による、カプセル制御処理モジュール１７の実施例を示す。受信した画像データは、随意的な画像クロッピング／空間サブサンプリングモジュール２１０で処理してイメージセンサ１６からの画像データの画像サイズを縮小するようになっている。画像クロッピング／空間サブサンプリングモジュール２１０を使用すると画像サイズを縮小することができ、結果的に動きメトリックを評価するための計算要件を軽減することができる。画像クロッピング／空間サブサンプリングモジュール２１０は、空間サブサンプリングを適用して到来データの画像サイズを縮小することができる。例えば、２：１サブサンプリングは水平及び垂直方向に適用して画像データを元のサイズの１／４に縮小することができる。もしくは、画像サイズは、クロッピングによって縮小することもできる。例えば、動きメトリック評価のために、クロッピング後に中央の１／４の部分を保存することができる。空間サブサンプリング及びクロッピングの組み合わせを使用して画像サイズを縮小することもできる。画像クロッピング／空間サブサンプリングモジュール２１０は、動きメトリック評価のための計算要件を低減するのに役立つが、画像クロッピング／空間サブサンプリングモジュール２１０は、本発明を実施するために必須ではない。動き評価は最大サイズの画像データに基づくこともできるので、画像クロッピング／空間サブサンプリングモジュール２１０の使用は随意的である。随意的なクロッピング／空間サブサンプリングの後で、画像は、スイッチ２２０を経由して２つのフレームメモリ２３０ａ及び２３０ｂの一方に記憶され、フレームメモリ２３０ａ及び２３０ｂの他方には以前に記憶した画像である参照画像が記憶される。動き評価モジュール２５０は、フレームメモリ２３０及び２３０ｂから２つの画像を受信し。これに応じて動きメトリックを評価する。

【0034】

動き評価は、動き検出アルゴリズム又は動き予測アルゴリズムに基づくことができる。動き検出及び動き予測は本技術分野では公知である。種々の動き予測及び動き検出アルゴリズムを開示した文献が存在する。例えば、各ブロックに関する動きベクトルを予測するブロックベースの動き予測アルゴリズムの類いが存在し、文献には動きベクトルを効果的に計算する多数の高速アルゴリズムが報告されている。また、その画像のドミナントグローバルベクトルを予測するグローバル動き予測アルゴリズムの類いが存在する。動き予測は、２つの画像の間の差異のより詳細な記述をもたらすが、通常、動き予測は、複雑な計算を必要とする。他方で、動き検出は、２つの画像の間に大きな差異があるか否かを決めるために動きメトリックを測定する。通常、２つの画像の間の動き量を決定する必要はないので、動き検出は計算処理をあまり必要としない。動き検出は、フレーム差分の絶対差（ＳＡＤ）、フレーム差分平均二乗誤差（ＭＳＥ）、閾値よりも大きな差分を有するピクセル数及びゼロ値の動きベクトルの数の合計に基づくことができる。動きメトリックは、計算動きベクトル、グローバル動きベクトル、ＳＡＤ、ＭＳＥ、閾値よりも大きな差分を有するピクセル数、及びゼロ値の動きベクトルの数に関連することができる。

【0035】

次に、評価した動きメトリックは、作動モードを決定するための決定モジュール２４０に供給される。例えば、動きメトリックのプロファイルに応じて、決定モジュールは、取得モード又は節約モードのいずれかを選択することになる。取得モードは、動きメトリックが閾値よりも大きい場合に選択され、そうでなければ節約モードを選択する。例示的に取得モード及び節約モードを使用するが、他の作動モードを使用して本発明を実施することもできる。例えば、動きメトリックが低い閾値と高い閾値との間にある場合に低品質で画像を保存する追加の低品質取得モードを使用できる。取得モードに関して、取得制御処理モジュール１７により、画像は保存メモリ２０に記憶されることになる。決定モジュール２４０は、本例ではＬＥＤである光源に光源制御信号２６２を供給し、光源が画像取得のための十分な照明エネルギを生じるようになっている。また、決定モジュール２４０は、イメージセンサにイメージセンサ制御信号２６６を供給し、イメージセンサを光源と同期して作動させるようになっている。更に、決定モジュール２４０は、必須の保存制御信号２６４を供給して画像を保存メモリ２０に記憶させるようになっている。また、決定モジュール２４０は、到来画像データが目的とするフレームメモリ２３０ａまたは２３０ｂに書き込まれるようにスイッチ２２０を制御することができる。決定モジュール２４０が取得モードを選択した場合、現行フレームメモリの画像データは新しい参照フレームメモリとして指定されることになる。同時に、参照フレームメモリは、次の到来画像を受け取るための新しい現行フレームメモリとして指定されることになる。

【0036】

保存メモリへのデータパスは、到来画像データから、画像圧縮部２８０及びバッファメモリ２８５を通って保存書き込み制御２７０までである。記憶される到来画像データは、記憶スペースを節約するためにＪＰＥＧ規格等の随意的な画像圧縮部２８０を受けることができる。バッファメモリ２８５は画像データをバッファリングするために使用する。バッファメモリ２７０の出力は、保存書き込み回路を介して保存メモリに供給される。保存書き込み回路は、記憶目的の画像が保存メモリ２０に適切に記憶されるように保存制御信号２６４に接続される。バッファメモリ２８５は明示的ブロックとして示されるが、カプセルカメラ内の内部システムメモリに組み込むこともできる。バッファメモリ２８５のサイズ要件は、カプセルカメラの作動条件に依存する。一例として、動き評価モジュール２５０は、現行のフレーム及び以前のフレームに対応する画像データに基づいて決定を行う。決定モジュール２４０は、現行フレームの取得を決定することができる。この場合、バッファメモリ２８５内で全ての現行フレームをバッファリング、圧縮、又は解凍する必要がある。別例として、フレーム取得の決定は、次の到来フレームに対して、つまり１フレームだけ遅延させて行うことができる。この場合、到来画像データを保存メモリに書き込む前に僅かにバッファリングすることだけが必要である。ＪＰＥＧ等の圧縮を用いる場合、画像圧縮部８０内にわずか数ラインのバッファが必要となり、バッファメモリ２８５は、圧縮データが保存メモリに適切に書き込まれるように圧縮データの所定量を保存することだけが必要である。決定モジュール２４０の作動モードの選択は、現行の動きメトリックだけに代わって、現行の動きメトリック及び複数の以前の動きメトリックに基づくことができる。現行の動きメトリック並びに少なくとも１つの以前の動きメトリックは、動きメトリックのプロファイルを構成する。多くの場合、動きメトリックデータは相互関係があり、つまり、近くの動きメトリックは同じ傾向をもっている。例えば、複数の連続した小さな動きメトリックは、カプセルカメラシステムが停止している又は僅かに移動している期間であることを示すことができる。従って、決定モジュール２４０は、この状况ではより多くのフレームを破棄することを決定することができる。動きメトリックのプロファイル」の使用により、決定モジュールは更に望ましい決定を行うことができる。

【0037】

図２は、本発明の１つの実施形態による実施例を示し、別個のブロックは、フレームメモリＡ ２３０ａ及びＢ ２３０ｂ、及びバッファメモリ２８５を示す。しかしながら、当業者であれば、前述のフレームメモリＡ及びＢ、及びバッファメモリの全てがカプセルカメラ内のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ素子内に存在できることが分かる。図２において、別個のブロックはバッファ又はメモリの機能態様を示すために使用される。更に、バッファメモリ２８５は、参照フレームメモリが保存される画像データのバッファリング要件を満たす場合、フレームメモリＡ ２３０ａ及びＢ ２３０ｂと同じものとすることができる。

【0038】

図３は、別の実施形態による別の実施例のカプセル制御処理モジュール１７Ａを示す。カプセル制御処理モジュール１７Ａは、図３では画像クロッピング／空間サブサンプリングモジュール２１０を使用しない以外はカプセル制御処理モジュール１７と実質的に同じである。所望の画像サイズの選択は、通常、イメージセンサ１６の制御レジスタセットによりもたらされる。例えば、レジスタセットは、水平サブサンプリング比、垂直サブサンプリング比、及び関心領域（ＲＯＩ）の開始位置及び水平／垂直サイズを選択するために設けられる。ＲＯＩを使用すると、ＲＯＩの外側の画像を効果的に切り取ることができる。従って、画像クロッピング／空間サブサンプリングモジュール２１０を使用する代わりに、いくつかのイメージセンサは対応するレジスタをプログラミングすることで同じ機能をもたらす。

【0039】

図３の決定モジュール２４０Ａは、決定ブロック２４０Ａが、イメージセンサの出力画像サイズを制御するのに必要な情報を含むイメージセンサ制御信号２６６Ａを出力する以外は図２の決定モジュール２４０と同じである。イメージセンサ制御信号２６６Ａは、作動を制御するためにイメージセンサに結合される。例えば、動き評価フェーズにおいて、イメージセンサは、動きメトリック評価のための計算要件を低減するために、部分的な画像データを供給するようにプログラムできる。例示的に、イメージセンサのレジスタは、２：１垂直サブサンプリング、２：１水平サブサンプリング、及び１／２水平サイズ及び１／２垂直サイズを有する中心ＲＯＩを得るようプログラムできる。これにより、最大サイズの画像の１／１６の出力画像が得られる。取得モードにおいて、決定モジュール２４０Ａは、イメージセンサ制御信号２６６Ａを供給して、必要に応じてイメージセンサに最大サイズの画像を出力させることができる。節約モードにおいて、画像を記憶する必要はない。もしくは、目視確認又は他の目的で低品質画像を記憶することができる。照明エネルギは、節約モードにおいて光源をＯＦＦすることも含み、実質的に低減されことになる。更に、イメージセンサは、節約モードにおいて実質的に縮小サイズの画像を出力するように、又は全く画像を出力しないようにプログラムすることができる。例えば、イメージセンサは、イメージセンサの作動に関連する電力の節約及び記憶スペースの節約のために、最大サイズの１／６４の画像を出力するようにプログラムできる。図３に示すシステムでパーシャルフレームを使用する場合、現行フレームに対応する最大サイズの画像は利用できないであろう。従って、図３のシステムで行う取得決定は、次のフレームに適用する、つまり取得決定は１フレーム遅延形式で適用する必要がある。

【0040】

図４Ａは、１つの実施形態による別の実施例のカプセル制御処理モジュール１７Ｂを示す。カプセル制御処理モジュール１７Ｂは、動きメトリック評価を外部で行う以外は図２のカプセル制御処理モジュール１７と実質的に同じである。フレームメモリ２３０ａ及び２３０ｂの１つに入力する代わりに、画像クロッピング／空間サブサンプリングモジュール２１０で処理されたサイズ縮小画像は、送信器／受信器１２６で外部処理装置４１０に送信される。外部処理モジュール４１０は、画像データを送信器／受信器１２６Ａから受信し、この画像データをフレームメモリ２３０ａ及び２３０ｂの１つに送る。動き評価モジュール２５０及び決定モジュール２４０の機能は図２のものと同じである。決定モジュール２４０は、動きメトリックのプロファイルに応じて取得モード又は節約モードを選択する。対応する光源制御、イメージセンサ制御、及び保存制御は、決定モジュールが提供して選択されたモードを可能にするようになっている。決定モジュール２４０からの光源制御信号、イメージセンサ制御信号、及び保存制御信号は、送信器／受信器１２６Ａに供給され、カプセルカメラの取得制御処理モジュール１７Ｂに送信するようになっている。光源制御信号、イメージセンサ制御信号、及び保存制御信号は、カプセルカメラの送信器／受信器１２６が受信する、次に、各信号は取り出されて制御インタフェース４４０に供給される。次に、制御インタフェースは、光源制御信号２６２を利用して光源の照明エネルギを制御すると共に、イメージセンサ制御信号２６６を利用してイメージセンサを制御する。図４Ａは、カプセルカメラ外部の画像保存の実施例を示す。記憶されることになる到来画像は、画像送信インタフェース４２０に供給する前に、画像圧縮モジュール２８０で圧縮してバッファメモリ２８５でバッファリングすることができる。次に、画像は、送信器／受信器１２６によって基地局に置かれる外部処理装置に送信される。送信器／受信器１２６Ａは、画像を受信して保存記憶装置に供給する（図示せず）。制御インタフェース４４０で受信した保存制御信号は、画像送信制御信号２６８として使用され、保存のための画像送信を制御するようになっている。

【0041】

図４Ｂは、１つの実施形態による更に別の実施例のカプセル制御処理モジュール１７Ｃを示す。カプセル制御処理モジュール１７Ｃは、画像サイズ縮小が画像クロッピング／空間サブサンプリングモジュール２１０の代わりにイメージセンサ制御をプログラミングすることで行われる以外はカプセル制御処理モジュール１７Ｂと実質的に同じである。決定モジュール２４０Ａは、動きメトリックのプロファイルに応じて取得モード又は節約モードを選択する。対応するイメージセンサ制御、光源制御、及び保存制御は、決定モジュールが提供して選択されたモードを助長するようになっている。各制御信号は、外部処理装置４１０の送信器／受信器１２６Ａによってカプセルカメラ内の送信器／受信器１２６に送信される。制御インタフェース４４０Ａは、それぞれ制御を適用して選択された作動モードを可能にするようになっている。図４Ａ及び４Ｂは、取得画像は基地局外部記憶装置に保存される各実施形態の各実施例を示すが、オンボード保存メモリを使用して、後で取り出すために、取得画像をカプセルカメラ内に記憶することもできる。

【0042】

図５は、１つの実施形態による高レベルの作動フローチャートの実施例を示す。動き評価フェーズ５１０は、取得制御処理モジュールが到来画像を受信して、現行フレーム及び以前のフレームに基づいて動きメトリックを評価するフェーズに対応し、取得モード５３０及び節約モード５４０を含むグループから選択される作動モード５２０を決定するようになっている。次に、カプセルカメラシステムは選択されたモードで作動する。選択されたモードの作動が終了すると、カプセル制御処理モジュールは、再度、動き評価フェーズに進み、処理を繰り返す。本実施例では取得モード及び節約モードを使用するが、多くのモードを含むこともできる。例えば、低品質で取得した画像取得をもたらす低品質取得モードを使用することもできる。低品質取得モードは、低い閾値と高い閾値との間の動きメトリックに関して使用できる。１つの実施形態において、低品質取得モードは、節約モードにおいて画像を破棄する別例として扱われる。結果的に、節約モードでは、到来画像を記憶しないこと又は低品質で記憶することができる。更に、動き評価フェーズの設定は動的に変えることができる。例えば、異なるイメージセンサ制御又は異なる光源制御は、取得モード及び節約モードから戻るために設定できる。

【0043】

図６Ａは、図２のカプセル制御処理モジュール１７の作動のための詳細な例示的フローチャートを示す。ステップ６１０から６４０は、図５の動き評価モード５１０に対応する。ステップ６１０において、動きメトリックを評価するために第１の光源制御を光源に適用して内腔壁を照らす。次に、ステップ６２０において、イメージセンからの画像データを受信してバッファメモリにバッファリングする。ステップ６２５では、計算要件を低減するために到来画像をクロッピング及び／又は空間サブサンプリングすることで画像サイズが縮小された画像のコピーを生成するための随意的な処理を行う。元の最大サイズの画像は、可能性のある保存記憶装置の代わりにバッファメモリに保持することができる。前述のように、動き評価は最大サイズの画像データに基づいて行うことができるので、ステップ６２５は随意的である。ステップ６３０において、動きメトリックは、現行フレーム及び参照フレームに関連する部分的な画像データに基づいて評価する。ステップ６４０において、計算した動きメトリック並びに以前の動きメトリックを使用して作動モードを決定できる。モードはステップ６５０で調べてどちらに分岐するかを決定する。取得モードの場合、既にバッファメモリ内にある画像データを保存メモリに記憶できる。追加の（Ｎ−ｌ）フレームを取得した場合（Ｎは１よりも大きい整数）、取得手順６６０を実行することになる。節約モードの場合、ルーティン６８０を実行してＭフレームを処理するが、Ｍはゼロに等しいか又はそれよりも大きい整数である。節約モードの初期に既にバッファメモリに存在する画像データは、所望であれば、保存メモリに記憶することができる。

【0044】

図６Ｂは（Ｎ−１）フレームを取得するための取得ルーティンを示すが、ステップ６２０で既に１フレームを取得しステップ６５５で記憶している。反復法を始めるために、ブロック６５７に示すように、インデックスｉ＝１とする。ステップ６６１において、第２の光源制御を光源に適用して内腔壁を照らす。ステップ６６２において画像データをイメージセンサから受信し、ステップ６６５において、画像データを保存メモリに記憶する。ステップ６６５において、インデックス１を増加させて、ステップ６６７において、「ｉ＞（Ｎ−ｌ）？」を調べる。条件を満たす場合、ルーティンは終了する。さもなければ、処理はステップ６６０に進む。Ｎフレームの取得が必要な場合、ブロック６５６をスキップして、ブロック６６７の「ｉ＞（Ｎ−ｌ）」を「ｉ＞Ｎ？」に変更する。図６Ｃは節約モードルーティンを示し、モードはＭフレームに適用され、Ｍはゼロに等しいか又はそれよりも大きい整数である。ステップ６６８において「Ｍ＞０？」を調べる。条件を満たさない場合、処理は終了する。さもなければ、ステップ６６９において「ｊ＝１」に設定することで反復法が始まる。ステップ６７０において、第３の光源制御を光源に適用して、実質的に照明エネルギを低減するが、実質的な照明エネルギ低減は、最大照明エネルギを参照する。１つに実施例において、光源は、節約モードにおいて所定の非常に低い照明エネルギをもたらすように構成できる。また、実質的な照明エネルギの低減は、光源のＯＦＦを含むことができる。ステップ６７２において、到来画像データを受信するが、イメージセンサは、パーシャルフレーム出力を生じるように構成され、パーシャルフレーム出力は出力なしを指すことができ、次に、ステップ６７３に示すように到来画像を保存メモリに記憶する。次に、ステップ６７４において、インデクスｊを増加させてステップ６６７において「ｊ＞Ｍ？」を判断する。条件を満たす場合、ルーティンは終了し、そうでなければルーティンはステップ６７０に戻る。

【0045】

図６Ａに示す実施例は、常にイメージセンサから画像データを受信して画像データをバッファメモリにバッファリングするステップ６２０を含むが、他の方法を使用することもできる。例えば、作動が節約モードに対応するステップ６８０から戻る場合、次のフレームでは動きがない可能性が高い。従って、予測を踏まえて、次のフレームは、格納記憶装置に記憶しないことができ、節約モードから戻る状態では、最大フレーム画像データはバッファメモリにバファリングしない。また、この場合、光源制御は、節約モードで使用するのと同じであり取得モードよりも低い照明レベルをもたらすことができる。

【0046】

前述のように、動き評価フェーズは、前回のモードに基づいて設定値を動的に調整できる。例えば、前回のモードが節約モードの場合、動き評価フェーズは、イメージセンサがフルフレームの代わりにパーシャルフレームを提供するようにさせることができる。この場合、現行フレームバッファの現行フレームに対応するパーシャルフレームだけを利用できる。システムが動きメトリックのプロファイルに基づいて取得モードを選択する場合、全ての現行フレームを利用できないであろう。従って、システムは、図６Ａのステップ６５５をバイパスする必要がある。その代わりに、システムは、イメージセンサがフルフレーム画像を出力するように適切に設定して、次のフレームを取得する必要がある。図６Ｄは、本発明の別の実施形態による実施例のフローチャートを示し、節約モードに関するステップ６１０ａ及び６２０ａは、動き評価のための部分的な画像を準備する。取得モードが選択される場合、システムは、ステップ６５１に示すように処理が前回の節約モードから戻ったか否かを調べる。「Ｙｅｓ」の場合、処理は、取得する最初のフレームに関するステップ６５５が存在しないので（Ｎ−１）フレームの代わりにＮフレームを取得する以外はステップ６６０と同じ、ステップ６６０Ａを実行することになる。ステップ６５１で「Ｎｏ」の場合、処理は、ステップ６５５において最初のフレームを保存メモリに記憶して、残りの（Ｎ−１）フレームを取得して保存メモリに記憶する。

【0047】

図７は、図３のカプセル制御処理モジュール１７Ａに対応する例示的なフローチャートを示す。フローチャートは、図６Ａと実質的に同じであり、同じ参照番号は同じ機能を果たすブロックを指定する。ステップ６１０、７２０、６３０、及び６４０は、図５の動き評価フェーズに対応する。ステップ６２５のクロッピング及び／又は空間サブサンプリングを用いて画像サイズを縮小する代わりに、カプセル制御処理モジュールは、イメージセンサにステップ７２０に示すようにイメージセンサからパーシャルフレームを出力させるイメージセンサ制御を提供する。取得モードにおいて、ステップ７３０に示すように、イメージセンサに第２のイメージセンサ制御を適用する。第１のイメージセンサ制御は、実質的に縮小された画像サイズをもたらすことになり、取得モードは高品質の到来画像の取得を必要とするので、第２のイメージセンサ制御は、必要に応じて最大の画像解像度を選択する必要がある。ステップ７３０において第２のイメージセンサ制御を適用した後に、ステップ６６１において光源が通電される。次に、ステップ６６２において画像データを受信して、ステップ６６５において保存メモリに記憶する。取得モードにおいて、現行フレームに関する画像データを利用できないので、図６Ａのステップ６５５は実行しない。作動モードが節約モードの場合、ルーティン６８０は次のＭフレームを処理するが、Ｍはゼロに等しいか又はそれよりも大きい整数である。

【0048】

図８Ａは、図４Ａのカプセル制御処理モジュール１７Ｂの作動に関する詳細な例示的フローチャートを示すが、外部処理装置は、動きメトリックを評価して作動モードを決定するように組み込まれている。本フローチャートは図６Ａと実質的に同じであり、同じ参照番号は同じ機能を果たすブロックを指定する。ステップ６１０から６２５、８１０、及び８２０は、図５の動き評価フェーズに対応する。ステップ６２５のクロッピング及び空間サブサンプリングを使用する部分画像データは、ステップ８１０において外部処理装置に送信する。外部処理装置は、現行フレーム及び以前のフレームに関連する部分画像データに基づいて動きメトリックを評価して、動きメトリックのプロファイルに基づいて取得モード及び節約モードを含むグループから作動モードを選択するようになっている。次に、ステップ８２０において、カプセル制御処理モジュールは外部処理装置から作動モードを受信する。作動モードが利用可能な場合、図８の残りのステップは図６Ａと同じである。画像データを保存メモリに記憶することは、外部受信器への伝送を含むことができる。図８Ｂは、図８Ａと類似の本発明の別の実施形態によるフローチャートの実施例を示すが、センサは、節約モードから戻る際にパーシャルフレーム画像を出力することになる。システムが動きメトリックのプロファイルに基づいて取得モードを選択する場合、図８Ｂに示すそれぞれのアクションを起こすために節約モードから戻ったか否かを調べる必要がある。

【0049】

図９は、図４Ｂのカプセル制御処理モジュール１７Ｃの作動に関する詳細な例示的フローチャートを示すが、外部処理装置は、動きメトリックを評価して作動モードを決定するように組み込まれている。本フローチャートは図７と実質的に同じであり、同じ参照番号は同じ機能を果たすブロックを指定する。ステップ６１０、７２０、８１０、及び８２０は、図５の動き評価フェーズに対応する

【0050】

前述の詳細な説明は本発明の特定の実施形態を示すものであり限定的ではない。本発明の範疇で多数の変形例が可能である。本発明は、請求項に記載する。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8A】

【図8B】

【図9】