特表 2017-501005 広視野網膜画像取得システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2017-501005(P2017-501005A)

(43)【公表日】2017年1月12日

(54)【発明の名称】広視野網膜画像取得システム及び方法

(51)【国際特許分類】

   A61B 3/14 20060101AFI20161216BHJP

【ＦＩ】

   A61B3/14 K

【審査請求】未請求

【予備審査請求】未請求

【全頁数】28

(21)【出願番号】特願2016-560879(P2016-560879)

(86)(22)【出願日】2014年12月23日

(85)【翻訳文提出日】2016年8月19日

(86)【国際出願番号】US2014072077

(87)【国際公開番号】WO2015100294

(87)【国際公開日】20150702

(31)【優先権主張番号】61/919,941

(32)【優先日】2013年12月23日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US

(71)【出願人】

【識別番号】516185123

【氏名又は名称】アールエスビーブイ，リミティド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】デイビッド ヘンリクセン

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AB16

4C316FA08

4C316FB03

4C316FB13

4C316FB23

4C316FB26

4C316FB29

4C316FC04

4C316FC07

(57)【要約】

【課題】広視野網膜画像を生成する方法、システム及び装置。
【解決手段】システムの実施の形態は、スマートフォンカメラとすることができるカメラと、個別の網膜画像のデジタルビデオストリームを取得するとともに個別の網膜画像のビデオストリームをカメラに関連したメモリに格納する関連の光学系と、を備える。システム又は方法は、検眼中に各網膜画像を処理するとともに選択した網膜画像をリアルタイムでパノラマに結合するステップを実現する。
【選択図】図２

【特許請求の範囲】

【請求項1】

広視野網膜画像を生成する方法であって、
個別の網膜画像のビデオストリームを取得するためにカメラを制御することと、
前記個別の網膜画像のビデオストリームを前記カメラに関連したメモリに格納することと、
個別の網膜画像を縮小することと、
２値画像を生成するために、縮小された画像においてエッジ検出を行うことと、
前記２値画像の関心点を識別することと、
前記２値画像の前記関心点の相対位置を決定することと、
複数の縮小された個別の網膜画像から決定した前記関心点の相対位置をデータ構造に追加することと、
前記複数の縮小された個別の網膜画像の間の重複画像配置を決定するために、前記複数の縮小された個別の網膜画像の間の前記関心点の相対位置を比較することと、
前記縮小された個別の網膜画像に対応する最大解像度での網膜画像を、決定された重複画像配置に従ってパノラマに結合することと、
を備える方法。

【請求項2】

個別の画像が配置されている前記カメラのセンサ上の位置を決定することと、
前記個別の画像の関心領域を決定することと、
関心領域を保存するために前記個別の画像をクロップすることと、
を更に備える請求項１に記載の方法。

【請求項3】

縮小された画像の一つ以上の画像属性を測定することと、
前記縮小された画像の測定した画像属性に基づいて、不適切な画像を廃棄することと、
を更に備える請求項２に記載の方法。

【請求項4】

縮小された網膜画像が重複網膜構造を示す他の縮小された網膜画像より高い品質であるか否かを決定することと、
より低い品質の画像を廃棄することと、
を更に備える請求項３に記載の方法。

【請求項5】

結合された最大解像度での網膜画像の視野を測定することと、
指定された視野を達成すると処理を終了することと、
を更に備える請求項１に記載の方法。

【請求項6】

全てのステップが検眼中に完了する請求項５に記載の方法。

【請求項7】

網膜撮像システムであって、
カメラレンズ、照明光源、撮像チップ及び撮像電子機器を備えるスマートフォンと、
前記スマートフォンのレンズと結合するとともに網膜の画像の焦点調節を前記スマートフォンの撮像チップにおいて行う構成された追加の光学系と、
前記スマートフォンの内部の一つ以上のプロセッサと、
前記スマートフォンの内部に配置され、前記一つ以上のプロセッサによって実行されるときに前記網膜撮像システムに一つ以上の機能を実行させる命令のセットを備えるソフトウェアを記憶した一つ以上の非一時的なコンピュータ可読媒体と、
を備え、前記命令のセットは、
前記スマートフォンのカメラレンズを用いて個別の網膜画像のビデオストリームを取得するために前記スマートフォンを制御する命令と、
前記個別の網膜画像のビデオストリームをメモリに格納する命令と、
前記個別の網膜画像を縮小する命令と、
２値画像を生成するために、縮小された画像においてエッジ検出を行う命令と、
前記２値画像の関心点を識別する命令と、
前記２値画像の関心点の相対位置を決定する命令と、
複数の縮小された個別の網膜画像から決定した前記関心点の相対位置をデータ構造に追加する命令と、
前記複数の縮小された個別の網膜画像の間の重複画像配置を決定するために、前記複数の縮小された個別の網膜画像の間の前記関心点の相対位置を比較する命令と、
前記縮小された個別の網膜画像に対応する最大解像度での網膜画像を、決定された重複画像配置に従ってパノラマに結合する命令と、
を備える網膜撮像システム。

【請求項8】

前記命令のセットは、
個別の画像が配置されている前記スマートフォンの撮像チップ上の位置を決定する命令と、
前記個別の画像の関心領域を決定する命令と、
関心領域を保存するために前記個別の画像をクロップする命令と、
を更に備える請求項７に記載の網膜撮像システム。

【請求項9】

前記命令のセットは、
縮小された画像の一つ以上の画像属性を測定する命令と、
前記縮小された画像の測定した画像属性に基づいて、不適切な画像を廃棄する命令と、
を更に備える請求項８に記載の網膜撮像システム。

【請求項10】

前記命令のセットは、
縮小された網膜画像が重複網膜構造を示す他の縮小された網膜画像より高い品質であるか否かを決定する命令と、
より低い品質の画像を廃棄する命令と、
を更に備える請求項９に記載の網膜撮像システム。

【請求項11】

前記命令のセットは、
結合された最大解像度での網膜画像の視野を測定する命令と、
指定された視野を達成すると処理を終了する命令と、
を更に備える請求項７に記載の網膜撮像システム。

【請求項12】

前記命令のセットによって、全ての命令を検眼中に完了させる請求項１１に記載の網膜撮像システム。

【請求項13】

網膜撮像システムであって、
検眼鏡と、
前記検眼鏡の中に組み込まれた又は前記検眼鏡に取り付けられたデジタル撮像装置と、
前記デジタル撮像装置とデジタル通信を行う一つ以上のプロセッサと、
前記一つ以上のプロセッサとデジタル的な通信を行い、前記一つ以上のプロセッサによって実行されるときに前記網膜撮像システムに一つ以上の機能を実行させる命令のセットを備えるソフトウェアを記憶した一つ以上の非一時的なコンピュータ可読媒体と、
を備え、前記命令のセットは、
前記スマートフォンのカメラレンズを用いて個別の網膜画像のビデオストリームを取得するために前記スマートフォンを制御する命令と、
前記個別の網膜画像のビデオストリームをメモリに格納する命令と、
前記個別の網膜画像を縮小する命令と、
２値画像を生成するために、縮小された画像においてエッジ検出を行う命令と、
前記２値画像の関心点を識別する命令と、
前記２値画像の前記関心点の相対位置を決定する命令と、
複数の縮小された個別の網膜画像から決定した前記関心点の相対位置をデータ構造に追加する命令と、
前記複数の縮小された個別の網膜画像の間の重複画像配置を決定するために、前記複数の縮小された個別の網膜画像の間の前記関心点の相対位置を比較する命令と、
前記縮小された個別の網膜画像に対応する最大解像度での網膜画像を、決定された重複画像配置に従ってパノラマに結合する命令と、
を備える網膜撮像システム。

【請求項14】

前記命令のセットは、
個別の画像が配置されているスマートフォンの撮像チップ上の位置を決定する命令と、
前記個別の画像の関心領域を決定する命令と、
関心領域を保存するために前記個別の画像をクロップする命令と、
を更に備える請求項１３に記載の網膜撮像システム。

【請求項15】

前記命令のセットは、
縮小された画像の一つ以上の画像属性を測定する命令と、
前記縮小された画像の測定した画像属性に基づいて、不適切な画像を廃棄する命令と、
を更に備える請求項１４に記載の網膜撮像システム。

【請求項16】

前記命令のセットは、
縮小された網膜画像が重複網膜構造を示す他の縮小された網膜画像より高い品質であるか否かを決定する命令と、
より低い品質の画像を廃棄する命令と、
を更に備える請求項１５に記載の網膜撮像システム。

【請求項17】

前記命令のセットは、
結合された最大解像度での網膜画像の視野を測定する命令と、
指定された視野を達成すると処理を終了する命令と、
を更に備える請求項１３に記載の網膜撮像システム。

【請求項18】

前記命令のセットによって、全ての命令を検眼中に完了させる請求項１７に記載の網膜撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

著作権宣言文
この特許文献の開示の一部は、著作権保護の対象となる内容を含む。著作権の所有者は、特許文献又は特許情報開示が特許庁の特許ファイル又は特許記録において明らかになったときに特許文献又は特許情報開示を複写することに異議はないが、それ以外の場合には、いかなる全ての著作権を留保する。

【0002】

本開示は、一般的には、広視野網膜画像を取得する方法、システム、装置及びコンピュータソフトウェアに関する。

【背景技術】

【0003】

広視野網膜画像を取得することは、通常は非常に困難な処理である。人間の目の基本的な構造のために、網膜の撮影は、人間の瞳孔を通して照明を行う外部光源を用いて網膜を照明し、同時に同一の瞳孔を通して網膜画像を取得するとともに光源からのまぶしい光を回避又は最小にする必要がある。

【0004】

瞳孔拡張技術は、検査のために瞳孔を更に大きく開くことができる。それにもかかわらず、瞳孔拡張を用いても網膜の撮影に非常に正確な位置合わせを必要とする。配置される撮像システムの角膜の前面からの距離は、非常に重要であり、距離が非常に遠い又は距離が非常に近くなると、光源からの光が角膜のグレアとなる。したがって、卓上に固定された網膜撮像システムは、卓上システムによって提供される正確な位置合わせ及び向上した安定性のために、ハンドヘルドカメラより操作が著しく簡単である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

卓上網膜撮像システムは、高価であるとともに移動が困難である。したがって、卓上システムは、野外、遠隔の診療所又は専用の眼科装置のない多目的検査診療所での使用に適切でない。したがって、種々の企業及び教育機関は、網膜画像を取得することができる簡単かつ廉価なスマートフォンアタッチメントを利用する臨床試験を開発するとともに実行することを開始した。これらのアタッチメントは、スマートフォンの前面の眼科用レンズを保持する単純なブラケットからカメラの存在する光学系を用いて網膜画像を取得できるようにするためにスマートフォンのカメラに非常に近接した網膜を照明するのに適切な光源を配置する小型の装置にまで及ぶ。

【0006】

通常の網膜撮像システムとは異なり、この性質のスマートフォンアタッチメントを用いて取得した網膜画像は、スマートフォンのイメージセンサ上のあらゆる場所に出現することがあり、スマートフォンベースの撮像システムが典型的には手持ちであるので、網膜画像の使用可能な部分の位置は、網膜検査の間にイメージセンサの周りを連続的に動くことがある。さらに、網膜撮像システムの視野は、これらのシステムの使用の容易性に大きな影響を及ぼす。特に、本質的に狭い視野を有するカメラシステムは、広い視野のカメラシステムの位置合わせ位置及び作動距離に関する精度よりも低い位置合わせ位置及び作動距離に関する精度しか要求されない。このために、スマートフォンベースのシステムを含むハンドヘルドカメラシステムは、一般的には、検査中に患者の頭が動かないようにする顎当てを設ける固定卓上システムより著しく狭い視野を有する。しかしながら、病状に対する網膜スクリーニング（ｒｅｔｉｎａｌ ｓｃｒｅｅｎｉｎｇ ｆｏｒ ｍｅｄｉｃａｌ ｃｏｎｄｉｔｉｏｎｓ）は、典型的なハンドヘルドカメラ又はスマートフォンベースのシステムが容易に提供することができる視野よりも著しく広い視野を必要とする。

【0007】

パノラマ画像を作成して使用することは、場合によっては本質的に狭い視野を改善することができる。従来の網膜画像パノラマ構造は、目の種々の領域の複数の静止画像を取得するとともにポスト画像（ｐｏｓｔ−ｉｍａｇｅ）取得処理を実行するカメラオペレータを必要とし、ポスト画像取得処理において、オペレータは、信用できる画像を手動で選択し、パノラマ画像を構成するように設計されたソフトウェアによって画像を適切に互いに継ぎ合わせることができる。パノラマ作成は、典型的には患者の検査後に実行される。このプロセスは、複数の問題を有し、そのうちの主なものは、患者の検査が終了するまでにカメラオペレータが取得した画像がパノラマを構成するのに十分でないことがカメラオペレータによってわかることがあり、画像が既に次の患者の画像に関するものとなっていることである。

【0008】

ここに開示した実施の形態は、上述した問題の一つ以上を解消することを意図する。

【課題を解決するための手段】

【0009】

種々の実施の形態は、眼球構造、特に、網膜の広視野画像を取得、処理、生成及び利用する装置、システム又は技術を提供する。

【0010】

所定の実施の形態は、広視野網膜画像を生成する方法、システム又は装置を含む。システムの実施の形態は、スマートフォンカメラとすることができるカメラと、個別の網膜画像のデジタルビデオストリームを取得するとともに個別の網膜画像のビデオストリームをカメラに関連したメモリに格納する関連の光学系と、を備える。システム又は方法は、検眼中に各網膜画像を処理するとともに選択した網膜画像をリアルタイムでパノラマに結合するステップを実現する。

【0011】

方法の実施の形態は、スマートフォンカメラとすることができるカメラと、個別の網膜画像のデジタルビデオストリームを取得するとともに個別の網膜画像のビデオストリームをカメラに関連したメモリに格納する関連の光学系と、を備える、広視野網膜画像を生成する方法、システム又は装置を含む。この場合、システム又は方法は、個別の網膜画像を縮小するステップと、２値画像を生成するために縮小された画像においてエッジ検出を行うステップと、を含んでもよい又は実現してもよい。さらに、システム又は方法は、２値画像の関心点の相対位置を決定するステップと、複数の縮小された個別の網膜画像から決定した関心点の相対位置をデータ構造に追加するステップと、複数の縮小された個別の網膜画像の間の重複画像配置を決定するために複数の縮小された個別の網膜画像の間の関心点の相対位置を比較するステップと、を含んでもよい。この場合、縮小された個別の網膜画像に対応する最大解像度での網膜画像を、決定された重複画像配置に従ってパノラマに結合してもよい。

【0012】

所定の実施の形態において、システム又は方法は、個別の画像が配置されているカメラのセンサ上の位置を決定するステップと、個別の画像の関心領域を決定するステップと、関心領域を保存するために個別の画像をクロップするステップと、を更に実行してもよい。さらに、システム又は方法は、縮小された画像の一つ以上の画像属性を測定し、縮小された画像の測定した画像属性に基づいて、不適切な画像を廃棄してもよい。一部の実施の形態において、システム又は方法は、縮小された網膜画像が重複網膜構造を示す他の縮小された網膜画像より高い品質であるか否かを決定することと、より低い品質の画像を廃棄してもよい。

【0013】

ビデオの取得を終了する前に、システム又は方法は、結合された最大解像度での網膜画像の視野を測定し、指定された視野を達成すると処理を終了してもよい。

【0014】

ここに開示した実施の形態は、予め規定された視野をパノラマ画像のために達成した後に自律的に完成するパノラマ画像を構成するためにビデオストリームからの連続する個別のフレームから抽出した複数のサブ画像を非常に高いフレームレートで分析することができる方法を記載する。さらに、目の同一領域から以前に取得した画像フレームよりも良い品質となるように画像フレームを決定した後、新たな画像フレームをパノラマで保存し、原フレームを廃棄する。

【0015】

上述した方法を実現するのに適切な一つの装置は、カメラ光学系及び現存する低価格の携帯型検眼鏡に結合された電子機器を有するスマートフォンを含む。スマートフォンベースの方法は、廉価であり、ポータブルであり、かつ、十分に機能的である。しかしながら、開示した方法は、低価格の携帯用装置から高価格の卓上装置までの広範囲の専用の又は特定の網膜撮像システムの全体的な使用を著しく簡単にすることができる。

【0016】

開示したシステム及び方法は、複数のアルゴリズム簡単化技術を利用する。したがって、開示したシステム及び方法によって、演算的な要求が非常に少ないリアルタイム処理を可能にし、したがって、スマートフォンを通じた展開に適している。

【0017】

種々の変更及び追加を、議論する実施の形態に対して発明の範囲を逸脱することなく行うことができる。例えば、上述した実施の形態は特定の特徴を言及するが、本発明の範囲は、形態の異なる組合せを有する実施の形態及び上述した実施の形態の全てを含まない実施の形態も含む。

【0018】

特定の実施の形態の性質及び利点の更なる理解を、明細書の残りの部分及び図面を参照することによって実現することができ、図面において、同様な参照番号を、類似した構成要素を言及するために用いる。一部の例において、サブラベルは、複数の同様な構成要素の一つを示すために参照番号に関連させる。存在するサブラベルを特定することなく参照番号を参照するとき、全てのそのような複数の構成要素を言及することを意図する。

【図面の簡単な説明】

【0019】

【図1】ここで開示したような方法の一般的な流れ図である。

【図2】開示したシステムの実施の形態のブロック図である。

【図3】関心領域（ＲＯＩ）及び補助データ（ａｎｃｉｌｌａｒｙ ｄａｔａ）を含むクロップされていない全フレーム画像である。

【図4】適応しきい値処理を実行することによって図２のフルフレーム画像から作成した２値画像である。

【図5】図２のフルフレーム画像から作成したクロップ画像である。

【図6】適応しきい値化を実行するとともに決定されたＲＯＩに基づくクロップを行うことによって図２のフルフレーム画像から作成したクロップ２値画像である。

【図7】２値画像を形成するための原画像フレームとエッジ検出処理後のフレームとの画像比較である。

【図8】関心点の検出前後の図３の２値画像の画像比較である。

【図9】関心点の重複を示す（便宜上最大解像度での画像として表す）二つの画像フレームの画像比較である。

【図10】ここで開示した方法に従って形成した表現的な広視野網膜モザイクである。

【図11】選択した実施の形態による例示的なコンピュータアーキテクチャを示すブロック図である。

【発明を実施するための形態】

【0020】

所定の実施の形態の種々の態様及び特徴を上述したように要約したが、以下の詳細な説明は、当業者がそのような実施の形態を実施することができるようにするために幾つかの例示的な実施の形態を詳細に説明する。記載する例は、説明のために設けられ、発明の範囲を限定することを意図しない。

【0021】

以下の説明において、説明の目的で、記載した実施の形態の全体的な理解を提供するために複数の特定の詳細を説明する。しかしながら、本発明の他の実施の形態をこれらの特定の詳細の一部なく実施できることは当業者によって理解される。他の例において、所定の構造及び装置をブロック図の形態で示す。複数の実施の形態をここでは説明し、種々の特徴が異なる実施の形態に帰するが、一つの実施の形態について説明する特徴を他の実施の形態に組み込んでもよいことを理解すべきである。しかしながら、さらに、任意の説明した実施の形態の一つの特徴又は複数の特徴を発明の各実施の形態に必須であると考察すべきでなく、発明の他の実施の形態は、そのような特徴を省略してもよい。

【0022】

特に明記しない限り、用いられる量、寸法等を表すのにここで用いられる全ての数を、用語「約」によって全ての場合において変更できるものと理解すべきである。本明細書において、単数形の使用は、特に明記しない限り複数を含み、用語「及び」及び「又は」の使用は、特に明記しない限り「及び／又は」を意味する。さらに、用語「含み」並びに「含む」及び「含まれた」のような他の形態の使用は包括的であると考えるべきである。また、「エレメント」又は「コンポーネント」のような用語は、特に明記しない限り、一つの単位を備えるエレメント及びコンポーネントと複数の単位を備えるエレメント及びコンポーネントの両方を包含する。

【0023】

一実施の形態は、ここで開示した選択した装置の実施の形態を用いて実現される画像取得及び処理方法１００である。典型的な装置の実施の形態を、図２に線形的に示す。方法及び装置を、単一の画像フレームにおいて結合光学系及び電子装置によって直接提供することができる視野より広い視野を有する複合又はモザイク網膜画像を取得及び処理するために用いてもよい。広視野網膜画像は、所定の検査又は診断状況において要求される。例えば、糖尿病網膜症のような所定の疾患を、被検者の網膜の縁の検査によって初期段階で検出することができ、それは、通常の網膜撮像システムの視野の外側の領域にある。開示したシステム及び方法を、人間の患者又は動物とともに用いてもよい。結果的に得られる画像を、疾病の診断、網膜の健康状態の確認、経過観察画像との将来の比較のための網膜の健康状態の日付のある記録の作成及び他の目的のために用いることができ、被検者の網膜血管パターンを介した生体認証のために用いることができる。

【0024】

図２に示すような所定の装置又はシステムの実施の形態は、内蔵カメラ及び照明機能を有するスマートフォンを含んでもよい。したがって、システム２００は、スマートフォン２０２と、スマートフォンカメラレンズ２０４と、画像取得チップ及び関連の電子装置２０６と、照明源２０８と、を含んでもよい。システムは、スマートフォンカメラレンズ２０４及び照明源２０８の領域にスマートフォン２０２を直接取り付けることができる追加の光学系２１０も含む。システムの所定の他のエレメントを、以下で詳細に説明する。

【0025】

開示した方法はスマートフォンベースのシステム２００による実現に非常に適しているが、画像取得及び処理技術は、専用の検眼システム、専用の検眼カメラ又は専用若しくは準専用網膜撮像システムによって用いるのにも非常に適している。

【0026】

ここに開示した一実施の形態は、適切な広視野網膜モザイクを作成するのに必要な成分画像（ｃｏｍｐｏｎｅｎｔ ｉｍａｇｅ）を取得及び処理する方法である。図１に示す方法１００を、被検者の網膜へのスマートフォンカメラ光学系２０４の適切な焦点調節を行う追加のレンズ２１０を連結したスマートフォン２０２の画像取得電子機器２０６を用いて実現してもよい。画像は、一連のビデオフレームとして取得される。したがって、用語の画像及びフレームは、ここでは、ビデオストリームを備える個別のサブ画像を規定するために区別しないで用いられる。広視野網膜画像の取得の最初のステップは、ここで説明するようなシステムを用いて被検者の網膜の理想的に良好に焦点調節されたビデオストリームを取得することである（ステップ１０２）。網膜のビデオストリームは、システムメモリ２１２に格納することができる任意の数の画像又はフレームから構成してもよく、所定の場合には、画像は、アウトボードメモリ（ｏｕｔｂｏａｒｄ ｍｅｍｏｒｙ）に格納することができるビデオストリームのフレームである。

【0027】

システムのオペレータは、後に説明するようにビデオストリームを取得、格納及び処理する間に、所定の場合にはスマートフォン２０２及び追加のレンズ２１０とすることができるカメラ及び光学系を対象となる網膜に対して回転又は回動する。したがって、対象となる網膜の全体的に見える部分は、あり得る所定の身体構造上の制約及び光学的な制約の範囲内で、取得したビデオストリーム内の少なくとも一つ以上のフレームの対象となる。被検者の網膜の物理的及び光学的にできるだけ多くの部分を示すビデオストリームの取得は、システムメモリがフルになるまで又は更に可能性が高い後に説明するように処理が終了するまで継続する。所定の実施の形態において、個別のフレームは、検査中にカメラビデオストリームからリアルタイムで分析及び処理される。オペレータが網膜表面の種々の領域を任意の特定の順番で取得することは重要ではない。後に詳細に説明するように、システム及び方法は、任意の順番で取得したサブ画像又はフレームから広視野モザイクを作成するように最適化される。

【0028】

ビデオストリームがリアルタイムで取得されると、システム及び方法の一実施の形態は、全体のプロセスの演算効率を大幅に増大するよう低解像度の画像でシステム及び方法が画像処理ステップを更に実行できるようにするために、取得した画像フレームの各々を縮小する（ステップ１０４）。画像処理ステップが縮小画像で実行されるが、オリジナルの高解像度画像データは、他のステップの間に解像度が損なわれないようにメモリに保持され、パノラマ画像の構造を含むがそれに限定されない。縮小ステップで用いられる特定のアルゴリズムは重要ではない。その理由は、システム及び方法が観察目的ではなく後に説明するように画像フレームでのエッジ検出及び他の処理ステップを実行するために画像を縮小するからである。単純な４×４画像平均化は、上述した目的のために非常に良好に機能し、このステップは、スマートフォンベースのシステムのスマートフォンのＧＰＵ（グラフィックプロセッサ）２１４で理想的に実行される。その理由は、ＧＰＵ２１４が実質的には大抵のスマートフォンのＣＰＵ２１６以外のプロセッサだからである。

【0029】

選択した実施の形態において、次の画像処理ステップは、比較的狭い視野の網膜画像が配置されているイメージセンサ上の位置を決定することである（ステップ１０６）。例えば、図３は、代表的なクロップされていないフルサイズのセンサ画像である。図３の有用な網膜画像データは、全体の画像フレームよりも著しく狭くしかカバーしない。上述したように、イメージセンサ上の網膜画像の位置の決定は、各画像の有用な部分のみを自動的にクロップするために用いることができる関心領域（ＲＩ）の決定を容易にする（ステップ１０８〜１１０）。ＲＯＩを決定する処理の第１のステップは、ステップ１０２で取得した原画像において適応しきい値処理を行うことであり、これによって、原画像から２値画像を作成する。例えば、図４の２値フルフレーム画像を参照。適応しきい値処理技術は、異なる照明レベルが画像の各部分に対して存在しうるときの画像しきい値処理に理想的である。その理由は、適応しきい値処理が画像の小さい領域の各々に対して異なるしきい値レベルを利用するからである。

【0030】

適応しきい値処理技術を適用した後、画像のＲＯＩを決定する際の次のサブステップは、粗いグリッド検索を実行することであり、この場合、予め決定されたサイズの円形領域内の画素のサブサンプルが、原画像内の最高の血管密度の領域が存在する場所を決定するために調べられる（図４に示すように、２値画像の血管領域が黒い画素で示される）。予め決定されたサイズの円形領域内の画素のサブサンプルを、ポイントオフセットのアレイを調べることによって調べてもよく、ポイントオフセットのアレイは、円形領域内のポイントオフセットの任意のサブサンプルを参照する。実行のために、サイズパラメータを、新たなフレームを調べる度ではなくソフトウェア初期化中に選択すべきである。

【0031】

最高血管密度の領域の決定を、以下のコード又は同様なコードを利用して行ってもよい。関数（Ｓｅｔ ｎｕｍＳａｍｐｌｅＰｏｉｎｔｓ）を、所定の実施の形態において、ＲＯＩを備える円形の実際の網膜画像領域内の全画素の計数の約１０％に設定してもよい。計算性能を向上させるために更に低い割合を用いることができる。

【0032】

【表1】

【0033】

調べられるポイントオフセットのアレイを構成した後、全体の画像を、最高血管密度の領域に対応する最高の画素密度を有する円形領域の位置及び網膜画像を含有する撮影チップの部分を見つけるために以下のコード又は同様なコードを用いて調査してもよい。

【0034】

【表2】

【0035】

上述したルーチン又は同様なルーチンが完了すると、ＢｅｓｔＣｅｎｔｅｒＸＬｏｃａｔｉｏｎ及びＢｅｓｔＣｅｎｔｅｒＹＬｏｃａｔｉｏｎは、最高の血管密度を含有する円形領域の位置を示し、ｂｅｓｔＨｉｔＣｎｔは、適応しきい値処理ステップにおいて黒で印を付けたサンプルされた画素の数を含む。ＢｅｓｔＨｉｔＣｎｔ（又は同様なパラメータ）が画像内の血管のレベルの予め決定された値を超えると、処理を継続してもよい。特に、上述したルーチン又は同様なルーチンが、個別の画像の各々のＲＯＩを決定するために適用され、画像を、ＲＯＩを保存するとともに関係のないデータを除去するためにクロップしてもよい。例えば、図５は、上述したように決定されたＲＯＩのみを含むようにクロップされた図３のフルフレーム画像である。図６は、適応しきい値処理及びクロップの適用後の対応する２値画像である。

【0036】

縮小画像の各々を作成するとともにＲＯＩのみを含むようにクロップすると、システム及び方法は、焦点画質、平均赤色値、平均緑色値及び平均青色値、個別のカラー層の各々の標準偏差、照明の一様性並びに角膜のまぶしい光のようなＲＯＩ内の画像属性を測定して全ての測定された画像属性が許容される範囲内にあるかを確認する（ステップ１１２）。平均値及び標準偏差の両方を、通常の方法を用いて計算し、焦点の計算を、個別の画素と最も近接する画素との間の差の絶対値を決定するために個別の画素の値の各々の検査及び加算によって実現することができる。この単純化した焦点分析法が上述した目的に対して良好に実行されるが、ＦＦＴによる焦点分析のような更に複雑な方法も焦点測定のために実現することができる。実行のために、縮小画像の画素のサブセットを、画像属性計算のために検査する。このようなサブセット検査は、画像フレーム分析中の垂直方向及び水平方向の二つ以上の画素のステップサイズを利用することによって実現される。典型的には、これらの画像属性の統計的に有意義な蓄積を、画素の１０〜２０％を検査することによって取得することができる。測定した属性のいずれかが予め規定された許容範囲内にない場合、画像フレームが廃棄され、更なる処理ステップが現在のフレームにおいて実行されない。このような画像属性の分析は、網膜撮影が無限遠で行われるために焦点が外れた検査室又は患者の顔の画像のようなスプリアス画像（ｓｐｕｒｉｏｕｓ ｉｍａｇｅ）を廃棄するのに非常に役に立つ。

【0037】

次に、システム及び方法は、網膜画像の各々の血管の２値表現を形成するために個別の画像フレームの各々においてリアルタイムのエッジ検出を行う（ステップ１１４）。ソーベルエッジ検出アルゴリズム、ロバートエッジ検出アルゴリズム、プレヴィットエッジ検出アルゴリズム及びキャニーエッジ検出アルゴリズムのようなこのステップに非常に適した複数のエッジ検出アルゴリズムが存在する。キャニーエッジ検出アルゴリズムは、ノイズを抑制するとともに画像の一部と他の部分とのコントラスト差による広範囲のエッジを検出する固有の能力のために網膜画像のエッジ検出を実行するのに特に適している。キャニーエッジ検出アルゴリズムを、実際のエッジ検出を実行する前の前処理のためにしきい値の上限及び下限並びにぼけの大きさを制御する複数の異なる設定を用いてパラメータ化することができる。これらのパラメータを、原画像フレームの他のデジタルノイズによって生じるスプリアスエッジの検出を最小にしながら検出される網膜の血管を最大にする２値画像を生成するために最適化させる必要がある。

【0038】

適切なエッジ検出技術の全てを通常のスマートフォンのＣＰＵ１１６で実行することができるが、超並列スケールでベクトル処理を実行するＧＰＵ（グラフィックスプロセッシングユニット）の能力によりこれらの処理を全ての最近のスマートフォンに存在する最近のＧＰＵ１１４で実現するのが特に適している。配置に用いられるハードウェアに応じて、ＧＰＵベースのエッジ検出は、典型的には業界トップのスマートフォンで見られる通常のＣＰＵで同様なアルゴリズムを正確に実行する場合に比べて２０〜６０倍迅速である。

【0039】

クロップされた原画像と、上述した処理ステップの後の良好にパラメータ化されたエッジ検出アルゴリズムによって生成した２値出力との比較は、図３の画像と同様である。

【0040】

比較的高いフレームレート（少なくとも１０フレーム／秒）がスクリーニングのために典型的な網膜検査中に望ましいので、種々の位置合わせにおける演算的な集約画像適合分析を行うことなく以前に取得した画像フレームに関連して網膜画像のどの部分をフレームが含むかを決定するために各ビデオフレームを迅速に分析するのに用いることができる要約情報を作成する必要がある。開示したシステム及び方法は、共通の画像の特徴を示す重複の領域を有する一つの画像フレームから他の所定の二つの画像フレームまでの共通する関心点（ＰＯＩ）として血管の分岐及び屈曲を識別することによって血管の分岐及び屈曲を利用する（ステップ１１６）。開示した方法及びシステムと共に用いるのに非常に適した複数の「コーナー検出」アルゴリズム及び「特徴検出」アルゴリズムが存在するが、Ｓｈｉ−Ｔｏｍａｓｉコーナー検出アルゴリズムが特に適している。

【0041】

Ｓｈｉ−Ｔｏｍａｓｉコーナー検出アルゴリズムは、ステップ１１４で実行したエッジ検出からの出力画像に適用される。２値画像において特徴検出を実行することによって、原ビデオフレームからの原画像で特徴検出アルゴリズムを実行することによって典型的に実行することができる特徴検出より著しく信頼性の高い特徴検出が行われる。ここで説明する技術は、消失した関心のある特徴と関心のある特徴のスプリアス検出の両方を処理することができるが、デジタル画像の他のノイズにより形成された検出したスプリアス画像の検出を最小にしながら重複を含む画像フレームを取得するときのあるフレームから次のフレームまでに共通する検出した特徴の検出を最大にするために特徴抽出（Ｓｈｉ−Ｔｏｍａｓｉ）アルゴリズムのぼけの大きさ、感度及びしきい値を調整することが重要である。ステップ１１４で特定したのと同一の理由のために、ステップ１１６は、ＧＰＵ１１４のベースのアルゴリズムの実現に特に適している。この処理ステップから検出したコーナーは、これらを次の処理ステップで利用できるようにするためにｘＰｔｓ［］及びｙＰｔｓ［］のアレイに格納される。

【0042】

図８の画像は、ステップ１１６で２値画像においてＳｈｉ−Ｔｏｍａｓｉコーナー検出を実行した後に典型的な網膜画像から検出した特徴を示す。

【0043】

処理ステップ１１２〜１１６の結果は、関心のある選択した特徴を表す（Ｘ，Ｙ）座標の網膜血管及びアレイを示す２値画像を生じる。画像処理の次のステップは、到来する画像フレームのそれぞれの要約情報及び非縮小フレームの原ＲＧＢ画像のバイトを含有するデータ構造を追加することである（ステップ１１８）。データ構造を、相対ＰＯＩ位置情報を含有する任意の適切なタイプとしてもよい。データ構造の生成及び追加を、任意の適切なソフトウェア又はコードによって行ってもよい。上述したステップを行うのに適切な代表的なコードは、以下に含まれる。以下のコード（及びこの開示に含有される全ての場合のコード）が大いに簡略化されるとともに代表的かつ包括的なコードサンプルのみを構成することを留意するのが重要である。開示した方法を、任意の適切なコード又はデータ構造によって実現してもよい。

【0044】

【表3】

【0045】

３次元アレイ“ＰｏｉｎｔＲｅｌａｔｉｖｉｔｙ”は、更に詳細な説明を必要とする。その理由は、このアレイが後に説明するように画像の特徴の重複を探すために他の画像フレームとの迅速な比較を可能にする要約フレーム情報の主要な要素だからである。このアレイは、このアレイが他の画像フレームに対して計算されたアレイと比較するときにあらゆる計算的な集中動作を必要とすることなく（許容される誤差で）著しく迅速な比較を可能にするように独自に設計される。

【0046】

最初に、ＰｏｉｎｔＲｅｌａｔｉｖｉｔｙアレイを、現在の画像フレームでの処理に対してそれを用意するためにゼロ化してもよい。ゼロ化するために、システム及び方法は、以下のサンプル、代表的なコード又は同様な機能を提供するコードを用いることができる。

【0047】

【表4】

【0048】

原フレーム内の一部の又はそれぞれの検出点に対して、システム及び方法は、当該点から画像フレーム内のそれぞれの他の検出点までの相対距離及び角度を計算してもよい。検出点をある画像フレームから他の画像フレームまでのある程度の変動及び誤差を持って検出することができるので、方法は、好適には、各点の間の距離とある点から次の点までの角度の両方を予め規定された数の画素及び角度によって丸め、ＰｏｉｎｔＲｅｌａｔｉｖｉｔｙアレイを結果に加える（ステップ１１８）。

【0049】

ステップ１１８を、以下の代表的なコード又は同様なルーチンを用いて実行することができる。

【0050】

【表5】

【0051】

以下の例を、どのようにしてＰｏｉｎｔＲｅｌａｔｉｖｉｔｙアレイを追加するか及びどのようにしてこの情報を利用することができるかを説明するために考察してもよい。方法が画素の距離を最も近い５画素に丸め、ある点から次の点までの相対角度が最も近い１０°に丸められる場合、

【0052】

【表6】

は、２５０画素の丸められた距離（距離の丸めに対する５０＊５画素）及び２０°の丸められた角度（丸めに対する２＊１０°）の５画素が存在する。

【0053】

上述した処理ステップの後、点要約情報は、（誤差を丸めることによって）著しく迅速な比較を可能にするとともにどのようにして全ての検出点を点間の距離とある点から次の点までの相対角度の両方に関して画像フレームの他の全ての検出点に関連させるかを示すフォーマットで格納される。方法が角度測定の丸めを行うという事実によって、患者の目に対するカメラの角度が小さく変化したとしても、点間の更に複雑な角度関係を示す計算集約的な三角法（ｔｒｉａｎｇｌｅ ｇｅｏｍｅｔｏｒｙ）を行う必要なく選択したアルゴリズムを適切に機能させることができる。

【0054】

例１：
異なる点で取り出した同一の網膜の二つの画像の間の共通の領域を迅速に見つけるためにどのようにしてＰｏｉｎｔＲｅｌａｔｉｖｉｔｙアレイを用いることができるかを説明するために、図９は、重複領域内の関心のある共通点を有する重複のエリアを含む二つの網膜画像を示す。物事を非常に簡単にするために、図５に示す二つのサンプル画像フレームの各々において関心のある４点のみに印を付けた。実際には、各フレームにおいて更に多くの印を付けた点が存在しうる。

【0055】

【表7】

【0056】

方法が点の関係を表す属性として丸め距離及び丸め角度を用いるので、方法は、ＰｏｉｎｔＲｅｌａｔｉｖｉｔｙアレイに対するメモリの要求を減少させるために丸め距離を距離丸め係数で除算するとともに丸め回転角を回転丸め係数で除算することができる。丸め距離及び丸め角度を用いることの一つの利点は、距離又は角度が１フレームにおいて丸め角度又は距離に近接するとともにそれが次のフレームにおいて丸める目的のために反対側に存在する可能性を著しく減少させることである。

【0057】

表で示したように、フレーム＃１に対して、点１と点２との間の丸め距離は、（最も近い２２画素で丸めた）６６画素である。方法は、この距離をとってもよく、フレーム＃１の点１から点２までの距離に対して３の距離指標値を取得するために２２画素の距離丸め係数によって距離を除算する。

【0058】

フレーム＃１に対して、点１と点２との間の丸め角度は、（最も近い１０°に丸めた）６０°である。方法は、この距離をとってもよく、フレーム＃１の点１から点２までの距離に対して６の距離指標値を取得するために１０°の角度丸め係数によって距離を除算する。したがって、点１と点２との間の関係を、以下のようにＰｏｉｎｔＲｅｌａｔｉｖｉｔｙアレイで表すことができる。

【0059】

【表8】

【0060】

上記は、６０°の相対角度（６０／１０）で他の点から６６画素離れた（６６／２２＝３）関心点を有する。

【0061】

一旦各フレームの全ての点がこのようにして処理されると、二つのフレームが同一の特徴を含有する可能性があるか否かを決定するのが非常に迅速かつ効率的となる。

【0062】

画像フレームのエッジ検出、特徴抽出及び点要約情報の計算を行った後、方法は、次に、現在の画像フレームが網膜の新たに撮影したエリアを表すか又は網膜の同一の関連のエリアの他の画像を既に取得したかを決定するために画像フレームを他の全ての現在格納されている画像フレームと比較する（ステップ１２０）。画像フレームが網膜の新たに撮影したエリアを表す場合又は画像フレームが既存のフレームより品質が良いと決定された場合、画像フレームをパノラマ画像に追加する（ステップ１２２）。

【0063】

明瞭な構造及び点要約情報に対して行われる事前の丸めのために、このような対象のフレームと全ての現在保持されている画像フレームとの比較を、非常に単純なコード、例えば、現在のフレームとメモリに存在する他の以前に取得したフレームとを比較する以下で要約したコードを用いて非常に迅速に行うことができる。このタイプの比較又は同様な比較を、画像と全ての以前に保持された画像とを比較するために行う必要がある。

【0064】

【表9】

【0065】

上記のアルゴリズムは二つの画像フレームの間のあり得る位置合わせ点を見つけるのに非常に役に立つが、ＰｏｉｎｔＲｅｌａｔｉｖｉｔｙデータ構造の上述した又は同様な比較的単純な分析によって消失することがある位置合わせ点を見つける可能性を高めるための技術を用いるＰｏｉｎｔＲｅｌａｔｉｖｉｔｙデータ構造の更に複雑な分析が所望されることがある。

【0066】

上述したコード又は同様なコードを実行した後、方法は、二つの個別の画像フレームよりも広い視野を示す更に大きな画像を生成するよう二つのフレームを互いに結合するのに利用することができるあり得るオフセットを決定するためにｌｉｋｅｌｙＦｒａｍｅ１［ＰＴ］及びｌｉｋｅｌｙＦｒａｍｅ２［ＰＴ］によって表される（ｘ、ｙ）座標を検査することができる。

【0067】

例えば、ｌｉｋｅｌｙＦｒａｍｅ１［ＰＴ］＝（２００，１００）及びｌｉｋｅｌｙＦｒａｍｅ２［ＰＴ］＝（２００，３００）である場合、方法は、画像＃２が２００画素だけ垂直方向に上へシフトした場合にあり得る画像適合が存在することを決定する。方法は、上で挙げたコード（又は同様な機能を提供するコード）によって見つけられた全てのあり得る位置合わせを繰り返し、最も良く計算された画像相関統計を有するものとなる最高のあり得る適合を計算してもよい。最適な画像相関スコアが予め規定された値を超える場合、同一の画素を含有するステップ１１２で決定されたより高い画像品質の以前のフレームがパノラマに既に追加されている場合を除いて原フレームの全ての画素がパノラマに追加される。

【0068】

最後の画像処理ステップは、中心点から外側に円状に広げることによるパノラマ画像の視野の測定を含む（ステップ１２４）。取得した視野が、オペレータが規定した値又はハードコートされた値を超える場合、カメラ又はスマートフォンは、既に計算したパノラマ画像を提供することを自動的に終了するプロセスによって制御される。目標とされた視野にまだ到達しない場合、方法は、到来するフレームの上述したような処理を継続するためにカメラ又はスマートフォンを制御する。

【0069】

ＲＯＩを自動的に決定し、全ての到来するビデオフレームを選択した画像パラメータに基づいて予め適合させ、かつ、全ての以前に保持した画像フレームとのあり得る位置合わせ（共通化）を決定することによって、方法は、予め規定された品質の要求に適合する画像フレームのセットを取得し、かつ、画像の取得を自動的に終了するとともに図１０に示すような比較的広視野の網膜パラボナをユーザに提示するソフトウェアを有するために各フレームの間の相対オフセットを計算することができる。

【0070】

上述したように、一つの装置の実施の形態２００は、ＧＰＵ２１４と、ＣＰＵ２１６と、メモリ２１２と、上述した方法を実行する他のアーキテクチャと、を含む。代替的な実施の形態は、上述した方法を実施するように構成されたソフトウェアを含んでもよい任意のタイプのコンピュータと通信を行う専用の眼科カメラ又は撮像装置を含んでもよい。

【0071】

図１１は、例示的なコンピュータアーキテクチャを示すブロック図である。図１１は、ここで説明するような種々の他の実施の形態によって提供される方法を実行することができるコンピュータシステム１１００の一実施の形態の線形図を提供する。図１１が種々のコンポーネントの一般的な図を提供することのみを意図し、そのうちの一つ以上を適切に利用してもよい又はそのうちのいずれも適切に利用しなくてもよい。したがって、図１１は、どのようにして個別のシステムエレメントを比較的に個別に又は比較的に更に統合して実現することができるかを大まかに示す。

【0072】

バス１１０５を介して電気的に結合することができる又は適切に通信を行うことができるハードウェア素子を備えるコンピュータシステム１１００を示す。ハードウェアエレメントは、デジタル信号処理チップ、グラフィックアクセラレーションプロセッサ等の一つ以上の汎用プロセッサ又は一つ以上の専用プロセッサを含むがそれに限定されない一つ以上のプロセッサ１１００と、マウス、キーボード等を含むことができるがそれに限定されない一つ以上の入力装置１１１５と、表示装置、プリンタ等を含むことができるがそれに限定されない一つ以上の出力装置１１２０と、を含んでもよい。

【0073】

コンピュータシステム１１００は、一つ以上の記憶装置１１２５を更に含んでもよい又は一つ以上の記憶装置１１２５と通信を行ってもよい。一つ以上の記憶装置１１２５は、ローカル及び／又はネットワークアクセス可能記憶装置を備えることができるがそれに限定されない又はディスクドライブ、ドライブアレイ、光記憶装置又は固体記憶装置を含むことができるがそれに限定されない。固体記憶装置は、プログラム可能、フラッシュアップデート可能等とすることができるランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）の一つ以上を含むことができるがそれに限定されない。そのような記憶装置を、種々のファイルシステム、データベース構造等を含むがそれに限定されない任意の適切なデータストアを実現するように構成してもよい。

【0074】

コンピュータシステム１１００は、モデム、（有線又は無線）ネットワークカード、赤外線通信装置、無線通信装置又はチップセット等を含むことができるがそれに限定されない通信サブシステム１１３０を含んでもよい。無線通信装置は、ブルートゥース（登録商標）装置、８０２．１１装置、ＷｉＦｉ装置、ＷｉＭａｘ装置、ＷＷＡＮ装置、セルラー通信設備等を含むがそれに限定されない。

【0075】

通信サブシステム１１３０は、他のコンピュータシステム、ここで説明する他の任意の装置又はネットワーク、システム及び装置の任意の組合せとネットワークを通じてデータ交換を行うことができる。一部の実施の形態によれば、ファイバーネットワーク、イーサネット（登録商標）ネットワーク、トークンリングネットワーク等を含むがそれに限定されないローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）のような仮想ネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、ＩＥＥＥ８０２．１１式のプロトコル、ブルートゥース（登録商標）プロトコル若しくは他の任意の無線プロトコルの何れかに基づいて動作するネットワークを含むがそれに限定されない無線ネットワーク、又は、これら若しくは他のネットワークの任意の組合せを含んでもよい。多数の実施の形態において、コンピュータシステム１１００は、上述したようなＲＡＭ装置又はＲＯＭ装置を含むことができるワーキングメモリ１１３５を更に備える。

【0076】

コンピュータシステム１１００は、オペレーティングシステム１１４０、デバイスドライバ、実行可能ライブラリ又は他のコードを含む、ワーキングメモリ１１３５内に現在配置されているように示すソフトウェアエレメントも備えてもよい。ソフトウェアエレメントは、種々の実施の形態によって提供されるコンピュータプログラムを備えてもよい又はここで説明するように他の実施の形態によって提供される方法を実現する及び／又はシステムを提供するように設計してもよい一つ以上のアプリケーションプログラム１１４５を含んでもよい。単なる例示により、上述した方法に関連して説明する一つ以上の手順を、コンピュータ又はコンピュータ内のプロセッサによって実行可能なコード又は命令として実現してもよい。一態様において、そのようなコード又は命令を、上述した方法に従って一つ以上の動作を実行する汎用装置又は他の装置を構成する又は適合させるために用いることができる。

【0077】

これらの命令又はコードのセットを、コード化してもよい、及び／又は、上述した記憶装置１１２５のような非一時的なコンピュータ可読記憶媒体に格納してもよい。一部のケースにおいて、記憶媒体を、システム１１００のようなコンピュータシステムに組み込んでもよい。他の実施の形態において、記憶媒体を、コンピュータシステムから分離してもよい、すなわち、コンパクトディスクのような取り外し可能な媒体としてもよい。一部の実施の形態において、格納された命令／コードによって汎用コンピュータをプログラムする、構成する、及び／又は、適合させるために記憶媒体を用いることができるようにするために、記憶媒体をインストールパッケージで提供してもよい。これらの命令は、コンピュータシステム１１００によって実行可能な実行コードの形態をとってもよい。ソースコード又はインストール可能コードは、コンパイル、インストール又はコンパイルとインストールの両方が行われると、コンピュータシステム１１００において実行コードの形態をとる。コンパイル又はインストールを、種々の一般的に利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティ等のいずれかを用いて実行してもよい。

【0078】

大幅な変更を特定の要求に従って行ってもよいことは当業者には明らかである。例えば、プログラマブル論理コントローラ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路等のようなカスタマイズされたハードウェアを用いることもできる。一部の場合において、特定の要素を、ハードウェア、（アプレット等のような高移植性ソフトウェアを含む）ソフトウェア又はその両方で実現してもよい。さらに、ネットワーク入出力装置のような他のコンピュータ装置との接続を用いてもよい。

【0079】

上述したように、一態様において、一部の実施の形態は、発明の種々の実施の形態に従って方法を実行するためにコンピュータシステム１１００のようなコンピュータシステムを用いてもよい。実施の形態のセットによれば、そのような方法の手順の一部又は全てを、一つ以上の命令の一つ以上のシーケンスを実行するプロセッサ１１１０に応答するコンピュータシステム１１００によって実行してもよい。一つ以上の命令を、オペレーティングシステム１１４０又はアプリケーションプログラム１１４５のようなワーキングメモリ１１３５に含有されてもよい他のコードに組み込んでもよい。そのような命令を、記憶装置１１２５の一つ以上のような他のコンピュータ可読媒体からワーキングメモリ１１３５に読み出してもよい。単なる一例として、ワーキングメモリ１１３５に含有された命令のシーケンスの実行によって一つ以上のプロセッサ１１１０が上述した方法の一つ以上の手順を実行してもよい。

【0080】

ここで用いるような用語「機械可読媒体」及び「コンピュータ可読媒体」は、特定の方法でマシンを動作させるデータの提供に関与する任意の媒体を言及する。コンピュータシステム１１００を用いて実現される実施の形態において、種々のコンピュータ可読媒体は、実効のための命令又はコードの一つ以上のプロセッサ１１１０への提供に関与されてもよく、信号のようにそのような命令／コードを記憶及び／又は搬送するために使用されてもよく、又は、その両方がされてもよい。多数の実現において、コンピュータ可読媒体は、非一時的、物理的又は有形可読媒体である。そのような媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがそれに限定されない多数の形態をとってもよい。不揮発性媒体は、例えば、記憶装置１１２５のような光ディスク、磁気ディスク又はその両方を含む。揮発性メモリは、ワーキングメモリ１１３５のようなダイナミックメモリを含むがそれに限定されない。伝送媒体は、バス１１０５を備えるワイヤを含む同軸ケーブル、銅線及び光ファイバ、通信サブシステム１１３０の種々の構成要素、又は、通信サブシステム１１３０が他の装置と通信を行う媒体を含むがそれに限定されない。したがって、通信媒体は、電波データ通信又は赤外線データ通信中に生じるような無線波、音波又は光波を含むがそれに限定されない波の形態をとってもよい。

【0081】

共通の形態の物理コンピュータ可読媒体又は有形コンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ若しくは他の任意の磁気媒体、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ若しくは他の任意の光媒体、穿孔カード、穿孔テープ若しくは孔のパターンを有する他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＲＡＳＨ−ＥＰＲＯＭ若しくは他の任意のメモリチップ若しくはカートリッジ、搬送波、又は、コンピュータが命令又はコードを読み出すことができる他の任意の媒体を含む。

【0082】

所定の特徴及び態様を例示的な実施の形態に関連して説明したが、当業者は、種々の変形が可能であることを認識するであろう。例えば、ここで説明した方法及び処理を、ハードウェアコンポーネント、ソフトウェアコンポーネント及び／又はその任意の組合せを用いて実現してもよい。さらに、説明を簡単にするためにここで説明した種々の方法及び処理を特定の構成部品及び／又は機能部品に関連して説明したが、種々の実施の形態によって提供される方法は、特定の構成アーキテクチャ及び／又は機能アーキテクチャに限定されるものではなく、任意の適切なハードウェア、ファームウェア及び／又はソフトウェア形態で実現することができる。同様に、所定の機能は所定のシステムコンポーネントに帰するが、特に明記しない限り、この機能を複数の実施の形態に従って他の種々のシステムコンポーネントの間で分担してもよい。

【0083】

さらに、説明を簡単にするためにここで説明した方法及び処理の手順を特定の順番で説明したが、特に明記しない限り、種々の手順を、種々の実施の形態に従って順番を変えてもよい、追加してもよい、及び／又は、省略してもよい。さらに、一つの方法又は処理に関連して説明した手順を、説明した他の方法又は処理に組み込んでもよく、同様に、特定の構造アーキテクチャに従って及び／又は一つのシステムに関連して説明したシステムコンポーネントを、別の構造アーキテクチャで構成してもよい、及び／又は、説明した他のシステムに組み込んでもよい。したがって、説明を簡単にするとともにこれらの実施の形態の例示的な態様を説明するために種々の実施の形態を所定の特徴と共に又は所定の特徴を用いることなく説明したが、特に明記しない限り、特定の実施の形態に関連してここで説明した種々の構成要素及び／又は特徴を、説明した他の実施の形態の間で置換、追加及び／又は省略してもよい。その結果、複数の例示的な実施の形態を上述したが、発明が添付した特許請求の範囲の範囲内の全ての変形及び等価物をカバーすることを意図することは明らかである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図10】

【図11】

【図7】

【図8】

【図9】

【国際調査報告】