特許 6993651 画像レジストレーション方法と装置、及び画像スティッチング方法とデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-14

(45)【発行日】2022-01-13

(54)【発明の名称】画像レジストレーション方法と装置、及び画像スティッチング方法とデバイス

(51)【国際特許分類】

   G06T 7/32 20170101AFI20220105BHJP

【ＦＩ】

G06T7/32

【請求項の数】 5

(21)【出願番号】P 2020541845

(86)(22)【出願日】2018-10-15

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 CN2018110251

(87)【国際公開番号】W WO2019076266

(87)【国際公開日】2019-04-25

【審査請求日】2020-06-24

(31)【優先権主張番号】201710958427.6

(32)【優先日】2017-10-16

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520129595

【氏名又は名称】蘇州微景医学科技有限公司

【氏名又は名称原語表記】ＳＵＺＨＯＵ ＭＩＣＲＯＶＩＥＷ ＭＥＤＩＣＡＬ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ９０２，Ｎｏ．３８８ Ｒｕｏｓｈｕｉ Ｒｏａｄ，Ｓｕｚｈｏｕ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ ２１５１２３ Ｃｈｉｎａ

(73)【特許権者】

【識別番号】517073074

【氏名又は名称】无錫海斯凱尓医学技術有限公司

【氏名又は名称原語表記】ＷＵＸＩ ＨＩＳＫＹ ＭＥＤＩＣＡＬ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｂ４０１，５３０ Ｐｌａｚａ，Ｕｎｉｖｅｒｓｉｔｙ Ｓｃｉｅｎｃｅ Ｐａｒｋ，Ｔａｉｈｕ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ Ｐａｒｋ Ｗｕｘｉ，Ｊｉａｎｇｓｕ ２１４０００（ＣＮ）

(74)【代理人】

【識別番号】110002871

【氏名又は名称】特許業務法人坂本国際特許商標事務所

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】邵 金華

(72)【発明者】

【氏名】段 后利

(72)【発明者】

【氏名】孫 錦

(72)【発明者】

【氏名】王 強

【審査官】粕谷 満成

(56)【参考文献】

【文献】米国特許第０７６２０２６９（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／３２

(57)【特許請求の範囲】

【請求項1】

画像レジストレーション方法であって、
参照画像と浮動画像の相関係数画像を計算するステップと、
前記相関係数画像の勾配画像を計算するステップと、
前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するステップと、
前記相関係数の極値を持つ画素に基づいて、前記参照画像と前記浮動画像をレジストレーションするステップと、を含み、
前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定する前記ステップは、
前記勾配画像内の勾配の最大値を持つ画素を、前記勾配の極値を持つ画素として検索するステップと、
前記勾配の極値を持つ画素の位置に基づいて、前記相関係数画像内の対応する画素を確定するステップと、
前記相関係数画像内の対応する画素に基づいて、前記相関係数の極値を持つ画素を探索するステップと、を含むことを特徴とする方法。

【請求項2】

前記相関係数画像内の対応する画素に基づいて、前記相関係数の極値を持つ画素を探索する前記ステップは、
前記相関係数画像内の対応する画素の隣接画素を検索点として確定するステップと、
前記検索点の隣接画素をトラバースし、前記隣接画素がいずれも前記検索点よりも小さい場合、前記相関係数の極値を持つ画素として前記検索点を使用し、それ以外の場合、最大の隣接画素を新たな検索点として再探索するステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

画像レジストレーション装置であって、
プログラムを記憶するためのメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、前記プロセッサで実行されるとき、
参照画像と浮動画像の相関係数画像を計算するステップと、
前記相関係数画像の勾配画像を計算するステップと、
前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するステップと、
前記相関係数の極値を持つ画素に基づいて、前記参照画像と前記浮動画像をレジストレーションするステップとを実行するために使用され、
前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定する前記ステップは、
前記勾配画像内の勾配の最大値を持つ画素を、前記勾配の極値を持つ画素として検索するステップと、
前記勾配の極値を持つ画素の位置に基づいて、前記相関係数画像内の対応する画素を確定するステップと、
前記相関係数画像内の対応する画素に基づいて、前記相関係数の極値を持つ画素を探索するステップと、を含むことを特徴とする装置。

【請求項4】

画像スティッチング方法であって、
請求項１又は２に記載の画像レジストレーション方法に従って、前記参照画像と前記浮動画像をレジストレーションするステップと、
前記レジストレーションの結果に基づいて、前記参照画像と前記浮動画像をスティッチするステップと、を含むことを特徴とする方法。

【請求項5】

画像スティッチングデバイスであって、
プログラムを記憶するためのメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、前記プロセッサで実行されるとき、
請求項１又は２に記載の画像レジストレーション方法に従って、前記参照画像と前記浮動画像をレジストレーションするステップと、
前記レジストレーションの結果に基づいて、前記参照画像と前記浮動画像をスティッチするステップと、を実行するために使用されることを特徴とするデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理の分野に関し、具体的には、画像レジストレーション方法と装置、及び画像スティッチング方法とデバイスに関する。

【背景技術】

【0002】

画像処理の分野の多くの応用場面では、画像のレジストレーション及びスティッチング操作が必要である。レジストレーション操作により、横座標及び縦座標の両方向での、参照画像（前の画像）に対する浮動画像（又は、移動画像、現在画像と呼ばれる）の変位を取得することができる。スティッチング操作は、レジストレーション操作により得られたレジストレーション結果に基づいて、浮動画像と参照画像を１つの画像にスティッチする。

【0003】

例えば、顕微鏡走査の応用分野では、視野制限のため、プローブの移動中に連続的に収集された複数の画像をレジストレーション及びスティッチングする必要がある。操作プロセス全体は迅速かつ正確である必要がある。剛体レジストレーションを使用することができ、即ち、剛体座標変換の並進コンポーネントを求めさえすればよい。

【0004】

従来の剛体レジストレーション方法では、参照画像と浮動画像との差異を表すコスト関数を反復的に最適化することによって、並進ベクトルを取得する。反復プロセスは大量の計算を必要とするため、リアルタイムアプリケーションに適しない。

【0005】

反復計算回避して、並進ベクトルを迅速に取得するために、相関係数ピーク値法（相関係数法）と呼ばれるレジストレーション方法が開発された。任意の並進ベクトルの作用下での浮動画像と参照画像との間には相関係数がある。浮動画像と参照画像が適切に位置合わせされている場合、相関係数が最大になる。すべての可能な並進ベクトルに対応する相関係数の最大値が検索されると、それに応じて浮動画像のレジストレーションに適切な変位が確定される。ただし、この方法は、位相回復法で再構成された画像にのみ適用される。多くの応用場面では、例えば、視野スティッチングの応用では、浮動画像には、参照画像とは異なる新たな内容が必ず出現する。これは、上記の相関係数法に大きな誤差をもたらす。特に、画像を撮影する顕微鏡のプローブの移動速度が速い場合、浮動画像と参照画像に表示される内容の間に大きな差があるため、相関係数法は実際の変位とは完全に異なる誤ったレジストレーション結果を取得する。

【発明の概要】

【0006】

本発明は、上記の問題を考慮してなされた。本発明は、画像レジストレーション方法と装置、及び画像スティッチング方法とデバイスを提供する。

【0007】

本発明の一態様によれば、画像レジストレーション方法を提供する。この方法は、
参照画像と浮動画像の相関係数画像を計算するステップと、
前記相関係数画像の勾配画像を計算するステップと、
前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するステップと、
前記相関係数の極値を持つ画素に基づいて、前記参照画像と前記浮動画像をレジストレーションするステップとを含む。

【0008】

例示的には、前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するステップは、
前記勾配画像内の勾配の最大値を持つ画素を、前記勾配の極値を持つ画素として検索するステップと、
前記勾配の極値を持つ画素の位置に基づいて、前記相関係数画像内の対応する画素を確定するステップと、
前記相関係数画像内の対応する画素に基づいて、前記相関係数の極値を持つ画素を探索するステップと、を含む。

【0009】

例示的には、前記相関係数画像内の対応する画素に基づいて、前記相関係数の極値を持つ画素を探索する前記ステップは、
前記相関係数画像内の対応する画素の隣接画素を検索点として確定するステップと、
前記検索点の隣接画素をトラバースし、前記隣接画素がいずれも前記検索点よりも小さい場合、前記相関係数の極値を持つ画素として前記検索点を使用し、それ以外の場合、最大の隣接画素を新たな検索点として再探索するステップとを含む。

【0010】

例示的には、前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するステップは、
前記勾配画像内の勾配の最大値を持つ画素を検索するステップと、
前記勾配の最大値を持つ画素に基づいて、第１勾配閾値を確定するステップと、
前記第１勾配閾値に基づいて、前記勾配画像に対して領域分割を行うステップと、
各分割された領域で、前記相関係数画像内の相関係数の極値を持つ被選択画素を確定し、前記勾配画像内の、前記被選択画素に対応する画素の勾配及び第２勾配閾値に基づいて、前記被選択画素が前記相関係数の極値を持つ画素として使用できるか否かを確定するステップとを含む。

【0011】

例示的には、前記第１勾配閾値に基づいて、前記勾配画像に対して領域分割を行う前記ステップは、
前記第１勾配閾値に基づいて前記勾配画像に対してプログレッシブスキャンを行って、前記第１勾配閾値よりも大きいシード画素を検索するステップと、
前記シード画素に基づいて、前記勾配画像に対して領域分割を行って、すべての前記分割された領域を取得するステップと、を含む。

【0012】

例示的には、前記シード画素に基づいて、前記勾配画像に対して領域分割を行う前記ステップは、前記シード画素を開始点として、領域成長アルゴリズムに従って前記勾配画像に対して領域分割を行うステップを含む。
例示的には、前記勾配の最大値を持つ画素に基づいて、第１勾配閾値を確定するステップと、
式Ｔ_１＝Ｔ_ｍａｘ＊Ｉｎに従って、前記第１勾配閾値を計算するステップと、を含み、ここで、Ｔ_１は前記第１勾配閾値を表し、Ｔ_ｍａｘは前記勾配の最大値を持つ画素値を表し、Ｉｎは係数を表す。

【0013】

本発明の別の態様によれば、画像レジストレーション装置がさらに提供される。この装置は、
プログラムを記憶するためのメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、前記プロセッサで実行されるとき、
参照画像と浮動画像の相関係数画像を計算するステップと、
前記相関係数画像の勾配画像を計算するステップと、
前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するステップと、
前記相関係数の極値を持つ画素に基づいて、前記参照画像と前記浮動画像をレジストレーションするステップとを実行するために使用される。

【0014】

本発明の他の態様によれば、画像スティッチング方法がさらに提供される。この方法は、
上記の画像レジストレーション方法に従って、前記参照画像と前記浮動画像をレジストレーションするステップと、
前記レジストレーションの結果に基づいて、前記参照画像と前記浮動画像をスティッチするステップとを含む。

【0015】

本発明の他の態様によれば、画像スティッチングデバイスがさらに提供される。この装置は、
プログラムを記憶するためのメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、前記プロセッサで実行されるとき、
上記の画像レジストレーション方法に従って、前記参照画像と前記浮動画像をレジストレーションするステップと、
前記レジストレーションの結果に基づいて、前記参照画像と前記浮動画像をスティッチするステップとを実行するために使用される。

【0016】

上記の画像レジストレーション方法と装置は、高い普遍性を持ち、位相回復法で再構成された画像だけでなく、様々な画像に適用することができる。また、該画像レジストレーション方法と装置は、計算量が少ないため、操作のリアルタイム性が保証される。最後に、該画像レジストレーション方法と装置により得られたレジストレーション結果はより正確であり、参照画像の内容と比較して浮動画像の内容に多くの新たな内容が出現しても、良好なレジストレーション結果を得ることもできる。

【0017】

上記の画像スティッチング方法とデバイスでは、上記の画像レジストレーション方法と装置を利用するので、スティッチング操作のリアルタイム性と精度を保証する。

【図面の簡単な説明】

【0018】

図面を参照しながら、本発明の実施例をより詳細に説明することによって、本発明の上記及び他の目的、特徴及び利点は、より明らかになる。図面は、本発明の実施例を更に理解させ、本明細書の一部を構成し、本発明の実施例と共に本発明を説明するためのものであり、本発明を制限するものではない。図面では、同じ参照番号は、通常、同じ又は類似の部品又はステップを表す。

【図1】本発明の一実施例に係る画像レジストレーション方法の例示的なフローチャートを示す。

【図2A】本発明の一実施例によりレジストレーションされる１枚の画像を示す。

【図2B】本発明の一実施例によりレジストレーションされる他の１枚の画像を示す。

【図2C】は本発明の一実施例によりレジストレーションされるさらに他の１枚の画像を示す。

【図3】図２Ａ、図２Ｂ及び図２Ｃに示される画像を２回のレジストレーション操作で空間的にレジストレーションしスティッチした結果の画像を示す。

【図4】図２Ａと図２Ｃに示される画像をそれぞれ参照画像と浮動画像として画像レジストレーションを行って取得された相関係数画像を示す。

【図5】図４に示される相関係数画像の勾配画像を示す。

【図6】本発明の一実施例に係る相関係数画像内の相関係数の極値を持つ画素の確定を示す例示的なフローチャートを示す。

【図7】本発明の一実施例に係る勾配画像内の各画素を示す。

【図8】図７に示される勾配画像の計算根拠となる相関係数画像内の各画素を示す。

【図9】本発明の別の実施例に係る相関係数画像内の相関係数の極値を持つ画素の確定を示す例示的なフローチャートを示す。

【図10】本発明の一実施例に係る画像レジストレーション装置の例示的なブロック図を示す。

【図11】本発明の一実施例に係る画像スティッチング方法を示す。

【発明を実施するための形態】

【0019】

本発明の目的、技術的解決策及び利点をより明らかにするために、添付の図面を参照しながら以下に本発明の例示的な実施例を詳細に説明する。明らかに、説明される実施例は、本発明の全ての実施例ではなく、本発明の実施例の一部に過ぎず、本発明は、本明細書に記載の例示的な実施例によって限定されないことを理解されたい。当業者が創造的な努力なしに本発明に記載された本発明の実施例に基づいて得る他の全ての実施例は、本発明の保護範囲に含まれるべきである。

【0020】

図１は、本発明の一実施例に係る画像レジストレーション方法１００を示す。画像レジストレーション方法１００は、参照画像と浮動画像をレジストレーションするために使用される。参照画像は基準画像として使用できる。画像レジストレーション方法１００は、参照画像に対する浮動画像の変位を計算するために使用される。画像レジストレーション後に、参照画像と浮動画像の同じ内容が空間で重なる。図２Ａ、図２Ｂ及び図２Ｃは、３枚のレジストレーションされる画像をそれぞれ示す。図３は、図２Ａ、図２Ｂ及び図２Ｃに示される画像を２回のレジストレーション操作で空間的にレジストレーションしスティッチする結果画像を示す。１回目のレジストレーション操作では、図２Ａに示される画像は参照画像で、図２Ｂに示される画像は浮動画像である。２回目のレジストレーション操作では、図２Ｂに示される画像は参照画像で、図２Ｃに示される画像は浮動画像である。

【0021】

参照画像と浮動画像は、様々な画像、特に同じモダリティの画像、即ち、同じ画像収集デバイスで収集された画像、例えば同じ顕微鏡からの画像であり得る。前述のように、顕微鏡のスキャンの視野を拡大するために、リアルタイムのスティッチング操作が必要となり、これは、高速な計算速度を必要とする。同じ顕微鏡からの画像は２次元の画像であり、隣接するフレームの重なり領域が比較的大きい。これらの特徴により、該画像レジストレーション方法の精度が高くなる。

【0022】

図１に示すように、ステップＳ１２０では、参照画像と浮動画像の相関係数画像を計算する。

【0023】

相関係数画像は、本質的にはデジタルマトリックスであり、各要素はその要素に対応する、参照画像と浮動画像との間の変位の相関係数を表す。隣接する画素の位置関係は、浮動画像と参照画像との間の、横座標又は縦座標の正方向又は負方向の１単位の変位に対応する。例示的には、相関係数法を使用して、該相関係数画像を計算することができる。この相関係数画像は、参照画像の４倍のサイズの画像である。例えば、参照画像と浮動画像がいずれも１００＊２００である場合、相関係数画像は２００＊４００である。

【0024】

本発明の一実施例によれば、相関係数は、参照画像と浮動画像をフーリエ変換し共役乗算してから、逆フーリエ変換して算出される。すべての可能な相関係数は１枚の相関係数画像を構成する。

【0025】

ここで、ｒ_ｆｇ（ｘ_ｉ，ｙ_ｉ）は、相関係数画像の位置（ｘ_ｉ，ｙ_ｉ）での画素値を表し、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）はそれぞれ、参照画像と浮動画像のフーリエ変換を表し、ＭとＮはそれぞれ、参照画像の列数と行数を表す。

【0026】

ステップＳ１４０では、上記の相関係数画像の勾配画像を計算する。相関係数画像と同様に、勾配画像は本質的にデジタルマトリックスであり、各要素は、対応する位置の相関係数画像の勾配を表す。

【0027】

上記のように、既存の相関係数法は通常、位相回復法で再構成された画像を利用する。一般には，すべての可能な変位に対応する相関係数の最大値が検索されると、浮動画像のレジストレーションに使用できる正しい変位が確定される。ただし、参照画像と浮動画像が位相回復法で再構成された画像ではない場合、両者の相関係数画像内の相関係数の最大値は実際の位置に現れず、画像の縁部に現れ、実際のレジストレーション位置から非常に離れている。図４は、図２Ａと図２Ｃに示される画像をそれぞれ参照画像と浮動画像として画像レジストレーションを行って取得された相関係数画像を示す。図４に示すように、該相関係数画像の上側縁部に相関係数の最大値が出現する。重要なことに、図４の実際のレジストレーション位置の近くでは、相関係数には非常に急な変化ピークが現れ、即ち、そこでの相関係数は急激に変化する。これにより、相関係数画像の勾配画像内の実際のレジストレーション位置の近くに、勾配の極大値が出現する。しかしながら、相関係数画像の下側縁部では、相関係数の最大値が出現するが、相関係数の変化に急なピークはない。図５は、図４に示される相関係数画像の勾配画像を示し、上記の問題を如実に説明する。

【0028】

本発明の一実施例によれば、以下の式に従って相関係数の勾配を計算する。

ここで、ｇ（ｉ，ｊ）は勾配画像（ｉ，ｊ）での画素値、即ち、勾配を表し、ｒ_ｆｇ（ｉ，ｊ）は相関係数画像（ｉ，ｊ）での画素値、即ち、相関係数を表す。

【0029】

ステップＳ１６０では、勾配画像内の勾配の極値を持つ画素に基づいて、相関係数画像内の相関係数の極値を持つ画素を確定する。つまり、このステップでは、相関係数画像において、勾配画像内の勾配の極値を持つ画素に対応する画素を確定する。

【0030】

画像は様々な要因の影響を受けるため、勾配画像内の勾配の極値を持つ画素と、相関係数画像内の相関係数の極値を持つ画素は、空間的に完全に対応しない場合がある。しかしながら、勾配画像内の勾配の極値を持つ画素に基づいて、相関係数画像内の実際のレジストレーション位置の近くの領域を確定することができる。次に、この領域で、相関係数の極値を持つ画素を検索する。

【0031】

ステップＳ１８０では、相関係数の極値を持つ画素に基づいて、参照画像と浮動画像をレジストレーションする。相関係数の極値を持つ画素を取得すれば、相関係数画像内のこの画素の位置を知ることができる。この位置に基づいて、浮動画像に必要な並進ベクトルを確定することができる。これにより、参照画像と浮動画像のレジストレーション操作が完了する。

【0032】

上記の画像レジストレーション方法は、高い普遍性を持ち、様々な画像に適用することができる。また、該画像レジストレーション方法は、計算量が少ないため、操作のリアルタイム性を保証することができる。最後に、該画像レジストレーション方法により得られたレジストレーション結果はより正確であり、参照画像の内容と比較して浮動画像の内容に多くの新たな内容が出現しても、良好なレジストレーション結果を得ることもできる。

【0033】

図６は、本発明の一実施例に係るステップＳ１６０の例示的なフローチャートを示す。図６に示すように、ステップＳ１６０は、ステップＳ６６１、Ｓ６６２及びＳ６６３を含み得る。

【0034】

ステップＳ６６１では、勾配画像内の勾配の最大値を持つ画素を、勾配の極値を持つ画素として検索する。図７は、本発明の一実施例に係る勾配画像内の各画素を示す。このステップでは、勾配画像全体をトラバースして、勾配の最大値（勾配ピーク値）を持つ画素、即ち、最大の画素値を持つ画素を見つける。図７に示すように、勾配画像内の第９行、第３列の画素を、勾配の最大値１７．１０４９を持つ画素として見つける。見つけた画素を、勾配の極値を持つ画素として使用することができる。

【0035】

ステップＳ６６２では、ステップＳ６６１で検索された勾配の極値を持つ画素の位置に基づいて、相関係数画像内の対応する画素を確定する。図８に示される相関係数画像は、図７に示される勾配画像を計算する根拠である。ステップＳ６６１で説明したように、勾配画像内の勾配の極値を持つ画素の位置は、勾配画像内の第９行、第３列であり、図８に示すように、「勾配ピーク値位置」としてマークされる。これにより、相関係数画像内の対応する画素が同じ位置（画像の第９行、第３列）の画素であること確定し、それが表す相関係数（即ち、画素値）は８．４１２２である。

【0036】

ステップＳ６６３では、ステップＳ６６２で確定された相関係数画像内の対応する画素に基づいて、相関係数の極値を持つ画素を探索する。このステップでは、相関係数画像において、ステップＳ６６２で確定された対応する画素に隣接する相関係数の極値を持つ画素を探索する。

【0037】

本発明の一実施例によれば、ステップＳ６６３は以下のサブステップを含み得る。
まず、ステップＳ６６２で確定された対応する画素の隣接画素を検索点として確定し、この検索点から検索を開始する。
次に、前記検索点の隣接画素をトラバースし、前記隣接画素がいずれも前記検索点よりも小さい場合、前記相関係数の極値を持つ画素としてこの検索点を使用し、それ以外の場合、最大の隣接画素を新たな検索点として再探索する。

【0038】

具体的には、前記検索点の隣接画素をトラバースして、検索点よりも大きい画素を新たな検索点として探索する。一般に、各検索点は、４つの隣接画素を有する。例えば、上記の画像の第９行、第３列の位置など、画像の頂点ではなく画像の縁部に検索点が位置する場合、検索点は３つの隣接画素を有する。検索点が画像の４つの頂点の１つである場合、この検索点は２つの隣接画素のみを有する。

【0039】

検索点の隣接画素がいずれも検索点より小さい場合、相関係数の極値を持つ画素としてこの検索点を使用する。検索点の隣接画素の中に検索点以上の画素がある場合、最大の画素値を持つ隣接画素を新たな検索点として使用し、相関係数の極値を持つ画素を見つけるまで上記のトラバーサルプロセスを繰り返す。

【0040】

図８に示す相関係数画像では、まず、第９行、第３列の位置の画素を検索点として検索を開始する。その隣接画素８．４１００、８．４２０８及び８．４１３８の中で、最大の隣接画素は、その上の画素８．４２０８である。画素値が８．４２０８であるこの画素を新たな検索点として、その隣接画素８．４２８２、８．４２２５、８．４１２２及び８．４１８０の中で、最大の隣接画素は、その上の画素８．４２８２である。画素値が８．４２８２であるこの画素を新たな検索点として、上記のプロセスを繰り返す。最後に、画素値が８．４３４０である画素を見つける。その隣接画素８．４３２１、８．４３３０、８．４３０３及び８．４３１９はいずれも８．４３４０よりも小さいため、画素値が８．４３４０である画素は、相関係数の極値を持つ画素である。

【0041】

上記の実施例では、相関係数画像において、確定された対応する画素に基づいて、相関係数の極値を持つ画素を探索する方法は、アルゴリズムが簡単かつ直観的であり、実現が容易である。

【0042】

概して、上記のステップＳ６６１、ステップＳ６６２及びステップＳ６６３で説明された、勾配画像内の勾配の極値を持つ画素に基づいて相関係数画像内の相関係数の極値を持つ画素を確定する方法は、勾配画像全体において勾配の最大値を持つ画素を直接検索し、検索された画素に基づいて相関係数画像内の相関係数の極値を持つ画素を確定する。この方法は簡単であり、計算量が小さく、実行の速度が速い。

【0043】

図９は、本発明の別の実施例に係るステップＳ１６０の例示的なフローチャートを示す。図９に示すように、ステップＳ１６０は、ステップＳ９６１、Ｓ９６２、Ｓ９６３及びＳ９６４を含み得る。

【0044】

ステップＳ９６１では、勾配画像内の勾配の最大値を持つ画素を検索する。このステップの操作は、検索された勾配の最大値を持つ画素を、勾配の極値を持つ画素として使用しないことを除いて、上記のステップＳ６６１と同様である。

【0045】

ステップＳ９６２では、前記ステップＳ９６１で検索された勾配の最大値を持つ画素に基づいて、第１勾配閾値を確定する。
本発明の一実施例によれば、以下の式に従って、前記第１勾配閾値を計算する。
Ｔ_１＝Ｔ_ｍａｘ＊Ｉｎ
ここで、Ｔ_１は前記第１勾配閾値を表し、Ｔ_ｍａｘは前記勾配の最大値を持つ画素値を表し、Ｉｎは係数を表す。

【0046】

ステップＳ９６３では、第１勾配閾値に基づいて、勾配画像に対して領域分割を行う。領域分割によって、勾配画像内の勾配の極値を持つ画素が存在する可能性のある位置を確定することができる。さらに、相関係数画像内の相関係数の極値を持つ画素を確定するのに役立つ。

【0047】

本発明の一実施例によれば、第１勾配閾値に基づいて、閾値分割法を直接利用して勾配画像を分割することができる。

【0048】

本発明の別の実施例によれば、ステップＳ９６３は以下のサブステップを含み得る。まず、前記第１勾配閾値よりも大きいシード画素を検索するように、前記第１勾配閾値に基づいて前記勾配画像に対してプログレッシブスキャンを行う。次に、前記シード画素に基づいて、前記勾配画像に対して領域分割を行って、すべての前記分割された領域を取得する。オプションで、シード画素を開始点として、領域成長アルゴリズムに従って勾配画像に対して領域分割を行う。領域成長アルゴリズムは、成熟した画像分割アルゴリズムであり、本発明では、勾配画像内の勾配の極値を持つ画素が存在する可能性のある領域をより正確に確定することができるため、画像レジストレーションの精度を保証する。

【0049】

ステップＳ９６４では、各分割された領域で、相関係数画像内の相関係数の極値を持つ被選択画素を確定し、勾配画像内の、被選択画素に対応する画素の勾配及び第２勾配閾値に基づいて、該被選択画素が前記相関係数の極値を持つ画素として使用できるか否かを確定する。

【0050】

具体的には、前記相関係数の極値を持つ画素を取得するまで、分割された領域に対して次の操作を実行することができる。

【0051】

１）分割された領域内の勾配の最大値を持つ画素を、勾配の極値を持つ画素として検索する。この操作はステップＳ６６１と同様である。両者の違いは、ステップＳ６６１が勾配画像全体を検索するが、この操作が勾配画像内の、ステップＳ９６３で分割して得られた１つの領域のみを検索するという点である。簡潔にするために、ここでは実行プロセスについて詳しく説明しない。

【0052】

２）前記勾配の極値を持つ画素の位置に基づいて、前記相関係数画像内の対応する画素を確定する。

【0053】

３）前記相関係数画像内の対応する画素に基づいて、前記相関係数画像内の極大値を持つ画素を被選択画素として探索する。

【0054】

上記の操作２）及び操作３）は、それぞれステップＳ６６２及びステップＳ６６３と同様であり、簡潔にするために、ここでは詳しく説明しない。ただし、ステップＳ６６３で探索された相関係数の極値を持つ画素は、参照画像及び浮動画像のレジストレーションの基準とすることができる。つまり、ステップＳ６６３で探索された相関係数の極値を持つ画素の位置に基づいて、参照画像及び浮動画像を直接レジストレーションすることができる。この操作では、確定された相関係数の極値を持つ画素は被選択画素であり、最終的に所望される参照画像及び浮動画像をレジストレーションするための画素となる可能性があるだけである。

【0055】

４）被選択画素を参照画像と浮動画像のレジストレーションに直接使用できるか否かを確定する。

【0056】

具体的には、相関係数画像内の極大値をとる被選択画素の位置に基づいて、勾配画像内の対応する画素を確定する。まだ図７と図８に示される画像を例として使用する。相関係数画像内の極大値をとる被選択画素８．４３４０の位置は、第６行、第４列である。勾配画像内のその位置に対応する画素は２．１０６０であると確定する。勾配画像内の、被選択画素に対応する画素の勾配、及び分割された領域内の勾配の最大値を持つ画素で確定された第２勾配閾値に基づいて、この被選択画素を、相関係数の極値を持つ画素として使用できるか否かを確定する。ここで、第２勾配閾値は、分割された領域内の勾配の最大値を持つ画素に特定の係数を乗算することによって確定することができる。この特定の係数の値の範囲は、［０．１５、０．２５］であってもよい。相関係数の極値を持つ画素としてこの被選択画素を使用できる場合、この被選択画素に基づいて参照画像と浮動画像をレジストレーションする、即ち、ステップＳ１８０を実行することができる。相関係数の極値を持つ画素としてこの被選択画素を使用できない場合、相関係数の極値を持つ画素を取得するまで、新たな被選択画素を再探索し、相関係数の極値を持つ画素として新たな被選択画素を使用できるか否かを確定する。

【0057】

本発明の一例によれば、被選択画素に対応する画素の勾配が第２勾配閾値よりも小さい場合、前記被選択画素は、前記相関係数の極値を持つ画素として、参照画像と浮動画像のレジストレーションに直接使用することができる。そうでない場合、相関係数画像内の相関係数の極値を持つ画素を確定するまで、次の分割された領域に移動して、上記の操作１）～操作４）を再実行する。

【0058】

本発明の実施例は上記の順序で説明されているが、上記のステップの順序は例にすぎず、本発明を限定するものではないことを当業者は理解するであろう。

【0059】

例えば、一例では、ステップＳ９６３において、まず、１つのシード画素を見つけ、領域成長アルゴリズムによって分割領域を取得し、その後、この分割領域に対してステップＳ９６４を執行する。ステップＳ９６４で相関係数画像内の相関係数の極値を持つ画素を確定する場合、方法はステップＳ１８０に進むことができ、そうでない場合、ステップＳ９６３に戻り、勾配画像をスキャンすることで、別のシード画素を見つけ、領域成長アルゴリズムにより別の分割領域を取得する。次に、前に説明したように操作する。相関係数画像内の相関係数の極値を持つ画素を確定するまで、上記の操作を繰り返す。

【0060】

別の例では、ステップＳ９６３で、領域分割によってすべての分割領域を取得する。ステップＳ９６４では、ある分割領域で相関係数の極値を持つ画素を取得しない場合、相関係数の極値を持つ画素を取得するまで、次の領域に直接進む。

【0061】

上記のステップＳ９６１、ステップＳ９６２、ステップＳ９６３及びステップＳ９６４で説明された、勾配画像内の勾配の極値を持つ画素に基づいて、相関係数画像内の相関係数の極値を持つ画素を確定する方法は、画質が悪い場合やサイズが小さすぎる場合、実際の変位位置に最大勾配の点が出現しない問題を回避する。この場合、誤った位置付近の相関係数の勾配は最大であるが、変化は緩やかである。一方、実際の位置付近の勾配は急激に変化する。そのため、上記の方法では、勾配変化状況に応じて、勾配値は大きいが変化が緩やかな領域を排除する。したがって、相関係数画像内の実際の変位の位置は合理的に推測され、これにより、レジストレーション操作の精度が保証される。

【0062】

本発明の別の態様によれば、画像レジストレーション装置がさらに提供される。図１０は、本発明の一実施例に係る画像レジストレーション装置１０００を示す。図１０に示すように、画像レジストレーション装置１０００は、相関係数計算モジュール１０２０と、勾配計算モジュール１０４０と、相関係数ピーク値確定モジュール１０６０と、レジストレーションモジュール１０８０とを備える。

【0063】

相関係数計算モジュール１０２０は、参照画像と浮動画像の相関係数画像を計算するために使用される。勾配計算モジュール１０４０は、前記相関係数画像の勾配画像を計算するために使用される。相関係数ピーク値確定モジュール１０６０は、前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するために使用される。レジストレーションモジュール１０８０は、前記相関係数の極値を持つ画素に基づいて、前記参照画像と前記浮動画像をレジストレーションするために使用される。

【0064】

本発明の一実施例によれば、相関係数ピーク値確定モジュール１０６０は、
前記勾配画像内の勾配の最大値を持つ画素を、前記勾配の極値を持つ画素として検索するための第１検索サブモジュールと、
前記勾配の極値を持つ画素の位置に基づいて、前記相関係数画像内の対応する画素を確定するための確定サブモジュールと、
前記相関係数画像内の対応する画素に基づいて、前記相関係数の極値を持つ画素を探索するための第１探索サブモジュールと、を含む。

【0065】

オプションで、前記第１探索サブモジュールは、前記相関係数画像内の対応する画素の隣接画素を検索点として確定するための検索点確定ユニットと、前記検索点の隣接画素をトラバースし、前記隣接画素がいずれも前記検索点よりも小さい場合、前記相関係数の極値を持つ画素として前記検索点を使用し、それ以外の場合、最大の隣接画素を新たな検索点として再探索するための探索ユニットとを含む。

【0066】

本発明の別の実施例によれば、相関係数ピーク値確定モジュール１０６０は、
前記勾配画像内の勾配の最大値を持つ画素を検索するための第２検索サブモジュールと、
前記勾配の最大値を持つ画素に基づいて、第１勾配閾値を確定するための第２確定サブモジュールと、
前記第１勾配閾値に基づいて、前記勾配画像に対して領域分割を行うための分割サブモジュールと、
各分割された領域で、前記相関係数画像内の相関係数の極値を持つ被選択画素を確定し、前記勾配画像内の、前記被選択画素に対応する画素の勾配及び第２勾配閾値に基づいて、前記被選択画素が前記相関係数の極値を持つ画素として使用できるか否かを確定するための取得サブモジュールとを含む。

【0067】

オプションで、前記分割サブモジュールは、
前記第１勾配閾値に基づいて前記勾配画像に対してプログレッシブスキャンを行って、前記第１勾配閾値よりも大きいシード画素を検索するためのシード画素検索ユニットと、
前記シード画素に基づいて、前記勾配画像に対して領域分割を行って、すべての前記分割された領域を取得するための分割ユニットと、を含む。
オプションで、前記分割ユニットは、前記シード画素を開始点として、領域成長アルゴリズムに従って前記勾配画像に対して領域分割を行うための分割実行サブユニットを含む。

【0068】

オプションで、前記第２確定サブモジュールは、式Ｔ_１＝Ｔ_ｍａｘ＊Ｉｎに従って前記第１勾配閾値を計算するための閾値計算ユニットを含み、Ｔ_１は前記第１勾配閾値を表し、Ｔ_ｍａｘは前記勾配の最大値を持つ画素値を表し、Ｉｎは係数を表す。

【0069】

別の見方をすれば、上記の画像レジストレーション装置は、メモリとプロセッサを含み得る。メモリはプログラムを記憶するために使用され、プロセッサはこのプログラムを実行するために使用される。

【0070】

このプロセッサで実行されるとき、このプログラムは、上記の画像レジストレーション方法を実行するために使用される。
本発明の一実施例によれば、このプログラムは、このプロセッサで実行されるときに、
参照画像と浮動画像の相関係数画像を計算するステップと、
前記相関係数画像の勾配画像を計算するステップと、
前記勾配画像内の勾配の極値を持つ画素に基づいて、前記相関係数画像内の相関係数の極値を持つ画素を確定するステップと、
前記相関係数の極値を持つ画素に基づいて、前記参照画像と前記浮動画像をレジストレーションするステップとを実行するために使用される。

【0071】

本発明の別の態様によれば、画像スティッチング方法がさらに提供される。この画像スティッチング方法は、上記の画像レジストレーション方法に従って参照画像と浮動画像をレジストレーションするステップと、レジストレーションの結果に基づいて参照画像と浮動画像をスティッチするステップを含む。

【0072】

この画像スティッチング方法では、画像レジストレーション操作で参照画像と浮動画像との間の比較的正確な位置関係を迅速に取得するため、画像スティッチング操作もより迅速かつ正確になることができる。

【0073】

図１１は、本発明の一実施例に係る画像スティッチング方法１１００を示す。図１１に示すように、画像スティッチング方法１１００は、レジストレーションステップとスティッチングステップを含む。レジストレーションステップでは、参照画像と浮動画像をレジストレーションする。スティッチングステップでは、落ち葉法を使用して浮動画像をキャンバスに挿入する。当業者は、落ち葉法が本発明の限定ではなく単なる例であり、他の融合方法を使用してもよいことを理解することができる。上記の２つのステップに加えて、画像スティッチング方法１１００は他のステップをさらに含むことができる。この画像スティッチング方法１１００については、図１１を参照して以下で詳細に説明する。

【0074】

まず、１枚目の画像を取得し、キャンバスの中心位置に配置する。該１枚目の画像を参照画像として使用する。バッファエリアから１枚目の画像に隣接する別の画像を浮動画像として取得する。画像の隣接は、通常、取得順序の隣接を示す。上記の画像レジストレーション方法を使用して、参照画像と浮動画像をレジストレーションする。画像レジストレーション方法で確定された極大値をとる相関係数が相関係数閾値Ｃ１よりも小さいか否かを判断する。相関係数閾値Ｃ１よりも小さい場合、画像の収集中に顕微鏡のプローブなどの収集装置の移動が速すぎることが示される。画像スティッチング方法１１００は、参照画像と浮動画像の重なり面積を確定するステップも含み得る。この重なり面積が第１面積閾値Ａ１よりも大きい場合、画像の収集中に収集装置の移動が遅すぎることが示され、現在の浮動画像には多くの意味のある画像情報が含まれていないため、この浮動画像を廃棄することができる。この重なり面積が第２面積閾値Ａ２よりも小さい場合、画像の収集中に収集装置の移動が速すぎることも示される。相関係数が相関係数閾値Ｃ１以上であり、この重なり面積が第２面積閾値Ａ２以上で、第１面積閾値Ａ１以下である場合、スティッチング操作を実行する。例えば、レジストレーション結果に基づいて、落ち葉法を使用して、浮動画像をキャンバスの適切な位置に挿入する。オプションで、スティッチング操作の後、画像スティッチング方法１１００は、収集装置の軌跡マップを更新するステップをさらに含み得る。

【0075】

このとき、例えば人為的に、新たなスティッチングシーケンスを開始するか否かを決定することができる。新たなスティッチングシーケンスを開始することにした場合は、現在の浮動画像を新たな参照画像として使用し、この参照画像をキャンバスの中心位置に配置することができる。バッファエリアからこの新たな参照画像に隣接する別の画像を新たな浮動画像として再度取り出して、レジストレーションとスティッチング操作を再度実行する。新たなスティッチングシーケンスを開始しないことにした場合、既存のスティッチング画像（存在の場合）を保存して、操作を終了することができる。

【0076】

画像の収集中に収集装置の移動が速すぎる場合、スティッチングの品質は信頼性が高くなく、結果は疑わしいものとある。相関係数が小さすぎる場合又は重なり面積が小さすぎる場合、正確なレジストレーションを行うことができない。レジストレーションにより隣接する画像の位置関係を取得できないため、スティッチング操作を実行せず、上記のようにスティッチングシーケンスを開始するか否かを直接決定することができる。これにより、不要な計算を回避でき、システム効率を向上させることができる。また、画像スティッチング方法１１００は、様々な方法でユーザを促すステップをさらに含んでもよく、それにより、ユーザは、現在の状況をタイムリーに知り、適切な操作の選択を行うことができる。たとえば、特定の色の境界線で現在の浮動画像をマークする。

【0077】

画像の収集中に収集装置の移動が遅すぎる場合、隣接する画像の重なり面積が非常に大きいため、スティッチング操作はあまり意味がない。これにより、現在の浮動画像を廃棄し、バッファエリアから別の画像を新たな浮動画像として取得することができる。この新たな浮動画像と参照画像に対してレジストレーションとスティッチングを行う。これにより、不要な計算を回避でき、システム効率を向上させることができる。

【0078】

本発明の他の態様によれば、画像スティッチングデバイスがさらに提供される。この画像スティッチングデバイスは、上記の画像スティッチング方法を実行することができ、上記の画像レジストレーション装置と画像スティッチング装置を含み得る。画像レジストレーション装置は、上記の画像レジストレーション方法に従って参照画像と浮動画像をレジストレーションするために使用される。画像スティッチング装置は、画像レジストレーション装置のレジストレーション結果に基づいて、前記参照画像と前記浮動画像をスティッチするために使用される。

【0079】

別の見方をすれば、上記の画像スティッチングデバイスは、メモリとプロセッサを含み得る。メモリはプログラムを記憶するために使用され、プロセッサは前記プログラムを実行するために使用される。

【0080】

前記プログラムは、前記プロセッサで実行されるとき、
上記の画像レジストレーション方法に従って、前記参照画像と前記浮動画像をレジストレーションするステップと、
前記レジストレーションの結果に基づいて、前記参照画像と前記浮動画像をスティッチするステップとを実行するために使用される。

【0081】

画像レジストレーション方法、画像レジストレーション装置及び画像スティッチング方法に関する上記の詳細な説明を読むことにより、画像スティッチングデバイスの構成及び技術的效果を理解することができ、簡潔にするため、ここでは繰り返し説明しない。

【0082】

また、本発明の実施例によれば、記憶媒体がさらに提供される。前記記憶媒体にはプログラム命令が格納される。前記プログラム命令がコンピュータ又はプロセッサによって実行されるとき、前記コンピュータ又はプロセッサは、本発明の実施例の画像レジストレーション方法又は画像スティッチング方法の対応するステップを実行する。前記記憶媒体は、本発明の実施例に係る画像レジストレーション装置又は画像スティッチングデバイスの対応するモジュール又は装置を実装するために使用される。前記記憶媒体は、例えば、スマートフォン用メモリカード、タブレット用ストレージパーツ、パーソナルコンピューター用ハードディスク、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、ＵＳＢメモリ、又は上記の記憶媒体の任意の組み合わせを含み得る。前記コンピュータ読取可能な記憶媒体は、１つ又は複数のコンピュータ可読記憶媒体の任意の組み合わせであってよい。

【0083】

本明細書では、図面を参照して例示的な実施例を説明したが、上記例示的な実施例は、例示的なものに過ぎず、本発明の範囲をそれらに限定するものではない。当業者は、本発明の範囲及び精神から逸脱することなく、その中で様々な変更及び修正を行うことができる。そのようなすべての変更及び修正は、添付の特許請求の範囲で請求される本発明の範囲内に含まれることが意図されている。

【0084】

当業者は、本明細書に開示された実施例に関連して説明された様々な例のユニットやアルゴリズムステップが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実施され得ることを理解するであろう。これらの機能が、ハードウェアで実行されるか又はソフトウェアで実行されるかは、技術的な解決策の特定のアプリケーション及び設計の制約に依存する。専門技術者は、特定のアプリケーションごとに異なる方法を使用して、説明した機能を実現することができるが、このような実現は本発明の範囲を超えると見なされるべきではない。

【0085】

本出願による幾つかの実施例において、理解されるように、開示されたデバイスと方法は、他の方式で実現されてもよい。例えば、上記のようなデバイス実施例は、単なる例示的なものにすぎない。例えば、前記ユニットの区分は、単なる論理的な機能による区分であり、実際に実現するとき他の区分方式であってもよく、例えば、複数のユニット又はアセンブリが別のデバイスに組み合わせ又は一体化してもよく、或いは幾つかの特徴が無視され又は実行されなくてもよい。

【0086】

ここで提供される明細書では、多くの具体的な詳細を説明した。しかしながら、本発明の実施例は、これらの具体的な詳細がなくても実施できることが理解できる。幾つかの例では、本明細書の理解を曖昧にしないように、公知の方法、構造及び技術は詳細に示されていない。

【0087】

同様に、本発明を簡素化し、様々な発明の態様の１つ又は複数を理解するのを助けるために、本発明の例示的な実施例の説明において、本発明の各特徴が単一の実施例、図面、又はその説明に時々一緒にグループ化されることを理解されたい。しかしながら、本発明のこの方法は、特許請求される本発明が各請求項に明示的に記載された特徴よりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。より正確には、対応する請求項に反映されているように、その発明は、単一の開示された実施例のすべての特徴よりも少ない特徴で対応する技術的問題を解決できるという点にある。したがって、具体的な実施形態に従う請求項は、明確にその具体的なの実施形態に組み込まれ、各請求項自体が本発明の別個の実施形態としての役割を果たす。

【0088】

当業者は、特徴が相互に排他的でない限り、本明細書（添付の請求項、要約、及び図面を含む）に開示されたすべての特徴の任意の組み合わせ、及びそのように開示された方法又はデバイスのすべてのプロセス又はユニットは、任意の組み合わせで組み合わせることができることを理解できる。特に明記されていない限り、本明細書（添付の請求項、要約、及び図面を含む）に開示されている各特徴は、同じ、同等、又は同様の目的を果たす代替の特徴で置き換えることができる。

【0089】

また、当業者は、本明細書に記載されている幾つかの実施例が他の特徴の代わりに他の実施例に含まれる特定の特徴を含むが、異なる実施例の特徴の組み合わせが本発明の範囲内にあり且つ異なる実施例を形成することを意味することを理解できる。例えば、特許請求の範囲では、特許請求される実施例のいずれか１つを任意の組み合わせで使用することができる。

【0090】

本発明の各部品の実施例は、ハードウェアにより実現されてもよく、１つ又は複数のプロセッサ上で実行されるソフトウェアモジュールにより実現されてもよく、又はそれらの組み合わせにより実現されてもよい。当業者は、実際的応用で、マイクロプロセッサ又はデジタル信号プロセッサ（ＤＳＰ）を使用して、本発明の実施例の画像レジストレーション装置及び画像スティッチング装置における幾つかのモジュールの一部又は全ての機能を実現してもよいことを理解するであろう。本発明は、本明細書に記載の方法を実行するための装置プログラム（例えば、コンピュータプログラムやコンピュータプログラム製品）の一部又は全部として実現されてもよい。本発明を実施するそのようなプログラムは、コンピュータ可読媒体に格納されてもよく、或いは、１つ又は複数の信号の形態を有してもよい。そのような信号は、インターネットのウェブサイトからダウンロードするか、キャリア信号で提供するか、或いは、他の形態で提供することができる。

【0091】

上記の実施例は、本発明を限定するのではなく本発明を例示するものであり、当業者は、添付の特許請求の範囲から逸脱することなく代替実施例を設計できることに留意されたい。請求項では、括弧の間の参照符号は請求項に対する制限として解釈されるべきではない。「含む」という用語は、請求項に記載されていない素子又はステップの存在を排除するものではない。素子の前の「１つ」又は「１個」という用語は、そのような素子が複数存在することを排除するものではない。本発明は、幾つかの異なる素子を含むハードウェアによって、及び適切にプログラムされたコンピュータによって実現することができる。幾つかの装置を列挙するユニット請求項では、これらの装置の幾つかは、同じハードウェアアイテムによって具現化され得る。第１、第２、及び第３などの用語の使用は、順序を示すものではない。これらの用語は名前として解釈され得る。

【0092】

以上は、本発明の具体的な実施形態又は具体的な実施形態の説明に過ぎず、本発明の保護範囲はこれに限定されるものではなく、本発明で開示した技術範囲内において、当業者が容易に想到するすべての変更又は変換は、本発明の保護範囲内に含まれるべきである。本発明の保護範囲は、特許請求の範囲で指定された範囲を基準とする。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】