特許 6854845 画像オーバーレイの補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6854845

(24)【登録日】2021年3月18日

(45)【発行日】2021年4月7日

(54)【発明の名称】画像オーバーレイの補正

(51)【国際特許分類】

   H04N 7/18 20060101AFI20210329BHJP

   H04N 5/66 20060101ALI20210329BHJP

【ＦＩ】

   H04N7/18 U

   H04N5/66 D

【請求項の数】10

【外国語出願】

【全頁数】11

(21)【出願番号】特願2019-91085(P2019-91085)

(22)【出願日】2019年5月14日

(65)【公開番号】特開2020-25245(P2020-25245A)

(43)【公開日】2020年2月13日

【審査請求日】2020年6月9日

(31)【優先権主張番号】18175512.5

(32)【優先日】2018年6月1日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】ダールバリ， シモン

(72)【発明者】

【氏名】パーション， アンデシュ

(72)【発明者】

【氏名】ジャベル， レミ

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開平０４−３４７９８０（ＪＰ，Ａ）

【文献】 特開平０６−０６２３１３（ＪＰ，Ａ）

【文献】 特開平０８−００９２８１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０１１９５５１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／００−７／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

ビデオを表示する方法であって、
ビデオ管理システムによって、光学歪みを有する複数の画像フレームを含むビデオストリームを受信するステップであって、少なくとも幾つかの画像フレームがオーバーレイを含むステップと、
前記ビデオ管理システムによって、画像フレーム内の前記オーバーレイの位置を判定するステップと、
前記ビデオ管理システムによって、前記画像フレームに歪み補正機能を適用して、前記光学歪みが補正されている調整された画像フレームを作成するステップであって、前記歪み補正機能は、前記画像フレームから前記オーバーレイをコピーし、前記画像フレームのピクセルを空間的に再配置し、前記コピーしたオーバーレイを、前記空間的に再配置したピクセルを有した前記画像フレームに挿入することによって、或いは、前記画像フレームのうち前記オーバーレイの部分を形成していないピクセルを空間的に再配置することによって、前記オーバーレイの見え方を本質的に不変に維持しつつ、画像調整のために前記判定されたオーバーレイの位置を使用するステップと、
前記調整された画像フレームを含む前記ビデオストリームを表示するステップと
を含む、方法。

【請求項2】

前記歪み補正機能を適用することが、前記画像フレームのピクセルを空間的に再配置すること、及び、前記画像フレーム内のピクセルの値を変更することのうちの一以上を含む、請求項１に記載の方法。

【請求項3】

前記コピーしたオーバーレイが、前記オーバーレイのコピー元の前記画像フレームの本質的に同じ位置に挿入される、請求項１に記載の方法。

【請求項4】

前記ビデオストリーム及び前記オーバーレイが監視カメラからリアルタイムで受信される、請求項１から３の何れか一項に記載の方法。

【請求項5】

前記ビデオストリーム及び前記オーバーレイがビデオサーバから受信される、請求項１から４の何れか一項に記載の方法。

【請求項6】

前記ビデオ管理システムによって、前記ビデオストリームとは別に、前記ビデオストリーム内の前記オーバーレイの位置情報を受信すること
を更に含む、請求項１から５の何れか一項に記載の方法。

【請求項7】

前記位置情報が、前記ビデオストリーム内の前記オーバーレイの位置の正規座標を含む、請求項６に記載の方法。

【請求項8】

前記空間的に再配置されたピクセルを有する前記ビデオストリーム内の前記オーバーレイの位置を特定するユーザ入力を受信すること
を更に含む、請求項１から７の何れか一項に記載の方法。

【請求項9】

ビデオを表示するシステムであって、前記システムが
メモリ、及び
プロセッサ
を含み、
前記メモリは、前記プロセッサによって実行されると、
光学歪みを有する複数の画像フレームを含むビデオストリームをビデオ管理システムによって受信することであって、少なくとも幾つかの画像フレームがオーバーレイを含むことと、
前記ビデオ管理システムによって、画像フレーム内の前記オーバーレイの位置を判定することと、
前記ビデオ管理システムによって、前記画像フレームに歪み補正機能を適用して、前記光学歪みが補正されている調整された画像フレームを作成することであって、前記歪み補正機能は、前記画像フレームから前記オーバーレイをコピーし、前記画像フレームのピクセルを空間的に再配置し、前記コピーしたオーバーレイを、前記空間的に再配置したピクセルを有した前記画像フレームに挿入することによって、或いは、前記画像フレームのうち前記オーバーレイの部分を形成していないピクセルを空間的に再配置することによって、前記オーバーレイの見え方を本質的に不変に維持しつつ、画像調整のために前記判定されたオーバーレイの位置を使用することと、
前記調整された画像フレームを含む前記ビデオストリームを表示することと
を含む方法
を前記プロセッサに実施させる命令を有する、システム。

【請求項10】

ビデオを表示するためのコンピュータプログラムを含む、デジタル記憶媒体であって、前記プログラムが、
光学歪みを有する複数の画像フレームを含むビデオストリームをビデオ管理システムによって受信するステップであって、少なくとも幾つかの画像フレームがオーバーレイを含むステップと、
前記ビデオ管理システムによって、画像フレーム内の前記オーバーレイの位置を判定するステップと、
前記ビデオ管理システムによって、前記画像フレームに歪み補正機能を適用して、前記光学歪みが補正されている調整された画像フレームを作成するステップであって、前記歪み補正機能は、前記画像フレームから前記オーバーレイをコピーし、前記画像フレームのピクセルを空間的に再配置し、前記コピーしたオーバーレイを、前記空間的に再配置したピクセルを有した前記画像フレームに挿入することによって、或いは、前記画像フレームのうち前記オーバーレイの部分を形成していないピクセルを空間的に再配置することによって、前記オーバーレイの見え方を本質的に不変に維持しつつ、画像調整のために前記判定されたオーバーレイの位置を使用するステップと、
前記調整された画像フレームを含む前記ビデオストリームを表示するステップと
に対応する命令を含む、デジタル記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はビデオシステムに関し、より詳細には、監視カメラが送出するビデオストリームに挿入されるオーバーレイを処理することに関する。

【背景技術】

【0002】

監視カメラは、種々の環境を監視するために多種多様な用途で屋内外で使用される。多くの監視カメラでは、カメラが送出するビデオストリームにオーバーレイが挿入されることがある。オーバーレイは、タイムスタンプや日付等、カメラからの何らかのテキストベースの情報であることが多い。別のタイプのオーバーレイ情報としては、温度、風速、または湿度等、外部センサやデバイスからのデータが含まれ得る。更に別のタイプのオーバーレイ情報としては、カメラにアクセスできる者がカメラに保存したテキストがあり得る。

【0003】

監視カメラは、何らかのビデオ管理システム（ＶＭＳ）によって制御され管理されることが多い。オーバーレイは通常、ＶＭＳに別途送信されるのではなく、監視カメラによってＶＭＳに送信されるビデオストリーム内の個々のフレームに含まれる。

【0004】

監視カメラが撮像した広角ビュー（例えば、魚眼ビュー）を表すビデオストリームやその広角ビューを、後にＶＭＳが歪み補正（すなわち、樽状歪み及び／または他の画像歪み等の光学歪みを補正）すると、オーバーレイが歪むことになる。歪みの程度は、オーバーレイがある程度見苦しくなるのみから、オーバーレイが歪み補正されたビデオから本質的に消失する程度まで、様々であり得る。いずれの場合も、ビデオストリームを閲覧するオペレーターにとってオーバーレイが読み取り困難となるか不可能となることもある。

【発明の概要】

【0005】

本発明の目的は、上記問題を全体的にまたは部分的になくすことである。この目的は、請求項１に記載の方法、請求項１２に記載のシステム、請求項１３に記載のコンピュータプログラム製品、及び請求項１４に記載の記憶媒体によって達成される。

【0006】

第１の態様によれば、本発明は、ビデオを表示するための、コンピュータシステムにおける方法に関する。方法は、下記のステップを特徴とする。
ビデオ管理システムによって、複数の画像フレームを含むビデオストリームを受信するステップであって、少なくとも幾つかの画像フレームがオーバーレイを含むステップ、
ビデオ管理システムによって、画像フレーム内のオーバーレイの位置を判定するステップ、
ビデオ管理システムによって、画像フレームに画像調整機能を適用して、調整された画像を作成するステップであって、画像調整機能は、判定されたオーバーレイの位置を使用して、オーバーレイの見え方を本質的に不変に維持しつつ、画像を調整するステップ、及び、
調整された画像フレームを含むビデオストリームを表示するステップ。

【0007】

これにより、監視カメラによって広角ビューを使用して取込まれた後にＶＭＳによる後続の歪み補正を受けるビデオストリーム上のオーバーレイについて、見え方及び可読性を改善する方法を提供する。該方法は、歪み補正プロセスにおいてオーバーレイがビデオから消失しないことも保証する。

【0008】

一実施形態によれば、画像調整機能を適用することが、画像フレームのピクセルを空間的に再配置すること及び画像フレーム内のピクセルの値を変更することの一方または両方を含む。画像フレームのピクセルを空間的に再配置することにより、オーバーレイを形成するピクセルを画像の異なるエリアに移動し、オーバーレイを明瞭かつ可読となるように再配置することが可能となる。ピクセルの値を変更することで、個々のピクセルのカラー及びコントラストを変更することによってオーバーレイの可読性を画像の他の部分に関して改善することができる。

【0009】

一実施形態によれば、画像調整機能を適用することは、オーバーレイを画像フレームからコピーすること、画像フレームのピクセルを空間的に再配置すること、及び、コピーされたオーバーレイを、空間的に再配置されたピクセルを有する画像フレームに挿入することを含む。これにより、オーバーレイの元々の見え方を保持する好都合な方法を提供する。画像フレーム内のピクセルに何らかの再配置が起こる前にオーバーレイがコピーされ、その後画像内のピクセルが再配置された後にオーバーレイが画像に再挿入される。

【0010】

一実施形態によれば、画像フレームのピクセルを空間的に再配置することは、オーバーレイの部分を形成しない画像フレームのピクセルを空間的に再配置することを含む。この実施形態において、オーバーレイは手つかずのままであり、画像の他の部分のみピクセルが空間的に再配置されている。これにより、元のオーバーレイの見え方が保存されることができ、画像が処理されている間にオーバーレイをコピー／記憶するために必要とされる演算の数及びメモリ要件を低減する。

【0011】

一実施形態によれば、コピーされたオーバーレイは、オーバーレイのコピー元の画像フレームの本質的に同じ位置に挿入される。これにより、画像のサイズがオーバーレイのサイズに対して非常に大きい場合や、画像とオーバーレイとの間のコントラストが不充分であった場合であっても、ユーザはオーバーレイを容易に探すことができる。

【0012】

一実施形態によれば、画像調整機能は、歪み補正機能、露出補正機能、またはクロッピング機能である。本発明の全体的な原理は種々のタイプの画像補正機能に適応させることができるので、本発明は様々な状況でかつ様々な監視カメラにおいて使用できる。

【0013】

一実施形態によれば、ビデオストリーム及びオーバーレイは、監視カメラからリアルタイムで受信される。これにより、本発明を監視カメラからのライブストリーミングビデオで実施することができる。

【0014】

一実施形態によれば、ビデオストリーム及びオーバーレイは、ビデオサーバから受信される。これにより本発明は、監視カメラからのビデオが、後で閲覧するためにサーバ上に記憶される場合に実施可能であり、処理はサーバ上に記憶する前ではなくその時点で実施され得る。

【0015】

一実施形態によれば、ビデオストリーム中のオーバーレイの位置情報が、ビデオ管理システムによってビデオストリームとは別に受信される。ビデオストリームとは別に位置情報を受信することで、オーバーレイの位置判定を大幅に簡略化し、必要とされる演算電力を低減しつつ画像処理速度を向上させる。

【0016】

一実施形態によれば、位置情報は、ビデオストリーム中のオーバーレイの位置の正規座標を含む。正規座標により、ＶＭＳによる画像処理後にオーバーレイがＶＭＳによる処理前と同じ画像中の位置に来ることが保証される。

【0017】

一実施形態によれば、空間的に再配置されたピクセルを有したビデオストリーム内のオーバーレイの位置を指定するユーザ入力が受信される。これにより、例えば処理済みの画像の本質的な特徴をオーバーレイが覆ってしまうであろう場合にユーザが別の位置のほうがよいと判断すれば、処理された画像内のオーバーレイの位置を変更するオプションがユーザに与えられる。

【0018】

第２の態様によれば、本発明は、ビデオを表示するためのシステムに関する。システムは、プロセッサ及びメモリを含む。メモリは、プロセッサによって実行されると、プロセッサによって以下の工程を実施させる命令を有する。
ビデオ管理システムによって、複数の画像フレームを含むビデオストリームを受信するステップであって、少なくとも幾つかの画像フレームがオーバーレイを含むステップ、
ビデオ管理システムによって、画像フレーム内のオーバーレイの位置を判定するステップ、
ビデオ管理システムによって、画像フレームに画像調整機能を適用して、調整された画像を作成するステップであって、画像調整機能は、判定されたオーバーレイの位置を使用して、オーバーレイの見え方を本質的に不変に維持しつつ画像を調整するステップ、及び、
調整された画像フレームを含むビデオストリームを表示するステップ。

【0019】

第３の態様によれば、本発明は、ビデオを表示するためのコンピュータプログラム製品に関する。該コンピュータプログラム製品は、下記のステップに対応する命令を含む。
ビデオ管理システムによって、複数の画像フレームを含むビデオストリームを受信するステップであって、少なくとも幾つかの画像フレームがオーバーレイを含むステップ、
ビデオ管理システムによって、画像フレーム内のオーバーレイの位置を判定するステップ、
ビデオ管理システムによって、画像フレームに画像調整機能を適用して、調整された画像を作成するステップであって、画像調整機能は、判定されたオーバーレイの位置を使用して、オーバーレイの見え方を本質的に不変に維持しつつ画像を調整するステップ、及び、
調整された画像フレームを含むビデオストリームを表示するステップ。

【0020】

第４の態様によれば、本発明は、そのようなコンピュータプログラムを含むデジタル記憶媒体に関する。該コンピュータプログラム及び記憶媒体は、該方法の利点に対応する利点を含み、同様に変更されてもよい。

【0021】

本発明の一以上の実施形態の詳細を、添付の図面及び以下の記載で説明する。本発明の他の特徴、目的及び利点は、これらの記述及び図面から、並びに特許請求の範囲から明らかとなろう。

【図面の簡単な説明】

【0022】

【図1】一実施形態による広角レンズを用いて監視カメラによって取込まれたシーンの概略画像である。

【図2】一実施形態によるビデオストリーム内の画像を補正するプロセスのフロー図である。

【図3】従来の技術を用いた歪み補正後の図１のシーンの概略画像である。

【図4】一実施形態による歪み補正後の図１のシーンの概略画像である。

【発明を実施するための形態】

【0023】

諸図面において同様の参照符号は類似の要素を示す。

【0024】

本発明の種々の実施形態は、監視カメラによって送出されるビデオストリームに挿入されるオーバーレイを処理するための技術に関する。ＶＭＳは、ビデオストリーム（通常、広角または「魚眼（ｆｉｓｈｅｙｅ）」ビデオストリーム）内のオーバーレイについて位置情報を受信する。受信した位置情報は、ビデオストリーム内の個々の画像に対してＶＭＳによって実施される任意の歪み補正工程からオーバーレイを除くのに使用される。オーバーレイの除去に位置情報を用いる手法は多種多様であり得る。最後に、ＶＭＳによる歪み補正後に、ビデオストリーム内の画像にオーバーレイが施されて、オーバーレイの可読かつ視覚的に美しい見え方が達成される。

【0025】

ここで本発明を、実施例を用い添付図面を参照しつつ更に詳細に説明する。図１は、広角レンズを用い監視カメラによって取込まれた画像フレーム１００を示す。画像フレーム１００は、全体としてビデオストリームを構成する多くのフレームのうちの１つである。画像フレーム１００は、幾つかのピクセルで形成されており、オーバーレイエリア１０２を含む。図１に示すオーバーレイエリア１０２は、画像が記録された日付及び時刻を特定するテキスト情報を含む。しかしながら、上述のように、任意のデータがオーバーレイとして含まれてよい。幾つか例を挙げれば、外部センサまたはデバイスからのデータ（例えば、温度、風速、または湿度）あるいはユーザによって入力される任意のタイプのカスタムテキスト等である。オーバーレイが完全にテキストである必要はなく、ロゴまたは商標のようなグラフィカル要素も含み得る。

【0026】

監視カメラは魚眼または広角レンズによって大きなシーンを取込むことができるものの、その際、取込んだ画像に有意な量の歪みが含まれる。形状上の歪みを抑え、向きを正し、画像中の細部を提供すべく、ＶＭＳはビデオストリーム内の画像を歪み補正する。歪み補正を行うための従来の技術を使用すると、図３に概略的に示すように、オーバーレイが歪んでしまうか或いは完全に消えてしまう。この問題は、本発明の種々の実施形態を使用して回避できる。図２及び図４を参照してこれら実施形態を説明する。図２は、本発明の一実施形態による画像を歪み補正するためのプロセス２００を示す。図４は、オーバーレイが挿入されている歪み補正された画像の概略例を示す。

【0027】

図２に見られるように、プロセス２００は、ＶＭＳがオーバーレイを含むビデオストリームを受信すること（ステップ２０２）によって開始される。通常、オーバーレイを有するビデオストリームは監視カメラから受信される。しかしながら、ＶＭＳによって後で処理するために、ビデオを中間ストレージ、例えば、サーバ上に記憶する状況もある。そのような状況では、ビデオが監視カメラから直接ではなくサーバから受信される。

【0028】

次に、ＶＭＳは、ビデオストリームの画像フレーム内のオーバーレイの位置を判定する（ステップ２０４）。オーバーレイの位置は通常、ビデオストリーム全体で同じであろう。しかし、様々な時間的間隔で、或いは、ビデオカメラが監視するエリアにおいて発生することに応じて、オーバーレイの位置が変化する可能性がある状況もあり得る。画像フレーム内のオーバーレイの位置を判定する手法は幾つかあり得る。例えば、ある実施形態では、カメラ（またはサーバ）がオーバーレイ位置をＶＭＳにプッシュ通知することによって、或いはＶＭＳから監視カメラへのオーバーレイ位置についてのクエリに応答して、オーバーレイの位置をＶＭＳにビデオストリームとは別に送信してもよい。他の実施形態では、オーバーレイの位置がビデオストリーム中に符号化され得る。更に別の実施形態では、ＶＭＳが、受信したビデオストリームを分析し文字及び／又は数字を含む画像エリアを見出してもよい。

【0029】

オーバーレイ情報が判定されると、ＶＭＳは、受信したビデオストリーム内の個々の画像フレームの歪み補正を、該歪み補正工程からオーバーレイを含むエリアを除外しつつ、実施する（ステップ２０６）。これは幾つかの手法で行われ得る。例えば、一実施形態で、画像フレーム全体又はオーバーレイ部分を除いた画像フレームがコピーされる。その後、コピーした画像フレーム（又は画像フレームのコピー部分）に、画像調整機能が適用されて、歪み補正を達成する。最後に、コピー元のオリジナルのオーバーレイが、歪み補正された画像フレームに挿入される。他の実施形態では、画像フレームはコピーされず、代わりにオーバーレイのエリアがロックされることで、画像フレームに適用される任意の画像調整機能がオーバーレイのエリアに影響を及ぼさないようにする。

【0030】

ビデオフレーム内の個々の画像フレームが歪み補正されると、歪みのないオーバーレイを有したビデオストリームが、図４に示すように表示されて（ステップ２０８）、プロセス２００が終了する。

【0031】

上記工程は、歪み補正の画像調整機能（例えば、樽状歪み、ピンクッション歪み等）の文脈で述べたが、同じ原理が他のタイプの画像補正、幾つか例を挙げると、ローテーション（画像が特定の基準系に対して正しく配置される）、クロッピング（いわゆる「レターボックス」を表示せずに済みスクリーンエリアの使用を改善するため）、スティッチング、ブレンディング等、或いはビデオストリームの画像フレームにおける正しい露出に、適用されてもよいことに留意されたい。更に、ＶＭＳが受信したオリジナルの画像フレームでのオーバーレイと同じ位置を単に使用するのではなく、歪み補正された最終画像フレーム内のオーバーレイの位置をユーザが指定することができる実施形態もあり得ることに留意されたい。

【0032】

本発明は、可能な限りすべての技術的詳細レベルのインテグレーションにおける、システム、方法、及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム指令が格納されている、コンピュータ可読記憶媒体を含み得る。

【0033】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持し記憶することが可能な、有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は、それらの任意の好適な組み合わせでありうるが、それらに限定されるわけではない。コンピュータ可読記憶媒体のより具体的な非網羅的リストには、ポータブルコンピュータ用フロッピーディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、持ち運び可能なコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリースティック、フロッピーディスク、パンチカード又は記録された命令を有する溝内の隆起構造といった機械的にエンコードされた装置、及びこれらの任意の適切な組み合わせ、が含まれる。本書において、コンピュータ可読記憶媒体は、それ自体電波若しくはその他の自由に伝播する電磁波、導波路若しくは別の伝送媒体を通って伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）などの一時的信号であるとも、ワイヤを通って伝送される電気信号であるとも、解釈すべきではない。

【0034】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング装置／プロセッシング装置に対して、又は、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／もしくはワイヤレスネットワークといったネットワークを経由して外部のコンピュータもしくは外部記憶装置に対して、ダウンロード可能である。ネットワークは、銅の伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含み得る。各コンピューティング／プロセッシング装置のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング／プロセッシング装置内のコンピュータ可読記憶媒体内に保存するために、該コンピュータ可読プログラム命令を転送する。

【0035】

本発明の工程を実行するためのコンピュータ可読プログラム指令は、アセンブラ指令、指令セットアーキテクチャ（ＩＳＡ）指令、機械指令、機械依存指令、マイクロコード、ファームウェア指令、状態設定データ、集積回路用設定データであってよく、又は、一又は複数のプログラミング言語（スマートトークやＣ^＋＋などといったオブジェクト指向型プログラミング言語、及び、「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む）の任意の組み合わせで書かれた、ソースコードとオブジェクトコードのいずれかでありうる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上且つ部分的にリモートコンピュータ上で、又は完全にリモートのコンピュータもしくはサーバ上で、実行され得る。最後の例の場合、リモートコンピュータが任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む）を通じてユーザのコンピュータに接続されうるか、又は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータへの接続がなされうる。一部の実施形態においては、電子回路（例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む）は、本発明の態様を実施する目的でこの電子回路をカスタマイズするために、コンピュータ可読プログラム指令の状態情報を利用することによって、コンピュータ可読プログラム指令を実行し得る。

【0036】

本書では、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフロー図及び／又はブロック図に言及しつつ、本発明の態様について説明している。フロー図及び／又はブロック図の各ブロック、並びにフロー図及び／又はブロック図のブロックの組み合わせが、コンピュータ可読プログラム命令によって実行可能であることは、理解されよう。

【0037】

これらのコンピュータ可読プログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行を行う命令が、フロー図及び／又はブロック図の１又は複数のブロック内で特定されている機能／作用を実装するための手段を生成するように、汎用コンピュータ、特殊用途コンピュータ、又は、機器を作製するための他のプログラマブルデータ処理装置のプロセッサに、提供され得る。これらのコンピュータ可読プログラム命令は、コンピュータに命令可能なコンピュータ可読記憶媒体内、プログラム可能なデータ処理装置内、及び／又は特有の方法で機能する他の装置内にもまた、記憶され得る。それによって、命令が記憶されているコンピュータ可読記憶媒体には、該フロー図及び／又はブロック図の単数もしくは複数のブロックで明記されている機能／動作の態様を実装する命令を含む製品が、含まれる。

【0038】

コンピュータ可読プログラム指令は更に、一連の工程ステップがコンピュータ、他のプログラマブル装置、又はその他の、コンピュータ実装されるプロセスを発生させるデバイスで実施されるよう、コンピュータ、他のプログラマブルデータ処理装置、又はその他のデバイスにローディングされてよく、これにより、コンピュータ、他のプログラマブル装置、又はその他のデバイスで実行されるこれらの指令が、フロー図及び／又はブロック図の一又は複数のブロック内に特定されている機能／作用を実装する。

【0039】

図面のフロー図及びブロック図は、本発明の様々な実施例によるシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、及び操作を示すものである。その際、フロー図及びブロック図の各ブロックは、特定の一又は複数の論理機能を実装するための一又は複数の実行可能な命令を含むコードのモジュール、セグメント、又は部分を表わしうる。幾つかの代替的な実装では、ブロックに記載された機能は図面に記載された順序を逸脱して現われてよい。例えば、場合によっては、連続して示されている２つのブロックはほぼ同時に実行されてもよく、または、含まれる機能によってはブロックが逆順に実行されてもよい。ブロック図及び／又はフロー図の各ブロック、並びにブロック図及び／又はフロー図のブロックの組み合わせは、特定機能又は作業を行う特殊用途のハードウェアベースのシステムによって実行可能であるか、又は特殊用途のハードウェア及びコンピュータ命令の組み合わせによって実行可能である。

【0040】

本発明の様々な実施形態の記載が例示の目的で提示されてきたが、網羅的であることまたは開示の実施形態に限定することは意図されていない。当業者には、説明されている実施形態の範囲及び本質から逸脱することなく、多数の修正例及び変形例が自明となろう。本書で使用されている用語は、実施形態の原理、市場に見られる技術を凌駕する実用的応用又は技術的改善を最もよく解説するため、或いは、本書で開示されている実施形態を他の当業者にも理解可能にするために、選ばれたものである。

【図1】

【図2】

【図3】

【図4】