特開 2024-95601 自律走行のためのセンサデータ処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024095601

(43)【公開日】2024-07-10

(54)【発明の名称】自律走行のためのセンサデータ処理装置及び方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240703BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023219207

(22)【出願日】2023-12-26

(31)【優先権主張番号】10-2022-0187678

(32)【優先日】2022-12-28

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523084592

【氏名又は名称】フォーティートゥ ドット インコーポレイテッド

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】アン デソン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF27

5H181LL01

5H181LL09

(57)【要約】

【課題】 自律走行のためのセンサデータ処理装置及び方法を提供する。
【解決手段】
自律走行のためのセンサデータ処理装置において、一実施形態に係るセンサデータ処理装置は、複数のセンサから複数のセンサデータを受信する受信器と、前記複数のセンサデータの生成時点に基づいて前記複数のセンサデータに関する情報を取得し、前記情報に基づいて同期化データグループ及び前記複数のセンサデータのアップデートを示すイベントを生成し、前記同期化データグループ及び前記イベントに基づいて同期化されたセンサデータをクライアントに送信するプロセッサを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

自律走行のためのセンサデータ処理装置であって、
複数のセンサから複数のセンサデータを受信する受信器と、
前記複数のセンサデータの生成時点に基づいて前記複数のセンサデータに関する情報を取得し、
前記情報に基づいて同期化データグループ及び前記複数のセンサデータのアップデートを示すイベントを生成し、
前記同期化データグループ及び前記イベントに基づいて同期化されたセンサデータをクライアントに送信するプロセッサと、
を含む、センサデータ処理装置。

【請求項2】

前記複数のセンサは、複数のカメラを含み、
前記複数のセンサデータそれぞれは複数のフレームから構成される、請求項１に記載のセンサデータ処理装置。

【請求項3】

前記プロセッサは、
前記複数のセンサに対応するフレームレートを取得し、
前記フレームレートに基づいてフレーム係数を設定し、
前記フレーム係数及び閾値に基づいて前記複数のセンサデータを構成する複数のフレームからＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成する、請求項１に記載のセンサデータ処理装置。

【請求項4】

前記プロセッサは、
前記閾値に基づいて前記ＧＯＳに対応する類似時点を決定し、
前記複数のセンサデータの受信に応答して、前記ＧＯＳを格納するＧＯＳコンテナから前記類似時点に最も近い時点に対応する最も近接ＧＯＳを探索し、
前記最も近接ＧＯＳに基づいて前記ＧＯＳをインデキシングする、請求項３に記載のセンサデータ処理装置。

【請求項5】

前記プロセッサは、前記インデキシングに応答して前記ＧＯＳコンテナに前記ＧＯＳのインデックス及び前記ＧＯＳが格納されたメモリアドレスを格納する、請求項４に記載のセンサデータ処理装置。

【請求項6】

前記プロセッサは、
前記複数のフレームに含まれた第１フレームの第１生成時点が前記閾値内に含まれる場合、前記第１フレームを前記ＧＯＳに含ませ、
前記第１生成時点が前記閾値を離脱する場合、前記第１フレームを以前の時点に対応するＧＯＳ又は次の時点に対応するＧＯＳに含ませる、請求項３に記載のセンサデータ処理装置。

【請求項7】

前記プロセッサは、
前記ＧＯＳの生成に応答して前記イベントを生成し、
前記イベントを前記クライアントに送信する、請求項３に記載のセンサデータ処理装置。

【請求項8】

前記イベントは、前記ＧＯＳに対応するフレームヘッダ情報及びフレームポインタを含む、請求項７に記載のセンサデータ処理装置。

【請求項9】

前記プロセッサは、前記複数のセンサデータの受信に応答して、前記複数のセンサデータの一部又は全ての集合から構成されるＧＯＦ（Ｇｒｏｕｐ Ｏｆ Ｆｒａｍｅ）を生成して格納する、請求項１に記載のセンサデータ処理装置。

【請求項10】

自律走行のためのセンサデータ処理方法であって、
複数のセンサから複数のセンサデータを受信するステップと、
前記複数のセンサデータの生成時点に基づいて前記複数のセンサデータに関する情報を取得するステップと、
前記情報に基づいて同期化データグループ及び前記複数のセンサデータのアップデートを示すイベントを生成するステップと、
前記同期化データグループ及び前記イベントに基づいて同期化されたセンサデータをクライアントに送信するステップと、
を含む、センサデータ処理方法。

【請求項11】

前記複数のセンサは、複数のカメラを含み、
前記複数のセンサデータそれぞれは複数のフレームから構成される、請求項１０に記載のセンサデータ処理方法。

【請求項12】

前記イベントを生成するステップは、
前記複数のセンサに対応するフレームレートを取得するステップと、
前記フレームレートに基づいてフレーム係数を設定するステップと、
前記フレーム係数及び閾値に基づいて前記複数のセンサデータを構成する複数のフレームからＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成するステップと、
を含む、請求項１０に記載のセンサデータ処理方法。

【請求項13】

前記ＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成するステップは、
前記閾値に基づいて前記ＧＯＳに対応する類似時点を決定するステップと、
前記複数のセンサデータの受信に応答して、前記ＧＯＳを格納するＧＯＳコンテナから前記類似時点に最も近い時点に対応する最も近接ＧＯＳを探索するステップと、
前記最も近接ＧＯＳに基づいて前記ＧＯＳをインデキシングするステップと、
を含む、請求項１２に記載のセンサデータ処理方法。

【請求項14】

前記ＧＯＳをインデキシングするステップは、前記インデキシングに応答して、前記ＧＯＳコンテナに前記ＧＯＳのインデックス及び前記ＧＯＳが格納されたメモリアドレスを格納するステップを含む、請求項１３に記載のセンサデータ処理方法。

【請求項15】

前記ＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成するステップは、
前記複数のフレームに含まれた第１フレームの第１生成時点が前記閾値内に含まれる場合、前記第１フレームを前記ＧＯＳに含ませるステップと、
前記第１生成時点が前記閾値を離脱する場合、前記第１フレームを以前の時点に対応するＧＯＳ又は次の時点に対応するＧＯＳに含ませるステップと、
を含む、請求項１２に記載のセンサデータ処理方法。

【請求項16】

前記イベントを生成するステップは、
前記ＧＯＳの生成に応答して前記イベントを生成するステップと、
前記イベントを前記クライアントに送信するステップと、
を含む、請求項１２に記載のセンサデータ処理方法。

【請求項17】

前記イベントは、前記ＧＯＳに対応するフレームヘッダ情報及びフレームポインタを含む、請求項１６に記載のセンサデータ処理方法。

【請求項18】

前記イベントを生成するステップは、前記複数のセンサデータの受信に応答して、前記複数のセンサデータの一部又は全ての集合から構成されるＧＯＦ（Ｇｒｏｕｐ Ｏｆ Ｆｒａｍｅ）を生成して格納するステップを含む、請求項１０に記載のセンサデータ処理方法。

【請求項19】

ハードウェアと結合して請求項１０～１８のいずれか一項に記載の方法を実行させるためにコンピュータで読み出し可能な媒体に格納されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、自律走行のためのセンサデータ処理装置及び方法に関する。

【背景技術】

【0002】

車両の迅速な動きが存在する状況で車両を制御しなければならない自律走行を行うためには、多チャネルを介して入力されるセンサデータに対する同期化が必須である。

【0003】

自律走行のようなアプリケーションで多チャネルから入力されるセンサデータに対して同時間のデータを一回に送受信することで、認知エラーを最小化することができる。

【0004】

非同期的に入力される複数のセンサデータをＩＰＣ（Ｉｎｔｅｒ Ｐｒｏｃｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を介して複数のクライアントに伝達する場合、クライアント間のチャネル同期化が難しい。

【0005】

Ｐ２Ｐ（Ｐｅｅｒ－ｔｏ－Ｐｅｅｒ）方式のＩＰＣを使用する場合、クライアントが複数の通信線を要求し、複数回のコピー過程を必要とするため、演算が増加する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、自律走行のためのセンサデータ処理装置及び方法を提供することにある。

【課題を解決するための手段】

【0007】

自律走行のためのセンサデータ処理装置において、一実施形態に係るセンサデータ処理装置は、複数のセンサから複数のセンサデータを受信する受信器と、前記複数のセンサデータの生成時点に基づいて前記複数のセンサデータに関する情報を取得し、前記情報に基づいて同期化データグループ及び前記複数のセンサデータのアップデートを示すイベントを生成し、前記同期化データグループ及び前記イベントに基づいて同期化されたセンサデータをクライアントに送信するプロセッサとを含む。

【0008】

前記複数のセンサは、複数のカメラを含み、前記複数のセンサデータそれぞれは複数のフレームから構成される。

【0009】

前記プロセッサは、前記複数のセンサに対応するフレームレートを取得し、前記フレームレートに基づいてフレーム係数を設定し、前記フレーム係数及び閾値に基づいて前記複数のセンサデータを構成する複数のフレームからＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成することができる。

【0010】

前記プロセッサは、前記閾値に基づいて前記ＧＯＳに対応する類似時点を決定し、前記複数のセンサデータの受信に応答して、前記ＧＯＳを格納するＧＯＳコンテナから前記類似時点に最も近い時点に対応する最も近接ＧＯＳを探索し、前記最も近接ＧＯＳに基づいて前記ＧＯＳをインデキシングすることができる。

【0011】

前記プロセッサは、前記インデキシングに応答して前記ＧＯＳコンテナに前記ＧＯＳのインデックス及び前記ＧＯＳが格納されたメモリアドレスを格納することができる。

【0012】

前記プロセッサは、前記複数のフレームに含まれた第１フレームの第１生成時点が前記閾値内に含まれる場合、前記第１フレームを前記ＧＯＳに含ませ、前記第１生成時点が前記閾値を離脱する場合、前記第１フレームを以前の時点に対応するＧＯＳ又は次の時点に対応するＧＯＳに含ませることができる。

【0013】

前記プロセッサは、前記ＧＯＳの生成に応答して前記イベントを生成し、前記イベントを前記クライアントに送信することができる。

【0014】

前記イベントは、前記ＧＯＳに対応するフレームヘッダ情報及びフレームポインタを含むことができる。

【0015】

前記プロセッサは、前記複数のセンサデータの受信に応答して、前記複数のセンサデータの一部又は全ての集合から構成されるＧＯＦ（Ｇｒｏｕｐ Ｏｆ Ｆｒａｍｅ）を生成して格納することができる。

【0016】

自律走行のためのセンサデータ処理方法は、複数のセンサから複数のセンサデータを受信するステップと、前記複数のセンサデータの生成時点に基づいて前記複数のセンサデータに関する情報を取得するステップと、前記情報に基づいて同期化データグループ及び前記複数のセンサデータのアップデートを示すイベントを生成するステップと、前記同期化データグループ及び前記イベントに基づいて同期化されたセンサデータをクライアントに送信するステップとを含む。

【0017】

前記複数のセンサは、複数のカメラを含み、前記複数のセンサデータそれぞれは複数のフレームから構成されることができる。

【0018】

前記イベントを生成するステップは、前記複数のセンサに対応するフレームレートを取得するステップと、前記フレームレートに基づいてフレーム係数を設定するステップと、前記フレーム係数及び閾値に基づいて前記複数のセンサデータを構成する複数のフレームからＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成するステップとを含むことができる。

【0019】

前記ＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成するステップは、前記閾値に基づいて前記ＧＯＳに対応する類似時点を決定するステップと、前記複数のセンサデータの受信に応答して、前記ＧＯＳを格納するＧＯＳコンテナから前記類似時点に最も近い時点に対応する最も近接ＧＯＳを探索するステップと、前記最も近接ＧＯＳに基づいて前記ＧＯＳをインデキシングするステップとを含むことができる。

【0020】

前記ＧＯＳをインデキシングするステップは、前記インデキシングに応答して、前記ＧＯＳコンテナに前記ＧＯＳのインデックス及び前記ＧＯＳが格納されたメモリアドレスを格納するステップを含むことができる。

【0021】

前記ＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）を生成するステップは、前記複数のフレームに含まれた第１フレームの第１生成時点が前記閾値内に含まれる場合、前記第１フレームを前記ＧＯＳに含ませるステップと、前記第１生成時点が前記閾値を離脱する場合、前記第１フレームを以前の時点に対応するＧＯＳ又は次の時点に対応するＧＯＳに含ませるステップとを含むことができる。

【0022】

前記イベントを生成するステップは、前記ＧＯＳの生成に応答して前記イベントを生成するステップと、前記イベントを前記クライアントに送信するステップとを含むことができる。

【0023】

前記イベントは、前記ＧＯＳに対応するフレームヘッダ情報及びフレームポインタを含むことができる。

【0024】

前記イベントを生成するステップは、前記複数のセンサデータの受信に応答して、前記複数のセンサデータの一部又は全ての集合から構成されるＧＯＦ（Ｇｒｏｕｐ Ｏｆ Ｆｒａｍｅ）を生成して格納するステップを含むことができる。

【発明の効果】

【0025】

本発明によると、自律走行のためのセンサデータ処理装置及び方法を提供することができる。

【図面の簡単な説明】

【0026】

【図1】一実施形態に係るセンサデータ処理装置の概略的なブロック図を示す。

【図2】図１に示されたセンサデータ処理装置の実現の一例を示す。

【図3】図２に示されたセンサデータ処理装置の構造を詳細に示す図である。

【図4】比較試験のためのハードウェア仕様の一例を示す。

【図5】図１に示されたセンサデータ処理装置の処理結果の例を示す。

【図6】送信性能指標を示すための図である。

【図7】送信性能指標を示すための図である。

【図8】送信性能指標を示すための図である。

【図9】送信性能指標を示すための図である。

【図10】複数のクライアントを使用する場合の性能比較結果を示す。

【図11】図１に示されたセンサデータ処理装置の動作のフローチャートを示す。

【発明を実施するための形態】

【0027】

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

【0028】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名する。

【0029】

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

【0030】

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「Ａ又はＢのうち少なくとも１つ」及び「Ａ、Ｂ、又はＣのうち少なくとも１つ」のような文句は、それぞれその文句のうち該当する文句と共に羅列された項目のいずれか１つ又はそのすべての可能な組み合わせを含んでもよい。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0031】

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで使用する全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0032】

本文書で使用された用語「モジュール」は、ハードウェア、ソフトウェア、又は、ファームウェアで具現されたユニットを含んでもよく、例えば、ロジック、論理ブロック、部品、又は、回路のような用語と相互互換的に使用されてもよい。モジュールは、一体に構成された部品、又は、１つ又はそれ以上の機能を行う、前記部品の最小単位又はその一部であってもよい。例えば、一実施形態によれば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の形態に実現されてもよい。

【0033】

本文書で使用される「～部」の用語は、ソフトウェア又はＦＰＧＡ又はＡＳＩＣのようなハードウェア構成要素を意味し、「～部」はいずれかの役割を行う。ところが、「～部」というソフトウェア又はハードウェアに限定される意味ではない。「～部」は、アドレッシングできる格納媒体にあるように構成されてもよく、１つ又はそれ以上のプロセッサを再生させるように構成されてもよい。例えば、「～部」はソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素、及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含んでもよい。構成要素と「～部」の中で提供される機能は、さらに小さい数の構成要素及び「～部」に結合されたり、追加的な構成要素と「～部」にさらに分離されてもよい。それだけでなく、構成要素及び「～部」は、デバイス又はセキュリティーマルチメディアカード内の１つ又はそれ以上のＣＰＵを再生させるように実現されてもよい。また、「～部」は、１つ以上のプロセッサを含んでもよい。

【0034】

以下、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照して説明するにおいて、図面符号に関係なく同じ構成要素には同じ参照符号を付与し、これに対する重複する説明は省略する。

【0035】

図１は、一実施形態に係るセンサデータ処理装置の概略的なブロック図を示す。

【0036】

図１を参照すると、センサデータ処理装置１０はセンサデータを処理する。センサデータは、センサによって検出されたデータを意味する。センサは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、ＲＡＤＡＲ（ＲＡｄｉｏ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、カメラ及び／又は超音波センサ（Ｕｌｔｒａｓｏｎｉｃ ｓｅｎｓｏｒ）を含んでもよい。カメラは、ステレオカメラ（Ｓｔｅｒｅｏ Ｃａｍｅｒａ）を含んでもよい。

【0037】

センサデータ処理装置１０は、車両の内部又は外部に実現することができる。車両は、人や貨物を運搬するために使用されるよう設計された乗り物を意味する。例えば、車両は、自動車、汽車、船舶、ボート、航空機及び／又は自転車を含んでもよい。

【0038】

センサデータ処理装置１０は、自律走行のためにセンサデータを処理する。自律走行は、運転者が車両の一部又は全てを操作せず、車両自ら走行環境を認識して危険要素を判断し、最適な経路を導き出して車両を走行する動作を意味する。

【0039】

車両制御装置１０は受信器１００及びプロセッサ２００を含む。車両制御装置１０はメモリ３００をさらに含んでもよい。

【0040】

受信器１００は、受信インターフェースを含んでもよい。受信器１００は、センサ又はメモリ３００からデータを受信する。受信器１００は、センサから受信された検出結果を受信する。

【0041】

受信器１００は、複数のセンサから複数のセンサデータを受信する。受信器１００は、受信した複数のセンサデータをプロセッサ２００に出力してもよい。

【0042】

プロセッサ２００は、メモリ３００に格納されたデータを処理する。プロセッサ２００は、メモリ３００に格納されたコンピュータで読出し可能なコード（例えば、ソフトウェア）及びプロセッサ２００によって誘発された命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行してもよい。

【0043】

プロセッサ２００は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたデータ処理装置であってもよい。例えば、目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含んでもよい。

【0044】

例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでもよい。

【0045】

プロセッサ２００は、複数のセンサデータの生成時点に基づいて複数のセンサデータに関する情報を取得する。複数のセンサは、複数のカメラを含んでもよい。複数のセンサデータそれぞれは複数のフレームから構成されてもよい。

【0046】

プロセッサ２００は、情報に基づいて同期化データグループ及び複数のセンサデータのアップデートを示すイベントを生成してもよい。同期化データグループは、ＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）及びＧＯＦ（Ｇｒｏｕｐ Ｏｆ Ｆｒａｍｅ）を含んでもよい。イベントは、ＧＯＳに対応するフレームヘッダ（ｈｅａｄｅｒ）情報及びフレームポインタを含んでもよい。

【0047】

プロセッサ２００は、複数のセンサデータの受信に応答して複数のセンサデータの一部又は全ての集合から構成されるＧＯＦを生成して格納してもよい。プロセッサ２００は、ＧＯＦをメモリ３００に格納してもよい。

【0048】

プロセッサ２００は、複数のセンサに対応するフレームレート（ｆｒａｍｅ ｒａｔｅ）を取得する。プロセッサ２００は、フレームレートに基づいてフレーム係数（ｆｒａｍｅ ｃｏｅｆｆｉｃｉｅｎｔ）を設定してもよい。プロセッサ２００は、フレーム係数及び閾値（ｔｈｒｅｓｈｏｌｄ）に基づいて複数のセンサデータを構成する複数のフレームからＧＯＳを生成する。

【0049】

プロセッサ２００は、閾値に基づいてＧＯＳに対応する類似時点を決定する。プロセッサ２００は、複数のセンサデータの受信に応答してＧＯＳを格納するＧＯＳコンテナから類似時点に最も近い時点に対応する最も近接ＧＯＳを探索し得る。プロセッサ２００は、最も近接ＧＯＳに基づいてＧＯＳをインデキシング（ｉｎｄｅｘｉｎｇ）してもよい。

【0050】

プロセッサ２００は、インデキシングに応答してＧＯＳコンテナにＧＯＳのインデックス及びＧＯＳが格納されたメモリアドレスを格納する。ＧＯＳコンテナは、メモリ３００上に実現されてもよい。

【0051】

プロセッサ２００は、複数のフレームに含まれた第１フレームの第１生成時点が閾値内に含まれる場合、第１フレームをＧＯＳに含ませてもよい。プロセッサ２００は、第１生成時点が閾値を離脱する場合、第１フレームを以前の時点に対応するＧＯＳ又は次の時点に対応するＧＯＳに含ませることができる。

【0052】

プロセッサ２００は、ＧＯＳの生成に応答してイベントを生成してもよい。プロセッサ２００は、イベントをクライアントに送信してもよい。クライアントは、アプリケーションを含んでもよい。

【0053】

プロセッサ２００は、同期データグループ及びイベントに基づいて同期したセンサデータをクライアントに送信してもよい。

【0054】

メモリ３００は、演算のためのデータ又は演算結果を格納する。メモリ３００は、プロセッサによって実行可能な命令（又は、プログラム）を格納してもよい。例えば、命令は、プロセッサの動作及び／又はプロセッサの各構成の動作を実行するための命令を含んでもよい。

【0055】

メモリ３００は、揮発性メモリ装置又は不揮発性メモリ装置で実現されることができる。

【0056】

揮発性メモリ装置は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、Ｔ－ＲＡＭ（ｔｈｙｒｉｓｔｏｒ ＲＡＭ）、Ｚ－ＲＡＭ（ｚｅｒｏ ｃａｐａｃｉｔｏｒ ＲＡＭ）、又はＴＴＲＡＭ（Ｔｗｉｎ Ｔｒａｎｓｉｓｔｏｒ ＲＡＭ）で実現されてもよい。

【0057】

不揮発性メモリ装置は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュ（ｆｌａｓｈ）メモリ、ＭＲＡＭ（Ｍａｇｎｅｔｉｃ ＲＡＭ）、スピン伝達トルクＭＲＡＭ（Ｓｐｉｎ－Ｔｒａｎｓｆｅｒ Ｔｏｒｑｕｅ（ＳＴＴ）－ＭＲＡＭ）、Ｃｏｎｄｕｃｔｉｖｅ Ｂｒｉｄｇｉｎｇ ＲＡＭ（ＣＢＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ ＲＡＭ）、抵抗メモリ（Ｒｅｓｉｓｔｉｖｅ ＲＡＭ（ＲＲＡＭ））、ナノチューブＲＲＡＭ（Ｎａｎｏｔｕｂｅ ＲＲＡＭ）、ポリマーＲＡＭ（Ｐｏｌｙｍｅｒ ＲＡＭ（ＰｏＲＡＭ））、ナノ浮遊ゲートメモリ（Ｎａｎｏ Ｆｌｏａｔｉｎｇ Ｇａｔｅ Ｍｅｍｏｒｙ（ＮＦＧＭ））、ホログラフィックメモリ（ｈｏｌｏｇｒａｐｈｉｃ ｍｅｍｏｒｙ）、分子電子メモリ素子（Ｍｏｌｅｃｕｌａｒ Ｅｌｅｃｔｒｏｎｉｃ Ｍｅｍｏｒｙ Ｄｅｖｉｃｅ）、又は、絶縁抵抗変化メモリ（Ｉｎｓｕｌａｔｏｒ Ｒｅｓｉｓｔａｎｃｅ Ｃｈａｎｇｅ Ｍｅｍｏｒｙ）に実現されてもよい。

【0058】

図２は、図１に示されたセンサデータ処理装置の実現の一例を示す。

【0059】

図２を参照すると、センサデータ処理装置（例えば、図１のセンサデータ処理装置１０）は、ボード（ｂｏａｒｄ）上に実現されてもよい。ボードは回路基板を含んでもよい。図２の例示は、複数のボード（例えば、第１ボード２１０及び第２ボード２７０）を利用したセンサデータ処理過程を例示的に説明している。

【0060】

センサデータ処理装置１０は、予め受信されたセンサデータ又は以前の時点に受信されたセンサデータを格納し、格納されたデータを取得する。

【0061】

センサデータ処理装置１０は、同期化を行って同期化性能を格納する。センサデータ処理装置１０は、以前の時点に受信されたセンサデータ及び同期化性能を格納してもよい。センサデータ処理装置１０は、格納された情報を一回に処理し得る。

【0062】

センサデータ処理装置１０は、以前の時点に受信されたセンサデータとのヒステリシス（ｈｙｓｔｅｒｅｓｉｓ）（例えば、以前のイメージ情報又は以前の地域化（ｌｏｃａｌｉｚａｔｉｏｎ）情報）が必要な場合、又はセンサ・フュージョン（ｓｅｎｓｏｒ ｆｕｓｉｏｎ）アルゴリズムのように複雑な複数のデータを用いて処理を行うアルゴリズムに対して、１つのサイクル（ｏｎｅ ｃｙｃｌｅ）でセンサデータを処理することができる。

【0063】

センサデータ処理装置１０は、ボードツーボード（ｂｏａｒｄ ｔｏ ｂｏａｒｄ）でサーバ間の通信政策に基づいてデータを各ボード間で同期化を行うことができる。センサデータ処理装置１０は、外部の他のボードに存在するデバイスを内部にボードが装着されているよう仮想デバイス（ｖｉｒｔｕａｌ ｄｅｖｉｃｅ）として活用し得る。

【0064】

センサデータ処理装置１０は、互いに異なるボードに格納されたデータを同期化させて保管してもよい。センサデータ処理装置１０は、第１ボード２１０及び／又は第２ボード２７０に実現されてもよい。

【0065】

メディアエンジン２１１は、コミュニケイター２１３を含む。コミュニケイター２１３は、時間同期化モジュール２１５、フレームコンテナ２１７、及びインターフェース及びクライアントマネージャ２１９を含む。時間同期化モジュール２１５及びインターフェース及びクライアントマネージャ２１９は、プロセッサ（例えば、図１のプロセッサ２００）に含まれてもよく、フレームコンテナ２１７は、メモリ（例えば、図１のメモリ３００）に含まれてもよい。

【0066】

メディアエンジン２１１は、受信されたビデオフレームを時間同期化アルゴリズム及びストリーム（ｓｔｒｅａｍ）管理技術を用いてチャネル純及び／又は時間順に管理してもよい。メディアエンジン２１１は、ビデオフレームをＧＯＦで管理してもよい。メディアエンジン２１１は、ビデオフレームをチャネルごとにＧＯＳ単位で管理して同時間帯のフレームを管理し得る。

【0067】

メディアエンジン２１１は、ＧＯＳ生成時に登録されている各クライアントにアップデートイベントを伝達し、ＧＯＳアップデート事項を伝達する。クライアントは、複数のアプリケーション２５０－１、２５０－２、２５０－３、２５０－４及び２５０－５に別途のデータコピーを行うことなく、同期化されたセンサデータを送信することができる。

【0068】

メディアエンジン２１１は、イベントをイベントメッセージの形態に伝達してもよい。イベントメッセージは、メインヘッダ、フレームヘッダ情報、及び／又はフレームポインタを含んでもよい。

【0069】

コミュニケイター２１３は、複数のセンサからセンサデータを受信してもよい。コミュニケイター２１３は、複数のカメラ２３０－１、２３０－２及び２３０－３からイメージ又はビデオを受信してもよい。

【0070】

イメージ又はビデオは、様々な通信チャネルを介して非同期的に送信される。イメージ又はビデオは、ＬＶＤＳ（Ｌｏｗ－Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）、又は、イーサネット（ｅｔｈｅｒｎｅｔ）を介して送信されてもよい。又は、イメージ又はビデオは、イーサネットを使用するＡＶＢ（ＡｕｄｉｏＶｉｄｅｏ Ｂｒｉｄｇｉｎｇ）又はＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）を介して送信されてもよい。

【0071】

時間同期化モジュール２１５は、複数のセンターデータの間の同期化を行う。時間同期化モジュール２１５は、設定されたフレームレートと受信したフレームが生成されたタイムスタンプを基準にしてフレーム間の同期化を行ってもよい。

【0072】

時間同期化モジュール２１５は、フレーム間の偏差を確認できる。時間同期化モジュール２１５は、フレームレートを基準にして設定された係数値（又は、チューニングパラメータ）を介して特定の閾値内に生成されたフレームであるか否かを判断する。時間同期化モジュール２１５は、閾値を数式（１）のように算出することができる。
［数１］
ｔｈｒｅｓｈｏｌｄ＝ｆｐｓ×ｃｏｅｆｆｉｃｉｅｎｔ （１）

【0073】

ここで、ｆｐｓは、フレームレートで秒当たりフレーム数を意味する。

【0074】

時間同期化モジュール２１５は、複数のフレームのうち最初に受信されたフレームのタイムスタンプが閾値内に存在する場合、類似時点に生成されたフレームとして判断する。類似時点に生成されたフレームと判断されたフレームに対して、時間同期化モジュール２１５は同じＧＯＳフレームに情報をアップデートすることができる。

【0075】

タイムスタンプが閾値を超過したり以前として判断される場合、時間同期化モジュール２１５は、該当フレームを同じ時点のフレームでないと判断し、以前のＧＯＳ又は次にＧＯＳフレームに情報をアップデートし得る。

【0076】

第２ボード２７０は、メディアエンジン２７１を含む。第２ボード２７０は、複数のカメラ２９０－１、２９０－２及び２９０－３からビデオを受信してもよい。メディアエンジン２７１の動作は、メディアエンジン２１１と同一であってもよい。

【0077】

第１ボード２１０と第２ボード２７０はメディアストリームをやりとりできる。第１ボード２１０と第２ボード２７０は、イーサネット又はＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）を介してメディアストリームをやりとりし得る。

【0078】

図３は、図２に示すセンサデータ処理装置の構造を詳細に示した図である。

【0079】

図３を参照すると、センサデータ処理装置（例えば、図１のセンサデータ処理装置１０）は、コミュニケイター３１０上に実現されてもよい。コミュニケイター３１０はサーバ上に実現されてもよい。

【0080】

フレームコンテナ３１１は、メディアパイプライン３３０を介して複数のフレーム（例えば、第１フレーム及び第２フレーム）を受信する。フレームコンテナ３１１は、非同期的に入力されるフレームがアップデートされるたびにＧＯＦごとにフレームを格納し得る。

【0081】

フレームコンテナ３１１は、フレームの大きさ、ＧＯＦフレーム（例えば、ＧＯＦアレイ）を格納する。ＧＯＰフレームは、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＧＯＰの大きさ、閾値（例えば、時間閾値又は係数値（ｃｏｅｆｆｉｃｉｅｎｔ ｖａｌｕｅ））及び／又はフレームアレイを含んでもよい。フレームアレイは、フレームヘッダ及びサンプル（例えば、ローデータ（ｒａｗ ｄａｔａ））を含んでもよい。

【0082】

フレームコンテナ３１１は、ソース（例えば、複数のセンサ）からセンサデータが入力されるたびにＧＯＦコンテナ（例えば、循環バッファ（ｃｉｒｃｕｌａｒ ｂｕｆｆｅｒ））に最新データを格納する。

【0083】

ＧＯＳマネージャ３１３は、同期化が必要なソースフレームが格納されれば、１つのＧＯＳ同期化フレームを生成してＧＯＳコンテナに格納する。ＧＯＳコンテナ（例えば、循環バッファ）は、フレームコンテナの一種としてフレームが格納されるごとにフレームレート及びフレームの生成時点のタイムスタンプを用いてＧＯＳを生成することができる。

【0084】

ＧＯＳマネージャ３１３は、ソースフレームが入力されるごとにＧＯＳコンテナの内部を探索し、現在のフレームの生成時点に最も類似しているＧＯＳを探索してインデックスを行うことができる。

【0085】

ＧＯＳマネージャ３１３は、類似時点のフレームを収集してＧＯＳコンテナにフレームインデックス及びメモリアドレスを格納する。

【0086】

ＧＯＳコンテイトは、ＧＯＳインデックス、ＧＯＳ同期化の大きさ（ＧＯＳ ｓｙｎｃ ｓｉｚｅ）、ＧＯＳフレーム（例えば、ＧＯＳフレームアレイ）を含んでもよい。ＧＯＳフレームは、ＩＤ、同期化情報、フレームの数、生成されたタイムスタンプ、フレームポインタを含んでもよい。フレームポインタは、メモリアドレスを示す。

【0087】

ＧＯＳマネージャ３１３は、全てのソースフレームが同期化されてＧＯＳフレームが生成されれば、全てのクライアントにアップデートイベントを送信し得る。

【0088】

ＧＯＳマネージャ３１３は、１つのＧＯＳ同期フレームが生成されれば、同期フレームの生成を通知するために、ＩＰＣインターフェース３１５を介してイベントを生成し、アップデートメディアストリーミングインターフェースで生成されたイベントを伝達する。

【0089】

ＧＯＳマネージャ３１３は、アップデートメディアストリームインターフェースを介してクライアントに同期化されたフレームの情報及びデータを伝達する。同期化されたフレームの情報は、ＧＯＳメインヘッダ（ｈｅａｄｅｒ）、フレームごとのヘッダ及び／又はサンプル（例えば、ローデータ）を含んでもよい。メディアストリームインターフェースは、ＩＰＣインターフェースを含んでもよい。

【0090】

ＧＯＳマネージャ３１３は、ＩＰＣインターフェース（Ｉｎｔｅｒ Ｐｒｏｃｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ）３１５を介してＧＯＳシンクフレーム及びイベントを他のコミュニケイター（例えば、コミュニケイター３５１及びコミュニケイター３５３）に送信してもよい。コミュニケイター３５１及びコミュニケイター３５３は、クライアント上に実現されてもよい。

【0091】

図４は、比較試験のためのハードウェア仕様の一例を示し、図５は、図１に示されたセンサデータ処理装置の処理結果の例を示す。

【0092】

図４及び図５を参照すると、センサデータ処理装置（例えば、図１のセンサデータ処理装置１０）は、非同期的に入力される複数のセンサデータ間の同期化を行う。

【0093】

センサデータ処理装置１０は、複数のカメラから入力される複数のフレームをカメラサーバのＧＯＳフレームコンテナアルゴリズム及びフレームマネジメント機能を用いて同期化してもよい。

【0094】

図６及び図７の例示は、図５に示された仕様のハードウェアを用いてセンサデータ処理結果を示す。図６及び図７の例示は、スマートフォンカメラを用いて高速撮影されたイメージを示す。センサデータ処理装置１０は、複数のクライアントにフレーム同期化の問題がないビデオストリームを同時に伝達し得る。

【0095】

センサデータ処理装置１０は、コミュニケイターを利用した実質的な実現体のカメラサーバを使用することで、マシーンラーニングのためのデータ収集及びビジョンアルゴリズム処理に必要な同期化問題を解決することで、ビジョンアルゴリズムの性能を最も大きくし、エラーを最小化することができる。

【0096】

図６～図９は、送信性能指標を示すための図である。

【0097】

図６～図９を参照すると、ビデオストリームを使用するクライアントの個数を変化させてランタイムに動作する測定データが抽出される。図８は、性能比較のための試験条件を示す。図９及び図１０の例示は、ランタイムの同期化性能を示す。

【0098】

図９の例示で確認できるように、センサデータ処理装置（例えば、図１のセンサデータ処理装置１０）は、従来技術に比べて２倍以上優れた性能（２倍以上減少した送信時間）を示す。

【0099】

図１０は、複数のクライアントを使用する場合の性能比較結果を示す。

【0100】

図１０を参照すると、ビデオストリームを使用するクライアントの個数を変化させてランタイムに動作する測定データが抽出される。図１２に示す結果は、図６のハードウェア仕様を用いて測定されてもよい。

【0101】

図１１は、図１に示されたセンサデータ処理装置の動作のフローチャートを示す。

【0102】

図１１を参照すると、受信器（例えば、図１の受信器１００）は、複数のセンサから複数のセンサデータを受信する（Ｓ１１１０）。

【0103】

プロセッサ（例えば、図１のプロセッサ２００）は、複数のセンサデータの生成時点に基づいて複数のセンサデータに関する情報を取得する（Ｓ１１３０）。複数のセンサは、複数のカメラを含んでもよい。複数のセンサデータそれぞれは、複数のフレームから構成されてもよい。

【0104】

プロセッサ２００は、情報に基づいて同期化データグループ及び複数のセンサデータのアップデートを示すイベントを生成する（Ｓ１１５０）。同期化データグループは、ＧＯＳ（Ｇｒｏｕｐ Ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ ｆｒａｍｅｓ）及びＧＯＦ（Ｇｒｏｕｐ Ｏｆ Ｆｒａｍｅ）を含んでもよい。イベントは、ＧＯＳに対応するフレームヘッダ情報及びフレームポインタ（ｐｏｉｎｔｅｒ）を含んでもよい。

【0105】

プロセッサ２００は、複数のセンサデータの受信に応答して、複数のセンサデータの一部又は全ての集合から構成されるＧＯＦを生成して格納する。

【0106】

プロセッサ２００は、複数のセンサに対応するフレームレート（ｆｒａｍｅ ｒａｔｅ）を取得する。プロセッサ２００は、フレームレートに基づいてフレーム係数（ｆｒａｍｅ ｃｏｅｆｆｉｃｉｅｎｔ）を設定してもよい。プロセッサ２００は、フレーム係数及び閾値（ｔｈｒｅｓｈｏｌｄ）に基づいて複数のセンサデータを構成する複数のフレームからＧＯＳを生成してもよい。

【0107】

プロセッサ２００は、閾値に基づいてＧＯＳに対応する類似時点を決定する。プロセッサ２００は、複数のセンサデータの受信に応答して、ＧＯＳを格納するＧＯＳコンテナから類似時点に最も近い時点に対応する最も近接ＧＯＳを探索する。プロセッサ２００は、最も近接ＧＯＳに基づいてＧＯＳをインデキシング（ｉｎｄｅｘｉｎｇ）してもよい。

【0108】

プロセッサ２００は、インデキシングに応答して、ＧＯＳコンテナにＧＯＳのインデックス及びＧＯＳが格納されたメモリアドレス（ｍｅｍｏｒｙ ａｄｄｒｅｓｓ）を格納してもよい。

【0109】

プロセッサ２００は、複数のフレームに含まれた第１フレームの第１生成時点が閾値内に含まれる場合、第１フレームをＧＯＳに含ませることができる。プロセッサ２００は、第１生成時点が閾値を離脱する場合、第１フレームを以前の時点に対応するＧＯＳ又は次の時点に対応するＧＯＳに含ませることができる。

【0110】

プロセッサ２００は、ＧＯＳの生成に応答してイベントを生成する。プロセッサ２００は、イベントをクライアントに送信してもよい。クライアントは、アプリケーションを含んでもよい。

【0111】

プロセッサ２００は、同期化データグループ及びイベントに基づいて同期化されたセンサデータをクライアントに送信する（Ｓ１１７０）。

【0112】

以上で説明した実施形態は、ハードウェアコンポーネント、ソフトウェアコンポーネント、及び／又はハードウェアコンポーネント及びソフトウェアコンポーネントの組み合わせで具現されることができる。例えば、実施形態で説明する装置、方法及びコンポーネントは、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）、ＰＬＵ（Ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサ又はコマンドを実行して応答できる他の適応型スーパーサンプリング装置のように汎用コンピュータ又は特殊目的のコンピュータを使用して具現することができる。処理装置は、オペレーティングシステム（ＯＳ）及び上記オペレーティングシステム上で実行されるソフトウェアアプリケーションを実行することができる。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成してもよい。理解の便宜のために、処理装置は１つが使用されるものと説明された場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇｅｌｅｍｅｎｔ）及び／又は複数タイプの処理要素を含み得ることが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成（ｐｒｏｃｅｓｓｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。

【0113】

ソフトウェアは、コンピュータプログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）、コード（ｃｏｄｅ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）、又はそのいずれかの組み合わせを含んでもよく、希望のように処理装置を構成したり独立的又は結合的に（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されるか、処理装置に命令又はデータを提供するために、いずれかのタイプの機械、コンポーネント、物理装置、仮想装置、コンピュータ記憶媒体、又は装置、又は送信される信号波に永久的に具体化することができる。ソフトウェアは、ネットワーク接続されたコンピュータシステム上に分散され、分散された方法で格納又は実行されてもよい。ソフトウェア及びデータは、コンピュータ読み取り可能な記録媒体に格納することができる。

【0114】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

【0115】

上記で説明したハードウェア適応的スーパーサンプリング装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモデルとして作動するように構成してもよく、その逆も同様である。

【0116】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【0117】

したがって、他の具現、他の実施形態及び特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】