特開 2024-1888 規制のない歩行者ステップダウン（ＰＳＤ）イベントの予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001888

(43)【公開日】2024-01-10

(54)【発明の名称】規制のない歩行者ステップダウン（ＰＳＤ）イベントの予測

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231227BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 350C

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023102804

(22)【出願日】2023-06-22

(31)【優先権主張番号】63/366,839

(32)【優先日】2022-06-22

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】522254859

【氏名又は名称】オートブレインズ・テクノロジーズ・リミテッド

【氏名又は名称原語表記】Ａｕｔｏｂｒａｉｎｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｔｄ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100131808

【弁理士】

【氏名又は名称】柳橋 泰雄

(72)【発明者】

【氏名】ライヘルゴース，イガル

(72)【発明者】

【氏名】オディナエフ，カリーナ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096BA18

5L096DA03

5L096HA11

5L096JA28

5L096KA17

(57)【要約】      （修正有）

【課題】規制のない歩行者ステップダウン（ＰＳＤ）警報のための方法を提供する。
【解決手段】方法は、車両のコンピュータ化されたシステムが、規制のないＰＳＤ状況を示す規制のないＰＳＤ指標を受信することと、車両の環境に関して感知された情報を取得することと、感知された情報を処理することであって、該処理は、少なくとも１つの規制のないＰＳＤ指標を検索することと、少なくとも１つの規制のないＰＳＤ識別子を発見した場合に、歩行者が車両の環境内の走行可能な空間にステップダウンすることが予想される状況に近づいていることを車両が自律的に決定することと、を含む。自律的に決定することは、発見に対する応答を引き起こす。応答は即時応答であり、少なくとも車両のコンピュータ化されたシステムによって実行される。
【選択図】図２

【特許請求の範囲】

【請求項1】

規制のない歩行者ステップダウン警報のための方法であって、
車両のコンピュータ化されたシステムが、規制のないＰＳＤ状況を示す、規制のない歩行者ステップダウン（ＰＳＤ）指標を受信することと、
前記車両の環境に関して感知された情報を取得することと、
前記感知された情報を処理することであって、該処理は、少なくとも１つの規制のないＰＳＤ指標を検索することを含む、ことと、
前記少なくとも１つの規制のないＰＳＤ識別子を発見したときに、歩行者が前記車両の前記環境内の走行可能な空間にステップダウンすることが予想される状況に近づいていることを前記車両が自律的に決定することであって、前記自律的に決定することは、前記発見に対する応答を引き起こし、前記応答は即時応答であり、少なくとも前記車両のコンピュータ化されたシステムによって実行される、ことと
を包含する方法。

【請求項2】

前記規制のないＰＳＤ指標は、
タグ付けされていないビデオの第１のグループを取得することと、
タグ付けされていないビデオの前記第１のグループ内の、規制のないＰＳＤイベントを探し出すことと、
事前ＰＳＤイベントビデオセグメントを処理することを含む生成工程によって前記規制のないＰＳＤ指標を生成すること
によって生成され、
それぞれの事前の規制のないＰＳＤイベントビデオセグメントは、前記規制のないＰＳＤイベントのうちの対応する規制のないＰＳＤイベントより前の、予め定義された期間に開始する、請求項１に記載の方法。

【請求項3】

前記規制のないＰＳＤ指標の前記生成は、前記事前の規制のないＰＳＤイベントビデオセグメントに現れるが、前記規制のないＰＳＤイベントの特徴ではないオブジェクトの識別子を除去することを含む、請求項２に記載の方法。

【請求項4】

前記除去することは、前記事前の規制のないＰＳＤイベントビデオセグメントとは異なるビデオセグメントにおいて、予め定義された確率を超えて出現するオブジェクトを検索することを含む、請求項３に記載の方法。

【請求項5】

前記規制のないＰＳＤ指標の前記生成は、
事前の規制のないＰＳＤイベントビデオセグメントのシグネチャを生成することと、
前記事前の規制のないＰＳＤイベントビデオセグメントのシグネチャをクラスタリングして、複数のクラスタを提供することと、
前記複数のクラスタのクラスタシグネチャを生成することと
を包含する、請求項２に記載の方法。

【請求項6】

前記規制のないＰＳＤ指標の少なくとも一部はクラスタシグネチャである、請求項５に記載の方法。

【請求項7】

前記生成工程は、前記歩行者を複数の歩行者クラスに分類する工程を包含する、請求項２に記載の方法。

【請求項8】

前記歩行者クラスを、前記歩行者クラスに関連する規制のないＰＳＤ指標と関連付けることを含む、請求項７に記載の方法。

【請求項9】

発生確率の情報を前記規制のないＰＳＤ指標に関連付けることを含む、請求項２に記載の方法。

【請求項10】

非制御歩行者ステップダウン警報のための非一時的コンピュータ可読媒体であって、該非一時的コンピュータ可読媒体は、
車両のコンピュータ化されたシステムに、規制のないＰＳＤ状況を示す、規制のない歩行者ステップダウン（ＰＳＤ）指標を受信させ、
前記車両の環境に関して感知された情報を取得し、
前記感知された情報を処理することであって、該処理は、少なくとも１つの規制のないＰＳＤ指標を検索することを含み、
前記少なくとも１つの規制のないＰＳＤ指標を発見したときに、歩行者が前記車両の前記環境内の走行可能な空間にステップダウンすることが予想される状況に近づいていることを前記車両が自律的に決定することであって、前記自律的に決定することは、前記発見に対する応答を引き起こし、前記応答は即時応答であり、少なくとも前記車両のコンピュータ化されたシステムによって実行される。
ための命令を記憶する、非一時的コンピュータ可読媒体。

【請求項11】

前記規制のないＰＳＤ指標は、
タグ付けされていないビデオの第１のグループを取得することと、
タグ付けされていないビデオの前記第１のグループ内の、規制のないＰＳＤイベントを探し出すことと、
事前の規制のないＰＳＤイベントビデオセグメントを処理することを含む生成工程によって前記規制のないＰＳＤ指標を生成すること
によって生成され、
それぞれの事前の規制のないＰＳＤイベントビデオセグメントは、前記規制のないＰＳＤイベントのうちの対応する規制のないＰＳＤイベントより前の、予め定義された期間に開始する、 請求項１０に記載の非一時的コンピュータ可読媒体。

【請求項12】

前記規制のないＰＳＤ指標の前記生成は、前記事前の規制のないＰＳＤイベントのビデオセグメントに現れるが、前記規制のないＰＳＤイベントの特徴ではないオブジェクトの識別子を除去することを含む、請求項１１に記載の非一時的コンピュータ可読媒体。

【請求項13】

前記除去することは、前記事前の規制のないＰＳＤイベントビデオセグメントとは異なるビデオセグメントにおいて、予め定義された確率を超えて出現するオブジェクトを検索することを含む、請求項１２に記載の非一時的コンピュータ可読媒体。

【請求項14】

前記規制のないＰＳＤ指標の前記生成は、
事前の規制のないＰＳＤイベントビデオセグメントシグネチャを生成することと、
前記事前の規制のないＰＳＤイベントビデオセグメントシグネチャをクラスタリングして、複数のクラスタを提供することと、
前記複数のクラスタのクラスタシグネチャを生成することと
を包含する、請求項１１に記載の非一時的コンピュータ可読媒体。

【請求項15】

規制のないＰＳＤ指標の少なくとも一部はクラスタシグネチャである、請求項１４に記載の非一時的コンピュータ可読媒体。

【請求項16】

前記生成工程は、前記歩行者を複数の歩行者クラスに分類する工程を包含する、請求項１１に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記歩行者クラスを、前記歩行者クラスに関連する規制のないＰＳＤ指標と関連付けるための命令を記憶する、請求項１６に記載の非一時的コンピュータ可読媒体。

【請求項18】

発生確率の情報を、前記規制のないＰＳＤ指標に関連付けるための命令を記憶する、請求項１１に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

歩行者は非常に脆弱な道路利用者であるが、交通規則に合致しない行動をとっているため、自身を危険に晒している。そのうちの１つは、歩道がさまざまな要因、例えば、駐車車両、ごみ箱、歩道を洗浄する道路清掃車、積み込まれていない荷物など、で塞がれているときに、道路に降りる（ステップダウンする）ことである。運転中、運転手は通常、歩道が塞がっている近くを通過することを意識しておらず、歩道から離れ、道路に降りて走行可能なエリアに入る歩行者の動きを予測または事前に予測することができない。

【発明の概要】

【0002】

規制のない歩行者のステップダウン（ＰＤＤ）イベントを予測するための方法、システム、および非一時的なコンピュータ可読媒体である。

【図面の簡単な説明】

【0003】

本開示の実施形態は、以下の図面とともに詳細な説明から理解され、より十分に理解されるであろう。

【図1A】方法の一例を示す図

【図1B】シグネチャの一例を示す図

【図1C】寸法拡張工程の一例を示す図

【図1D】マージ操作の一例を示す図

【図1E】ハイブリッド工程の一例を示す図

【図1F】方法の一例を示す図

【図1G】方法の一例を示す図

【図1H】方法の一例を示す図

【図1I】方法の一例を示す図

【図1J】方法の一例を示す図

【図1K】方法の一例を示す図

【図1L】方法の一例を示す図

【図1M】システムの一例を示す図

【図1N】本明細書に記載される実施形態に従って構築され動作する、例示的な障害物検出およびマッピングシステムの一部絵図、一部ブロック図

【図1O】方法の一例を示す図

【図1P】方法の一例を示す図

【図1Q】物体検出のための方法を示す図

【図2】方法の一例を示す図

【図3】方法の一例を示す図

【図4】方法の実行例を示す図

【発明を実施するための形態】

【0004】

本明細書および／または図面は、画像を参照することがある。画像はメディアユニット（media unit）の一例である。画像への言及は、メディアユニットにも準用できる。メディアユニットは、感知された情報の一例である。メディアユニットへの言及は、自然が生成した信号、人間の行動を表す信号、株式市場に関する操作を表す信号、医療信号などの自然信号にも準用できるが、これらに限定されるものではない。メディアユニットへの言及は、感知された情報にも準用できる。感知された情報は、可視光カメラや、赤外線、レーダ画像、超音波、電気光学、放射線撮影、ＬＩＤＡＲ（light detection and ranging；光検出および測距）などを感知するセンサなど、あらゆるタイプのセンサによって感知される可能性がある。

【0005】

本明細書および／または図面は、プロセッサを参照することがある。プロセッサは、処理回路であってもよい。処理回路は、中央処理装置（ＣＰＵ）、および／または特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、フルカスタム集積回路などの１つまたは複数の他の集積回路、またはそのような集積回路の組み合わせとして実装できる。

【0006】

本明細書および／または図面に例示されている方法の任意のステップの任意の組み合わせが提供され得る。

【0007】

請求項の任意の主題の任意の組み合わせが提供され得る。

【0008】

明細書および／または図面に例示されているシステム、ユニット、コンポーネント、プロセッサ、センサの任意の組み合わせが提供され得る。

【0009】

規制のない歩行者ステップダウン（ＰＳＤ）警告のための方法を提供するためのシステム、方法、および非一時的なコンピュータ可読媒体を提供できる。

【0010】

規制されたＰＳＤイベントとは、ＰＳＤが交通規則および／または交通法規に従って実行され、かつ／または専用の交通標識によって識別され、かつ／または事前に定義された（法律で定義された）形状および／またはサイズを有するイベントである。規制対象のＰＳＤイベントの例としては、横断歩道（ゼブラゾーン横断歩道など）を使って道路を横断する歩行者が挙げられる。横断歩道は、明示的な道路標識によって識別され、法律や規則に従った形状や大きさを持つ場合がある。

【0011】

規制のないＰＳＤイベントとは、ＰＳＤが交通規則および／または交通法規に従って実行されず、かつ／または専用の交通標識によって識別されず、かつ／またはあらかじめ定義された（法律で定義された）形状および／またはサイズを有していないイベントのことである。規制のない規制対象ＰＳＤイベントの例としては、歩道上に置かれ、少なくとも部分的かつ一時的に歩道を塞いでいる１以上のゴミ箱を迂回しようとする歩行者を挙げ得る。

【0012】

図２は、方法１０１の一例である。方法１０１は、車両のコンピュータ化されたシステム、複数の車両のコンピュータ化されたシステム（例えば、連携、負荷分散、異なる車両間の異なるタスクの割り当てなど）、車両に属さない１つまたは複数のコンピュータ化されたシステムなどによって実行できる。

【0013】

方法１０１は、車両のコンピュータ化されたシステムによって、規制のないＰＳＤ状況を示す規制のない歩行者ステップダウン（ＰＳＤ）指標を受信するステップ１１０によって開始できる。ステップ１１０は、一度だけ実行されてもよいし、随時実行されてもよい。規制のないＰＳＤ指標は、提供、更新、交換などが可能である。

【0014】

規制のないＰＳＤ指標は、規制のないＰＳＤ予測因子である可能性があり、この場合、規制のないＰＳＤが発生する前に、規制のないＰＳＤに近い、あるいはその可能性が高いことを予測する可能性がある。例えば、１以上のゴミ箱が歩道を塞いでいることを検知し、これらのゴミ箱の近くで規制のないＰＳＤが発生すると予測する。

【0015】

方法１０１は、車両の環境に関する感知された情報を取得するステップ１２０も含み得る。環境には、道路の一部ではないが道路に近接している１以上の歩道やその他の道が含まれる場合がある。ステップ１２０は、ドライビングセッション中に連続的または非連続的に実行できる。

【0016】

ステップ１２０の後に、感知された情報を処理するステップ１３０が続いてもよく、処理は、規制のないＰＳＤ指標の少なくとも１つを検索することを含んでもよい。

【0017】

ステップ１３０の後に、規制のないＰＳＤ識別子の少なくとも１つを発見した際、歩行者が車両の環境内の走行可能な空間にステップダウンすることが予想される状況に近づいていることを車両が自律的に決定するステップ１４０が続いてもよい。規制のないＰＳＤが見つからない場合、ステップ１４０はスキップできる。

【0018】

判定には、ＰＳＤイベントの発生確率を判定することも含まれる。発生確率は、ＰＳＤ識別子の生成中に学習された統計に基づいて、および／またはＰＳＤイベントに関する追加情報（例えば、ＰＳＤ識別子の生成中に検出されたＰＳＤイベントのタイミングなどのタイミング統計）に基づいて決定できる。例えば、歩行者が特定の時間窓（例えば午前７－９時の間－午前５－６時の間は除く）でＰＳＤを行う場合、時間窓の外でＰＳＤ識別子に到達すると、ＰＳＤイベントの確率が低下し、応答は確率に影響される可能性がある－例えば、予測因子として使用されるＰＳＤ指標は、その発生確率が閾値を下回る場合－例えば時間窓の外で－無視する。

【0019】

自律的に決定することは、発見に対する応答を引き起こし得、応答は即時応答であり、少なくとも車両のコンピュータ化されたシステムによって実行される。即時とは、１秒以内、１～３秒以内などを意味する。

【0020】

一実施形態によれば、ステップ１４０に続いて、少なくとも車両のコンピュータ化されたシステムが発見に対して応答するステップ１５０が行われる。

【0021】

応答は以下のうち少なくとも１つを含む：
ａ） 車両の進行状況の変更。
ｂ） 自動運転システムから運転者支援運転への制御の移行。
ｃ） 運転支援運転から自動運転への制御の移行。
ｄ） 警報の生成（人間に察知可能であるかどうかにかかわらない）、車両の自動的停止。
ｅ） 予想される規制のないＰＳＤイベントからの離間。
ｆ） 加速。
ｇ） 別の車両への警報の送信。
ｈ） 歩行者への警報の送信。
ｉ） 規制のないＰＳＤ指標が予測的な場合、車両は規制のないＰＳＤが発生したかどうかを検証し得る（たとえば、リアカメラを使用したり、道路上の潜在的なＰＳＤ領域を通過した他の車両から情報を受け取ったりなど）。
ｊ） 検証に基づく１以上の潜在的なＰＳＤ指標の更新。
ｋ） 発生確率の更新など。
ｌ） 運転手への警告。
ｍ） 特定の運転モードのアクティブ化、たとえば、低速運転、ＥＳＡ（緊急操舵支援）－ 走行可能なエリアへの自動操縦。
ｎ） アクティブ安全機能（ブレーキなど）のアクティブ化。
ｏ） 車両の別のユニットからの、ステップａ）からｎ）の少なくとも１つを実行することの要求および／または指示。
ｐ） 車両の別のユニットに、ステップａ）からｎ）の少なくとも１つを実行するように動作させる。

【0022】

規制のないＰＳＤ指標の少なくともいくつかはクラスタシグネチャであり、規制のないＰＳＤイベント（または、予想される、および／または予測される規制のないＰＳＤイベント）を検出するために、環境のシグネチャをクラスタシグネチャと比較できる。

【0023】

方法１０１は、運転映像をステップダウン指標に常に一致させることを含み得る。

【0024】

規制のないＰＳＤ指標は、場所および／または時間に固有であってもよく、規制のないＰＳＤイベントをもたらすイベントの場所および／またはタイミングのデータ構造が提供されてもよく－そして、運転中に車両コンピュータによってアクセスされてもよく－そして、場所（または場所と到着時期の組み合わせ）に到達すると－その後、応答（例えば、ステップ１４０の応答）が引き起こし得てもよいことに留意すべきである。たとえば、ゴミ箱を空にする前の準備段階で、歩道を塞ぐような出来事が起こり得る）。このデータ構造は、ステップ１３０に加えて、またはステップ１３０の代わりに使用できる。

【0025】

また、方法１００は、規制されないＰＳＤイベントの検知に加えて、規制されるＰＳＤイベント（例えば、横断歩道到達時）の検知にも適用できることに留意すべきである。

【0026】

また、ＰＳＤイベントはランダムに、あるいは目に見える理由なく発生することもある。多くの場合、これらのランダムＰＳＤは予測できない。また、ＰＳＤイベントが十分な回数発生すれば、検出される場合もある。

【0027】

図３は、規制のないＰＳＤ指標を生成するための方法２０１の例である。

【0028】

方法２０１は、タグ付けされていないビデオの第１のグループを取得するステップ２１０によって開始できる。

【0029】

ステップ２１０の後に、タグ付けされていない映像の第１のグループ内で、規制のないＰＳＤイベントを探し出すステップ２２０が続く場合がある。

【0030】

ステップ２２０の後に、事前の規制のないＰＳＤイベントビデオセグメントを処理することを含む生成工程によって規制のないＰＳＤ指標を生成するステップ２３０が続いてもよく、それぞれの事前の規制のないＰＳＤイベントビデオセグメントは、規制のないＰＳＤイベントの対応する規制のないＰＳＤイベントの前の予め定義された時間期間（例えば２～２０秒）で開始する。この処理には、事前に規制のないＰＳＤイベントの映像セグメントを、ＰＳＤイベントに関連する映像セグメント（例えば、ＰＳＤイベントとは実質的に異なるタイミングで撮影された映像セグメント）と区別する指標を見つけることが含まれる。

【0031】

ステップ２３０は、以下のステップの少なくともいくつかを含む：
・事前の規制のないＰＳＤイベント映像セグメントに現れるが、規制のないＰＳＤイベントの特徴ではないオブジェクトの識別子を除去するステップ２３１。除去は、事前に規制のないＰＳＤイベントビデオセグメントとは異なるビデオセグメントに、事前に定義された確率以上で出現するオブジェクトを検索することを含み得る。
・事前の規制のないＰＳＤイベントビデオセグメントシグネチャを生成するステップ２３２。
・複数のクラスタを提供するために、事前に規制のないＰＳＤイベントビデオセグメントシグネチャをクラスタリングするステップ２３３。
・複数のクラスタのクラスタシグネチャを生成するステップ２３４。
・歩行者を複数の歩行者クラスに分類するステップ２３５。クラスは事前にわからない場合があり、発見されたＰＳＤイベントの統計に基づいて発見される場合がある。
・歩行者クラスと、その歩行者クラスに関連する規制のないＰＳＤ指標とを関連付けるステップ２３６。異なるクラスの歩行者は、異なるクラスタに関連付けられ得る。ステップ２３０では、歩行者のクラスとＰＤＳイベントとの対応付けを求め得る。
・発生確率の情報を規制のないＰＳＤ指標に関連付けるステップ２３７。規制のないＰＳＤ指標によって特定されたＰＳＤイベントの発生回数は、（任意の確率関数を用いて）発生確率（例えば、特定のＰＳＤイベントの発生回数と、検出されたＰＳＤイベント全体の発生回数との比）にマッピングできる。

【0032】

規制のないＰＳＤ指標の生成は、例えば、以下のステップの少なくとも一部を含む：
・タグ付けされていないビデオストリーム（ダッシュカメラや他の車載カメラなど）を収集する。
・走行可能な空間を検出するあらゆるテクニックを適用する。
・歩行者検出のあらゆるテクニックを適用する。
・タグ付けされていないビデオストリームのいずれにおいても、歩行者が走行可能な空間に進入するＰＳＤイベントを特定する。
・ＰＳＤイベントがタグなしビデオのいずれかによってキャプチャされるたびに、ＰＳＤイベントの前に予め定義された期間（例えば、１－１０秒、５－２０秒、２－３０秒、最大１分、１分以上）を開始し、ＰＳＤイベントで終了するか、ＰＳＤイベントの後に終了する可能性のあるビデオセグメントを抽出する。
・ビデオセグメントを教師なし手法でクラスタリングし、異なるＰＳＤイベントや、ステップダウンイベントを引き起こし得るあらゆる種類のオブジェクトやシーン（例えば、歩道上の駐車車両、歩道はｘ ｃｍ利用可能＋ベビーカーを持った歩行者、歩道上の洗濯機／ゴミ箱など）を識別する。クラスタ化され得るオブジェクトの例：歩行者の歩道の経路を妨げる特定の要素（例：駐車車両、道路整備／建設、ゴミ収集車、ゴミ箱、車両荷降ろし設備）、または特定の歩行者にステップダウンを強いるシナリオ（例：歩道の限られた空間とベビーカー／車椅子／ショッピングカートを持った歩行者）、異なる環境（地方／都市、天候／照明条件）。
・ランダムな動画を取得し、ランダムな動画に高い確率で出現するクラスタ化されたオブジェクト（信号機や舗装タイルなど）を除去する。
・クラスタリングに成功したが、ランダム・セットで削除されなかったオブジェクトを概念／モデルとして保存する。クラスタ化された概念の特定の組み合わせが現れる可能性がある（例：ベビーカー＋ゴミ箱、つまり、ベビーカーを持たない人は通れても道路に出られないが、ベビーカーは通れない）。

【0033】

図４は、方法１０１の実行例を示している。

【0034】

環境３００内を車両３３０が走行している。環境には、現在の車線３０１（車両３０３は現在の車線３０１を走行）と反対車線３０２を含む道路が含まれる。また、近くの歩道３０３と別の歩道３０４もある。車載カメラは、歩道３０３付近に設置された４つのトラカン群を捉えている。ゴミ箱の第１グループ３１１は、歩道の端に平行に並んだ４つのゴミ箱の列を含む。ゴミ箱の第２のグループ３１２は、三角形を形成する３つのゴミ箱を含む。ゴミ箱の第３のグループ３１３は、一対のゴミ箱を含む。ゴミ箱の第４グループ３１４は、単一のゴミ箱である。規制のないＰＳＤ指標は、どのグループ（もしあれば）がＰＳＤイベントに関連しているかを示す。グループの１つが規制のないＰＳＤ指標に関連付けられている場合、ステップ１４０が車両３３０によって実行される可能性がある。また、図４は、規制のないＰＳＤイベントのデータ構造３３３の例を示している。

【0035】

規制のないＰＳＤイベントのデータ構造が形成される可能性があることに留意すべきである。例えば、規制のないＰＳＤイベントの発生（既知および／または予想される将来の発生）および／または他のメタデータ（例えば、ＰＳＤイベントの種類）に関連する位置情報および／またはタイミング情報を含むマップなどである。

【0036】

将来のドライバー／自動運転車は、規制のないＰＳＤイベントの場所に到着する前に、その場所に応じて警告を発できる。このデータ構造は、その内容が動的であってもよいため、任意の更新頻度（例えば、数分ごと、１時間ごとなどの高頻度）で更新される可能性がある。さらに、データ構造を分析し、特定のルール（例えば、特定の場所は特定の時間／曜日には通常ブロックされている、など）を導き出し得る。

【0037】

シグネチャの低電力生成
メディアユニットのコンテンツの解析は、メディアユニットのシグネチャを生成し、そのシグネチャを参照シグネチャと比較することによって実行できる。参照符号は、１つまたは複数の概念構造に配置してもよいし、他の方法で配置してもよい。シグネチャは、物体検出やその他の用途に使用できる。

【0038】

シグネチャは、メディアユニットの多次元表現を作成することによって生成できる。メディアユニットの多次元表現は、非常に多くの次元を持つ可能性がある。高い次元数は、異なるオブジェクトを含む異なるメディアユニットの多次元表現が疎であること、そして異なるオブジェクトのオブジェクト識別子が互いに離れていることを保証する可能性がある。

【0039】

シグネチャの生成は、複数の反復を含む反復的な方法で実行され、各反復は、マージ操作に続く拡張操作を含み得る。反復の拡張操作は、その反復のスパニング要素によって実行される。反復ごとに、（その反復の）どのスパニング要素が関連性があるかを判断し、関連性のないスパニング要素の消費電力を削減することで、かなりの量の電力を節約できる。

【0040】

多くの場合、反復のスパニング要素のほとんどは無関係である。したがって、（スパニング要素によって）それらの関連性を決定した後、無関係とみなされたスパニング要素はシャットダウンされ、またはアイドルモードに入る。

【0041】

図１Ａは、メディアユニットのシグネチャを生成するための方法５０００を示す。

【0042】

方法５０００は、感知された情報を受信または生成するステップ５０１０によって開始できる。

【0043】

感知された情報は、複数のオブジェクトのメディアユニットであってもよい。

【0044】

ステップ５０１０は、複数の反復を実行することによってメディアユニットを処理することによって続いてもよく、複数の反復のうちの少なくともいくつかは、反復のスパニング要素によって、マージ操作が続く次元拡張処理を適用することを含む。

【0045】

処理には以下を含み得る：
ｋ番目の反復拡張処理を実行するステップ５０２０（ｋは、反復回数を追跡するために使用される変数であってもよい）；
ｋ回目の反復マージ処理を実行するステップ５０３０；
ｋの値を変更するステップ５０４０；
必要な反復がすべて行われたかどうかをチェックするステップ５０５０；－もしそうなら、シグネチャの生成を完了するステップ５０６０に進む。そうでなければ、ステップ５０２０にジャンプする。

【0046】

ステップ５０２０の出力は、ｋ番目の反復拡張結果５１２０である。

【0047】

ステップ５０３０の出力は、ｋ回目の反復マージ結果５１３０である。

【0048】

各反復（最初の反復を除く）－前の反復のマージ結果は、現在の反復拡張工程の入力である。

【0049】

Ｋ回の反復の少なくともいくつかは、（ステップ５０２０の間に）無関係とみなされるいくつかのスパニング要素の消費電力を選択的に削減することを含む。

【0050】

図１Ｂは、画像６０００であるメディアユニットの画像シグネチャ６０２７と、最後の（Ｋ番目の）反復の結果６０１３の例である。

【0051】

画像６００１は仮想的にセグメント６０００（ｉ，ｋ）に分割される。セグメントの形や大きさは同じであり得るが、必ずしもそうではない。

【0052】

成果６０１３は、メディアユニットのセグメントごとの値のベクトルを含むテンソルであってもよい。あるセグメントには、１つまたは複数のオブジェクトが表示されることがある。各オブジェクトについて、（シグネチャの）オブジェクト識別子は、特定のセグメントに関連する特定のベクトル内の、重要な値の位置を指す。

【0053】

例えば、画像の左上のセグメント（６００１（１，１））は、結果６０１３において、複数の値を有するベクトルＶ（１，１）６０１７（１，１）によって表されることがある。ベクトルあたりの値の数は、１００、２００、５００、１０００などを超えることもある。

【0054】

有意な値（例えば、１０値以上、２０値以上、３０値以上、４０値以上、および／または０．１％以上、０．２％以上。０．５％、１％、ベクトルの全値の５％など）を選択できる。有意な値は値－を持ち得るが、他の方法で選択されてもよい。

【0055】

図１Ｂは、ベクトルＶ（１，１）６０１７（１，１）の有意な応答６０１５（１，１）のセットを示している。このセットには、５つの有意値（第１の有意値ＳＶ１（１，１） ６０１３（１，１，１）、第２の有意値ＳＶ２（１，１）、第３の有意値ＳＶ３（１，１）、第４の有意値ＳＶ４（１，１）、第５の有意値ＳＶ５（１，１） ６０１３（１，１，５）など）が含まれる。

【0056】

画像シグネチャ６０２７は、５つの有意な値を検索するための５つのインデックスを含む。第１から第５の識別子ＩＤ１～ＩＤ５は、第１から第５の有意な値を検索するためのインデックスである。

【0057】

図１Ｃは、ｋ番目の反復拡張工程を示している。

【0058】

ｋ番目の反復拡張処理は、前の反復のマージ結果５０６０’を受け取ることによって開始する。

【0059】

以前の反復のマージ結果は、以前の拡張工程を示す値を含み得る－例えば、以前の拡張操作からの関連するスパニング要素を示す値、以前の反復のマージ結果の多次元表現における関連する関心領域を示す値を含み得る。

【0060】

前の反復の）マージ結果は、スパニング要素５０６１（１）～５０６１（Ｊ）のようなスパニング要素に供給される。

【0061】

各スパニング要素は、一意の値のセットに関連付けられている。セットは１以上の値を含み得る。スパニング要素は、互いに直交する可能性のある異なる機能を適用する。非直交関数を使用すると、スパニング要素の数が増加し得るが、この増加は許容範囲であり得る。

【0062】

スパニング要素は、互いに直交していなくても、互いにデコラティブな関数を適用できる。

【0063】

スパニング要素は、複数の可能なメディアユニットを”カバー”するオブジェクト識別子の異なる組み合わせに関連付けられてもよい。オブジェクト識別子の組み合わせの候補は、様々な方法で、例えば、様々な画像（テスト画像など）にランダムに、擬似的にランダムに、何らかの規則などに従って出現することに基づいて選択できる。これらの候補のうち、組み合わせは、前記複数の可能なメディアユニットをカバーするように、および／または、特定のオブジェクトが同じスパニング要素にマッピングされるように、装飾的に関連するように選択され得る。

【0064】

各スパニング要素は、マージ結果の値を（スパニング要素に関連付けられた）一意のセットと比較し、一致する場合、そのスパニング要素は関連性があるとみなされる。もしそうなら、スパニング要素は拡張操作を完了する。

【0065】

一致しない場合、スパニング要素は無関係とみなされ、低電力モードに入る。低電力モードは、アイドルモード、スタンバイモードなどとも呼ばれる。低電力モードは、無関係なスパニング要素の消費電力が、関連するスパニング要素の消費電力よりも低いため、低電力と呼ばれる。

【0066】

図１Ｃでは、様々なスパニング要素が関連し（５０６１（１）～５０６１（３））、１つのスパニング要素は無関係である（５０６１（Ｊ））。

【0067】

各関連スパニング要素は、反復の関連スパニング要素の同一性を示す出力値を割り当てることを含むスパニング演算を実行できる。出力値は、（以前の反復から）以前の関連するスパニング要素の同一性を示すこともある。

【0068】

例えば－要素番号５０が関連し、８と４のユニークな値のセットに関連付けられていると仮定すると－出力値は、５０、４、８の数字を反映できる－例えば１０００に（５０＋４０）＋４０を掛ける。他のマッピング関数を適用することもできる。

【0069】

図１Ｃは、各スパニング要素によって実行されるステップも示している：

【0070】

マージ結果がスパニング要素に関連するかどうかをチェックする（ステップ５０９１）。

【0071】

そうであれば、スパニング操作を完了する（ステップ５０９３）。

【0072】

もしそうでなければ、アイドル状態に入る（ステップ５０９２）。

【0073】

図１Ｄは、様々なマージ操作の例である。

【0074】

マージ操作は、関心領域を見つけることを含み得る。関心領域は、感知された情報の多次元表現内の領域である。関心領域は、より有意な応答（例えば、より強く、より高い強度の応答）を示し得る。

【0075】

（ｋ番目の反復マージ操作の間に実行される）マージ操作は、以下の少なくとも１つを含み得る：

【0076】

（ｋ番目の反復拡張演算結果の）関心領域間の重複を検索し、重複に関連する関心領域を定義するステップ５０３１。

【0077】

ステップ５０３２は、１以上の関心領域をドロップすることを決定し、決定に従ってドロップする。

【0078】

（ｋ回目の反復拡張演算結果の）注目領域間の関係を検索し、関係にある注目領域を定義するステップ５０３３。

【0079】

（ｋ番目の反復拡張演算結果の）近接関心領域を検索し、近接に関連する関心領域を定義するステップ５０３４。近接は、多次元空間のある割合（例えば１％未満）である距離であってもよく、近接について検査される関心領域の少なくとも１つのある割合であってもよい。

【0080】

（ｋ番目の反復拡張演算結果の）関心領域間の関係を検索し、その関係にある関心領域を定義するステップ５０３５。

【0081】

ｋ番目の反復関心領域の形状に関連する形状情報に基づいて、ｋ番目の反復関心領域をマージおよび／またはドロップするステップ５０３６。

【0082】

同じマージ操作が異なる反復で適用されることもある。

【0083】

あるいは、異なる反復中に異なるマージ操作を実行してもよい。

【0084】

図１Ｅは、ハイブリッド処理と入力画像６００１の例を示している。

【0085】

ハイブリッド工程は、いくつかの拡張およびマージ操作が畳み込みニューラルネットワーク（ＣＮＮ）によって実行され、いくつかの拡張およびマージ操作（拡張およびマージの追加反復を示す）がＣＮＮによって実行されるのではなく、スパニング要素の関連性を決定し、無関係なスパニング要素を低電力モードに入力することを含み得る工程によって実行されるという意味で、ハイブリッドである。

【0086】

図１Ｅでは、第１及び第２の関数６０１５（１）及び６０１５（２）を適用する第１及び第２のＣＮＮレイヤ６０１０（１）及び６０１０（２）によって、１以上の初期反復が実行される。

【0087】

これらのレイヤの出力は、画像の特性に関する情報を提供した。画像プロパティは、オブジェクト検出にはならなくてもよい。画像の特性には、エッジの位置、曲線の特性などが含まれる。

【0088】

ＣＮＮは、物体検出情報を含み得るＣＮＮ出力６０１８を提供し得る追加の層（例えば、第３から第Ｎまでの層６０１０（Ｎ））を含み得る。なお、追加レイヤが含まれない場合もある。

【0089】

ＣＮＮは無関係なノードの消費電力を削減できないため、固定接続性のハードウェアＣＮＮによってシグネチャ生成工程全体を実行すると、消費電力が高くなる可能性があることに注意すべきである。

【0090】

図１Ｆは、シグネチャを低消費電力で計算する方法７０００を示す。

【0091】

方法７０００は、複数のオブジェクトのメディアユニットを受信または生成するステップ７０１０によって開始する。

【0092】

ステップ７０１０の後に、複数の反復を実行することによってメディアユニットを処理するステップ７０１２が続いてもよく、ここでは、複数の反復のうちの少なくともいくつかは、反復のスパニング要素によって、マージ操作に続く次元拡張処理を適用することを含む。

【0093】

反復の次元拡張工程の適用は、（ａ）反復のスパニング要素の関連性を決定することと、（ｂ）反復の関連するスパニング要素によって次元拡張工程を完了し、少なくとも、次元拡張工程の適用の完了まで、無関係なスパニング要素の電力消費を低減することと、を含み得る。

【0094】

識別子は、重要な部分を検索するための検索情報であってもよい。

【0095】

複数の反復のうち少なくともいくつかは、複数の反復の大部分であってもよい。

【0096】

複数の反復の出力は、メディアユニットの複数のセグメントのうちの各セグメントについての複数の特性属性を含むことができ、複数の反復の出力の重要な部分は、よりインパクトのある特性属性を含み得る。

【0097】

複数の反復の最初の反復は、メディアユニットに異なるフィルタを適用することによって寸法拡張処理を適用することを含み得る。

【0098】

複数の反復の少なくともいくつかは、複数の反復の少なくとも最初の反復を除外する。例えば、図１Ｅを参照。

【0099】

反復のスパニング要素の関連性の決定は、少なくとも１つ前の反復の関連するスパニング要素の少なくともいくつかの同一性に基づいてもよい。

【0100】

反復のスパニング要素の関連性を決定することは、反復に先立つ少なくとも１つの前の反復の関連するスパニング要素の少なくともいくつかの同一性に基づいてもよい。

【0101】

反復のスパニング要素の関連性を決定することは、メディアユニットの特性に基づいてもよい。

【0102】

反復のスパニング要素の関連性の決定は、反復のスパニング要素によって実行されてもよい。

【0103】

方法７０００は、ニューラルネットワークの１つまたは複数の層によって実行され得、複数の反復のうちの少なくともいくつかに属さないニューラルネットワーク処理動作を含み得る。例えば、図１Ｅを参照。

【0104】

少なくとも１つの反復は、１以上の層の無関係なニューロンの電力消費を減らすことなく実行されることがある。

【0105】

つ以上のレイヤは、メディアユニットの特性に関する情報を出力してもよく、その情報は、複数のオブジェクトの認識とは異なる。

【0106】

最初の反復とは異なる反復のスパニング要素によって、次元拡張工程を適用することは、反復の関連するスパニング要素の同一性を示す出力値を割り当てることを含み得る。例えば、図１Ｃを参照。

【0107】

最初の反復とは異なる反復の要素にまたがって、次元拡張工程を適用することは、最初の反復とは異なる反復までの次元拡張工程の履歴を示す出力値を割り当てることを含み得る。

【0108】

各スパニング要素は、参照識別子のサブセットに関連付けられる。反復の各スパニング要素の関連性の決定は、スパニング要素の参照識別子のサブセットと、反復の前の最後のマージ操作の出力との間の関係に基づいてもよい。

【0109】

反復の次元拡張工程の出力は、メディアユニットの多次元表現であってもよく、その多次元表現は、関心領域を生成した１以上の拡張工程に関連付けられ得る関心メディアユニット領域を含み得る。

【0110】

反復のマージ操作は、多次元関心領域のサブグループ間の空間的関係に基づいて、メディアユニット関心領域のサブグループを選択することを含み得る。

【0111】

方法７０００は、多次元関心領域のサブグループにマージ関数を適用することを含み得る。例えば、図１Ｃを参照。

【0112】

方法７０００は、多次元関心領域のサブグループに交差関数を適用することを含み得る。例えば、図１Ｃを参照。

【0113】

反復のマージ操作は、１以上の多次元関心領域の実際のサイズに基づいてもよい。

【0114】

反復のマージ操作は、多次元関心領域のサイズ間の関係に基づいてもよい。例えば、より大きな多次元の関心領域は維持し、より小さな多次元の関心領域は無視できる。

【0115】

反復のマージ操作は、少なくとも反復と１以上の前の反復の間のメディアユニットの関心領域の変化に基づいてもよい。

【0116】

ステップ７０１２の後に、複数の反復の出力の重要な部分に関連する識別子を決定するステップ７０１４が続いてもよい。

【0117】

ステップ７０１４の後に、識別子を含み、複数のオブジェクトを表すシグネチャを提供するステップ７０１６が続いてもよい。

【0118】

ローカライゼーションとセグメンテーション
上述したシグネチャ生成方法はいずれも、正確な形状情報を明示的に含まないシグネチャを提供する。これにより、形状に関連する不正確さや他の形状関連パラメータに対するシグネチャのロバスト性が増す。

【0119】

シグネチャには、メディアの関心領域を識別するための識別子が含まれる。

【0120】

各メディア関心領域は、物体（例えば、車両、歩行者、道路要素、人間が作った構造物、ウェアラブル、靴、木、空、太陽などの自然要素など）または物体の一部（例えば歩行者の場合、首、頭、腕、脚、大腿、股関節、足、上腕、前腕、手首、手）を表すことがある。物体検出の目的では、物体の一部が物体とみなされる場合があることに注意すべきである。

【0121】

対象物の正確な形状は対象になり得る。

【0122】

図１Ｇは、メディアユニットのハイブリッド表現を生成する方法７００２を示す。

【0123】

方法７００２は、ステップ７０２０、７０２２、７０２４および７０２６のシーケンスを含み得る。

【0124】

ステップ７０２０は、メディアユニットを受信または生成することを含み得る。

【0125】

ステップ７０２２は、複数の反復を実行することによってメディアユニットを処理することを含み得、複数の反復の少なくともいくつかは、反復のスパニング要素によって、マージ操作が続く次元拡張処理を適用することを含む。

【0126】

ステップ７０２４は、複数の反復の出力に基づいて、複数の反復の出力に寄与したメディアユニット関心領域を選択することを含み得る。

【0127】

ステップ７０２６は、ハイブリッド表現を提供することを含み得、ハイブリッド表現は、（ａ）メディアユニットの関心領域の形状に関する形状情報、および（ｂ）メディアユニットの関心領域を識別する識別子を含むメディアユニットシグネチャを含み得る。

【0128】

ステップ７０２４は、メディアユニットの複数のセグメントからセグメントごとにメディア関心領域を選択することを含み得る。例えば、図２を参照されたい。

【0129】

ステップ７０２６は、形状情報を生成するステップ７０２７を含み得る。

【0130】

形状情報は、メディアユニットの関心領域を実質的に境界づける形状を表すポリゴンを含み得る。これらの多角形は高次数であり得る。

【0131】

記憶領域を節約するために、本方法は、メディアユニットの形状情報を圧縮して、メディアユニットの圧縮された形状情報を提供するステップ７０２８を含み得る。

【0132】

図１Ｈは、メディアユニットのハイブリッド表現を生成するための方法５００２を示す。

【0133】

方法５００２は、メディアユニットを受信または生成するステップ５０１１によって開始できる。

【0134】

ステップ５０１１は、複数の反復を実行することによってメディアユニットを処理することによって続くことができ、複数の反復の少なくともいくつかは、反復のスパニング要素によって、マージ演算が続く次元拡張処理を適用することを含む。

【0135】

この処理には、ステップ５０６０と５０６２が続く。

【0136】

処理は、ステップ５０２０、５０３０、５０４０、５０５０を含み得る。

【0137】

ステップ５０２０は、ｋ番目の反復拡張処理を実行することを含み得る（ｋは、反復回数を追跡するために使用される変数であってもよい）。

【0138】

ステップ５０３０は、ｋ回目の反復マージ処理を実行することを含み得る。

【0139】

ステップ５０４０は、ｋの値を変更することを含む。

【0140】

ステップ５０５０は、必要な反復がすべて行われたかどうかのチェックを含み、行われた場合はステップ５０６０と５０６２に進む。そうでなければ、ステップ５０２０にジャンプする。

【0141】

ステップ５０２０の出力は、ｋ番目の反復拡張結果である。

【0142】

ステップ５０３０の出力は、ｋ番目の反復マージ結果である。

【0143】

各反復（最初の反復を除く）－前の反復のマージ結果は、現在の反復拡張工程の入力である。

【0144】

ステップ５０６０は、シグネチャの生成を完了することを含み得る。

【0145】

ステップ５０６２は、メディアユニットの関心領域の形状に関する形状情報を生成することを含み得る。シグネチャと形状情報は、メディアユニットのハイブリッド表現を提供する。

【0146】

ステップ５０６０および５０６２の組み合わせは、ハイブリッド表現を提供することに相当し、ハイブリッド表現は、（ａ）メディアユニット関心領域の形状に関する形状情報、および（ｂ）メディアユニット関心領域を識別する識別子を含むメディアユニットシグネチャを含み得る。

【0147】

圧縮された形状情報を用いた物体検出
オブジェクト検出は、入力画像のシグネチャと１以上のクラスタ構造のシグネチャとを比較して、入力画像のシグネチャと一致する１以上の一致するシグネチャを含む１以上のクラスタ構造を見つけることを含む場合がある。

【0148】

クラスタ構造と比較される入力画像の数は、クラスタ構造のシグネチャの数をはるかに超える可能性がある。例えば、数千、数万、数十万（さらにはそれ以上）の入力シグネチャを、はるかに少ないクラスタ構造のシグネチャと比較できる。すべてのクラスタ構造のシグネチャの総数に対する入力画像の数の比率は、１０、１００、１０００などを超えてもよい。

【0149】

計算資源を節約するために、入力画像の形状情報が圧縮されることがある。

【0150】

一方、クラスタ構造に属するシグネチャの形状情報は非圧縮であり、圧縮された形状情報よりも精度が高い可能性がある。

【0151】

より高い品質が要求されない場合は、クラスタシグネチャの形状情報も圧縮できる。

【0152】

クラスタシグネチャの形状情報の圧縮は、クラスタシグネチャの優先度、クラスタシグネチャとのマッチングの人気度などに基づいてもよい。

【0153】

クラスタ構造の１以上と一致する入力画像に関連する形状情報は、一致するシグネチャに関連する形状情報に基づいて計算されてもよい。

【0154】

例えば、入力画像のシグネチャ内の特定の識別子に関する形状情報は、一致するシグネチャ内の特定の識別子に関連する形状情報に基づいて決定される場合がある。

【0155】

マッチングシグネチャ内の特定の識別子に関連する形状情報に対する任意の演算は、特定の識別子によって識別される入力画像の関心領域の（より精度の高い）形状情報を決定するために適用できる。

【0156】

例えば、形状を仮想的に重ね合わせ、ピクセルごとの母集団で形状を定義できる。

【0157】

例えば、重ね合わせた形状の少なくとも過半数に現れる画素だけが、関心領域に属するとみなされるべきである。

【0158】

その他の操作としては、重ね合わせた形状のスムージング、すべての重ね合わせた形状に現れるピクセルの選択などがある。

【0159】

圧縮された形状情報は無視されてもよいし、考慮されてもよい。

【0160】

図１Ｉは、マッチング処理と、より精度の高い形状情報の生成を説明する図である。

【0161】

クラスタ構造４９７４（１）‐４９７４（Ｍ）が複数（Ｍ個）存在するものとする。各クラスタ構造は、クラスタシグネチャ、クラスタシグネチャに関するメタデータ、およびクラスタシグネチャの識別子によって識別される関心領域に関する形状情報を含む。

【0162】

例えば、第１のクラスタ構造４９７４（１）は、複数（Ｎ１）のシグネチャ（クラスタシグネチャＣＳと呼ぶ）ＣＳ（１，１）～ＣＳ（１，Ｎ１）４９７５（１，１）～４９７５（１，Ｎ１）、メタデータ４９７６（１）、およびＣＳの識別子に関連付けられた関心領域の形状に関する形状情報（Ｓｈａｐｅｉｎｆｏ ４９７７（１））を含む。

【0163】

さらに別の例として、Ｍ番目のクラスタ構造４９７４（Ｍ）は、複数（Ｎ２）のシグネチャ（クラスタシグネチャＣＳと呼ばれる）ＣＳ（Ｍ，１）～ＣＳ（Ｍ，Ｎ２）４９７５（Ｍ，１）～４９７５（Ｍ，Ｎ２）、メタデータ４９７６（Ｍ）、およびＣＳの識別子に関連付けられた関心領域の形状に関する形状情報（Ｓｈａｐｅｉｎｆｏ ４９７７（Ｍ））を含む。

【0164】

例えば、構造からＣＳを削除して縮小されたクラスタ構造を提供するクラスタ削減の試行により、縮小された構造は、縮小されたクラスタシグネチャが（非縮小）クラスタシグネチャに関連付けられていたオブジェクトをまだ識別する可能性があることを決定するためにチェックされ、もしそうであれば、シグネチャはクラスタシグネチャから削減される。

【0165】

各クラスタ構造のシグネチャは互いに関連付けられ、関連付けはシグネチャの類似性に基づいて、および／またはシグネチャのメタデータ間の関連付けに基づいて行われる。

【0166】

各クラスタ構造が一意のオブジェクトに関連付けられていると仮定すると、メディアユニットのオブジェクトは、当該オブジェクトに関連付けられているクラスタ構造を見つけることによって識別できる。一致するクラスタ構造を見つけることは、メディアユニットのシグネチャをクラスタ構造のシグネチャと比較すること、およびクラスタシグネチャの中から１以上の一致するシグネチャを検索することを含み得る。

【0167】

図１Ｉ－ハイブリッド表現を持つメディアユニットが物体検出を受ける。ハイブリッド表現はメディアユニットシグネチャ４９７２と圧縮された形状情報４９７３を含む。

【0168】

メディアユニットのシグネチャ４９７２は、ＣＳ（１，１） ４９７５（１，１）からＣＳ（Ｍ，Ｎ２） ４９７５（Ｍ，Ｎ２）までのＭ個のクラスタ構造のシグネチャと比較される。

【0169】

１以上のクラスタ構造がマッチング・クラスタ構造であると仮定する。

【0170】

一致するクラスタ構造が見つかったら、圧縮された形状情報よりも精度の高い形状情報を生成することで処理を進める。

【0171】

形状情報の生成は識別子ごとに行われる。

【0172】

１からＪの範囲にある各ｊ（Ｊはメディアユニットシグネチャ４９７２ごとの識別子の数である）について、本方法は以下のステップを実行できる：

【0173】

一致する各シグネチャのｊ番目の識別子の形状情報、または一致するクラスタ構造の各シグネチャの形状情報を求める（ステップ４９７８（ｊ））。

【0174】

ｊ番目の識別子の形状情報をより高精度に生成する（ステップ４９７９（ｊ））。

【0175】

例えば、一致するシグネチャがＣＳ（１，１） ２９７５（１，１）、ＣＳ（２，５） ２９７５（２，５）、ＣＳ（７，３） ２９７５（７，３）およびＣＳ（１５，２） ２９７５（１５，２）を含み、ｊ番目の識別子がＣＳ（１，１） ２９７５（１，１）、ＣＳ（７，３） ２９７５（７、３）、ＣＳ（１５，２） ２９７５（１５，２）に含まれる場合、ＣＳ（１，１） ２９７５（１，１）、ＣＳ（７，３） ２９７５（７，３）、ＣＳ（１５，２） ２９７５（１５，２）に関連付けられた形状情報に基づいて、メディアユニットのｊ番目の識別子の形状情報を決定する。

【0176】

図１Ｐは、４つの関心領域８００１、８００２、８００３、８００４を含む画像８０００を示す。画像８０００のシグネチャ８０１０は、４つの関心領域８００１、８００２、８００３、８００４を識別するＩＤ１ ８０１１、ＩＤ２ ８０１２、ＩＤ３ ８０１３、ＩＤ４ ８０１４を含む様々な識別子を含む。

【0177】

つの関心領域８００１、８００２、８００３、８００４の形状は４つの多角形である。これらの関心領域の形状に関する正確な形状情報は、シグネチャ８０１０の生成中に生成されてもよい。

【0178】

図１Ｊに物体検出方法８０３０を示す。

【0179】

方法８０３０は、方法８０２０のステップを含んでもよいし、ステップ８０２２、８０２４および８０２６に先行してもよい。

【0180】

方法８０３０は、ステップ８０３２、８０３４、８０３６および８０３８のシーケンスを含み得る。

【0181】

ステップ８０３２は、入力画像の受信または生成を含み得る。

【0182】

ステップ８０３４は、入力画像のシグネチャを生成することを含む場合がある。

【0183】

ステップ８０３６は、入力画像のシグネチャを特定の概念構造のシグネチャと比較することを含む場合がある。ある概念構造は、方法８０２０によって生成される。

【0184】

ステップ８０３８は、特定の概念構造のシグネチャの少なくとも１つが入力画像のシグネチャと一致する場合に、入力画像がオブジェクトを含むと判定することを含み得る。

【0185】

図２Ｄは、物体検出のための方法８０４０を示す。

【0186】

方法８０４０は、方法８０２０のステップを含んでもよいし、ステップ８０２２、８０２４および８０２６を先行させてもよい。

【0187】

方法８０４０は、ステップ８０４１、８０４３、８０４５、８０４７および８０４９のシーケンスを含み得る。

【0188】

ステップ８０４１は、入力画像を受信または生成することを含む。

【0189】

ステップ８０４３は、入力画像のシグネチャを生成することを含むことができ、入力画像のシグネチャは、特定の第２の画像識別子の一部のみを含む。

【0190】

ステップ８０４５は、補正された入力画像を提供するために、入力画像のスケールを第１のスケールに変更することを含み得る。

【0191】

ステップ８０４７は、修正された入力画像のシグネチャを生成することを含む。

【0192】

ステップ８０４９は、補正された入力画像のシグネチャが少なくとも１つの特定の第１の画像識別子を含んでいる場合に、入力画像がオブジェクトを含んでいることを検証することを含み得る。

【0193】

撮影角度にロバストな物体検出
物体検出は、取得角度（画像センサの光軸と物体のある部分との間の角度）に対してロバストであることが有利に働く場合がある。これにより、検出工程の信頼性を高め、使用するクラスタの数を減らし得る（異なる画像から同じ物体を識別するために複数のクラスタを必要としない場合がある）。

【0194】

図１Ｋは、以下のステップを含む方法８１２０を示す：
異なる角度から撮影された物体の画像を受信または生成するステップ８１２２。
異なる角度から撮影された物体の画像のうち、互いに近い画像を探し出すステップ８１２４。十分な近さとは、１度、５度、１０度、１５度、２０度以下であり得るが、実質的に同じシグネチャの受信によって、その近さがよりよく反映され得る。
シグネチャが類似する画像間をリンクするステップ８１２６。これには、地元の類似点を探すことも含まれる。類似性は、シグネチャのサブセットごとに計算されるという意味で、局所的である。例えば－類似性が２つの画像ごとに決定されると仮定すると－第１のシグネチャは、第１の画像に類似する第２のシグネチャにリンクされ得る。第三のシグネチャは、第二のシグネチャと第三のシグネチャの類似性に基づいて、また第一のシグネチャと第三のシグネチャの関係に関係なく、第二の画像にリンクされる。

【0195】

ステップ８１２６は、類似シグネチャを含む概念データ構造を生成することを含み得る。

【0196】

このいわゆるローカルまたはスライディングウィンドウのアプローチは、（統計的に大きな角度をカバーする）十分な画像の取得に加えて、複数の方向から撮影されたオブジェクトのシグネチャを含む概念構造を生成できる。

【0197】

シグネチャ・テーラード・マッチングのしきい値
オブジェクト検出は、（ａ）メディアユニットおよび関連メタデータのシグネチャを含む概念構造を受信または生成し、（ｂ）新しいメディアユニットを受信し、新しいメディアユニットシグネチャを生成し、（ｃ）新しいメディアユニットシグネチャを概念構造のコンセプトシグネチャと比較することによって実施できる。

【0198】

比較は、新しいメディアユニットのシグネチャ識別子（新しいメディアユニットに現れるオブジェクトの識別子）をコンセプトシグネチャ識別子と比較することと、シグネチャ一致基準に基づいて、新しいメディアユニットのシグネチャがコンセプトシグネチャと一致するかどうかを判定することとを含み得る。そのような一致が見つかった場合、新しいメディアユニットは、その概念構造に関連付けられたオブジェクトを含むとみなされる。

【0199】

調整可能なシグネチャ照合基準を適用することで、照合工程が非常に効果的になり、異なるシナリオにおける識別子の出現統計に適応できる可能性があることがわかった。たとえば、新しいメディアユニットシグネチャおよびクラスタシグネチャに、比較的後方ではあるが非常に区別される識別子が出現する場合、一致が得られるが、新しいメディアユニットシグネチャおよびクラスタシグネチャに、複数の共通でわずかに区別される識別子が出現する場合、不一致が宣言される可能性がある。

【0200】

図１Ｌは、物体検出のための方法８２００を示す。

【0201】

方法８２００は、以下を含み得る：

【0202】

入力画像を受信するステップ８２１０。

【0203】

入力画像のシグネチャを生成するステップ８２１２。

【0204】

入力画像のシグネチャを概念構造のシグネチャと比較するステップ８２１４。

【0205】

入力画像のシグネチャが、シグネチャ照合基準に基づいて概念構造のシグネチャのいずれかと一致するか否かを判定するステップ８２１６であって、概念構造の各シグネチャは、シグネチャのオブジェクト検出パラメータに基づいて決定されるシグネチャ照合基準内に関連付けられる、ステップ８２１６。

【0206】

判定結果に基づいて、入力画像が概念構造に関連するオブジェクトを含むと結論付けるステップ８２１８。

【0207】

シグネチャの一致基準は、一致を示す識別子の最小数とできる。例えば、数十の識別子を含むシグネチャを想定した場合、最小数は、単一の識別子からシグネチャのすべての識別子の間で変化する可能性がある。

【0208】

入力画像には複数のオブジェクトが含まれる可能性があり、入力画像のシグネチャが複数のクラスタ構造に一致する可能性があることに留意すべきである。方法８２００はすべてのマッチング処理に適用可能であり、シグネチャのマッチング基準は各クラスタ構造の各シグネチャに対して設定できる。

【0209】

ステップ８２１０は、異なるシグネチャ照合基準下でシグネチャのオブジェクト検出能力を評価することにより、各シグネチャ照合基準を決定するステップ８２０２に先行する場合がある。

【0210】

ステップ８２０２は、以下を含み得る：

【0211】

テスト画像群のシグネチャを受信または生成するステップ８２０３。

【0212】

異なるシグネチャ照合基準の各シグネチャ照合基準について、シグネチャの物体検出能力を計算するステップ８２０４。

【0213】

異なるシグネチャ照合基準の下でのシグネチャの物体検出能力に基づいて、シグネチャ照合基準を選択するステップ８２０６。

【0214】

物体検出能力は、シグネチャに一致するテスト画像群のシグネチャのパーセンテージを反映できる。

【0215】

シグネチャ照合基準の選択は、一旦適用されると、シグネチャに一致するテスト画像群のシグネチャの割合が、シグネチャに一致するテスト画像群のシグネチャの予め定義された所望の割合に閉じるシグネチャ照合基準を選択することを含む。

【0216】

物体検出能力は、シグネチャに一致するテスト画像群のシグネチャのパーセンテージに大きな変化を反映する可能性がある。例えば、シグネチャの照合基準が識別子の最小一致数であり、最小一致数の値を変更することでテスト画像の一致率が変化すると仮定する。パーセンテージの大幅な変化（例えば、１０％、２０％、３０％、４０％以上の変化）は、望ましい値を示している可能性がある。所望の値は、実質的な変化の前、実質的な変化の近傍などに設定できる。

【0217】

例えば、図１Ｉを参照すると、クラスタシグネチャＣＳ（１，１）、ＣＳ（２，５）、ＣＳ（７，３）、ＣＳ（１５，２）はユニット・シグネチャ４９７２と一致する。これらのマッチはそれぞれ、固有のシグネチャマッチング基準を適用できる。

【0218】

システムの例
図１Ｍは、上述の方法の１以上を実行できるシステムの例を示す。

【0219】

システムには様々なコンポーネント、要素、ユニットが含まれる。

【0220】

構成要素および／またはユニットは、中央処理装置（ＣＰＵ）、および／または特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、フルカスタム集積回路などの１つまたは複数の他の集積回路、またはそのような集積回路の組み合わせとして実装される処理回路であってもよい。

【0221】

あるいは、各構成要素および／またはユニットは、処理回路によって実行され得るハードウェア、ファームウェア、またはソフトウェアで実装されてもよい。

【0222】

システム４９００は、感知ユニット４９０２、通信ユニット４９０４、入力４９１１、プロセッサ４９５０などの１つまたは複数のプロセッサ、および出力４９１９を含み得る。通信ユニット４９０４は、入力および／または出力を含み得る。通信ユニット４９０４は、車両内（例えば、ドライバー・デバイス、パッセンジャー・デバイス、マルチメディア・デバイスなど）、車両外（他の車両、他のコンピュータ化システム（図１Ｎの車外コンピュータ化システム４８２０など）、他の道路利用者、車外の他の人間）など、どのようなエンティティとも通信できる。

【0223】

入力および／または出力は、ネットワークインターフェースカード、ユニバーサルシリアルバス（ＵＳＢ）ポート、ディスクリーダー、モデム、トランシーバーなど、当技術分野で知られているようなプロトコルを使用してシステムの他の要素と直接または間接的に通信するように動作可能な任意の適切な通信コンポーネントであってもよい。

【0224】

プロセッサ４９５０は、少なくともいくつかのアウト・オブ・アウトを含み得る（したがって、少なくとも１つのアウト・オブ・アウトを含まないことがあり得る）：
・複数のスパニング要素４９５１（ｑ）。
・複数のマージ要素４９５２（ｒ）。
・オブジェクト検出器４９５３。
・クラスタマネージャ４９５４。
・コントローラー４９５５。
・セレクション・ユニット４９５６。
・物体検出判定部４９５７。
・シグネチャ・ジェネレーター４９５８。
・移動情報ユニット４９５９。
・識別子ユニット４９６０。

【0225】

システム４９００はセンシング・ユニット４９０２を含むが、センシング・ユニットは他のセンサから感知された情報を受信してもよく、および／またはセンシング・ユニットはシステムに属さないことに留意すべきである。システムは、車両に設置された、車両に関連する、および／または車両の外部に設置された１つまたは複数のセンサから情報を受信できる。

【0226】

本明細書に例示される任意の方法は、システム４９００によって完全にまたは部分的に実行されてもよく、および／または、１つまたは複数の他のコンピュータ化システムによって完全にまたは部分的に実行されてもよく、および／または、１つまたは複数のコンピュータ化システムによって－例えば、コンピュータ化システム間のタスク割り当てによって、複数のコンピュータ化システム間の協力（例えば、情報の交換、決定の交換、リソースの任意の割り当て、共同決定など）によって－実行されてもよい。

【0227】

１つまたは複数の他のコンピュータ化システムは、例えば、図１Ｎの車外コンピュータ化システム４８２０、他の車外コンピュータ化システム、１つまたは複数の他の車内システム、車両内の人のコンピュータ化装置、車両外のコンピュータ化システム（例えば、他の車両のコンピュータ化システムを含む）であってもよい。

【0228】

他の車載システムの一例は、図１Ｎに４８３０と示されており、道路４８２０に沿って走行する車両４８００内に配置されている。

【0229】

システム４９００は、カメラ、従来のカメラの代わりに、またはこれに加えて、任意の適切な撮像技術を使用して実装された１つまたは複数のセンサ、赤外線センサ、レーダ、超音波センサ、任意の電気光学センサ、放射線センサ、ＬＩＤＡＲ（光検出および測距）、テレメトリＥＣＵセンサ、衝撃センサなど、任意のタイプのセンサから感知された情報を取得できる。

【0230】

システム４９００および／または他の車載システムは、４８３０で示され、それらによって実行される任意の方法を実行するために教師ありおよび／または教師なし学習を使用できる。

【0231】

他の車載システム４８３０は、自律走行システムであってもよいし、先行運転支援システムであってもよいし、自律走行システムとも先行運転支援システムとも異なっていてもよい。

【0232】

他の車載システム４８３０は、処理回路２１０、入出力（Ｉ／Ｏ）モジュール２２０、１以上のセンサ２３３、およびデータベース２７０を含み得る。処理回路２１０は、本願明細書に例示されている方法のいずれかに関連して実行するように割り当てられた、またはプログラムされたタスクを実行できる。あるいは、他の車載システム４８３０は、そのようなタスクを（単独でまたは処理回路とともに）実行するための別のモジュールを含み得る。例えば、処理回路は、自律走行マネージャ機能を提供するための命令を実行できる。あるいは、車載システム４８３０の別の回路またはモジュールが自律走行マネージャ機能を提供することもできる。

【0233】

図１Ｏは、メディアユニットのハイブリッド表現を生成する方法７００２を示す。

【0234】

方法７００２は、ステップ７０２０、７０２２、７０２４および７０２６のシーケンスを含み得る。

【0235】

ステップ７０２０は、メディアユニットを受信または生成することを含み得る。

【0236】

ステップ７０２２は、複数の反復を実行することによってメディアユニットを処理することを含み得、複数の反復の少なくともいくつかは、反復のスパニング要素によって、マージ操作が続く次元拡張処理を適用することを含む。

【0237】

ステップ７０２４は、複数の反復の出力に基づいて、複数の反復の出力に寄与したメディアユニット関心領域を選択することを含み得る。

【0238】

ステップ７０２６は、ハイブリッド表現を提供することを含み得、ハイブリッド表現は、（ａ）メディアユニットの関心領域の形状に関する形状情報、および（ｂ）メディアユニットの関心領域を識別する識別子を含むメディアユニットシグネチャを含み得る。

【0239】

ステップ７０２４は、メディアユニットの複数のセグメントからセグメントごとにメディア関心領域を選択することを含み得る。例えば、図２を参照されたい。

【0240】

ステップ７０２６は、形状情報を生成するステップ７０２７を含み得る。

【0241】

形状情報は、メディアユニットの関心領域を実質的に境界づける形状を表すポリゴンを含み得る。これらの多角形は高次数であり得る。

【0242】

記憶領域を節約するために、本方法は、メディアユニットの形状情報を圧縮して、メディアユニットの圧縮された形状情報を提供するステップ７０２８を含み得る。

【0243】

図１Ｐは、スケール不変オブジェクト検出のための方法８０２０を示す。

【0244】

方法８０２０は、ステップ８０２２、８０２４、８０２６および８０２８を含み得るステップの第１のシーケンスを含み得る。

【0245】

ステップ８０２２は、物体が第１スケールで表示される第１の画像と、物体が第１スケールとは異なる第２スケールで表示される第２の画像とを受信または生成することを含み得る。

【0246】

ステップ８０２４は、第１の画像シグネチャと第２の画像シグネチャを生成することを含む。

【0247】

第１の画像シグネチャは、対象物の少なくとも一部を識別する少なくとも１つの特定の第１の画像識別子の第１のグループを含む。

【0248】

第２画像シグネチャは、対象物の異なる部分を識別する特定の第２画像識別子の第２グループを含む。

【0249】

第２グループは第１グループより人数が多い。

【0250】

ステップ８０２６は、少なくとも１つの特定の第１の画像識別子と特定の第２の画像識別子との間をリンクすることを含み得る。

【0251】

ステップ８０２６は、第一の画像シグネチャ、第二の画像シグネチャ、及びオブジェクト間のリンクを含み得る。

【0252】

ステップ８０２６は、オブジェクトに関連付けられている特定の概念構造に、第１のシグネチャと第２のシグネチャを追加することを含む場合がある。

【0253】

ステップ８０２８は、少なくとも部分的にリンクに基づいて、入力画像がオブジェクトを含むかどうかを判定することを含み得る。入力画像は、第１および第２の画像とは異なる。

【0254】

判定は、入力画像のシグネチャが少なくとも１つの特定の第１の画像識別子または特定の第２の画像識別子を含む場合に、入力画像がオブジェクトを含むと判定することを含み得る。

【0255】

判定は、入力画像のシグネチャが少なくとも１つの特定の第１の画像識別子の一部のみを含むか、または特定の第２の画像識別子の一部のみを含む場合に、入力画像がオブジェクトを含むと判定することを含み得る。

【0256】

リンクは、オブジェクトが２つ以上のスケールで表示される２つ以上の画像に対して実行できる。

【0257】

図１Ｑは、物体検出のための方法８２００を示す。

【0258】

方法８２００は、以下を含み得る：

【0259】

入力画像を受信するステップ８２１０。

【0260】

入力画像のシグネチャを生成するステップ８２１２。

【0261】

入力画像のシグネチャを概念構造のシグネチャと比較するステップ８２１４。

【0262】

入力画像のシグネチャが、シグネチャ照合基準に基づいて概念構造のシグネチャのいずれかと一致するか否かを判定するステップ８２１６であって、概念構造の各シグネチャは、シグネチャのオブジェクト検出パラメータに基づいて決定されるシグネチャ照合基準内に関連付けられる、ステップ８２１６。

【0263】

判定結果に基づいて、入力画像が概念構造に関連するオブジェクトを含むと結論付けるステップ８２１８。

【0264】

シグネチャの一致基準は、一致を示す識別子の最小数とできる。例えば、数十の識別子を含むシグネチャを想定した場合、最小数は、単一の識別子からシグネチャのすべての識別子の間で変化する可能性がある。

【0265】

入力画像には複数のオブジェクトが含まれる可能性があり、入力画像のシグネチャが複数のクラスタ構造に一致する可能性があることに留意すべきである。方法８２００はすべてのマッチング処理に適用可能であり、シグネチャのマッチング基準は各クラスタ構造の各シグネチャに対して設定できる。

【0266】

ステップ８２１０は、異なるシグネチャ照合基準下でシグネチャのオブジェクト検出能力を評価することにより、各シグネチャ照合基準を決定するステップ８２０２に先行する場合がある。

【0267】

ステップ８２０２は、以下を含み得る：

【0268】

テスト画像群のシグネチャを受信または生成するステップ８２０３。

【0269】

異なるシグネチャ照合基準の各シグネチャ照合基準について、シグネチャの物体検出能力を計算するステップ８２０４。

【0270】

異なるシグネチャ照合基準の下でのシグネチャの物体検出能力に基づいて、シグネチャ照合基準を選択するステップ８２０６。

【0271】

物体検出能力は、シグネチャに一致するテスト画像群のシグネチャのパーセンテージを反映できる。

【0272】

シグネチャ照合基準の選択は、一旦適用されると、シグネチャに一致するテスト画像群のシグネチャの割合が、シグネチャに一致するテスト画像群のシグネチャの予め定義された所望の割合に閉じるシグネチャ照合基準を選択することを含む。

【0273】

物体検出能力は、シグネチャに一致するテスト画像群のシグネチャのパーセンテージに大きな変化を反映する可能性がある。例えば、シグネチャの照合基準が識別子の最小一致数であり、最小一致数の値を変更することでテスト画像の一致率が変化すると仮定する。パーセンテージの大幅な変化（例えば、１０％、２０％、３０％、４０％以上の変化）は、望ましい値を示している可能性がある。所望の値は、実質的な変化の前、実質的な変化の近傍などに設定できる。

【0274】

本明細書における方法への言及は、その方法を実行可能なシステムに準用されるべきであり、また、コンピュータによって一旦実行されるとその方法の実行をもたらす命令を格納する非一時的なコンピュータ可読媒体に準用されるべきである。

【0275】

本明細書におけるシステムおよびその他の構成要素への言及は、システムによって実行され得る方法に準用されるべきであり、システムによって実行され得る命令を格納する非一時的なコンピュータ可読媒体に準用されるべきである。

【0276】

本明細書における非一時的なコンピュータ可読媒体への言及は、非一時的なコンピュータ可読媒体に格納された命令を実行可能なシステムに準用されるべきであり、非一時的なコンピュータ可読媒体に格納された命令を読み取るコンピュータによって実行され得る方法に準用されるべきである。

【0277】

いずれかの図、本明細書のいずれかの部分および／または特許請求の範囲に記載されたモジュールまたはユニットの任意の組み合わせを提供できる。特に、請求された特徴の任意の組み合わせを提供できる。

【0278】

用語”を含む（ｃｏｍｐｒｉｓｉｎｇ）”または”を有する（ｈａｖｉｎｇ）”への言及は、”～からなる（ｃｏｎｓｉｓｔｉｎｇ）”または”本質的に～からなる（ｅｓｓｅｎｔｉａｌｌｙ ｃｏｎｓｉｓｔｉｎｇ ｏｆ）”への言及としても解釈されるべきである。例えば、特定のステップを含む方法は、追加のステップを含んでもよいし、当該特定のステップに限定されてもよいし、または当該方法の基本的かつ新規な特性に重大な影響を与えない追加のステップを含んでもよい。

【0279】

また、本発明は、コンピュータシステムなどのプログラマブル装置上で実行されたときに本発明による方法のステップを実行するためのコード部分を少なくとも含む、コンピュータシステム上で実行するためのコンピュータプログラム、またはプログラマブル装置が本発明による装置またはシステムの機能を実行することを可能にするためのコンピュータプログラムで実施することもできる。コンピュータプログラムは、ストレージ・システムにディスク・ドライブをディスク・ドライブ・グループに割り当てるようにしてもよい。

【0280】

コンピュータプログラムは、特定のアプリケーション・プログラムやオペレーティング・システムなどの命令のリストである。コンピュータプログラムは、例えば、サブルーチン、関数、プロシージャ、オブジェクトメソッド、オブジェクトインプリメンテーション、実行可能アプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／ダイナミックロードライブラリ、および／またはコンピュータシステム上での実行のために設計された他の命令シーケンスのうちの１以上を含み得る。

【0281】

コンピュータプログラムは、非一時的なコンピュータ可読媒体などのコンピュータプログラム製品に内部に格納できる。コンピュータプログラムの全部または一部は、情報処理システムに恒久的に、取り外し可能に、または遠隔的に接続された非一時的なコンピュータ可読媒体上に提供され得る。非一時的なコンピュータ可読媒体は、限定的ではない例として、以下の任意のいずれかである。ディスクおよびテープ記録媒体を含む磁性記憶媒体；コンパクトディスク媒体（例えばＣＤ－ＲＯＭ、ＣＤ－Ｒなど）やデジタルビデオディスク記憶媒体などの光学的記憶媒体；ＦＬＡＳＨメモリ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、ＲＯＭなどの半導体ベースのメモリユニットを含む不揮発性メモリ記憶媒体；強磁性デジタルメモリ；ＭＲＡＭ；レジスタ、バッファまたはキャッシュ、メインメモリ、ＲＡＭなどを含む揮発性記憶媒体。
コンピュータ・プロセスは通常、実行中（動作中）のプログラムまたはプログラムの一部、現在のプログラム値および状態情報、およびプロセスの実行を管理するためにオペレーティング・システムによって使用されるリソースを含む。オペレーティング・システム（ＯＳ）は、コンピュータのリソースの共有を管理し、プログラマーにそれらのリソースにアクセスするためのインターフェースを提供するソフトウェアである。オペレーティング・システムは、システム・データとユーザ入力を処理し、システムのユーザとプログラムへのサービスとして、タスクと内部システム・リソースを割り当てて管理することで応答する。コンピュータシステムは、例えば、少なくとも１つの処理装置、関連するメモリ、および多数の入出力（Ｉ／Ｏ）装置を含み得る。コンピュータプログラムを実行すると、コンピュータシステムはコンピュータプログラムに従って情報を処理し、その結果としてＩ／Ｏデバイスを介して出力される情報を生成する。

【0282】

明細書ではここまで、本発明の具体的な実施例を参照して本発明を説明した。しかしながら、添付の特許請求の範囲に記載された本発明の広範な精神および範囲から逸脱することなく、種々の修正および変更がなされ得ることは明らかであろう。

【0283】

さらに、本明細書および特許請求の範囲における「前」、「後」、「上」、「下」、「上」、「下」などの用語は、説明の目的で使用されるものであり、必ずしも恒久的な相対位置を説明するために使用されるものではない。このように使用される用語は、本明細書で説明される本発明の実施形態が、例えば、本明細書で図示またはその他の方法で説明される向き以外の向きでも動作可能であるように、適切な状況下で交換可能であることが理解される。

【0284】

当業者であれば、論理ブロック間の境界は単なる例示であり、代替実施形態では論理ブロックまたは回路要素を統合したり、様々な論理ブロックまたは回路要素に機能の代替分解を課し得ることを認識するであろう。したがって、ここに描かれているアーキテクチャは単なる例示であり、実際には同じ機能を実現する他の多くのアーキテクチャが実装され得ることを理解されたい。

【0285】

同じ機能を達成するためのコンポーネントの配置は、所望の機能が達成されるように、事実上「関連付け」されている。したがって、本明細書において、特定の機能を実現するために組み合わされる２つの構成要素は、アーキテクチャや介在する構成要素に関係なく、所望の機能が実現されるように互いに「関連」しているとみなし得る。同様に、このように関連づけられた２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」されている、あるいは「動作可能に結合」されているとみなすこともできる。

【0286】

さらに、当業者であれば、上述した操作の境界は単なる例示に過ぎないことを認識するであろう。複数のオペレーションは単一のオペレーションに統合されてもよいし、単一のオペレーションが追加のオペレーションに分散されてもよいし、オペレーションが時間的に少なくとも部分的に重複して実行されてもよい。さらに、代替的な実施形態では、特定の操作の複数のインスタンスが含まれる場合があり、他の様々な実施形態では、操作の順序が変更される場合がある。また、例えば、一実施形態では、図示の例は、単一の集積回路上または同一装置内に配置された回路として実施できる。あるいは、実施例は、適切な方法で互いに相互接続された任意の数の別個の集積回路または別個のデバイスとして実装できる。

【0287】

また、例えば、実施例またはその一部は、任意の適切なタイプのハードウェア記述言語など、物理回路のソフトまたはコード表現、または物理回路に変換可能な論理表現として実装できる。

【0288】

また、本発明は、非プログラマブルなハードウェアに実装された物理的な装置またはユニットに限定されるものではなく、適切なプログラムコードに従って動作することによって所望の装置機能を実行できるプログラマブルな装置またはユニット、例えば、メインフレーム、ミニコンピュータ、サーバ、ワークステーション、パーソナルコンピュータ、メモ帳、パーソナルデジタルアシスタント、電子ゲーム、自動車およびその他の組み込みシステム、携帯電話、およびその他の様々な無線装置（本願では一般に「コンピュータシステム」と表記する）にも適用できる。

【0289】

しかし、その他の修正、変形、代替も可能である。従って、本明細書および図面は、制限的な意味ではなく例示的な意味で見なされる。

【0290】

特許請求の範囲において、括弧で囲まれた参照符号は特許請求の範囲を限定するものと解釈してはならない。「含む（ｃｏｍｐｒｉｓｉｎｇ）」という言葉は、クレームに記載されている要素やステップ以外の要素の存在を排除するものではない。さらに、本明細書で使用される用語「ａ」または「ａｎ」は、１つまたは複数として定義される。また、特許請求の範囲における”少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）”及び”１以上（ｏｎｅ ｏｒ ｍｏｒｅ）”のような導入句の使用は、不定冠詞”ａ”又は”ａｎ”による別の特許請求の範囲の要素の導入が、そのような導入された特許請求の範囲の要素を含む特定の特許請求の範囲を、同じ特許請求の範囲が” １以上（ｏｎｅ ｏｒ ｍｏｒｅ）”又は” 少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）”のような導入句及び”ａ”又は”ａｎ”のような不定冠詞を含む場合であっても、そのような要素を１つだけ含む発明に限定することを意味するものと解釈されるべきではない。 定冠詞の使用についても同様である。特に断りのない限り、「第１」や「第２」といった用語は、このような用語が説明する要素を任意に区別するために使用される。したがって、これらの用語は、必ずしもそのような要素の時間的またはその他の優先順位を示すことを意図したものではない。特定の手段が互いに異なる請求項に記載されているという事実だけで、これらの手段の組み合わせが有利に使用できないことを示すものではない。

【0291】

本明細書では、本発明の特定の特徴を図示し説明したが、当業者には多くの修正、置換、変更、および等価物が生じるであろう。従って、添付の特許請求の範囲は、本発明の真の精神に属するすべての修正および変更をカバーすることを意図していることを理解されたい。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図1H】

【図1I】

【図1J】

【図1K】

【図1L】

【図1M】

【図1N】

【図1O】

【図1P】

【図1Q】

【図2】

【図3】

【図4】

【外国語明細書】