特許 7258137 複数フレーム意味信号の高速ＣＮＮ分類

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-06

(45)【発行日】2023-04-14

(54)【発明の名称】複数フレーム意味信号の高速ＣＮＮ分類

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230407BHJP

   B60W 40/04 20060101ALI20230407BHJP

   B60W 30/08 20120101ALI20230407BHJP

【ＦＩ】

G06T7/00 650A

B60W40/04

B60W30/08

【請求項の数】 23

(21)【出願番号】P 2021526679

(86)(22)【出願日】2019-11-15

(65)【公表番号】

(43)【公表日】2022-01-24

(86)【国際出願番号】 IB2019001293

(87)【国際公開番号】W WO2020099936

(87)【国際公開日】2020-05-22

【審査請求日】2022-11-14

(31)【優先権主張番号】62/767,785

(32)【優先日】2018-11-15

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】514281407

【氏名又は名称】モービルアイ ヴィジョン テクノロジーズ リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】マラシュ，エラン

(72)【発明者】

【氏名】シャムビク，ヤーコブ

(72)【発明者】

【氏名】ベントリラ，ヤーコブ

(72)【発明者】

【氏名】ゲラー，イダン

【審査官】山田 辰美

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０２１９１７４（ＵＳ，Ａ１）

【文献】特開２００６－２０３８３２（ＪＰ，Ａ）

【文献】特開２０１８－１４７３６８（ＪＰ，Ａ）

【文献】特開２０１８－１１２９８９（ＪＰ，Ａ）

【文献】Han-Kai Hsu et al.，Learning to tell brake and turn signals in videos using CNN-LSTM structure，2017 IEEE 20th International Conference on Intelligent Transportation System，米国，IEEE，2018年05月15日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8317782

【文献】John M. Pierre, et al.，Spatio-tempral deep learning for robotic visuomotor control，2018 4th International Conference on Control, Automation and Robotics，米国，IEEE，2018年06月14日，p.94ーp.103，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber-8384651

【文献】谷口 博康 Hiroyasu TANIGUCHI，時空間画像を用いた動画像処理手法の提案－ＤＴＴ法－ A Method of Motion Analysis Using Spatio-Temporal Image -Directional Temporal Plane Transform-，電子情報通信学会論文誌 （Ｊ７７－Ｄ－ＩＩ） 第１０号 THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS D-II，日本，社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS，1994年10月25日，第J77-D-II巻，p.2019ーp.2026

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｂ６０Ｗ ４０／０４

Ｂ６０Ｗ ３０／０８

(57)【特許請求の範囲】

【請求項1】

複数フレーム意味信号の高速ＣＮＮ分類のためのシステムであって、前記システムは、
処理回路と、
命令を含む１つ以上の記憶デバイスであって、前記命令は、前記処理回路によって実行されるときに、処理回路が、
撮像デバイスから複数の時間シーケンス画像を受信することと、
前記複数の時間シーケンス画像を、時間シーケンスバッファに記憶される複数のベクトルに変換することと、
前記複数のベクトルに基づいて、時間的画像を生成することと、
前記時間的画像への畳み込みニューラルネットワークの適用に基づいて、意味信号を生成することと、を行うように構成し、
複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、システム。

【請求項2】

前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について列値を計算するように構成されている、請求項１に記載のシステム。

【請求項3】

前記列値を計算することは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について平均値、中央値、又は最大値を計算するステップのうちの少なくとも１つを含む、請求項２に記載のシステム。

【請求項4】

前記時間的画像の生成は、前記複数のベクトルを連結して前記時間的画像を形成することを含む、請求項１に記載のシステム。

【請求項5】

前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、分類器を使用して、それぞれの複数の画像から前記複数のベクトルの各々を取得するように構成されている、請求項１に記載のシステム。

【請求項6】

前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、点滅分類器を使用するように構成されている、請求項１に記載のシステム。

【請求項7】

前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、ブレーキ分類器を使用するように構成されている、請求項１に記載のシステム。

【請求項8】

前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、前記複数のベクトルのベクトルの対にブレーキ分類器を使用し、前記時間的画像全体に点滅分類器を使用するように構成されている、請求項１に記載のシステム。

【請求項9】

撮像デバイスが車両に搭載されており、
前記意味信号は、前記車両の変更された経路状態を示し、
前記命令は、前記処理回路が、
前記変更された経路状態に応答して、前記車両について操縦を特定することと、
前記操縦を実行するための車両制御信号を送ることと、を行うようにさらに構成する、請求項１に記載のシステム。

【請求項10】

前記車両制御信号を受信し、前記車両について前記操縦を実行する車両制御デバイスをさらに含む、請求項９に記載のシステム。

【請求項11】

自律型ナビゲーション意味信号方法であって、
撮像デバイスからの複数の時間シーケンス画像を受信することであって、前記複数の時間シーケンス画像の各々は固有の撮像時間に関連付けられる、ことと、
前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることと、
前記複数のベクトルを時間的画像に変換することと、
前記時間的画像に畳み込みニューラルネットワークを適用することに基づいて意味信号を識別することと、を含み、
複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、方法。

【請求項12】

前記複数の時間シーケンス画像を捕捉することと、
前記固有の撮像時間を、捕捉された前記複数の時間シーケンス画像の各々に関連付けることと、をさらに含む、請求項１１に記載の方法。

【請求項13】

前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について列値を計算することを含む、請求項１１に記載の方法。

【請求項14】

前記列値を計算することは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について平均値、中央値、又は最大値を計算することのうちの少なくとも１つを含む、請求項１３に記載の方法。

【請求項15】

前記複数のベクトルを前記時間的画像に変換することは、前記複数のベクトルを連結して、前記時間的画像を形成することを含む、請求項１１に記載の方法。

【請求項16】

前記複数の時間シーケンス画像の各々を前記複数のベクトルにマッピングすることは、それぞれの複数の画像から前記複数のベクトルの各々を取得するために、分類器を使用することを含む、請求項１１に記載の方法。

【請求項17】

前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、点滅分類器を使用することを含む、請求項１１に記載の方法。

【請求項18】

前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、ブレーキ分類器を使用することを含む、請求項１１に記載の方法。

【請求項19】

前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、前記複数のベクトルのベクトルの対にブレーキ分類器を使用することと、前記時間的画像全体に点滅分類器を使用することとを含む、請求項１１に記載の方法。

【請求項20】

前記意味信号に基づいて車両操縦を識別することと、
車両操縦を実行するための制御信号を車両制御デバイスに送信することと、をさらに含む、請求項１１に記載の方法。

【請求項21】

命令を記憶する非一時的なコンピュータプログラム製品であって、前記命令は、コンピュータ化システムによって実行されると、前記コンピュータ化システムが動作を行うようにし、前記動作は、
撮像デバイスからの複数の時間シーケンス画像を受信することであって、前記複数の時間シーケンス画像の各々は固有の撮像時間に関連付けられる、ことと、
前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることと、
前記複数のベクトルを時間的画像に変換することと、
前記時間的画像に畳み込みニューラルネットワークを適用することに基づいて意味信号を識別することと、を含み、
複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、非一時的なコンピュータプログラム製品。

【請求項22】

前記複数の時間シーケンス画像を前記複数のベクトルに識別することは、それぞれの複数の画像から前記複数のベクトルの各々を取得するために、分類器を使用することを含む、請求項２１に記載の非一時的なコンピュータプログラム製品。

【請求項23】

前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を識別することは、前記複数のベクトルのベクトルの対にブレーキ分類器を使用することと、前記時間的画像全体に点滅分類器を使用することと、を含む、請求項２１に記載の非一時的なコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１８年１１月１５日に出願された「ＦＡＳＴ ＣＮＮ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＯＦ ＭＵＬＴＩ－ＦＲＡＭＥ ＳＥＭＡＮＴＩＣ ＳＩＧＮＡＬＳ」と題する米国仮出願第６２／７６７，７８５号に関連し、その優先権を主張し、その全体は参照により本明細書に組み込まれる。

【背景技術】

【0002】

高度運転者支援システム（ＡＤＡＳ）及び自律型車両（ＡＶ）システムは、カメラ及び他のセンサを使用して、部分的又は完全自律型車両ナビゲーションを提供する。カメラ及びセンサは、他の車両、車線、又は他のナビゲーション環境の特徴を識別するために使用されるＡＤＡＳ又はＡＶシステムに入力を提供する。ＡＤＡＳ及びＡＶシステムが完全自律型動作に向かって進歩するにつれて、コンピュータビジョン入力の識別及び分類を改善することが有益である。

【発明の概要】

【0003】

開示された実施形態は、ＡＤＡＳ及びＡＶシステムの一部として、又はそれらと組み合わせて使用することができるシステム及び方法を提供する。これらのＡＤＡＳ及びＡＶシステムは、カメラ及び他のセンサを使用して、物体及び事象を検出し、それらを予め定義された信号分類器として識別することができ、例えば、赤色の停止信号を検出及び識別する。これらの信号分類器は、ＡＤＡＳ及びＡＶシステム内で使用され、信号のタイプに基づいて車両を制御するか、又は車両操作者に警告する。これらのＡＤＡＳ及びＡＶシステムは、人間の入力を必要とせずに完全車両動作を提供することができる。本明細書に開示された実施形態は、ＡＤＡＳ及びＡＶシステムの一部として、又はそれらと組み合わせて使用することができるシステム及び方法を提供する。ＡＤＡＳ技術は、前方衝突警報（ＦＣＷ）、車線逸脱警報（ＬＤＷ）、信号灯認識（ＴＳＲ）、又は他の部分的自律型運転者支援技術など、運転者をナビゲーションにおいて支援するか、又はそれらの車両を制御する任意の技術を含むことができる。

【0004】

人間の車両操作者は、同様の入力に対して反応し、例えば、人間は、赤色の停止信号を視覚的に識別し、ブレーキをかけて車両を停止させる。しかしながら、人間の車両操作者は、信号灯を識別し、車両制御を操作するために主観的な決定に依存する。対照的に、本開示は、例えば、カメラ及び他のセンサからの入力に基づいて信号分類器を識別するために、畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習アルゴリズムを使用して訓練された訓練されたシステムによって定義された規則のセットを適用するシステム及び方法を提供する。この技術解決策により、従来は自動化できなかった特定の車両動作タスクを自動化することが可能となる。いくつかの実施形態において、本開示のシステム及び方法は、車両の動作の安全性又は効率を改善するなどのため、車両運転者（例えば、車両操作者）に警告するために使用され得る。

【0005】

以下の詳細な説明は、添付の図面を参照する。可能な限り、同一の参照番号が、図面及び以下の説明において、同じか、又は類似する部分を参照するために使用される。いくつかの例示的な実施形態が本明細書で説明されているが、修正、適応及び他の実装が可能である。例えば、図に図示された構成要素に置換、追加、又は修正を行うことができ、本明細書で説明された例示的な方法は、開示された方法にステップを置換、再順序付け、除去、又は追加することによって修正することができる。したがって、以下の詳細な説明は、開示された実施形態及び実施例に限定されない。

【図面の簡単な説明】

【0006】

添付の図面は、本開示に組み込まれ、本開示の一部を構成するが、様々な開示された実施形態を例示する。

【0007】

【図1】例示の実施形態による方法のブロック図表現である。

【図2】例示の実施形態による画像マッピングのブロック図表現である。

【図3】例示の実施形態による画像マッピングのブロック図表現である。

【図4】例示の実施形態によるシステムのブロック図表現である。

【図5】例示の実施形態によるシステムのブロック図表現である。

【図6】例示の実施形態によるシステムのブロック図表現である。

【図7】例示の実施形態によるシステムのブロック図表現である。

【発明を実施するための形態】

【0008】

このシステムは、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークまたは深層学習アルゴリズムを訓練するために、道路を航行している車両の前方の環境の画像を処理して、信号（例えば、複数フレーム意味信号）のコンテキスト内の複数フレーム信号を検出及び分類するようにアレンジすることができる。例示の複数フレーム意味信号は、車両灯表示器（ＶＬＩ）を含み、そのタスクは、その灯表示器（例えば、点滅灯、ブレーキ灯、ハザード灯）に基づいて車両の状態を識別することである。また、複数フレーム意味信号は、緊急車両灯（例えば、緊急車両の閃光灯）、建設標識灯（例えば、迂回路管理用）、信号灯状態分類（例えば、青色／黄色／赤色光、点滅する青色／黄色／赤色、点滅する矢印など）、又は他の時変視覚信号を含んでもよい。意味信号は、車両操縦を識別し、ホスト車両の環境中の特殊車両（例えば、緊急車両）の存在を検出し、道路標識表示器（例えば、信号機）の状態又は挙動を識別し、又は他の近傍信号又は車両を識別するために使用することができる。本開示の例において、複数フレーム意味信号は、ホスト車両に搭載された１つ以上のセンサによって一定期間にわたって捕捉された複数のフレームから生成される信号に関することができる。様々な実施形態では、複数のフレームは、信号シグネチャを生成するために使用され、シグネチャは、信号を特徴付けるために処理される。このような処理の結果は、信号に応答して車両制御信号を生成するために使用することができ、例えば、車両操作者に通知するか、車両ブレーキ制御信号を生成する。いくつかの実施形態において、車両制御システムは、車両制御信号を受信し、識別された車両操縦を実行するか、又は適切な警告を発行するために使用することができる。

【0009】

しかしながら、本開示の実施形態は、意味信号が灯によって引き起こされるシナリオに限定されないと理解されよう。意味信号識別は、様々な他の状況と関連付けることができ、他のタイプの画像データから、また、可聴情報のような画像ベースではない、又は排他的に画像ベースではないデータからももたらすことができる。いくつかの実施形態において、複数フレーム意味信号はまた、警察サイレン又は緊急車両サイレンなどの可聴信号の検出を含むことができる。

【0010】

本明細書で説明されるシステム及び方法は、カメラ及び他のセンサからの入力に基づいて信号分類器を識別する複数フレームの意味信号の検出及び分類を提供する畳み込みニューラルネットワーク（ＣＮＮ）の適用を含む。入力は、例えば信号特性のデータベースに対してマッチングすることによって、予め定義された信号特性に対して分析又はマッチングすることができる。入力は、事象、事象のシーケンス、物体、物体の挙動（例えば、物体運動シーケンスに基づく運転パターン）、又は他の物体又は事象特徴を識別、分析、又は予測するために使用することができる。

【0011】

ＣＮＮのこの応用は入力の人工知能（ＡＩ）分析に基づく。本明細書で使用されるように、ＡＩ分析は、人のような生きたアクターを伝統的に必要とする認知タスクを行う意思決定システムの開発に関する分野である。ＣＮＮは人工ニューラルネットワーク（ＡＮＮ）アルゴリズムの一種であり、ＡＮＮは生物学的ニューロンに緩くモデル化され得る計算構造を含む。一般に、ＡＮＮは、ノード（例えば、ニューロン）間の重み付けされた接続（例えば、シナプス）を介して情報（例えば、データ又は意思決定）を符号化する。現代のＡＮＮは、とりわけ、自動化された知覚（例えば、コンピュータビジョン、音声認識、文脈認識など）、自動化された認知（例えば、意思決定、ロジスティクス、ルーティング、サプライチェーン最適化など）、自動化された制御（例えば、自律型自動車、ドローン、ロボットなど）のような、多くのＡＩアプリケーションの基礎となっている。

【0012】

多くのＡＮＮは、モデル化された接続に対応する重みの行列として表現される（例えば、実装される）。ＡＮＮは、しばしば他のニューロンに多くの外向きの接続を有する入力ニューロンのセットにデータを受け入れることによって動作する。ニューロン間を移動するたびに、対応する重みが入力を修正し、目的のニューロンの閾値に対してテストされる。重み値が閾値を超えた場合、その値は再び重み付けされるか、非線形関数によって変換され、ＡＮＮグラフの下流の別のニューロンに伝達される。閾値を超えない場合、その値は通常、グラフの下流のニューロンには伝達されず、シナプス結合は非アクティブのままである。重み付けとテストのプロセスは出力ニューロンに到達するまで継続し、出力ニューロンのパターンと値がＡＮＮ処理の結果を構築する。

【0013】

ほとんどのＡＮＮの正しい動作は正しい重みに依存する。しかし、ＡＮＮの設計者は、どの重みが所与のアプリケーションに対して動作するか分からないことがある。ＡＮＮの設計者は、典型的には、多数のニューロン層、又は円形接続を含む層間の特定の接続を選択するが、ＡＮＮの設計者は、どの重みが所与のアプリケーションに対して動作するか分からないことがある。その代わり、適切なウェイトに到達するために訓練プロセスが使用される。しかし、正しいシナプス重みを決定することはほとんどのＡＮＮによくみられる。訓練プロセスは、最初の重みを選択することによって進行し、これはランダムに選択することができる。訓練データがＡＮＮに供給され、結果がエラーの指標となる目的関数と比較される。エラーの指標は、ＡＮＮの結果が予想された結果と比較して、どの程度間違えているか尺度である。次に、このエラーを使用して、重みを補正する。多くの反復にわたって、重みは、動作データをＡＮＮに符号化するために、集合的に収束する。このプロセスは、目的関数（例えば、コスト又は損失関数）の最適化と呼ばれることがあり、それによってコスト又は損失が最小化される。

【0014】

バックプロパゲーションは、訓練データがＡＮＮを介して前方に送られる技術であり、ここで、「前方」とは、データが入力ニューロンから始まり、出力ニューロンに到達するまでのニューロン接続の有向グラフに従うことを意味し、目的関数は、ＡＮＮを介して逆方向に適用され、シナプス重みを補正する。バックプロパゲーションプロセスの各ステップでは、前のステップの結果が重みを補正するために使用される。したがって、出力ニューロン補正の結果は、出力ニューロンに接続するニューロンに適用され、入力ニューロンに到達するまで同様である。バックプロパゲーションは、様々なＡＮＮを訓練するための一般的な技法となっている。

【0015】

本明細書で説明する意味信号検出及び分類は、複数フレーム画像シーケンスの分類へのディープニューラルネットワーク（ＤＮＮ）の適用に基づくことができる。シーケンスデータを扱うためのＤＮＮアーキテクチャは、再帰型ニューラルネットワーク（ＲＮＮ）及び３Ｄ ＣＮＮＳの変異型を含むことができる。ＲＮＮは自然言語処理（ＮＬＰ）タスクについて良好に行うと考える人もいるが、画像の空間構造を捕捉する際にＲＮＮのほうが効果的ではないと考える人もいるので、ＲＮＮは、典型的には画像シーケンスについて広く使用されない。追加的に、ＲＮＮの変異体は畳み込みを使用するが、複雑なアーキテクチャを実施することを伴い、しばしば劣った結果をもたらすため、これは典型的には広く使用されない。

【0016】

３Ｄ ＣＮＮの使用は、ＲＮＮの欠陥のいくつかに対処する。例えば、３Ｄ ＣＮＮは、シーケンシャル画像データを処理するための直接的なアーキテクチャを提供し、しばしば、ＲＮＮに比べて優れた性能を与える。しかし、完全３Ｄ畳み込みは計算コストが高く、これは、自律型運転などのリアルタイムアプリケーションには好ましくない。例えば、完全３Ｄ畳み込みは、しばしば、画像の長いシーケンスを保存することを含み、これは、かなりのメモリ空間を必要とし、３Ｄデータ（例えば、多次元行列データ）を処理することに起因して計算コストを著しく増加させる。

【0017】

完全３Ｄ畳み込みの使用とは対照的に、本技術的解決策は、シーケンス画像を処理して、画像のシーケンス全体の時空間構造を維持しながら、時系列画像を生成する。時空間構造を維持することにより、この技術的解決策は、メモリ空間要求を著しく低減し、計算コストを著しく低減した、完全３Ｄ畳み込みを使用する利点を享受する。

【0018】

本開示の主題の実施例による方法は、本明細書に記載される車両搭載可能システムの様々な可能な実装及び構成のうちの１つ以上で実装されてもよい。いくつかの実施形態では、システムの様々な実施例は、車両に搭載することができ、車両が動いている間に操作することができる。いくつかの実施形態では、システムは、現在開示されている主題の例に従った方法を実装することができる。

【0019】

以下の説明及び図面は、当業者が特定の実施形態を理解できるように、特定の実施形態を十分に説明している。他の実施形態は、構造、論理、電気、プロセス、及び他の変更を組み込むことができる。様々な実施形態の一部及び特徴は、他の実施形態のそれらに含まれてもよく、又は置換されてもよい。特許請求の範囲に記載された実施形態は、これらの特許請求の範囲のすべての利用可能な等価物を包含する。

【0020】

図１は、例示の実施形態による方法１００のブロック図表現である。方法１００は、複数の入力画像１１０を受信することを含む。様々な例において、画像１１０は、図２に示す車両ブレーキ灯の画像のシーケンスを含んでもよく、又は図３に示す車両右左折信号の画像のシーケンスを含んでもよい。

【0021】

方法１００は、複数の画像１１０の各々を対応する複数のベクトル１２０にマッピングすることを含む。複数の画像１１０は、画像を捕捉するために使用されたカメラの視野（ＦＯＶ）内のホスト車両の環境（例えば、３Ｄ環境）の２次元表現である。例えば、２Ｄ複数の画像１１０は、画像画素の２－Ｄアレイと追加の撮像回路とを含むセンサを使用して作成することができる。

【0022】

複数の画像１１０の対応する複数のベクトル１２０へのマッピングは、ベクトル１２０が元の画像１１０の空間構造をその軸の１つに沿って維持するように実行することができる。したがって、複数のベクトル１２０の各々は、対応するソース２Ｄ画像から作成された１Ｄ表現を提供する。図１に示す例では、ベクトル１２０は、行ベクトルを含んでもよく、行ベクトル１２０の各々は、対応する画像１１０の各々と同じ幅「Ｗ」のものである。画像１１０のベクトル１２０へのマッピングは、画像の各列に沿って平均値、中央値、又は最大値を計算するなど、コンピュータビジョンハードウェアが効率的に実行できる動作を含んでもよい。

【0023】

方法１００は、ベクトル１２０を新しい時間的画像１３０に連結することを含む。これは、複数のベクトル１２０のすべて、又は複数のベクトル１２０の代表的な数（例えば、統計的に代表的なサンプリング）から構成される２Ｄ画像時間的画像１３０を提供する。時間的画像１３０は、ベクトル１２０及び画像１１０と同じ幅「Ｗ」であり、ソース画像の数と等しい高さ「Ｔ」を含んでもよい。方法１００は、意味信号１５０を識別するために、畳み込みニューラルネットワーク（ＣＮＮ）１４０に時間的画像１３０を供給することを含む。

【0024】

時間的画像１３０の行は、元の画像の空間構造を維持するので、ＣＮＮ １４０に供給される時間的画像１３０は、画像１１０の全体シーケンスの時空間構造を維持する。時空間構造を維持する、すなわち、ＣＮＮ１４０における時間的画像１３０の使用によって、これは、メモリ空間の必要性を著しく減少させ、計算コストを著しく減少させて、完全３Ｄ畳み込みを使用することの同じ利点を提供する。一実施例では、時空間構造を維持することによって、本解決策は、２Ｄ ＣＮＮに類似したメモリ及び計算コストを提供する。

【0025】

図２は、例示の実施形態による画像マッピング２００のブロック図表現である。画像マッピング２００は、受信されたシーケンス画像のセット２１０及び２２０に基づくことができる。図２に示すように、画像２１０と画像２２０は、オンからオフへ、そしてオンへと再び遷移する車両の３つのブレーキ灯の２０個のシーケンス画像をまとめて形成している。２０個のシーケンス画像２１０及び２２０の各々は、列ごとの最大演算子を用いて対応する複数の行ベクトルにマッピングされ、時間的画像２３０に連結され得る。例えば、時間的画像２３０の最上行は、最初のシーケンス画像に適用される列ごとの最大演算子の出力を表す行ベクトルであり、後続の行は、２０個のシーケンス画像２１０及び２２０の経時的な進行を表す。図２に示す実施形態では、２０個のシーケンス画像２１０及び２２０の各々は、高さ８０ピクセル×幅８０ピクセルであり、各行ベクトルは、高さ１ピクセル×幅８０ピクセルであり、時間的画像２３０は、高さ２０ピクセル（各行ベクトルについて高さ１）×幅が８０ピクセルである。時間的画像２３０は、ブレーキ灯がオンである第１の領域２４０、ブレーキ灯がオフである第２の領域２５０、及びブレーキ灯がオンに戻る第３の領域２６０のような複数の時間的部分領域を含んでもよい。その後、時間的画像２３０は、信号分類のためにＣＮＮに供給され、例えば、車両のブレーキが適用され、解除され、再適用されるときを識別する。

【0026】

図３は、例示の実施形態による、画像マッピング３００のブロック図表現である。画像マッピング３００は、受信されたシーケンス画像３１０及び３２０のセットに基づくことができる。図３に示すように、画像３１０及び３２０は、右折信号の点滅の２０個のシーケンス画像をまとめて形成している。２０個のシーケンス画像３１０及び３２０の各々は、列ごとの最大演算子を用いて対応する複数の行ベクトルにマッピングされ、時間的画像３３０に連結され得る。例えば、時間的画像３３０の最上行は、最初のシーケンス画像に適用される列ごとの最大演算子の出力を表す行ベクトルであり、後続の行は、２０個のシーケンス画像３１０及び３２０の経時的な進行を表す。図３に示す実施形態では、２０個のシーケンス画像３１０及び３２０の各々は、高さ８０ピクセル×幅８０ピクセルであり、各行ベクトルは、高さ１ピクセル×幅８０ピクセルであり、時間的画像３３０は、高さ２０ピクセル（各行ベクトルについて高さ１）×幅８０ピクセルである。時間的画像３３０は、右折信号がオンである領域３４０、３５０、及び３６０、及び右折信号がオフである領域３７０、３８０、及び３９０のような複数の時間的部分領域を含んでもよい。その後、時間的画像３３０は、信号分類のためにＣＮＮに供給され、例えば、車両が右折をシグナリングしているときを識別する。

【0027】

図４は、例示の実施形態による、画像マッピング４００のブロック図表現である。画像マッピング４００は、受信された連続的に捕捉された交通信号灯画像のセットに基づくことができ、ここでは交通信号灯図４１０として示されている。図４に示すように、交通信号灯図４１０のシーケンスは、交通信号灯のシーケンス画像をまとめて表す。

【0028】

連続的に捕捉された交通信号灯画像の各々は、行ごとの最大演算子を用いて対応する複数の列ベクトルにマッピングされ、時間的画像４２０に連結される。例えば、時間的画像４２０の最も左側の列は、最初のシーケンス画像に適用される列ごとの最大演算子の出力を表す列ベクトルであり、後続の列は、連続的に捕捉された交通信号灯画像の経時的な進行を表す。交通信号灯の変化を説明するために、８つのシーケンス図４１０のみが示されているが、合計２６０個の連続的に捕捉された交通信号灯画像が、時間的画像４２０を生成するために使用されてもよい。生成された時間的画像４２０のサイズは、捕捉された交通信号灯画像の解像度に基づいてもよい。図４に示される実施形態では、シーケンス図４１０の各々は、高さ８０ピクセル×幅３０ピクセルである画像を表し、各列ベクトルは、幅１ピクセル×高さ８０ピクセルであり、時間的画像４３０は、高さ８０ピクセル×幅２６０ピクセルである（各列ベクトルについて幅１）。いくつかの実施形態では、連続的に捕捉された交通信号灯画像のサンプリング周波数は、各光変化を表すように、各状態を表すように選択され得る。例えば、赤、赤／黄、及び青（ｇｒｅｅｎ）の状態の間のタイミングが既知である場合、２４０個未満の画像が捕捉されて、通信号灯の変化を識別してもよい。

【0029】

時間的画像４２０は、赤色光が照射される領域４３０、赤色光及び黄色光が照射される領域４４０、及び緑色光が照射される領域４５０のような複数の時間的部分領域を含んでもよい。シーケンス図４１０は赤から赤／黄、青への進行を示すが、緑から黄／赤、青などの他のシーケンスも検出することができる。追加的に、シーケンス図４１０は垂直方向の交通信号灯の配向を示しているが、交通信号灯及び連続的に捕捉された交通信号灯画像は水平方向に受信されるか、又は捕捉され、シーケンス図４１０又は結果として生じる時間的画像４２０は９０度回転され得る。その後、時間的画像４２０は、信号分類のためにＣＮＮに供給され、例えば、交通信号灯の状態又はタイミングを識別する。

【0030】

図５は、例示の実施形態による、画像マッピング５００のブロック図表現である。画像マッピング５００は、複数の入力画像５１０を含んでもよい。複数の入力画像５１０は、分類器５２０によって複数の特徴ベクトル５３０に変換されてもよい。分類器は、６４×６４画素（例えば、赤色及び灰色）ワープ上で動作し、６４エントリ出力特徴ベクトルを記憶する。複数の特徴ベクトル５３０は、サイクルバッファ５４０に記憶された特徴ベクトルマップに連結されてもよい。少なくとも１６個の特徴ベクトル５３０は、サイクルバッファ５４０に記憶され得る。サイクルバッファ５４０からのデータは、点滅分類器５５０又はブレーキ分類器５６０によって分離及び使用され得る。

【0031】

点滅分類器５５０及びブレーキ分類器５６０は、各画像を６４エントリサイズの特徴ベクトルに変換するバックボーンネットワークからなり得る。バックボーンは、最終的に全結合層を伴う畳み込み層及びプーリング層からなる。バックボーン特徴は、上昇、降下、オン、及びオフの状態を含むことができるブレーキ分類器５６０を含むことができる。バックボーン特徴は、点滅分類器５５０を含んでもよく、これは、点滅信号又はブレーキ信号の状態、すなわちブレーキ（例えば、上昇、降下、オン、オフ）、点滅（例えば、右＝オン／オフ、左＝オン／オフ）を含んでもよい。バックボーン特徴は、点滅分類器５５０とブレーキ分類器５６０との組み合わせを含んでもよく、これは、点滅信号とブレーキ信号との組み合わせ状態を識別するために使用され得る。ブレーキ分類器を使用して、車両検出後に受信される最初の１６個の特徴ベクトルの中から、サイクルバッファ５４０の２つの最新の特徴ベクトルを処理することができる。対照的に、点滅分類器５５０を使用して、検出された最新の１６個の信号を分類することができるサイクルバッファ５４０は、最新のＮ個の特徴ベクトル５３０が点滅及びブレーキ分類器５５０、５６０に利用可能となるように、特徴ベクトル５３０の移動ウィンドウを記憶するために使用され得る。

【0032】

訓練後、分類システムは、バックボーンネットワーク、ブレーキネットワーク、及び点滅ネットワークを含む少なくとも３つのニューラルネットワークを含むことができる。バックボーンネットワークは、各画像に対して画素のセットを受信することができる。例えば、画素のセットは、５０画素の有効軸を有する複数の６４×６４画素を含んでもよい。これは、少なくとも２つのチャネル（例えば、発赤、灰色）を有する複数の車両画像を含んでもよい。バックボーンベクトルの分析は、長さ６４画素のようなバックボーンベクトルをもたらし得る。ネットワークは、単一の隠れ全結合層と、４つのニューロンを有する出力層からなり得る。このようなネットワークは、約３．６ｋサイクルの関連するマッフェ（Ｍａｆｆｅ）コストを含むことができる。

【0033】

一実施例では、バックボーンネットワークは、約３４２ｋサイクルのマッフェコストを含んでもよい。これは、追加のプルーニングによって改善（例えば、低下）することができる。ブレーキ分類器５６０は、ブレーキオフ、ブレーキオン、ブレーキ上昇、又はブレーキ降下を識別するためなどの確率を生成するために、最新の２つの行ベクトルについて動作することができる。

【0034】

点滅分類器５５０は、１６個の行ベクトルについて動作して、様々な確率を生成することができる。例えば、各バックボーンは、４つのチャネルを有する１×１６の水平ベクトルを含むように再成型され得る。各バックボーンは、左点滅信号（例えば、オン信号、オフ信号）若しくは右点滅信号（例えば、オン信号、オフ信号）、ハザード信号（例えば、両方の右左折信号が同時に点滅する）、又はブレーキ信号などの１つ以上の分類出力について確率を生成することができる。一実施例では、バックボーンは、サイクル当たり約６８Ｋのマッフェコストを含むことができる。

【0035】

各サイクルにおいて、バックボーンは、６４×６４のワープ（例えば、発赤及び灰色）について動作し得る。バックボーンは、６４個の出力ベクトルを、最後の１６個の結果を保持するサイクルバッファに記憶することができる。例えば、バッファはゆっくりしたアジェンダで１．７８秒を表す。最後の２つのベクトルは、ブレーキ分類器５６０の入力に使用されてもよい。一実施例では、１６個のベクトルのすべてが、点滅分類器５５０の入力である。一実施例では、ブレーキ分類器５６０信号（例えば、上昇、降下、オン、及びオフ）は、隠れＭａｒｋｏｖモデルを使用して、経時的に積分されて、複数フレームブレーキ信号を生成することができる。

【0036】

図６は、例示の実施形態による共有画像マッピング６００のブロック図表現である。共有画像マッピング６００は、ブレーキ分類器６６０又は点滅分類器６７０などの１つ以上の分類器を訓練することを含んでもよい。１つ以上の分類器は、訓練ワープなどの訓練ワープデータの１つ以上のセットについて訓練され得る。訓練時に、少なくとも１６個の入力画像が、共有重みを有する１６個のバックボーンネットワークへの入力として使用され得る。一実施例では、共有重みを有する１６個の分類器６２０が、それぞれの入力画像６１０を取得し、それを分類して、画像６１０の特徴ベクトル６３０を出力してもよい。

【0037】

特徴ベクトル対６４０は、ブレーキ分類器６５０を訓練するための入力として使用される。一実施例では、特徴ベクトル対６４０は、特徴ベクトル６３０が枯渇するまで、第１と第２、第２と第３、第３と第４などとして組織化される。これは、Ｎ個の入力特徴ベクトル（例えば、１６個の入力特徴ベクトルは１５対を有する）のためのＮ－１個のブレーキ分類器を訓練することをもたらす。

【0038】

特徴ベクトル６３０は、点滅分類器６６０を訓練するために使用される。一実施形態では、全ての入力画像６１０の特徴ベクトル６３０は、点滅分類器６６０を訓練するために使用される。したがって、図６に図示される実施例では、合計１６の特徴ベクトル６３０が、点滅分類器６６０への入力として使用され得る。

【0039】

図７は、例示の実施形態による、システム７００のブロック図表現である。システム７００は、特定の実装の要件に応じて、様々な構成要素を含むことができる。いくつかの実施例では、システム７００は、処理ユニット７１０、画像取得ユニット７２０、及び１つ以上のメモリユニット７４０、７５０を含むことができる。処理ユニット７１０は、１つ以上の処理デバイスを含むことができる。いくつかの実施形態では、処理ユニット７１０は、アプリケーションプロセッサ７８０、画像プロセッサ７９０、又は任意の他の適切な処理デバイスを含むことができる。同様に、画像取得ユニット７２０は、特定のアプリケーションの要件に応じて、任意の数の画像取得デバイス及び構成要素を含むことができる。いくつかの実施形態では、画像取得ユニット７２０は、撮像デバイス７２２、撮像デバイス７２４、及び撮像デバイス７２６などの１つ以上の撮像デバイス（例えば、カメラ）を含むことができる。いくつかの実施形態では、システム７００はまた、処理ユニット７１０を画像取得デバイス７２０に通信接続するデータインターフェース７２８を含むことができる。例えば、データインターフェース７２８は、画像取得デバイス７２０によって取得された画像データを処理ユニット７１０に送信するための任意の有線及び／又は無線リンク（複数可）を含むことができる。

【0040】

アプリケーションプロセッサ７８０及び画像プロセッサ７９０の両方は、様々なタイプの処理デバイスを含むことができる。例えば、アプリケーションプロセッサ７８０及び画像プロセッサ７９０のいずれか又は両方は、１つ以上のマイクロプロセッサ、プリプロセッサ（例えば、画像プリプロセッサ）、グラフィックスプロセッサ、中央処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は、アプリケーションの実行及び画像処理及び分析に好適な任意の他のタイプのデバイスを含むことができる。いくつかの実施形態では、アプリケーションプロセッサ７８０及び／又は画像プロセッサ７９０は、任意のタイプのシングル又はマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央処理装置などを含むことができる。例えば、Ｉｎｔｅｌ（登録商標）、ＡＭＤ（登録商標）等の製造業者から入手可能なプロセッサを含む様々な処理デバイスを使用することができ、様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ＡＲＭ（登録商標）など）を含むことができる。

【0041】

いくつかの実施形態では、アプリケーションプロセッサ７８０及び／又は画像プロセッサ７９０は、Ｍｏｂｉｌｅｙｅ（登録商標）から入手可能なプロセッサチップのＥｙｅＱシリーズのいずれかを含むことができる。これらのプロセッサ設計は、各々、ローカルメモリ及び命令セットを有する複数の処理ユニットを含む。このようなプロセッサは、複数の画像センサから画像データを受信するためのビデオ入力を含んでもよく、またビデオ出力機能を含んでもよい。図７は、処理ユニット７１０に含まれる２つの別々の処理デバイスを示しているが、より多くの、又はより少ない処理デバイスを使用することができる。例えば、いくつかの例では、アプリケーションプロセッサ７８０及び画像プロセッサ７９０のタスクを達成するために、単一の処理装置を使用することができる。他の実施形態では、これらのタスクは、３つ以上の処理デバイスによって実行することができる。

【0042】

処理ユニット７１０は、様々なタイプのデバイスを含むことができる。例えば、処理ユニット７１０は、コントローラ、画像プリプロセッサ、中央処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像処理及び分析のための任意の他のタイプのデバイスなどの様々なデバイスを含んでもよい。画像プリプロセッサは、画像センサから画像を捕捉し、デジタル化し、処理するためのビデオプロセッサを含むことができる。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含むことができる。サポート回路は、キャッシュ、電源、クロック、及び入出力回路を含む、当技術分野で一般に周知の任意の数の回路であり得る。メモリは、プロセッサによって実行されたときに、システムの動作を制御するソフトウェアを記憶することができる。メモリは、例えばニューラルネットワークなどの訓練されたシステムを含む、データベース及び画像処理ソフトウェアを含むことができる。メモリは、任意の数のランダムアクセスメモリ、リードオンリーメモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、リムーバブル記憶装置、及び他のタイプの記憶装置を含むことができる。一例として、メモリは、処理ユニット７１０から分離することができる。別の例では、メモリを処理ユニット７１０に統合することができる。

【0043】

各メモリ７４０、７５０は、プロセッサ（例えば、アプリケーションプロセッサ７８０及び／又は画像プロセッサ７９０）によって実行されるときに、システム７００の様々な態様の動作を制御することができるソフトウェア命令を含むことができる。これらのメモリユニットは、様々なデータベース及び画像処理ソフトウェアを含むことができる。メモリユニットは、ランダムアクセスメモリ、リードオンリーメモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び／又は任意の他のタイプの記憶装置を含むことができる。いくつかの実施例では、メモリユニット７４０、７５０は、アプリケーションプロセッサ７８０及び／又は画像プロセッサ７９０から分離することができる。他の実施形態では、これらのメモリユニットは、アプリケーションプロセッサ７８０及び／又は画像プロセッサ７９０に統合することができる。

【0044】

いくつかの実施形態では、システムは、位置センサ７３０を含むことができる。位置センサ７３０は、システム７００の少なくとも１つの構成要素に関連付けられた場所を決定するのに好適な任意のタイプのデバイスを含むことができる。いくつかの実施形態では、位置センサ７３０は、ＧＰＳ受信機を含むことができる。このような受信機は、全地球測位システム衛星によってブロードキャストされる信号を処理することによって、ユーザの位置及び速度を決定することができる。位置センサ７３０からの位置情報は、アプリケーションプロセッサ７８０及び／又は画像プロセッサ７９０に利用可能にすることができる。

【0045】

いくつかの実施形態では、システム７００は、システム７００を搭載することができる車載の様々なシステム、デバイス及びユニットに動作可能に接続することができ、任意の適切なインターフェース（例えば、通信バス）を介して、システム７００は、車両のシステムと通信することができる。システム７００が協働することができる車両システムの例は、スロットリングシステム、ブレーキシステム、及びステアリングシステムを含む。

【0046】

いくつかの実施形態では、システム７００は、ユーザインターフェース７７０を含むことができる。ユーザインターフェース７７０は、例えば、タッチスクリーン、マイクロホン、キーボード、ポインタデバイス、トラックホイール、カメラ、ノブ、ボタン等を含む、システム７００の１つ以上のユーザに情報を提供する、又はシステム７００の１つ以上のユーザから入力を受けるのに好適な任意のデバイスを含むことができる。情報は、ユーザインターフェース７７０を介して、システム７００によってユーザに提供され得る。

【0047】

いくつかの実施形態では、システム７００は、マップデータベース７６０を含むことができる。マップデータベース７６０は、デジタルマップデータを記憶するための任意のタイプのデータベースを含むことができる。いくつかの実施例では、マップデータベース７６０は、道路、水の特徴、地理的特徴、関心ポイントなどを含む様々なアイテムの、参照座標系における位置に関するデータを含むことができる。マップデータベース７６０は、そのようなアイテムの位置だけでなく、例えば、記憶された任意の特徴に関連する名前及びそれらに関する他の情報を含む、それらのアイテムに関連する記述子も記憶することができる。例えば、既知の障害物の場所及び種類、道路の地形又は道路沿いのある点の等級に関する情報等をデータベースに含めることができる。いくつかの実施形態では、マップデータベース７６０は、システム７００の他の構成要素と共に物理的に位置することができる。代替的又は追加的に、マップデータベース７６０又はその一部分は、システム７００の他の構成要素（例えば、処理ユニット７１０）に対して遠隔に位置することができる。そのような実施形態では、マップデータベース７６０からの情報は、ネットワークへの有線又は無線データ接続（例えば、セルラーネットワーク及び／又はインターネットなど）を介してダウンロードすることができる。

【0048】

撮像デバイス７２２、７２４、及び７２６は各々、環境から少なくとも１つの画像を捕捉するのに好適な任意のタイプのデバイスを含むことができる。さらに、画像プロセッサに入力するための画像を取得するために、任意の数の撮像デバイスを使用することできる。本開示の主題のいくつかの実施例は、単一の撮像デバイスのみ含むことができ、又はそれを用いて実装することができるが、他の実施例は、２つ、３つ、又は４つ以上の撮像デバイスを含むことができ、又はそれを用いて実装することができる。

【0049】

システム７００は、例えば、音響センサ、ＲＦセンサ（例えば、レーダトランシーバ）、ＬＩＤＡＲセンサを含む、他のタイプのセンサを含むことができ、又は、他のタイプのセンサと動作可能に関連付けることができると理解されよう。このようなセンサは、画像取得デバイス７２０から独立して、又は画像取得デバイス７２０と協調して使用することができる。例えば、レーダシステム（図示せず）からのデータは、画像取得デバイス７２０によって取得された画像を処理することから受信された処理情報を検証するために使用することができ、例えば、画像取得デバイス７２０によって取得された画像を処理することから生じる特定の偽陽性をフィルタリングし、あるいは、画像取得デバイス７２０からの画像データ、又は画像取得デバイス７２０からの画像データの処理されたバリエーション又は派生物と組み合わせるか、又は、他の方法で補完することができる。

【0050】

システム７００、又はその様々な構成要素は、様々な異なるプラットフォームに組み込むことができる。いくつかの実施形態において、システム７００は、車両に含まれてもよい。例えば、車両は、図７に関して上述したように、処理ユニット７１０及びシステム７００の他の構成要素のいずれかを装備することができる。いくつかの実施形態では、車両は、単一の撮像デバイス（例えば、カメラ）のみを装備することができるが、他の実施形態では、複数の撮像デバイスを使用することができる。例えば、車両の撮像デバイス７２２及び７２４のいずれかは、ＡＤＡＳ（高度運転者支援システム）イメージング・セットの一部とすることができる。

【0051】

画像取得ユニット７２０の一部として車両に含まれる撮像デバイスは、任意の好適な位置に配置することができる。いくつかの実施形態では、撮像デバイス７２２は、リアビューミラーの近傍に位置することができる。この位置は、車両の運転者の視線と同様の視線を提供することができ、これは、運転者に見えるものと見えないものを決定する際に役立つことができる。画像取得ユニット７２０の撮像デバイスのための他の位置も使用することができる。例えば、撮像デバイス７２４は、車両のバンパー上又はバンパー内に位置することができる。このような位置は、広い視野を有する撮像デバイスに特に好適である。バンパー位置の撮像デバイスの視線は、ドライバの視線とは異なる可能性がある。撮像デバイス（例えば、撮像デバイス７２２、７２４、及び７２６）は、他の位置に位置することができる。例えば、撮像デバイスは、車両のサイドミラーの一方又は両方に、車両の屋根に、車両のフードに、車両のトランクに、車両の側面に、車両の窓のいずれかに取り付けられ、後方に位置決めされ、又は前方に位置決めされ、車両の前方及び／又は後方に照明図形に取り付けられてもよい。撮像ユニット７２０、又は撮像ユニット７２０で使用される複数の撮像デバイスのうちの１つである撮像デバイスは、車両のドライバのＦＯＶとは異なる視野（ＦＯＶ）を有することができ、常に同じ物体を見るわけではない。一実施例では、画像取得ユニット７２０のＦＯＶは、典型的なドライバのＦＯＶを超えて延在することができ、したがって、ドライバのＦＯＶの外側にあるオブジェクトを画像化することができる。さらに別の例では、画像取得ユニット７２０のＦＯＶは、ドライバのＦＯＶの一部分である。いくつかの実施形態では、画像取得ユニット７２０のＦＯＶは、車両の前方の道路の領域、道路の周囲、又は他の領域をカバーするセクタに対応する。

【0052】

撮像デバイスに加えて、車両は、システム７００の様々な他の構成要素を含むことができる。例えば、処理ユニット７１０は、車両のエンジン制御ユニットと一体化されているか、又は車両のエンジン制御ユニットから分離されているかのいずれかで車両に含まれてもよい。車両はまた、ＧＰＳ受信機のような位置センサ７３０を装備もよく、また、マップデータベース７６０及びメモリユニット７４０及び７５０を含んでもよい。

【0053】

本明細書に開示された方法及び装置をより良く説明するために、実施形態の非限定的なリストが本明細書に提供される。

【0054】

例１は、複数フレーム意味信号の高速ＣＮＮ分類のためのシステムであって、前記システムは、処理回路と、命令を含む１つ以上の記憶デバイスであって、前記命令は、前記処理回路によって実行されるときに、処理回路が、撮像デバイスから複数の時間シーケンス画像を受信することと、前記複数の時間シーケンス画像を、時間シーケンスバッファに記憶される複数のベクトルに変換することと、前記複数のベクトルに基づいて、時間的画像を生成することと、前記時間的画像への畳み込みニューラルネットワークの適用に基づいて、意味信号を生成することと、を行うように構成する、システムである。

【0055】

例２では、例１の主題が任意選択で、複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、ことを含む。

【0056】

例３では、例２の主題が任意選択で、前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について列値を計算するように構成されている、ことを含む。

【0057】

例４では、例２～３のいずれか１つ以上の主題が任意選択で、前記列値を計算することは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について平均値、中央値、又は最大値を計算するステップのうちの少なくとも１つを含む、ことを含む。

【0058】

例５では、例１～４のいずれか１つ以上の主題が任意選択で、前記時間的画像の生成は、前記複数のベクトルを連結して前記時間的画像を形成する、ことを含む、ことを含む。

【0059】

例６では、例１～５のいずれか１つ以上の主題が任意選択で、前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、分類器を使用して、それぞれの複数の画像から前記複数のベクトルの各々を取得するように構成されている、ことを含む。

【0060】

例７では、例１～６のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、点滅分類器を使用するように構成されている、ことを含む。

【0061】

例８では、例１～７のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、ブレーキ分類器を使用するように構成されている、ことを含む。

【0062】

例９では、例１～８のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、前記複数のベクトルのベクトルの対にブレーキ分類器を使用し、前記時間的画像全体に点滅分類器を使用するように構成される、ことを含む。

【0063】

例１０では、例１～９のいずれか１つ以上の主題が任意選択で、前記ブレーキ分類器は、複数のブレーキ信号について訓練されている、ことを含む。

【0064】

例１１では、例１～１０のいずれか１つ以上の主題が任意選択で、前記複数のブレーキ信号は、ブレーキオン信号、ブレーキオフ信号、ブレーキ上昇信号、及びブレーキ降下信号のうちの少なくとも１つを含む、ことを含む。

【0065】

例１２では、例１～１１のいずれか１つ以上の主題が任意選択で、前記点滅分類器は、複数の点滅信号について訓練されている、ことを含む。

【0066】

例１３では、例１～１２のいずれか１つ以上の主題が任意選択で、前記複数の点滅信号は、右点滅オン信号、右点滅オフ信号、左点滅オン信号、及び左点滅オフ信号のうちの少なくとも１つを含む、ことを含む。

【0067】

例１４では、例１～１３のいずれか１つ以上の主題が任意選択で、撮像デバイスが車両に搭載されており、前記意味信号は、前記車両の変更された経路状態を示し、前記命令は、前記処理回路が、前記変更された経路状態に王として、前記車両について操縦を特定することと、前記操縦を実行するための車両制御信号を送ることと、を行うようにさらに構成する、ことを含む。

【0068】

例１５では、例１～１４のいずれか１つ以上の主題が任意選択で、前記制御信号を受信し、前記車両操縦を実行する車両制御デバイスをさらに含む、ことを含む。

【0069】

例１６は、自律型ナビゲーション意味信号方法であって、撮像デバイスからの複数の時間シーケンス画像を受信することであって、前記複数の時間シーケンス画像の各々は固有の撮像時間に関連付けられる、ことと、前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることと、前記複数のベクトルを時間的画像に変換すること、前記時間的画像に畳み込みニューラルネットワークを適用することに基づいて意味信号を識別すること、を含む方法である。

【0070】

例１７では、例１６の主題が任意選択で、前記複数の時間シーケンス画像を捕捉することと、固有の画像捕捉時間を、捕捉された前記複数の時間シーケンス画像の各々に関連付けることと、を含む。

【0071】

例１８では、例１６～１７のいずれか１つ以上の主題が任意選択で、複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、ことを含む。

【0072】

例１９では、例１８の主題が任意選択で、前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について列値を計算することを含む、ことを含む。

【0073】

例２０では、例１８～１９のいずれか１つ以上の主題が任意選択で、前記列値を計算することは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について平均値、中央値、又は最大値を計算することのうちの少なくとも１つを含む、ことを含む。

【0074】

例２１では、例１６～２０のいずれか１つ以上の主題が任意選択で、前記時間的画像の生成は、前記複数のベクトルを連結して、前記時間的画像を形成することを含む、ことを含む。

【0075】

例２２では、例１６～２１のいずれか１つ以上の主題が任意選択で、前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、それぞれの複数の画像から前記複数のベクトルの各々を取得するために、分類器を使用するように構成されている、ことを含む。

【0076】

例２３では、例１６～２２のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、点滅分類器を使用するように構成されている、ことを含む。

【0077】

例２４では、例１６～２３のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、ブレーキ分類器を使用するように構成されている、ことを含む。

【0078】

例２５では、例１６～２４のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、前記複数のベクトルのベクトルの対にブレーキ分類器を使用し、前記時間的画像全体に点滅分類器を使用するように構成されている、ことを含む。

【0079】

例２６では、例１６～２５のいずれか１つ以上の主題が任意選択で、前記ブレーキ分類器は、複数のブレーキ信号について訓練されている、ことを含む。

【0080】

例２７では、例１６～２６のいずれか１つ以上の主題が任意選択で、前記複数のブレーキ信号は、ブレーキオン信号、ブレーキオフ信号、ブレーキ上昇信号、及びブレーキ降下信号のうちの少なくとも１つを含む、ことを含む。

【0081】

例２８では、例１６～２７のいずれか１つ以上の主題が任意選択で、前記点滅分類器は、複数の点滅信号について訓練されている、ことを含む。

【0082】

例２９では、例１６～２８のいずれか１つ以上の主題が任意選択で、前記複数の点滅信号は、右点滅オン信号、右点滅オフ信号、左点滅オン信号、及び左点滅オフ信号のうちの少なくとも１つを含む、ことを含む。

【0083】

例３０では、例１６～２９のいずれか１つ以上の主題が任意選択で、前記意味信号に基づいて車両操縦を識別することと、車両操縦を実行するための制御信号を車両制御デバイスに送信することと、をさらに含む、ことを含む。

【0084】

例３１は、命令を含む１つ以上の機械可読媒体であって、前記命令は、コンピュータシステムによって実行されるときに、前記コンピュータシステムが例１６～３０のいずれか１つに記載の方法を行うようにする、機械可読媒体である。

【0085】

例３２は、例１６～３０のいずれかに記載の方法を行うための手段を含む、装置である。

【0086】

例３３は、命令を記憶するコンピュータプログラム製品であって、前記命令は、コンピュータ化システムによって実行されると、前記コンピュータ化システムが動作を行うようにし、前記動作は、撮像デバイスからの複数の時間シーケンス画像を受信することであって、前記複数の時間シーケンス画像の各々は固有の撮像時間に関連付けられる、ことと、前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることと、前記複数のベクトルを時間的画像に変換することと、前記時間的画像に畳み込みニューラルネットワークを適用することに基づいて意味信号を識別することと、を含む、コンピュータプログラム製品である。

【0087】

例３４では、例３３の主題が任意選択で、前記複数の時間シーケンス画像を捕捉することと、固有の画像捕捉時間を、捕捉された前記複数の時間シーケンス画像の各々に関連付けることと、を含む。

【0088】

例３５では、例３３～３４のいずれか１つ以上の主題が任意選択で、複数のベクトルの各々が、前記複数の時間シーケンス画像の各々と同じ幅の行ベクトルを含む、ことを含む。

【0089】

例３６では、例３５の主題が任意選択で、前記複数の時間シーケンス画像の各々を複数のベクトルの各々にマッピングすることは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について列値を計算することを含む、ことを含む。

【0090】

例３７では、例３５～３６のいずれか１つ以上の主題が任意選択で、前記列値を計算することは、前記複数の時間シーケンス画像の各々のうちの複数の列の各々について平均値、中央値、又は最大値を計算することのうちの少なくとも１つを含む、ことを含む。

【0091】

例３８では、例３３～３７のいずれか１つ以上の主題が任意選択で、前記時間的画像の生成は、前記複数のベクトルを連結して、前記時間的画像を形成することを含む、ことを含む。

【0092】

例３９では、例３３～３８のいずれか１つ以上の主題が任意選択で、前記複数の時間シーケンス画像を前記複数のベクトルに変換するために、前記処理回路は、それぞれの複数の画像から前記複数のベクトルの各々を取得するために、分類器を使用するように構成されている、ことを含む。

【0093】

例４０では、例３３～３９のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、点滅分類器を使用するように構成されている、ことを含む。

【0094】

例４１では、例３３～４０のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、ブレーキ分類器を使用するように構成されている、ことを含む。

【0095】

例４２では、例３３～４１のいずれか１つ以上の主題が任意選択で、前記時間的画像への前記畳み込みニューラルネットワークの適用に基づいて前記意味信号を生成するために、前記処理回路は、前記複数のベクトルのベクトルの対にブレーキ分類器を使用し、前記時間的画像全体に点滅分類器を使用するように構成されている、ことを含む。

【0096】

例４３では、例３３～４２のいずれか１つ以上の主題が任意選択で、前記ブレーキ分類器は、複数のブレーキ信号について訓練されている、ことを含む。

【0097】

例４４では、例３３～４３のいずれか１つ以上の主題が任意選択で、前記複数のブレーキ信号は、ブレーキオン信号、ブレーキオフ信号、ブレーキ上昇信号、及びブレーキ降下信号のうちの少なくとも１つを含む、ことを含む。

【0098】

例４５では、例３３～４４のいずれか１つ以上の主題が任意選択で、前記点滅分類器は、複数の点滅信号について訓練されている、ことを含む。

【0099】

例４６では、例３３～４５のいずれか１つ以上の主題が任意選択で、前記複数の点滅信号は、右点滅オン信号、右点滅オフ信号、左点滅オン信号、及び左点滅オフ信号のうちの少なくとも１つを含む、ことを含む。

【0100】

例４７では、例３３～４６のいずれか１つ以上の主題が任意選択で、前記意味信号に基づいて車両操縦を識別することと、
車両操縦を実行するための制御信号を車両制御デバイスに送信することと、をさらに含む、ことを含む。

【0101】

例４８は、分類システムであって、命令を有するメモリであって、前記命令は、処理ユニットによって実行されるときに、処理ユニットが、複数の画像を特徴ベクトルに変換するバックボーンネットワークと、複数のブレーキ信号の各々について確率を生成するブレーキネットワークと、複数の点滅信号の各々について確率を生成する点滅ネットワークと、を含む分類訓練器を実施するようにする、分類ネットワークである。

【0102】

例４９では、例４８の主題が任意選択で、前記バックボーンネットワークは、畳み込み層、プーリング層、及び全結合層を含む、ことを含む。

【0103】

例５０では、例４８～４９のいずれか１つ以上の主題が任意選択で、前記複数の画像は、複数の２チャンネル車両画像を含み、前記バックボーンネットワークは、前記複数の画像を６４の長さの特徴ベクトルに変換する、ことを含む。

【0104】

例５１では、例４８～５０のいずれか１つ以上の主題が任意選択で、２個のバックボーン特徴のセットが、前記複数のブレーキ信号について分類され、
１６個のバックボーン特徴のセットが、前記複数のブレーキ信号及び前記複数の点滅信号について分類される、ことを含む。

【0105】

例５２では、例４８～５１のいずれか１つ以上の主題が任意選択で、前記２個のバックボーン特徴のセットは、車両の検出時に受信された１６フレームの第１のサブセットについて分類され、前記１６個のバックボーン特徴のセットは、少なくとも１６個のフレームのフルセットが受信されたときに分類される、ことを含む。

【0106】

例５３では、例４８～５２のいずれか１つ以上の主題が任意選択で、前記ブレーキネットワークは、単一の隠れ全結合層と、４つのニューロンを有する出力層とを含む、ことを含む。

【0107】

例５４では、例４８～５３のいずれか１つ以上の主題が任意選択で、前記ブレーキネットワークは、前記複数のブレーキ信号の各々について前記確率を生成するために、２個の行ベクトルについて動作する、ことを含む。

【0108】

例５５では、例４８～５４のいずれか１つ以上の主題が任意選択で、前記複数のブレーキ信号は、ブレーキオン信号、ブレーキオフ信号、ブレーキ上昇信号、及びブレーキ降下信号のうちの少なくとも１つを含む、ことを含む。

【0109】

例５６では、例４８～５５のいずれか１つ以上の主題が任意選択で、前記点滅ネットワークは、前記複数の点滅信号の各々について前記確率を生成するために、１６個の行ベクトルについて動作する、ことを含む。

【0110】

例５７では、例４８～５６のいずれか１つ以上の主題が任意選択で、前記１６個の行ベクトルは、１６個のバックボーン特徴の再成型セットを含み、前記１６個のバックボーン特徴の再成型セットは、１つの１６の長さの水平ベクトルと４つのチャネルを含む、ことを含む。

【0111】

例５８では、例４８～５７のいずれか１つ以上の主題が任意選択で、前記複数の点滅信号は、右点滅オン信号、右点滅オフ信号、左点滅オン信号、及び左点滅オフ信号のうちの少なくとも１つを含む、ことを含む。

【0112】

例５９は、分類方法であって、分類訓練器を訓練することを含み、前記分類訓練器は、複数の画像を特徴ベクトルに変換するバックボーンネットワークと、複数のブレーキ信号の各々について確率を生成するブレーキネットワークと、複数の点滅信号の各々について確率を生成する点滅ネットワークと、を含む、方法である。

【0113】

例６０では、例５９の主題が任意選択で、前記バックボーンネットワークは、畳み込み層、プーリング層、及び全結合層を含む、ことを含む。

【0114】

例６１では、例５９～６０のいずれか１つ以上の主題が任意選択で、前記複数の画像は、複数の２チャンネル車両画像を含み、前記バックボーンネットワークは、前記複数の画像を６４の長さの特徴ベクトルに変換する、ことを含む。

【0115】

例６２では、例５９～６１のいずれか１つ以上の主題が任意選択で、２個のバックボーン特徴のセットが、前記複数のブレーキ信号について分類され、１６個のバックボーン特徴のセットが、前記複数のブレーキ信号及び前記複数の点滅信号について分類される、ことを含む。

【0116】

例６３では、例５９～６２のいずれか１つ以上の主題が任意選択で、前記２個のバックボーン特徴のセットは、車両の検出時に受信された１６フレームの第１のサブセットについて分類され、前記１６個のバックボーン特徴のセットは、少なくとも１６個のフレームのフルセットが受信されたときに分類される、ことを含む。

【0117】

例６４では、例５９～６３のいずれか１つ以上の主題が任意選択で、前記ブレーキネットワークは、単一の隠れ全結合層と、４つのニューロンを有する出力層とを含む、ことを含む。

【0118】

例６５では、例５９～６４のいずれか１つ以上の主題が任意選択で、前記ブレーキネットワークは、前記複数のブレーキ信号の各々について前記確率を生成するために、２個の行ベクトルについて動作する、ことを含む。

【0119】

例６６では、例５９～６５のいずれか１つ以上の主題が任意選択で、前記複数のブレーキ信号は、ブレーキオン信号、ブレーキオフ信号、ブレーキ上昇信号、及びブレーキ降下信号のうちの少なくとも１つを含む、ことを含む。

【0120】

例６７では、例５９～６６のいずれか１つ以上の主題が任意選択で、前記点滅ネットワークは、前記複数の点滅信号の各々について前記確率を生成するために、１６個の行ベクトルについて動作する、ことを含む。

【0121】

例６８では、例５９～６７のいずれか１つ以上の主題が任意選択で、前記１６個の行ベクトルは、１６個のバックボーン特徴の再成型セットを含み、前記１６個のバックボーン特徴の再成型セットは、１つの１６の長さの水平ベクトルと４つのチャネルを含む、ことを含む。

【0122】

例４９では、例５９～６８のいずれか１つ以上の主題が任意選択で、前記複数の点滅信号は、右点滅オン信号、右点滅オフ信号、左点滅オン信号、及び左点滅オフ信号のうちの少なくとも１つを含む、ことを含む。

【0123】

例７０は、命令を記憶するコンピュータプログラム製品であって、前記命令は、コンピュータ化システムによって実行されると、前記コンピュータ化システムが動作を行うようにし、前記動作は、分類訓練器を訓練することを含み、前記分類訓練器は、複数の画像を特徴ベクトルに変換するバックボーンネットワークと、複数のブレーキ信号の各々について確率を生成するブレーキネットワークと、複数の点滅信号の各々について確率を生成する点滅ネットワークと、を含む、コンピュータプログラム製品である。

【0124】

例７１では、例７０の主題が任意選択で、前記バックボーンネットワークは、畳み込み層、プーリング層、及び全結合層を含む、ことを含む

【0125】

例７２では、例７０～７１のいずれか１つ以上の主題が任意選択で、前記複数の画像は、複数の２チャンネル車両画像を含み、前記バックボーンネットワークは、前記複数の画像を６４の長さの特徴ベクトルに変換する、ことを含む。

【0126】

例７３では、例７０～７２のいずれか１つ以上の主題が任意選択で、２個のバックボーン特徴のセットが、前記複数のブレーキ信号について分類され、１６個のバックボーン特徴のセットが、前記複数のブレーキ信号及び前記複数の点滅信号について分類される、ことを含む。

【0127】

例７４では、例７０～７３のいずれか１つ以上の主題が任意選択で、前記２個のバックボーン特徴のセットは、車両の検出時に受信された１６フレームの第１のサブセットについて分類され、前記１６個のバックボーン特徴のセットは、少なくとも１６個のフレームのフルセットが受信されたときに分類される、ことを含む。

【0128】

例７５では、例７０～７４のいずれか１つ以上の主題が任意選択で、前記ブレーキネットワークは、単一の隠れ全結合層と、４つのニューロンを有する出力層とを含む、ことを含む。

【0129】

例７６では、例７０～７５のいずれか１つ以上の主題が任意選択で、前記ブレーキネットワークは、前記複数のブレーキ信号の各々について前記確率を生成するために、２個の行ベクトルについて動作する、ことを含む。

【0130】

例７７では、例７０～７６のいずれか１つ以上の主題が任意選択で、前記複数のブレーキ信号は、ブレーキオン信号、ブレーキオフ信号、ブレーキ上昇信号、及びブレーキ降下信号のうちの少なくとも１つを含む、ことを含む。

【0131】

例７８では、例７０～７７のいずれか１つ以上の主題が任意選択で、前記点滅ネットワークは、前記複数の点滅信号の各々について前記確率を生成するために、１６個の行ベクトルについて動作する、ことを含む。

【0132】

例７９では、例７０～７８のいずれか１つ以上の主題が任意選択で、前記１６個の行ベクトルは、１６個のバックボーン特徴の再成型セットを含み、前記１６個のバックボーン特徴の再成型セットは、１つの１６の長さの水平ベクトルと４つのチャネルを含む、ことを含む。

【0133】

例８０では、例７０～７９のいずれか１つ以上の主題が任意選択で、前記複数の点滅信号は、右点滅オン信号、右点滅オフ信号、左点滅オン信号、及び左点滅オフ信号のうちの少なくとも１つを含む、ことを含む。

【0134】

例８１は、命令を含む１つ以上の機械可読媒体であって、前記命令は、コンピュータシステムによって実行されるときに、前記コンピュータシステムが例１～８０のいずれか１つに記載の動作を行うようにする、機械可読媒体である。

【0135】

例８２は、例１～８０のいずれか１つに記載の動作を行うための手段を含む、装置である。

【0136】

例８３は、例１～８０のいずれか１つに記載の動作を行うためのシステムである。

【0137】

例８４は、例１～８０のいずれか１つに記載の動作を行うための方法である。

【0138】

上記の詳細な説明は、詳細な説明の一部を形成する添付の図面の参照を含む。図面は、本発明を実施することができる特定の実施形態を例として示す。これらの実施形態は、本明細書では「実施例」とも呼ばれる。このような実施例は、図示又は説明されるものに加えて、要素を含むことができる。しかしながら、本発明者らはまた、図示又は説明された要素のみが提供される例を企図している。さらに、本発明者らはまた、特定の実施例（又はその１つ以上の態様）に関して、又は本明細書中に図示若しくは説明された他の実施例（又はその１つ以上の態様）のいずれかに関して、図示若しくは説明されたそれらの要素（又はその１つ以上の態様）の任意の組み合わせ又は順列を使用する実施例を企図している。

【0139】

システムへの参照は、システムによって実行される方法、及び／又はシステムによって一度実行される命令を記憶するコンピュータプログラム製品に対して準用されるべきである。コンピュータプログラム製品は、非一時的であり、例えば、集積回路、磁気メモリ、光メモリ、ディスクなどであってもよい。

【0140】

方法への参照は、方法を実行するように構成されているシステム、及び／又はシステムによって実行されると、システムが方法を実行するようにする命令を記憶するコンピュータプログラム製品に対して準用されるべきである。

【0141】

コンピュータプログラム製品への参照は、システムによって実行される方法、及び／又はコンピュータプログラム製品に記憶された命令を実行するように構成されているシステムに対して準用されるべきである。

【0142】

用語「及び／又は」は、追加的又は代替的である。

【0143】

前述の明細書では、本発明の実施形態の特定の実施例を参照して本発明を説明した。しかしながら、添付の特許請求の範囲に記載された本発明のより広範な精神及び範囲から逸脱することなく、様々な修正及び変更をその中で行うことができることは明らかであろう。

【0144】

さらに、明細書及び、もしあれば、請求項において用語「前部」、「後部」、「上部」、「上部」、「上方」、「下方」等は、説明のために使用され、永続的な相対的位置を説明するためには必ずしも使用されない。これらの用いられる用語は、本願明細書で説明された発明の実施形態を例えば図示されたか、又は本願明細書に記載された向き以外の他の向きが可能である適切な環境下で相互に交換可能であることである。

【0145】

同じ機能を達成するための構成要素のアレンジメントは、所望の機能が達成されるように、実質的に「関連付け」られる。従って、特定の機能を達成するために本明細書において組み合わされる任意の２つの構成要素は、アーキテクチャ又は中間構成要素にかかわらず、所望の機能が達成されるように、互いに「関連付けられている」とみられてもよい。同様に、そのように関連付けられた任意の２つの構成要素は、所望の機能を達成するために、互いに「動作可能に接続されている」か、又は「動作可能に結合されている」とみなされ得る。

【0146】

さらに、当業者は、上述の動作間の境界が単に例示的なものであることを認識するであろう。複数の動作は、単一の動作に組み合わせられてもよいし、単一の動作は、追加の動作に分散されてもよいし、動作は、少なくとも部分的に時間的に重複して実行されてもよい。さらに、代替の実施形態は、特定の動作の複数のインスタンスを含んでもよいし、動作の順序は、様々な他の実施形態において変更されてもよい。

【0147】

しかしながら、他の修正、バリエーション及び代替案も可能である。したがって、明細書及び図面は、限定的な意味ではなく、例示的な意味でみなされる。

【0148】

しかしながら、他の修正、バリエーション及び代替案も可能である。したがって、明細書及び図面は、限定的な意味ではなく、例示的な意味でみなされる。

【0149】

「Ｘであってもよい」という句は、条件Ｘが満たされ得ることを示す。この句はまた、条件Ｘが満たされないかもしれないことを示唆する。例えば、ある構成要素を含むシステムへの参照は、そのシステムがある構成要素を含まないシナリオも網羅すべきである。

【0150】

用語「含む」、「備える」、「有する」、「からなる」、及び「基本的に～からなる」は、交換可能な方法で使用される。例えば、例示の方法は、図面及び／又は明細書に含まれるステップを少なくとも含むことができるが、図面及び／又は明細書に含まれるステップのみが含まれてもよい。同様のことが、システム及びモバイルコンピュータにも当てはまる。

【0151】

図示を簡単かつ明瞭にするために、図面に示された要素は必ずしも縮尺通りに描かれていないことが理解されるであろう。例えば、要素のいくつかの寸法は、明瞭化のために他の要素と比較して誇張されてもよい。さらに、適切と考えられるときに、対応する要素又は類似の要素を示すために、図の間で参照番号が繰り返されることがある。

【0152】

また、例えば、一実施形態において、図示された実施例は、単一の集積回路上又は同じデバイス内に位置する回路として実装されてもよい。代替的には、実施例は、適切な方法で互いに相互接続された任意の数の別個の集積回路又は別個のデバイスとして実装されてもよい。

【0153】

また、例えば、実施例又はその一部分は、物理回路又は物理回路に変換可能な論理表現のソフト又はコード表現として、例えば、任意の適切なタイプのハードウェア記述言語で実装されてもよい。

【0154】

また、本発明は、非プログラマブルハードウェアで実装される物理デバイス又はユニットに限定されるものではなく、メインフレーム、ミニコンピュータ、サーバ、ワークステーション、パーソナルコンピュータ、ノートパッド、パーソナルデジタルアシスタント、電子ゲーム、自動車及び他の埋め込みシステム、携帯電話、及び本出願において一般に「コンピュータシステム」と称される様々な他の無線デバイスなどの好適なプログラムコードに従って動作することによって、所望のデバイス機能を行うことができるプログラマブルデバイス又はユニットにも適用することができる。

【0155】

他の修正、バリエーション及び代替案も可能である。したがって、明細書及び図面は、限定的な意味ではなく、例示的な意味でみなされる。

【0156】

請求項において、括弧の間に付された参照符号は、請求項を限定するものと解釈してはならない。「含む」という語は、請求項に列挙されている他の要素又はステップの存在を除外しない。さらに、用語「ａ」又は「ａｎ」は、本明細書中で使用される場合、１以上として定義される。また、請求項中の「少なくとも１つ」及び「１つ以上」のような導入句の使用は、たとえ同じの請求項が「１つ以上」又は「少なくとも１つ」の導入句及び「ａ」又は「ａｎ」のような不定冠詞を含む場合であっても、不定冠詞「ａ」又は「ａｎ」による別の請求項要素の導入は、そのように導入された請求項要素を含む任意の特定の請求項をそのような要素を１つのみ含む発明に限定することを示唆すると解釈すべきではない。特に示されない限り、「第１」及び「第２」のような語は、これらの語が表す要素間を任意に区別するために使用される。したがって、これらの用語は、これらの要素の時間的又は他の優先順位付けを示すことを意図しておらず、必ずしも、ある措置が相互に異なる請求項に規定されているという単なる事実だけでは、これらの措置の組み合わせが有利に使用できないことを示すものではない。

【0157】

本発明の所定の特徴が図示され、本明細書で説明されているが、当業者には、多くの修正、置換、変化、及び等価物が生じる。したがって、添付の特許請求の範囲は、そのような修正及び変更全てを本発明の真の精神に含むものとして網羅することを意図している。

【0158】

任意の構成要素及び／又はシステムのユニットの任意の構成要素の任意の組み合わせであって、任意の図面及び／又は明細書及び／又は特許請求の範囲に示されているものが提供され得る。図及び／又は明細書及び／又は特許請求の範囲のいずれかに図示される任意のシステムの任意の組み合わせが提供され得る。図面及び／又は明細書及び／又は特許請求の範囲のいずれかに示されるステップ、動作及び／又は方法の任意の組み合わせが提供され得る。図面及び／又は明細書及び／又は特許請求の範囲のいずれかに示される動作の任意の組み合わせが提供され得る。図面及び／又は明細書及び／又は特許請求の範囲のいずれかに例示されている方法の任意の組み合わせが提供され得る。

【0159】

さらに、例示的な実施形態が本明細書で説明されているが、本開示に基づいて当業者に理解されるように、任意のすべての実施形態の範囲は、同等の要素、修正、省略、（例えば、様々な実施形態にわたる態様の態様の）組み合わせ、適応及び／又は変形を有する。請求項における限定は、請求項で使用されている文言に基づいて広く解釈されるべきであり、本明細書で説明された実施例や出願手続き中に限定されるものではない。これらの実施例は、非排他的であると解釈される。さらに、開示された方法のステップは、ステップの再順序付け及び／又はステップの挿入もしくは削除を含む、任意の方式で修正され得る。従って、明細書及び実施例は、真の範囲及び精神は、以下の特許請求の範囲及びそれらの均等物の全範囲によって示されているが、単に例示的であるとみなされることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】