特許 6720296 自律走行のための地図画像に基づく交通予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6720296

(24)【登録日】2020年6月19日

(45)【発行日】2020年7月8日

(54)【発明の名称】自律走行のための地図画像に基づく交通予測

(51)【国際特許分類】

   G08G 1/00 20060101AFI20200629BHJP

   G08G 1/0968 20060101ALI20200629BHJP

   G08G 1/16 20060101ALI20200629BHJP

   G01C 21/34 20060101ALI20200629BHJP

   B60W 40/02 20060101ALI20200629BHJP

   G09B 29/00 20060101ALI20200629BHJP

   G09B 29/10 20060101ALI20200629BHJP

【ＦＩ】

   G08G1/00 X

   G08G1/0968

   G08G1/16 A

   G01C21/34

   B60W40/02

   G09B29/00 A

   G09B29/10 A

【請求項の数】18

【全頁数】20

(21)【出願番号】特願2018-515296(P2018-515296)

(86)(22)【出願日】2017年6月22日

(65)【公表番号】特表2019-527862(P2019-527862A)

(43)【公表日】2019年10月3日

(86)【国際出願番号】CN2017089488

(87)【国際公開番号】WO2018232681

(87)【国際公開日】20181227

【審査請求日】2018年3月16日

(73)【特許権者】

【識別番号】518091912

【氏名又は名称】バイドゥドットコム タイムズ テクロノジー （ベイジン） カンパニー リミテッド

【氏名又は名称原語表記】Ｂａｉｄｕ．ｃｏｍ Ｔｉｍｅｓ Ｔｅｃｈｎｏｌｏｇｙ （Ｂｅｉｊｉｎｇ） Ｃｏ．， Ｌｔｄ．

(73)【特許権者】

【識別番号】516353375

【氏名又は名称】バイドゥ ユーエスエー エルエルシー

【氏名又は名称原語表記】Ｂａｉｄｕ ＵＳＡ ＬＬＣ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人 ユニアス国際特許事務所

(72)【発明者】

【氏名】ミャオ、チンハオ

(72)【発明者】

【氏名】リー、リーユン

(72)【発明者】

【氏名】シア、チョンプー

【審査官】 藤村 泰智

(56)【参考文献】

【文献】 米国特許出願公開第２００８／０１６２０２７（ＵＳ，Ａ１）

【文献】 特開２００６−３０９４４５（ＪＰ，Ａ）

【文献】 特開２０１６−１４９１３２（ＪＰ，Ａ）

【文献】 米国特許第９５２３９８４（ＵＳ，Ｂ１）

【文献】 国際公開第２０１６／１２９２３４（ＷＯ，Ａ１）

【文献】 特開２０１７−０９７９０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ 〜 １／１６

Ｇ０１Ｃ ２１／２６ 〜 ２１／３６

Ｂ６０Ｗ ４０／００ 〜 ４０／１３

Ｇ０９Ｂ ２９／００

Ｇ０９Ｂ ２９／１０

(57)【特許請求の範囲】

【請求項1】

自律走行車を動作させるためのコンピュータ実施方法において、
自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得する地図画像取得ステップと、
前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行う地図画像認識ステップと、
前記認識された対象から１つまたは複数の特徴を抽出してメタデータに変換するステップであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、特徴抽出ステップと、
前記抽出された特徴から得られたメタデータに基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測する行動予測ステップと、
前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画する計画ステップを含み、
前記地図画像は、一般地図画像であり、
前記地図画像認識ステップは、
現在の走行環境と関連する位置に対する所定距離をカバーする地図画像を分析し、地図画像に含まれる１つまたは複数の対象を、対象の形および／または色相に基づいて地図画像の画像認識を行い、
前記特徴抽出ステップは、
認識された対象に基づいて、認識された対象から１つまたは複数の特徴を抽出または生成し、前記特徴は、前記地図画像に含まれていない、認識された対象に基づいて生成された追加の特徴を含む、
方法。

【請求項2】

前記対象の形および／または色相に基づいて、１つまたは複数の道路のクロスロードが認識される、請求項１に記載の方法。

【請求項3】

前記対象の形および／または色相に基づいて、１つまたは複数の道路に接続されたラウンドアバウト（ｒｏｕｎｄａｂｏｕｔ）が認識される、請求項１に記載の方法。

【請求項4】

前記対象の形および／または色相に基づいて、前記１つまたは複数の対象は、道路に沿う駐車場が認識される、請求項１に記載の方法。

【請求項5】

前記特徴抽出ステップは、
前記地図画像に基づいて道路の曲率を推定するステップを含む、請求項１に記載の方法。

【請求項6】

前記特徴抽出ステップは、
前記地図画像が道路標識を含んでいなくても、前記対象の種類に基づいて、可能な前記道路標識を予測するステップを含む、請求項１に記載の方法。

【請求項7】

コマンドを格納する非一時的機械可読媒体であって、前記コマンドがプロセッサによって実行されるとき、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、
前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、
前記認識された対象から１つまたは複数の特徴を抽出してメタデータに変換することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、
前記抽出された特徴から得られたメタデータに基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、
前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することと、を含む動作を前記プロセッサに実行させ、
前記地図画像は、一般地図画像であり、
前記地図画像の画像認識を行うことは、
現在の走行環境と関連する位置に対する所定距離をカバーする地図画像を分析し、地図画像に含まれる１つまたは複数の対象を、対象の形および／または色相に基づいて地図画像の画像認識を行い、
前記認識された対象から１つまたは複数の特徴を抽出することは、
認識された対象に基づいて、認識された対象から１つまたは複数の特徴を抽出または生成し、前記特徴は、前記地図画像に含まれていない、認識された対象に基づいて生成された追加の特徴を含む、非一時的機械可読媒体。

【請求項8】

前記対象の形および／または色相に基づいて、１つまたは複数の道路のクロスロードが認識される、請求項７に記載の非一時的機械可読媒体。

【請求項9】

前記対象の形および／または色相に基づいて、１つまたは複数の道路に接続されたラウンドアバウトが認識される、請求項７に記載の非一時的機械可読媒体。

【請求項10】

前記対象の形および／または色相に基づいて、道路に沿う駐車場が認識される、請求項７に記載の非一時的機械可読媒体。

【請求項11】

前記１つまたは複数の特徴を抽出することは、
前記地図画像に基づいて道路の曲率を推定することを含む、請求項７に記載の非一時的機械可読媒体。

【請求項12】

前記１つまたは複数の特徴を抽出することは、
前記地図画像が道路標識を含んでいなくても、前記対象の種類に基づいて、可能な前記道路標識を予測することを含む、請求項７に記載の非一時的機械可読媒体。

【請求項13】

プロセッサと、
前記プロセッサに接続されてコマンドを格納するメモリとを含むデータ処理システムであって、
前記コマンドが前記プロセッサによって実行されるとき、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、
前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、
前記認識された対象から１つまたは複数の特徴を抽出してメタデータに変換することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、
前記抽出された特徴から得られたメタデータに基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、
前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することと、を含む動作を前記プロセッサに実行させ、
前記地図画像は、一般地図画像であり、
前記地図画像の画像認識を行うことは、
現在の走行環境と関連する位置に対する所定距離をカバーする地図画像を分析し、地図画像に含まれる１つまたは複数の対象を、対象の形および／または色相に基づいて地図画像の画像認識を行い、
前記認識された対象から１つまたは複数の特徴を抽出することは、
認識された対象に基づいて、認識された対象から１つまたは複数の特徴を抽出または生成し、前記特徴は、前記地図画像に含まれていない、認識された対象に基づいて生成された追加の特徴を含む、データ処理システム。

【請求項14】

前記対象の形および／または色相に基づいて、１つまたは複数の道路のクロスロードが認識される、請求項１３に記載のデータ処理システム。

【請求項15】

前記対象の形および／または色相に基づいて、１つまたは複数の道路に接続されたラウンドアバウトが認識される、請求項１３に記載のデータ処理システム。

【請求項16】

前記対象の形および／または色相に基づいて、道路に沿う駐車場が認識される、請求項１３に記載のデータ処理システム。

【請求項17】

前記１つまたは複数の特徴を抽出することは、
前記地図画像に基づいて道路の曲率を推定することを含む、請求項１３に記載のデータ処理システム。

【請求項18】

前記１つまたは複数の特徴を抽出することは、
前記地図画像が道路標識を含んでいなくても、前記対象の種類に基づいて、可能な前記道路標識を予測することを含む、請求項１３に記載のデータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、一般的に、自律走行車を動作させることに関する。より具体的には、本開示の実施形態は、自律走行車を動作させるための交通予測に関する。

【背景技術】

【0002】

自律走行モード（例えば、運転者なしに）で動作している車両において、搭乗者、特に運転者は、運転に関連する担当事項の一部を軽減することができる。自律走行モードで動作する際、車両はオンボードセンサを用いて様々な位置へナビゲートすることができ、その結果、最小限の人間とのインタラクションで、又は、一部の場合、乗客なしに車両の移動が可能となる。

【0003】

交通予測は、完全に自律的な運転ソリューションを実現するために重要な要素である。これは、人間の脳の役割をして、周囲の交通参加者が近い将来にどこに向かうのか予測して、自律走行車自体が安全的かつ正しい動作を取るようにする。交通予測は、交通参加者の近い将来の行動を予測するために、高精度地図（高解像度の地図とも呼ばれる）を非常に依存する。しかし、高精度地図を作成するには多くのコストと時間がかかる。これはたくさんの人為的なラベリング（ｌａｂｅｌｉｎｇ）作業を必要とし、多くのコストと時間がかかる。これは、多くの場合、人間のミスやエラーによって自律走行車に危険を与える可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施形態は、自律走行車を作動させるためのコンピュータ実施方法、非一時的機械可読媒体およびデータ処理システムを提供する。

【課題を解決するための手段】

【0005】

本発明の一実施形態では、自律走行車を動作させるためのコンピュータ実施方法において、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得するステップと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うステップと、前記認識された対象から１つまたは複数の特徴を抽出するステップであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ステップと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測するステップと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画するステップを含む。

【0006】

本開示の他の実施形態では、コマンドを格納し、前記コマンドがプロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、非一時的機械可読媒体であって、前記動作は、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む。

【0007】

本開示の別の実施形態では、プロセッサと、前記プロセッサに接続されてコマンドを格納するメモリとを含み、前記コマンドが前記プロセッサによって実行されるとき、前記プロセッサにとって動作を実行するようにする、データ処理システムにおいて、前記動作は、自律走行車（ＡＤＶ）の周辺の走行環境を感知する感知データに応答して、前記走行環境と関連する位置をカバーする地図の地図画像を取得することと、前記地図画像から１つまたは複数の対象を認識するために、前記地図画像の画像認識を行うことと、前記認識された対象から１つまたは複数の特徴を抽出することであって、前記１つまたは複数の特徴は、前記走行環境の交通状態を示す、ことと、前記抽出された特徴に基づいて、前記感知データから感知された１つまたは複数の交通参加者の行動を予測することと、前記１つまたは複数の交通参加者の前記予測された行動に基づいて、前記ＡＤＶを制御して前記走行環境でナビゲートするための軌跡を計画することを含む。

【図面の簡単な説明】

【0008】

本開示の実施形態は、同様の参照番号で同様の要素を示す添付の図面において、例示として説明され、これに限定されない。

【0009】

【図1】一実施形態に係るネットワークシステムを示すブロック図である。

【0010】

【図2】一実施形態に係る自律走行車の一例を示すブロック図である。

【0011】

【図3】一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。

【0012】

【図4】一実施形態に係る自律走行車を動作させるプロセスフローを示す処理図である。

【0013】

【図5】一実施形態に係る認識された走行環境の一例を示すブロック図である。

【0014】

【図6】他の実施形態に係る認識された走行環境の一例を示すブロック図である。

【0015】

【図7】一実施形態に係る自律走行車を動作させるプロセスを示すフローチャートである。

【0016】

【図8】一実施形態に係るデータ処理システムを示すブロック図である。

【発明を実施するための形態】

【0017】

以下、検討した詳細を参照して本発明の様々な実施形態及び態様を説明し、添付の図面は、前記様々な実施形態を示す。以下の説明及び図面は、本発明の例示であり、本発明を限定するものとして解釈されるべきではない。本発明の様々な実施形態の完全な理解を提供するために、多くの詳細が記載されている。しかしながら、場合によって、本発明の実施形態の説明の簡潔さから、周知又は従来の詳細は記載されていない。

【0018】

本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に説明した特定の特徴、構造、又は特性を本発明の少なくとも１つの実施形態に含めることができることを意味する。本明細書を通じて使用される「一実施形態では」という語句は、必ずしもすべて同じ実施形態を指すとは限らない。

【0019】

画像処理技術は、ますます高度化される。この多くの技術は、顔認識、対象感知などの商業商品の生産に成功的に適用されている。本開示の一実施形態によると、交通予測のための新しいアプローチは、地図画像から、例えば、道路、駐車場、クロスロード、ラウンドアバウト等の重要な特徴を識別するために、高度なビジョンの技術を持つ画像として一般的なナビゲーション地図（ｒｅｇｕｌａｒ ｎａｖｉｇａｔｉｏｎ ｍａｐ）を使用することである。このような特徴は、自律走行車（ＡＤＶ）に適用されて、道路上で交通参加者の行動を予測する。

【0020】

一実施形態によると、ＡＤＶを囲む運転環境を感知する感知データに応答して、走行環境と関連付けられた位置をカバーする地図（例えば、一般的な地図または一般的な解像度の地図）の地図画像が取得される。地図画像に対し画像認識が行われて、地図画像から１つ以上の対象が認識される。対象は、特定の道路、建物の構造（例えば、駐車場）、クロスロードまたはラウンドアバウトなどを示すことができる。認識された対象から１つまたは複数の特徴が抽出され、特徴は、走行環境の交通状態を示したり、記述したりすることができる。感知データから感知された１つまたは複数の交通参加者の行動は、抽出された特徴に基づいて予測される。ＡＤＶを制御して走行環境でナビゲートするための軌道は、交通参加者の予測された行動をもとに計画される。交通参加者は、車両、自転車に乗る人や歩行者であってもよい。

【0021】

図１は本発明に係る一実施形態に係る自律走行車のネットワーク配置を示すブロック図である。図１を参照して、ネットワーク配置１００は、ネットワーク１０２によって１つ以上のサーバ１０３〜１０４に通信可能に接続することができる自律走行車１０１を含む。１つの自律走行車を示すが、ネットワーク１０２によって、複数の自律走行車は互いに接続され、及び／又はサーバ１０３〜１０４に接続されることができる。ネットワーク１０２は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えばインターネットのようなの広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク又はその組み合わせであってもよい。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバクラスタ、例えばＷｅｂサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ１０３〜１０４は、データ分析サーバ、内容サーバ、交通情報サーバ、地図（マップ）及び興味のあるポイント（ＭＰＯＩ）サーバ又は位置サーバ等であってもよい。

【0022】

自律走行車とは、運転者からの入力が非常に少ない又はない場合に案内する自律走行モードに設置される車両である。自律走行車は、車両が走行している環境にかかる情報を検出するように配置される１つまたは複数のセンサを含むセンサシステムを備える。車両及びその関連しているコントローラが、検出された情報で環境を案内する。自律走行車１０１が手動モード、完全自律走行モードまたは部分自律走行モードで運転されることができる。

【0023】

一実施形態において、自律走行車１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、インフォテイメントシステム１１４と、センサシステム１１５とを含むが、これらに限定されない。自律走行車１０１は、通常の車両に含まれるある一般的な構成要素（部材）、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により多種の通信信号及び／又はコマンド（例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンド等）を使用して制御されることができる。

【0024】

構成要素１１０〜１１５は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０〜１１５は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、マイクロコントローラ及び装置がホストコンピューターのない応用において互いに通信することを許可するような車両バス標準として設計される。それは、最初に自動車内における複数の電線のために設計されたメッセージに基づくプロトコルであるが、他のたくさんの環境（状況）にも用いられる。

【0025】

図２を参照すると、一実施形態において、センサシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダーユニット２１４と、光検出及び測距（ＬＩＤＡＲ）ユニット２１５とを含むが、これらに限定されない。ＧＰＳユニット２１２は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように操作されることができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット２１４は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット２１４は、さらに対象の速度及び／又は走行方向を感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用して自律走行車の位置する環境における対象を感知することができる。その他のシステム構成要素以外、ＬＩＤＡＲユニット２１５は、１つ以上のレーザ光源、レーザースキャナ及び１つ以上の検出器をさらに含んでもよい。カメラ２１１は、自律走行車の周辺環境の画像をキャプチャするための１つ以上の装置を含んでもよい。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば回転及び／又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。

【0026】

センサシステム１１５は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えばマイクロフォン）をさらに含んでもよい。オーディオセンサは、自律走行車周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置されることができる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサに一体化されてもよい。

【0027】

一実施形態において、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットとも呼ばれる）と、ブレーキユニット２０３とを含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は走行方向を調整することに用いられる。スロットルユニット２０２は、モーター又はエンジンの速度を制御して、さらに車両の速度及び加速度を制御することに用いられる。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図２に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。

【0028】

図１を再び参照すると、無線通信システム１１２は、自律走行車１０１と、例えば装置、センサ、その他の車両等の外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、１つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク１０２によってサーバ１０３〜１０４に通信できる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えばＷｉＦｉ）を使用して他の構成要素やシステムに通信できる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース（登録商標）等を使用して装置（例えば、乗客の移動装置、車両１０１内のディスプレイデバイス、スピーカー）に直接に通信できる。ユーザインターフェースシステム１１３は、車両１０１内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。

【0029】

自律走行車１０１の一部又は全ての機能は、特に自律走行モードで動作する場合、感知及び計画システム１１０により制御されたり管理されたりすることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）、及びソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を含み、センサシステム１１５、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートや経路を計画し、そして計画及び制御情報に基づいて車両１０１を走行させる。あるいは、感知及び計画システム１１０と車両制御システム１１１とは一体化されてもよい。

【0030】

例えば、乗客であるユーザは、例えばユーザインターフェースによって行程の出発位置及び目的位置を指定することができる。感知及び計画システム１１０は、行程関連データを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及び経路情報を取得することができ、前記ＭＰＯＩサーバは、サーバ１０３〜１０４の一部であってもよい。位置サーバは、位置サービスを提供し、かつＭＰＯＩサーバは、マップサービス及びある位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続記憶装置にローカルでキャッシュされることができる。

【0031】

自律走行車１０１が経路に沿って走行する期間に、感知及び計画システム１１０は、さらに交通情報システムやサーバ（ＴＩＳ）からリアルタイム交通情報を取得できる。注意すべきなのは、サーバ１０３〜１０４は、第三者のエンティティにより動作されることができる。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体化されてもよい。リアルタイム交通情報、ＭＰＯＩ情報、位置情報、及びセンサシステム１１５が検出又は感知したリアルタイムなローカル環境データ（例えば、障害物、対象、付近車両）に基づいて、感知及び計画システム１１０は、指定された目的地に安全で効果的に到達するように、最適な経路を計画し、かつ計画した経路により、例えば車両制御システム１１１を介して車両１０１を走行させることができる。

【0032】

サーバ１０３は、様々のクライアントにデータ分析サービスを提供するデータ分析システムであっても良い。一つの実施形態において、データ分析システム１０３は、データ収集部１２１と、機器学習エンジン１２２とを含む。データ収集部１２１は、様々の車両（自律走行車又は人間運転者による一般車両）からの運転統計情報１２３を収集する。運転統計情報１２３は、異なる時点で発行された運転コマンド（例えば、スロットル、ブレーキ及びステアリングコマンド）及び車両のセンサにより取得された車両のレスポンス（例えば、速度、加速度、減速度、方向）を含む。運転統計情報１２３は、異なる時点での運転環境情報、例えば、経路（出発地及び目的地の位置）、ＭＰＯＩ、道路状態、天気状態等を更に含む。

【0033】

運転統計情報１２３に基づいて、機器学習エンジン１２２は、様々な目的のために、規則、アルゴリズム、および／または予測モデル１２４のセットを生成または訓練する。一実施形態では、規則／アルゴリズム／モデル１２４は、地図画像に含まれている対象を認識し対象から特徴を抽出するための規則、アルゴリズム、および／またはモデルを含む。たとえば、規則／アルゴリズム／モデル１２４は、例えば、地図画像に含まれている対象の形および／または色相に基づいて、地図画像から特定の対象を認識する方法を特定するデータを含むことができる。特定の種類の対象に対し、規則／アルゴリズムの／モデル１２４は、例えば、停止標識、譲歩標識、車道の構成（例えば、左折専用車道、右折専用車道、直線専用車道）、出／入口などの対象と関連付けられる特定の特徴をさらに特定したり、暗示したりすることができる。規則／アルゴリズム／モデル１２４は、リアルタイムでＡＤＶを制御するために、軌道を計画するのに適用されるように、ＡＤＶにアップロードすることができる。

【0034】

図３は、一実施形態に係る自律走行車とともに使用される感知及び計画システムの一例を示すブロック図である。システム３００は、図１の自律走行車１０１の一部として実現することができ、感知及び計画システム１１０、制御システム１１１とセンサシステム１１５を含むが、これに限定されない。図３を参照すると、感知及び計画システム１１０は、位置決め（ｌｏｃａｌｉｚａｔｉｏｎ）モジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、地図画像アナライザ３０７と地図の特徴抽出器３０８を含むが、これに限定されない。

【0035】

モジュール３０１〜３０８の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現されてもよい。例えば、これらのモジュールは、永続記憶装置３５２にインストールされ、メモリ３５１にロードされて１つまたは複数のプロセッサ（図示せず）によって実行されてもよい。注意すべきなのは、一部またはすべてのモジュールは、図２に示す車両制御システム１１１における一部またはすべてのモジュールに通信可能に接続されたり、統合されたりしてもよい。また、モジュール３０１〜３０８の一部は、１つの集積モジュールとして一体化されてもよい。

【0036】

位置決めモジュール３０１は、（例えば、ＧＰＳユニット２１２を利用して）自律走行車１０１の現在位置を決定し、ユーザの行程や経路に関連する任意のデータを管理する。位置決めモジュール３０１（地図及び経路モジュールとも呼ばれる）は、ユーザの行程や経路に関連する任意のデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインして行程の出発位置と目的地を指定することができる。位置決めモジュール３０１は、地図及び経路情報３１１のような自律走行車１０１の他の構成要素と通信して行程関連データを取得する。たとえば、位置決めモジュール３０１は、位置サーバ、および地図とＰＯＩ（ＭＰＯＩ）サーバから位置と経路情報を取得することができる。位置サーバは、位置サービスを提供し、ＭＰＯＩサーバは、地図サービスと、地図及び経路情報３１１との一部としてキャッシュすることができる特定位置のＰＯＩとを提供する。自律走行車１０１が経路に沿って移動する間に、位置決め（ｌｏｃａｌｉｚａｔｉｏｎ）モジュール３０１は、交通情報システム、またはサーバからリアルタイムの交通情報も取得することができる。

【0037】

センサシステム１１５により提供されたセンサデータ、及び位置決めモジュール３０１により得られた位置決め情報に基づいて、感知モジュール３０２は周辺環境に対する感知（ｐｅｒｃｅｐｔｉｏｎ）を決定する。感知情報は、普通の運転者が運転している車両周辺から感知したものを示すことができる。感知情報は、例えば対象の形式で現される車線配置（例えば、直線又はカーブ）、トラフィック信号、他の車両の相対位置、歩行者、建物、横断歩道又はその他の交通関連標識（例えば、停止標識、譲歩標識）などを含んでもよい。

【0038】

感知モジュール３０２は、自律走行車の環境で対象および／または特徴を識別するように、１つ以上のカメラによってキャプチャされた画像を処理及び分析するためのコンピュータビジョンシステム、またはコンピュータビジョンシステムの機能を含んでもよい。対象は、交通信号、道路境界、他の車両、歩行者、および／または障害物などを含むことができる。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡、および他のコンピュータビジョン技術を使用することができる。一部の実施形態では、コンピュータビジョンシステムは、環境をマッピングし、対象を追跡し、対象の速度推定などを行うことができる。感知モジュール３０２は、レーダーおよび／またはＬＩＤＡＲのような他のセンサによって提供される他のセンサのデータに基づいて対象を検出することもできる。

【0039】

それぞれの対象について、予測モジュール３０３は、当該状況下で対象がどのような行動をするのかを予測する。予測は、地図及び経路情報３１１と、交通規則３１２とのセットを考慮して、その時点での走行環境を感知する感知データに基づき実行される。例えば、対象が逆方向の車両であり、現在の走行環境がクロスロードを含む場合、予測モジュール３０３は、車両が直進するか、または転回するかを予測する。感知データが、クロスロードに信号灯がないことを示す場合に、予測モジュール３０３は、車両がクロスロードに進入する前に、完全に停止すべき可能性があると予測することができる。感知データが、車両が現在左折専用車道または右折専用車道にあることを示す場合に、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性がより高いと予測することができる。

【0040】

それぞれの対象については、決定モジュール３０４は、対象をどのように処理するかを決定する。例えば、特定の対象（例えば、クロスロードにある他の車）だけでなく、対象を記述するメタデータ（例えば、速度、方向、転回角度）に対して、決定モジュール３０４は、対象をどの方式で対処するかを決定する（例えば、追い越し、譲歩、停止、通過）。決定モジュール３０４は、永続記憶装置３５２に記憶できる交通規則や走行規則３１２のような規則のセットに基づいて、これらの決定を下すことができる。

【0041】

感知された各対象に対する決定に基づいて、計画モジュール３０５は、自律走行車に対するルートまたは経路だけでなく、走行パラメータ（例えば、距離、速度、および／または転回角度）を計画する。つまり、与えられた対象について、決定モジュール３０４は、対象の処理を決定し、計画モジュール３０５は、それをどのように実行するかを決定する。例えば、与えられた対象について、決定モジュール３０４は、対象を通過することに決定し、これに対し、計画モジュール３０５は、対象の左側または右側から通過するかを決定することができる。計画及び制御データは、計画モジュール３０５によって生成され、自律走行車１０１が次の移動のサイクル（例えば、次のルート／経路セグメント）でどのように動くのかを記述する情報を含む。たとえば、計画および制御データは、自律走行車１０１が時速３０マイル（ｍｐｈ）の速度で１０ ｍ移動し、２５ ｍｐｈの速度で右側車線に変更するよう指示することができる。

【0042】

計画及び制御データに基づいて、制御モジュール３０６は、計画及び制御データによって定義された経路またはルートに沿って、車両制御システム１１１に適切なコマンドまたは信号を送信することにより、自律走行車を制御し走行させる。計画及び制御データには、ルートまたは経路上の異なる時点において、適切な車両設定または走行パラメータ（例えば、スロットル、ブレーキ、およびステアリングコマンド）を使用して、経路またはルートの第１の地点から第２の地点まで車両を走行させることができる十分な情報が含まれている。

【0043】

一実施形態では、計画段階は、複数の計画サイクルまたはコマンドサイクル（例えば、１００ミリ秒（ＭＳ）の時間間隔）ごとに実行される。計画サイクルまたはコマンドサイクルごとに、１つまたは複数の制御コマンドが計画及び制御データに基づいて発行される。つまり、各１００ＭＳ毎に、計画モジュール３０５は、次の経路セグメントまたはルートセグメントを計画し、次の経路セグメントまたはルートセグメントは、例えば目標位置とＡＤＶが目標位置に到達するのに必要な時間とを含むことができる。あるいは、計画モジュール３０５は、特定の速度、方向、および／またはステアリング角等を追加的に特定することができる。一実施形態では、計画モジュール３０５は、例えば、５秒のような所定の次の経路セグメントまたはルートセグメントを計画する。各計画サイクルについて、計画モジュール３０５は、直前のサイクルで計画された目標位置に基づき、現在のサイクル（例えば、次の５秒）の目標位置を計画する。その後、制御モジュール３０６は、現在のサイクルの計画及び制御データに基づいて、１つ以上の制御コマンド（例えば、スロットル、ブレーキ、ステアリング制御コマンド）を発生する。

【0044】

注意すべきなのは、決定モジュール３０４と計画モジュール３０５は、１つの集積モジュールとして一体化されてもよい。決定モジュール３０４／計画モジュール３０５は、自律走行車の走行経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含むことができる。例えば、ナビゲーションシステムは、一連の速度と進行方向（ｄｉｒｅｃｔｉｏｎａｌ ｈｅａｄｉｎｇ）を決定して、感知された障害物を実質的に避ける経路に沿って自律走行車の移動を行いながら、大体的に最終的な目的地に至る道によるルートに沿って、自律走行車を走行させることができる。目的地は、ユーザインターフェースシステム１１３を介するユーザ入力に応じて設定されることができる。ナビゲーションシステムは、自律走行車が動作されている間に、走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車の走行経路を決定するために、ＧＰＳシステムおよび１つまたは複数の地図からのデータを統合することができる。

【0045】

決定モジュール３０４／計画モジュール３０５は、自律走行車の環境における潜在的な障害物を識別、評価、回避したり、その他の方式で迂回するための衝突回避システムまたは衝突回避システムの機能をさらに含むことができる。例えば、衝突回避システムは、方向転換操作、転回操作、ブレーキ操作などを行うために、制御システム１１１の１つまたは複数のサブシステムを操作して、自律走行車のナビゲーションの変化を実行することができる。衝突回避システムは、周辺の交通パターン、道路状況等に基づいて、実現可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、自律走行車が方向転換して進入する隣接領域で、他のセンサシステムにより車両、建物の障害物などが検出されたときに、方向転換操作を行わないように構成することができる。衝突回避システムは、使用可能であり、自律走行車の乗員の安全を最大限にする操作を自動的に選択することができる。衝突回避システムは、自律走行車の乗客室において最低限の加速を引き起こすと予想される回避操作を選択することができる。

【0046】

一実施形態によれば、図３及び図４を参照すると、感知モジュール３０２によって感知された対象に応答して、予測モジュール３０３は、地図画像アナライザ３０７を呼び出して、現在の走行環境と関連する位置に対する所定距離をカバーする地図画像を分析する。地図画像アナライザ３０７は、地図画像に含まれる１つまたは複数の対象を認識するために地図画像の画像認識を行うものである。認識された対象は、地図の分析規則３１３を使用し、対象の形および／または色相に基づいて、１つまたは複数の道路、クロスロード、ラウンドアバウトや建物の構造（例えば、駐車場）として認識されることができる。認識された対象に基づいて、地図の特徴抽出器３０８は、地図特徴抽出規則３１４を用いて、認識された対象から１つまたは複数の特徴を抽出したり生成したりする。特徴は、対象を記述する情報を含まれることができる。特徴は、認識された対象に基づいて生成された追加の特徴をさらに含むことができる。追加的な特徴は、一般的な高解像度地図からは取得可能であるが、一般的な地図からは取得できない特徴を含み、ここで、追加的な特徴は、地図特徴抽出規則３１４を考慮し対象に基づいて示されることができる。

【0047】

高精度地図は、当該車両が走行可能な位置に関する車道レベル情報を提供する。例えば、地図上の現在位置が与えられているときは、単に直進したり右折したりする可能性がある。交通法などにより、Ｕターンしたり左折したりすることができない。一般的な地図には、このような情報がないだろう。むしろ、一般的な地図には、通常、道路の衛星画像などの画像が含まれる。しかし、地図画像には、道路、クロスロード、建物の構造、ラウンドアバウトなどの対象の画像が含まれることができる。対象の形および／または色相に基づいて、画像認識によりそのような対象を識別することができる。

【0048】

一実施形態によると、対象の標識は、地図から走行可能な道路を識別する道路の標識を含むことができる。これは、障害物が車道で移動する場合に、これを案内するのに有利である。対象の標識は、道路上の駐車場や駐車領域のような特定の建物の構造をさらに含むことができる。これは、障害物が駐車場に移動するかを予測するのに有利である。対象の標識は、交通参加者（ｔｒａｆｆｉｃ ｐａｒｔｉｃｉｐａｎｔ）がクロスロードで異なる行動パターンを持つことができるクロスロードをさらに含んでもよい。対象の標識には、ラウンドアバウトが含まれており、ここでラウンドアバウトとその出口を識別する交通参加者の軌道を計画するのに有利であることができる。

【0049】

一実施形態によると、抽出された特徴は、道路の曲率、クロスロードまたは交差点、及びラウンドアバウトを含めることができるが、これに限定されるものではない。道路の曲率の特徴は、特にクロスロードで道路がどのようにワインディング（ｗｉｎｄｉｎｇ）するかを示す情報が含まれ、交通参加者が転回するかどうかを予測するのに役立つ。クロスロードや交差点に関する特徴は、図５に示すように、クロスロードがどのほど多くの交差点（ｃｒｏｓｓ ｒｏａｄ）を有するかと、これらがどのように接続されるかを示す情報とを含む。ラウンドアバウトの特徴は、図６に示すように、ラウンドアバウトに出口がいくつかあるかと、これらがどのように分布されるかを示す情報とが含まれる。

【0050】

なお、図５を参照すると、この形態において、地図の画像は、感知データとの組み合わせによりクロスロード５００を示す。この形態において、地図画像の画像認識に基づいて、クロスロード５００が画像アナライザ３０７によって認識される。クロスロード５００の特徴は、特徴抽出器３０８によって抽出される。クロスロード５００の特徴は、各車道の各方向の車道の数、車道の曲率、横断歩道の位置などを含むことができる。また、クロスロードの特性に応じて推測したり、予測したりすることができる信号灯、停止標識、および／または譲歩標識の位置が特徴にさらに含まれることができる。抽出された特徴は、特徴を記述するメタデータに変換されることができ、これは対応する高解像度の地図によって提供されるデータと類似するものである。しかし、画像認識や特徴抽出技術を使用して、高解像度の地図を使用することなく、一般的な地図（ｒｅｇｕｌａｒ ｍａｐ）を適用することができる。

【0051】

予測モジュール３０３は、車両５０２−５０３を感知する感知データに組み合わせて、クロスロード５００の特徴に基づき、車両５０２−５０３が現在どの車道で走行しているかを含む車両５０２−５０３の現在位置を決定することができる。予測モジュール３０３は、車両５０２−５０３の次の動きや行動を予測したり、決定したりすることができる。この形態において、車両５０２は、左側車線を走行し、かつ、信号灯に従って、車両５０２は、クロスロードを渡って直進したり左折したりすることができる。この形態において、車両５０３は、右側の車線を走行し、かつ、信号灯に従って、車両５０３は、クロスロードを渡って直進したり右折したりすることができる。感知データによって推定できる車両５０２−５０３の速度に基づいて、予測モジュール３０３は、高速で車両が一般的に直線に従って移動し、それが転回することは不合理または不安全であると予測することができる。一方、車両が比較的低い速度で移動している場合には、車両が転回する可能性がある。

【0052】

あるいは、画像解析を考慮し、感知データに基づいて、クロスロード５００は、４方向停止クロスロードであると決定できる。４方向停止クロスロードとは、信号灯がないクロスロードを示す。具体的に、クロスロードへの各車道には、停止標示がある。この構成では、予測モジュール３０３は、各車両５０１−５０３がクロスロードに進入する前に、完全に停止しなければならないと予測することができる。車両５０２−５０３の行動の予測は、決定モジュール３０４によって使用されて、次の瞬間にＡＤＶ５０１がどのように動くべきかを決定することができる。

【0053】

なお、図６を参照すると、地図画像に基づいて、ラウンドアバウトが認識され、複数の出口が特徴の一部として決定される。また、交通法に従い、ラウンドアバウトの入口に停止標識があることができる。この形態において、特徴抽出器３０８は、内部車道（例えば、高速車道）と外部車道（例えば、低速車道）を含むラウンドアバウト内に２つの車道があることを決定することができる。予測モジュール３０３は、画像アナライザ３０７と特徴抽出３０８によって提供された特徴に基づいて、車両６０２が外部車道で移動し、感知モジュール３０２によって感知された速度に従って、車両６０２が次の出口またはそれ以降の出口から進出するか、または進出しないかを決定する。予測モジュール３０３は、車両６０５が内側車道で移動しているので、車両６０５が次の出口から進出する可能性は低いと決定することができる。同様に、予測モジュール３０３は、特徴抽出器３０８によって提供された出入口に停止標識のある可能性があるので、車両６０３−６０４がラウンドアバウトに進入する前に、完全に停止しなければならない可能性があると予測することができる。これらの情報は、車両６０２−６０５のそれぞれがどのように行動するかを予測するために予測モジュール３０３によって使用され、これはＡＤＶ６０１が次のコマンドサイクルでどのように動くかを決定モジュール３０４が決定する方法に影響を与える。画像アナライザ３０７および／または特徴抽出器３０８は、予測モジュール３０３の一部として一体化されることができる。

【0054】

図７は、一実施形態に係る自律走行車を動作させるプロセスを示すフローチャートである。プロセス７００は、ソフトウェア、ハードウェア、またはこれらの組み合わせを含む処理ロジックによって実行される。例えば、プロセス７００は、画像アナライザ３０７、特徴抽出器３０８および／または予測モジュール３０３によって実行される。図７を参照すると、動作７０１において、処理ロジックは、ＡＤＶを囲む走行環境を感知する感知データを受信する。動作７０２において、処理ロジックは、走行環境に関連する地図（例えば、一般的な解像度地図）の地図画像を取得する。動作７０３において、処理ロジックは、地図画像から１つまたは複数の対象（例えば、クロスロード、ラウンドアバウト、建物の構造）を識別するために、地図画像上に対して画像解析や画像認識を行う。動作７０４において、処理ロジックは、認識された対象から１つまたは複数の特徴を抽出し、特徴は、走行環境の可能な交通状態を示す。動作７０５において、処理ロジックは、抽出された特徴を考慮して感知データに基づき、１つまたは複数の交通参加者（例えば、車両、自転車に乗る人、歩行者）の行動を予測する。

【0055】

注意すべきなのは、上記図示された構成要素の一部または全部は、ソフトウェア、ハードウェア、またはこれらの組み合わせにより実現されることができる。たとえば、これらの構成要素は、本明細書全体に記載されたプロセスまたはステップを実行するために、プロセッサ（図示せず）によってメモリにロードされて実行されることができる永続記憶装置にインストールされて記憶されるソフトウェアとして実現ことができる。あるいは、これらの構成要素は、集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）のような専用のハードウェアにプログラムされたり内蔵された実行可能コードとして実現されることができ、これは、アプリケーションから対応するドライバおよび／またはオペレーティングシステムを介してアクセスすることができる。さらに、これらの構成要素は、１つ以上の特定のコマンドを使用してソフトウェアコンポーネントによってアクセス可能なコマンドセットの一部であり、プロセッサまたはプロセッサコアの特定のハードウェアロジックとして実現することができる。

【0056】

図８は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセス又は方法のいずれか（例えば、図１の感知及び計画システム１１０、及びサーバ１０３〜１０４のいずれか）を実行する上記任意のデータ処理システムを示してもよい。システム１５００は、複数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置又は回路基板（例えば、コンピュータシステムのマザーボード又はアドインカード）に適用された他のモジュール、又は他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現されることができる。

【0057】

さらに、システム１５００は、コンピュータシステムの複数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で１つ（又は複数）のコマンドセットを実行することにより本明細書に説明される任意の１種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。

【0058】

一実施形態において、システム１５００は、バス又は相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３及び装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサを示してもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つ又は複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ１５０１は、複雑コマンドセット計算（ＣＩＳＣ）マイクロプロセッサ、縮小コマンドセットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長コマンド語（ＶＬＩＷ）マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィックプロセッサ、ネットワークプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。

【0059】

プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種の構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ１５０１は、本明細書に説明される動作及びステップを実行するためのコマンドを実行するように構成される。また、システム１５００は、選択可能なグラフィックサブシステム１５０４と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム１５０４は、ディスプレイコントローラ、グラフィックプロセッサ及び／又はディスプレイデバイスをさらに備えてもよい。

【0060】

プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）又は他のタイプのメモリのような１つ又は複数の揮発性記憶装置（又はメモリ）を備えてもよい。メモリ１５０３は、プロセッサ１５０１又は任意の他の装置により実行されるコマンド列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、基本入出力システム又はＢＩＯＳ）及び／又はアプリケーションの実行可能なコード及び／又はデータは、メモリ１５０３にロードされて、プロセッサ１５０１により実行されてもよい。オペレーティングシステムは、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃＯＳ(R)／ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ（登録商標）、Ｕｎｉｘ又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。

【0061】

システム１５００は、Ｉ／Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェースデバイス１５０５、選択可能な入力装置１５０６及び他の選択可能なＩ／Ｏ装置１５０７を備えてもよい。ネットワークインターフェースデバイス１５０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブ経路ゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）又は他の無線周波数（ＲＦ）送受信機又はそれらの組合せであってもよい。ＮＩＣは、イーサネット（登録商標）カードであってもよい。

【0062】

入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それはディスプレイデバイス１５０４と集積されてもよい）、ポインタデバイス（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード、又はタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量式、抵抗式、赤外式及び表面音波の技術を含むが、それらに限定されない）のいずれか、及びタッチスクリーンの１つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いて、そのタッチ点及び移動又は断続を検出することができる。

【0063】

Ｉ／Ｏ装置１５０７は、音声装置を備えてもよい。音声装置は、スピーカ及び／又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び／又は電話機能のような音声サポートの機能を促進する。他のＩ／Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）又はそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真及びビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置又は設計により決められる。

【0064】

データ、アプリケーション、１つ又は複数のオペレーティングシステム等のような情報の永続記憶を提供するために、大容量メモリ（図示せず）が、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置（ＳＳＤ）によって実現されることができる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして、停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのＢＩＯＳ及び他のファームウェアを備える。

【0065】

記憶装置１５０８は、任意の１種又は複数種の本明細書に記載の方法又は機能を実現する１つ又は複数のコマンドセット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる）を備えてもよい。処理モジュール／ユニット／ロジック１５２８は、例えば、計画モジュール３０４及び／又は制御モジュール３０５のような上記構成要素のいずれかを示してもよい。処理モジュール／ユニット／ロジック１５２８は、さらにデータ処理システム１５００、メモリ１５０３及びプロセッサ１５０１により実行される期間に、メモリ１５０３内及び／又はプロセッサ１５０１内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ１５０３及びプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック１５２８は、さらにネットワークによってネットワークインターフェースデバイス１５０５を経由して送受信されてもよい。

【0066】

コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つ又は複数のコマンドセットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらにコマンドセットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記コマンドセットは、機器により実行されかつ前記機器に本発明の任意の１種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。

【0067】

本明細書に記載の処理モジュール／ユニット／ロジック１５２８、構成要素及び他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はハードウェア構成要素（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似装置）の機能に統合されてもよい。さらに、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されてもよい。

【0068】

なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、構成要素の相互接続のいかなる特定のアーキテクチャー又は方式を示すものではないことに注意すべきであり、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び／又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。

【0069】

上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用され、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列（ｓｅｑｕｅｎｃｅ ｏｆ ｏｐｅｒａｔｉｏｎｓ）と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。

【0070】

ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理（例えば、電子）量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報記憶装置、伝送又はディスプレイデバイス内において類似に物理量として示される他のデータに変換する。

【0071】

本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非揮発性のンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。

【0072】

上記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非揮発性のコンピュータ可読媒体に具現化される）、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。

【0073】

本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。

【0074】

以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】