特許 6894471 自動運転車（ＡＤＶ）のサブシステムによるパトロールカーのパトロール

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6894471

(24)【登録日】2021年6月7日

(45)【発行日】2021年6月30日

(54)【発明の名称】自動運転車（ＡＤＶ）のサブシステムによるパトロールカーのパトロール

(51)【国際特許分類】

   G08G 1/017 20060101AFI20210621BHJP

   G08G 1/00 20060101ALI20210621BHJP

   G08G 1/04 20060101ALI20210621BHJP

   G08G 1/09 20060101ALI20210621BHJP

   G01C 21/26 20060101ALN20210621BHJP

【ＦＩ】

   G08G1/017

   G08G1/00 X

   G08G1/04 C

   G08G1/09 F

   !G01C21/26 A

【請求項の数】22

【外国語出願】

【全頁数】20

(21)【出願番号】特願2019-123684(P2019-123684)

(22)【出願日】2019年7月2日

(65)【公開番号】特開2020-21471(P2020-21471A)

(43)【公開日】2020年2月6日

【審査請求日】2019年9月9日

(31)【優先権主張番号】16/051,031

(32)【優先日】2018年7月31日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516357421

【氏名又は名称】バイドゥ ユーエスエイ エルエルシー

【氏名又は名称原語表記】Ｂａｉｄｕ ＵＳＡ ＬＬＣ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100163511

【弁理士】

【氏名又は名称】辻 啓太

(72)【発明者】

【氏名】ジャミン タオ

(72)【発明者】

【氏名】リャンリャン ジャン

(72)【発明者】

【氏名】イーフェイ ジャン

(72)【発明者】

【氏名】ドン リ

(72)【発明者】

【氏名】ファン チュー

(72)【発明者】

【氏名】ジャンタオ フ

【審査官】 楠永 吉孝

(56)【参考文献】

【文献】 特開２０１６−１７７７２２（ＪＰ，Ａ）

【文献】 特開昭６４−０６８９００（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０８２０７５（ＷＯ，Ａ１）

【文献】 特開２０００−２３１６９２（ＪＰ，Ａ）

【文献】 特開２００６−１９０１９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／００１８８６９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００〜 １／１６

(57)【特許請求の範囲】

【請求項1】

コンピュータ実施方法であって、
自動運転車（ＡＤＶ）の複数のセンサーから取得されたセンサーデータに基づいて、前記ＡＤＶの周辺の道路交通情報を取得するステップと、
前記ＡＤＶにおいて、前記周辺の道路交通情報と前記ＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、前記ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出するステップであって、前記予め設定された交通ルールに従って前記周辺の道路交通情報を分析することを含む、ステップと、
検出された交通ルール違反に応答して、警報を生成するステップと、
前記ＡＤＶに取り付けられたカメラを使用して前記第１の車両の画像を取得して、前記第１の車両が交通ルールを違反していることを示すように、前記警報と、前記第１の車両を表す画像とを前記ＡＤＶの表示装置に表示するステップとを含み、
前記第１の車両を表す画像は、前記ＡＤＶの位置に対する相対地点又は位置に対応するように表示される、方法。

【請求項2】

前記周辺の道路交通情報は、車線構成、道路標示、信号機信号、速度、軌跡、他の車両の相対位置、他の車両の車外灯の状態、歩行者、建物、障害物、横断歩道、及び停車標識又は譲れ標識のうちの１つ又は複数を含む、請求項１に記載の方法。

【請求項3】

前記方法は、
前記ＡＤＶに取り付けられたカメラを使用して前記第１の車両の画像を取得するステップは、前記第１の車両のナンバープレートを取得することを含む、請求項１に記載の方法。

【請求項4】

前記方法は、
前記警報及び前記第１の車両の画像をネットワークによって所定のリモートサーバーに送信するステップをさらに含む、請求項３に記載の方法。

【請求項5】

前記周辺の道路交通情報の少なくとも一部を前記ネットワークによって前記所定のサーバーに送信するステップをさらに含む、請求項４に記載の方法。

【請求項6】

前記第１の車両は、前記ＡＤＶの後端部に対して所定の近接度内に位置し、前記カメラは、前記ＡＤＶの後端部の付近に取り付けられている、請求項３に記載の方法。

【請求項7】

前記方法は、
前記警報のタイムスタンプを含む前記警報、前記第１の車両の画像、及び前記周辺の道路交通情報を、前記ＡＤＶによって保持されている永続的記憶装置に記憶するステップをさらに含む、請求項３に記載の方法。

【請求項8】

指令が記憶されている非一時的機械可読媒体であって、
前記指令がプロセッサーにより実行されると、
自動運転車（ＡＤＶ）の複数のセンサーから取得されたセンサーデータに基づいて、前記ＡＤＶの周辺の道路交通情報を取得するステップと、
前記ＡＤＶにおいて、前記周辺の道路交通情報と前記ＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、前記ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出するステップであって、前記予め設定された交通ルールに従って前記周辺の道路交通情報を分析することを含む、ステップと、
検出された交通ルール違反に応答して、警報を生成するステップと、
前記ＡＤＶに取り付けられたカメラを使用して前記第１の車両の画像を取得して、前記第１の車両が交通ルールを違反していることを示すように、前記警報と、前記第１の車両を表す画像とを前記ＡＤＶの表示装置に表示するステップと、を含む処理を前記プロセッサーに実行させ、
前記第１の車両を表す画像は、前記ＡＤＶの位置に対する相対地点又は位置に対応するように表示される非一時的機械可読媒体。

【請求項9】

前記周辺の道路交通情報は、車線構成、道路標示、信号機信号、速度、軌跡、他の車両の相対位置、他の車両の車外灯の状態、歩行者、建物、障害物、横断歩道、及び停車標識又は譲れ標識のうちの１つ又は複数を含む、請求項８に記載の非一時的機械可読媒体。

【請求項10】

前記処理は、
前記ＡＤＶに取り付けられたカメラを使用して前記第１の車両の画像を取得するステップは、前記第１の車両のナンバープレートを取得することを含む、請求項８に記載の非一時的機械可読媒体。

【請求項11】

前記処理は、
前記警報及び前記第１の車両の画像をネットワークによって所定のリモートサーバーに送信するステップをさらに含む、請求項１０に記載の非一時的機械可読媒体。

【請求項12】

前記周辺の道路交通情報の少なくとも一部を前記ネットワークによって前記所定のサーバーに送信するステップをさらに含む、請求項１１に記載の非一時的機械可読媒体。

【請求項13】

前記第１の車両は、前記ＡＤＶの後端部に対して所定の近接度内に位置し、前記カメラは、前記ＡＤＶの後端部の付近に取り付けられている、請求項１０に記載の非一時的機械可読媒体。

【請求項14】

前記処理は、
前記警報のタイムスタンプを含む前記警報、前記第１の車両の画像、及び前記周辺の道路交通情報を、前記ＡＤＶによって保持されている永続的記憶装置に格納するステップをさらに含む、請求項１０に記載の非一時的機械可読媒体。

【請求項15】

データ処理システムであって、
プロセッサーと、
前記プロセッサーに接続されて指令を記憶するメモリとを備え、
前記指令が前記プロセッサーにより実行されると、
自動運転車（ＡＤＶ）の複数のセンサーから取得されたセンサーデータに基づいて、前記ＡＤＶの周辺の道路交通情報を取得するステップと、
前記ＡＤＶにおいて、前記周辺の道路交通情報と前記ＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、前記ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出するステップであって、前記予め設定された交通ルールに従って前記周辺の道路交通情報を分析することを含む、ステップと、
検出された交通ルール違反に応答して、警報を生成するステップと、
前記ＡＤＶに取り付けられたカメラを使用して前記第１の車両の画像を取得して、前記第１の車両が交通ルールを違反していることを示すように、前記警報と、前記第１の車両を表す画像とを前記ＡＤＶの表示装置に表示するステップと、を含む処理を前記プロセッサーに実行させ、
前記第１の車両を表す画像は、前記ＡＤＶの位置に対する相対地点又は位置に対応するように表示されるデータ処理システム。

【請求項16】

前記周辺の道路交通情報は、車線構成、道路標示、信号機信号、速度、軌跡、他の車両の相対位置、他の車両の車外灯の状態、歩行者、建物、障害物、横断歩道、及び停車標識又は譲れ標識のうちの１つ又は複数を含む、請求項１５に記載のデータ処理システム。

【請求項17】

前記処理は、
前記ＡＤＶに取り付けられたカメラを使用して前記第１の車両の画像を取得するステップは、前記第１の車両のナンバープレートを取得することを含む、請求項１５に記載のデータ処理システム。

【請求項18】

前記処理は、
前記警報及び前記第１の車両の画像をネットワークによって所定のリモートサーバーに送信するステップをさらに含む、請求項１７に記載のデータ処理システム。

【請求項19】

前記周辺の道路交通情報の少なくとも一部を前記ネットワークによって前記所定のサーバーに送信するステップをさらに含む、請求項１８に記載のデータ処理システム。

【請求項20】

前記第１の車両は、前記ＡＤＶの後端部に対して所定の近接度内に位置し、前記カメラは、前記ＡＤＶの後端部の付近に取り付けられている、請求項１７に記載のデータ処理システム。

【請求項21】

前記処理は、
前記警報のタイムスタンプを含む前記警報、前記第１の車両の画像、及び前記周辺の道路交通情報を、前記ＡＤＶによって保持されている永続的記憶装置に格納するステップをさらに含む、請求項１７に記載のデータ処理システム。

【請求項22】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜７のいずれか一項に記載の方法を実現させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、総体的に自動運転車を操作することに関する。より具体的に、本発明の実施形態は、センサーシステム及び感知モジュールから取得される情報を使用して、自動運転車の感知範囲内の交通ルール違反を自動的に検出することに関する。

【背景技術】

【0002】

自動運転モード（例えば、無人運転）で運転する車両は、乗員、特に運転者を運転に関わる役割の一部から解放することが可能である。自動運転モードで運転する場合に、車両は車載センサーを使用して、各位置へ案内されることにより、最少のヒューマンマシンインタラクションや乗員なし等の状況で走行することができる。

【0003】

現在、道路交通シナリオにおける交通ルール違反を検出するために、パトロールカーに乗っている警察官は、周辺の環境を観察し、自分の判断に基づいて違反を見つける必要がある。このプロセスにおいて、警察官は、絶えずに注意力を維持しなければならなく、人間にストレスを感じさせる可能性がある。また、警察官は、焦点が限られ、同時に全方向から観察することはできない。

【0004】

本発明の一態様によれば、コンピュータ実施方法であって、自動運転車（ＡＤＶ）の複数のセンサーから取得されたセンサーデータに基づいて、前記ＡＤＶの周辺の道路交通情報を取得するステップと、前記ＡＤＶにおいて、前記周辺の道路交通情報と前記ＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、前記ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出するステップであって、前記予め設定された交通ルールに従って前記周辺の道路交通情報を分析することを含む、ステップと、
検出された交通ルール違反に応答して、警報を生成するステップと、を含む方法を提供する。

【0005】

本発明の他の態様によれば、指令が記憶されている非一時的機械可読媒体であって、前記指令がプロセッサーにより実行されると、自動運転車（ＡＤＶ）の複数のセンサーから取得されたセンサーデータに基づいて、前記ＡＤＶの周辺の道路交通情報を取得するステップと、前記ＡＤＶにおいて、前記周辺の道路交通情報と前記ＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、前記ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出するステップであって、前記予め設定された交通ルールに従って前記周辺の道路交通情報を分析することを含む、ステップと、検出された交通ルール違反に応答して、警報を生成するステップと、を含む処理を前記プロセッサーに実行させる非一時的機械可読媒体を提供する。

【0006】

本発明の更なる他の態様によれば、データ処理システムであって、プロセッサーと、前記プロセッサーに接続されて指令を記憶するメモリとを備え、前記指令が前記プロセッサーにより実行されると、自動運転車（ＡＤＶ）の複数のセンサーから取得されたセンサーデータに基づいて、前記ＡＤＶの周辺の道路交通情報を取得するステップと、前記ＡＤＶにおいて、前記周辺の道路交通情報と前記ＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、前記ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出するステップであって、前記予め設定された交通ルールに従って前記周辺の道路交通情報を分析することを含む、ステップと、検出された交通ルール違反に応答して、警報を生成するステップと、を含む処理を前記プロセッサーに実行させるデータ処理システムを提供する。

【図面の簡単な説明】

【0007】

本発明の実施形態は、図面の各図において限定的ではなく例示的に示されて、図面において同一の参照符号は、同様な素子を示す。

【図1】一実施形態に係るネットワーク化システムを示すブロック図である。

【図2】一実施形態に係る自動運転車の例を示すブロック図である。

【図3A】一実施形態に係る自動運転車と共に使用される感知・計画システムの例を示すブロック図である。

【図3B】一実施形態に係る自動運転車と共に使用される感知・計画システムの例を示すブロック図である。

【図4】一実施形態に係る自動運転車と共に使用される各モジュール示すブロック図である。

【図5】一実施形態に係る自動運転車のセンサー及び感知モジュールを使用して交通ルール違反を自動的に検出しユーザへ通知するための例示的な方法のフローチャートである。

【図6】一実施形態に係るデータ処理システムを示すブロック図である。

【発明を実施するための形態】

【0008】

以下、検討する詳細を参照して、本発明の各実施形態及び態様を記載し、図面においては前記の各実施形態を示す。下記記載及び図面は、本発明を説明するためのものであり、本発明を限定するものとして解釈されるべきではない。特定の詳細を多く記載することは、本発明の各実施形態を全面的に理解するためである。但し、本発明の実施形態を簡潔的に検討するために、周知又は通常の詳細を記載しない場合がある。

【0009】

本明細書において、「一実施形態」又は「実施形態」を言及することは、当該実施形態による記載する特定の特徴、構成又は特性が本発明の少なくとも一つの実施形態に含まれることを意味する。「一実施形態において」という語句について、本明細書における各箇所での記載のすべては、必ずしも同一の実施形態を指すことに限定されない。

【0010】

幾つかの実施形態によれば、自動運転車のセンサー及び感知モジュールを使用して交通ルール違反を自動的に検出しユーザへ通知するための方法、装置、及びシステムを開示する。実行される処理は、ＡＤＶの複数のセンサーから取得されたセンサーデータに基づいて、自動運転車（ＡＤＶ）の周辺の道路交通情報を取得するステップと、ＡＤＶにおいて、周辺の道路交通情報とＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出するステップであって、予め設定された交通ルールに従って周辺の道路交通情報を分析することを含む、ステップと、検出された交通ルール違反に応答して、警報を生成するステップを、を含む。

【0011】

一実施形態によれば、ＡＤＶに取り付けられた様々なセンサーから取得されたセンサーデータに応答して、予め設定された１セットの交通ルールに従ってセンサーデータを分析して、ＡＤＶ周辺の１つ又は複数の車両のうちの第１の車両及び第１の車両の動作を検出することで、第１の車両が交通ルールを違反しているか否かを判断することができる。また、ＡＤＶに取り付けられたカメラを使用して、第１の車両の１つ又は複数の画像を取得することができ、当該１つ又は複数の画像は、センサーデータの一部であってもよい。第１の車両が交通ルールを違反していると判断された場合、警報を生成する。警報及び第１の車両の画像は、ＡＤＶ内の表示装置に表示することができる。

【0012】

警告、第１の車両の画像、及びＡＤＶ周辺の運転環境を表す感知データは、ＡＤＶによって保持されている永続的記憶装置に記憶されてもよい。上記情報は、交通ルール違反の証拠として使用することができる。付加的又は代替的に、警告、第１の車両の画像、及びＡＤＶ周辺の運転環境を表す感知データは、ネットワークによってセンターサーバーに送信され記憶されてもよい。収集されたデータは、センターサーバーにおいてオフラインで後続的分析が実行されてもよい。

【0013】

第１の車両は、ＡＤＶの所定の近接度内に位置する車両のうちの１つ車両であってもよい。例えば、第１の車両は、ＡＤＶの後端部の後ろに位置し、ＡＤＶにおける、運転者が通常に十分な注意を払わないＡＤＶの後端部の近くに設置されたセンサーによって、交通違反が捕捉され検出されてもよい。ＡＤＶに取り付けられたセンサーを利用することによって、ＡＤＶに乗っている人間の介入なしに、通常に検出されない幾つかの交通違反を捕捉することができる。また、交通情報がセンターサーバーに送信されるので、交通違反の検出をオフラインで行うことができ、特に警察官がより重要なタスクを実行する場合、ＡＤＶの乗員（例えば、法執行官）は、違反車両を駐車させることを試みる必要がない。

【0014】

図１は、本発明の一実施形態に係る自動運転車のネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して一つ又は複数のサーバー１０３〜１０４に対して通信可能に接続する自動運転車１０１を備える。一つの自動運転車のみを示すが、複数の自動運転車は、ネットワーク１０２を介して相互に接続し、及び／又はサーバー１０３〜１０４に接続可能である。ネットワーク１０２は、いずれのタイプのネットワークであってもよく、例えば、有線又は無線のローカルエリアネットワーク（ＬＡＮ）、インターネットのような広域ネットワーク（ＷＡＮ）、セルラ網、衛星ネットワーク又はそれらの組み合せである。サーバー１０３〜１０４は、いずれの形式のサーバー又はサーバークラスタであってもよく、例えば、ネットワークサーバーやクラウドサーバー、アプリケーションサーバー、バックエンドサーバー又はそれらの組み合せである。サーバー１０３〜１０４は、データ解析サーバーやコンテンツサーバー、交通情報サーバー、地図と関心点（ＭＰＯＩ）サーバー又は位置サーバーなどであってもよい。

【0015】

自動運転車とは、自動運転モードに配置可能な車両を指し、前記自動運転モードで、車両は、運転者からの入力が非常に少なく又は完全にない状況で、ナビゲートにより環境を通過する。そのような自動運転車は、センサーシステムを備えることができ、前記センサーシステムは、車両運転環境に関する情報を検出可能に一つ又は複数のセンサーを有するように配置される。前記車両及び関連するコントローラは、検出された情報を使用して、ナビゲートにより前記環境を通過する。自動運転車１０１は、手動モード、全自動運転モード又は部分自動運転モードで運転することが可能である。

【0016】

一実施形態において、自動運転車１０１は、感知・計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインタフェースシステム１１３と、インフォテインメントシステム１１４と、センサーシステム１１５とを備えるが、これに限定されない。自動運転車１０１は、通常の車両に含まれる一部の汎用的な要素、例えば、エンジン、車輪、ステアリングホイール、変速機などを備えることが可能であり、前記要素は、車両制御システム１１１及び／又は感知・計画システム１１０により多種の通信信号及び／又は指令で制御され、当該多種の通信信号及び／又は指令は、例えば、加速信号又は指令、減速信号又は指令、方向転換信号又は指令、ブレーキ信号又は指令などである。

【0017】

要素１１０〜１１５は、インターコネクト、バス、ネットワーク又はそれらの組合せを介して相互に通信可能に接続されることが可能である。例えば、要素１１０〜１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して相互に通信可能に接続されることが可能である。ＣＡＮバスは、マイクロコントローラと装置がホストなしの応用において相互に通信することを許容するように設計された車両バス規格である。それは、最初は自動車内部の多重化電気配線のために設計されたメッセージに基づくプロトコルであるが、様々な他の環境にも使用される。

【0018】

図２を参照すると、一実施形態において、センサーシステム１１５は、一つ又は複数のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダユニット２１４と、光検出と測距（ＬＩＤＡＲ）ユニット２１５とを備えるが、これに限定されない。ＧＰＳユニット２１２は、自動運転車の位置に関する情報を提供するように操作可能な送受信器を備えることが可能である。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車の位置及び配方の変化を検知可能である。レーダユニット２１４は、無線信号により自動運転車のローカル環境における対象を検知するシステムを表すことが可能である。一部の実施形態では、検知対象に加え、レーダユニット２１４は、更に対象の速度及び／又は前進方向を検知可能である。ＬＩＤＡＲユニット２１５は、レーザーにより自動運転車が所在する環境における対象を検知することが可能である。ＬＩＤＡＲユニット２１５は、他のシステム要素に加え、一つ又は複数のレーザー光源、レーザースキャナ及び一つ又は複数の検出器を備えることが可能である。カメラ２１１は、自動運転車の周囲環境の画像を撮像するための一つ又は複数の装置を備えることが可能である。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、機械的に移動可能なものであってもよく、例えば、カメラが回転及び／又は傾斜するステージに取り付けてもよい。

【0019】

センサーシステム１１５は、例えば、ソナーセンサーや赤外線センサー、ステアリングセンサー、スロットルセンサー、ブレーキセンサー及びオーディオセンサー（例えば、マイクロホン）などの他のセンサーを備えることが可能である。オーディオセンサーは、自動運転車の周囲環境から音声を収音するように配置可能である。ステアリングセンサーは、ステアリングホイール、車両の車輪又はそれらの組み合せのステアリング角度を検知するように配置可能である。スロットルセンサー及びブレーキセンサーは、それぞれ車両のスロットル位置及びブレーキ位置を検知する。スロットルセンサー及びブレーキセンサーは、集積式スロットル／ブレーキセンサーに集積される場合もある。

【0020】

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットともいう）と、ブレーキユニット２０３とを備えるが、これに限定されない。ステアリングユニット２０１は、車両の方向又は前進方向を調整するためのものである。スロットルユニット２０２は、モータ又はエンジンの速度を制御することにより、車両の速度及び加速度を制御することに使用される。ブレーキユニット２０３は、摩擦を与えることにより、車両の車輪又はタイヤを減速させて車両を減速させる。なお、図２に示す要素は、ハードウェア、ソフトウェア又はそれらの組み合せで実現されることが可能である。

【0021】

図１に戻って、無線通信システム１１２は、自動運転車１０１と、例えば装置やセンサー、他の車両などの外部システムとの通信を許容する。例えば、無線通信システム１１２は、一つ又は複数の装置と直接に無線通信を行い、又は通信ネットワークを介して無線通信を行うことが可能であり、例えば、ネットワーク１０２を介してサーバー１０３〜１０４と通信する。無線通信システム１１２は、いずれのセルラ通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）を使用可能であり、例えば、ＷｉＦｉを利用して他の要素やシステムと通信可能である。無線通信システム１１２は、例えば赤外線リンクやブルートゥースなどを利用して装置（例えば、乗員のモバイル装置、表示装置、車両１０１内のスピーカ）と直接に通信可能である。ユーザインタフェースシステム１１３は、車両１０１内で実現された周辺装置の部分であることが可能であり、例えばキーボード、タッチパネル表示装置、マイクロホン及びスピーカなどを含む。

【0022】

特に自動運転モードで操作される際に、自動運転車１０１の機能の一部又は全部は、感知・計画システム１１０により制御又は管理されることが可能である。感知・計画システム１１０は、必要なハードウェア（例えば、プロセッサー、メモリ、記憶装置）及びソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含み、センサーシステム１１５、制御システム１１１、無線通信システム１１２及び／又はユーザインタフェースシステム１１３から情報を受信して、受信した情報を処理し、起点から目的地点までのルート又は経路を計画した後、計画と制御情報に基づいて車両１０１を運転する。或いは、感知・計画システム１１０は、車両制御システム１１１と集積されてもよい。

【0023】

例えば、乗員であるユーザは、例えばユーザインタフェースを介して行程の出発地位置及び目的地を指定することが可能である。感知・計画システム１１０は、行程に関するデータを取得する。例えば、感知・計画システム１１０は、ＭＰＯＩサーバーから位置とルート情報を取得することが可能であり、前記ＭＰＯＩサーバーは、サーバー１０３〜１０４の一部であってもよい。位置サーバーは位置サービスを提供するとともに、ＭＰＯＩサーバーは地図サービス及び一部の位置のＰＯＩを提供する。その代わりに、そのような位置及びＭＰＯＩ情報は、感知・計画システム１１０の不揮発性記憶装置にローカルキャッシュされてもよい。

【0024】

自動運転車１０１がルートに沿って移動する際に、感知・計画システム１１０は、交通情報システム又はサーバー（ＴＩＳ）からリアタイム交通情報を取得してもよい。なお、サーバー１０３〜１０４は、第三者エンティティにより操作されることが可能である。その代わりに、サーバー１０３〜１０４の機能は、感知・計画システム１１０に集積されてもよい。感知・計画システム１１０は、リアタイム交通情報、ＭＰＯＩ情報及び位置情報、並びサセンサーシステム１１５により検出又は検知されたリアタイムローカル環境データ（例えば、障害物、対象、周辺車両）に基づいて、最適ルートを計画して、計画したルートに基づいて、例えば制御システム１１１を介して車両１０１を運転すること可能であり、これにより、安全で且つ効率よく指定の目的地に到達することができる。

【0025】

サーバー１０３は、データ解析システムであってもよく、各種のクライアントに対してデータ分析サービスを提供する。一実施形態では、データ分析システム１０３は、データ収集器１２１及び機械学習エンジン１２２を備える。データ収集器１２１は、各種の車両（自動運転車又は人間の運転者が運転する通常の車両）から運転統計データ１２３を収集する。運転統計データ１２３は、発行する運転指令（例えば、スロットル、ブレーキ、ステアリング指令）及び車両のセンサーにより異なる時点で捕捉された車両の応答（例えば、速度、加速、減速、方向）を示す情報を含む。運転統計データ１２３は、異なる時点での運転環境を記述する情報、例えば、ルート（出発地位置及び目的地位置を備える）、ＭＰＯＩ、道路状況、气候状況などを更に含むことが可能である。

【0026】

機械学習エンジン１２２は、運転統計データ１２３に基づいて、各種の目的で、１セットの規則、アルゴリズム及び／又は予測モデル１２４を生成又は学習する。一実施形態において、アルゴリズム１２４は、対象（例えば、車両、サイクリスト、歩行者）の挙動に基づいて、当該対象が１セットの交通ルールを違反しているか否かを検出するためのアルゴリズムを含んでもよい。また、サーバ１０３は、複数のＡＤＶによって取得され複数のＡＤＶから収集された交通情報を分析して交通ルール違反の何らかの対象があるか否かを判定するための分析モジュールをさらに含んでもよい。そして、自動運転中にリアルタイムで使用するように、アルゴリズム１２４をＡＤＶにアップロードすることができる。なお、サーバ１０３は、交通違反情報を法執行サーバに送信して、その中で次の処理（例えば、交通違反切符の発行）を行うことができる。代替的に、サーバ１０３は、法執行サーバの一部として実行されてもよい。

【0027】

図３Ａ及び図３Ｂは一実施形態に係る自動運転車とともに使用される感知・計画システムの例を示すブロック図である。システム３００は、図１の自動運転車１０１の一部として実現されることが可能であり、感知・計画システム１１０と、制御システム１１１と、センサーシステム１１５とを備えるが、これに限定されない。図３Ａ〜図３Ｂを参照すると、感知・計画システム１１０は、位置計測モジュール３０１と、感知モジュール３０２と、予測モジュール３０３と、決定モジュール３０４と、計画モジュール３０５と、制御モジュール３０６と、ルーティングモジュール３０７と、交通ルールチェックモジュール３０８とを備えるが、これに限定されない。

【0028】

モジュール３０１〜３０７と関連するサブ要素の一部又は全部は、ソフトウェア、ハードウェア又はそれらの組み合せにより実現されることが可能である。例えば、それらのモジュールは、永続的記憶装置３５２にインストールされて、メモリ３５１にローディングされ、且つ一つ又は複数のプロセッサー（図示せず）により実行されることが可能である。なお、それらのモジュールの一部又は全部は、図２の車両制御システム１１１のモジュールの一部又は全部に対して通信可能に接続され、又は集積される。モジュール３０１〜３０７の一部は、集積モジュールに集積されてもよい。

【0029】

位置計測モジュール３０１は、自動運転車３００の現在位置（例えば、ＧＰＳユニット２１２による）を特定するとともに、ユーザの行程やルートに関するデータ全体を管理する。位置計測モジュール３０１（地図及びルートモジュールともいう）は、ユーザの行程やルートに関するデータ全体を管理する。ユーザは、例えばユーザインタフェースを介してログインして、行程の出発地位置及び目的地を指定することができる。位置計測モジュール３０１は、自動運転車３００の地図とルート情報３１１のような他の要素と通信して、行程に関するデータを取得する。例えば、位置計測モジュール３０１は、位置サーバーと地図及びＰＯＩ（ＭＰＯＩ）サーバーから位置とルート情報を取得することが可能である。位置サーバーは位置サービスを提供するとともに、ＭＰＯＩサーバーは地図サービス及び一部の位置のＰＯＩを提供することにより、それらを地図とルート情報３１１の一部としてキャッシュすることが可能である。自動運転車３００がルートに沿って移動する際に、位置計測モジュール３０１は、交通情報システム又はサーバーからリアタイム交通情報を取得することができる。

【0030】

感知モジュール３０２は、センサーシステム１１５により提供されるセンサーデータ及び位置計測モジュール３０１により取得される位置計測情報に基づいて、周囲環境への感知を特定する。感知情報は、通常の運転者がその運転している車両の周囲から感知したものを示す。感知は、例えば対象式による車線配置（例えば、直線車線又は湾曲車線）、信号機信号、他の車両の相対位置、歩行者、建物、横断歩道や他の交通に関する標識（例えば、止まれ標識、道譲れ標識）などを備えることが可能である。

【0031】

感知モジュール３０２は、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含むことが可能であり、一つ又は複数カメラにより撮像された画像を処理且つ解析することにより、自動運転車環境における対象及び／又は特徴を認識する。前記対象は、交通信号、道路境界、他の車両、歩行者及び／又は障害物などを含むことが可能である。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオトラッキング及び他のコンピュータビジョン技術を使用することが可能である。一部の実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象の追跡、及び対象の速度の推定などを行うことが可能である。感知モジュール３０２は、レーダ及び／又はＬＩＤＡＲのような他のセンサーにより提供される他のセンサーデータに基づいて、対象を検出してもよい。

【0032】

予測モジュール３０３は、各対象に対して、対象が現在の状況においてどのように動作するかを予測する。予測は、感知データに基づいて行われるものであり、当該感知データは、１セットの地図／ルート情報３１１及び交通ルール３１２の時点を考慮して、運転環境を感知したものである。例えば、対象が反対方向の車両であり且つ現在運転環境が交差点を含むと、予測モジュール３０３は、車両が直進するか又は旋回を行うかを予測する。感知データは、交差点に信号機がないことを示すと、予測モジュール３０３は、車両が交差点に進入する前に完全に停止する必要があると予測することがある。感知データは、車両が現在で左折専用車線又は右折専用車線にあることを示すと、予測モジュール３０３は、車両がそれぞれ左折又は右折を行う可能性が高いと予測することがある。

【0033】

決定モジュール３０４は、各対象に対して、どのように対象を対処するかを决定する。例えば、特定の対象（例えば、交差ルートにある他の車両）及び対象を記述するメタデータ（例えば、速度、方向、旋回角度）に対して、決定モジュール３０４は、前記対象に行き合う時にどうのように動作するか（例えば、追い越し、一時停止、停止、越え）を決定する。決定モジュール３０４は、例えば交通ルールや運転規則３１２の規則集合に基づいて、そのような决定を行うことが可能であり、前記規則集合が不揮発性記憶装置３５２に記憶されることが可能である。

【0034】

ルーティングモジュール３０７は、起点から目的地点までの一つ又は複数のルートや経路を提供するように配置される。出発地位置から目的地位置までの所定の行程について、例えばユーザから所定の行程を受信して、ルーティングモジュール３０７は、地図とルート情報３１１を取得して、出発地位置から目的地位置までのすべてのルート又は経路を特定する。ルーティングモジュール３０７は、出発地位置から目的地位置までの各経路を確定した地形図式の基準線を生成することが可能である。基準線とは、例えば、他の車両、障害物や交通状況などの影響を全く受けない、理想的なルート又は経路である。即ち、道路には他の車両、歩行者や障害物がないと、ＡＤＶは、正確又は厳密に基準線に追従すべきである。そして、地形図を決定モジュール３０４及び／又は計画モジュール３０５に提供する。決定モジュール３０４及び／又は計画モジュール３０５は、すべてのルートをチェックして、他のモジュールにより提供される他のデータに基づいて、最適ルートの一つを選択して補正し、前記他のデータは、例えば、位置計測モジュール３０１からの交通状況、感知モジュール３０２により感知された運転環境、及び予測モジュール３０３により予測された交通状況である。その時点における特定の運転環境により、ＡＤＶを制御するための実際ルート又は経路は、ルーティングモジュール３０７により提供される基準線に対して近接し、又は相違する可能性がある。

【0035】

感知された各対象に対する决定に基づいて、計画モジュール３０５は、ルーティングモジュール３０７により提供された基準線を基にして使用して、自動運転車に対してルート又は経路、及び運転パラメータ（例えば、距離、速度及び／又は旋回角度）を計画する。言い換えれば、所定の対象に対して、決定モジュール３０４は、当該対象が何をすべきかを決定する一方、計画モジュール３０５は、どのようにするかを決定する。例えば、所定の対象に対して、決定モジュール３０４は、前記対象を越えることを決定することが可能である一方、計画モジュール３０５は、前記対象の左側か右側かで越えることを決定することが可能である。計画と制御データは、計画モジュール３０５により生成されて、車両３００が次の移動サイクル（例えば、次のルート／経路セグメント）でどのように移動するかを記述する情報を含む。例えば、計画と制御データは、車両３００が３０ｍｐｈの速度で１０メートル移動した後、２５ｍｐｈの速度で右側の車線に変更することを指示可能である。

【0036】

計画と制御データに基づいて、制御モジュール３０６は、計画と制御データにより限定されるルート又は経路に応じて、適当な指令又は信号を車両制御システム１１１に発信することにより、自動運転車を制御し運転する。前記計画と制御データは、ルート又は経路に沿って、異なる時点で適当な車両配置又は運転パラメータ（例えば、スロットル、ブレーキ及び旋回指令）を使用して車両をルート又は経路の第一点から第二点に運転させるための十分な情報を含む。

【0037】

一実施形態では、計画段階が複数の計画周期（指令周期ともいう）で実行され、例えば、各時間間隔が１００ミリ秒（ｍｓ）である周期で実行される。

【0038】

計画周期又は指令周期の各々に対して、計画と制御データに基づいて一つ又は複数の制御指令を発行する。即ち、各々の１００ｍｓに対して、計画モジュール３０５は、次のルートセグメント又は経路セグメントを計画し、例えば、目標位置、及びＡＤＶが目標位置に到達するのに必要な時間を含む。その代わりに、計画モジュール３０５は、具体的な速度、方向及び／又はステアリング角などを規定してもよい。一実施形態では、計画モジュール３０５は、次の所定の期間（例えば、５秒）に対してルートセグメント又は経路セグメントを計画する。各計画周期に対して、計画モジュール３０５は、前の周期で計画した目標位置に基づいて現在周期（例えば、次の５秒）のための目標位置を計画する。そして、制御モジュール３０６は、現在周期の計画と制御データに基づいて一つ又は複数の制御指令（例えば、スロットル、ブレーキ、ステアリング制御指令）を生成する。

【0039】

なお、決定モジュール３０４と計画モジュール３０５は、集積モジュールとして集積されることが可能である。決定モジュール３０４／計画モジュール３０５は、自動運転車の運転経路を決定するために、ナビゲーションシステム又はナビゲーションシステムの機能を含むことが可能である。例えば、ナビゲーションシステムは、自動運転車が最終目的地への車線に基づく経路に沿って前進すると同時に、感知した障害物を実質的に回避するような経路に沿って、自動運転車が移動することを達成するための一連の速度及び前進方向を決定すること可能である。目的地は、ユーザインタフェースシステム１１３を介して行われるユーザの入力に基づいて設定可能である。ナビゲーションシステムは、自動運転車が運転していると同時に、動的に運転経路を更新することが可能である。ナビゲーションシステムは、自動運転車用の運転経路を決定するために、ＧＰＳシステム及び一つ又は複数の地図からのデータを合併する。

【0040】

交通ルールチェックモジュール３０８は、運転／交通ルール３１２に従って、感知モジュール３０２により得られた感知情報（例えば、周辺の道路交通情報）をチェックし、それらが自動運転車の感知範囲内で発生された時に、１つ又は複数の他の車両の交通ルール違反を自動的に検出する。交通ルールチェックモジュールによって検出され得る交通ルール違反は、速度違反、交通信号違反、駐車標識違反、（歩行又は他の車両に対する）譲れ違反、外部照明障害、又はそれらの任意の組み合わせを含んでもよいが、これらに限定されない。上記非網羅的リストは、例示の目的にすぎない。交通ルールチェックモジュール３０８は、他の交通ルール違反を検出することもできる。

【0041】

図４は、一実施形態に係る自動運転車と共に使用される各モジュールを示すブロック図４００である。交通ルール違反を自動的に検出しユーザへ通知するための方法は、図４のモジュールにより実施されることが可能である。図４に示すモジュール又はサブモジュールのうちの一部又は全部は、ハードウェア、ソフトウェア、又はそれらの組み合わせにより実現されることが可能である。ＡＤＶは、警察のパトロール車であってもよい。感知モジュール３０２は、ＡＤＶのセンサーを使用してＡＤＶ周辺の道路交通情報を取得する。使用されるセンサーは、カメラ２１１、ＧＰＳユニット２１２、ＩＭＵ２１３、レーダユニット２１４、ＬＩＤＡＲユニット２１５、又はそれらの組み合わせを含んでもよい。周辺の道路交通情報は、車線構成、道路標示、信号機信号、速度、軌跡、他の車両の相対位置、他の車両の車外灯の状態、歩行者、建物、障害物、横断歩道、又はその他の交通関連標識（例えば、停車標識や譲れ標識）又はそれらの組み合わせを含んでもよいが、これらに限定されない。上記非網羅的リストは、例示の目的にすぎない。周辺の道路交通情報は、他の情報を含んでもよい。

【0042】

交通ルールチェックモジュール３０８は、周囲の道路交通情報及び予め記憶された交通ルール３１２に基づいて、ＡＤＶの感知範囲内の他の車両の交通ルール違反を検出する。特定の時間に使用される交通ルール３１２は、ＡＤＶが運営される場所及び管轄区域（例えば、特定の国、州、都市など）によって変わり得ることを理解されたい。検出された交通ルール違反は、速度違反、交通信号違反、駐車標識違反、（歩行又は他の車両に対する）譲れ失敗違反、外部照明障害、又はそれらの任意の組み合わせを含んでもよいが、これらに限定されない。上記非網羅的リストは、例示の目的にすぎない。検出された交通ルール違反は、上記以外の別の違反であってもよい。通知モジュール４０１は、交通ルール違反が検出されたことをユーザ（例えば、ＡＤＶに乗っている警察官）へ警告する。これにより、ユーザは適切な処置を取ることができる。

【0043】

一実施形態によれば、交通ルールチェックモジュール３０８（交通違反検出器又は検出モジュールとも呼ばれる）は、分析モジュール（図示せず）を含む。ＡＤＶに取り付けられた様々なセンサーから得られたセンサーデータに応答して、１セットの予め設定された交通ルールに従って、分析モジュールは、センサーデータを分析して、ＡＤＶ周辺の１つ又は複数の車両のうちの第１の車両及び第１の車両の動作を検出することで、第１の車両が交通ルールを違反しているか否かを判断する。また、ＡＤＶに取り付けられたカメラを使用して、第１の車両の１つ又は複数の画像（例えば、ナンバープレート、車両のモデル又は製造業者、色や形状などの車両の外観）を取得することができる。当該１つ又は複数の画像は、センサーシステム１１５によって提供されるセンサーデータの一部であってもよい。第１の車両が交通ルールを違反していると判断された場合、通知モジュール４０１は、交通違反が検出されたことを示す警報を生成する。警告、及び第１の車両のグラフィック表示（例えば、アイコン）又は画像は、ＡＤＶ内の表示装置に表示することができる。第１の車両のグラフィック表示は、ＡＤＶの乗員が違反の発生位置を分かるように、ＡＤＶの位置に対する相対地点又は位置に対応して表示されてもよい。第１の車両の相対地点又は位置は、センサーデータに基づいて確定することができる。

【0044】

警告、第１の車両の画像、及びＡＤＶ周辺の運転環境を表す感知データは、ＡＤＶによって維持されている永続的記憶装置に記憶されてもよい。上記情報は、交通ルール違反の証拠として使用することができる。付加的又は代替的に、警告、第１の車両の画像、及びＡＤＶ周辺の運転環境を表す感知データは、ネットワークによってセンターサーバー（例えば、サーバー１０３）に送信され記憶されてもよい。収集されたデータは、センターサーバーにおいてオフラインで後続的分析が実行されてもよい。

【0045】

第１の車両は、ＡＤＶの所定の近接度内に位置する車両のうちの１つ車両であってもよい。例えば、第１の車両は、ＡＤＶの後端部の後ろに位置し、ＡＤＶにおける、運転者が通常に十分な注意を払わないＡＤＶの後端部の近くに設置されたセンサーによって、交通違反が捕捉出されてもよい。ＡＤＶに取り付けられたセンサーを利用することによって、ＡＤＶに乗っている人間の介入なしに、通常に検出されない幾つかの交通違反を捕捉することができる。また、交通情報がセンターサーバーに送信されるので、交通違反の検出をオフラインで行うことができ、特に警察官がより重要なタスクを実行する場合、ＡＤＶの乗員（例えば、法執行官）は、交通違反の時間点で違反車両を駐車させる必要がない。後にオフラインで実行された分析に応答して、違反車両の所有者へ交通違反切符を発行することができる。

【0046】

なお、この場合、ＡＤＶは、法執行機関の車両（例えば、パトロールカー）の一部として実施することができる。代替的に、ＡＤＶは、法執行システムを支援して何らかの交通違反を検出するように交通データを収集する、従来の車両又は準法執行車両（ｑｕａｓｉ−ｌａｗ ｅｎｆｏｒｃｅｍｅｎｔ ｖｅｈｉｃｌｅｓ）における多くのＡＤＶのうちの１つであってもよい。最終的な違反検出は、中央施設部で決定することができる。

【0047】

図５は、本発明の一実施形態に係る自動運転車のセンサー及び感知モジュールを使用して交通ルール違反を自動的に検出しユーザへ通知するための例示的な方法５００のフローチャートである。プロセス５００は、処理ロジックによって実行することができき、当該処理ロジックは、ソフトウェア、ハードウェア、又はそれらの組み合わせを含んでもよい。例えば、プロセス５００は、上述のように交通ルールチェックモジュール３０８によって実行されてもよい。ブロック５０１において、ＡＤＶの複数のセンサーから取得されたセンサーデータに基づいて、自動運転車（ＡＤＶ）の周辺の道路交通情報を取得する。ブロック５０２において、周辺の道路交通情報とＡＤＶが維持している予め設定された１セットの交通ルールとに基づいて、ＡＤＶの感知範囲内に位置する第１の車両の交通ルール違反を自動的に検出し、予め設定された交通ルールに従って周辺の道路交通情報を分析することを含む。ブロック５０３において、検出された交通ルール違反に応答して、警報を生成することができる。

【0048】

なお、上記のように記載された要素の一部又は全部は、ソフトウェア、ハードウェア又はそれらの組み合せにより実現されることが可能である。例えば、このような要素は、不揮発性記憶装置にインストールして記憶されるソフトウェアとして実現されることが可能であり、前記ソフトウェアがプロセッサー（図示せず）によりメモリにローディングされて、メモリで実行されることで、本発明に記載のプロセスや操作を実施する。その代わりに、このような要素は、専用ハードウェア（例えば、集積回路（例えば、専用集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサー（ＤＳＰ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされ、又は組み込まれる、実行可能なコードとして実現されてもよく、前記実行可能なコードが、アプリケーションからの相応的なドライバ及び／又はオペレーティングシステムを介してアクセス可能である。また、このような要素は、プロセッサー又はプロセッサーコアにおける特定ハードウェアロジックとして実現されることが可能であり、ソフトウェア要素が一つ又は複数の特定指令によりアクセス可能な指令セットの一部とされる。

【0049】

したがって、本明細書に記載の本発明の実施形態の助けにより、ＡＤＶに乗っている警察官は、付近の交通ルール違反を見つけるというタスクから解放することができる。ＡＤＶの感知及び交通ルール検出機能により、ＡＤＶの感知範囲内の全方向に発生する交通ルール違反を自動的に検出すると同時に、速度及び正確度を確保することができる。

【0050】

図６は、本発明の一実施形態とともに使用可能なデータ処理システムの例示を示すブロック図である。例えば、システム１５００は、上述のように上記プロセス又は方法のいずれか一つを実行する任意のデータ処理システム、例えば、図１の感知・計画システム１１０又はサーバー１０３〜１０４の任意の一つを示す。システム１５００は、様々の要素を備えることが可能である。これらの要素は、集積回路（ＩＣ）、集積回路の一部、個別の電子装置や回路基板（例えば、コンピュータシステムのマザーボード又は挿入カード）に適用される他のモジュールとして実現され、又は、他の方式でコンピュータシステムのフレームに組み込まれる要素として実現されることが可能である。

【0051】

なお、システム１５００は、コンピュータシステムの多くの要素の上位図を示すためである。しかしながら、一部の実施形態では、付加要素を有してもよく、また、他の実施形態では、図示する要素と異なる配置を有してもよいこと、を理解すべきである。システム１５００は、デスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、サーバー、携帯電話、メディアプレイヤ、携帯情報端末（ＰＤＡ）、スマートウォッチ、パーソナル通信機器、ゲーム装置、ルータやハブ機器、ワイヤレスアクセスポイント（ＡＰ）やリピーター、セットトップボックス、又はそれらの組み合せを示すことが可能である。また、単一の機器又はシステムのみを示すが、「機器」又は「システム」という用語は、一つ（又は複数）の指令セットを単独的又は共同的に実行することにより、本明細書で検討する任意の一つ又は複数の方法を実行する機器又はシステムの任意の集合を含むことを、理解されるべきである。

【0052】

一実施形態において、システム１５００は、バス又はインターコネクト１５１０を介して接続されるプロセッサー１５０１、メモリ１５０３及び装置１５０５〜１５０８を含む。プロセッサー１５０１は、単一のプロセッサーコア、又は複数のプロセッサーコアの一つのプロセッサーや複数のプロセッサーを含むことを表すことが可能である。プロセッサー１５０１は一つ又は複数の汎用プロセッサー、例えば、マイクロプロセッサー、中央処理ユニット（ＣＰＵ）などを表すことが可能である。より具体的には、プロセッサー１５０１は、複合指令セットコンピュータ（ＣＩＳＣ）方式のマイクロプロセッサー、縮小指令セットコンピュータ（ＲＩＳＣ）方式のマイクロプロセッサー、超長指令語（ＶＬＩＷ）マイクロプロセッサーや他の指令セットを実施するプロセッサー、又は指令セットの組み合せを実施するプロセッサーであってもよい。プロセッサー１５０１は、一つ又は複数の専用プロセッサー、例えば、専用集積回路（ＡＳＩＣ）、セルラやベースバンドプロセッサー、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサー（ＤＳＰ）、ネットワークプロセッサー、グラフィックプロセッサー、通信プロセッサー、暗号化プロセッサー、コプロセッサー、組込み用途向けプロセッサー、又は指令を処理可能な任意の他のロジックであってもよい。

【0053】

プロセッサー１５０１（低パワーマルチコアプロセッサーソケットインタフェース、例えば超低電圧プロセッサーであってもよい）は、前記システムの各種の要素と通信するためのメイン処理ユニット及び中央ハブとされることが可能である。このようなプロセッサーは、システムオンチップ（ＳｏＣ）として実現されることが可能である。プロセッサー１５０１は、本明細書で検討する操作及びステップを実行するための指令を実行するように配置される。システム１５００は、選択可能なグラフィックサブシステム１５０４と通信可能なグラフィックインタフェースを更に含み、グラフィックサブシステム１５０４が、表示制御部、グラフィックプロセッサー及び／又は表示装置を備えることが可能である。

【0054】

プロセッサー１５０１は、メモリ１５０３と通信可能であり、一実施形態において、メモリ１５０３が所定量のシステムメモリを提供するように、複数のメモリ装置により実現されることが可能である。メモリ１５０３は、一つ又は複数の揮発性記憶（又はメモリ）装置、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）又は他のタイプの記憶装置を含むことが可能である。メモリ１５０３は、プロセッサー１５０１又はその他の任意の装置により実行される指令列を含む情報を記憶可能である。例えば、各種のオペレーティングシステム、デバイスドライバ、ファームウェア（例えば、入出力基本システム又はＢＩＯＳ）及び／又はアプリケーションの実行可能なコード及び／又はデータは、メモリ１５０３にローディングされてプロセッサー１５０１により実行されることが可能である。オペレーティングシステムは、任意タイプのオペレーティングシステム、例えば、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ^(R)社のＷｉｎｄｏｗｓ^(R)オペレーティングシステム、アップル社のＭＡＣ ＯＳ^(R)／ＩＯＳ^(R)、Ｇｏｏｇｌｅ^(R)社のＡｎｄｒｏｉｄ^(R)、ＬＩＮＵＸ、ＵＮＩＸ、又は他のリアタイムや組み込みオペレーティングシステムであってもよい。

【0055】

システム１５００は、ＩＯ装置、例えばネットワークインタフェース装置１５０５、選択可能な入力装置１５０６及び他の選択可能なＩＯ装置１５０７を含む装置１５０５〜１５０８をさらに備えることが可能である。ネットワークインタフェース装置１５０５は、無線送受信器及び／又はネットワークインタフェースカード（ＮＩＣ）を含むことが可能である。前記無線送受信器は、ＷｉＦｉ送受信器、赤外線送受信器、ブルートゥース送受信器、ＷｉＭａｘ送受信器、無線携帯電話送受信器、衛星送受信器（例えば、全地球測位システム（ＧＰＳ）送受信器）や他の無線周波数（ＲＦ）送受信器、又はそれらの組み合せであってもよい。ＮＩＣは、イーサネットカードであってもよい。

【0056】

入力装置１５０６は、マウス、タッチパネル、タッチスクリーン（表示装置１５０４に集積されることが可能である）、ポインティングデバイス（例えば、スタイラスペン）及び／又はキーボード（例えば、物理的なキーボード又はタッチスクリーンの一部として表示される仮想的なキーボード）を含むことが可能である。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含むことが可能である。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数の種類のタッチセンシティブ技術（容量、電気抵抗、赤外線及び弾性表面波技術を含むが、これに限定されない）の任意の１種、及び他の近接センサーレイ又はタッチスクリーンに接触する一つ又は複数の点を特定するための他の素子により、その接触、及び移動や間欠を検出する。

【0057】

Ｉ／Ｏ装置１５０７は、オーディオ装置を含むことが可能である。オーディオ装置は、音声を支持する機能、例えば音声認識、音声複製、ディジタル記録及び／又は電話機能を促すために、スピーカ及び／又はマイクロホンを含むことが可能である。他のＩＯ装置１５０７として、ユニバーサル・シリアル・バス（ＵＳＢ）ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインタフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサー（例えば、加速度計モーションセンサー、ジャイロ、磁力計、光センサー、コンパス、接近センサーなど）又はそれらの組み合せを含むことが可能である。装置１５０７は、カメラ機能（例えば、写真及び動画セグメントの記録）を促すための光学センサー、例えば電荷結合素子（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサーを備える撮像処理サブシステム（例えば、カメラ）をさらに含むことが可能である。一部のセンサーは、センサーハブ（図示せず）を介してインターコネクト１５１０に接続されることが可能である一方、キーボードや感熱センサーなどの他の装置は、システム１５００の具体的な配置や設計に応じて、埋め込みコントローラ（図示せず）により制御されることが可能である。

【0058】

例えばデータ、アプリケーション、一つ又は複数のオペレーティングシステムなどの情報の永続的な記憶を提供するために、大容量記憶装置（図示せず）がプロセッサー１５０１に接続されてもよい。各種の実施形態では、薄型化且つ軽量化のシステム設計を実現するとともにシステムの応答性を改善するために、このような大容量記憶装置は、固体装置（ＳＳＤ）により実現されることが可能である。但し、他の実施形態では、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）により実現されてもよく、このうち少量のＳＳＤ記憶装置は、ＳＳＤ用キャッシュとされることにより、停電期間でコンテキストの状態及び他の情報の不揮発性記憶を実現して、システム活動が再起動する際に急速通電を実現することができる。また、フラッシュメモリ装置は、例えばシリアルペリフェラルインタフェース（ＳＰＩ）を介してプロセッサー１５０１に接続されることが可能である。このようなフラッシュメモリ装置は、前記システムのＢＩＯＳ及び他のファームウェアを含むシステムソフトウェアの不揮発性記憶を提供することが可能である。

【0059】

記憶装置１５０８は、本明細書に記載の任意の一つ又は複数の方法や機能を実現する一つ又は複数の指令セットやソフトウェア（例えば、モジュール、ユニット及び／又はロジック１５２８）が記憶されているコンピュータ可読記憶媒体１５０９（機械可読記憶媒体又はコンピュータ可読媒体ともいう）を含むことが可能である。処理モジュール／ユニット／ロジック１５２８は、上記要素の任意の一つ、例えば計画モジュール３０５、制御モジュール３０６、感知モジュール３０２及び関連するサブ要素を表すことが可能である。また、処理モジュール／ユニット／ロジック１５２８は、データ処理システム１５００、メモリ１５０３及びプロセッサー１５０１により実行されている期間において、全部又は少なくとも一部がメモリ１５０３及び／又はプロセッサー１５０１の中に貯留することができ、メモリ１５０３及び／又はプロセッサー１５０１も機械アクセス可能な記憶媒体を構成する。更に、処理モジュール／ユニット／ロジック１５２８は、ネットワークによりネットワークインタフェース装置１５０５を介して伝送又は受信を行うことが可能である。

【0060】

コンピュータ可読記憶媒体１５０９は、上述した一部のソフトウェア機能を永続的に記憶することが可能である。コンピュータ可読記憶媒体１５０９は、例示的な実施形態では単一の媒体として示されるが、「コンピュータ可読記憶媒体」という用語は、前記一つ又は複数の指令セットを記憶する単一の媒体又は複数の媒体（例えば、集中又は分散データベース及び／又は関連するキャッシュメモリ及びサーバー）を含む、と考えられる。「コンピュータ可読記憶媒体」という用語は、機械により実行されるとともに、前記機械が本発明の任意の一つ又は複数の方法を実行させる指令セットを記憶又はコーディング可能な任意の媒体を含む、と考えられる。従って、「コンピュータ可読記憶媒体」という用語は、固体メモリ、光学媒体及び磁気媒体、又は他の不揮発性機械可読媒体の任意を含むが、これに限定されない、と考えられる。

【0061】

本明細書に記載の処理モジュール／ユニット／ロジック１５２８、要素及び他の特徴は、個別ハードウェア要素とされ、又はハードウェア要素（例えば、ＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似の装置）の機能に集積されるように、実現可能である。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置におけるファームウェア又は機能回路として実現されることが可能である。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置とソフトウェア要素との任意の組み合せにより実現されることが可能である。

【0062】

なお、システム１５００は、データ処理システムの各種の要素を備えるように示されるが、要素を相互に接続する任意の特定の構成又は形態を示すためではない。このような詳細は、本発明の実施態様と密接な関係がないからである。さらに、より少ない要素又はより多い要素を有するネットワークコンピュータ、ハンディコンピュータ、携帯電話、サーバー及び／又は他のデータ処理システムも、本発明の実施形態とともに使用可能であることを、認識すべきである。

【0063】

詳細に記載した前記内容の一部は、既にコンピュータメモリで行われるデータビットの演算のアルゴリズム及び符号表示に応じて表現された。これらのアルゴリズムの記載及び表示は、データ処理分野での技術者が使用する方式であり、技術者らの仕事の本質を効率よく本分野での他の技術者に伝達するためである。本明細書では、アルゴリズムは、通常に所望の結果を達成する自己矛盾なし操作シーケンスとして考えられる。これらの操作とは、物理量に対して物理的な操作を行う必要がある操作である。

【0064】

ところで、これらの用語及びその類似する用語のすべては、適当な物理量に関連し、且つ単にこれらの物理量を便宜上に表記することに適用されることはいうまでもない。以上の検討において他の形態で明確に限定しない限り、本明細書全体において、用語（例えば、添付した特許請求の範囲に記載の用語）により検討されることは、コンピュータシステムや類似する電子計算装置の動作及び処理を指す。前記コンピュータシステムや類似する電子計算装置は、コンピュータシステムのレジスタ及びメモリでの物理（電子）量として表示されるデータを操作して、前記データをコンピュータシステムメモリやレジスタ、又は他の情報記憶装置、伝送装置や表示装置での類似的に物理量として表示される他のデータを変換する。

【0065】

本発明の実施形態は、本明細書における操作を実行するためのデバイスにさらに関する。このようなコンピュータプログラムは、不揮発性コンピュータ可読媒体に記憶される。機械可読媒体は、機械（例えば、コンピュータ）可読形態で情報を記憶する任意の機構を含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、リードオンリー専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置）を含む。

【0066】

前記図面に記載のプロセスや方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、不揮発性コンピュータ可読媒体で体現される）又はそれらの組み合せを含む処理ロジックにより実行されることが可能である。前記プロセスや方法は、上記の内容において一部の順序操作に基づいて記載されているが、前記操作の一部が異なる順序で実行されてもよいことを、理解すべきである。また、一部の操作は、順序に実行されることではなく、並列に実行されてもよい。

【0067】

本発明の実施形態は、いずれの特定のプログラミング言語を参照して記載されることではない。複数のプログラミング言語を使用して本明細書に記載の本発明の実施形態の教示を実施可能であることを、理解すべきである。

【0068】

前記明細書の中で、本発明の具体的例示の実施形態を参照して、本発明の実施形態に対して説明した。本発明に添付する特許請求の範囲に記載のより広い要旨及び範囲を逸脱しない状況で、本発明に様々な修正を加えることができることが明らかである。従って、明細書及び図面は、制限的な意味ではなく、例示的な意味で理解されるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】