(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-13
(45)【発行日】2022-04-21
(54)【発明の名称】貨物を輸送するための自律走行車の盗難防止技術
(51)【国際特許分類】
G08B 13/00 20060101AFI20220414BHJP
G08B 25/04 20060101ALI20220414BHJP
G05D 1/02 20200101ALI20220414BHJP
H04N 7/18 20060101ALI20220414BHJP
G06T 7/00 20170101ALI20220414BHJP
G06T 7/20 20170101ALI20220414BHJP
【FI】
G08B13/00 B
G08B25/04 E
G05D1/02 H
H04N7/18 D
G06T7/00 350B
G06T7/20 300Z
(21)【出願番号】P 2020572467
(86)(22)【出願日】2018-06-29
(86)【国際出願番号】 CN2018093744
(87)【国際公開番号】W WO2020000396
(87)【国際公開日】2020-01-02
【審査請求日】2021-02-24
(73)【特許権者】
【識別番号】517323290
【氏名又は名称】バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッド
【氏名又は名称原語表記】Baidu.com Times Technology (Beijing) Co., Ltd.
【住所又は居所原語表記】2/F A2 Zhongguancun Software Park 17th building, No.8, Dongbeiwang West Road, Haidian District, Beijing 100080, China
(73)【特許権者】
【識別番号】516357421
【氏名又は名称】バイドゥ ユーエスエイ エルエルシー
【氏名又は名称原語表記】Baidu USA LLC
(74)【代理人】
【識別番号】110000796
【氏名又は名称】特許業務法人三枝国際特許事務所
(72)【発明者】
【氏名】傅軼群
(72)【発明者】
【氏名】張亮亮
(72)【発明者】
【氏名】劉盛翔
(72)【発明者】
【氏名】胡江滔
【審査官】大橋 達也
(56)【参考文献】
【文献】米国特許第09741010(US,B1)
【文献】米国特許出願公開第2016/0332535(US,A1)
【文献】特開平11-259773(JP,A)
【文献】中国実用新案第206363162(CN,U)
【文献】K. KIM et al.,Multi-Object Detection and Behavior Recognition from Motion 3D Data,CVPR 2011 WORKSHOP,2011年08月,インターネット:<https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5981808>
(58)【調査した分野】(Int.Cl.,DB名)
G08B 13/00-25/00
G06Q 10/00-50/00
B65G 61/00
G05D 1/00
H04N 7/18
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
自律走行車の盗難防止のための
コンピュータによって実行されるコンピュータ実装方法であって、
盗難感知モジュールによって複数のセンサーから移動オブジェクトのセンサーデータを受信するステップであって、前記移動オブジェクトは貨物を輸送するための前記自律走行車の所定のアクセス範囲内にある人を示し、前記センサーデータは、前記移動オブジェクトの複数のイメージと、前記自律走行車のリアルタイムの重量及び動きとを含む、ステップと、
一組の既知の移動行動に従って、前記センサーデータに基づいて前記移動オブジェクトの移動行動を決定するステップと、
前記移動行動に基づいて、前記人の意図が前記自律走行車から前記貨物中の少なくとも一部を持ち去ろうとするか否かを決定するステップと、
前記人の意図が前記自律走行車から前記貨物中の少なくとも一部を持ち去ろうとするものであることを決定したことに応答して、所定目的地に警報を送信するステップと、を含む、前記コンピュータ実装方法。
【請求項2】
前記一組の既知の移動行動は、データベースに記憶された複数のイメージセットによって表示され、それぞれのイメージセットは、人によって実行される既知の行動である
請求項1に記載のコンピュータ実装方法。
【請求項3】
前記移動オブジェクトの前記移動行動は、前記センサーデータのイメージセットと前記データベースに記憶された前記複数のイメージセットのいずれかとのマッチングに基づいて決定される
請求項2に記載のコンピュータ実装方法。
【請求項4】
前記人の意図は、トレーニング履歴イメージセットに由来のプロセスに基づいて決定され、
前記
トレーニング履歴イメージセットは、窃盗行動を示すイメージセットと非窃盗行動を示すイメージセットに分類される
請求項1に記載のコンピュータ実装方法。
【請求項5】
前記人の意図は、複数の他の識別子における一つまたは複数の識別子に基づいて決定され、
前記複数の他の識別子は、前記人がブラックリストに含まれていることと、前記自律走行車の重量損失が所定の閾値を超えていることと、前記自律走行車の不規則動きは前記自律走行車が持ち去られる可能性があることを示すことと、を含む
請求項4に記載のコンピュータ実装方法。
【請求項6】
前記自律走行車の重量損失は、前記自律走行車に設けられた重量計によって生成された前記自律走行車のリアルタイムの重量に基づいて決定される
請求項5に記載のコンピュータ実装方法。
【請求項7】
前記自律走行車の不規則動きは、前記自律走行車に設けられた動きセンサーによって生成された前記自律走行車のリアルタイムの動きに基づいて決定される
請求項5に記載のコンピュータ実装方法。
【請求項8】
前記ブラックリストは前記データベースに記憶された複数の車両盗難記録を含み、それぞれの記録は窃盗を実行した人の顔イメージを含む
請求項5に記載のコンピュータ実装方法。
【請求項9】
前記盗難感知モジュールは、前記センサーデータを前記データベースに記憶するように構成されるセンサーデータロガーモジュールを含み、
前記センサーデータは機械学習エンジンに送信され、前記機械学習エンジンは前記センサーデータを使用して、前記人の意図が前記自律走行車から貨物の少なくとも一部を持ち去ろうとするか否かを決定するためのプロセスを最適化する
請求項1に記載のコンピュータ実装方法。
【請求項10】
指令が記憶されている非一時的機械可読媒体であって、
前記指令がプロセッサによって実行されると、前記プロセッサが自律走行車に対して盗難防止のための動作を実行し、前記動作は、
盗難感知モジュールによって複数のセンサーから移動オブジェクトのセンサーデータを受信するステップであって、前記移動オブジェクトは、貨物を輸送するための前記自律走行車の所定のアクセス範囲内にある人を示し、前記センサーデータは、前記移動オブジェクトの複数のイメージと、前記自律走行車のリアルタイムの重量及び動きとを含む、ステップと、
一組の既知の移動行動に従って、前記センサーデータに基づいて前記移動オブジェクトの移動行動を決定するステップと、
前記移動行動に基づいて、前記人の意図が前記自律走行車から前記貨物中の少なくとも一部を持ち去ろうとするか否かを決定するステップと、
前記人の意図が前記自律走行車から前記貨物中の少なくとも一部を持ち去ろうとするものであることを確定したことに応答して、所定目的地に警報を送信するステップと、
を含む、前記非一時的機械可読媒体。
【請求項11】
前記一組の既知の移動行動は、データベースに記憶された複数のイメージセットによって表示され、それぞれのイメージセットは人によって実行される既知の行動を表示する
請求項10に記載の非一時的機械可読媒体。
【請求項12】
前記移動オブジェクトの前記移動行動は、前記センサーデータのイメージセットと前記データベースに記憶された前記複数のイメージセットのいずれかとの間のマッチングに基づいて決定される
請求項11に記載の非一時的機械可読媒体。
【請求項13】
前記人の意図は、トレーニング履歴イメージセットに由来のプロセスに基づいて決定され、
前記
トレーニング履歴イメージセットは、窃盗行動を表すイメージセットと非窃盗行動を表すイメージセットに分類されている
請求項10に記載の非一時的機械可読媒体。
【請求項14】
前記人の意図は、複数の他の識別子における一つまたは複数の識別子に基づいて決定され、
前記複数の他の識別子は、前記人がブラックリストに含まれていることと、前記自律走行車の重量損失が所定の閾値を超えることと、前記自律走行車の不規則動きは前記自律走行車が持ち去られる可能性があることを示すことと、を含む
請求項13に記載の非一時的機械可読媒体。
【請求項15】
前記自律走行車の重量損失は、前記自律走行車に設けられた重量計によって生成された前記自律走行車のリアルタイムの重量に基づいて決定される
請求項14に記載の非一時的機械可読媒体。
【請求項16】
前記自律走行車の不規則動きは、前記自律走行車に設置された動きセンサーによって生成された前記自律走行車のリアルタイムの動きに基づいて決定される
請求項14に記載の非一時的機械可読媒体。
【請求項17】
前記ブラックリストは、前記データベースに記憶された複数の車両盗難記録を表示し、それぞれの記録は窃盗を実行した人の顔イメージを含む
請求項14に記載の非一時的機械可読媒体。
【請求項18】
前記盗難感知モジュールは、前記センサーデータを前記データベースに記憶するように構成されるセンサーデータロガーモジュールを含み、
前記センサーデータは、機械学習エンジンに送信され、前記機械学習エンジンは、前記センサーデータを使用し、前記人の意図が前記自律走行車から貨物の少なくとも一部を持ち去ろうとするか否かを決定するためのプロセスを最適化する
請求項10に記載の非一時的機械可読媒体。
【請求項19】
自律走行車の盗難防止システムであって、
プロセッサと、前記プロセッサに接続されて指令を記憶するためのメモリとを含み、
前記指令が前記プロセッサによって実行される場合、前記プロセッサに動作を実行させ、前記動作は、
盗難感知モジュールによって複数のセンサーから移動オブジェクトのセンサーデータを受信するステップであって、前記移動オブジェクトは、貨物を輸送するための前記自律走行車の所定のアクセス範囲内にある人を示し、前記センサーデータは、前記移動オブジェクトの複数のイメージと、前記自律走行車のリアルタイムの重量及び動きとを含む、ステップと、
一組の既知の移動行動に従って、前記センサーデータに基づいて前記移動オブジェクトの移動行動を決定するステップと、
前記移動行動に基づいて、前記人の意図が前記自律走行車から前記貨物中の少なくとも一部を持ち去ろうとするか否かを決定するステップと、
前記人の意図が前記自律走行車から前記貨物中の少なくとも一部を持ち去ろうとするものであることを決定したことに応答して、所定目的地に警報を送信するステップと、を含む、システム。
【請求項20】
前記一組の既知の移動行動は、データベースに記憶された複数のイメージセットによって表示され、それぞれのイメージセットは人によって実行される既知の行動を表示する
請求項19に記載のシステム。
【請求項21】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項1ないし請求項9のいずれか一項に記載の方法を実現させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、全体的に自律走行車に関する。より具体的に、本開示の実施形態は、貨物を輸送するための自律走行車の盗難防止技術に関する。
【背景技術】
【0002】
自律走行モードで運行(例えば、無人自動運転)する車両は、乗客、特に、運転者をいくつかの運転関連の責任から解放させることができる。自律走行モードで運行される時、車両は、車両搭載センサーを使用して、各位置までナビゲーションすることにより、車両が最小限の人間-機械のインタラクションの場合、または乗客がいないいくつかの状況で走行することが可能になる。
【0003】
自律走行モードで運行される車両(または、自律走行車(ADV))は、貨物輸送に使用することができる。例えば、生活用品を各家庭に配送することができる。この目的のためのADVは、通常サイズが小さく、これら車両が都市と近郊の街を通り抜ける時に無人自動運転になる傾向がある。
【0004】
そのため、貨物を輸送するためのADVは盗まれやすい。例えば、予期しない者が貨物をADVから持ち去る可能性があり、ひいてはADVまでも持っていってしまう可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、これらのADVに近付く者、その近くを移動する人のすべてが窃盗をするとは限らない。ADVの近くに現れた人は、人間障害物であるにすぎない可能性がある。人の行動に基づいて、状況を区別することなく警報を送信してしまうと、周辺の環境を干渉してしまう可能性があり、また、警報の対応を担当する人に不必要な負担をかけてしまうことになる。そのため、窃盗行動を効果的に検出できる技術が必要になる。
【課題を解決するための手段】
【0006】
第1の態様において、本開示は、自律走行車の盗難防止のためのコンピュータ実装方法(computer-implemented method)を提供する。前記方法は、盗難感知モジュールによって複数のセンサーから移動オブジェクトのセンサーデータを受信するステップであって、前記移動オブジェクトは、貨物を輸送するための前記自律走行車の所定のアクセス範囲内にある人を示し、前記センサーデータは、前記移動オブジェクトの複数のイメージと前記自律走行車のリアルタイムの重量及び動きとを含む、ステップと、一組の既知の移動行動に従って、前記センサーデータに基づいて前記移動オブジェクトの移動行動を決定するステップと、前記移動行動に基づいて、前記人の意図が前記自律走行車から前記貨物のうちの少なくとも一部を持ち去ろうとするか否かを決定するステップと、前記人の意図が前記自律走行車から前記貨物のうちの少なくとも一部を持ち去ろうとするものであると決定したことに応答して、所定の目的地に警報を送信するステップと、を含む。
【0007】
第2の態様において、本開示は、指令が記憶されている非一時的機械可読媒体を提供し、前記指令がプロセッサによって実行されると、プロセッサが上記第1の態様における方法を実行する。
【0008】
第3の態様において、本開示は、システムを提供し、前記システムは、プロセッサと、プロセッサに接続されて指令を記憶するためのメモリとを含み、前記指令がプロセッサによって実行されると、プロセッサが上記第1の態様における方法を実行する。
【図面の簡単な説明】
【0009】
本開示に係る実施形態は、添付図面の各図によって非制限的に例示され、図面の同じ参照記号は同様の素子を示す。
【
図1】いくつかの実施形態に係るネットワークシステムのブロック図である。
【
図2】いくつかの実施形態に係る自律走行車の例示的なブロック図である。
【
図3A】いくつかの実施形態に係る自律走行車とともに使用されるセンシングと計画システムの例示的なブロック図である。
【
図3B】いくつかの実施形態に係る自律走行車とともに使用されるセンシングと計画システムの例示的なブロック図である。
【
図4】一の実施形態に係る貨物を輸送するためのADV中の例示的な盗難防止システムを示す。
【
図5】一の実施形態に係る貨物を輸送するためのADVに盗難防止を行う例示的なプロセスを示す。
【
図6】いくつかの実施形態に係るデータ処理システムを示すブロック図である。
【発明を実施するための形態】
【0010】
以下で議論される詳細な説明を参照し、本開示の様々な実施形態及び態様を説明し、図面は上記様々な実施形態を示す。以下の説明と図面は、本開示についての説明であり、本開示を限定するものと解釈されるべきでない。本開示の様々な実施形態に対する全面的な理解を提供するために、多くの特定の詳細事項を説明する。しかし、いくつかの場合、本開示の実施形態に対する簡単な議論を提供するために公知のもの、または通常の詳細事項の説明は省略する。
【0011】
本明細書で「一つの実施形態」または「実施形態」に対する言及は、上記実施形態と組み合わせて説明された特定の特徴、構造または特性は、本開示の少なくとも一つの実施形態に含まれることを意味する。本明細書の各部分に表示されるフレーズ「一つの実施形態において」は、すべて同じ実施形態を指すわけではない。
【0012】
各実施形態に基づいて、本明細書において、自律走行車(ADV)のための、具体的に貨物を輸送するためのADVの盗難防止システムと方法を述べる。
【0013】
一つの実施形態において、盗難防止システムは各種センサーと盗難感知モジュールとを含む。盗難感知モジュールは、センサーから移動オブジェクトのセンサーデータを受信し、前記移動オブジェクトはADVの所定のアクセス範囲内にある人を表す。盗難感知モジュールは、リアルタイムでセンサーデータを分析し、一組の既知の移動行動に従って、センサーデータに基づいて移動オブジェクトの移動行動を決定する。盗難感知モジュールは、履歴イメージセットに由来のプロセスを使用して、人の意図がADVの貨物の少なくとも一部を持ち去ろうとするか否かを決定し、前記人のこのような意図の決定に応答して、所定目的地に警報を送信する。
【0014】
一つの実施形態において、一組の既知の移動行動は、データベースに記憶された一つまたは複数のイメージセットによって表され、ここで、それぞれのイメージセットは既知の人の行動を表す。移動オブジェクトの移動行動を決定する場合に、盗難感知モジュールは、移動オブジェクトのそれぞれのイメージセットと、データベースに記憶(格納)されたイメージセットとを比較する。マッチする者を発見した場合に、盗難感知モジュールは、この人は更なる分析が必要である移動行動を有することを決定することができる。
【0015】
一つの実施形態において、データベースには一組の既知の盗難記録が記憶(格納)され、前記盗難記録は、少なくとも一度は窃盗した人を示すブラックリストである。前記ブラックリストは、ブラックリストにおける人ごとの個人データと、少なくとも一枚の顔画像を含む。
【0016】
センサーデータはADVにおける所定のアクセス範囲内にある人の顔画像を含んでもよい。センサーデータのうちの顔画像とブラックリストのうちの顔画像とがマッチ(一致)したことは、その人が少なくとも一度は窃盗(例えば、ADVから貨物を窃盗する)を実施したことがあることを示している。
【0017】
一つの実施形態において、移動オブジェクトの更なる分析及び監視のための移動行動を識別した後、盗難感知モジュールは、「盗難」及び「非盗難」とラベル付けされたトレーニング履歴イメージセットに由来のアルゴリズムまたはプロセスを使用することができる。「盗難」とラベル付けされたイメージセットの中のそれぞれは、いずれも人間の窃盗行動を表し、「非盗難」とラベル付けされたイメージセットの中のそれぞれは、いずれも人間の非窃盗行動を表す。イメージセットのトレーニングは、リモートサーバー上で運行されている機械学習エンジンによって実行されてもよい。
【0018】
一つの実施形態において、他の識別子(other indicators)の一つまたは複数は、履歴イメージセットに由来のプロセスと組み合わせて移動オブジェクトの意図を決定することができる。他の識別子は、一人がブラックリストに含まれていることと、前記人がADVの所定のアクセス範囲内に現れたためにADVの重量損失が所定の閾値(例えば、1キログラム)を超えることと、ADVの不規則な動き(erratic movement)はADVが持ち去られる可能性があることを示すこととを含む。
【0019】
代替的な実施形態において、上記人がブラックリストに含まれている、またはADVの重量が所定の閾値以上減少した場合、盗難感知モジュールは、履歴イメージセットに由来のプロセスを使用していない状況下で上記人がADVから貨物を窃盗する可能性があると決定し、直ちに所定の目的地に警報を送信することができる。
【0020】
ADVは、機械学習エンジンが移動オブジェクト(例えば、人)の移動行動を決定するために、所定のアクセス範囲内の移動オブジェクトの移動行動をそれぞれ記録し、移動オブジェクトの意図を決定するためのプロセスを最適化させることができる。
【0021】
本明細書で述べた本開示の実施形態は、人を移動オブジェクトの例示とする。本開示の各実施形態は、他の移動オブジェクト(例えば、ロボット)の窃盗行動または潜在的な窃盗行動を検出するのに適用できることを理解すべきである。
【0022】
自律走行車
図1は、本開示の一つの実施形態に係る自律走行車のネットワーク構成(network configuration)を示すブロック図である。
図1を参照すると、ネットワーク構成100は、ネットワーク102を介して一つまたは複数のサーバー103乃至サーバー104に通信的に接続可能な自律走行車101を含む。一つの自律走行車しか示されていないが、複数の自律走行車がネットワーク102を介して相互に接続、及び/またはサーバー103乃至サーバー104に接続することができる。ネットワーク102は、有線または無線のローカルエリアネットワーク(LAN)、インターネットのような広域ネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク、またはこれらの組み合わせのような任意のタイプのネットワークであってもよい。サーバー103乃至サーバー104は、ネットワークやクラウドサーバー、アプリケーションサーバー、バックエンドサーバー、またはこれらの組み合わせのような任意のタイプのサーバー、またはサーバークラスタであってもよい。サーバー103乃至サーバー104は、データ分析サーバー、コンテンツサーバー、交通情報サーバー、地図及び関心地点(MPOI)サーバーまたは位置サーバーなどであってもよい。
【0023】
自律走行車は自律走行モードに設定(configure)できる車両を指し、上記自律走行モードでの車両は、運転者からの入力が極めて少なくまたは入力がない場合にナビゲートされ、環境を通過する。これらの自律走行車は、車両の動作環境に関する情報を検出するように構成された一つまたは複数のセンサーを備えるセンサーシステムを含んでもよい。上記車両とそれに関連するコントローラは、検出された情報を使用してナビゲートされ、上記環境を通過する。自律走行車101は、手動モード、全自律走行モードまたは部分的自律走行モードで走行することができる。
【0024】
一つの実施形態において、自律走行車101は、感知及び計画システム110と、車両制御システム111と、無線通信システム112と、ユーザインタフェースシステム113と、センサーシステム115とを含むが、これに限定されない。自律走行車101は、一般的な車両が備えているエンジン、ホイール、ハンドル、変速機などの一部の常用の部品をさらに含んでもよい。上記部品は、車両制御システム111及び/または感知及び計画システム110によって、例えば、加速信号またはコマンド、減速信号またはコマンド、ステアリング信号またはコマンド、制動信号またはコマンドなど、さまざまな通信信号及び/またはコマンドを使用して制御されてもよい。
【0025】
部品110乃至部品115は、インターコネクタ、バス、ネットワークまたはこれらの組み合わせを介して相互に通信的に接続することができる。例えば、部品110乃至部品115は、コントローラエリアネットワーク(CAN)バスを介して互いに通信的に接続することができる。CANバスは、ホストコンピュータがなくてもアプリケーションでマイクロコントローラとデバイスが相互に通信できるように設計された車両のバス規格である。これは、本来は自動車内の電気配線を多重化するために設計されたメッセージベースのプロトコルであるが、多くの他の環境(other contexts)でも使用される。
【0026】
また、
図2を参照すると、一つの実施形態において、センサーシステム115は、単一または複数のカメラ211と、全地球測位システム(GPS)ユニット212と、慣性測定ユニット(IMU)213と、レーダーユニット214と、ライダー(LIDAR)ユニット215とを含むが、これに限定されない。GPS
ユニット212は、自律走行車の位置に関する情報を提供するように動作できるトランシーバを含んでもよい。IMUユニット213は、慣性加速度に基づいて自律走行車の位置と向きの変化を感知することができる。レーダーユニット214は、無線信号によって自律走行車のローカル環境内のオブジェクトを感知するシステムを表してもよい。いくつかの実施形態において、レーダーユニット214は、オブジェクトを感知するほか、オブジェクトの速度及び/または進行方向を感知することもできる。LIDARユニット215は、レーザーで自律走行車の位置する環境でのオブジェクトを感知することができる。LIDARユニット215は、他のシステム構成要素を除くほか、一つまたは複数のレーザー源と、レーザースキャナーと、一つまたは複数の検出器とをさらに含んでもよい。カメラ211は、自律走行車の周辺環境の画像を捕捉するための一つまたは複数のデバイスを含んでもよい。カメラ211は、スチルカメラ及び/またはビデオカメラであってもよい。カメラは、例えば、カメラを回転及び/または傾斜プラットフォームに取り付けて機械的に移動することができる。
【0027】
センサーシステム115は、ソナーセンサー(sonar sensor)、赤外線センサー、ステアリングセンサー、スロットルセンサー(throttle sensor)、ブレーキングセンサー、及びオーディオセンサー(例えば、マイク)のような他のセンサーをさらに含んでもよい。オーディオセンサーは、自律走行車の周辺環境から音を捕捉するように構成されてもよい。ステアリングセンサーは、ハンドル(steering wheel)、車両のホイールまたはこれらの組み合わせのステアリング角度を感知するように構成されてもよい。スロットルセンサーとブレーキセンサーは、車両のスロットル位置とブレーキングの位置をそれぞれ感知するように構成されてもよい。状況によっては、スロットルセンサーとブレーキセンサーは、統合スロットル/ブレーキセンサーに統合されてもよい。
【0028】
一つの実施形態において、車両制御システム111は、ステアリングユニット201と、スロットルユニット202(加速ユニットとも呼ばれる)と、制動ユニット203とを含むが、これに限定されない。ステアリングユニット201は、車両の方向または進行方向を調整するために使用される。スロットルユニット202は、モーターやエンジンの速度を制御するために使用され、モーターやエンジンの速度は車両の速度と加速度をさらに制御する。制動ユニット203は、摩擦を提供することにより車両のホイールまたはタイヤを減速させることで車両を減速させる。
図2に示された構成要素は、ハードウェア、ソフトウェア、またはこれらの組み合わせで実装できることに注意すべきである。
【0029】
図1を再び参照すると、無線通信システム112は、自律走行車101とデバイス、センサー、他の車両などの外部システムとの通信を可能にする。例えば、無線通信システム112は、単一または複数のデバイスと直接無線で通信したり、ネットワーク102を介してサーバー103~104と通信する通信ネットワークを介して無線で通信したりすることができる。無線通信システム112は、任意のセルラー通信ネットワークまたは無線LAN(WLAN)を使用することができ、例えば、WiFi(登録商標)を使用して、他の構成要素やシステムと通信する。無線通信システム112は、例えば、赤外線リンク、ブルートゥース(登録商標)などを使用して、デバイス(例えば、乗客の移動デバイス、ディスプレイデバイス、車両101のスピーカー)と直接通信することができる。ユーザーインターフェースシステム113は、例えば、キー
ボード、タッチスクリーンディスプレイデバイス、マイク及びスピーカーなどを含む車両101内で実装された周辺機器の一部にすることができる。
【0030】
自律走行車101の機能の一部または全部は、感知及び計画システム110によって制御または管理することができ、特に自動走行モードで動作する場合に制御または管理することができる。感知及び計画システム110は、必要なハードウェア(例えば、プロセッサ、メモリ、記憶装置)と、ソフトウェア(例えば、オペレーティングシステム、計画と、及びルーティングプロセス)とを含み、センサーシステム115、制御システム111、無線通信システム112及び/またはユーザインタフェースシステム113から情報を受信し、受信された情報を処理し、出発点から目的地までのルートまたはパスを計画し、続いて計画と制御情報に基づいて車両101を走行するようにする。代わりに、感知及び計画システム110は車両制御システム111と統合することができる。
【0031】
例えば、乗客であるユーザーは、例えば、ユーザーインターフェイスなどを介してコースの出発位置と目的地を指定することができる。感知及び計画システム110は、コースの関連データを取得する。例えば、感知及び計画システム110は、MPOIサーバーから位置とルート情報を取得することができる。上記MPOIサーバーは、サーバー103乃至サーバー104の一部であってもよい。ロケーションサーバーは、位置サービスを提供し、MPOIサーバーは、地図サービスと一部の位置のPOIを提供する。代わりに、このような位置とMPOI情報は、感知及び計画システム110の永久記憶装置にローカルキャッシュされてもよい。いくつかの実施形態において、感知及び計画システム110は、MPOI情報(例えば、地図データ)を備えていない場合がある。例えば、感知及び計画システム110は、他の環境や地理的領域/場所のための地図データを持たない場合があり、感知及び計画システム110は、自律走行車101の現在走行している又は位置している環境や地理的領域/位置のための地図データ(例えば、感知及び計画システム110は、都市の地図データを備えるが、他の都市の地図データを備えていない場合がある)を備えていない場合がある。別の実施形態において、感知及び計画システム110は、任意の地図データやMPOI情報を備えていない可能性がある(例えば、感知及び計画システム110には、任意の地図データが記憶されていない可能性がある)。
【0032】
自律走行車101がルートに沿って移動する場合、感知及び計画システム110は、交通情報システムまたはサーバー(TIS)からリアルタイムの交通情報を取得することもできる。サーバー103乃至サーバー104は、第3者のエンティティによって操作されてもよいことに注意すべきである。代りに、サーバー103乃至サーバー104の機能は、感知及び計画システム110と統合することができる。リアルタイムの交通情報、MPOI情報と位置情報とセンサーシステム115によって検出または感知されたリアルタイムのローカル環境データ(例えば、障害物、オブジェクト、周辺車両)に基づいて、感知及び計画システム110は、最適ルートを計画し、また、計画されたルートに沿って、例えば、制御システム111を介して車両101を駆動し、安全かつ効率的に指定された目的地に到着することができる。
【0033】
サーバー103は、さまざまなクライアントのデータ分析サービスを実行するためのデータ分析システムであってもよい。一つの実施形態において、データ分析システム103は、データコレクタ121と、機械学習エンジン122とを含む。データコレクタ121は、様々な車両(自律走行車や人類運転者が運転する普通車)から走行統計データ123を収集する。走行統計データ123は、発行された走行コマンド(例えば、スロットル、ブレーキ、ステアリングコマンド)と、異なる時点で車両のセンサーによって捕捉された車両の応答(例えば、速度、加速、減速、方向)を示す情報とを含む。走行統計データ123は、例えば、ルート(出発位置と目的地の位置を含む)、MPOI、道路状況、気象条件などの異なる時点での走行環境を説明する情報をさらに含んでもよい。一つの実施形態において、走行統計データは、カメラなどのようなセンサーにより捕捉された人々の特定の行動や動きをさらに含んでもよい。これらの人々の一部は、貨物や車両を盗んだり、盗難を企てたりする可能性がある。
【0034】
走行統計データ123に基づいて、機械学習エンジン122は、様々な目的のためにルールセット、アルゴリズム及び/または予測モデル124を作成し、トレーニングする。一つの実施形態において、機械学習エンジン122は、走行統計データ123に基づいて、一組の盗難検出規則、アルゴリズムまたは予測モデル124を作成またはトレーニングして、特定の人の行動がこの人が窃盗を行う可能性が高いことを示すか否か決定または予測する。過去に収集された一組の既知の窃盗の既知の行動に基づいて、アルゴリズム124を生成またはトレーニングすることができる。そして、例えば
図3Aに示された盗難検出アルゴリズム313の一部のような盗難検出アルゴリズム124をADVにアップロードしてもよく、上記盗難検出アルゴリズム124は、ADVに接近する人がADVの貨物を持ち去る可能性の有無をリアルタイムで検出することができる。
【0035】
図3A及び
図3Bは、一つの実施形態に係る自律走行車で使用される感知及び計画システムを例示するブロック図である。システム300は、
図1の自律走行車101の一部として実装されてもよく、感知及び計画システム110と、制御システム111と、センサーシステム115とを含むが、これに限定されない。
図3A~
図3Bを参照すると、感知及び計画システム110は、測位モジュール301と、感知モジュール302と、予測モジュール303と、決定モジュール304と、計画モジュール305と、制御モジュール306と、ルーティングモジュール307と、盗難検出モジュール308とを含むが、これらに限定されない。
【0036】
モジュール301乃至モジュール308の一部または全部は、ソフトウェア、ハードウェア、またはこれらの組み合わせで実装されることができる。例えば、これらのモジュールは、永久記憶装置352に実装され、メモリ351にロードされ、また、一つまたは複数のプロセッサ(図示せず)によって実行されることができる。これらのモジュールのうちの一部または全部は、
図2の車両制御システム111の一部または全部のモジュールに通信可能に接続し、または統合することができることを注意すべきである。モジュール301から308のうちのいくつかは統合モジュールとして一緒に統合されてもよい。
【0037】
測位モジュール301は、(例えば、GPSユニット212を活用して)自律走行車300の現在位置を決定し、ユーザーのコースまたはルートに係るデータを管理する。測位モジュール301(地図及びルートモジュールとも呼ばれる)は、ユーザーのコースまたはルートに係るデータを管理する。ユーザーは、例えば、ユーザーインターフェイスを介してログインしてコースの開始位置と目的地を指定することができる。測位モジュール301は、地図及びルート情報311のような自律走行車300の他の構成要素と通信して、コースの関連データを取得する。例えば、測位モジュール301は、ロケーションサーバーと地図とPOI(MPOI)サーバーから位置とルート情報を取得することができる。ロケーションサーバーは、位置情報サービスを提供し、MPOIサーバーは、地図サービスと特定の位置のPOIを提供し、地図とルート情報311のいくつかのキャッシュとして使用することができる。自律走行車300がルートに沿って移動する場合、測位モジュール301は交通情報システムまたはサーバーからリアルタイムの交通情報を取得することもできる。一つの実施形態において、地図及びルート情報311は、永久記憶装置352に予め記憶されてもよい。例えば、地図及びルート情報311は、永久記憶装置352に予めダウンロードまたは複製されていてもよい。
【0038】
センサーシステム115によって提供されるセンサーデータと測位モジュール301によって取得される測位情報に基づいて、感知モジュール302は、周辺環境の感知を決定する。感知情報は、一般の運転者が運転者のいる車両の周囲で感知したものを表すことができる。感知は、例えば、オブジェクトの形を利用した車線構成(例えば、直線または曲線の車線)、信号機の信号、別の車両の相対位置、歩行者、建物、横断歩道またはその他の交通関連の標識(例えば、一時停止標識、譲れ標識(yield signs))などを含んでもよい。
【0039】
感知モジュール302は、コンピュータ視覚システムまたはコンピュータ視覚システムの機能を含み、一つまたは複数のカメラによって捕捉された画像を処理し、分析するこれにより、自律走行車の環境中のオブジェクト及び/または特徴を識別する。上記オブジェクトは、信号機(traffic signals)、道路境界、他の車両、歩行者、及び/または障害物などを含むことができる。コンピュータ視覚システムは、オブジェクトの識別アルゴリズム、ビデオ追跡及び他のコンピュータ視覚技術を使用することができる。いくつかの実施形態において、コンピュータ視覚システムは、環境地図を作成して、オブジェクトを追跡し、オブジェクトの速度などを推定することができる。感知モジュール302は、レーダー及び/またはLIDARなどの他のセンサーによって提供される他のセンサーデータに基づいてオブジェクトを検出することもできる。
【0040】
オブジェクトのそれぞれに対して、予測モジュール303は、このような状況においてオブジェクトがどのように動作するかを予測する。予測は感知データによって実行され、上記感知データは、一組の地図/ルート情報311と交通ルール312を考慮して、その時点での走行環境を感知するものである。例えば、オブジェクトが反対方向の車両であり、現在の走行環境は交差点を含み、予測モジュール303は、車両が直進するかまたは曲がるかを予測する。感知データが交差点に信号機がないと示す場合、予測モジュール303は、車両が交差点に進入する前に完全に停止しなければならない可能性があると予測することができる。感知データは、車両が現在左折専用車線または右折専用車線に位置することを示す場合、予測モジュール303は、車両がそれぞれ左折または右折する可能性が高いと予測することができる。いくつかの実施形態において、自律走行車が環境や地理的領域/位置を通過する場合、上記の環境または地理的領域/場所のための地図とルート情報311をその場で生成(例えば、感知モジュール302によって生成)することができ、以下詳細に議論される通りである。
【0041】
それぞれのオブジェクトに対して、決定モジュール304は、オブジェクトをどのように処理するのかを決定する。例えば、特定のオブジェクト(例えば、横断ルート内の別の車両)及びオブジェクトを記述するメタデータ(例えば、速度、方向、回転角度)に対して、決定モジュール304は、上記オブジェクト遇うときに如何に対応するか(例えば、追い越し、道を譲り、停止、追い抜き)を決定する。決定モジュール304は、交通ルールまたは走行ルール312のようなルールセットに基づいてそのような決定を下すことができ、上記ルールセットは永久的な記憶装置352に記憶されてもよい。
【0042】
各種移動障害物/対象は、予期せずに移動する可能性がある。例えば、たとえ歩行者が経路に沿って移動した場合でも、歩行者が突然方向を変更したり、(例えば、左に曲がったり)、または加速/減速したりする可能性がある。これは、移動オブジェクトと衝突、衝突または衝突を防止するために、移動オブジェクトのルートを予測しようとするときに問題を引き起こす可能性がある。そのため、移動障害物が移動する可能性のある場所を含む領域を決定(例えば、計算(calculate)、見積もり(compute)、取得など)することは有用である。これは、ADVは移動障害物を回避する可能性を高めるように許すことができる。
【0043】
ルーティングモジュール307は、出発点から目的地ポイントまでの一つまたは複数のルートまたは経路を提供するように構成されている。開始位置から目的地の位置までの特定のコース(例えば、ユーザから受信されたコース)に対して、ルーティングモジュール307は、ルートと地図情報311を取得し、開始位置から目的地の位置まで到達するためにすべての可能なルートまたは経路を決定する。一部の実施形態において、ルートと地図情報311は、感知モジュール302によって生成することができ、以下、より詳細に議論する。ルーティングモジュール307は、開始位置から目的地の位置までの各ルートを決定する、地形図の形式の基準線(reference line)を作成することができる。基準線は、他の車両、障害物、交通状況など、他の車両から干渉を受けない理想的なルートまたはパスを指す。つまり、道路上の他の車両、歩行者、障害物がない場合、ADVは基準線を厳密に正確または従わなければならない。そして、地形図は決定モジュール304及び/または計画モジュール305に提供される。他のモジュールによって提供された他のデータに基づいて、例えば、測位モジュール301からの交通状況、感知モジュール302によって検出された走行環境と予測モジュール303によって予測された交通状況に基づいて、決定モジュール304及び/または計画モジュール305は、最適なルートの一つを選択し修正するように、すべての可能なルートを確認する。現在の時点での特定走行環境によって、ADVを制御するための実際のパスまたはルートは、ルーティングモジュール307によって提供される基準線に近いかまたは異なる場合がある。
【0044】
計画モジュール305は、感知された各オブジェクトの決定に基づいて、ルーティングモジュール307によって提供される基準線に基づいて自律走行車のパスまたはルートと走行パラメータ(例えば、距離、速度、及び/または回転角度)を計画する。つまり、所定のオブジェクトに対して、決定モジュール304は、上記オブジェクトに対して何をするかを決定し、計画モジュール305は、どのようにするかどうかを決定する。例えば、所定のオブジェクトに対して、決定モジュール304は、上記オブジェクトを追い抜くと決定することができ、一方、計画モジュール305は、上記オブジェクトを左側から追い抜くかまたは右側から追い抜くかを決定することができる。計画と制御データは、計画モジュール305によって生成され、車両300が次の移動サイクル(例えば、次のルート/経路区間)にはどのように移動するかを記述する情報を含む。例えば、計画および制御データは、車両300が30マイル/時間(mph)の速度で10メートル移動し、その後25mphの速度で右側車線に変更するように指示することができる。
【0045】
制御モジュール306は、計画および制御データに基づいて、計画および制御データにより限定されたルートまたは経路に従って、適切なコマンドまたは信号を車両制御システム111に送信することにより、自律走行車を制御し運転する。上記計画および制御データは、経路またはルートに沿って異なる時点で適切な車両設置または運転パラメータ(例えば、スロットル、制動、およびターニングコマンド)を使用して車両をルートまたは経路の第1の地点から第2の地点まで運転するのに十分な情報を含む。
【0046】
一つの実施形態において、計画段階は、例えば、時間間隔が100ミリ秒(ms)の周期など、複数の計画周期(コマンドサイクルともいう)で実行される。計画周期またはコマンドサイクルのそれぞれについて、計画および制御データに基づいて一つまたは複数の制御コマンドを発する。すなわち、100msごとに、計画モジュール305は、例えば、目標位置およびADVが目標位置に到達するのに必要な時間を含む次のルート区間または経路区間を計画する。或いは、計画モジュール305は、更に具体的な速度、方向および/または操舵角などを規定することもできる。一実施形態では、計画モジュール305は、次の所定の期間(例えば、5秒)のためにルート区間または経路区間を計画する。各計画サイクルについて、計画モジュール305は、前の周期で計画された目標位置に基づいて、現在のサイクル(例えば、次の5秒)のための目標位置を計画する。次に、制御モジュール306は、現在のサイクルの計画および制御データに基づいて、一つまたは複数の制御命令(例えば、スロットル、制動、ステアリング制御コマンド)を生成する。
【0047】
なお、決定モジュール304および計画モジュール305は、集積モジュールとして一体化されてもよい。決定モジュール304/計画モジュール305は、自律走行車の運転経路を決定するために、ナビゲーションシステムまたはナビゲーションシステムの機能を具備することができる。例えば、ナビゲーションシステムは、自律走行車が下記の経路に沿って移動することを実現するための一連の速度および進行方向を決定することができる。前記経路では、自律走行車が最終的な目的地に通じる走行車線に基づく経路に沿って進行するとともに、感知された障害物を実質的に回避できる。目的地は、ユーザインターフェースシステム113を介したユーザの入力に応じて設定することができる。ナビゲーションシステムは、自律走行車が走行していると同時に走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車のための運転経路を決定するために、GPSシステムおよび一つまたは複数の地図からのデータ(感知モジュール302によって生成されるか、または予め保存/ダウンロードされる)を組み込むことができる。
【0048】
決定モジュール304/計画モジュール305は、自律走行車の環境における潜在的な障害物を認識、評価、回避または他の方法で追い抜くための、衝突防止システムまたは衝突防止システムの機能を更に含むことができる。例えば、衝突防止システムは、制御システム111における一つまたは複数のサブシステムを動作させることで、ステアリング動作、カーブ走行動作、制動動作などを行うことによって、自律走行車のナビゲーション中の変更を実現することができる。衝突防止システムは、周囲の交通モード、道路状況などに応じて実現可能な障害物回避動作を自動的に決定することができる。衝突防止システムは、自律走行車が方向変更して進入しようとする隣接領域において、他のセンサーシステムにより車両、建築障害物などが検出された時にステアリング動作を行わないように構成されることができる。衝突防止システムは、使用可能で且つ自律走行車の乗員の安全性を最大化させる動作を自動的に選択することができる。衝突防止システムは、自律走行車の客室内に最小値の加速度を発生させると予測される回避動作を選択することができる。
【0049】
ルーティングモジュール307は、例えば、地図情報(例えば、道路区間の情報、道路区間の車線の情報と車道から縁石までの距離などの情報)から参照ルートを生成することができる。例えば、道路は{A、B、C}セクションまたは区間に分けて、三つの道路区間を示すことができる。道路区間Aの三つの車線は、{A1、A2、及びA3}で列挙することができる。参照ルートに沿う基準点を生成することにより参照ルートを生成する。例えば、車両車線に対して、ルーティングモジュール307は、地図データ(感知モジュール302によって生成されるか、または予め保存/ダウンロードされる)により提供される車両車線の二つの対向する縁石または端部の中間点を接続することができる。異なる時点で車両が車線で走行することを示す車両の収集されたデータポイントの中間点と機械学習データに基づいて、ルーティングモジュール307は、車両車線の所定アプローチ内で収集したデータポイントのサブセットを選択し、収集したデータポイントのサブセットの中間点に基づいて平滑化関数を適用することにより、基準点を算出することができる。
【0050】
基準点または車線基準点に基づいて、ルーティングモジュール307は、基準点に対して補間により基準線を生成、生成された基準線を、車両車線を制御するためのADVの基準線とする。いくつかの実施形態において、基準線を表示する基準点のリストと道路区間リストは、リアルタイムでADVにアップロードされて、ADVがADVの地理位置と走行方向に沿って基準線を作成するようにする例えば、一つの実施形態では、ADVは近づく前方の道路区間の経路区間識別子及び/またはADVに基づいたGPSの位置を表示することを通じて、パス区間のためのルーティングサービスを要求して基準線を生成する。パス区間識別子に基づいて、ルーティングサービスは、ADVの基準点リストに返され、前記基準点のリストは、注視する道路区間のすべての車線の基準点を含む。ADVは、パス区間のための車線の基準点を捜索して、車両車線のADVを制御するための基準線を作成することができる。
【0051】
盗難感知モジュール308は、センサーシステム115により収集されたセンサーデータを分析し、ADVの所定のアクセス範囲内にある人が、人間障害物であるか、またはADVから盗みを働く者なのか、またはADVを丸ごと持ち去る者なのかを検出するように構成される。盗難感知モジュール308は、人の行動に応じて、一組の盗難検出アルゴリズムまたは盗難予測モジュール313を使用して、盗難検出を実行することができる。
【0052】
盗難防止システム
図4は、一つの実施形態に係る貨物を輸送するためのADVの例示的な盗難防止システムを示す。
図4に示されたように、盗難防止システム400は、ADV101に設けることができる。一つの実施形態において、ADV101は、例えば、卸売業者から小売まで、または食料品雑貨店から個人の家までの貨物輸送に用いることができる。
【0053】
一つの実施形態において、盗難防止システム400は、センサーシステム115と、警報器415と、盗難感知モジュール308と、データベース418とを含んでもよい。センサーシステム115は、複数のセンサーを含んでもよく、例えば、一つまたは複数のカメラ211、重量計411(例えば、圧力センサー)と動きセンサー413(移動(motion)センサーでも呼ばれ、例えば加速度計、IMU)である。
【0054】
カメラ211は、ADVの所定のアクセス範囲内の移動オブジェクト(例えば、人)のデータを捕捉するように構成される。捕捉されたデータは、デジタルイメージ、ビデオ、及びオーディオを含む複数のフォーマットで表してもよい。一つまたは複数の要素に基づいて、ADVの所有者のニーズ、ADVが通常動作している環境、及び同じエリアで動作しているADV及び類似のADVが以前に捕捉された移動オブジェクトの活動を含む所定のアクセス範囲を設定することができる。例えば、カメラはADVの5メートルの範囲内で移動オブジェクトのデータを捕捉するように構成さてもよい。
【0055】
重量計411は、ADV101に装着され、ADVの重量をリアルタイムで検出することができる。例えば、重量計411は、ADVの各部位に設置された一つまたは複数の圧力センサーを含み、ADVの重量変化を検出することができる。動きセンサー413は、加速度計のようにADVの動きをリアルタイムで検出することができる。ADVの動きまたは重量のリアルタイムのデータは、単独で使用し、またはカメラ211を介して捕捉されたデータと組み合わせて使用して、ADVの所定のアクセス範囲内の移動オブジェクトの潜在的な窃盗行動を検出することができる。
【0056】
警報器415は、ADVに設置された周辺機器であり、大きな音を発して予定目的地へ通知を送信するものであってもよい。一つの実施形態において、警報器415は、大きな音を発する警報ラッパを含んでもよい。警報器415は、ネットワークインターフェイスに接続され、警報ごとの関連データを警報応答センターに送信することができる。各警報に関連するデータは、移動オブジェクト(例えば、人)の顔画像と、窃盗行動に係るイメージセットと、窃盗行動の発生位置を示すGPS信号を含むことができる。警報器415は、ADVの不規則動きが検出された場合、例えばADVがまるごと持ち去った動きを示す場合、ネットワークを介してGPS信号やイメージを連続的に警報応答センターに送信することができる。
【0057】
一つの実施形態において、データベース418は、盗難記録427と、イメージセット429と、捕捉されたセンサーデータ431とを含む異なるタイプのデータを記憶(格納)するのに用いられることができる。各種のタイプのデータは、いずれも1つまたは複数のリストに記憶(格納)することができる。盗難記録427は、少なくとも一度の窃盗を働いた人を含むブラックリストを示すようにしてもよい。上記ブラックリストは、ブラックリストにおける人の個人データと、少なくとも一枚の顔イメージとを含む。イメージセット429は、人の移動行動を記述する一つまたは複数のイメージセットを含むことができ、盗難検出ルールまたはアルゴリズム313の一部を構成するようにしてもよい。センサーデータ431は、所定の時間帯内(例えば、過去6ヶ月以内)でセンサーによって捕捉されたすべてのセンサーデータを含んでもよい。
【0058】
一つの実施形態において、センサーデータ431は、イメージセット419を更新するのに用いられることができ、機械学習エンジン122により、可能な行動を検出するためのアルゴリズムを構成し、またはこの種の目的のための従来のアルゴリズムを最適化するのに用いられ、上記アルゴリズムは、盗難検出アルゴリズムまたはモジュール124またはアルゴリズム313を更新するのに用いられることができる。
【0059】
設定可能な時間間隔で盗難記録427とイメージセット429のリストを記憶(格納)しリモートデータベースと同期して、一つまたは複数の所定のエリアで動作されている他のADVの新しく作成された盗難記録とイメージセットを利用して、盗難記録427とイメージセット429とを更新することができる。
【0060】
図4に示されたように、盗難感知モジュール308は、様々なモジュールを含むことができ、顔感知モジュール417と、行動検出モジュール419と、行動判断モジュール421と、警報制御モジュール423と、センサーデータレコーダモジュール425とを含むことができる。これらのモジュールのうちのそれぞれは、いずれもADV内のコンピューティングデバイス上で実行されるソフトウェアモジュールであってもよい。一つの実施形態において、コンピューティングデバイスは、Linux(登録商標)オペレーティングシステムがインストールされた産業用パーソナルコンピュータ(IPC)であってもよい。代りに、モジュール417乃至モジュール425のうちの少なくとも一部は、ハードウェアまたはファームウェアで実現される。なお、具体的なアプリケーションに応じて、これらのモジュールのうちの少なくとも一部または全部は、より少ないモジュールまたはモジュールの一つに集積することができる。
【0061】
カメラ211は、センサーデータを提供して顔感知モジュール417及び行動検出モジュール419に供してもよい。顔感知モジュール417は、人の画像データを事前に処理し、ブラックリストからこの人の顔の特徴を捜索してマッチングをすることができる。マッチしたものが見つかった場合、警報制御モジュール423にフラグを送信し、前記警報制御モジュール423は、直ちに警報を送信するように警報器415に促し、または警報415が警報を送信する前に一つまたは複数の付加的な窃盗の識別子を待ち受ける。行動検出モジュール419は、捕捉された人のイメージセットを使用して、捕捉されたイメージセットとデータベース418中のイメージセット429中のイメージセットとマッチする者が存在するか否かを決定することができる。イメージセットがマッチした者は、この者が更なる分析が必要な移動行動を実行したことを示す。
【0062】
一つの実施形態において、このような移動行動が検出された後、行動判断モジュール421は、トレーニング履歴イメージセットに由来のプロセスまたはアルゴリズムを使用して、移動行動に基づいて、この人がADVの貨物の一部を持ち去る可能性があるか否かを決定する。一つの実施形態において、イメージ及び/または他のセンサーデータ(例えば、圧力センサーデータは、加速度計データ)から一組の特徴を抽出することができる。上記一組の特徴を盗難予測モジュールにフィードバックして、これらの行動が所定の窃盗行動に係るか否かを決定するようにする。一組の過去の既知の窃盗行動を使用して、盗難予測をトレーニングしたりして、またはモジュールを決定することができる。
【0063】
説明的な例示として、人が手ぶらでADVに接近し、手に貨物を一個持ってADVを離れていくイメージセットを表示することにより、この人の更なる分析が必要であると認識された移動行動を示す場合、行動判断モジュール421の使用するアルゴリズムまたはプロセスは、この人の意図がADVの貨物の少なくとも一部を持ち去ることを決定する。
【0064】
一つの実施形態において、一つまたは複数の付加的な識別子は、単独で使用するか、またはアルゴリズムまたはプロセスと組み合わせて使用することができ、移動行動に基づいてこの人の意図を決定する。
【0065】
例えば、更なる分析が必要である人の移動行動が検出された後、行動検出モジュール419が重量計411から、ADVの重量損失が所定の閾値を超えたことを示すリアルタイム重量データを受信すると、行動検出モジュール419は、この人の意図がADVの貨物の少なくとも一部を持ち去ろうとすることを決定することができ、警報制御モジュール423に警報を送信するように指示することができる。このほかに、警報メッセージは、例えば、法的執行機関またはADVオペレータ組織のような集中型の施設に送信されてもよい。
【0066】
一つの実施形態において、この人が窃盗の意図を決定するための他の識別子は、この人がブラックリストに含まれていることと、ADVの不規則動きはADVが持ち去られる可能性があることを示すこととを含んでもよい。例えば、人が態度不明な方法で車両に接近し、すなわち、車両にゆっくり接近する同時に周りをのぞいたり歩き回わったりする場合、この人は車両の所有者または権利のある者ではない可能性がある。他方で、この人がまっすぐに車に向かって接近すると、この特定の人は、所有者または権利のある者である可能性がある。この人が実行する他の動作に従って、このような行動を用いて、これらの動作が窃盗の動作に関連するか否かを決定する。
【0067】
いくつかの状況で、車両から貨物を運んで行った人は、窃盗ではない可能性もある。この人は車から荷物を卸す権利のある者である可能性もある。盗難検出システムは、ある人が貨物を運んで行ったという事実のみに依存しないようにすることができる。上記状況に応じて捕捉したすべての行動データに従って決定する必要がある。捕捉された人の動作や動きのイメージから一組の特徴を抽出して、この人の行動を決定することができる。特徴を分析して結論を得ることができる。一つの実施形態において、抽出された上記一組の特徴は、機械学習エンジンによって生成された盗難予測モジュールにフィードバックされ、このような行動が窃盗の動作を実行する可能性があるか否かを予測する。上述したように、例えば、機械学習エンジン122のような機械学習エンジンを利用して、大量のオフラインの窃盗の実行トレーニングデータに基づいて、盗難予測モジュールをトレーニングし及び生成することができる。
【0068】
図5は、一つの実施形態に係る貨物を輸送するためのADVの盗難防止の例示的なプロセスを示す。プロセス500は、処理ロジックによって実行され、上記処理ロジックは、ソフトウェア、ハードウェア、またはそれらの組み合わせを含むことができる。
図5に示されたプロセス500は、
図4で述べた例示的な盗難防止システム(例えば、盗難感知モジュール308)により実行されてもよい。
【0069】
図5に示されたように、動作511において、ADVの中の盗難感知モジュールは、複数のセンサーから移動オブジェクトのセンサーデータを受信し、上記移動オブジェクトは、貨物を輸送するためのADVの所定のアクセス範囲内にある人を示す。センサーデータは、センサーによって捕捉された移動オブジェクトの一連のイメージを含むことができる。
【0070】
動作513において、盗難感知モジュールは、一組の既知の移動行動に従って、センサーデータに基づいて移動オブジェクトの移動行動を決定する。移動行動は、更なる分析が必要である移動行動を移動オブジェクトが実行したことを示す。移動行動を決定するとき、盗難感知モジュールは、センサーデータ中のイメージセットとデータベースに記憶された一つまたは複数のイメージセットとの間のマッチングを検索することができる。ここで、イメージセットは、一組の既知の行動を示す。データベースは、設定可能な固定の時間間隔でリモートデータベースと同期してアップデート情報を取得することができる。
【0071】
動作515において、この人が更なる分析が必要である移動行動を実行した移動行動を検出した後、盗難感知モジュールは、上記移動行動に基づいて、この人の意図がADVの貨物の少なくとも一部を持ち去ろうとするか否かを決定する。このような意図を決定した場合、盗難感知モジュールは、「窃盗」と「非窃盗」に分類されたイメージセットのトレーニング履歴イメージセットに由来のアルゴリズムまたはプロセスを使用することができる。代りに、盗難感知モジュールは、単一または複数の付加的な識別子を使用することができ、上記識別子は、人がブラックリストに含まれていること、ADVの顕著な重量損失及び/またはADVの不規則動きはADVが持ち去ることを示すことを含む。
【0072】
動作517において、盗難感知モジュールは、この人の意図がADVの貨物の少なくとも一部を持ち去ろうとすることを決定したことに応答して、警報制御モジュールが所定目的地に警報を送信するように指示する。
【0073】
図6は、本開示の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム1500は、上記プロセス又は方法のいずれか(例えば、
図1の感知及び計画システム110、及びサーバー103~104のいずれか)を実行する上記任意のデータ処理システムを示してもよい。システム1500は、複数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路(IC)、集積回路の一部、分散型電子装置又は回路基板(例えば、コンピュータシステムのマザーボード又はアドインカード)に適用された他のモジュール、又は他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現することができる。
【0074】
さらに、システム1500は、コンピュータシステムの複数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる構成を有してもよい。システム1500は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバー、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント(PDA)、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント(AP)又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で1つ(又は複数)のコマンドセットを実行することにより本明細書に説明される任意の1種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。
【0075】
一実施形態において、システム1500は、バス又はインターコネクタ1510によって接続されたプロセッサ1501、メモリ1503及び装置1505~1508を備える。プロセッサ1501は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサを示してもよい。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)等のような1つ又は複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ1501は、複雑コマンドセット計算(CISC)マイクロプロセッサ、縮小コマンドセットコンピュータ(RISC)マイクロプロセッサ、超長コマンド語(VLIW)マイクロプロセッサ、又は他のコマンドセットを実現するプロセッサ、又はコマンドセットの組合せを実現するプロセッサであってもよい。プロセッサ1501は、さらに、専用集積回路(ASIC)、セルラー又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、グラフィックプロセッサ、ネットワークプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような1つ又は複数の専用プロセッサ、あるいはコマンド処理可能な任意の他のタイプのロジックであってもよい。
【0076】
プロセッサ1501(超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい)は、前記システムの各種の構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ(SoC)として実装することができる。プロセッサ1501は、本明細書に説明される動作及びステップを実行するためのコマンドを実行するように構成される。また、システム1500は、選択可能なグラフィックサブシステム1504と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム1504は、ディスプレイコントローラ、グラフィックプロセッサ及び/又は表示装置をさらに備えてもよい。
【0077】
プロセッサ1501は、メモリ1503と通信してもよく、メモリ1503は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ1503は、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、スタティックRAM(SRAM)又は他のタイプのメモリのような1つ又は複数の揮発性記憶装置(又はメモリ)を備えてもよい。メモリ1503は、プロセッサ1501又は任意の他の装置により実行されるコマンドシーケンスを含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア(例えば、基本入出力システム又はBIOS)及び/又はアプリケーションの実行可能なコード及び/又はデータは、メモリ1503にロードされて、プロセッサ1501により実行されてもよい。オペレーティングシステムは、ロボットオペレーティングシステム(ROS)、Microsoft(登録商標)会社からのWindows(登録商標)オペレーティングシステム、アップル会社からのMacOS(登録商標)/iOS(登録商標)、Google(登録商標)会社からのAndroid(登録商標)、Linux(登録商標)、Unix又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。
【0078】
システム1500は、I/Oデバイス、例えば装置1505~1508をさらに備えてもよく、ネットワークインターフェースデバイス1505、選択可能な入力デバイス1506及び他の選択可能なI/Oデバイス1507を備えてもよい。ネットワークインターフェースデバイス1505は、無線送受信機及び/又はネットワークインターフェースカード(NIC)を備えてもよい。前記無線送受信機は、WiFi(登録商標)送受信機、赤外送受信機、ブルートゥース(登録商標)送受信機、WiMax送受信機、無線セルラーホン送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)又は他の無線周波数(RF)送受信機又はそれらの組合せであってもよい。NICは、イーサネット(登録商標)カードであってもよい。
【0079】
入力デバイス1506は、マウス、タッチパッド、タッチスクリーン(それは表示装置1504と集積されてもよい)、ポインタデバイス(例えばスタイラス)及び/又はキーボード(例えば、物理キーボード、又はタッチスクリーンの一部として表示された仮想キーボード)を備えてもよい。例えば、入力デバイス1506は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術(容量式、抵抗式、赤外式及び表面音波の技術を含むが、それらに限定されない)のいずれか、及びタッチスクリーンの1つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いて、そのタッチ点及び移動又は断続を検出することができる。
【0080】
I/Oデバイス1507は音声装置を備えてもよい。音声装置は、スピーカー及び/又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び/又は電話機能のような音声サポートの機能を促進する。他のI/Oデバイス1507は、汎用シリアルバス(USB)ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインターフェース、バスブリッジ(例えば、PCI~PCIブリッジ)、センサー(例えば、加速度計、ジャイロスコープ、磁力計、光センサー、コンパス、近接センサー等のような動きセンサー)又はそれらの組合せをさらに備えてもよい。装置1507は、結像処理サブシステム(例えば、カメラ)をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能(例えば、写真及びビデオクリップの記録)を促進するための電荷カップリング装置(CCD)又は相補型金属酸化物半導体(CMOS)光学センサーのような光学センサーを備えてもよい。あるセンサーは、センサーハブ(図示せず)によってインターコネクタ1510に接続されてもよく、キーボード又は温度センサーのような他の装置は、埋め込みコントローラ(図示せず)により制御されてもよく、これはシステム1500の特定の設定又は設計により決められる。
【0081】
データ、アプリケーション、1つ又は複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量メモリ(図示せず)が、プロセッサ1501に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置(SSD)によって実現されてもよい。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ(HDD)で実現されてもよく、少量のSSD記憶量は、SSDキャッシュとして、停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現してもよい。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース(SPI)によってプロセッサ1501に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのBIOS及び他のファームウェアを備えてもよい。
【0082】
記憶装置1508は、任意の1種又は複数種の本明細書に記載の方法又は機能を実現する1つ又は複数のコマンドセット又はソフトウェア(例えば、モジュール、ユニット及び/又はロジック1528)が記憶されるコンピュータアクセス可能な記憶媒体1509(機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる)を備えてもよい。処理モジュール/ユニット/ロジック1528は、例えば、計画モジュール304、制御モジュール305、盗難感知モジュール308および/または機器学習エンジン122のような上記構成要素のいずれかを示してもよい。処理モジュール/ユニット/ロジック1528は、さらにデータ処理システム1500、メモリ1503及びプロセッサ1501により実行される期間に、メモリ1503内及び/又はプロセッサ1501内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ1503及びプロセッサ1501も、機器アクセス可能な記憶媒体を構成する。処理モジュール/ユニット/ロジック1528は、さらにネットワークによってネットワークインターフェースデバイス1505を経由して送受信されてもよい。
【0083】
コンピュータ可読記憶媒体1509は、以上に説明したいくつかのソフトウェア機能の一部を永久的に記憶してもよい。コンピュータ可読記憶媒体1509は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記1つ又は複数のコマンドセットが記憶される単一の媒体又は複数の媒体(例えば、集中型又は分散型データベース、及び/又は関連するキャッシュ及びサーバー)を備えていることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらにコマンドセットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記コマンドセットは、機器により実行されかつ前記機器に本開示の任意の1種又は複数種の方法を実行させることができる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
【0084】
本明細書に記載された処理モジュール/ユニット/ロジック1528、構成要素及び他の特徴は、ディスクリートハードウェア構成要素として実装されてもよく、又はハードウェア構成要素(例えばASICS、FPGA、DSP又は類似の装置)の機能に統合されてもよい。さらに、処理モジュール/ユニット/ロジック1528は、ハードウェア装置内のファームウェア又は機能回路として実装されてもよい。また、処理モジュール/ユニット/ロジック1528は、ハードウェア装置及びソフトウェア構成要素の任意の組合せで実装されてもよい。
【0085】
なお、システム1500は、データ処理システムの各種の構成要素を有することを示しているが、構成要素の相互接続のいかなる特定のアーキテクチャー又は方式を示すものではないことに注意すべきであり、それはこのような詳細が本開示の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバー及び/又は他のデータ処理システムは、本開示の実施形態と共に使用されてもよい。
【0086】
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理技術分野における当業者が、自己の仕事の内容を所属分野の他の当業者に最も効果的に伝えるために使用する方法である。ここで、アルゴリズムは、通常、所望の結果につながる自己矛盾のない動作シーケンス(sequence of operations)と考えられる。これらの動作とは、物理量に対して物理的動作を必要とする動作を指す。
【0087】
ただし、これらの全ての用語及び類似の用語は、いずれも適切な物理量に関連付けられ、かつこれらの量の記述のための便宜上のものにすぎないことに注意すべきである。特に断らない限り、本願の全体にわたって用語(例えば、添付の特許請求の範囲に記載された用語)による説明は、コンピュータシステム又は類似の電子計算装置の動作及び処理に関するものであり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリにおける物理(例えば、電子)量として示されたデータを制御し、かつ前記データを、コンピュータシステムメモリ又はレジスタ又は他のこの種の情報記憶装置、伝送又は表示装置内において類似に物理量として示された他のデータに変換することを理解すべきである。
【0088】
本開示の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非揮発性のコンピュータ可読媒体に記憶(格納)される。機器可読媒体は、機器(例えば、コンピュータ)可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読(例えば、コンピュータ可読)媒体は、機器(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ)を備える。
【0089】
上記図面に示される手順又は方法は、ハードウェア(例えば、回路、専用ロジック等)、ソフトウェア(例えば、非揮発性のコンピュータ可読媒体に具現化される)、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。
【0090】
本開示の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載された本開示の実施形態の教示を実現できることを理解すべきである。
【0091】
以上の明細書において、本開示の具体的な例示的な実施形態を参照しながらその実施形態を説明した。添付の特許請求の範囲に記載された本開示のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能であることは明らかである。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。