知財求人 - 知財ポータルサイト「IP Force」
▶ ビー．ジー．ネゲヴ テクノロジーズ アンド アプリケーションズ リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-10
(45)【発行日】2022-02-21
(54)【発明の名称】ユニバーサル自律型ロボット運転システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20220214BHJP
G01C 21/34 20060101ALI20220214BHJP
G08G 1/09 20060101ALI20220214BHJP
G08G 1/13 20060101ALI20220214BHJP
B60W 50/10 20120101ALI20220214BHJP
B60W 50/14 20200101ALI20220214BHJP
B60W 30/095 20120101ALI20220214BHJP
B60W 40/06 20120101ALI20220214BHJP
B60W 40/12 20120101ALI20220214BHJP
【ＦＩ】
G08G1/16 C
G01C21/34
G08G1/09 F
G08G1/13
B60W50/10
B60W50/14
B60W30/095
B60W40/06
B60W40/12
【請求項の数】
21
(21)【出願番号】P 2017557308
(86)(22)【出願日】2016-05-02
(65)【公表番号】
(43)【公表日】2018-07-26
(86)【国際出願番号】 IL2016050453
(87)【国際公開番号】W WO2016178213
(87)【国際公開日】2016-11-10
【審査請求日】2019-04-18
(31)【優先権主張番号】62/156,911
(32)【優先日】2015-05-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517379828
【氏名又は名称】ビー．ジー．ネゲヴ テクノロジーズ アンド アプリケーションズ リミテッド
【氏名又は名称原語表記】Ｂ．Ｇ．Ｎｅｇｅｖ Ｔｅｃｈｎｏｌｏｇｉｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｌｔｄ．
(74)【代理人】
【識別番号】110001302
【氏名又は名称】特許業務法人北青山インターナショナル
(72)【発明者】
【氏名】ガッターマン，ヒューゴ
(72)【発明者】
【氏名】イェヒエル，オデッド
【審査官】白石 剛史
(56)【参考文献】
【文献】特表２０１２－５０１２６９（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１３－００８５２３５（ＫＲ，Ａ）
【文献】特開２００４－０９３３５４（ＪＰ，Ａ）
【文献】特開２０１４－１７４０８１（ＪＰ，Ａ）
【文献】中国特許出願公開第１０４００２８１８（ＣＮ，Ａ）
【文献】特開２０１３－０７８１５１（ＪＰ，Ａ）
【文献】特開２０００－３３８００６（ＪＰ，Ａ）
【文献】特開２００７－１１２４００（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／１６
Ｇ０１Ｃ ２１／３４
Ｇ０８Ｇ １／０９
Ｇ０８Ｇ １／１３
Ｂ６０Ｗ ５０／１０
Ｂ６０Ｗ ５０／１４
Ｂ６０Ｗ ３０／０９５
Ｂ６０Ｗ ４０／０６
Ｂ６０Ｗ ４０／１２
(57)【特許請求の範囲】
【請求項1】
車両内に配置されるように構成され車両を目的地まで走行させるためのロボットシステムであって、前記ロボットシステムが、支持体であって、前記ロボットシステムを前記車両の運転席に容易かつ迅速に取り付けるように構成されているとともに、前記車両のアクチュエータの操作状態を制御可能に変更するように構成されたアクチュエータ操作システムを支持するように構成された支持体と、
前記支持体に取り付けられた撮像システムであって、車両の内部の少なくとも一部の画像データと、車両の外部の周囲の画像データとを取得するように構成され動作可能な撮像システムと、
前記支持体に取り付けられた制御システムであって、前記撮像システムによって取得された画像データを処理および分析し、車両の内部の少なくとも一部の画像データ内の車両状態インジケータの画像データを識別し、ここから少なくとも車両状態データを特定し、前記車両の外部の周囲の画像データから道路状況データを特定し、前記少なくとも車両状態データと前記道路状況データとを分析して、前記道路に沿って前記車両を走行させるために前記アクチュエータ操作システムを操作する制御命令を生成するように構成され動作可能な制御システムと、を具え、
前記支持体が、前記アクチュエータ操作システムを収容するとともに前記車両の運転席に固定されるように構成されたベースアセンブリと、前記撮像システムおよび制御システムを収容するとともに前記運転席の背中支持部分に固定されるように構成された垂直支持アセンブリと、を具えることを特徴とするシステム。
【請求項2】
請求項１のシステムにおいて、前記制御システムは、前記車両の現在位置を示す位置データおよび道路データを受信し、当該位置データおよび道路データに少なくとも部分的に基づいて前記車両を目的地まで走行させるためのルートを決定するように構成され動作可能であることを特徴とするシステム。
【請求項3】
請求項２のシステムにおいて、前記車両の現在位置を特定するように構成され動作可能な位置決めユニットを具えることを特徴とするシステム。
【請求項4】
請求項２または３のシステムにおいて、無線通信ユニットであって、当該無線通信ユニットを介して少なくとも前記道路データを受信するために遠隔のコンピュータシステムとデータ通信するように構成され動作可能な無線通信ユニットを具えることを特徴とするシステム。
【請求項5】
請求項１乃至４のいずれかのシステムにおいて、前記車両の目的地を示す前記目的地のデータを少なくとも受信するために、ユーザとのデータ通信のためのユーザインタフェースユニットを具えることを特徴とするシステム。
【請求項6】
請求項５のシステムにおいて、前記ユーザインタフェースユニットは、ユーザデバイスとデータ通信を行うよう構成され動作可能なデータ通信デバイスを具え、当該データ通信デバイスを介して前記位置データおよび道路データの少なくとも一方が受信されることを特徴とするシステム。
【請求項7】
請求項５または６のシステムにおいて、前記ユーザインタフェースユニットを介してユーザから可聴命令を受信するための音声入力装置を具え、前記可聴命令は、前記目的地および車両の操作命令のうちの少なくとも１つを示すことを特徴とするシステム。
【請求項8】
請求項５乃至７のいずれかのシステムにおいて、前記ユーザインタフェースユニットを介して可聴情報を前記ユーザに出力するための音声出力装置を具えることを特徴とするシステム。
【請求項9】
請求項１のシステムにおいて、前記アクチュエータ操作システムは、少なくとも、ブレーキペダル操作システム、アクセルペダル操作システム、およびステアリングホイール操作システムを具えることを特徴とするシステム。
【請求項10】
請求項９のシステムにおいて、前記ステアリングホイール操作システムは、前記ステアリングホイール操作システムの角運動を防止しつつ、その並進軸の少なくとも１つにおいて前記ステアリングホイール操作システムの動きを許容するように、前記支持体に弾性的に連結されていることを特徴とするシステム。
【請求項11】
請求項９または１０のシステムにおいて、前記アクチュエータ操作システムがさらに、前記車両の少なくとも１つのギアシステムを作動させるように構成され作動可能な少なくとも１つのレバー操作システムを具えることを特徴とするシステム。
【請求項12】
請求項１乃至１１のいずれかのシステムにおいて、前記撮像システムは、前記車両の制御パネルの状態インジケータを示す画像データを取得するとともに、前記車両の前側の外部の周囲を示すフロント画像データを取得するように構成されていることを特徴とするシステム。
【請求項13】
請求項１２のシステムにおいて、前記撮像システムは、前記車両の制御パネルの状態インジケータを示す画像データを取得するためのパネル撮像ユニットと、前記車両の前側の外部の周囲を示すフロント画像データを取得するためのフロントビュー撮像装置とを含む少なくとも２つの撮像ユニットを具えることを特徴とするシステム。
【請求項14】
請求項１２または１３のシステムにおいて、前記撮像システムが、前記車両の外部の周囲のリアビュー画像データを取得するためのバック画像ユニットを含むことを特徴とするシステム。
【請求項15】
請求項１４のシステムにおいて、前記バック画像ユニットが、少なくとも部分的に車両のリアビューミラーを介して、前記車両の外部の周囲のリアビュー画像データを取得するように構成されていることを特徴とするシステム。
【請求項16】
請求項１２乃至１５のいずれかのシステムにおいて、前記撮像システムがさらに、前記車両の外部の周囲の左側視野と、前記車両の左側ミラーに反射された左側後方ビューとの少なくとも一方を示す画像データを取得し、前記車両の外部の周囲の右側視野と、前記車両の右側ミラーに反射された右側後方ビューとの少なくとも一方を示す画像データを取得するように構成されていることを特徴とするシステム。
【請求項17】
請求項１６のシステムにおいて、前記撮像システムは、前記車両の外部の周囲の左側視野と、前記車両の左側ミラーに反射された左側後方ビューとの少なくとも一方を示す画像データを取得するための左側撮像ユニットと、前記車両の外部の周囲の右側視野と、前記車両の右側ミラーに反射された右側後方ビューとの少なくとも一方を示す画像データを取得するための右側撮像部とを具えることを特徴とするシステム。
【請求項18】
請求項１乃至１７のいずれかのシステムを使用して車両を目的地に自律的に走行させる方法であって、前記ロボットシステムを前記車両の運転席に固定するステップと、
前記撮像システムから、少なくとも前記車両状態インジケータおよび前記車両の外部の周囲を示す画像データを受信するステップと、
受信された画像データ内で少なくとも前記状態インジケータの状態と前記車両の外部の周囲内の物体とを識別し、識別された状態および物体に基づいて車両状態データおよび道路状況データをそれぞれ生成するステップと、
前記車両状態データおよび前記道路状況データに少なくとも部分的に基づいて、前記アクチュエータ操作システムへの制御命令を生成するステップとを含むことを特徴とする方法。
【請求項19】
請求項１８の方法において、前記車両の現在位置を示す位置データを受信するステップと、前記位置データに基づいて前記目的地までの経路を決定するステップとを含むことを特徴とする方法。
【請求項20】
請求項１８または１９の方法において、前記識別することは、前記画像データ内で車線および道路カーブの少なくとも一方を検出し、これを示すとともに運転する道路上で前記車両をナビゲートするのに利用可能なレーンデータを生成するステップを含むことを特徴とする方法。
【請求項21】
請求項１８乃至２０のいずれかの方法において、前記識別された物体のうちの少なくとも１つを追跡し、その軌跡を示す軌跡データを生成するステップと、前記軌跡データを、ルートの決定および前記制御命令の生成の少なくとも一方に使用するステップとを含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、ロボット運転システムの分野に属する。
【背景技術】
【0002】
自動車の運転は比較的退屈で、反復的で、時間がかかり（ＫＰＭＧの「自動運転車両：次の革命」２０１２年の報告書によると平均的な通勤者で毎年約２５０時間）、（マンパワーの面で）高価なタスクである。自動車事故の約９３％は人的ミスによるものであり、したがって自動車の運転は危険なタスクでもある。自動車事故は、毎年数千の犠牲者を出しており、入院、治療とケア、および車の損害に関する膨大な費用が発生する（ＫＰＭＧの報告書によれば、毎年数千億ドル）。
【0003】
ロボット運転システムが、人間の運転者を、例えば、車両性能の試験、軍事作業のためといった様々な異なるタスクおよび用途に置き換えるために開発されている。これまでに提案された解決法は、通常は実施するための費用が高く、陸上車両の運用する許可／認可を付与することは非常に困難である。
【0004】
いくつかの自動運転システムが特許文献で知られており、例えば、米国特許第４，７４２，７２０号、第５，１７２，５８９号、第５，２７０，６２８号、第５，３６３，０２７号、第５，３９４，７４３号、第５，８１６，１０６号、第５，８２１，７１８号、第７，６２８，２３９号および第８，０５１，９３６号がある。しかしながら、これらの自動運転システムは、所定の軌道／経路に沿って車両を駆動するために、人間のオペレータがシステムに制御および指示を与えることが必要であり、どの土地／車両でも使用できる汎用プラットフォームを提供するようには設計されていない。
【発明の概要】
【0005】
様々な地形／車両の種類／モデルに機械的に連結して、目的地に向かって車両を運転するために、そのアクチュエータ（ステアリングホイール、ペダルおよび／またはレバー）を操作することができるという意味で、汎用の自動運転システムが必要であった。また、自律的に車両を操作し、車両の制御および／またはコンピュータ化されたシステムとデータをやりとりすることなく、車両の操作タスクに人間が介入することなく所望の目的地に向けて運転する自動運転システムが求められていた。
【0006】
本発明は、重量が小さく、安価で、組み立て容易で、取り付けが容易な、陸上車両を操作して所望の目的地まで運転するように構成され且つ動作可能な汎用自律ロボットシステムを提供する。本発明のロボットシステムは、様々な陸上車両（例えば、セダン、バン、トラック、トラクターなど）の運転席に固定されるように構成され、且つ操作可能であり、車両のペダル、ステアリングホイールおよび／またはレバー（以下、アクチュエータと総称する）に機械的に連結され、車両の内部およびその外部周辺の画像データを連続的に取得して解析する。このロボットシステムは、取得された画像データを処理し、そこから車両および道路状況データを特定し、特定された車両および道路状況データに基づいて、制御オペレータ／命令を決定する。次に、システムは制御オペレータ／命令を、車両の１以上のアクチュエータの状態を変更するため、したがって目的地に向かって所定のルートに沿って車両を安全に運転するために使用する。
【0007】
本明細書で使用されるアクチュエータという用語は、例えば、限定しないが、ホイールステアリングシステム、ギアシステム、加速システム、ブレーキシステム、クラッチシステム、エンジン点火システム、車両照明システム、ワイパーシステム、ハンドブレーキシステムなどの車両の様々なシステムを操作するのに用いられる機械的制御（例えば、ステアリングホイール、ステアリングホイール、ステアリングホイールなど）をいう。
【0008】
本明細書で使用される状態インジケータという用語は、一般に、車両の制御パネルに提供されるような車両の状態を示す手段（例えば、速度計、エンジン温度インジケータ、エンジン角速度インジケータ、燃料レベルインジケータ、バッテリ充電レベルインジケータなど）をいう。
【0009】
道路状況データは、車両の外部環境の取得画像において識別された外部の障害物（例えば、近辺の車両／自転車、歩行者、安全地帯など）および／または交通規制標識／照明を示してもよい。道路状況データは、他のセンサによって取得された、および／または無線で受信された（例えば、無線インターネット通信を介して）、例えば限定しないが、交通負荷、気象条件、速度制限、特定の時間帯に特定の道路区間で適用可能な平均車速などを含んでもよい。
【0010】
車両状態データは、車両の制御パネルの取得画像内で識別された車両速度、モータ状態（温度、角速度）、燃料および／またはバッテリ状態などを示すことができる。任意で、そしていくつかの実施例では好ましくは、車両状態データの一部または全部は、ロボットシステムを自動車の制御バス（そのようなバスが存在する場合）に有線接続あるいは無線（例えば、ＣＡＮバス、すなわちコントローラエリアネットワークバス）に接続することにより、車両から直接受信してもよい。車両状態データは、ステアリングホイールの現在の状態（角変位）、ペダルの現在の状態および／またはレバーの現在の状態、バッテリ充電履歴など、他のセンサによって取得された、および／または無線で取り込まれた追加のデータを含むことができる。
【0011】
任意で、いくつかの実施例では好ましくは、ロボットシステムは、適切な入力装置を介してユーザから目的地を受信し、車両の現在位置から指示された目的地まで車両を走行させる経路を、システムの内部ストレージ、および／またはデータネットワークを介してアクセス可能なリモートデータストレージ／サービスから無線で取得されるナビゲーションデータに少なくとも部分的に基づいて、決定することができる。車両の現在位置は、任意の適切な位置決め技術（例えば、三角測量）を使用して特定されてもよいし、（例えばスマートデバイスを介して）ユーザによって提供されてもよい。好ましくは、ロボットシステムは、所望の目的地に向かって車両の移動を連続的に監視するための測位システム（例えば、全地球測位システム／ＧＰＳモジュール）および／または慣性計測ユニット（ＩＭＵ）を具える。
【0012】
いくつかの可能な実施例では、視覚判定技術を用いてルートに沿った車両の動きを監視してもよい。例えば、視覚オドメトリプロセスを使用して、車両の外部環境の画像のシーケンスを分析し、画像内の１または複数の静止物体を識別し、車両から識別された静止物体の距離を特定し、特定した距離に基づいて時間の関数として車両の移動を特定する。
【0013】
ルート決定プロセスは、例えば、限定しないが、道路状況データ（例えば、交通負荷）および／または車両状態データ（例えば、燃料および／またはバッテリ状態）など、乗車中にロボットシステムによって収集された追加情報を利用することができる。例えば、限定しないが、車両状態データが車両の燃料／バッテリ状態が低いことを示す場合、ロボットシステムは、車両のエネルギ源を補充するガソリンおよび／またはバッテリ充電／交換ステーションで１以上の停車を含む目的地への新たなルートを示すようにしてもよい。同様に、道路状況データが、決定されたルートに沿った交通負荷を示す場合、ロボットシステムは、より少ない負荷の道路を使用して目的地までの新しいルートを決定することができる。
【0014】
本書に開示される主題の発明的概念の１つは、車両を目的地へと運転するロボットシステムに関する。このロボットシステムは、車両内部に配置されるように構成され、車両を目的地まで走行させるために、撮像システムと制御システムとを利用する。システムは、撮像システムを用いて、車両の内部の少なくとも一部の画像データと、車両の外部環境の画像データとを取得する。撮像システムによって取得された画像データは、制御システムによって処理され、分析される。
【0015】
制御システムは、画像内で、車両状態インジケータの車両画像データの内部の少なくとも一部のデータを識別し、そこから少なくとも車両状態データを特定する。制御システムはまた、外部環境の画像データから道路状況データを特定する。制御システムはさらに、車両状態データおよび道路状況データの少なくとも１つを分析し、分析に基づいて、道路に沿って車両を運転するための制御命令を生成する。
【0016】
好ましくは、車両のアクチュエータに結合されたアクチュエータ操作システムが、制御ユニットによって生成された制御命令に従ってアクチュエータの動作状態を制御可能に変更するために使用される。
【0017】
任意で、およびいくつかの実施例では好ましくは、制御システムは、車両の現在位置を示す位置データと道路データを受信し、受信された位置および道路データに少なくとも部分的に基づいて車両を目的地まで走行させる経路を決定する。いくつかの実施例では、車両の現在位置を決定するために位置決めユニットが使用される。このシステムは、遠隔のコンピュータシステム（サーバ）とデータ通信するための無線通信ユニットをさらに具えてもよい。いくつかの実施例における制御システムは、無線通信ユニットを介して少なくとも道路データを受信するように構成されている。
【0018】
いくつかの実施例では、ユーザインターフェースユニットを用いてユーザとデータがやりとりされる。可能な応用例では、制御システムが、ユーザインターフェースユニットを介して少なくとも目的地データを受信するように構成される。任意で、およびいくつかの実施例では好ましくは、ユーザインターフェースユニットは、ユーザデバイスとデータを通信するために利用可能なデータ通信デバイスを具える。これにより、制御システムは、位置データおよび道路データのうちの少なくとも１つを受信するために、ユーザインターフェースユニットのデータ通信デバイスを使用することができる。変形例では、オーディオ入力装置を用いて、ユーザインタフェースユニットを介してユーザから音声命令が受信される。例えば、限定しないが、音声命令は、目的地および車両の操作命令の少なくとも１つを示す。さらに、オーディオ出力装置を用いて、ユーザインタフェースユニットを介して音声情報をユーザに出力してもよい。
【0019】
任意で、およびいくつかの実施例では好ましくは、ロボットシステムの様々な構成要素（例えば、撮像システム、制御システム、およびアクチュエータ操作システム）は、システムを車両の運転席に固定するように構成され動作可能な支持部材（例えば１以上の指示フレーム）に搭載される。
【0020】
可能な実施例では、アクチュエータ操作システムは、少なくともブレーキペダル操作システム、アクセルペダル操作システム、およびステアリング操作システムを含む。任意で、およびいくつかの実施例では好ましくは、ステアリングホイール操作システムは支持部材に弾性的に連結され、ステアリングホイール操作システムの角運動を防止しつつ、その並進軸の少なくとも１つにおいて動かせるようにする。可能な応用例では、アクチュエータ操作システムはさらに、車両の１以上のギアシステムを作動させるために使用する１以上のレバー操作システムを具える。しかしながら、このレバー操作システムは、ハンドブレーキ、ライト、ワイパ、および／または他の作動ノブ／スイッチおよび車両のレバーを作動させるために利用することもできる。
【0021】
撮像システムは、いくつかの実施例において、車両の制御パネルの状態インジケータを示す画像データを取得し、車両の前側の外部環境を示すフロント画像データを取得するために使用される。撮像システムは、必要な画像データを取得するために単一の撮像ユニットを利用してもよいが、いくつかの実施例では、少なくとも２つの撮像ユニットが使用される。例えば、限定しないが、車両の制御パネル上の状態インジケータを示す画像データを取得するためにパネル画像取得ユニットを使用し、車両前側の外部環境を示すフロント画像データを取得するためにフロントビューイメージャを使用してもよい。
【0022】
任意で、およびいくつかの実施例では好ましくは、撮像システムは、車両の外部環境のリアビュー画像データを取得するためのバック画像取得ユニットを具えてもよい。
【0023】
いくつかの応用例では、撮像システムはさらに、車両の外部環境の左側と車両の左側ミラーに反射された左後方ビューのうちの１以上を示す画像データを取得し、車両の外部環境の右側と車両の右側ミラーに反射された右後方ビューのうちの１以上を示す画像データを取得するように構成されてもよい。例えば、限定しないが、撮像システムは、左側の画像取得ユニットを用いて車両の外部環境の左側と車両の左側ミラーに反射された左後方ビューのうちの１以上を示す画像データを取得し、右側の画像取得ユニットを用いて車両の外部環境の右側と車両の右側ミラーに反射された右後方ビューのうちの１以上を示す画像データを取得してもよい。
【0024】
本書に開示される主題の別の発明コンセプトは、車両を目的地へと自動運転させる方法に関する。いくつかの実施例では、この方法は、少なくとも車両の状態インジケータおよび車両の外部環境を示す画像データを受信するステップと、受信した画像データ内で、少なくとも状態インジケータの状態と車両の外部環境内の物体を識別するステップと、識別された状態および物体に基づいて車両および道路の状態データを生成するステップと、当該車両状態データおよび道路状態データに少なくとも部分的に基づいて、道路に沿って車両を運転する制御命令を生成するステップとを含む。
【0025】
任意で、およびいくつかの実施例では好ましくは、この方法は、車両の現在位置を示す位置データを受信するステップと、当該位置データに基づいて目的地までの経路を決定するステップとを含む。前記識別するステップは、いくつかの実施例では、画像データ内の道路レーンおよび道路カーブの少なくとも１つを検出するステップと、それを示すレーンデータを生成するステップとを含む。生成されたレーンデータは、可能な適用例において走行道路上で車両を安全にナビゲートするために使用可能である。
【0026】
この方法は、可能な実施例において、識別された物体の少なくとも１つを追跡するステップと、その軌跡を示す軌跡データを生成するステップとを含む。この軌跡データは、ルートを決定し、制御命令を生成することのうちの少なくとも１つに利用可能である。
【図面の簡単な説明】
【0027】
本発明を理解し、実際にどのように実施しうるかを見るために、添付の図面を参照して、非限定的な例として、いくつかの実施例を説明する。図面に示す構成は、他に明示されない限り、本発明の一部の実施例のみを例示することを意味する。図面では、対応する部分には同じ参照番号を用いて示されている。
【発明を実施するための形態】
【0028】
本開示の１つまたはそれ以上の特定の実施例を、図面を参照しながら以下に説明するが、これはすべての面で例示的なものであり、決して限定ではないと理解されたい。これらの実施例の簡潔な説明を提供するために、実際の実装のすべての特徴が明細書に記載されるわけではない。図面に示す要素は必ずしも縮尺通りではなく、むしろ本発明の原理を明瞭に説明するために強調されている。本発明は、本明細書に記載の本質的な特徴から逸脱することなく、他の特定の形態および実施例で提供することができる。
【0029】
本発明は、一般的な車両の使用者／所有者によって任意の陸上車両に素早く取り付けることができる、軽量で、低コストで、組み立て容易で、搭載が容易なロボット運転システムを提供することを目的とする。本書で説明されるロボット運転システムは、任意の陸上車両の運転席に固定され得る汎用ロボットナビゲーションドライバとして設計される。ロボット運転システムは、ステアリングホイール操作システム、１以上のペダル操作システム、および／または１以上のレバーおよび／またはノブ走査システムを用いて車両のアクチュエータに機械的に連結され、車両を操作して予め定められた目的地へと運転する。したがって、本発明は、任意の陸上／自動車の運転席に配置され、人間の運転者が車両を操作して所望の目的地へと運転するために慣習的に行っていたすべての機能を実行する汎用システムを提供する。
【0030】
ロボットシステムの撮像システムは、車両の外部環境（周囲）およびその内部の画像データを連続的に取得するために使用される。撮像システムによって外部環境および車両内部から取得された画像データは、処理され、分析されて、道路状況データおよび車両状態データがそれぞれ特定される。
【0031】
ロボットシステムの制御システムは、取得された画像から道路状況データおよび車両状態データを特定し、この道路状況および／または車両状態データ、および／または、車両の内部ストレージおよび／または遠隔データストレージ／データネットワーク越しにアクセス可能なサーバからワイヤレスで得られるナビゲーションデータに少なくとも部分的に基づいて、所定の目的地までの走行ルートを決定する。これに対応して、制御システムは、道路状況データと車両状態データ、および決定された走行ルートに少なくとも部分的に基づいて、車両のステアリングホイール、ペダル、および／またはレバー／ノブの状態を変更し、車両を所望の目的地まで安全に走行させるために、ロボットの操作システムを操作するための制御オペレータ／命令を生成する。
【0032】
図１Ａ、１Ｂは、いくつかの可能な実施例にかかる陸上車両の自律型ロボット動作を概略的に示すブロック図である。図１Ａは、画像化システム１２から受信した画像データの１以上のストリームを処理および分析するために制御ユニット１１ａを使用する自律型ロボットシステム１０の簡易スキームを示す。制御ユニット１１ａは、受信した画像データのストリームから道路状況データおよび車両状態データを特定し、少なくとも特定された状態データに基づいて、所定の目的地に向かって車両を運転／操縦するための制御オペレータ／命令を生成する。制御ユニット１１ａによって生成された制御オペレータ／命令は、アクチュエータマニピュレータコントローラ１１ｂによって使用され、操作システム２９を操作して、車両の１つ以上のアクチュエータ（例えば、アクセルペダル、ブレーキペダル、ハンドブレーキ、ステアリングホイール、ギアレバー、ウインカーレバー、ワイパーレバーなど）の動作状態が変更される。
【0033】
制御ユニット１１ａは、制御オペレータ／命令の生成においてアクチュエータマニピュレータコントローラ１１ｂから受信されるデータを使用してもよい。例えば、限定しないが、いくつかの実施例では、マニピュレータコントローラ１１ｂが、アクチュエータ操作システム２９内で提供され車両のペダル、レバーおよび／またはつまみの操作状態を示す状態データをセンサユニット（例えば、図１Ａには示されていないエンコーダ）から受信してもよい。任意で、およびいくつかの実施例では好ましくは、マニピュレータコントローラ１１ｂは、例えばそのデータバス（例えば、ＣＡＮバス）に接続することによって、車両のコンピュータ／データシステムから状態データの少なくとも一部を取得するように構成される。このようにしてフィードバックループが得られ、マニピュレータコントローラ１１ｂがセンサユニットから、アクチュエータ操作システム２９から、および／または車両のコンピュータ／データシステムから収集した状態データに基づいて、制御ユニット１１ａがマニピュレータコントローラ１１ｂに提供される制御オペレータ／命令を適応的に調整することができる。この構成により、例えば、制御オペレータ／命令を生成するためのファジー論理およびニューラルネットワーク技術を用いる高度な運転制御スキームの使用が可能となる。
【0034】
いくつかの実施例では、制御ユニット１１ａとアクチュエータマニピュレータコントローラ１１ｂとの間の通信は、高レベルの命令およびフィードバックのための汎用非同期送受信（ＵＡＲＴ）接続を介して実行される。しかし、本発明の範囲および精神から逸脱することなく、任意の適切なシリアルまたはパラレルバスベースのデータ通信（例えば、ＵＳＢ、ＣＡＮバス、イーサネット、ＷｉＦｉ）を同様に使用することができる。
【0035】
任意で、およびいくつかの実施例では好ましくは、撮像システム１２は、内部撮像ユニット１２ｂと、外部撮像ユニット１２ａとの少なくとも２つの撮像ユニットを具える。内部撮像ユニット１２ｂは、例えば車両の制御パネルのインジケータ、および／または車両の内部Ｉｂのレバー、ノブおよび／またはペダルの操作状態を含む車両状態を示す車両内部Ｉｂの画像を取得するように構成される。外部撮像ユニット１２ａは、例えば道路の方向、交通標識、交通信号、道路に存在する可能性のある障害物などの道路状況を示す車両の外部環境Ｉａの画像を取得するように構成される。
【0036】
しかしながら、いくつかの可能な実施例では、車両の外部環境Ｉａおよび車両内部Ｉｂの画像は、単一の画像取得ユニットによって取得されることに留意されたい。例えば、限定しないが、このような単一の画像取得ユニットは、外部環境Ｉａおよび車両内部Ｉｂの両方の画像データを含む非常に広い視野を取得してもよい（すなわち、必要なすべての画像データを同時に取得する）。付加的または代替的に、可動／回転可能な画像取得ユニットを使用して、外部環境Ｉａおよび車両内部Ｉｂを順次取得してもよい。付加的または代替的に、光学手段（ミラー、レンズ、スプリッタ）を使用して、同じ画像センサの異なる領域上の外部環境Ｉａおよび車両内部Ｉｂの画像データを結合して、それらを単一の画像フレームに結合することができる。
【0037】
図１Ａにおいて、制御ユニット１１ａは、内部撮像ユニット１２ｂによって取得された画像Ｉｂから、とりわけ車両の車速、エンジンの温度と角速度、燃料および／またはバッテリの状態、車両のペダル、レバーおよび／またはノブの操作状態などを含む車両状態を示すデータを特定するように構成され動作可能である。道路状況データは、制御ユニット１１ａによって、外部撮像ユニット１２ａが取得した画像Ｉａから、取得画像内で道路および／または車線の方向、周辺の車両および／または歩行者、交通標識、交通信号、歩道および／または交通島を識別することにより特定される。抽出された道路状況および車両状態データの少なくとも一部に基づいて、制御装置１１ａは、車両アクチュエータの状態を変更する必要があるかどうかを判定し、それに応じてマニピュレータコントローラ１１ｂによって車両アクチュエータの状態を調整するための制御オペレータ／命令を生成する。
【0038】
図１Ｂは、ロボット運転システム１０の他の可能な実施例を示すブロック図である。この非限定的な例では、マニピュレータコントローラ１１ｂが、アクセルペダル操作システム２４、ブレーキペダル操作システム２５、ステアリングホイール操作システム２３、およびレバー／ノブアクチュエータ２６を含むアクチュエータ操作システム２９に連結されている。
【0039】
レバー／ノブアクチュエータ２６は、車両の様々なボタン／ノブ、キー、ギアシャフト、および／またはハンドブレーキを操作するように適合されている。いくつかの可能な実施例では、ロボット運転システム１０は、必要に応じて、車両のクラッチペダルを操作するように構成され動作可能なクラッチペダル操作システム（図示せず）をさらに具える。
【0040】
マニピュレータコントローラ１１ｂは、制御ユニット１１ａによって生成された制御オペレータ／命令を受信し、それに応じてアクチュエータ操作システム２９（２３，２４，２５、および／または２６）の１以上を作動させ、アクチュエータ操作システム２９のセンサユニット（それぞれ２３ｅ、２４ｅ、２５ｅ、２６ｅ）からの状態データ（例えば、角度位置）を受信し、これを制御ユニット１１ａに転送するよう構成され動作可能である。図１Ｂにも示されているように、撮像システム１２と制御ユニット１１ａとの間のデータ通信は、双方向データ通信とし、撮像システム１２への制御命令が出せるようにして、例えばその光学素子および／またはその１以上のイメージャの画像取得方向を調整できるようにしてもよい。
【0041】
ヒューマンマシンインターフェース（ＨＭＩ）ユニット１６が、ユーザからのデータの入力および／またはユーザへのデータの出力に使用されてもよい。例えば、限定しないが、ＨＭＩユニット１６は、（例えば、１つまたは複数のマイクロホンを使用して）ユーザからオーディオ入力デバイス１６ｍを介して、可聴データ（例えば、目的地および／または位置データを示す）および／または命令（例えば、スタート、ストップ、ドライブ、またはその他の命令）を受信し、これを制御ユニット１１ａに伝達するように構成されてもよい。このＨＭＩユニット１６は、制御ユニット１１ａからの出力データを受信し、（例えば、１以上のスピーカを使用して）オーディオ出力デバイス１６ｓを使用してユーザにそれぞれの音声出力を生成してもよい。この目的のために、ＨＭＩユニット１６は、当技術分野で公知の任意の適切な音声認識技術および音声生成技術を用いることができる。
【0042】
ＨＭＩユニット１６は、データ通信ユニット１６ｃを使用して、任意の適切な入出力デバイス（例えば、キーパッド／キーボード、ポインティングデバイス、ＬＣＤ／ビデオディスプレイ、タッチスクリーンまたはパッドなど）を使用してユーザとデジタルデータを通信することができる。任意で、およびいくつかの実施例では好ましくは、データ通信ユニット１６ｃは、（例えば、赤外線通信などの光通信および／またはＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信－ＮＦＣ、Ｚｉｇｂｅｅなどの無線周波数通信を使用して）ＨＭＩユニット１６を介してユーザデバイス１６ｕ（例えば、タブレット、スマートフォン、またはラップトップのようなスマートデバイス）で、データを無線で通信するための無線通信デバイス１６ｒを具える。例えば、限定しないが、ユーザのスマートデバイス／スマートフォン１６ｕを用いて、当該スマートデバイス１６ｕの位置決め機能（例えば、ＧＰＳおよび／または基地局三角測量）を使用して、ロボットシステム１０に目的地データおよび／または位置データを提供してもよい。同様に、スマートデバイス１６ｕは、（例えば、グーグルマップ（商標）を用いて）地図および／または（例えば、Ｗａｚｅ（商標）を用いて）ナビゲーションデータをシステム１０に提供するために使用されてもよい。
【0043】
代替的または追加的に、データ通信ユニット１６ｃは、シリアルまたはパラレルデータ通信ケーブルを介して（例えば、ユニバーサルシリアルバスプロトコル－ＵＳＢを使用して）ユーザデバイス（例えば、スマートデバイス）とデータを通信するためのケーブルコネクタ１６ｕをさらに具えることができる。制御ユニット１１ａは、限定しないが、道路データ、地図データ、位置データ、１以上の目的地、ガソリンおよび／またはバッテリ充電ステーションの位置などの様々な種類の情報をケーブルコネクタ１６ｕを介して受信するように構成してもよい。
【0044】
任意で、およびいくつかの実施例では好ましくは、ロボットシステム１０は、（例えば、ＷｉＦｉまたは携帯電話ネットワークを介したインターネットアクセスを使用して）１以上の遠隔のコンピュータシステム／サーバ１９とデータを通信するための無線通信ユニット１５を具える。制御ユニット１１ａは、無線通信ユニット１５を介して地図および／またはナビゲーションデータを直接取り出すように構成され動作可能であってもよい。無線通信ユニット１５は、限定しないが、交通負荷データ、気象状況／予報、ガソリン／充電ステーションの場所などの、目的地までの車両の運転に関する様々な情報を取得するのに用いることができる。
【0045】
任意で、およびいくつかの実施例では好ましくは、ロボット運転システム１０によって実行される（有線および／または無線で行われる）データ通信の少なくとも一部が、安全性およびセキュリティの確実のために暗号化される。この目的のために、ＤＥＳ、ＲＳＡ、ＳＨＡなどの任意の適切な暗号化方式を利用することができる。
【0046】
ロボットシステム１０はまた、ロボットシステム１０が使用される車両の位置を連続的に特定するためのＧＰＳおよび／または慣性測定ユニット（ＩＭＵ）を用いる位置決めシステム１８を具えてもよい。この方法により、制御ユニット１１ａは、測位システム１８から受信した位置／方向データに基づいて車両の位置をいつでも特定し、目的地に向かう乗り物の進行を監視し、これにしたがってアクチュエータマニピュレータコントローラ１１ｂ用の制御オペレータ／指示を決定することができる。代替的または付加的に、位置決めユニット１８から得た、または導出された位置データは、無線通信ユニット１５を介して通信され、遠隔のサーバ／サービス１９による目的地へのナビゲーションデータが処理および生成されてもよい。
【0047】
ロボットシステム１０の様々なユニット／デバイスに電力供給するための、ロボットシステム１０の電源１７も図１Ｂに示されている。内部充電式バッテリ（図示せず）を電源１７に用いてもよいし、あるいはロボットシステム１０が車両の電源に接続するように構成されてもよい。
【0048】
ロボットシステム１０は、システム１０の全てのユニット／デバイスの適切かつ安全が動作が保証されるように、制御ユニット１１ａによって特定された状態データと、アクチュエータマニピュレータコントローラ１１ｂによって得られた状態データとを、異なるアクチュエータ操作システムから受信し処理するように構成され動作可能な安全監視ユニット１８をさらに具えてもよい。いくつかの実施例では、安全監視ユニット１８は、監視される各ユニット／デバイスの入力データを分析してその有効性と品質を保証し（例えば、撮像システムから受信した画像が滲んだりブロックされていないことを検証する）、モジュールの出力を評価して得られた結果が許容される動作範囲内にあることを保証する。問題が同定された場合、安全監視ユニット１８は、同定された問題をユーザへ示す個々の表示／警告を発行し、および／またはシステム１０内にそれを記録する。例えば、限定しないが、安全監視ユニット１８は、特定された問題が重大な場合、車両を停止できるようにしてもよい。いくつかの実施例では、安全監視システム１８は、アクチュエータシステムのモータ（図２Ａ、２Ｂに示す）の動作およびシステム１０の電源１７の状態を監視するように構成され動作可能である。
【0049】
図２Ａ、２Ｂは、いくつかの可能な実施例にかかる、陸上車両２０の運転席２０ａに固定されたロボット運転システム１０の前側および後側の斜視図をそれぞれ示す。この非限定的な例では、ロボットシステム１０は、運転席２０ａに固定用フレーム２２によって固定されており、これは運転席２０ａの基部に固定的に固定されたベースフレーム２２ａと、当該ベースフレーム２２ａに連結され運転席２０ａの背部支持部分２０ｂに固定的に固定された支持フレーム２２ｂとを有する。ステアリングホイール操作システム２３を支持する支持部材２２ｃを、ベースフレーム２２ａおよび／または支持フレーム２２ｂ、あるいはこれらのフレームの交差部に接続することができる。
【0050】
任意で、およびいくつかの実施例では好ましくは、ベースフレーム２２ａおよび支持フレーム２２ｂは、各フレームが互いに相対的に角運動できるように、互いに可動にヒンジ結合される。支持部材２２ｃはまた、フレーム２２ａおよび２２ｂの一方、またはそれらの交差部に可動にヒンジ止めされて、フレーム２２ａおよび２２ｂの少なくとも一方に対する支持部材２２ｃの角運動が可能である。いくつかの実施例では、ステアリングホイール操作システム２３を支持する支持部材２２ｃは、図２Ｄに例示されるように、ケーブルおよび／またはストラップ２２ｓによってフレーム２２ａおよび／または２２ｂの少なくとも１つに取り付けられ、それにより、ステアリングホイール操作システムに、移動軸（ｉ１、ｉ２、ｉ３）における移動の自由度を与えながら、支持部材２２ｃを保持するのに必要な強度を提供し、その回転／角運動を防止する。フレーム２２ａ、２２ｂの互いに対する特定の配向、および当該フレーム２２ａ、２２ｂの少なくとも一方に対する支持部材２２ｃの特定の配向は、ロック機構（例えば、２２ｑ）を用いてロックされ、フレーム２２ａ、２２ｂ間の所望の角度、および支持部材２２ｃとフレーム２２ａ、２２ｂの少なくとも一方との間の所望の角度が達成される。
【0051】
この非限定的な例では、撮像システム１２は、支持フレーム２２ｂに取り付けられている。しかし、可能な実施例では、撮像システム１２の様々な撮像ユニットを、支持フレーム２２ｂの異なる位置に、またはベースフレーム２２ａの異なる位置に、および／または支持部材２２ｃの異なる位置に搭載することができる。また、図２Ａ、２Ｂに示すように、制御ユニット１１ａおよびアクチュエータマニピュレータコントローラ１１ｂを含む制御システム１１は、フレーム２２ａ、２２ｂの少なくとも一方に不動に固定されてもよい。しかしながら、制御システム１１の制御ユニットは、フレーム２２ａ、２２ｂのいずれか、および／または支持部材２２ｃに同様に不動に取り付けられてもよい。
【0052】
支持部材２２ｃに担持されたステアリングホイール操作システム２３は、車両２０のステアリングホイールシステム２０ｗに取り付けられ、モータ２３ｍとギヤ２３ｇ構造により（例えば、ウォームギヤロータアセンブリを使用して）、車両２０のステアリングホイール２３ｆを回転できるよう構成され動作可能である。ステアリングホイール操作システム２３は、複数のフィン部材２８ｐ（図２Ａ、２Ｂおよび２Ｄに３つのフィンが示されている）を有するプロペラ構造２８によってステアリングホイール２０ｗを取り付けて回転させるように構成され、ギヤシステム２３ｇを介してモータ２３ｍの回転シャフトに機械的に結合される。プロペラ構造２８は、ギヤシステム２３ｇの回転シャフト２３ｈに取り付けられ、そのフィン部材２８ｐはここからステアリングホイールシステム２０ｗのフレーム２３ｆに向かって半径方向に延在し、その自由端部でステアリングホイール２０ｗのフレーム２３ｆに取り付けられる。
【0053】
フィン部材２８ｐのプロペラ構造２８は、たとえばＵボルト２３ｔおよびナットを用いるなど任意の適切なクランプ手段によって、ステアリングホイールシステム２０ｗのフレーム２３ｆに取り付けられてもよい。この構成により、ユーザがホイール操作システム２３をステアリングホイール２０ｗに迅速かつ容易に結合できる簡単な取り付け方式が提供される。さらに、プロペラ構造２８のフィン部材２８ｐを用いてモータ２３ｍの回転運動をステアリングホイールシステム２０ｗのフレーム２３ｆに伝達するようにすると、モータ２３ｍによってステアリングホイール２０ｗを操作しつつ、並進軸ｉ２、ｉ３に沿って移動する幾ばくかの自由度が提供される（ｉ１は車輪２３ｆの回転軸Ｗｘと平行あるいは一致する）。
【0054】
図２Ｄに例示されるように、いくつかの実施例では、ステアリングホイール操作システム２３の支持部材２２ｃは、ストラップおよび／またはケーブル２２ｓによって固定用フレーム２２の少なくとも１つに取り付けられる。この特定かつ非限定的な例では、支持部材２２ｃがストラップ２２ｓによってベースフレーム２２ａに取り付けられているが、これは支持フレーム２２ｂに、あるいはフレーム２２ａ、２２ｂの両方に同様に取り付けられてもよい。ストラップ／ケーブル２２ｓによって支持部材２２ｃを取り付けると、ステアリングホイール操作システム２３と固定用フレーム２２との間が可撓性／弾性のある連結となり、その角度移動を防ぎつつ、並進軸ｉ１、ｉ２、およびｉ３に沿って動く幾らかの自由度が提供される。ケーブル／ストラップ２２ｓを用いたこのような取り付け方法により、ステアリングホイール操作システム２３が固定用フレーム２２に非剛性的に連結され、これによりステアリングホイール操作システム２３のモータ２３ｍの制限された動きが可能となり、したがってステアリングホイールシステム２０ｗとモータ２３ｍの回転部品の芯合わせ（ｃｅｎｔｅｒｉｎｇ）の問題が解決し、モータ２３ｍの作用力を低減してステアリングホイールシステム２０ｗのフレーム２３ｆを回転させることができる。
【0055】
図２Ａ、２Ｂはまた、アクセルペダル操作システム２４およびブレーキペダル操作システム２５を示しており、これらはそれぞれベースフレーム２２ａに移動不能に取り付けられ、各ペダルに機械的に結合された可動の脚部を具えている。
【0056】
アクセルペダル操作システム２４は、ベースフレーム２２ａの支持ビーム２２ｐに移動不能に取り付けられた電気モータ２４ｍ（例えば、サーボモータ）と、このモータ２４ｍのシャフトおよび可動脚部２４ｆに機械的に連結された回転レバー２４ｒとを具える。可動脚部２４ｆは、その一方の端部で回動レバー２４ｒにヒンジ結合されて膝状のジョイント２４ｊを形成し、その自由端がアクセルペダル２０ｃに機械的に連結されている。これにより、モータ２４ｍのシャフトおよびそれに機械的に結合されたレバー２４ｒの回転運動が、それに連結された可動脚部２４ｆによってアクセルペダル２０ｃをの押すか引っ張る作用へと伝達される。
【0057】
同様に、ブレーキペダル操作装置２５は、ベースフレーム２２ａの支持ビーム２２ｐに移動不能に取り付けられた電気モータ２５ｍ（例えば、ウォームギヤモータ）と、モータ２５ｍのシャフトおよび可動脚部２５ｆに機械的に連結された回転レバー２５ｒとを具える。可動脚部２５ｆは、その一方の端部で回転レバー２５ｒにヒンジ結合されて膝関節２５ｊを形成し、その自由端がブレーキペダル２０ｋに機械的に連結されている。これにより、モータ２５ｍのシャフトおよびそれに機械的に結合されたレバー２５ｒの回転運動が、それに連結された可動脚部２５ｆによってアクセルペダル２０ｃを押すか引っ張る作用へと伝達される。
【0058】
図２Ｃを参照すると、いくつかの実施例では、可動脚部２４ｆ、２５ｆはそれぞれ、ペダルの少なくとも一部を包囲し例えば固定ボルトでペダルにしっかりと固定される「Ｃ」字形カプリング部材（またはクランプ）２４ｇ、２５ｇを用いて、各ペダル２０ｃ、２０ｋに連結される。図示するように、この非限定的な例では、脚部２４ｆ、２５ｆは、それぞれの「Ｃ」字形の連結部材２４ｇ、２５ｇにヒンジ止めされて、脚部２４ｆ、２５ｆとそれぞれの結合部剤２４ｇ、２５ｇ間の角運動を可能にする簡単な関節構造２４ｘ、２５ｘを構成する。
【0059】
この非限定的な例において、車両２０は、アクセルペダル２０ｃ、ブレーキペダル２０ｋ、およびステアリングホイール２０ｗを含む限られた数のアクチュエータによって操作可能な電気自動車の一種である。したがって、（例えば、車両のギアシステムを作動させる）レバー操作システムおよびクラッチ操作システムは不要であり、図２Ａ、２Ｂには示されていない。しかしながら、このような操作システムは、本書に記載され例示された操作システム２４、２５および／または２３に用いられたような機構を使用して容易に実現することができる。同様に、ロボット運転システム１０は、車両の様々なボタン／ノブ、キー、ギアシャフト、および／またはハンドブレーキを操作するための１つまたは複数のそのような操作システムを具えることができる。したがって、ロボット運転システム１０は、様々なマニュアルまたはオートマチックの車両に取り付けるために容易に適合させることができる。
【0060】
図２Ａ、２Ｂに示したロボットシステム１０の実施例は、右側通行／運転車両に使用するように設計されている。これは本発明の限定ではなく、ロボットシステム１０は同様に左側通行／運転車両の制御部を操作するように構成されてもよいことは明らかである。
【0061】
図３は、いくつかの可能な実施例にかかる撮像システム１２を示すブロック図である。この非限定的な例では、撮像システム１２の内部撮像ユニット１２ｂは、車両２０の制御パネル２０ｘの画像を取得するように構成され動作可能な１以上の撮像装置を含むパネル撮像ユニット４１を含む（図３には１つの撮像ユニット４１のみを示す）。撮像システム１２の外部撮像ユニット１２ａは、例えば車両のフロントガラス３０ｗを通して見るような、車両の外部環境の正面画像を取得するように構成され動作可能な１以上の撮像装置を含むフロント撮像ユニット４２と、例えば車両のリアビューミラー（フロントガラスミラー）２０ｎを介して見るような、車両の外部環境のリアビュー画像を取得するためのバック撮像ユニット４３とを具える。
【0062】
あるいは、いくつかの実施例では、撮像システム１２は、ＰＡＮ－ＴＩＬ搭載カメラ、全方向性カメラ、標準カメラ、またはそれらの組み合わせを使用して、様々な異なる視界（ＦＯＶ）から画像データを連続的に取得することができる可動／回転可能撮像装置ユニットを使用する。代替的または付加的に、撮像システム１２は、様々な異なるＦＯＶからの画像データを同じ画像センサの異なる領域に同時に収集および結合させる光学手段（例えば、レンズ、ミラー、スプリッタ）を具えてもよい。この方法により、撮像システム１２の撮像装置の数を実質的に減らすことができる。例えば、ある実施例では、単一の撮像装置ユニットを用いて、制御パネル２０ｘの画像と、車両の外部環境の正面画像を収集するようにする。
【0063】
いくつかの実施例では、撮像システム１２の外部撮像ユニット１２ａは、例えば、運転手側ウィンドウ３０ｆを通して見られるような車両の外部環境の左側視野画像と、例えば車両の左側ビューミラー２０ｆを介して見られるような左側－後方視野画像とを取得するための左側撮像ユニット４６を具える。同様に、右側撮像ユニット４５を用いて、例えば助手席側ウィンドウ３０ｒを通して見られるような車両の外部環境の右側視野画像と、および／または車両の右側ビューミラーを介して見られるような右側－後方視野画像とを取得するようにしてもよい。
【0064】
任意に、およびいくつかの実施例では好ましくは、フロント撮像ユニット４２は、三次元空間（すなわち、奥行き情報を追加するため）でフロント撮像ユニット４２によって撮像された物体の位置を決定するための２つの撮像装置４２ｆ、４２ｒを用いた立体撮像技術を利用する。可能ないくつかの実施例では、このような立体撮像技術は、左右の撮像ユニット４６、４５のような他の撮像ユニットに組み込まれてもよい。撮像システム１２の撮像ユニットは、任意の適切な撮像装置に実装することができ、これには限定しないが、Ｐｏｉｎｔ ＧｒｅｙのＦＬＥＡ３ １．３Ｍｐｉｘ ３０ＦＰＳカラーＧｉｇＥカメラなどがある。しかしながら、いくつかの実施例では、回転／移動型の撮像装置、および／または、画像ＦＯＶを拡張するおよび／または撮像装置の異なるセンサ領域に異なる画像データを同時に組み合わせる光学手段を用いる単一の撮像ユニットを撮像システム１２に用いて、必要な画像データ（すなわち、制御パネル２０ｘ、フロントビュー画像、リアビュー画像、左側ビュー画像、および右側ビュー画像）のすべてを取得してもよい。
【0065】
撮像システム１２は、撮像ユニット４１、４２、４３、４５および／または４６の撮像装置によって取得されたイメージを受け取り、それらを処理のために制御システム１１に転送するように構成され動作可能な１以上の制御および／または処理ユニット１２ｃを具えてもよい。いくつかの可能な実施例では、撮像システム１２の制御／処理ユニット１２ｃは、撮像ユニットによって取得された画像を処理および分析し、制御システム１１が車両を運転する制御オペレータ／命令を生成するのに必要な外部と内部の状況データを特定するように構成される。
【0066】
図４は、いくつかの可能な実施例にかかる制御ユニット１１ａの構成要素および機能を例示するブロック図４０である。この非限定的な例では、制御ユニット１１ａは、一特定モジュール３ｔを用いて、測位システム１８から受信した位置／方位データに基づいて車両の位置（例えば、全地球測位および／またはロードマップ上）を特定し、それを示す位置データを生成する。測位システム１８がＧＰＳとＩＭＵユニットとの両方を具える場合、これらのユニットからの位置／方位データは、車両の実世界位置の正確さと理解を向上させるために、位置特定モジュール３ｔにおいて融合／組み合わされ、これにより生成される位置データの精度が向上する。例えば、限定しないが、カルマン（Ｋａｌｍａｎ）フィルタを少なくとも部分的に用いて、ＧＰＳおよび／またはＩＭＵユニットによって生成された位置／方位データに基づく位置データを生成してもよい。
【0067】
制御ユニット１１ａの画像処理モジュール３ｅは、撮像システム１２から受信した画像データ（ＩａおよびＩｂ）から道路状況および／または車両状態データを特定するために用いられる。制御ユニット１１ａのルート計画および監視モジュール３ｒは、ルートを生成し、生成されたルートに沿った車両の進行を監視し、測位システム１８によって生成された位置データと画像処理モジュール３ｅによって生成された道路および／または車両の状況データとに少なくとも部分的に基づいて意志決定を行うために用いられる。このルート計画および監視モジュール３ｒはさらに、受信した位置データ、道路および／または車両の状況データに少なくとも部分的に基づいて、運転命令（例えば、加速／減速、車両停止、左折または右折、車線変更等）を生成する。ルート計画および監視モジュール３ｒによって生成された運転命令は、操作システムを操作するためにアクチュエータマニピュレータコントローラ１１ｂによって用いられる制御オペレータ／命令を生成するために、制御ユニット１１ａのアクチュエータ制御モジュール３ｃによって使用される。
【0068】
ルート計画および監視モジュール３ｒは、位置特定モジュール３ｔによって生成された位置データと、無線通信ユニット１５を介して遠隔データベース／サーバ（１９）から受信した道路／地図および／またはナビゲーションデータと、画像処理ユニット３ｅから受信する道路状況および／または車両状態データとの少なくとも一部に基づいて、生成されたルートに沿った車両の進行を監視するように構成され動作可能である。
【0069】
いくつかの可能な実施例では、道路／地図データおよび／またはナビゲーションデータは、制御ユニット１１ａのメモリ／記憶ユニット３ｂ（例えば、磁気／光ディスク、フラッシュメモリなど）から取り出される。同様に、運転のための所定の目的地がメモリ／記憶ユニット３ｂから取り出され、これがルート計画および／監視モジュール３ｒに用いられて、ルートが生成される。したがって、いくつかの可能な実施例では、ロボット運転システム１０は、無線通信ユニット１５なしで実施することができる。
【0070】
いくつかの可能な実施例では、画像処理モジュール３ｅは、道路および車両の状況データの少なくとも一部を生成するために、１以上の物体検出（ＯＤ）コンポーネントｍ１と、物体追跡（ＯＴ）コンポーネントｍ２と、道路／車線検出（ＲＤ）コンポーネントｍ３とを具える（例えば、視覚／マッピングアルゴリズムを利用する）。物体検出コンポーネントｍ１は、撮像システム１２から受信した画像データ内の物体（例えば、車両／自転車、歩行者、交通標識／照明／島、歩道、制御パネルインジケータなど）を識別し、それを示す物体データを生成するよう構成され動作可能である。物体検出コンポーネントｍ１によって生成される物体データは、車両を目的地まで安全に運転し、事故および／または事変を防止するために重要である。オブジェクト追跡コンポーネントｍ２は、オブジェクト検出コンポーネントｍ１によって識別された様々なオブジェクトの軌跡を予測し、それを示す軌道データを生成するように構成され動作可能である。道路／車線検出コンポーネントｍ３は、撮像システムから受信した画像データ内の車線および道路カーブを検出し、それを示す車線データを生成するように構成され動作可能である。この道路／斜線検出コンポーネントｍ３によって生成された車線データは、ロボット運転システム１０が、道路上で安全にナビゲートするのに用いられ、また車両を車線内に維持し、必要に応じて車線変更させ、道路で転回させるのに必要である。
【0071】
画像処理部３ｅからの物体データ、軌跡データおよび車線データは、ルート計画および／監視ユニット３ｒに提供され、車両の安全なルート決定のために使用される。
【0072】
図５Ａは、いくつかの可能な実施例にかかるロボットシステム５０を示し、図５Ｂ、５Ｃは、システム５０のベースアセンブリ５１と垂直支持アセンブリ５２の断面図である。図５Ａを参照すると、ベースアセンブリ５１は運転席にしっかりと取り付けられ、垂直支持アセンブリ５２は運転席の背もたれにしっかりと取り付けられるように構成される。いくつかの実施例では、垂直支持アセンブリ５２は、ベースアセンブリ５１に回動可能にヒンジ止めされる。
【0073】
図５Ａに示すように、垂直支持アセンブリ５２は、その上部にフロント撮像ユニット４２用の光入射口として作用する２つの開口部５２ｒ、５２ｆを具える。図５Ｃを参照すると、垂直支持アセンブリ５２は、撮像ユニット４２と測位システム１８とを収容するのに用いられる上部区画５２ｃを具える。より具体的には、撮像ユニット４２の撮像装置４２ｆ、４２ｒは、開口部５２ｒ、５２ｆと整合するように上部区画５２ｃの側方に取り付けられ、位置決めシステム１８がその間に配置される。中間区画５２ｉが、上述した制御システムおよび撮像システム／ＤＳＰの機能を実装するように構成された、システムのコンピュータシステム５５（例えば、ラップトップ）を収容するために使用される。
【0074】
図５Ｂは、ベースアセンブリ５１の断面図であり、電気モータ２５ｍを収容保持するよう構成された前側支持フレーム５１ｆと、電気モータ２４ｍを収容保持するよう構成された前側支持フレーム５１ｒと、電気モータ２４ｍ、２５ｍの回路ドライバ５１ｄならびに図２に示すシステムの他の要素を収容保持する後側支持フレーム５１ｅとを具える。
【0075】
上述し関連する図面に示したように、本発明は、車両を所望の／所定の目的地に自動運転させるために、任意の陸上／自動車両の内部に設置するように構成され動作可能な汎用ロボット運転システム１０／５０とおよび関連する方法を提供する。理解されるように、本発明のロボット運転システムは、任意の車両を自律型車両に変える簡単な解決策を提供し、これは様々な異なる用途に利用することができ、それには例えば、限定しないが、農業、輸送、鉱業、清掃、巡回パトロール、配達、および、障害者／能力欠如者、高齢者、視覚障害者および眠気のある運転手の補助が含まれる。
【0076】
上述した制御ユニット１１ａの様々なモジュールは、いくつかの実施例では、ソフトウェアモジュールおよび／またはハードウェアモジュール、またはそれらの組み合わせとして実装することができる。上述のロボット運転システム１０／５０の機能は、制御システム１１内に収容され得るコンピュータベースの制御システムによって実行される命令によって制御されてもよい。上述の実施例での使用に適した制御システムは、例えば、共通バス、１以上の揮発性メモリ（例えば、ランダムアクセスメモリ－ＲＡＭ）または不揮発性メモリ（例えば、フラッシュメモリ）に接続された１以上のプロセッサとすることができる。二次メモリ（例えば、ハードディスクドライブ、リムーバブルストレージドライブ、および／またはＥＰＲＯＭ、ＰＲＯＭまたはフラッシュメモリなどのリムーバブルメモリチップ）を用いて、コンピュータシステムにロードされるデータ、コンピュータプログラムまたは他の命令を格納してもよい。
【0077】
例えば、制御システム１１の１以上のプロセッサによる実行のために、コンピュータプログラム（例えば、コンピュータ制御ロジック）を二次メモリからメインメモリにロードすることができる。代替的または付加的に、コンピュータプログラムは通信インタフェースを介して受信してもよい。そのようなコンピュータプログラムは、実行されると、本書に記載された本発明の特定の特徴をコンピュータシステムが実行することを可能にする。特に、コンピュータプログラムは、実行されると、制御プロセッサが本発明の特徴を実行および／または実行することを可能にする。したがって、そのようなコンピュータプログラムは、コンピュータシステムの制御部を実装することができる。
【0078】
ロボット運転システム１０／５０のモジュールおよび／またはユニットがソフトウェアを用いて実装される実施例では、ソフトウェアをコンピュータプログラム製品に格納し、リムーバブルストレージドライブ、メモリチップまたは通信インターフェースを利用してコンピュータシステムにロードすることができる。制御プロセッサによって実行されると、制御ロジック（ソフトウェア）は、制御プロセッサに本書で説明される本発明の特定の機能を実行させる。
【0079】
別の実施例では、ロボット運転システム１０／５０のモジュールおよび／またはユニットの構成は、例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのハードウェア構成要素を使用して、主にハードウェアに実装されてもよい。本明細書で説明された機能を実行するためのハードウェアステートマシンの実装は、当業者には明らかであろう。さらに別の可能な実施例では、本発明の構成は、ハードウェアとソフトウェアの両方を組み合わせて実施することができる。
【0080】
本発明の特定の実施例について説明したが、本発明はこれに限定されるものではなく、特に前述の教示に照らして当業者によって変更がなされてもよいことが理解されよう。当業者には理解されるように、本発明は、本発明の範囲を逸脱することなく、上述したものから２以上の技術を用いて多種多様な方法で実施することができる。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5A】
【図5B】
【図5C】