特許 7150274 改善された視覚的検出能力を備えた自律走行車

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-30

(45)【発行日】2022-10-11

(54)【発明の名称】改善された視覚的検出能力を備えた自律走行車

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221003BHJP

   B60R 1/20 20220101ALI20221003BHJP

   G08G 1/16 20060101ALI20221003BHJP

【ＦＩ】

H04N5/232 990

H04N5/232 290

B60R1/20

G08G1/16 C

【請求項の数】 1

(21)【出願番号】P 2018543306

(86)(22)【出願日】2016-11-14

(65)【公表番号】

(43)【公表日】2019-05-16

(86)【国際出願番号】 EP2016077518

(87)【国際公開番号】W WO2017167411

(87)【国際公開日】2017-10-05

【審査請求日】2019-11-12

【審判番号】

【審判請求日】2021-12-22

(31)【優先権主張番号】15/084,084

(32)【優先日】2016-03-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518289852

【氏名又は名称】エーアイモーティブ ケーエフティー．

(74)【代理人】

【識別番号】100082072

【弁理士】

【氏名又は名称】清原 義博

(74)【復代理人】

【識別番号】100208292

【弁理士】

【氏名又は名称】清原 直己

(72)【発明者】

【氏名】デブレチェニ，ゲルゲイ

【合議体】

【審判長】畑中 高行

【審判官】木方 庸輔

【審判官】樫本 剛

(56)【参考文献】

【文献】特開平１１－３１２３００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 2/222 -257,

B60R 1/00,

G08G 1/16

(57)【特許請求の範囲】

【請求項1】

自律走行車（１００）であって、該自律走行車（１００）は、自律走行車（１００）を制御するために使用されるコンピュータビジョンのための画像（１４１、１４２、１４３、または１４４）を生成するように構成された少なくとも１つのカメラ（１１０、１１１、または１１２）を含み、ここで、
－少なくとも１つのカメラ（１１０、１１１、１１２、または１１３）は、進行の方向に対して制御可能なピッチ並びに可変および可動なピッチを有し、
－可変ピッチカメラ（１１０、１１１、１１２、または１１３）からの少なくとも１つの画像（１４１、１４２、１４３、または１４４）は、自律走行車（１００）の動きを制御するのに使用されるように構成され、および
－可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチは、自律走行車が動くにつれて、カメラの画像の鮮明性および／または解像度を最大限にするために変更されるように構成され、可変ピッチカメラ（１１０、１１１、１１２、または１１３）は常に０以外のピッチを有し、車線の検出のための正確な入力を提供するために下方へ傾けられ、および、
ここで、可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチは、自律走行車（１００）の速度に基づいて制御される、
ことを特徴とする、自律走行車（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はカメラを備えた自律走行車、とりわけ自律走行車の視覚的検出能力を改善するためのカメラを備えた自律走行車に関する。

【背景技術】

【0002】

人間の介入を最小とした独立的制御動作の機能を備える自律走行車は、人々および物体を運送するのに使用することができる。典型的には、いくつかの自律走行車は、オペレータからの初期入力を要求する一方、自律走行車の他のいくつかの設計は持続的なオペレータ制御下にある。いくつかの自律走行車は完全に遠隔で操作することができる。例えば、自動駐車は、Ｔｅｓｌａなど、普通の人間に運転される車における、運転中の自律走行車の例である。

【0003】

さらに、自律走行車は、動的に変化する環境条件（ｅｎｖｉｒｏｎｍｅｎｔａｌ ｃｏｎｄｉｔｉｏｎｓ）の中で動作することが要求される。例えば、自律走行車は、変動する速度で、かつ様々な障害物にわたって、様々な地面上で経路を辿ることが要求されることもある。様々な地面は、平坦な地形、曲がりくねった地形、または丘陵地帯を含んでもよい。様々な障害物は、予期しない場所または時間に現われる他の車両または人間を含んでもよい。

【0004】

より広いレベルでは、自律走行車は、多数の情報収集デバイスから環境（ｅｎｖｉｒｏｎｍｅｎｔ ）に対応する知覚データを受信するように構成された制御システムを含む。情報収集デバイスは、輻射の誘導放出による光増幅のデバイス（レーザー）、音声ナビゲーションおよび測距のデバイス（ソナー）、無線検出および測距のデバイス（レーダー）、光検出と測距のデバイス（ＬＩＤＡＲ）等を含むこともある。最近は、自律走行車は、最大限の安全を保証するために情報収集するための市販のカメラも搭載している。

【0005】

従来の自律走行車では、カメラは、固定された位置および／または配向で取り付けられており、このことが、カメラが最適な性能を達成するのを妨げ、結果として信頼性の低い画像再構成精度をもたらす。信頼性の低い画像再構成が原因で、画像に表された物体は、均質なテクスチャ背景（ｈｏｍｏｇｅｎｅｏｕｓ ｔｅｘｔｕｒｅ ｂａｃｋｇｒｏｕｎｄ）において見失うこともあり、それによって不正確な車線検出機能、位置再構成（ｐｏｓｉｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）、路面標識の検出等が結果としてもたらされる。画像再構成の不信頼性は、交通安全、車の経路および環境における物体の検出に関して危険である可能性があり、かつ自律走行車の操縦能力を低下させる。

【0006】

車両シャーシ上の様々なセンサーの位置決めおよび／または配向をどのようにするか、およびどの範囲までするかの検討の不正確性が、自律走行車の検出能力に影響を与える。したがって、その結果、自律走行車の操縦能力も妨げられ、それによって、自律走行車の信頼性が低くなる。

【0007】

可動カメラを備えた自律走行車は、Ｅｖａｎｓ ｅｔ ａｌ． 米国特許第５０４０１１６号において既に知られていた。この文献は、参考文献としてここで引用される。

【0008】

車載カメラのピッチが自律走行車のコンピュータビジョンの画像にどのように影響を与えるかは、米国特許第９１２１７１７号において分析されている。この文献も、参考文献としてここで引用される。米国特許第５５５９６９５号には、車両のための自己較正型視覚センサーが開示され、そこではセンサーは消失点（ｔｈｅ ｆｏｃｕｓ ｏｆ ｅｘｔｅｎｓｉｏｎ）の方向に向くように連続的に較正される。

【0009】

しかしながら、その先行技術は、車両が動くつれ車載カメラの画質を改善する技術が不十分である。

【発明の概要】

【0010】

本発明は、先行技術の前記の欠陥に対処し、かつ改善することを目的とする。

【0011】

本発明は、自律走行車の様々な位置におよび／または配向で位置決めされた１つ以上の可変ピッチカメラを使用することによって、自律走行車の制御を容易にすることを目的とする。

【0012】

本発明の一態様では、複数の可変ピッチカメラは、様々な位置に、および／または可動な配向で自律走行車に据え付けられる。可変ピッチカメラは、自律走行車の検出能力を改善するために、自律走行車の動作の方向に対する様々な０以外のピッチ角（ｎｏｎ－ｚｅｒｏ ｐｉｔｃｈ ａｎｇｌｅｓ）で画像を得るために使用される。

【0013】

本発明の別の態様では、各可変ピッチカメラのピッチ角を、自律走行車が動くにつれて動的に変化させ、画像の鮮明性および／または解像度を最大化し、それによって自律走行車の経路における最適な車線の検出および／または物体の検出を確かなものとする。一例では、可変ピッチカメラの０以外のピッチ角は、自律走行車の誘導経路における物体からの自律走行車の距離に基づいて、または自律走行車からの物体の距離が近いときに、焦点距離、センサーサイズ、カメラ高さ等に関する異なるカメラ構成に基づいて選択されることもある。

【0014】

本発明のさらなる態様では、少なくとも１つの可変ピッチカメラの配向は、与えられた交通状況においてより良く画像化するために、動的に調節されることもある。例えば、与えられたピッチ角で、可変ピッチカメラは、自律走行車の経路における他の車両を識別し、そして自律走行車の動きを制御するために使用されうる別の車両の画像を動的に生成する。

【0015】

本発明のさらなる態様では、少なくとも１つの可変ピッチカメラからの少なくとも１つの画像は、自律走行車の動きを制御するために使用される。例えば、自律走行車の制御ユニットは、衝突の時間および車両の間の距離を算出するために生成された画像を使用し、かつ自律走行車による車線維持を確かなものとすると共に、別の車両との衝突を避けるために自律走行車の速度を動的に減少させる。

【0016】

本出願では、自律走行車は、本質的に、車、トラック、あらゆる二輪自動車もしくは四輪自動車、クワッドコプター、または交通制御のために構成されたドローン等である。自律走行車は、主として運転手と共に、または運転手なしで、人々および物体を運送する。すなわち、自動運転車（ｓｅｌｆ ｄｒｉｖｉｎｇ ｃａｒ）は自律走行車であると理解され、またある状況においては自動運転しているが、他の状況では人間のドライバーによって運転される車も、本出願における自律走行車であると理解される。自律走行車はまた、交通渋滞を制御する、歩行者の安全を確かなものとする、自律走行車の誘導経路の窪みを検出する、間違った車線逸脱に対して運転手に警告を出す、および運転手に対して、本発明に従って安全かつ効率的に運転するのを支援する多数の支援機能を実施することもある。

【0017】

本発明に従う自律走行車は、自律走行車を制御するために使用されるコンピュータビジョンのための画像を生成するように構成された少なくとも１つのカメラを含み、ここで、
－前記少なくとも１つのカメラは、制御されるように構成される、進行の方向に対する可変および可動ピッチ、ヨー、および／またはロールを有し、
－少なくとも１つのカメラのピッチ、ヨー、および／またはロールは、自律走行車が動くにつれて、カメラの画像の鮮明性および／または解像度を最大限にするために変更されるように構成され、
－可変ピッチ、可変ヨー、および／または可変ロールのカメラからの少なくとも１つの画像は、自律走行車の動きを制御する際に使用されるように構成される。
自律走行車を制御するために使用されるコンピュータビジョンのための画像を生成するように構成された、少なくとも１つのカメラを含む本発明に従う自律走行車を制御する方法であって、該方法は以下の工程を含む；
－前記少なくとも１つのカメラが、制御される進行の方向に対する可変および可動ピッチ、可変および可動ヨー、ならびに／または可変および可動ロールを有する、
－少なくとも１つのカメラのピッチ、ヨー、および／またはロールが、自律走行車が動くにつれて、カメラの画像の鮮明性および／または解像度を最大限にするために変更される、および
－可変ピッチ、可変ヨー、および／または可変ロールのカメラからの少なくとも１つの画像は、自律走行車の動きを制御する際に使用される。
自律走行車を制御するために、非一時的なメモリ媒体上に記憶される本発明に従うソフトウェアプログラム製品であって、該ソフトウェアプログラム製品は、自律走行車を制御するために使用されるコンピュータビジョンソフトウェアのための画像を生成するように構成された、少なくとも１つのカメラソフトウェアを含み、ここで、
－前記少なくとも１つのカメラは、制御されるように構成される、進行の方向に対する可変および可動ピッチ、可変および可動ヨー、ならびに／または可変および可動ロールを有し、
－少なくとも１つのカメラのピッチ、ヨー、および／またはロールは、自律走行車が動くにつれて、カメラの画像の鮮明性および／または解像度を最大限にするために変更されるように構成され、
－可変ピッチ、可変ヨー、および／または可変ロールのカメラからの少なくとも１つの画像は、自律走行車の動きを制御する際に使用されるように構成される。

【0020】

本発明は大きな利点を有する。本発明は、自律走行車の動作を有する車両を用いて、交通安全性を顕著に増加させる実質的に正確で信頼できるカメラに基づく検出アプローチを結果としてもたらす。本発明の可変ピッチカメラを搭載した自律走行車は、水平に調整されたカメラ（ｈｏｒｉｚｏｎｔａｌｌｙ ａｌｉｇｎｅｄ ｃａｍｅｒａｓ）によって生成された画像と比較して、より良い再構成精度を有する。０以外のカメラピッチの構成は、自律走行車により実施される軌道制御モデルに関係なく、正確な車線検出結果を生み出す。また重要なことに、可変ピッチカメラの最適なピッチ角は、自律走行車の速度に基づいて動的に変更される。可変ピッチカメラは、近距離範囲のための画像再構成精度も改善し、これは焦点距離、センサーサイズ、カメラ高さ等などのカメラ構成を調節することにより達成されうる。これは効率的な運転を容易にするための高精細な地図を作成することにおいて役立つ。本発明のより良い画像の検出によって、自律動作を備える車両に関連する交通安全性を増大させる、より正確でより信頼できるカメラベースの検出方法が結果としてもたらされる。これによって、高精度な車線維持がもたらされ、かつ自動運転車、および人間の運転が自律走行車の機能により支援される車の両方のためのより良い軌道制御メカニズムが提供される。

【0021】

本発明は、車両の動き（例えば車の運転方向）に対するカメラピッチに関して記載されている。しかしながら、本発明は、カメラアングルのロールまたはヨーに同等に応用可能である。したがって、本発明の全ての実施形態では、本発明に従って自律走行車の動作のための画像の検出を改善するために、ロール角またはヨー角は、同様に、ピッチと別々に、または共に組み合わせて制御される可能性がある。

【0022】

本発明の最良の形態は、車、その乗客の安全および交通安全性を確かなものとすると共に、渋滞しやすい経路を、動いている物体または人々の間を、または粗面を、独立して運転する無人自動車であると見なされる。無人自動車の動きは、車の様々な位置および／または配向で位置した複数の可変ピッチカメラとは異なるピッチ角で取得された様々な画像に基づいて制御される。本発明の最良の形態は、車の経路における、いかなる人間、物体、または他の車両も効果的に識別し、車線維持を確かなものとし、かつ車の動きを効率的に制御することを可能にする。

【図面の簡単な説明】

【0023】

【図1】ダイヤグラムとしての、本発明に従う、複数の可変ピッチカメラを含む自律走行車の実施形態（１０）を実証する。

【図2】フロー図としての、本発明に従う、少なくとも１つの可変ピッチカメラを含む自律走行車を制御する方法の実施形態（２０）を実証する。

【図3】ダイヤグラムとしての、本発明に従う、自律走行車のダッシュボード上に表示された様々なカメラ視野を備えた、より精巧な自律走行車の実施形態（３０）を実証する。

【図4】ブロック図としての、本発明に従う、車載カメラ調整システム（ｖｅｈｉｃｌｅ ｃａｍｅｒａ ａｌｉｇｎｍｅｎｔ ｓｙｓｔｅｍ）の実施形態（４０）を実証する。

【図5】フロー図としての、本発明に従う、少なくとも１つの可変ピッチカメラを含む自律走行車を制御する、より精巧な方法の実施形態（５０）を実証する。

【図6】ダイヤグラムとしての、本発明に従う、自律走行車のオーバーヘッドコンソール上に表示された様々なカメラ視野を備えた、より精巧な自律走行車の別の実施形態（６０）を実証する。

【図7】概略図としての、本発明に従った、車載カメラ調整システムの動作原理の実施形態（７０）を実証する。

【図8】本発明の機能を示す実験に関するピンホールカメラモデルの実施形態（８０）を実証する。

【図9A】本発明の機能を示す実験に関する、水平に調整されたカメラの場合の、Ｘ座標再構成（Ｘ ｃｏｏｒｄｉｎａｔｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）の絶対誤差（メートル）の分布のグラフ表示の実施形態（９１）を実証する。

【図9B】本発明の機能を示す実験に関する、水平に調整されたカメラの場合の、Ｙ座標再構成（Ｙ ｃｏｏｒｄｉｎａｔｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）の絶対誤差（メートル）の分布のグラフ表示の実施形態（９１）を実証する。

【図10A】本発明の機能を示す実験に関する、水平に調整されたカメラおよび可変ピッチカメラの場合の、Ｙ座標再構成の絶対誤差の比較（ａｎ ａｂｓｏｌｕｔｅ ｅｒｒｏｒ ｃｏｍｐａｒｉｓｏｎ）のグラフ表示の実施形態（９２）を実証する。

【図10B】本発明の機能を示す実験に関する、絶対誤差の比率計算による再構成性能（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ）の評価のグラフ表示の実施形態（９２）を実証する。

【図11A】本発明の機能を示す実験に関する、水平に調整されたカメラおよび可変ピッチカメラの場合の、Ｘ座標再構成の絶対誤差の計算（ａｂｓｏｌｕｔｅ ｅｒｒｏｒ ｃａｌｃｕｌａｔｉｏｎ）のグラフ表示の実施形態（９３）を実証する。

【図11B】本発明の機能を示す実験に関する、絶対誤差の比率計算による再構成性能の評価のグラフ表示の実施形態（９３）を実証する。

【図12A】本発明の機能を示す実験に関する、１．６ｍの高さにある可変ピッチカメラの２．５メートル前の点に対するＹ座標再構成の場合の、カメラピッチ角に応じる再構成精度の変動のグラフ表示の実施形態（９４）を実証する。

【図12B】本発明の機能を示す実験に関する、１．６ｍの高さにある可変ピッチカメラの２．５メートル前での点に対するＸ座標再構成の場合の、カメラピッチ角に応じる位置再構成精度の変動のグラフ表示の実施形態（９４）を実証する。

【図13A】本発明の機能を示す実験に関する、水平に調整されたカメラおよび可変ピッチカメラのためのｘ＝－１．５メートルでのｙ座標に応じる車線区分線の位置再構成の品質測度のグラフ表示の実施形態（９５）を実証する。

【図13B】本発明の機能を示す実験に関する、可変ピッチカメラおよび水平に調整されたカメラのための、品質測度の比率計算のグラフ表示の実施形態（９５）を実証する。

【図14】本発明の機能を示す実験に関する、０以外のピッチを有するピンホールカメラモデルの再構成の誤差計算（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｅｒｒｏｒ ｃａｌｃｕｌａｔｉｏｎ）のグラフ表示の実施形態（９６）を実証する。

【0024】

いくつかの実施形態は、従属クレームに記載されている。

【発明を実施するための形態】

【0025】

本開示は、自律走行車の視覚的検出能力を改善するための、車載カメラ調整システムを含む自律走行車、方法、およびソフトウェアプログラム製品を提供する。自律走行車は少なくとも１つの可変ピッチカメラを含む。可変ピッチカメラは、自律走行車の動作の方向に調節することができる可変および可動の０以外のピッチを有する。可変ピッチカメラのピッチは、可変ピッチカメラにより取り込まれた画像の鮮明性および／または解像度を最大化するように変更され、それによって自律走行車の経路に関連する物体および／または環境を再構成するための正確なデータの使用の確かなものとする。より正確な画像再構成データは、自律走行車の動きを制御するために使用される。

【0026】

図１は、自律走行車（１００）の実施形態（１０）を実証する。自律走行車（１００）は、本発明に従う、自律走行車（１００）の様々な位置に取り付けられた複数の可変ピッチカメラ（１１０、１１１、１１２、および１１３）を含む。カメラのヨーおよび／またはロールはまた、同様に、本発明に従って自律走行車上の任意の位置から制御されうる。自律走行車（１００）は、本質的には無人自動車である。他の例では、自律走行車（１００）は、車、トラック、あらゆる二輪自動車もしくは四輪、クワッドコプター、または交通を制御するように構成されたドローン等である。自律走行車（１００）は、交通における人々および物体を運送するために使用されてもよい。自律走行車はまた、本発明に従って、運転を交通渋滞に合わせること、歩行者の安全を確かなものとすること、自律走行車（１００）の誘導経路の窪みを検出すること、車線逸脱に対して運転手に警告を出すことなどで、運転手を支援することができる。

【0027】

可変ピッチカメラ（１１０、１１１、１１２、および１１３）は、例えば、ピンホールカメラ、デジタルカメラ、ビデオカメラ、遠隔カメラ、口紅型カメラ（ａ ｌｉｐｓｔｉｃｋ ｃａｍｅｒａ）、ＣＭＯＳセンサーを備えたカメラ、ＣＣＤセンサーを備えたカメラ、近距離カメラ、遠距離カメラ、および／または魚眼カメラ等を含んでもよい。可変ピッチカメラ（１１０、１１１、１１２および１１３）の各々は、自律走行車（１００）の経路に関連する人々もしくは物体、および／または環境の様々な画像を取り込むために、例えば、自律走行車（１００）の前面、裏面、頂面、および／または底面上に位置してもよい。様々な画像は、変動する０または０以外のピッチ角で取り込まれる。

【0028】

ピッチ角は、カメラに入る平行光線間の、車両の動き方向に対する角度である。可変ピッチカメラ（１１０、１１１、１１２および１１３）のピッチ角は、自律走行車（１００）により実行される必要な検出機能に基づいて判定され、調節されてもよい。これらの機能は、限定されないが：車線の検出、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）、路面標識、窪みの検出等を含む。可変ピッチカメラ（１１０、１１１、１１２、および１１３）のピッチ角はまた、自律走行車（１００）の速度に基づいて判定される。

【0029】

図１を参照すると、可変ピッチカメラ（１１０、１１１、１１２、および１１３）の各々は、自律走行車（１００）の誘導経路または軌道に関連する静的なおよび／または動的な物体の画像および／または映像のフィード（ｉｍａｇｅｓ ａｎｄ／ｏｒ ｖｉｄｅｏ ｆｅｅｄ）（１４０）を取り込むように構成される。静的な物体は、例えば、３次元（３Ｄ）環境（１５０）の項目、車線（１６０）、および／または窪み（１８０）を含むこともある。動的な物体は例えば、歩行者（１７０）を含むこともある。可変ピッチカメラ（１１０、１１１、１１２、および１１３）の各々は、取り込まれた画像および／または映像のフィード（１４０）中の３次元環境（１５０）、車線１（６０）、歩行者（１７０）、および／または窪み（１８０）を検出するために、ＬＩＤＡＲ、レーダー等などの従来の画像化技術および／または他の検出技術を利用する。

【0030】

そのように取り込まれた画像および／または映像のフィード（１４０）は、可変ピッチカメラ（１１０、１１１、１１２、および１１３）の各々のためのステアリング制御コマンドを生成するために処理される。ステアリング制御コマンドは、信頼できる画像再構成精度を得るために可変ピッチカメラ（１１０、１１１、または１１２）の各々のピッチ角を再調整する（ｒｅａｌｉｇｎ）ように構成される。その後、信頼できる再構成精度の画像は、自律走行車（１００）の動きを制御するために使用されうる。ピッチ角はまた、ジャイロスコープ、レーザー、レーダー等などの自律走行車（１００）の他のセンサーから受信される知覚情報に基づいて調節されることもある。知覚情報は、車両速度、カメラの方向情報、カメラの位置情報、交通情報などを含んでもよい。

【0031】

可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）の各々は、それぞれのピッチ角を調節した後、新しい画像および／または映像のフィード（１４０）を取り込む。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）のピッチ角を調節した後に得られた画像および／または映像のフィード（１４０）の目的は、典型的には、画像の鮮明性および／または解像度を改善することであり、これらの変数が悪化する場合、ピッチを調節する理由は全くない。画像の鮮明性および解像度が改善すると、窪みの検出、歩行者の検出等などの様々な検出タスクに関連する改善されたデータは、自律走行車（１００）を制御するために使用されうる。改善された検出データを含む画像および／または映像のフィード（１４０）は、自律走行車（１００）のダッシュボード（１２０）上に位置する表示画面（１３０）に表示されてもよい。自律走行車（１００）の動きは、図１に示されるような改善された検出データに基づいて制御される。

【0032】

例えば、可変ピッチカメラ（１１０）が、自律走行車（１００）の経路において、１メートル（ｍ）を距離で歩行者を検出する場合、自律走行車（１００）は直ちに停止され、歩行者を通過させる。別の例では、可変ピッチカメラ（１１１）は、車線（１６０）の連続画像のフィードを受信するように構成される。可変ピッチカメラ（１１１）が予め定義された距離で車線（１６０）に関連する車線区分線からの逸脱を検出するとき、自律走行車（１００）の動作の方向は、車線（１６０）の方へ再び向けられる。

【0033】

実施形態（１０）のうちいかなる特徴も、本発明に従って、他の実施形態（２０、３０、４０、５０、６０、７０、８０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0034】

図２は、フロー図としての、本発明に従う、少なくとも１つの可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）を含む自律走行車（１００）を制御するための方法の実施形態（２０）を実証する。その方法は、例えば、図１または７の実施形態（１０）または（７０）と同一か類似のシステムにおいて、その記載の他の部分で論じられるように実施されうる。その方法のエンドユーザーは、図３および６の実施形態（３０）および（６０）でそれぞれ開示されたユーザーインターフェースと同一か類似のユーザーインターフェースを使用する可能性がある。

【0035】

自律走行車（１００）を制御するための方法は、複数の可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）を発明的に含む。

【0036】

フェーズ（２００）では、自律走行車（１００）のモーターは、自律走行車（１００）の進行の方向に対する可変および可動ピッチを有する自律走行車（１００）の少なくとも１つの可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）を制御する。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）の配向が、進行の方向から離れている場合、モーターは、典型的には、進行の方向またはそれに近いセクターの画像を取り込むようにピッチを動的に調節する。動きを制御するモーターは、典型的には、車両のエンジンとは別の小さな電気モーターである。しかしながら、モーターは、車両バッテリーから動力を電気的に供給されてもよい。モーターはまた、本発明の様々な実施形態のカメラを動かすために使用される、磁気的手段または油圧制御的手段で置き換えられうる。

【0037】

フェーズ２（１０）では、可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチは、自律走行車（１００）が動くにつれ、画像の鮮明性および／または解像度を最大限にするために変更される。例えば、自律走行車（１００）が進行の方向を変更する場合、可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチは、画像の鮮明性の妨げとなることなく、進行方向に向かうように動的に調節される。可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチはまた、可変ピッチカメラ（１１０、１１１、１１２、または１１３）が、あまりにも粗い画像を生成するときに画像フィードの解像度を増大させるように、または生成された画像があまりにもぼやけているときにカメラの焦点を合わせるように調節されてもよい。

【0038】

フェーズ（２２０）では、可変ピッチカメラ（１１０、１１１、１１２、または１１３）からの少なくとも１つの画像は、自律走行車（１００）の動きを制御するために使用される。例えば、可変ピッチカメラ（１１０、１１１、１１２、または１１３）からの画像が車線からの逸脱を示す場合、自律走行車（１００）は好ましくは、車線維持を確かなものとするように直ちに車線の方へ再び向けられる。

【0039】

フェーズ（２３０）では、自律走行車（１００）の可変ピッチカメラ（１１０、１１１、１１２、または１１３）は、例えば、車線の検出、歩行者の検出、環境の３次元再構成、窪み検出のために、および他の事故を回避するアクティビティのために 使用されてもよい。

【0040】

実施形態（２０）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、３０、４０、５０、６０、７０、８０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0041】

図３は、ダイヤグラムとしての、本発明に従う、自律走行車（１００）のダッシュボード（１２０）上に表示された様々なカメラ視野を備えた、より精巧な自律走行車（１００）の実施形態（３０）を実証する。自律走行車（１００）は、自律走行車（１００）を制御するために使用されるコンピュータビジョンのための画像を生成するように構成された様々な可変ピッチカメラ（１１０、１１１、１１２、および１１３）を含む。可変ピッチカメラ（１１０、１１１、１１２、および１１３）は、自律走行車（１００）の、好ましくはモーターによって制御される進行の方向に対応する可変ピッチおよび可動ピッチを有する。

【0042】

図３の明示されるように、少なくとも４つのスクリーンがダッシュボード（１２０）に据え付けられる。４つのスクリーンの各スクリーンは、様々な位置および／または配向に位置付けられた、自律走行車（１００）の４つの異なる可変ピッチカメラ（１１０、１１１、１１２、および１１３）によって取り込まれた画像または映像のデータのライブフィードを表示する。いくつかの実施形態では、各可変ピッチカメラ（１１０、１１１、１１２、および１１３）は、様々なカメラ位置および／または配向で完了する、窪みの検出、歩行者の検出等などの様々なタスクを実行するように構成される。

【0043】

例えば、一実施形態では、ユーザーインターフェース（１３１）は、カメラ＃１（１１０）から得られる検出された歩行者の画像および／または映像のフィード（１４１）を表示し；ユーザーインターフェース（１３２）は、カメラ＃２（１１１）からの検出された窪みの画像および／または映像のフィード（１４２）を表示し；ユーザーインターフェース（１３３）は、カメラ＃３（１１２）からの、交通状況を示す検出された車両の画像および／または映像のフィード（１４３）を表示し；そしてユーザーインターフェース（１３４）は、カメラ＃４（１１３）からの、環境の検出された３次元再構成の画像および／または映像のフィード（１４４）を表示する。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）の全ては、自律走行車（１００）の動作の方向に向かって自律走行車（１００）の頂面に位置してもよいが、本発明のいくつかの実施形態では、他の位置でも可能である。

【0044】

複数の可変ピッチカメラ（１１０、１１１、１１２、および１１３）からの、少なくとも１つの可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチは、自律走行車（１００）が動くにつれて、カメラ画像の鮮明性および／または解像度を最大限にするために変更されるように構成される。少なくとも１つの可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチは、車両速度に加えて、例えば、カメラ位置および／またはカメラ配向に基づいて制御されうる。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）のピッチはまた、例えば、天候および／または交通状況に基づいて制御されることもある。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）からの少なくとも１つの画像は、自律走行車（１００）の動きを制御するのに使用されるように構成される。

【0045】

自律走行車（１００）のフロントガラス（ｗｉｎｄ ｓｈｉｅｌｄ）を介する誘導経路の乗客の視野（３００）とは別に、自律走行車（１００）の運転手には、ユーザーインターフェース（１３１、１３２、１３３および１３４）を介して、前方の経路のより詳細な視野が提供される。一例では、運転手は、車線から逸脱することなく車線上の窪み、車両、または歩行者を回避するように自律走行車（１００）を巧みに操縦するなど、自律走行車（１００）の動きを制御することができる。別の例では、自律走行車（１００）の動きは、車線から逸脱することなく車線上の窪み、車両、または歩行者を回避するように、自律走行車（１００）の制御ユニットによって独立して制御される。運転手はまた、本発明のいくつかの実施形態では、いくつかの回避機能または運転制御機能を自動に、およびいくつかの回避機能または運転制御機能を手動に設定してもよい。例えば、歩行者の回避は優先度が高く、自動に設定される可能性があるが、窪みの検出は、人間の命が危険に晒されないのでそれほど重要ではなく、したがって本発明のいくつかの実施形態では、手動に設定される可能性がある。

【0046】

実施形態（３０）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、４０、５０、６０、７０、８０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0047】

図４は、ブロック図としての、本発明に従う、車載カメラ調整システム（４００）の実施形態（４０）を実証する。車載カメラ調整システム（４００）は、人工知能および検出モジュール（ＡＩ／ＤＥＴ）のモジュール４１０、ステアリングユニット４３０、ならびに制御ユニット（４４０）を含む。自律走行車（１００）は、複数の可変ピッチカメラ、例えばカメラ＃１（１１０）、カメラ＃２（１１１）、カメラ＃３（１１２）、およびカメラ＃４（１１３）を含む。自律走行車（１００）内に存在する車載カメラ調整システム（４００）は、可変ピッチカメラ（１１０、１１１、１１２、および１１３）のピッチ角を変動させることによって自律走行車（１００）の動きを制御するために利用される。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）は、車載カメラ調整システム（４００）によって動作され、制御される。ＡＩ／ＤＥＴモジュール（４１０）は、可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）からのカメラデータを受信する。カメラデータは、可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）から得られた画像および／または映像のフィードを含む。

【0048】

ＡＩ／ＤＥＴモジュール（４１０）は、カメラデータを処理し、ステアリングユニット（４３０）にステアリング制御コマンドを送信する。ステアリングユニット（４３０）はまた、付自律走行車（１００）の他のセンサーからのジャイロスコープのデータ、カメラ位置、カメラ配向、車両速度、気象情報、交通情報等を含む加的な車両関連情報（４２０）を受信する。他のセンサーは、例えば、パーキングセンサー、ＬＩＤＡＲ、レーダー、ジャイロスコープ等を含んでもよい。ステアリングユニット（４３０）は、ステアリング制御コマンドおよび他のセンサーから受信された車両関連情報（４２０）に基づいて、可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）のピッチ角を制御し、変更する。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）のピッチは、自律走行車（１００）の動きを効率的かつ安全に制御するように使用されうる、改善し信頼できる検出データを生成するために、ステアリング制御コマンドに基づいて調節される。

【0049】

実施形態（４０）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、５０、６０、７０、８０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0050】

図５は、フロー図としての、本発明に従う、少なくとも１つの可変ピッチカメラ（１１０、１１１、１１２、または１１３）を含む自律走行車（１００）を制御するためのより精巧な方法の実施形態（５０）を実証する。

【0051】

フェーズ（５００）では、異なるカメラ位置および／またはカメラ配向で位置付けられる、異なる可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）からの画像および／または映像のフィードを含むカメラデータが受信される。そのカメラデータは、自律走行車（１００）によって実行される窪みの検出、歩行者の検出等などの様々なタスクに関連する。

【0052】

フェーズ（５１０）では、カメラデータは、画像の鮮明性および／または解像度のあらゆる相違を修正するように処理される。

【0053】

フェーズ（５２０）では、各可変ピッチカメラ（１１０、１１１、１１２、および１１３）に関連するステアリング制御コマンドが生成される。例えば、相違がカメラデータの処理によって修正されない場合、調節されるピッチ角で取り込まれたカメラデータにあらゆる相違がないように、適切なピッチ角が決定される。

【0054】

フェーズ（５３０）では、車両速度、ジャイロスコープのデータ、気象情報、交通情報等などの複数の車両関連情報が得られる。複数の車両関連情報は、自律走行車（１００）によって利用される様々なセンサーから得られる。センサーの少数の例には、ジャイロスコープ、レーダーセンサ、ＬＩＤＡＲセンサー、速度計等が含まれる。

【0055】

フェーズ（５４０）では、各可変ピッチカメラ（１１０、１１１、１１２、および１１３）のピッチ角は、窪みの検出、車線の検出、歩行者の検出等などの様々なタスクを実行するために制御される。そのピッチ角は、自律走行車（１００）によって実行されるタスクの最適な性能を達成するために、ステアリング制御コマンドおよび車両関連情報を考慮して調節される。そのピッチ角は、各可変ピッチカメラ（１１０、１１１、１１２、および１１３）によって取り込まれたカメラデータの画像の鮮明性および／または解像度のあらゆる相違も改善するように調節される。調節されたピッチ角での各可変ピッチカメラ（１１０、１１１、１１２、および１１３）によって、最良にタスクを実行するために使用されうる、修正された画像の鮮明性および／または解像度を有する改善された検出データが得られる。

【0056】

フェーズ（５５０）では、改善された検出データは、各可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）のピッチを調節した後、可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）から得られる。改善されたカメラ検出データは、自律走行車（１００）の制御ユニット（４４０）に供給される。制御ユニット（４４０）は、他の目的の中でとりわけ交通安全性および車両安全性を確かなものとするために、改善されたカメラ検出データに基づいて自律走行車（１００）の動きを制御するように構成される。他の目的は、交通渋滞エリアを避けること、運転手の眠気を検出すること、速度超過している場合に運転手に警告するＩｎｔｅｌｌｉｇｅｎｔ Ｓｐｅｅｄ Ａｄａｐｔａｔｉｏｎ（ＩＳＡ）、または許容可能な速度限界（ａｎ ａｌｌｏｗａｂｌｅ ｓｐｅｅｄ ｌｉｍｉｔ）内に導くために車両速度を動的に減少させることを含む。

【0057】

実施形態（５０）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、６０、７０、８０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0058】

図６は、ダイヤグラムとしての、本発明に従う、自律走行車（１００）のオーバーヘッドコンソール（６００）上に表示された様々なカメラ視野を備えた、より精巧な自律走行車（１００）の別の実施形態（６０）を実証する。例となる実施では、様々なカメラ視野は、運転手が乗客の視野（３００）と同じ視線に沿ってカメラ画像を見ることを好む場合に、自律走行車（１００）の内部の様々な位置、すなわちオーバーヘッドコンソール（６００）において自律走行車（１００）の運転手に対して表示される。歩行者の画像および／または映像のフィード１４１、窪みの画像および／または映像のフィード１４２、車両の画像および／または映像のフィード１４３、および環境の画像および／または映像のフィード（１４４）を表示するためのユーザーインターフェース（１３１、１３２、１３３、および１３４）の背後にあるシステムは、例えば、前に説明された実施形態（３０）と類似である可能性があり、簡潔さのために繰り返されない。

【0059】

いくつかの実施形態では、可変ピッチカメラ（１１０、１１１、１１２、および１１３）のピッチは、以下のうちのいずれかに基づいて制御される：カメラ位置、カメラ配向、および／またはジャイロスコープのデータ、ならびに前記自律走行車（１００）の速度。さらに、可変ピッチカメラ（１１０、１１１、１１２、および１１３）のピッチはまた、以下のうちのいずれかに基づいて制御されることもある：天候、画像化アルゴリズムの出力、マッピング情報、ＧＰＳ（全地球測位システム）位置、および／または交通状況。前記複数のカメラ（１１０、１１１、１１２、および１１３）は、自律走行車（１００）の異なる部分に位置付けられ、かつ様々なタスクを実行するように構成され、したがってダッシュボード（１４１、１４２、１４３、および／または１４４）の上で様々な視野を示す。

【0060】

いくつかの実施形態では、検出のタスクの各々は、様々なカメラ位置および／または配向で完了するように構成され、様々な視野（１４１、１４２、１４３、および／または１４４）をもたらす。さらに、必ずしもそうではないが、典型的には、少なくとも１つのカメラ出力は、人工知能および検出モジュール（４１０）によって処理されるように構成される。

【0061】

人工知能および検出モジュール（４１０）は、それが受信する画像データ、および他の車両検出システムによって検出される他の知覚データに基づいて、ステアリングユニット（４３０）にステアリング制御コマンドを送信するように構成される。例えば、ステアリングユニット（４３０）は、前記少なくとも１つのカメラ（１１０、１１１、１１２、および／または１１３）のピッチ角を制御し、変更するために車両速度および／またはジャイロスコープのデータを使用するように構成され、それによって、視野（１４１、１４２、１４３、および／または１４４）の描写（ｐｉｃｔｕｒｅｓ）を変化させる。

【0062】

いくつかの実施形態では、ステアリングユニット（４３０）は、前記少なくとも１つのカメラ（１１０、１１１、１１２、または１１３）のピッチ角を、閉ループで繰り返し制御して、変更するために、車両速度および／またはジャイロスコープのデータを使用するように構成され、かつ随意に、改善された検出性能は、自律走行車（１００）の制御論理を供給するために使用されるように構成される。これは、ダッシュボードおよびスクリーン（１４１、１４２、１４３、および／または１４４）上に示され、結果としてスクリーンが非常に明瞭で高解像度の描写を生成するように常に探索し調節する。

【0063】

実施形態（６０）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、７０、８０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0064】

図７は、本発明の機能を示す実験に関する、概略図としての、車載カメラ調整システム（４００）の動作原理の実施形態（７０）を実証する。図７は、自律走行車（１００）を制御するためのソフトウェアプログラム製品の実施形態（７０）を実証する。ソフトウェアプログラム製品は、自律走行車（１００）もしくはネットワークホストのいずれかの非一時的なメモリ媒体に記憶されるか、またはいくつかの部分が自律走行車（１００）に存在し、かつソフトウェアプログラム製品のいくつかの部分がネットワークホストに存在するようにそれら２つの場所間に分散される。本発明における自律走行車（１００）およびネットワークホストとの間の通信のために使用されるネットワークは、無線インターネットまたは電話ネットワークであり、典型的には、ＵＭＴＳ－（ユニバーサル移動体通信システム）、ＧＳＭ（登録商標）－（モバイル通信のための国際システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ））、ＧＰＲＳ－（汎用パケット無線サービス）、ＣＤＭＡ－（符号分割多元アクセス）、３Ｇ－、４Ｇ－、Ｗｉ－Ｆｉ、および／またはＷＣＤＭＡ（登録商標）－（広帯域符号分割多元アクセス）ネットワークなどのセルラーネットワークである。ソフトウェアプログラム製品は、自律走行車（１００）を制御するために使用されるコンピュータビジョンのための画像を生成するように構成されたカメラソフトウェアを含む。

【0065】

自律走行車（１００）は、例えば、自律走行車（１００）の異なる部分に位置付けられるカメラ＃１（１１０）、カメラ＃２（１１１）、カメラ＃３（１１２）、カメラ＃４（１１３）等のいくつかの可変ピッチカメラを搭載しており、それぞれが、車線の検出、歩行者の検出、窪みの検出、環境の検出等などの様々なタスクを実行する。可変ピッチカメラ（１１０、１１１、１１２、または１１３）は、自律走行車（１００）のモーターによって制御されるように構成される、進行の方向に対する可変ピッチおよび可動ピッチを有する。自律走行車（１００）は、ステアリングユニット４３０、人工知能（ＡＩ）および検出（ＤＥＴ）モジュール４１０、および品質モニタ（ＱＭ）モジュール（７１０）を含む。

【0066】

ＡＩ／ＤＥＴモジュール（４１０）は、可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）から受信されるカメラ入力を受信して処理する。ＡＩ／ＤＥＴモジュール（４１０）は、処理されたカメラ画像をＱＭモジュール（７１０）に送信する。ＱＭモジュール（７１０）は、処理されたカメラ入力の品質をチェックし、処理されたカメラ画像に基づいてカメラ調整の修正リクエスト（ｃａｍｅｒａ ａｌｉｇｎｍｅｎｔ ｍｏｄｉｆｉｃａｔｉｏｎ ｒｅｑｕｅｓｔｓ）を生成する。ＱＭモジュール（７１０）は、ステアリングユニット（４３０）にカメラ調整の修正リクエストを送信する。自律走行車（１００）のコントローラエリアネットワーク（ＣＡＮ）バス（７００）は、自律走行車（１００）の様々なセンサーから得られる車両速度、ジャイロスコープのデータ、気象情報、交通情報、画像化アルゴリズムの出力、マッピング情報、ＧＰＳ等などの情報を、ステアリングユニット（４３０）に提供する。ジャイロスコープのデータは、例えば、カメラ位置および／またはカメラ配向を含むこともある。

【0067】

ＱＭモジュール（７１０）からのカメラ調整の修正リクエストに応答して、ステアリングユニット（４３０）は、ＣＡＮバス（７００）からの受信した情報に基づいて、自律走行車（１００）の各可変ピッチカメラ（１１０、１１１、１１２、および１１３）のための最適なカメラアングルを設定する。ステアリングユニット（４３０）は、自律走行車（１００）が動くにつれて、カメラ画像の鮮明性および／または解像度を最大限にするために、少なくとも１つの可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチを変更する。いくつかの実施形態では、ステアリングユニット（４３０）は、自律走行車（１００）の様々な可変ピッチ（１１０、１１１、１１２、および／または１１３）のための様々な最適なカメラアングルを設定することもある。車載カメラ調整システム（４００）の動作原理は、可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）の最適な検出性能を得るために、閉ループで繰り返される。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）によって実行される検出は、画像および／または映像のフィードを含むカメラデータが、高い画像の鮮明性および／または分解能を有するときに最適である。最適な検出データは、制御ユニット（４４０）に供給される。制御ユニット（４４０）は、自律走行車（１００）の動きを制御する際に、可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）からの少なくとも１つの画像を使用する。

【0068】

一実施形態では、自律走行車（１００）は、車載カメラ調整システム（４００）によって提供された検出データに基づいて、自律走行車（１００）の運転手またはオペレータに誘導経路を選択させる、または自律走行車（１００）の動きを制御させるメモリにインストールされたアプリケーションを有するように構成される。アプリケーションは、例えば、実施形態（３０）で説明されるような複数のダッシュボードスクリーン上に、または実施形態（６０）で説明されるような複数のオーバーヘッドコンソールのスクリーン上に表示されるユーザーインターフェースを介して、運転手が利用可能である。制御ユニット（４４０）は、自律走行車（１００）の動きを制御する際に運転手を先導するために、運転手に対してユーザーインターフェース上で動的に検出されたデータを表示する。ユーザーインターフェースは、視野を拡大する、視野を最小化する、視野を回転する等など、運転手が検出されたデータの表示を管理することを可能にするタッチ感知インターフェースとして提供されてもよい。

【0069】

実施形態（７０）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、８０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0070】

図８は、本発明の機能を示す実験に関するピンホールカメラモデルの実施形態（８０）を実証する。

【0071】

図８において明示される座標系の表示（８００）は、右手座標系である。ピンホールカメラは、３次元の点（Ｘ、Ｙ、Ｚ）（８２０）に対して水平に調整される。３次元の点（８２０）の座標は（Ｘ、Ｙ、Ｚ）である。カメラは、地表面上「ｈ」メートルの高さに位置する。「ｆ」は、ピクセルでのピンホールカメラの焦点距離を表わす。（ｘ、ｙ）は、ピンホールカメラによって生成された、３次元の点（Ｘ、Ｙ、Ｚ）（８２０）の画像ピクセル（ｉｍａｇｅ ｐｉｘｅｌ）の座標（８１０）である。カメラの主点の（ｘ、ｙ）座標（８１０）は、（ｐｘ、ｐｙ）としてピクセルで表される。ピンホールカメラの画像センサーはカメラレンズの光軸に集中し；従って、ｐｘ、ｐｙの値は０で置換される。そのカメラは、０のピッチ角（ｚｅｒｏ ｐｉｔｃｈ ａｎｇｌｅ）を有する。画像座標（ｘ、ｙ）（８１０）と、車の前の平面上に横たわる物体の３次元の点の座標（Ｘ、Ｙ、Ｚ）（８２０）の関係は、以下の式によって表わすことができる：

【0072】

【数1】

【0073】

図１の自律走行車（１００）上に取り付けられた可変ピッチカメラ（１１０、１１１、１１２、または１１３）のうちの１つが０以外のピッチ角を有するとき、画像座標（ｘ、ｙ）（８１０）と、物体の３次元の点の座標（Ｘ、Ｙ、）（８２０）の関係は、以下の式によって表わされる：

【0074】

【数2】

【0075】

式中、

【0076】

【数3】

は、水平軸から時計回りにカウントされた可変ピッチカメラ（１１０、１１１、１１２、または１１３）のピッチ角である。

【0077】

実施形態（８０）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、７０、９１、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0078】

図９Ａは、本発明の機能を示す実験に関する、水平に調整されたカメラの場合の、Ｘ座標再構成の絶対誤差（メートル）の分布のグラフ表示（９００）の実施形態（９１）を実証する。ピンホールカメラの画像センサーはなおカメラレンズの光軸に集中しており；従って、ｐｘ、ｐｙの値は０で置換されることを考慮すること。

【0079】

Ｘ座標に関連する位置再構成の誤差（ｐｏｓｉｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｅｒｒｏｒ）（ΔＸ）の関係性は、以下の式で表すことができる：

【0080】

【数4】

【0081】

図１の自律走行車（１００）上に取り付けられた可変ピッチカメラ（１１０、１１１、１１２、または１１３）の場合の、Ｘ座標再構成の絶対誤差（メートル）の関係性の分布（ｒｅｌａｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）は、以下の式で表すことができる：

【0082】

【数5】

【0083】

図９Ｂは、本発明の機能を示す実験に関する、水平に調整されたカメラの場合の、Ｙ座標再構成の絶対誤差（メートル）の分布のグラフ表示（９１０）の実施形態（９１）を実証する。

【0084】

Ｙ座標に関連する位置再構成の誤差（ΔＹ）の関係性は、以下の式で表すことができる：

【0085】

【数6】

【0086】

自律走行車（１００）上に取り付けられた可変ピッチカメラ（１１０、１１１、１１２、または１１３）の場合の、Ｙ座標再構成の絶対誤差（メートル）の関係性の分布は、以下の式で表すことができる：

【0087】

【数7】

【0088】

実施形態（９１）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、７０、８０、９２、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0089】

図１０Ａは、本発明の機能を示す実験に関する、水平に調整されたカメラおよび可変ピッチカメラ（１１０、１１１、１１２、または１１３）の場合の、Ｙ座標再構成の絶対誤差の比較のグラフ表示（１０００）の実施形態（９２）を実証する。曲線（１０１０）は、水平に調整されたカメラに関連する絶対誤差を明示し、曲線（１０２０）は、可変ピッチカメラ（１１０、１１１、１１２、または１１３）に関連する絶対誤差を実証する。

【0090】

図１０Ｂは、本発明の機能を示す実験に関する、絶対誤差の比率計算による再構成性能の評価のグラフ表示（１０３０）の実施形態（９２）を実証する。曲線（１０４０）は、Ｙ座標再構成の誤差の比率を実証する。

【0091】

かなり明確に、その実験は、カメラのピッチがＹ座標の全範囲において、かつ近距離においてはなおさら、再構成の誤差を低減させることを示す。

【0092】

実施形態（９２）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、７０、８０、９１、９３、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0093】

図１１Ａは、本発明の機能を示す実験に関する、水平に調整されたカメラおよび可変ピッチカメラ（１１０、１１１、１１２、または１１３）の場合の、Ｘ座標再構成の絶対誤差の計算のグラフ表示（１１００）の実施形態（９３）を実証する。曲線（１１１０）は、水平に調整されたカメラに関連する絶対誤差を明示し、曲線（１１２０）は、可変ピッチカメラ（１１０、１１１、１１２、または１１３）に関連する絶対誤差を実証する。

【0094】

図１１Ｂは、本発明の機能を示す実験に関する、絶対誤差の比率計算による再構成性能の評価のグラフ表示（１１３０）の実施形態（９３）を実証する。曲線（１１４０）は、Ｘ座標再構成の誤差の比率を実証する。

【0095】

かなり明確に、その実験は、カメラのピッチがＸ座標の全範囲で、およびＸ座標で３メートルに近似するとなおさら、再構成の誤差を低減させることを示す。

【0096】

実施形態（９３）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、７０、８０、９１、９２、９４、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0097】

図１２Ａは、本発明の機能を示す実験に関する、１．６ｍの高さにある可変ピッチカメラ（１１０、１１１、１１２、または１１３）の２．５メートル前の点のためのＹ座標再構成の場合の、カメラピッチ角に応じる、位置再構成精度の変動のグラフ表示（１２００）の実施形態（９４）を実証する。グラフ表示（１２００）は、再構成精度が可変ピッチカメラ（１１０、１１１、１１２、または１１３）のカメラピッチ角にどのように依存するかを実証する。一例では、カメラの光学中心が対象の点（ｔｈｅ ｐｏｉｎｔ ｉｎ ｑｕｅｓｔｉｏｎ）、すなわちカメラピッチ

【0098】

【数8】

を直接指し示しているとき、位置再構成精度の高感度性が達成されうる。曲線（１２１０）は、２．５ｍの距離における可変ピッチカメラ（１１０、１１１、１１２、または１１３）に関連する再構成の誤差を実証する。

【0099】

図１２Ｂは、本発明の機能を示す実験に関する、１．６ｍの高さにある可変ピッチカメラ（１１０、１１１、１１２、または１１３）の２．５メートル前の点のためのＸ座標再構成の場合の、カメラピッチ角に応じる、位置再構成精度の変動のグラフ表示（１２２０）の実施形態（９４）を実証する。曲線（１２３０）は、２．５ｍの距離における可変ピッチカメラ（１１０、１１１、１１２、または１１３）に関連する再構成の誤差を表す。

【0100】

実験は、例えば、高さ１．６ｍにおける平均的な歩行者の頭／肩の検出が３０－３５度のカメラピッチで最良に達成されることを明確に示す。したがって、本発明の好ましい実施形態では、車両が、歩行者が現われそうなエリアにいることを検出する場合、少なくとも１つのカメラのピッチを３０－３５度まで変更し、かつ他のものにわたってオーバーライド機能をこのカメラに提供し、他の検出器が検出するものに関わらず、歩行者の検出が、このカメラによって、例えば車両を止めることを可能にする。

【0101】

実施形態（９４）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、７０、８０、９１、９２、９３、９５、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0102】

ここで、車両がどのように車線区分線を検出するかを見て頂きたい。自律走行車のための最適な軌道を算出できるように、可能な限り高い精度で、車両の前方の車線区分線の明確な長さ（ｌ）を検出しなければならない。この検出精度（誤差、Ｅ）の測定値は、自然に以下のように定義することができ：

【0103】

【数9】

ここで、ΔＸおよびΔＹは式（５－８）のような位置再構成の誤差であり、ｌはカメラから測定された距離であるが、Ｉ（ｌ）は、カメラから非常に遠くに存在する車線区分線の点の重みは、より近い１つとは異なるという事実を考慮している、制御および軌道のメカニズムに特有の重要度関数（ｉｍｐｏｒｔａｎｃｅ ｆｕｎｃｔｉｏｎ）である。

【0104】

積分上限の経験に基づいた推定値に関しては、曲率／品質の著しい／危険な変化が定められた（認められた）巡航速度（ｖ）において人間の運転手の反応時間（ｔｒ）内で起こりえない方法によって、ハイウェイおよび道路が建造されるという事実を考慮することができる。反応時間の保守的な推定値に関しては、ｔｒ＝１．０ｓを選択する：

【0105】

【数10】

【0106】

式（９）の積分は、パラメータ空間の様々な領域のために数的に、容易に算出することができる。このセクションの目的は、特定の巡航速度ｖにおいてＥを最小化する最適なカメラピッチを決定することである。

【0107】

図１３Ａは、本発明の機能を示す実験に関する、水平に調整されたカメラ、および可変ピッチカメラ（１１０、１１１、１１２、または１１３）のための、ｘ＝－１．５メートルにおけるｙ座標に応じる、車線区分線の位置再構成の品質測度のグラフ表示（１３００）の実施形態（９５）を実証する。曲線（１３１０）は、水平に調整されたカメラのための車線区分線の位置再構成精度の測定を明示し、曲線（１３２０）は、可変ピッチカメラ（１１０、１１１、１１２、または１１３）のための車線区分線の位置再構成精度の測定を実証する。この実施形態（９５）は、車両速度と最適なカメラピッチとの関係を説明する。車線区分線の再構成測定値の精度を算出するために、所定の時間における車両の動きの横方向および自律走行車（１００）に近位の３次元の点が検討される。より近い車線区分線の点の重みとは異なる、可変ピッチカメラ（１１０、１１１、１１２、または１１３）から非常に遠くに存在している車線区分線の点の重みに基づいて、制御と軌道のメカニズムを特定する重要度関数（Ｉ）は、以下に与えられる式によって表わされる：

【0108】

【数11】

【0109】

図１３Ａは、車線が自律走行車（１００）の中心の左側および右側から約－１．５ｍの距離に位置する典型的な車線の検出の状況に関する、自律走行車（１００）の前方の距離に応じる、式（１１）の積分の発展（ｅｖｏｌｕｔｉｏｎ）を実証する。

【0110】

図１３Ｂは、本発明の機能を示す実験に関する、可変ピッチカメラおよび水平に調整されたカメラのための、品質測度の比率計算のグラフ表示（１３３０）の実施形態（９５）を実証する。図１３Ｂに明示されるプロットは、改善された車線区分線の位置再構成の測定（Ｉ）を結果としてもたらす、カメラピッチ角の選択を図示する。この実験で分析されるように、可変ピッチカメラ（１１０、１１１、１１２、または１１３）に対する品質測度と、水平に調整されたカメラに関する品質測度との間の差異は、非常に近い距離では３００％ほどになりうる。曲線（１３４０）は、水平に調整されたカメラの車線区分線の位置再構成の精度測定の、可変ピッチカメラ（１１０、１１１、１１２、または１１３）の車線区分線の位置再構成の精度測定に対する比を実証する。

【0111】

したがって、本実験は、軌道制御が本発明に従って実行されるとき、車線区分線が車線の測定値の中で最も大きい相対的な重みを有するので、少なくとも１つのカメラを近距離で車線区分線を観測するように傾けることが有益であることを示す。

【0112】

実施形態（９５）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、７０、８０、９１、９２、９３、９４、および／または９６）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0113】

図１４は、本発明の機能を示す実験に関する、０以外のピッチを有するピンホールカメラモデルの再構成の誤差計算のグラフ表示（１４００）の実施形態（９６）を実証する。再構成の誤差計算は、画像ピクセルの座標（ｘ、ｙ）（１４１０）および３次元の点の座標（Ｘ、Ｙ、Φ）（１４２０）に関連して実行される。

【0114】

Ｙ座標と表面からのピンホールカメラの高さとの関係は、以下に与えられる通りである：

【0115】

【数12】

【0116】

式（１２）は、Ｙ座標の測定値が、ｙの画像の座標およびそのピッチ角に依存することを開示する。

【0117】

Ｙ座標の測定値の精度は、以下の式により与えられる：

【0118】

【数13】

【0119】

Ｘ座標と平面からのピンホールカメラの高さとの関係は、以下に与えられる通りである：

【0120】

【数14】

【0121】

式（１４）は、Ｙ座標の測定値が、ｘおよびｙの画像の座標およびそのピッチ角に依存することを開示する。

【0122】

Ｘ座標の測定値の精度は、以下の式により与えられる：

【0123】

【数15】

【0124】

実施形態（９６）のうちいかなる特徴も、本発明に従って、他の実施形態（１０、２０、３０、４０、５０、６０、７０、８０、９１、９２、９３、９４、および／または９５）のいずれかと即座に組み合わせられる、または置き換えられてもよい。

【0125】

全ての実施形態では、画像処理アルゴリズムは、簡易な画像後処理アルゴリズム、古典的なコンピュータビジョン、機械学習、および／もしくは人工知能のアルゴリズムのうちのいずれかであるか、ならびに／またはそれらは互いに共に組み合せて使用することができるか、または本発明に従う他の画像処理アルゴリズムでありうる。

【0126】

多くの実施形態では、ピンホールカメラのカメラタイプは、本発明の自律走行車において傾けられる本発明の検出カメラとして役立つ。

【0127】

前述の説明された実験と実施形態によって、本発明の以下の考察および利点がもたらされる。０以外のカメラピッチの構成の利点および欠点を検討して、すべての場合に対して一般的に以下のことが言える：
－車両の前の平面における点ｐに関して、０以外のカメラピッチは、結果としてもたらされる再構成精度が本発明に従って水平に置かれたカメラの再構成精度よりも良くなるように選択されうる。
－車からの距離に応じる再構成精度の関数の発展は、厳密に単調であり、このことにより、０以外のカメラピッチの構成が、重要度関数（Ｉ（ΔＸ（）； ＿ΔＹ（）））とは無関係に、すなわち本発明に従う軌道制御モデルおよび考察に関わらず、車線の検出のためのより正確な入力を常に生み出すことができるという結果をもたらす。
－典型的なカメラ構成（焦点距離、センサーサイズ、およびカメラ高さ）に関して、再構成精度の著しい改善は、近距離（典型的には数メートル）で達成されうる。このことは、本発明に従って、高精細な地図を作成するためにカメラを使用するとき、重要な結果である。
－特定の車線の検出アルゴリズムおよび車線維持ソリューションのためのカメラの最適な配向（ピッチ）は、通常車両の速度に依存し、かつ本発明に従って最適な性能に到達するように動的に調節される可能性がある。

【0128】

本発明が前述され、大きな利点が明示されている。可変ピッチカメラ（１１０、１１１、１１２、および／または１１３）を搭載された自律走行車（１００）は、水平に調整されたカメラによって生成された画像と比較して、実質的に信頼できる再構成精度を提供する。自律走行車（１００）からの物体の距離との再構成精度の関係が可変的であるため、０以外のカメラピッチの構成は、自律走行車（１００）により実施される軌道制御モデルに関係なく、何度も正確な車線検出結果を生み出す。また重要なことに、可変ピッチカメラ（１１０、１１１、１１２、または１１３）の最適なピッチは、自律走行車（１００）の速度および他の変数に基づいて、動的に変更することができる。近距離の範囲のための再構成精度の実質的な改善は、焦点距離、センサーサイズ、カメラ高さ等などのカメラ構成を調節することによっても達成されうる。これは効率的な車両の運転を容易にするための高精細な地図を作成することにおいて役立つ。本発明は、自律的なソリューションまたは運転手支援のソリューションを備える車両に関連する交通安全性を実質的に増大させる、より正確でより信頼できるカメラベースの検出方法を結果としてもたらす。本発明は高精度な車線維持を改善し、軌道制御メカニズムを提供し、歩行者の安全性を改善する。

【0129】

本発明は、前述の実施形態に関して上で説明された。しかしながら、本発明は、これらの実施形態のみに限定されるものではないが、本発明の思想および以下の特許請求項の精神および範囲内の全ての考えられうる実施形態を含むことが明らかである。

【0130】

＜参考文献＞
ＵＳ ９，１２１，７１７ Ｂｌ ＣＯＬＬＩＳＩＯＮ ＡＶＯＩＤＡＮＣＥ ＦＯＲ ＶＥＨＩＣＬＥ ＣＯＮＴＲＯＬ， ｐｕｂｌｉｓｈｅｄ ｏｎ Ｓｅｐ．１，２０１５ Ｊｉａｊｕｎ Ｚｈｕ．
ＵＳ ５０４０１１６ ＶＩＳＵＡＬ ＮＡＶＩＧＡＴＩＯＮ ＡＮＤ ＯＢＳＴＡＣＬＥ ＡＶＯＩＤＡＮＣＥ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ ＳＹＳＴＥＭ， ｐｕｂｌｉｓｈｅｄ Ａｕｇ． １３， １９９１ Ｅｖａｎｓ ｅｔ ａｌ．

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】

【図14】