特表 2023-503915 カメラに基づく傾斜運動の検知

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-01

(54)【発明の名称】カメラに基づく傾斜運動の検知

(51)【国際特許分類】

   B60W 30/04 20060101AFI20230125BHJP

   B60W 40/112 20120101ALI20230125BHJP

   B60W 40/11 20120101ALI20230125BHJP

   B60W 50/14 20200101ALI20230125BHJP

   G06T 7/00 20170101ALI20230125BHJP

   G06T 7/20 20170101ALI20230125BHJP

【ＦＩ】

B60W30/04

B60W40/112

B60W40/11

B60W50/14

G06T7/00 650Z

G06T7/20 100

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022529749

(86)(22)【出願日】2020-11-09

(85)【翻訳文提出日】2022-07-12

(86)【国際出願番号】 EP2020081404

(87)【国際公開番号】W WO2021099149

(87)【国際公開日】2021-05-27

(31)【優先権主張番号】102019217988.6

(32)【優先日】2019-11-21

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】500045121

【氏名又は名称】ツェットエフ、フリードリッヒスハーフェン、アクチエンゲゼルシャフト

【氏名又は名称原語表記】ＺＦ ＦＲＩＥＤＲＩＣＨＳＨＡＦＥＮ ＡＧ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186716

【弁理士】

【氏名又は名称】真能 清志

(72)【発明者】

【氏名】マルクス ビルク

(72)【発明者】

【氏名】ガブリエラ イエイガー

(72)【発明者】

【氏名】ディーター バルツ

【テーマコード（参考）】

3D241

5L096

【Ｆターム（参考）】

3D241BA19

3D241BB21

3D241BB23

3D241BB24

3D241BC05

3D241BC06

3D241CA19

3D241CC08

3D241CC17

3D241CE05

3D241DB14B

3D241DB14Z

3D241DB15B

3D241DB15Z

3D241DB16B

3D241DB16Z

3D241DB48Z

3D241DC45Z

3D241DC49Z

5L096BA04

5L096CA04

5L096DA02

5L096FA67

5L096GA08

5L096HA04

(57)【要約】

カメラに基づく傾斜運動の検知を開示する。
【課題】本発明は、車両（１０１）の傾斜運動を検出する方法に関する。車両（１０１）は、車両（１０１）に固定された少なくとも１つのカメラ（１０３）を備える。方法は、カメラ（１０３）で画像シーケンスを記録するステップと、画像シーケンスのオプティカルフローを決定するステップと、車両（１０１）の走行動作および地面の地形に基づいて予想しうるオプティカルフローを決定するステップと、画像シーケンスのオプティカルフローと予想しうるオプティカルフローに逸脱がないか確認するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両（１０１）の傾斜運動を検出する方法であって、前記車両（１０１）は、前記車両（１０１）に固定された少なくとも１つのカメラ（１０３）を備え、前記方法は、
前記カメラ（１０３）で画像シーケンスを記録するステップと、
前記画像シーケンスのオプティカルフローを決定するステップと、
前記車両（１０１）の走行動作および地面の地形に基づいて予想しうるオプティカルフローを決定するステップと、
前記画像シーケンスの前記オプティカルフローと前記予想しうるオプティカルフローに逸脱がないか確認するステップと、を含む方法。

【請求項2】

請求項１に記載の方法であって、
前記予想しうるオプティカルフローを前記決定するステップは、以下のサブステップ、すなわち、
前記車両（１０１）の前記走行動作を決定するステップと、
前記カメラ（１０３）で記録した少なくとも１つの物体（１０７）に対する、前記走行動作および前記地形に基づいて予想しうる前記カメラ（１０３）の動きを決定するステップと、
前記カメラ（１０３）の前記動きに基づいて予想しうるオプティカルフローを決定するステップと、を含むことを特徴とする方法。

【請求項3】

請求項１または２に記載の方法であって、前記予想しうるオプティカルフローを前記決定するステップは、以下の複数のサブステップ、すなわち、
前記物体（１０７）を前記画像シーケンスにおいて認識するステップと、
前記画像シーケンスの、前記物体が撮像される領域のオプティカルフローを決定するステップと、
前記領域の、前記カメラ（１０３）の前記動きに基づいて予想しうるオプティカルフローを決定するステップと、を含むことを特徴とする、方法。

【請求項4】

少なくとも１つのカメラ（１０３）と、少なくとも１つの制御装置（１０５）と、を備える車両（１０１）であって、前記制御装置（１０５）は、請求項１～３の何れか一項に記載の方法を実施することを特徴とする、車両（１０１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１に記載の方法、および装置に関する独立装置請求項に記載の車両に関する。

【0002】

自動車またはトラックの転倒を防止するシステムは、従来技術から既知である。これらのシステムは、車両のブレーキおよび／または操舵に介入することによって、車両を安定させる。

【背景技術】

【0003】

産業用トラックおよび建設機械は、リフトされた荷物の静的変位に起因して、転倒の危険にさらされることが多い。従来技術から既知のシステムは、動的に作用して、車両の十分に速い走行動作を前提とする。そのため、この場合には有効ではない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、低速走行時の車両の傾き安全性を向上させることを課題とする。この課題は、請求項１に記載の方法と、装置に関する独立請求項に記載の車両と、によって解決される。

【課題を解決するための手段】

【0005】

本発明による方法は、車両の傾斜運動を検出する役割を果たす。傾斜運動とは、すなわち車両の縦軸を中心とする回転運動であるローリング運動、または、すなわち車両の横軸を中心とする回転運動であるピッチング運動である。傾斜運動によって、車両は、バランスを崩して、転倒へと至る。

【0006】

車両は、例えば、ホイールローダー、フォークリフト、ダンプトラックなどである。車両は、カメラを備える。カメラは、環境の画像を撮像媒体に記録する手段である。可視光が画像を形成する光学カメラが好適である。カメラは車両に固定されている。

【0007】

この方法では、カメラで画像シーケンスを記録する。画像シーケンスとは、少なくとも２枚の画像の並びのことである。

【0008】

記録した画像シーケンスにおいて、オプティカルフローを決定する。これは、カメラで記録した少なくとも一つの物体の可視点の、カメラの画像平面に投影した速度のベクトル場である。

【0009】

記録した画像シーケンスに実際に存在するオプティカルフローに加えて、予想しうるオプティカルフローを決定する。決定は、車両の走行動作および地面の地形に基づく。走行動作とは、地面に対して車両が相対的に動くことをいう。地面の地形とは、その地表の状態である。

【0010】

車両が傾かないという前提で、その走行動作と地面の地形によって、地面に対して静止している物体に対するカメラの動きを一意的に確定する。これから、カメラで記録した物体の予想しうるオプティカルフローが生じる。

【0011】

最後に、実際に画像シーケンスに存在するオプティカルフローが、予想しうるオプティカルフローからどの程度逸脱しているかを確認する。逸脱は、車両の傾斜運動の指標である。

【0012】

オプティカルフローの逸脱に基づいて、差し迫った傾斜運動が検出されると、対策を講じることができる。このようにして、車両の速度および／またはその操舵角を低減することができる。荷物がリフトされる場合は、リフトをストップする、および／または荷物を降ろすことができる。

【0013】

好適な発展形態において、予想しうるオプティカルフローを決定するステップを、複数のサブステップに細分する。したがって、予想しうるオプティカルフローを決定するために、車両の走行動作を決定する。好適には、走行動作を、画像シーケンスが記録されている間に決定する。必要に応じて、さらに面の地形も決定する。地面が平坦であれば、このステップを省略することができる。

【0014】

走行動作および地形に基づいて、車両が傾かないという前提で、カメラで記録した１つまたは複数の物体、すなわち画像シーケンスに含まれる物体に対するカメラの動きを一意的に定義する。この動きは、更なるサブステップにおいて決定する。物体は、静止して配置された物体、すなわち地面に対して不動な状態で配置された物体である。特に、地面そのものが、そのような物体であってもよい。

【0015】

発展形態による最後のサブステップにおいて、決定したカメラの動きに基づいて予想することができるオプティカルフローを決定する。

【0016】

カメラの動きに基づいて予想しうるオプティカルフローを決定するサブステップを、さらに、好適な発展形態において、再びサブステップに細分する。第１サブステップにおいて、カメラで記録した物体を、画像シーケンスにおいて認識する。画像認識のための対応する自動化された方法、またはコンピュータで実施される方法は、従来技術から当業者にとって既知である。特に、ニューラルネットワークまたは確率アルゴリズムを、画像認識のために使用できる。

【0017】

画像シークエンスにおいて物体を認識することによって、画像シークエンスにおいて、物体が撮像される領域を識別する。更なるサブステップにおいて、この領域のオプティカルフローを決定する。つまり、画像領域全体のオプティカルフローではなく、画像シークエンスにおける物体のオプティカルフローのみを決定するのである。これによって、より効率的な決定が可能になり、例えば移動する物体または人による妨害が回避される。

【0018】

更なるサブステップにおいて、カメラの動きに基づいて予想しうる、画像シーケンスにおける物体の対応するオプティカルフローを決定する。具体的には、物体が撮像される上述の領域において、カメラの動きに基づいて予想しうるオプティカルフローを決定する。

【0019】

本発明による車両は、少なくとも１つのカメラと、少なくとも１つの評価ユニットと、を備える。評価ユニットは、本発明による方法または好適な発展形態を実装する。すなわち、評価ユニットは、そのような方法を実施するように構成されている。

【0020】

本発明の好適な実施形態は、図１に示される。詳細は、以下の通りである。

【図面の簡単な説明】

【0021】

【図1】車両の図である。

【発明を実施するための形態】

【0022】

図１に示す車両１０１は、カメラ１０３および評価ユニット１０５を備える。カメラ１０３は、評価ユニット１０５と、信号伝導方式で接続されている。カメラ１０３の画像領域、すなわちカメラ１０３によって記録される領域には、物体１０７が存在する。

【0023】

評価ユニット１０５は、カメラ１０３によって記録された画像シーケンスにおける物体１０７のオプティカルフローを決定する。さらに、評価ユニット１０５は、車両１０１の走行動作をキャプチャする。これから、物体１０７の予想されるオプティカルフローが生じる。評価ユニット１０５は、予想されるオプティカルフローを実際のオプティカルフローと比較する。逸脱が存在する場合は、それが車両１０１の傾斜運動を示唆する。この場合、評価ユニット１０５は、車両１０１を安定させるための対策を開始する。

【符号の説明】

【0024】

１０１ 車両
１０３ カメラ
１０５ 評価ユニット
１０７ 物体

【図1】

【国際調査報告】