特開 2022-77041 画像データ生成装置、リーン車両、及び画像データの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022077041

(43)【公開日】2022-05-23

(54)【発明の名称】画像データ生成装置、リーン車両、及び画像データの生成方法

(51)【国際特許分類】

   B62J 50/21 20200101AFI20220516BHJP

   B62J 45/41 20200101ALI20220516BHJP

   B62J 45/422 20200101ALI20220516BHJP

   B62J 27/00 20200101ALI20220516BHJP

   B62J 45/00 20200101ALI20220516BHJP

   G06T 3/60 20060101ALI20220516BHJP

【ＦＩ】

B62J50/21

B62J45/41

B62J45/422

B62J27/00

B62J45/00

G06T3/60

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2020187646

(22)【出願日】2020-11-11

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100177839

【弁理士】

【氏名又は名称】大場 玲児

(74)【代理人】

【識別番号】100172340

【弁理士】

【氏名又は名称】高橋 始

(74)【代理人】

【識別番号】100182626

【弁理士】

【氏名又は名称】八島 剛

(72)【発明者】

【氏名】福沢 桂一郎

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD03

5B057DB02

5B057DB09

(57)【要約】

【課題】リーン車両のライダーの運転を支援する支援システムに用いられる画像データ生成装置であって、支援システムにおいてライダーへの支援動作を開始するまでの遅れを従来よりも抑制することができる画像データ生成装置を得る。
【解決手段】画像データ生成装置は、リーン車両のライダーの運転を支援する支援システムに用いられる画像データ生成装置であって、前記リーン車両の周囲環境を検出する撮像装置の撮像データが入力される入力部と、前記撮像データを少なくとも上下方向に移動変換した第１画像データを求める移動変換部と、前記第１画像データを回転変換した第２画像データを求める回転変換部と、を備えている。
【選択図】図８

【特許請求の範囲】

【請求項1】

リーン車両（１）のライダーの運転を支援する支援システム（１０）に用いられる画像データ生成装置（２０）であって、
前記リーン車両（１）の周囲環境を検出する撮像装置（１１）の撮像データ（３０）が入力される入力部（２１）と、
前記撮像データ（３０）を少なくとも上下方向に移動変換した第１画像データ（３１）を求める移動変換部（２２）と、
前記第１画像データ（３１）を回転変換した第２画像データ（３２）を求める回転変換部（２３）と、
を備えている画像データ生成装置（２０）。

【請求項2】

前記移動変換部（２２）は、前記リーン車両（１）のピッチング方向の姿勢情報に基づいて、前記撮像データ（３０）と前記第１画像データ（３１）との間の移動量を決定する構成である
請求項１に記載の画像データ生成装置（２０）。

【請求項3】

前記ピッチング方向の姿勢情報として、前記リーン車両（１）のピッチング角を用いる構成である
請求項２に記載の画像データ生成装置（２０）。

【請求項4】

前記ピッチング方向の姿勢情報として、前記リーン車両（１）の前輪（３）側のサスペンション（４）の伸縮量を用いる構成である
請求項２又は請求項３に記載の画像データ生成装置（２０）。

【請求項5】

前記ピッチング方向の姿勢情報として、前記リーン車両（１）の前後方向の加減速度を用いる構成である
請求項２～請求項４のいずれか一項に記載の画像データ生成装置（２０）。

【請求項6】

前記撮像装置（１１）は、前記リーン車両（１）に搭載された際、前記リーン車両（１）のハンドル（２）と共に動くものであり、
前記移動変換部（２２）は、前記ピッチング方向の姿勢情報及び前記リーン車両（１）の舵角に基づいて、前記撮像データ（３０）と前記第１画像データ（３１）との間の移動量を決定する構成である
請求項２～請求項５のいずれか一項に記載の画像データ生成装置（２０）。

【請求項7】

前記移動変換部（２２）は、前記撮像データ（３０）に基づいて、前記撮像データ（３０）と前記第１画像データ（３１）との間の移動量を決定する構成である
請求項１に記載の画像データ生成装置（２０）。

【請求項8】

前記回転変換部（２３）は、前記リーン車両（１）の傾斜方向の姿勢情報に基づいて、前記第１画像データ（３１）と前記第２画像データ（３２）との間の回転量を決定する構成である
請求項１～請求項７のいずれか一項に記載の画像データ生成装置（２０）。

【請求項9】

前記移動変換部（２２）は、前記第１画像データ（３１）の座標情報が入力されて、前記撮像データ（３０）の座標情報が出力される画像変換により、前記第１画像データ（３１）を求める構成である
請求項１～請求項８のいずれか一項に記載の画像データ生成装置（２０）。

【請求項10】

前記移動変換部（２２）は、前記撮像データ（３０）の座標情報が入力されて、前記第１画像データ（３１）の座標情報が出力される画像変換により、前記第１画像データ（３１）を求める構成である
請求項１～請求項８のいずれか一項に記載の画像データ生成装置（２０）。

【請求項11】

前記回転変換部（２３）は、前記第２画像データ（３２）の座標情報が入力されて、前記第１画像データ（３１）の座標情報が出力される画像変換により、前記第２画像データ（３２）を求める構成である
請求項１～請求項１０のいずれか一項に記載の画像データ生成装置（２０）。

【請求項12】

前記回転変換部（２３）は、前記第１画像データ（３１）の座標情報が入力されて、前記第２画像データ（３２）の座標情報が出力される画像変換により、前記第２画像データ（３２）を求める構成である
請求項１～請求項１０のいずれか一項に記載の画像データ生成装置（２０）。

【請求項13】

複数の角度の正弦の値及び複数の角度の余弦の値が保存されたテーブル（５０）を記憶している記憶部（２４）を備え、
前記回転変換部（２３）は、前記第２画像データ（３２）を求める際、前記テーブル（５０）を用いる構成である
請求項１～請求項９のいずれか一項に記載の画像データ生成装置（２０）。

【請求項14】

請求項１～請求項１３のいずれか一項に記載の画像データ生成装置（２０）を備えているリーン車両（１）。

【請求項15】

リーン車両（１）のライダーの運転を支援する支援システム（１０）に用いられる画像データの生成方法であって、
前記リーン車両（１）の周囲環境を検出する撮像装置（１１）の撮像データ（３０）が入力される入力ステップ（Ｓ２）と、
前記撮像データ（３０）を少なくとも上下方向に移動変換した第１画像データ（３１）を求める移動変換ステップ（Ｓ３）と、
前記第１画像データ（３１）を回転変換した第２画像データ（３２）を求める回転変換ステップ（Ｓ４）と、
を備えている画像データの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リーン車両のライダーの運転を支援する支援システムに用いられる画像データ生成装置、該画像データ生成装置を備えたリーン車両、及び、リーン車両のライダーの運転を支援する支援システムに用いられる画像データの生成方法に関する。

【背景技術】

【0002】

リーン車両の一種である従来の自動二輪車には、ライダーの運転の支援を行う支援システムを採用するものが提案されている。支援システムは、自動二輪車に搭載された撮像装置の撮像データに基づいて自動二輪車の周囲環境を検出し、検出結果に基づいて、自動二輪車のライダーの運転を支援する動作（例えば、警告機能、緊急ブレーキ機能、クルーズ走行機能等）を実行する。なお、リーン車両とは、旋回する際に車体が旋回方向に傾斜する車両である。

【0003】

上述のように、リーン車両は、旋回する際に車体が旋回方向に傾斜する。このため、リーン車両が傾斜した状態では、リーン車両に搭載された撮像装置の撮像データも傾いたものとなる。したがって、リーン車両の一種である自動二輪車に搭載された従来の支援システムは、撮像装置の撮像データが傾いている場合、該撮像データを回転変換し、該回転変換した画像データを用いて、運転支援の必要性（要否）を検討する（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１５／１７４２０８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

リーン車両は、車長が短い。このため、リーン車両は、ピッチングが大きくなり、リーン車両に搭載された撮像装置の光軸もピッチング方向に大きく移動する。換言すると、傾斜状態のリーン車両においてピッチングが発生すると、撮像装置の撮像データにおいて、ピッチング発生前に中心だった位置が、上下方向に移動する。したがって、リーン車両に搭載される撮像装置としては、車両がピッチングした際にも運転支援の要否の判定に必要な領域を撮像できるように、大きな撮像範囲（大きな画素数）の撮像装置が必要となる。また、大きな撮像範囲の撮像装置を用いることにより、傾いた撮像データを回転変換する際、撮像データのうちで運転支援の要否の判定に必要ではない領域部分も回転変換しなければならず、計算量が多くなってしまう。また、撮像データを回転変換する際の計算は、正弦及び余弦の計算となるため、時間がかかる。このため、自動二輪車に搭載される従来の支援システムにおいては、ライダーへの支援動作を開始するまでの遅れが大きくなってしまうという課題があった。

【0006】

本発明は、上述の課題を背景としてなされたものであり、リーン車両のライダーの運転を支援する支援システムに用いられる画像データ生成装置であって、支援システムにおいてライダーへの支援動作を開始するまでの遅れを従来よりも抑制することができる画像データ生成装置を得ることを目的とする。また、本発明は、このように構成された画像データ生成装置を備えたリーン車両を得ることを目的とする。また、本発明は、リーン車両のライダーの運転を支援する支援システムに用いられる画像データの生成方法であって、支援システムにおいてライダーへの支援動作を開始するまでの遅れを従来よりも抑制することができる画像データの生成方法を得ることを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る画像データ生成装置は、リーン車両のライダーの運転を支援する支援システムに用いられる画像データ生成装置であって、前記リーン車両の周囲環境を検出する撮像装置の撮像データが入力される入力部と、前記撮像データを少なくとも上下方向に移動変換した第１画像データを求める移動変換部と、前記第１画像データを回転変換した第２画像データを求める回転変換部と、を備えている。

【0008】

また、本発明に係るリーン車両は、本発明に係る画像データ生成装置を備えている。

【0009】

また、本発明に係る画像データの生成方法は、リーン車両のライダーの運転を支援する支援システムに用いられる画像データの生成方法であって、前記リーン車両の周囲環境を検出する撮像装置の撮像データが入力される入力ステップと、前記撮像データを少なくとも上下方向に移動変換した第１画像データを求める移動変換ステップと、前記第１画像データを回転変換した第２画像データを求める回転変換ステップと、を備えている。

【発明の効果】

【0010】

本発明においては、撮像装置の撮像データを少なくとも上下方向に移動変換した第１画像データを求める。そして、本発明は、該第１画像データを回転変換した第２画像データを求める。運転支援の必要性の検討に用いられる第２画像データをこのように求めることにより、画像データを回転変換するための計算（時間がかかる計算）の量を従来よりも削減できる。このため、本発明は、支援システムにおいてライダーへの支援動作を開始するまでの遅れを従来よりも抑制することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態に係る画像データ生成装置が搭載されたリーン車両の側面図である。

【図2】本発明の実施の形態に係るリーン車両が側方に傾斜している状態において、該リーン車両の前輪周辺を該リーン車両の前方から観察した概略図である。

【図3】本発明の実施の形態に係る画像データ生成装置を備えた支援システムの一例を示すブロック図である。

【図4】本発明の実施の形態に係る画像データ生成装置を備えた支援システムの撮像装置の撮像データの一例を示す図である。

【図5】本発明の実施の形態に係る画像データ生成装置を備えた支援システムの撮像装置の撮像データの一例を示す図である。

【図6】従来の支援システムによる撮像データの回転変換を説明するための図である。

【図7】本発明の実施の形態に係る画像データ生成装置の移動変換部によって求められた第１画像データの一例を示す図である。

【図8】本発明の実施の形態に係る画像データ生成装置の回転変換部によって求められた第２画像データの一例を示す図である。

【図9】本発明の実施の形態に係る画像データ生成装置の記憶部が記憶しているテーブルの一例を示す図である。

【図10】本発明の実施の形態に係る画像データ生成装置の動作の一例の制御フローを示す図である。

【発明を実施するための形態】

【0012】

以下に、本発明に係る画像データ生成装置、リーン車両、及び画像データの生成方法について、図面を用いて説明する。

【0013】

なお、以下で説明する構成及び動作等は本発明の一例であり、本発明は、そのような構成、動作等である場合に限定されない。

【0014】

例えば、以下では、リーン車両として自動二輪車を例示している。しかしながら、リーン車両とは、旋回する際に車体が旋回方向に傾斜する車両全般を指し示すものである。このため、リーン車両は自動二輪車に限定されない。例えば、リーン車両には、旋回する際に車体が旋回方向に傾斜するモータサイクル（自動二輪車、旋回する際に車体が旋回方向に傾斜する自動三輪車）、及び自転車等が含まれる。また、旋回する際に車体が旋回方向に傾斜するモータサイクルは、エンジンを推進源とするものであってもよく、電動モータを推進源とするものであってもよく、例えば、オートバイ、スクーター、電動スクーター等が含まれる。また、自転車は、ペダルに付与されるライダーの踏力によって路上を推進することが可能な乗物全般を意味する。自転車には、普通自転車、電動アシスト自転車、電動自転車等が含まれる。

【0015】

また、以下では、同一の又は類似する説明を適宜簡略化又は省略している。また、各図において、同一の又は類似する部材又は部分については、符号を付すことを省略しているか、又は、同一の符号を付している。また、細かい構造については、適宜図示を簡略化又は省略している。

【0016】

実施の形態．
以下に、実施の形態に係る画像データ生成装置、該画像データ生成装置を備えたリーン車両、及び実施の形態に係る画像データの生成方法について説明する。

【0017】

＜画像データ生成装置が搭載されたリーン車両の構成＞
実施の形態に係る画像データ生成装置、該画像データ生成装置を備えたリーン車両の構成について説明する。

【0018】

図１は、本発明の実施の形態に係る画像データ生成装置が搭載されたリーン車両の側面図である。図２は、本発明の実施の形態に係るリーン車両が側方に傾斜している状態において、該リーン車両の前輪周辺を該リーン車両の前方から観察した概略図である。なお、図１では、紙面右側が、リーン車両１の前側となる。
リーン車両１は、例えば自動二輪車である。リーン車両１は、前輪３と、該前輪３に接続され、該前輪３の操作部となるハンドル２と、を備えている。また、本実施の形態では、リーン車両１は、車体と前輪３との間に、サスペンション４を備えている。

【0019】

リーン車両１には、リーン車両１のライダーの運転の支援を行う支援システム１０が搭載されている。この支援システム１０は、撮像装置１１、画像データ生成装置２０、及び制御装置１２を備えている。撮像装置１１は、リーン車両１の周囲環境を検出（周囲を撮像）するものである。本実施の形態では、撮像装置１１は、少なくともリーン車両１の前方の周囲環境を検出（周囲を撮像）する。画像データ生成装置２０は、撮像装置１１の撮像データを用いて、支援システム１０に用いられる画像データを生成するものである。画像データ生成装置２０の詳細構成は、後述する。

【0020】

制御装置１２は、画像データ生成装置２０が生成した画像データに基づいて、リーン車両１のライダーの運転を支援する動作（例えば、警告機能、緊急ブレーキ機能、クルーズ走行機能等）の必要性を検討し、必要な場合に支援する動作を実行するものである。例えば、制御装置１２の一部又は全ては、マイコン、マイクロプロセッサユニット等で構成されている。また、例えば、制御装置１２の一部又は全ては、ファームウェア等の更新可能なもので構成されてもよく、ＣＰＵ等からの指令によって実行されるプログラムモジュール等であってもよい。制御装置１２は、例えば、１つであってもよく、また、複数に分かれていてもよい。
なお、図１に示す走行状態検出装置４０は、リーン車両１の走行状態を検出するものであり、詳細は後述する。

【0021】

図２に示すように、リーン車両１は、旋回時に車体が旋回方向に傾斜する。なお、図２は、リーン角αで旋回方向に傾斜しているリーン車両１を示している。

【0022】

図３は、本発明の実施の形態に係る画像データ生成装置を備えた支援システムの一例を示すブロック図である。
画像データ生成装置２０は、リーン車両１の走行状態の情報を検出する走行状態検出装置４０の検出結果に基づいて、撮像装置１１の撮像データを、支援システム１０に用いられる画像データに生成する。

【0023】

走行状態検出装置４０は、少なくとも１つの検出装置を備えている。走行状態検出装置４０を構成する検出装置は、走行状態検出装置４０専用に設けられた検出装置であってもよいし、他の用途に用いられている検出装置を走行状態検出装置４０の検出装置として用いてもよい。

【0024】

走行状態検出装置４０は、例えば、リーン車両１のピッチング方向の姿勢情報を検出する検出装置を備えている。ピッチング方向とは、図１に円弧状の矢印Ｐで示す方向である。

【0025】

例えば、走行状態検出装置４０は、リーン車両１のピッチング方向の姿勢情報を検出する検出装置として、リーン車両１のピッチング角を検出する検出装置を備えている。リーン車両１のピッチング方向の姿勢が変化すると、リーン車両１のピッチング角も変化するからである。なお、リーン車両１のピッチング角を検出する検出装置は、リーン車両１のピッチング角に実質的に変換可能な物理量を検出するものであってもよい。本実施の形態では、走行状態検出装置４０は、リーン車両１のピッチング角を検出する検出装置として慣性計測装置を備え、該慣性計測装置によってリーン車両１のピッチング角を検出する。慣性計測装置は、３軸のジャイロセンサ及び３方向の加速度センサを備えており、リーン車両１の３軸の加速度と３軸の角速度の検出結果を出力するものである。

【0026】

また例えば、走行状態検出装置４０が備えるリーン車両１のピッチング方向の姿勢情報を検出する検出装置は、リーン車両１の前輪３側のサスペンション４の伸縮量を検出する検出装置であってもよい。リーン車両１のピッチング方向の姿勢が変化すると、サスペンション４の伸縮量も変化するからである。具体的には、リーン車両１の車体において後方に対する前方の沈み込み量が大きくなっている状態ほど、サスペンション４の縮み量が大きくなる。また、リーン車両１の車体において後方に対する前方の浮き上がり量が大きくなっている状態ほど、サスペンション４の伸び量が大きくなる。なお、サスペンション４の伸縮量を検出する検出装置は、サスペンション４の伸縮量に実質的に変換可能な物理量を検出するものであってもよい。

【0027】

また例えば、走行状態検出装置４０が備えるリーン車両１のピッチング方向の姿勢情報を検出する検出装置は、リーン車両１の前後方向の加減速度を検出する検出装置であってもよい。リーン車両１のピッチング方向の姿勢が変化すると、リーン車両１の前後方向の加減速度も変化するからである。具体的には、リーン車両１の前進時に減速度が大きくなるほど、リーン車両１の車体において後方に対する前方の沈み込み量が大きくなる。また、リーン車両１の前進時に加速度が大きくなるほど、リーン車両１の車体において後方に対する前方の浮き上がり量が大きくなる。なお、リーン車両１の前後方向の加減速度を検出する検出装置は、リーン車両１の前後方向の加減速度に実質的に変換可能な物理量を検出するものであってもよい。本実施の形態では、リーン車両１の前後方向の加減速度を検出する検出装置として、上述の慣性計測装置を用いている。なお、リーン車両１の速度の単位時間当たりの変化量から、リーン車両１の前後方向の加減速度を検出してもよい。

【0028】

また、走行状態検出装置４０は、例えば、リーン車両１の舵角を検出する検出装置を備えている。なお、リーン車両１の舵角を検出する検出装置は、リーン車両１の舵角に実質的に変換可能な物理量を検出するものであってもよい。

【0029】

また、走行状態検出装置４０が備える検出装置として、例えば、撮像装置１１を用いてもよい。

【0030】

また、走行状態検出装置４０は、例えば、リーン車両１の傾斜方向の姿勢情報を検出する検出装置を備えている。ここで、傾斜方向とは、図２に示す方向であり、リーン車両１が側方へ傾斜する方向である。

【0031】

例えば、走行状態検出装置４０は、リーン車両１の傾斜方向の姿勢情報を検出する検出装置として、リーン車両１のリーン角、ヨーレート及び横加速度のうちの少なくとも１つを検出する検出装置を備えている。なお、リーン車両１のリーン角、ヨーレート及び横加速度のうちの少なくとも１つを検出する検出装置は、これらの情報に実質的に変換可能な物理量を検出するものであってもよい。リーン車両１が側方に傾斜するにしたがって、リーン車両１のリーン角も大きくなる。また、リーン車両１が傾斜するのはほとんどの場合において旋回時であり、リーン車両１の旋回時、リーン車両１のヨーレート及び横加速度は、概ね、リーン車両１のリーン角の増減に対応して増減する。このため、リーン車両１のリーン角、ヨーレート及び横加速度を、リーン車両１の傾斜方向の姿勢情報として用いることができる。

【0032】

なお、走行状態検出装置４０は、リーン車両１のリーン角、ヨーレート及び横加速度のうちの複数を検出する場合、それぞれの情報を検出する別々の検出装置を備えていてもよいし、これらのうちの少なくとも２つの情報を１つの検出装置で検出してもよい。本実施の形態では、走行状態検出装置４０は、リーン車両１の傾斜方向の姿勢情報を検出する検出装置として、上述の慣性計測装置を用いている。

【0033】

画像データ生成装置２０は、例えば、一部又は全てがマイコン、マイクロプロセッサユニット等で構成されている。また、例えば、画像データ生成装置２０の一部又は全ては、ファームウェア等の更新可能なもので構成されてもよく、ＣＰＵ等からの指令によって実行されるプログラムモジュール等であってもよい。画像データ生成装置２０は、例えば、１つであってもよく、また、複数に分かれていてもよい。また、画像データ生成装置２０の少なくとも一部は、制御装置１２の少なくとも一部と一体に形成されていてもよい。本実施の形態では、画像データ生成装置２０は、機能部として、入力部２１、移動変換部２２、及び回転変換部２３を備えている。また、本実施の形態に係る画像データ生成装置２０は、機能部として記憶部２４も備えている。

【0034】

入力部２１は、リーン車両１の周囲環境を検出する撮像装置１１の撮像データが入力されるものである。例えば、撮像装置１１の撮像データは、以下のようなものとなる。

【0035】

図４及び図５は、本発明の実施の形態に係る画像データ生成装置を備えた支援システムの撮像装置の撮像データの一例を示す図である。

【0036】

図４に示す撮像装置１１の撮像データ３０は、リーン車両１が直進している状態（傾斜していない状態）においてリーン車両１にピッチングが発生していないときの撮像データである。なお、本実施の形態では、消失点が撮像データ３０の略中心となるように、リーン車両１に搭載されている。また、撮像データ３０の中心位置周辺が、支援システム１０において運転支援の要否の判定に必要な領域３３である。なお、運転支援の要否の判定に必要な領域３３の位置及び大きさは、あくまでも一例である。

【0037】

また、図４に示す撮像データ３０には、垂直方向に伸びる木が写っている。また、この木の根元が、図４に示す撮像データ３０の中心位置となっている。この木は、図５に示す撮像データ３０及び後述の画像データにも映っている。すなわち、図５に示す撮像データ３０及び当後述の画像データにおいて、この木の根元が、図４に示す撮像データ３０（リーン車両１にピッチングが発生していない状態での撮像データ）において中心だった位置である。

【0038】

ここで、リーン車両１は、旋回する際に車体が旋回方向に傾斜する。このため、リーン車両１が傾斜した状態では、リーン車両１に搭載された撮像装置１１の撮像データ３０も傾いたものとなる。また、リーン車両１は、車長が短い。このため、リーン車両１は、ピッチングが大きくなる。そして、リーン車両１のピッチング方向の姿勢情報が変化すると、撮像装置１１の撮像データ３０において、ピッチング発生前に中心だった位置が、上下方向に移動する。したがって、旋回中のリーン車両１にピッチングが発生すると、撮像データ３０は、図５に示すようになる。

【0039】

リーン車両への搭載が提案されている従来の支援システムでは、図５に示す傾いた撮像データ３０は、次のように回転変換され、リーン車両１のライダーへの支援動作の必要性の検討に用いられる。

【0040】

図６は、従来の支援システムによる撮像データの回転変換を説明するための図である。なお、図６の画像データ１０１に示すハッチング部分は、図５に示す傾いた撮像データ３０を回転変換した際に画像情報が欠落した部分である。回転変換後の画像データでは、回転変換前後の双方において画像情報が存在する座標位置のみが、画像として残るからである。

【0041】

従来の支援システムは、図５に示す撮像データ３０から図６に示す画像データ１０１を生成する際、図５に示す撮像データ３０の中心を回転中心として、撮像データ３０の傾きに応じて該撮像データ３０を回転させる。このように、従来の支援システムは、図５に示す傾いた撮像データ３０を回転変換する際、撮像データ３０のうちで運転支援の要否の判定に必要ではない領域部分も回転変換しなければならず、計算量が多くなってしまう。また、図５に示す傾いた撮像データ３０を回転変換する際の計算は、正弦及び余弦の計算となるため、時間がかかる。このため、従来の支援システムにおいては、ライダーの支援動作を開始するまでの遅れが大きくなってしまう。

【0042】

一方、本実施の形態に係る画像データ生成装置２０は、移動変換部２２及び回転変換部２３により、ライダーへの支援動作の必要性の検討に用いられる画像データを生成する。このため、後述のように、支援システム１０において、ライダーへの支援動作を開始するまでの遅れを従来よりも抑制することができる。

【0043】

移動変換部２２は、撮像装置１１の撮像データ３０を少なくとも上下方向に移動変換した第１画像データを求めるものである。具体的には、リーン車両１が傾斜した状態で該リーン車両１にピッチングが発生した際、移動変換部２２は、撮像装置１１の撮像データ３０を少なくとも上下方向に移動変換した第１画像データを求める。さらに具体的には、リーン車両１の車体において、後方に対して前方が沈み込むピッチングが発生した際、移動変換部２２は、撮像装置１１の撮像データ３０を少なくとも下方向に移動変換した第１画像データを求める。また、リーン車両１の車体において、後方に対して前方が浮き上がるピッチングが発生した際、移動変換部２２は、撮像装置１１の撮像データ３０を少なくとも上方向に移動変換した第１画像データを求める。すなわち、移動変換部２２は、図５に示す撮像データ３０を少なくとも上下方向に移動変換した第１画像データを求める。

【0044】

図７は、本発明の実施の形態に係る画像データ生成装置の移動変換部によって求められた第１画像データの一例を示す図である。この図７に示す第１画像データ３１は、図５に示す撮像データ３０を用いて求められたものである。なお、図７の第１画像データ３１に示すハッチング部分は、図５に示す撮像データ３０において画像情報が存在していないために画像情報が欠落した部分である。
図７に示す第１画像データ３１と図５に示す撮像データ３０との比較からわかるように、図７に示す第１画像データ３１の中心は、図５に示す撮像データ３０の中心と比べ、リーン車両１においてピッチングが発生していない状態において撮像データ３０の中心だった位置（図４の撮像データ３０で中心だった位置であり、木の根元の位置）に近くなる。

【0045】

例えば、撮像データ３０と第１画像データ３１との間の移動量は、固定値であってもよい。この場合、例えば、リーン車両１の車体において、後方に対して前方が沈み込むピッチングが規定のピッチング量以上大きくなった場合、移動変換部２２は、第１画像データ３１を、撮像データ３０を規定値だけ下方向に移動変換したものとする。また例えば、リーン車両１の車体において、後方に対して前方が浮き上がるピッチングが規定のピッチング量以上大きくなった場合、移動変換部２２は、第１画像データ３１を、撮像データ３０を規定値だけ上方向に移動変換したものとする。

【0046】

また、移動変換部２２は、リーン車両１のピッチング方向の姿勢情報に基づいて、撮像データ３０と第１画像データ３１との間の移動量を決定してもよい。すなわち、移動変換部２２は、リーン車両１のピッチング量が大きくなっている状態ほど、撮像データ３０と第１画像データ３１との間の移動量を大きな値に決定してもよい。具体的には、リーン車両１の車体において、後方に対して前方が沈み込むピッチング量が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を下方向に大きく移動させる。また例えば、リーン車両１の車体において、後方に対して前方が浮き上がるピッチング量が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を上方向に大きく移動させる。

【0047】

なお、撮像データ３０と第１画像データ３１との間の移動量の変化のさせ方は、任意である。リーン車両１のピッチング量が大きくなるにしたがって、撮像データ３０と第１画像データ３１との間の移動量を線形に大きくしていってもよいし、撮像データ３０と第１画像データ３１との間の移動量を階段状に大きくしていってもよい。リーン車両１のピッチング方向の姿勢情報に基づいて、撮像データ３０と第１画像データ３１との間の移動量を決定することにより、第１画像データ３１の中心は、リーン車両１にピッチングが発生している状態の撮像データ３０の中心と比べ、リーン車両１においてピッチングが発生していない状態において撮像データの中心だった位置（図４の撮像データ３０で中心だった位置であり、木の根元の位置）により近くなる。

【0048】

例えば、移動変換部２２は、リーン車両１のピッチング方向の姿勢情報として、リーン車両１のピッチング角を用いる。すなわち、リーン車両１の車体において、後方に対して前方が沈み込む方向のピッチング角が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を下方向に大きく移動させる。また、リーン車両１の車体において、後方に対して前方が浮き上がる方向のピッチング角が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を上方向に大きく移動させる。

【0049】

例えば、移動変換部２２は、リーン車両１のピッチング方向の姿勢情報として、リーン車両１の前輪３側のサスペンション４の伸縮量を用いる。すなわち、サスペンション４の縮み量が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を下方向に大きく移動させる。また、サスペンション４の伸び量が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を上方向に大きく移動させる。

【0050】

例えば、移動変換部２２は、リーン車両１のピッチング方向の姿勢情報として、リーン車両１の前後方向の加減速度を用いる。すなわち、リーン車両１の前進時に減速度が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を下方向に大きく移動させる。また、リーン車両１の前進時に加速度が大きくなっている状態ほど、移動変換部２２は、第１画像データ３１を求める際、撮像データ３０を上方向に大きく移動させる。

【0051】

なお、移動変換部２２は、リーン車両１のピッチング方向の姿勢情報として、リーン車両１のピッチング角、サスペンション４の伸縮量及び前後方向の加減速度のうちの複数を用い、撮像データ３０と第１画像データ３１との間の移動量を決定してもよい。これにより、第１画像データ３１の中心は、リーン車両１にピッチングが発生している状態の撮像データ３０の中心と比べ、リーン車両１においてピッチングが発生していない状態において撮像データの中心だった位置（図４の撮像データ３０で中心だった位置であり、木の根元の位置）にさらに近くなる。

【0052】

ここで、撮像装置１１は、ハンドル２に直接設けられる構成、あるいは、ハンドル２と共に動く構造物に設けられる構成となる場合も想定される。すなわち、撮像装置１１は、リーン車両１のハンドル２と共に動くものである場合も想定される。このような構成の場合、ハンドル２が切られると、撮像データ３０において、リーン車両１にピッチングが発生していない状態で撮像データの中心だった位置は、左右方向のうち、ハンドル２を切った方向とは反対方向に移動する。

【0053】

このため、移動変換部２２は、リーン車両１のピッチング方向の姿勢情報として、リーン車両１のピッチング角、サスペンション４の伸縮量及び前後方向の加減速度のうちの少なくとも１つを用いる場合、さらにリーン車両１の舵角に基づいて、撮像データ３０と第１画像データ３１との間の移動量（詳しくは、左右方向の移動量）を決定してもよい。これにより、第１画像データ３１の中心は、リーン車両１にピッチングが発生している状態の撮像データ３０の中心と比べ、リーン車両１においてピッチングが発生していない状態において撮像データの中心だった位置（図４の撮像データ３０で中心だった位置であり、木の根元の位置）にさらに近くなる。

【0054】

また例えば、移動変換部２２は、撮像装置１１の撮像データ３０に基づいて、撮像データ３０と第１画像データ３１との間の移動量を決定してもよい。リーン車両１が傾斜しておらず且つピッチングが発生していない状態における撮像データ３０と、傾斜中のリーン車両１にピッチングが発生している状態の撮像データ３０とを比較することにより、撮像データ３０と第１画像データ３１との間の上下方向及び左右方向の移動量を直接的に求めることができる。なお、本実施の形態１では、リーン車両１が傾斜しておらず且つピッチングが発生していない状態において、撮像データ３０の消失点は、撮像データ３０の中心となっている。一方、傾斜中のリーン車両１にピッチングが発生している状態の撮像データ３０では、消失点が中心からずれた位置となる。本実施の形態では、この消失点のずれ量に基づいて、撮像データ３０と第１画像データ３１との間の移動量を決定している。

【0055】

なお、本実施の形態では、移動変換部２２は、所謂逆変換によって、第１画像データ３１を求めている。すなわち、本実施の形態に係る移動変換部２２は、第１画像データ３１の座標情報（ピクセル番号、ピクセル座標値等）が入力されて、撮像データ３０の座標情報が出力される画像変換により、第１画像データ３１を求める構成となっている。逆変換によって第１画像データ３１を求めることにより、所謂順変換で第１画像データ３１を生成した際に該第１画像データ３１内に発生する画像の抜けを抑制することができる。なお、移動変換部２２は、順変換によって第１画像データ３１を求めても、勿論よい。すなわち、移動変換部２２は、撮像データ３０の座標情報が入力されて、第１画像データ３１の座標情報が出力される画像変換により、第１画像データ３１を求める構成であってもよい。

【0056】

回転変換部２３は、第１画像データ３１を回転変換した第２画像データを求めるものである。具体的には、回転変換部２３は、撮像物の傾きが少なくなる方向に第１画像データ３１を回転変換した第２画像データを求める。この第２画像データは、制御装置１２において、運転支援の必要性の検討に用いられる。すなわち、回転変換部２３は、図７に示す第１画像データ３１を回転変換した第２画像データを求める。

【0057】

図８は、本発明の実施の形態に係る画像データ生成装置の回転変換部によって求められた第２画像データの一例を示す図である。この図８に示す第２画像データ３２は、図７に示す第１画像データ３１を用いて求められたものである。なお、図８の第２画像データ３２に示すハッチング部分は、図７に示す第１画像データ３１を回転変換した際に画像情報が欠落した部分である。

【0058】

図６に示す画像データ１０１と図８に示す第２画像データ３２とからわかるように、図８に示す第２画像データ３２における画像情報が欠落した部分は、図６に示す画像データ１０１における画像情報が欠落した部分と比べ、第１画像データ３１の生成時に画像情報が欠落した部分だけ、大きくなっている。すなわち、図８に示す第２画像データ３２は、図６に示す画像データ１０１と比べ、画像データを回転変換するための計算（時間がかかる正弦及び余弦の計算）の量を削減できる。

【0059】

また、図６に示す画像データ１０１と図８に示す第２画像データ３２とからわかるように、回転変換後の画像データでは、角部周辺の画像情報が欠落する。このため、回転変換前の画像データにおいて運転支援の要否の判定に必要な領域３３が中心周辺に位置するほうが、回転変換後の画像データにおいて領域３３での画像情報の欠落が発生しにくい。ここで、第１画像データ３１では、支援システム１０において運転支援の要否の判定に必要な領域３３が中心周辺に位置する。このため、本実施の形態に係る撮像装置１１として、従来よりも小さな撮像範囲（小さな画素数）の撮像装置を用いることができる。この点からも、第２画像データ３２は、画像データ１０１と比べ、画像データを回転変換するための計算の量を削減できる。

【0060】

また、上述のように、第１画像データ３１では、支援システム１０において運転支援の要否の判定に必要な領域３３が中心周辺に位置する。このため、第１画像データ３１の中心周辺を回転変換するだけでも第２画像データ３２を生成することができる。この点からも、第２画像データ３２は、画像データ１０１と比べ、画像データを回転変換するための計算の量を削減できる。

【0061】

このように、第２画像データ３２は、画像データ１０１と比べ、画像データを回転変換するための計算の量を削減できる。このため、本実施の形態に係る画像データ生成装置２０は、支援システム１０においてライダーへの支援動作を開始するまでの遅れを、従来よりも抑制することができる。

【0062】

ここで、従来の支援システムにおいては、正弦及び余弦の計算は、演算用のライブラリにて行われる。この演算用のライブラリでの正弦及び余弦の計算は、時間がかかる。そこで、本実施の形態に係る画像データ生成装置２０は、次のような構成によって、第１画像データ３１を回転変換するための計算時間をさらに削減し、支援システム１０においてライダーへの支援動作を開始するまでの遅れのさらなる抑制を図っている。

【0063】

図９は、本発明の実施の形態に係る画像データ生成装置の記憶部が記憶しているテーブルの一例を示す図である。
上述のように、本実施の形態に係る画像データ生成装置２０は、記憶部２４を備えている。この記憶部２４は、例えば図９に示すような、複数の角度の正弦の値及び複数の角度の余弦の値が保存されたテーブル５０を記憶している。そして、回転変換部２３は、第２画像データ３２を求める際、テーブル５０を用いる構成となっている。第１画像データ３１を回転変換する際に必要な角度の正弦の値及び余弦の値をテーブル５０から引用することにより、演算用のライブラリで正弦及び余弦の計算をする場合と比べて、第１画像データ３１を回転変換するための計算時間を削減できる。このため、第２画像データ３２を求める際にテーブル５０を用いることにより、支援システム１０においてライダーへの支援動作を開始するまでの遅れさらに抑制できる。

【0064】

ここで、例えば、第１画像データ３１と第２画像データ３２との間の回転量は、固定値であってもよい。この場合、例えば、リーン車両１の傾斜角度が規定の傾斜角度以上となった場合、回転変換部２３は、第２画像データ３２を、第１画像データ３１を規定角度だけ傾きが少なくなる方向に回転変換したものとする。

【0065】

また、回転変換部２３は、リーン車両１の傾斜方向の姿勢情報に基づいて、第１画像データ３１と第２画像データ３２との間の回転量を決定してもよい。すなわち、回転変換部２３は、リーン車両１の傾斜角度が大きくなっている状態ほど、第１画像データ３１と第２画像データ３２との間の回転量を大きな値に決定してもよい。

【0066】

なお、第１画像データ３１と第２画像データ３２との間の回転量の変化のさせ方は、任意である。リーン車両１の傾斜角度が大きくなるにしたがって、第１画像データ３１と第２画像データ３２との間の回転量を線形に大きくしていってもよいし、第１画像データ３１と第２画像データ３２との間の回転量を階段状に大きくしていってもよい。リーン車両１の傾斜方向の姿勢情報に基づいて、第１画像データ３１と第２画像データ３２との間の回転量を決定することにより、第２画像データ３２の傾きがより小さくなり、リーン車両１の周囲環境の検出精度が向上するので、支援システム１０における支援精度が向上する。

【0067】

例えば、回転変換部２３は、リーン車両１の傾斜方向の姿勢情報として、リーン車両１のリーン角を用いる。また、例えば、回転変換部２３は、リーン車両１の傾斜方向の姿勢情報として、リーン車両１のヨーレートを用いる。また、例えば、回転変換部２３は、リーン車両１の傾斜方向の姿勢情報として、リーン車両１の横加速度を用いる。

【0068】

なお、回転変換部２３は、リーン車両１の傾斜方向の姿勢情報として、リーン車両１のリーン角、ヨーレート及び横加速度のうちの複数を用い、第１画像データ３１と第２画像データ３２との間の回転量を決定してもよい。これにより、リーン車両１の傾斜角度をより正確に把握できることとなり、第２画像データ３２の傾きをより小さくできるので、リーン車両１の周囲環境の検出精度がより向上し、支援システム１０における支援精度がより向上する。

【0069】

また、本実施の形態では、回転変換部２３は、逆変換によって、第２画像データ３２を求めている。すなわち、本実施の形態に係る回転変換部２３は、第２画像データ３２の座標情報が入力されて、第１画像データ３１の座標情報が出力される画像変換により、第２画像データ３２を求める構成となっている。逆変換によって第２画像データ３２を求めることにより、順変換で第２画像データ３２を生成した際に該第２画像データ３２内に発生する画像の抜けを抑制することができる。なお、回転変換部２３は、順変換によって第２画像データ３２を求めても、勿論よい。すなわち、回転変換部２３は、第１画像データ３１の座標情報が入力されて、第２画像データ３２の座標情報が出力される画像変換により、第２画像データ３２を求める構成であってもよい。

【0070】

＜画像データ生成装置の動作＞
実施の形態に係る画像データ生成装置２０の動作について説明する。

【0071】

図１０は、本発明の実施の形態に係る画像データ生成装置の動作の一例の制御フローを示す図である。
制御の開示条件となった場合、ステップＳ１において画像データ生成装置２０は、図１０に示す制御を開始する。制御の開始条件とは、例えば、リーン車両１に傾斜及びピッチングが発生したとき等である。

【0072】

ステップＳ１の後のステップＳ２は、入力ステップである。ステップＳ２では、画像データ生成装置２０の入力部２１に、撮像装置１１の撮像データ３０が入力される。

【0073】

ステップＳ２の後のステップＳ３は、移動変換ステップである。ステップＳ３において画像データ生成装置２０の移動変換部２２は、上述した方法のいずれかにより、撮像データ３０を少なくとも上下方向に移動変換した第１画像データ３１を求める。

【0074】

ステップＳ３の後のステップＳ４は、回転変換ステップである。ステップＳ４において画像データ生成装置２０の回転変換部２３は、上述した方法のいずれかにより、第１画像データ３１を回転変換した第２画像データ３２を求める。なお、第２画像データ３２は、制御装置１２において、ライダーの運転を支援する動作の必要性の検討等に用いられる。

【0075】

ステップＳ４の後のステップＳ５は、終了判定ステップである。ステップＳ５において画像データ生成装置２０は、制御の終了条件となったか否かを判定する。制御の終了条件とは、リーン車両１に傾斜又はピッチングが発生しなくなったとき等である。制御の終了条件となった場合、画像データ生成装置２０は、ステップＳ６に進み、図１０に示す制御を終了する。一方、制御の終了条件となっていない場合、画像データ生成装置２０は、ステップＳ２からステップＳ５までを繰り返す。

【0076】

＜画像データ生成装置の効果＞
本実施の形態に係る画像データ生成装置２０は、リーン車両１のライダーの運転を支援する支援システム１０に用いられる画像データ生成装置である。画像データ生成装置２０は、リーン車両１の周囲環境を検出する撮像装置１１の撮像データ３０が入力される入力部２１と、撮像データ３０を少なくとも上下方向に移動変換した第１画像データ３１を求める移動変換部２２と、第１画像データ３１を回転変換した第２画像データ３２を求める回転変換部２３と、を備えている。

【0077】

このように構成された画像データ生成装置２０においては、撮像装置１１の撮像データ３０を少なくとも上下方向に移動変換した第１画像データ３１を求める。そして、画像データ生成装置２０は、該第１画像データ３１を回転変換し、運転支援の必要性の検討に用いられる第２画像データ３２を求める。このように第２画像データ３２を求めることにより、画像データを回転変換するための計算の量を従来よりも削減できる。このため、このように構成された画像データ生成装置２０は、支援システム１０においてライダーへの支援動作を開始するまでの遅れを従来よりも抑制することができる。

【0078】

以上、本実施の形態に係る画像データ生成装置２０について説明したが、本発明に係る画像データ生成装置は、本実施の形態の説明に限定されるものではない。例えば、本発明に係る画像データ生成装置は、本実施の形態の一部のみが実施されてもよい。また例えば、本発明に係る画像データ生成装置は、リーン車両の少なくとも後方の周囲環境を検出する撮像装置を備えた支援システムに用いられてもよい。

【符号の説明】

【0079】

１ リーン車両、２ ハンドル、３ 前輪、４ サスペンション、１０ 支援システム、１１ 撮像装置、１２ 制御装置、２０ 画像データ生成装置、２１ 入力部、２２ 移動変換部、２３ 回転変換部、２４ 記憶部、３０ 撮像データ、３１ 第１画像データ、３２ 第２画像データ、３３ 領域、４０ 走行状態検出装置、５０ テーブル、１０１ 画像データ（従来）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】