IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧

<>
  • 特許-処理装置及び処理方法 図1
  • 特許-処理装置及び処理方法 図2
  • 特許-処理装置及び処理方法 図3
  • 特許-処理装置及び処理方法 図4
  • 特許-処理装置及び処理方法 図5
  • 特許-処理装置及び処理方法 図6
  • 特許-処理装置及び処理方法 図7
  • 特許-処理装置及び処理方法 図8
  • 特許-処理装置及び処理方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-30
(45)【発行日】2024-06-07
(54)【発明の名称】処理装置及び処理方法
(51)【国際特許分類】
   G06T 3/60 20240101AFI20240531BHJP
   B62J 99/00 20200101ALI20240531BHJP
   B60R 11/02 20060101ALI20240531BHJP
【FI】
G06T3/60
B62J99/00
B60R11/02 Z
【請求項の数】 18
(21)【出願番号】P 2019209835
(22)【出願日】2019-11-20
(65)【公開番号】P2021082075
(43)【公開日】2021-05-27
【審査請求日】2022-10-12
(73)【特許権者】
【識別番号】591245473
【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
(74)【代理人】
【識別番号】100177839
【弁理士】
【氏名又は名称】大場 玲児
(74)【代理人】
【識別番号】100172340
【弁理士】
【氏名又は名称】高橋 始
(74)【代理人】
【識別番号】100182626
【弁理士】
【氏名又は名称】八島 剛
(72)【発明者】
【氏名】山田 康夫
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2019-121858(JP,A)
【文献】特開2011-071572(JP,A)
【文献】特開2013-060128(JP,A)
【文献】国際公開第2015/174208(WO,A1)
【文献】特開2013-173490(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 3/60
B62J 99/00
B62J 45/40
B60R 11/02
(57)【特許請求の範囲】
【請求項1】
鞍乗り型車両(1)に搭載されているカメラ(10)により撮像された画像を処理する処理装置(30)であって、
前記鞍乗り型車両(1)のリーン角(φ)に応じた回転角(θ)で前記画像を回転補正する補正部(32a)と、
前記画像の回転補正における前記リーン角(φ)と前記回転角(θ)との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する設定部(32b)と、
を備え
前記設定部(32b)において前記ユーザによる前記入力操作に応じて設定される前記補正パラメータは、前記リーン角(φ)に対する前記回転角(θ)の変化度合いを示す指標を含む
処理装置。
【請求項2】
前記補正部(32a)は、前記リーン角(φ)が閾値より小さい場合と前記リーン角(φ)が前記閾値より大きい場合との間で、前記リーン角(φ)に対する前記回転角(θ)の変化度合いを異ならせ、
前記設定部(32b)において前記ユーザによる前記入力操作に応じて設定される前記補正パラメータは、前記閾値を含む、
請求項1に記載の処理装置。
【請求項3】
前記補正部(32a)は、前記リーン角(φ)が前記閾値より大きい場合、前記リーン角(φ)が前記閾値より小さい場合よりも、前記リーン角(φ)に対する前記回転角(θ)の変化度合いを大きくする、
請求項2に記載の処理装置。
【請求項4】
前記補正部(32a)は、前記リーン角(φ)が前記閾値より小さい場合、前記画像の回転補正を禁止する、
請求項2又は3に記載の処理装置。
【請求項5】
前記補正部(32a)は、前記リーン角(φ)が前記閾値より大きい場合、前記リーン角(φ)と前記回転角(θ)との差を維持する、
請求項2~4のいずれか一項に記載の処理装置。
【請求項6】
前記補正部(32a)は、前記鞍乗り型車両(1)の傾斜方向と同一方向に前記画像を回転補正する、
請求項1~のいずれか一項に記載の処理装置。
【請求項7】
前記補正部(32a)は、前記鞍乗り型車両(1)の傾斜方向と逆方向に前記画像を回転補正する、
請求項1~のいずれか一項に記載の処理装置。
【請求項8】
鞍乗り型車両(1)に搭載されているカメラ(10)により撮像された画像を処理する処理装置(30)であって、
前記鞍乗り型車両(1)のリーン角(φ)に応じた回転角(θ)で前記画像を回転補正する補正部(32a)と、
前記画像の回転補正における前記リーン角(φ)と前記回転角(θ)との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する設定部(32b)と、
を備え、
前記補正部(32a)は、前記鞍乗り型車両(1)の傾斜方向と逆方向に前記画像を回転補正する、
処理装置。
【請求項9】
前記入力操作は、前記ユーザによる前記補正パラメータを直接的に設定する操作を含む、
請求項1~8のいずれか一項に記載の処理装置。
【請求項10】
前記入力操作は、前記ユーザによる前記補正パラメータ以外の他のパラメータを設定する操作を含み、
前記設定部(32b)は、前記他のパラメータの設定情報に基づいて前記補正パラメータを設定する、
請求項1~9のいずれか一項に記載の処理装置。
【請求項11】
前記他のパラメータは、前記鞍乗り型車両(1)の走行時の挙動特性に関する挙動特性パラメータを含む、
請求項10に記載の処理装置。
【請求項12】
鞍乗り型車両(1)に搭載されているカメラ(10)により撮像された画像を処理する処理装置(30)であって、
前記鞍乗り型車両(1)のリーン角(φ)に応じた回転角(θ)で前記画像を回転補正する補正部(32a)と、
前記画像の回転補正における前記リーン角(φ)と前記回転角(θ)との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する設定部(32b)と、
を備え、
前記入力操作は、前記ユーザによる前記補正パラメータ以外の他のパラメータを設定する操作を含み、
前記設定部(32b)は、前記他のパラメータの設定情報に基づいて前記補正パラメータを設定し、
前記他のパラメータは、前記鞍乗り型車両(1)の走行時の挙動特性に関する挙動特性パラメータを含む、
処理装置。
【請求項13】
前記挙動特性パラメータは、前記鞍乗り型車両(1)の走行モードを規定するパラメータを含む、
請求項11又は12に記載の処理装置。
【請求項14】
前記挙動特性パラメータは、前記鞍乗り型車両(1)のサスペンションの減衰特性を規定するパラメータを含む、
請求項11~13のいずれか一項に記載の処理装置。
【請求項15】
前記挙動特性パラメータは、前記鞍乗り型車両(1)のアンチロックブレーキ制御の制動特性を規定するパラメータを含む、
請求項11~14のいずれか一項に記載の処理装置。
【請求項16】
鞍乗り型車両(1)に搭載されているカメラ(10)により撮像された画像の処理方法であって、
処理装置(30)の補正部(32a)が、前記鞍乗り型車両(1)のリーン角(φ)に応じた回転角(θ)で前記画像を回転補正し、
前記処理装置(30)の設定部(32b)が、前記画像の回転補正における前記リーン角(φ)と前記回転角(θ)との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定し、
前記設定部(32b)において前記ユーザによる前記入力操作に応じて設定される前記補正パラメータは、前記リーン角(φ)に対する前記回転角(θ)の変化度合いを示す指標を含む
処理方法。
【請求項17】
鞍乗り型車両(1)に搭載されているカメラ(10)により撮像された画像の処理方法であって、
処理装置(30)の補正部(32a)が、前記鞍乗り型車両(1)のリーン角(φ)に応じた回転角(θ)で前記画像を回転補正し、
前記処理装置(30)の設定部(32b)が、前記画像の回転補正における前記リーン角(φ)と前記回転角(θ)との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定し、
前記補正部(32a)が、前記鞍乗り型車両(1)の傾斜方向と逆方向に前記画像を回転補正する、
処理方法。
【請求項18】
鞍乗り型車両(1)に搭載されているカメラ(10)により撮像された画像の処理方法であって、
処理装置(30)の補正部(32a)が、前記鞍乗り型車両(1)のリーン角(φ)に応じた回転角(θ)で前記画像を回転補正し、
前記処理装置(30)の設定部(32b)が、前記画像の回転補正における前記リーン角(φ)と前記回転角(θ)との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定し、
前記入力操作は、前記ユーザによる前記補正パラメータ以外の他のパラメータを設定する操作を含み、
前記設定部(32b)が、前記他のパラメータの設定情報に基づいて前記補正パラメータを設定し、
前記他のパラメータは、前記鞍乗り型車両(1)の走行時の挙動特性に関する挙動特性パラメータを含む、
処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、鞍乗り型車両に搭載されているカメラにより撮像された画像をユーザの好みに応じて調整することができる処理装置及び処理方法に関する。
【背景技術】
【0002】
車両にカメラを搭載し、車両の走行中に当該カメラを用いて撮像する技術がある。ここで、モータサイクル等の鞍乗り型車両にカメラを搭載した場合、四輪の自動車等の他の車両と異なり、鞍乗り型車両がロール方向に傾くことに伴ってカメラにより撮像される画像も傾いてしまう。そこで、鞍乗り型車両に搭載されているカメラにより撮像された画像を回転補正する技術が提案されている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2015/174208号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、鞍乗り型車両に搭載されているカメラにより撮像された画像を回転補正する従来の技術では、鞍乗り型車両のリーン角に応じて予め設定された回転角で単純に画像が回転補正されるので、回転補正による画像の調整によって得られる画像が必ずしもユーザの好みに合った画像であるとは限らなかった。
【0005】
本発明は、上述の課題を背景としてなされたものであり、鞍乗り型車両に搭載されているカメラにより撮像された画像をユーザの好みに応じて調整することができる処理装置及び処理方法を得るものである。
【課題を解決するための手段】
【0006】
本発明に係る処理装置は、鞍乗り型車両に搭載されているカメラにより撮像された画像を処理する処理装置であって、前記鞍乗り型車両のリーン角に応じた回転角で前記画像を回転補正する補正部と、前記画像の回転補正における前記リーン角と前記回転角との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する設定部と、を備える。
【0007】
本発明に係る処理方法は、鞍乗り型車両に搭載されているカメラにより撮像された画像の処理方法であって、処理装置の補正部が、前記鞍乗り型車両のリーン角に応じた回転角で前記画像を回転補正し、前記処理装置の設定部が、前記画像の回転補正における前記リーン角と前記回転角との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する。
【発明の効果】
【0008】
本発明に係る処理装置及び処理方法では、鞍乗り型車両に搭載されているカメラにより撮像された画像を処理する処理装置の補正部が、鞍乗り型車両のリーン角に応じた回転角で当該画像を回転補正し、処理装置の設定部が、当該画像の回転補正におけるリーン角と回転角との関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する。それにより、回転補正におけるリーン角と回転角との関係をユーザの好みに応じて変更することができる。ゆえに、鞍乗り型車両に搭載されているカメラにより撮像された画像をユーザの好みに応じて調整することができる。
【図面の簡単な説明】
【0009】
図1】本発明の実施形態に係る処理装置が搭載されるモータサイクルの概略構成を示す模式図である。
図2】本発明の実施形態に係るモータサイクルがロール方向に傾いている様子を示す模式図である。
図3】本発明の実施形態に係る処理装置の機能構成の一例を示すブロック図である。
図4】本発明の実施形態に係るモータサイクルのカメラにより撮像される画像がモータサイクルのリーン角に応じて傾く様子を示す模式図である。
図5】本発明の実施形態に係る補正パラメータとしての閾値によって、回転補正におけるリーン角と回転角との関係が規定される様子を示す模式図である。
図6】本発明の実施形態に係る回転補正が図5中の特性線L1を用いて行われる様子を示す模式図である。
図7】本発明の実施形態に係る補正パラメータとしての補正係数によって、回転補正におけるリーン角と回転角との関係が規定される様子を示す模式図である。
図8】本発明の実施形態に係る回転補正が図7中の特性線L2を用いて行われる様子を示す模式図である。
図9】本発明の実施形態に係る処理装置が行う処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に、本発明に係る処理装置について、図面を用いて説明する。
【0011】
なお、以下では、二輪のモータサイクルに用いられる処理装置について説明しているが、本発明に係る処理装置は、二輪のモータサイクル以外の鞍乗り型車両(例えば、三輪のモータサイクル、自転車等)に用いられるものであってもよい。なお、鞍乗り型車両は、ライダーが跨って乗車する車両を意味し、エンジンによって推進力を得るもの、モータによって推進力を得るもの等が含まれる。
【0012】
また、以下では、モータサイクルに搭載され当該モータサイクルの前方を撮像するカメラ(具体的には、後述する図1及び図2中のカメラ10)により撮像された画像を処理する処理装置について説明しているが、本発明に係る処理装置は、モータサイクルに搭載され当該モータサイクルの後方を撮像するカメラにより撮像された画像を処理してもよい。その場合、以下で説明するモータサイクルの前方を映す画像への処理は、モータサイクルの後方を映す画像への処理に置き換えることができる。
【0013】
また、以下で説明する構成及び動作等は一例であり、本発明に係る処理装置及び処理方法は、そのような構成及び動作等である場合に限定されない。
【0014】
また、以下では、同一の又は類似する説明を適宜簡略化又は省略している。また、各図において、同一の又は類似する部材又は部分については、符号を付すことを省略しているか、又は同一の符号を付している。また、細かい構造については、適宜図示を簡略化又は省略している。
【0015】
<モータサイクルの構成>
図1図4を参照して、本発明の実施形態に係る処理装置30が搭載されるモータサイクル1の構成について説明する。
【0016】
図1は、処理装置30が搭載されるモータサイクル1の概略構成を示す模式図である。
【0017】
図1に示されるように、モータサイクル1は、カメラ10と、慣性計測装置(IMU)20と、処理装置30とを備える。
【0018】
カメラ10は、モータサイクル1に搭載され、モータサイクル1の前方を撮像する。具体的には、カメラ10は、モータサイクル1の胴体の前部に前方を向く姿勢で設けられる。カメラ10により撮像された画像は、処理装置30に出力される。カメラ10は、例えば、ドライブレコーダーとして利用される。走行時にカメラ10により撮像された画像は、例えば、走行後にユーザにより見返される。
【0019】
カメラ10には、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像装置と、ISP(Image Signal Processor)等の画像処理装置とが含まれる。
【0020】
慣性計測装置20は、3軸のジャイロセンサ及び3方向の加速度センサを備えており、例えば、モータサイクル1の胴体に設けられている。
【0021】
慣性計測装置20は、モータサイクル1のリーン角を検出する。慣性計測装置20による検出結果は処理装置30に出力される。慣性計測装置20が、モータサイクル1のリーン角に実質的に換算可能な他の物理量を検出するものであってもよい。図2は、モータサイクル1がロール方向に傾いている様子を示す模式図である。図2に示されるように、リーン角φは、鉛直方向Yに対するモータサイクル1のロール方向の傾きを示す角度に相当する。図2では、モータサイクル1の傾斜方向が車両左方向である例が示されている。車両左方向は、車両前方向を向いた場合に反時計回りの傾斜方向である。一方、車両右方向は、車両前方向を向いた場合に時計回りの傾斜方向である。
【0022】
処理装置30は、カメラ10により撮像された画像の処理に関する各種処理を行う。
【0023】
例えば、処理装置30の一部又は全ては、マイコン、マイクロプロセッサユニット等で構成されている。また、例えば、処理装置30の一部又は全ては、ファームウェア等の更新可能なもので構成されてもよく、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。処理装置30は、例えば、1つであってもよく、また、複数に分かれていてもよい。なお、処理装置30はカメラ10と別体であってもよく、処理装置30の一部又は全てがカメラ10の筐体内に設けられていてもよい。
【0024】
図3は、処理装置30の機能構成の一例を示すブロック図である。
【0025】
図3に示されるように、処理装置30は、例えば、取得部31と、処理部32と、出力部33とを備える。
【0026】
取得部31は、モータサイクル1に搭載されている各装置から出力される情報を取得し、処理部32へ出力する。例えば、取得部31は、カメラ10及び慣性計測装置20から出力される情報を取得する。カメラ10により撮像された画像は、カメラ10から出力されて取得部31により取得される。
【0027】
また、取得部31は、ユーザによる入力操作に関する情報を取得する。例えば、処理装置30には、ボタン又はタッチパネル等の入力装置が設けられており、取得部31は、当該入力装置を用いたユーザによる入力操作に関する情報を取得してもよい。なお、取得部31は、モータサイクル1において処理装置30と離隔して設けられている入力装置を用いたユーザによる入力操作に関する情報を取得してもよい。
【0028】
処理部32は、カメラ10により撮像された画像を処理する。例えば、カメラ10により走行中に撮像された画像は、処理装置30の記憶素子に逐次記憶され、処理部32は、当該記憶素子に記憶されている当該画像を走行後等(例えば、当該画像をユーザが見返す時)に処理する。なお、カメラ10により走行中に撮像された画像は、撮像時刻におけるリーン角φと紐づけて処理装置30の記憶素子に記憶される。また、処理部32による画像処理後の画像が、後述される回転角θと紐づけて処理装置30の記憶素子に記憶されてもよい。処理部32は、例えば、プログラムと協働して機能する、補正部32aと、設定部32bとを含む。
【0029】
補正部32aは、カメラ10により撮像された画像を、モータサイクル1のリーン角φに応じた回転角θで回転補正する。つまり、回転補正では、カメラ10により撮像された画像が回転角θだけ回転する。回転角θは、回転補正における補正量に相当する。なお、以下では、カメラ10により撮像された後、処理部32により画像処理される前(具体的には、回転補正される前)の画像を撮像画像とも呼ぶ。
【0030】
モータサイクル1等の鞍乗り型車両では、四輪の自動車等の他の車両と異なり、主に旋回時に、車体がロール方向に傾く。ゆえに、モータサイクル1がロール方向に傾くことに伴ってカメラ10により撮像される画像も傾いてしまう。
【0031】
図4は、モータサイクル1のカメラ10により撮像される画像(つまり、撮像画像)がモータサイクル1のリーン角φに応じて傾く様子を示す模式図である。図4に示される例では、リーン角φが0°である場合(つまり、モータサイクル1がロール方向に傾いていない場合)と、モータサイクル1が車体左方向に傾き、リーン角φが角度φ1となった場合の各々における撮像画像が示されている。なお、図4では、リーン角φが0°である場合の撮像画像の枠と対応する枠が二点鎖線によって示されている。
【0032】
リーン角φが0°である場合、撮像画像の上方向(つまり、図4中の上方向)は鉛直方向Yと一致する。しかしながら、モータサイクル1が車体左方向に傾き、リーン角φが角度φ1となった場合、撮像画像の上方向は鉛直方向Yに対して相対的に車体左方向に角度φ1だけ傾く。ゆえに、撮像画像は、リーン角φが0°の場合と比較して、車体左方向と逆方向である車体右方向に角度φ1だけ傾いてしまう。このように、撮像画像は、モータサイクル1の傾斜方向と逆方向にリーン角φだけ傾く。
【0033】
ここで、上記のようにモータサイクル1がロール方向に傾くことに伴って撮像画像が傾くことは、当該撮像画像を見るユーザに不快感を与える要因となる。そこで、補正部32aは、モータサイクル1の傾斜方向と同一方向に撮像画像を回転補正する。それにより、撮像画像と比較して傾きが抑制された画像を得ることができる。ゆえに、画像の傾きに起因する不快感をユーザに与えにくくすることができる。
【0034】
なお、以下では、補正部32aがモータサイクル1の傾斜方向と同一方向に撮像画像を回転補正する例を主に説明するが、補正部32aはモータサイクル1の傾斜方向と逆方向に撮像画像を回転補正してもよい。モータサイクル1の傾斜方向と逆方向に撮像画像を回転補正した場合、撮像画像と比較して傾きが増幅された画像を得ることができる。ゆえに、ユーザに臨場感を与えやすくすることができる。
【0035】
設定部32bは、画像の回転補正におけるリーン角φと回転角θとの関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する。補正部32aによる画像の回転補正は、設定部32bにより設定された補正パラメータに基づいて行われる。補正パラメータの設定値は、例えば、処理装置30の記憶素子に記憶される。なお、補正パラメータの詳細については、後述する。
【0036】
出力部33は、処理部32による画像処理後の画像(以下、単に画像処理後の画像とも呼ぶ)を出力する。例えば、処理装置30には、液晶ディスプレイ等の表示装置が設けられており、出力部33は、画像処理後の画像を当該表示装置に表示させてもよい。なお、出力部33は、処理装置30と物理的に離隔している表示装置に画像処理後の画像を表示させてもよい。また、例えば、出力部33は、画像処理後の画像を記憶媒体に出力してもよい。
【0037】
上記のように、処理装置30では、補正部32aは、カメラ10により撮像された画像を、モータサイクル1のリーン角φに応じた回転角θで回転補正し、設定部32bは、当該画像の回転補正におけるリーン角φと回転角θとの関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する。それにより、モータサイクル1に搭載されているカメラ10により撮像された画像をユーザの好みに応じて調整することが実現される。なお、処理装置30が行う画像処理の詳細については、後述する。
【0038】
<処理装置の動作>
図5図9を参照して、本発明の実施形態に係る処理装置30の動作について説明する。
【0039】
上述したように、補正部32aによる画像の回転補正におけるリーン角φと回転角θとの関係は、補正パラメータによって規定される。そして、補正パラメータがユーザによる入力操作に応じて設定されることによって、回転補正におけるリーン角φと回転角θとの関係がユーザの好みに応じて変更される。以下では、補正パラメータとしての閾値及び補正係数について順に説明し、その後、処理装置30が行う処理の流れについて説明する。
【0040】
まず、図5及び図6を参照して、補正パラメータとしての閾値について説明する。
【0041】
補正部32aは、リーン角φが閾値より小さい場合とリーン角φが当該閾値より大きい場合との間で、リーン角φに対する回転角θの変化度合いを異ならせてもよい。この場合、設定部32bは、上記閾値を補正パラメータとして設定し得る。
【0042】
図5は、補正パラメータとしての閾値によって、回転補正におけるリーン角φと回転角θとの関係が規定される様子を示す模式図である。図5では、閾値φ_thによって規定されるリーン角φと回転角θとの関係を示す特性線として、φ-θ平面上の特性線L1が示されている。
【0043】
特性線L1では、リーン角φが閾値φ_thより大きい場合、リーン角φが当該閾値φ_thより小さい場合よりも、リーン角φに対する回転角θの変化率(つまり、φ-θ平面上での特性線L1の傾き)が大きくなっている。つまり、補正部32aは、リーン角φと回転角θとの関係を示す特性線として特性線L1を用いた場合には、リーン角φが閾値φ_thより大きい場合、リーン角φが当該閾値φ_thより小さい場合よりも、リーン角φに対する回転角θの変化度合いを大きくする。
【0044】
具体的には、特性線L1では、リーン角φが閾値φ_thより小さい場合、リーン角φに対する回転角θの変化率が、例えば0となっており、回転角θが、例えばリーン角φによらずに0°となっている。つまり、補正部32aは、リーン角φと回転角θとの関係を示す線である特性線として特性線L1を用いた場合には、リーン角φが閾値φ_thより小さい場合、撮像画像の回転補正を禁止する。
【0045】
また、特性線L1では、リーン角φが閾値φ_thより大きい場合、リーン角φに対する回転角θの変化率が、例えば1となっている。つまり、補正部32aは、リーン角φと回転角θとの関係を示す特性線として特性線L1を用いた場合には、リーン角φが閾値φ_thより大きい場合、リーン角φと回転角θとの差を維持する。
【0046】
図6は、回転補正が図5中の特性線L1を用いて行われる様子を示す模式図である。図6に示される例では、閾値φ_thが角度φ1より小さい角度に設定されている状況下において、リーン角φが0°である場合(つまり、モータサイクル1がロール方向に傾いていない場合)と、モータサイクル1が車体左方向に傾き、リーン角φが閾値φ_thとなった場合と、モータサイクル1がさらに車体左方向に傾き、リーン角φが角度φ1となった場合の各々における画像処理後の画像が示されている。なお、図6では、リーン角φが0°である場合の撮像画像の枠と対応する枠が二点鎖線によって示されている。
【0047】
モータサイクル1が車体左方向に傾き、リーン角φが0°から閾値φ_thまで増加する過程では、回転角θ(つまり、回転補正における補正量)が0°に維持されるので、撮像画像の回転補正が禁止される。それにより、画像処理後の画像は、撮像画像と同様に、リーン角φが0°の場合と比較して、モータサイクル1の傾斜方向と逆方向である車体右方向にリーン角φだけ傾く。例えば、リーン角φが閾値φ_thとなった場合、画像処理後の画像は、モータサイクル1の傾斜方向と逆方向である車体右方向に閾値φ_thだけ傾く。その後、モータサイクル1がさらに車体左方向に傾き、リーン角φが閾値φ_thを超えた場合、リーン角φと回転角θとの差が維持される(つまり、回転補正における補正量に相当する回転角θはリーン角φの増加分だけ増加する)。それにより、画像処理後の画像は、モータサイクル1の傾斜方向と逆方向である車体右方向に閾値φ_thだけ傾いた状態に維持される。
【0048】
上記のように、図5中の特性線L1を用いて回転補正が行われる場合には、リーン角φが閾値φ_thより小さい場合、画像処理後の画像は、モータサイクル1の傾斜方向と逆方向にリーン角φだけ傾き、リーン角φの変化に応じて変化する。一方、リーン角φが閾値φ_thより大きい場合、画像処理後の画像は、モータサイクル1の傾斜方向と逆方向に閾値φ_thだけ傾いた状態に維持される。つまり、画像処理後の画像の傾きは、閾値φ_th以下に制限される。よって、閾値φ_thとして設定される値を小さくするほど、画像処理後の画像の傾きが許容されるリーン角φの範囲(つまり、閾値φ_th以下の範囲)が狭まるので、画像の傾きに起因する不快感をユーザに与えにくくすることができる。一方、閾値φ_thとして設定される値を大きくするほど、画像処理後の画像の傾きが許容されるリーン角φの範囲が広がるので、ユーザに臨場感を与えやすくすることができる。このように、閾値φ_thとして設定される値を変更することによって、リーン角φの変化に伴う画像処理後の画像の傾きの変化の仕方を変更することができる。
【0049】
なお、図5中の特性線L1では、リーン角φが閾値φ_thより小さい場合、リーン角φに対する回転角θの変化率が0となっているが、この場合のリーン角φに対する回転角θの変化率は0以外の任意の数値であってもよい。また、図5中の特性線L1では、リーン角φが閾値φ_thより大きい場合、リーン角φに対する回転角θの変化率が1となっているが、この場合のリーン角φに対する回転角θの変化率は1以外の任意の数値であってもよい。ただし、リーン角φに対する回転角θの変化度合いは、上述したように、リーン角φが閾値φ_thより小さい場合とリーン角φが当該閾値φ_thより大きい場合との間で、少なくとも異なる。ゆえに、閾値φ_thとして設定される値を変更することによって、リーン角φの変化に伴う画像処理後の画像の傾きの変化の仕方を変更することができる。
【0050】
続いて、図7及び図8を参照して、補正パラメータとしての補正係数について説明する。
【0051】
設定部32bは、リーン角φに対する回転角θの変化度合いを示す指標(例えば、数値)を補正パラメータとして設定し得る。補正係数は、リーン角φに対する回転角θの変化率であり、補正パラメータとして設定される上記の指標の一例に相当する。
【0052】
図7は、補正パラメータとしての補正係数によって、回転補正におけるリーン角φと回転角θとの関係が規定される様子を示す模式図である。図7では、補正係数Cによって規定されるリーン角φと回転角θとの関係を示す特性線として、φ-θ平面上の特性線L2が示されている。
【0053】
特性線L2では、リーン角φに対する回転角θの変化率である補正係数C(つまり、φ-θ平面上での特性線L2の傾き)が1より小さい値となっている。補正部32aは、リーン角φと回転角θとの関係を示す特性線として特性線L2を用いた場合、リーン角φに補正係数Cを乗じて得られる回転角θで撮像画像を回転補正する。補正係数Cは、例えば、0以上1以下の範囲内で調整可能である。
【0054】
図8は、回転補正が図7中の特性線L2を用いて行われる様子を示す模式図である。図8に示される例では、補正係数Cが1より小さい値に設定されている状況下において、リーン角φが0°である場合(つまり、モータサイクル1がロール方向に傾いていない場合)と、モータサイクル1が車体左方向に傾き、リーン角φが角度φ1となった場合の各々における画像処理後の画像が示されている。なお、図8では、リーン角φが0°である場合の撮像画像の枠と対応する枠が二点鎖線によって示されている。
【0055】
モータサイクル1が車体左方向に傾いた場合、リーン角φに補正係数Cを乗じて得られる回転角θで撮像画像が回転補正される。それにより、画像処理後の画像は、リーン角φが0°の場合と比較して、モータサイクル1の傾斜方向と逆方向である車体右方向に、リーン角φに値(1-C)を乗じて得られる角度だけ傾く。例えば、リーン角φが角度φ1となった場合、回転補正後の画像は、モータサイクル1の傾斜方向と逆方向である車体右方向に角度φ1×(1-C)だけ傾く。
【0056】
上記のように、図7中の特性線L2を用いて回転補正が行われる場合には、画像処理後の画像は、リーン角φの変化に応じて変化するものの、リーン角φに対する画像処理後の画像の傾きの変化率は、値(1-C)となる。よって、補正係数Cとして設定される値を大きくするほど、画像処理後の画像が傾きにくくなるので、画像の傾きに起因する不快感をユーザに与えにくくすることができる。一方、補正係数Cとして設定される値を小さくするほど、画像処理後の画像が傾きやすくなるので、ユーザに臨場感を与えやすくすることができる。このように、補正係数Cとして設定される値を変更することによって、リーン角φの変化に伴う画像処理後の画像の傾きの変化の仕方を変更することができる。
【0057】
上記では、回転補正におけるリーン角φと回転角θとの関係が閾値φ_th又は補正係数Cによって規定される例を説明したが、利用される補正パラメータは上記の例に特に限定されない。例えば、閾値φ_th及び補正係数Cの双方が設定可能であってもよい。閾値φ_th及び補正係数Cの双方が設定可能である場合、補正係数Cとして、リーン角φが閾値φ_thより小さい場合におけるリーン角φに対する回転角θの変化率を示す補正係数と、リーン角φが閾値φ_thより大きい場合におけるリーン角φに対する回転角θの変化率を示す補正係数とが個別に設定可能であってもよい。また、複数の閾値φ_thが設定可能であってもよい。なお、上記で図5又は図7を参照して説明したリーン角φと回転角θとの関係を示す特性線L1,L2は、直線であるが、リーン角φと回転角θとの関係を示す特性線として、二次曲線等の曲線、又は、直線と曲線を組み合わせた線が用いられてもよい。
【0058】
次に、図9を参照して、処理装置30が行う処理の流れについて説明する。
【0059】
図9は、処理装置30が行う処理の流れの一例を示すフローチャートである。図9におけるステップS101及びステップS105は、図9に示される処理フローの開始及び終了にそれぞれ対応する。なお、図9に示される処理フローは、例えば、カメラ10により撮像された画像を見返すユーザによって当該画像の回転補正を開始する操作が行われたことをトリガとして開始される。
【0060】
図9に示される処理フローが開始されると、ステップS102において、設定部32bは、ユーザによる入力操作に応じて補正パラメータを設定する。補正パラメータは、例えば、上記で説明した閾値φ_th又は補正係数Cである。
【0061】
上記入力操作は、具体的には、ユーザによる補正パラメータを直接的に設定する操作である。ユーザによる補正パラメータを直接的に設定する操作は、例えば、処理装置30に設けられるボタン又はタッチパネル等の入力装置を用いて行われ得る。
【0062】
設定部32bは、ユーザによる補正パラメータを直接的に設定する操作が行われた場合に、補正パラメータを設定する。例えば、設定部32bは、補正パラメータの設定値を決定する操作が行われた場合、決定された設定値に補正パラメータを設定する。また、例えば、設定部32bは、補正パラメータの設定値を増加させる操作が行われた場合、補正パラメータの設定値を増加させる。また、例えば、設定部32bは、補正パラメータの設定値を減少させる操作が行われた場合、補正パラメータの設定値を減少させる。
【0063】
なお、上記入力操作は、ユーザによる補正パラメータを直接的に設定する操作以外の操作であってもよい。具体的には、上記入力操作は、ユーザによる補正パラメータ以外の他のパラメータを設定する操作を含み、設定部32bは、当該他のパラメータの設定情報に基づいて補正パラメータを設定してもよい。例えば、走行中において上記他のパラメータを設定する操作が行われた時点以降に撮像された画像の回転補正で用いられる補正パラメータが当該操作に応じて設定される。
【0064】
例えば、上記他のパラメータは、モータサイクル1の走行時の挙動特性に関する挙動特性パラメータを含む。ユーザによる挙動特性パラメータを設定する操作は、例えば、挙動特性パラメータの設定のためにモータサイクル1に設けられるボタン又はタッチパネル等の入力装置(例えば、モータサイクル1において処理装置30と離隔して設けられている入力装置)を用いて行われ得る。
【0065】
挙動特性パラメータは、例えば、モータサイクル1の走行モードを規定するパラメータを含んでもよい。例えば、モータサイクル1では、走行モードを切り替え可能となっており、上記パラメータは、ユーザにより選択されている走行モードを示すものである。この場合、上記パラメータの設定は、走行モードの選択に相当する。走行モードとしては、例えば、市街地モード又はサーキットモード等があり、各走行モードの間でモータサイクル1の走行時の挙動特性(例えば、サスペンションの減衰特性又はアンチロックブレーキ制御の制動特性等)が異なる。例えば、市街地モードでは、モータサイクル1の走行時の挙動特性が市街地での走行に適した特性となり、サーキットモードでは、モータサイクル1の走行時の挙動特性がサーキットでの走行に適した特性となる。
【0066】
設定部32bは、モータサイクル1の走行モードを規定するパラメータを設定するユーザによる操作が行われた場合に、補正パラメータを設定する。設定部32bは、例えば、ユーザにより選択された走行モードに応じて補正パラメータを設定する。例えば、設定部32bは、サーキットモードが選択されている場合等のモータサイクル1が大きく傾きやすい場合、画像処理後の画像が傾きにくくなるように補正パラメータを設定してもよい(例えば、閾値θ_thを小さくしてもよく、又は、補正係数Cを大きくしてもよい)。また、例えば、例えば、設定部32bは、サーキットモードが選択されている場合等のモータサイクル1が大きく傾きやすい場合、ユーザに臨場感を与えやすくなるように補正パラメータを設定してもよい(例えば、閾値θ_thを大きくしてもよく、又は、補正係数Cを小さくしてもよい)。
【0067】
また、挙動特性パラメータは、例えば、モータサイクル1のサスペンションの減衰特性を規定するパラメータを含んでもよい。例えば、モータサイクル1では、サスペンションの減衰特性を変更可能となっており、上記パラメータは、ユーザにより決定されている減衰特性を示すものである。この場合、上記パラメータの設定は、サスペンションの減衰特性の決定に相当する。
【0068】
設定部32bは、モータサイクル1のサスペンションの減衰特性を規定するパラメータを設定するユーザによる操作が行われた場合に、補正パラメータを設定する。設定部32bは、例えば、ユーザにより決定された減衰特性に応じて補正パラメータを設定する。例えば、設定部32bは、サスペンションにおいて減衰力が効きやすいほど(つまり、同一のストローク速度に対する減衰力が大きいほど)、画像処理後の画像が傾きにくくなるように補正パラメータを設定してもよい(例えば、閾値θ_thを小さくしてもよく、又は、補正係数Cを大きくしてもよい)。また、例えば、例えば、設定部32bは、サスペンションにおいて減衰力が効きやすいほど、ユーザに臨場感を与えやすくなるように補正パラメータを設定してもよい(例えば、閾値θ_thを大きくしてもよく、又は、補正係数Cを小さくしてもよい)。
【0069】
また、挙動特性パラメータは、例えば、モータサイクル1のアンチロックブレーキ制御の制動特性を規定するパラメータを含んでもよい。例えば、モータサイクル1では、アンチロックブレーキ制御の制動特性を変更可能となっており、上記パラメータは、ユーザにより決定されている制動特性を示すものである。この場合、上記パラメータの設定は、アンチロックブレーキ制御の制動特性の決定に相当する。
【0070】
設定部32bは、モータサイクル1のアンチロックブレーキ制御の制動特性を規定するパラメータを設定するユーザによる操作が行われた場合に、補正パラメータを設定する。設定部32bは、例えば、ユーザにより決定された制動特性に応じて補正パラメータを設定する。例えば、設定部32bは、アンチロックブレーキ制御において制動力が効きやすいほど、画像処理後の画像が傾きにくくなるように補正パラメータを設定してもよい(例えば、閾値θ_thを小さくしてもよく、又は、補正係数Cを大きくしてもよい)。また、例えば、例えば、設定部32bは、アンチロックブレーキ制御において制動力が効きやすいほど、ユーザに臨場感を与えやすくなるように補正パラメータを設定してもよい(例えば、閾値θ_thを大きくしてもよく、又は、補正係数Cを小さくしてもよい)。
【0071】
次に、ステップS103において、補正部32aは、カメラ10により撮像された画像を回転補正する。具体的には、補正部32aは、ステップS102で設定部32bにより設定された補正パラメータによって規定されるリーン角φと回転角θとの関係に基づいて、撮像画像を回転補正する。
【0072】
次に、ステップS104において、出力部33は、画像処理後の画像を出力し、図9に示される処理フローは終了する。
【0073】
<処理装置の効果>
本発明の実施形態に係る処理装置30の効果について説明する。
【0074】
処理装置30では、補正部32aは、カメラ10により撮像された画像(つまり、撮像画像)を、モータサイクル1のリーン角φに応じた回転角θで回転補正し、設定部32bは、撮像画像の回転補正におけるリーン角φと回転角θとの関係を規定する補正パラメータを、ユーザによる入力操作に応じて設定する。それにより、回転補正におけるリーン角φと回転角θとの関係をユーザの好みに応じて変更することができる。ゆえに、モータサイクル1に搭載されているカメラ10により撮像された画像をユーザの好みに応じて調整することができる。
【0075】
好ましくは、処理装置30では、補正部32aは、リーン角φが閾値φ_thより小さい場合とリーン角φが閾値φ_thより大きい場合との間で、リーン角φに対する回転角θの変化度合いを異ならせ、設定部32bにおいてユーザによる入力操作に応じて設定される補正パラメータは、閾値φ_thを含む。それにより、リーン角φの変化に伴う画像処理後の画像の傾きの変化の仕方をユーザの好みに応じて調整することができる。
【0076】
好ましくは、処理装置30では、補正部32aは、リーン角φが閾値φ_thより大きい場合、リーン角φが閾値φ_thより小さい場合よりも、リーン角φに対する回転角θの変化度合いを大きくする。それにより、リーン角φの変化に伴う画像処理後の画像の傾きの変化の仕方をユーザの好みに応じて調整することをより適切に実現することができる。例えば、閾値φ_thとして設定される値を小さくするほど、画像処理後の画像が傾きやすくなるリーン角φの範囲(つまり、閾値φ_th以下の範囲)が狭まるので、画像の傾きに起因する不快感をユーザに与えにくくすることができる。一方、閾値φ_thとして設定される値を大きくするほど、画像処理後の画像が傾きやすくなるリーン角φの範囲が広がるので、ユーザに臨場感を与えやすくすることができる。
【0077】
好ましくは、処理装置30では、補正部32aは、リーン角φが閾値φ_thより小さい場合、撮像画像の回転補正を禁止する。それにより、リーン角φが閾値φ_thより小さい場合に、画像処理後の画像を、モータサイクル1の傾斜方向と逆方向にリーン角φだけ傾くように、リーン角φの変化に応じて変化させることができる。ゆえに、リーン角φが閾値φ_thより小さい場合において、ユーザに臨場感をより与えやすくすることができる。
【0078】
好ましくは、処理装置30では、補正部32aは、リーン角φが閾値φ_thより大きい場合、リーン角φと回転角θとの差を維持する。それにより、リーン角φが閾値φ_thより大きい場合に、画像処理後の画像を、モータサイクル1の傾斜方向と逆方向に閾値φ_thだけ傾いた状態に維持することができる。ゆえに、リーン角φが閾値φ_thより大きい場合において、画像の傾きに起因する不快感をユーザにより与えにくくすることができる。
【0079】
好ましくは、処理装置30では、設定部32bにおいてユーザによる入力操作に応じて設定される補正パラメータは、リーン角φに対する回転角θの変化度合いを示す指標(例えば、補正係数C)を含む。それにより、リーン角φの変化に伴う画像処理後の画像の傾きの変化の仕方をユーザの好みに応じて調整することができる。例えば、補正係数Cとして設定される値を大きくするほど、画像処理後の画像が傾きにくくなるので、画像の傾きに起因する不快感をユーザに与えにくくすることができる。一方、補正係数Cとして設定される値を小さくするほど、画像処理後の画像が傾きやすくなるので、ユーザに臨場感を与えやすくすることができる。
【0080】
好ましくは、処理装置30では、補正部32aは、モータサイクル1の傾斜方向と同一方向に撮像画像を回転補正する。それにより、撮像画像と比較して傾きが抑制された画像を得ることができる。ゆえに、画像の傾きに起因する不快感をユーザに与えにくくすることを適切に実現することができる。
【0081】
好ましくは、処理装置30では、補正部32aは、モータサイクル1の傾斜方向と逆方向に撮像画像を回転補正する。それにより、撮像画像と比較して傾きが増幅された画像を得ることができる。ゆえに、ユーザに臨場感を与えやすくすることを適切に実現することができる。
【0082】
好ましくは、処理装置30では、入力操作は、ユーザによる補正パラメータを直接的に設定する操作を含む。それにより、ユーザの意図に即して補正パラメータを設定することができる。ゆえに、回転補正におけるリーン角φと回転角θとの関係をユーザの好みに応じて変更することを適切に実現することができる。
【0083】
好ましくは、処理装置30では、入力操作は、ユーザによる補正パラメータ以外の他のパラメータを設定する操作を含み、設定部32bは、当該他のパラメータの設定情報に基づいて補正パラメータを設定する。それにより、回転補正におけるリーン角φと回転角θとの関係がユーザの好みに応じて変更されるように、ユーザによる補正パラメータを直接的に設定する操作によらずに補正パラメータを設定することができる。ゆえに、ユーザによる補正パラメータを直接的に設定する操作の手間を省略しつつ、回転補正におけるリーン角φと回転角θとの関係をユーザの好みに応じて変更することができる。
【0084】
好ましくは、処理装置30では、上記他のパラメータは、モータサイクル1の走行時の挙動特性に関する挙動特性パラメータを含む。それにより、回転補正におけるリーン角φと回転角θとの関係がユーザの好みに応じて変更されるように、ユーザによる補正パラメータを直接的に設定する操作によらずに補正パラメータを設定することを、挙動特性パラメータの設定情報に応じて適切に実現することができる。
【0085】
好ましくは、処理装置30では、挙動特性パラメータは、モータサイクル1の走行モードを規定するパラメータを含む。それにより、回転補正におけるリーン角φと回転角θとの関係がユーザの好みに応じて変更されるように、ユーザによる補正パラメータを直接的に設定する操作によらずに補正パラメータを設定することを、モータサイクル1の走行モードを規定するパラメータの設定情報に応じて適切に実現することができる。例えば、選択されている走行モードによっては、画像処理後の画像を傾きやすくすることをユーザが好む場合と、画像処理後の画像を傾きにくくすることをユーザが好む場合とがある。このようなモータサイクル1の走行モードとユーザの所望する画像との関係性に応じて補正パラメータを設定することによって、回転補正におけるリーン角φと回転角θとの関係をユーザの好みに応じて変更することができる。
【0086】
好ましくは、処理装置30では、挙動特性パラメータは、モータサイクル1のサスペンションの減衰特性を規定するパラメータを含む。それにより、回転補正におけるリーン角φと回転角θとの関係がユーザの好みに応じて変更されるように、ユーザによる補正パラメータを直接的に設定する操作によらずに補正パラメータを設定することを、サスペンションの減衰特性を規定するパラメータの設定情報に応じて適切に実現することができる。例えば、サスペンションにおける減衰力の効きやすさによっては、画像処理後の画像を傾きやすくすることをユーザが好む場合と、画像処理後の画像を傾きにくくすることをユーザが好む場合とがある。このようなサスペンションの減衰特性とユーザの所望する画像との関係性に応じて補正パラメータを設定することによって、回転補正におけるリーン角φと回転角θとの関係をユーザの好みに応じて変更することができる。
【0087】
好ましくは、処理装置30では、挙動特性パラメータは、モータサイクル1のアンチロックブレーキ制御の制動特性を規定するパラメータを含む。それにより、回転補正におけるリーン角φと回転角θとの関係がユーザの好みに応じて変更されるように、ユーザによる補正パラメータを直接的に設定する操作によらずに補正パラメータを設定することを、アンチロックブレーキ制御の制動特性を規定するパラメータの設定情報に応じて適切に実現することができる。例えば、アンチロックブレーキ制御における制動力の効きやすさによっては、画像処理後の画像を傾きやすくすることをユーザが好む場合と、画像処理後の画像を傾きにくくすることをユーザが好む場合とがある。このようなアンチロックブレーキ制御の制動特性とユーザの所望する画像との関係性に応じて補正パラメータを設定することによって、回転補正におけるリーン角φと回転角θとの関係をユーザの好みに応じて変更することができる。
【0088】
本発明は実施形態の説明に限定されない。例えば、実施形態の一部のみが実施されてもよい。
【符号の説明】
【0089】
1 モータサイクル、10 カメラ、20 慣性計測装置(IMU)、30 処理装置、31 取得部、32 処理部、32a 補正部、32b 設定部、33 出力部。
図1
図2
図3
図4
図5
図6
図7
図8
図9