特許第6245274号(P6245274)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特許6245274表示制御装置、表示制御方法、及びプログラム
<>
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000004
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000005
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000006
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000007
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000008
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000009
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000010
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000011
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000012
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000013
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000014
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000015
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000016
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000017
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000018
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000019
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000020
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000021
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000022
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000023
  • 特許6245274-表示制御装置、表示制御方法、及びプログラム 図000024
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6245274
(24)【登録日】2017年11月24日
(45)【発行日】2017年12月13日
(54)【発明の名称】表示制御装置、表示制御方法、及びプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20171204BHJP
   B60R 1/00 20060101ALI20171204BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
【請求項の数】7
【全頁数】26
(21)【出願番号】特願2015-551309(P2015-551309)
(86)(22)【出願日】2013年12月3日
(86)【国際出願番号】JP2013082445
(87)【国際公開番号】WO2015083228
(87)【国際公開日】20150611
【審査請求日】2016年5月25日
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092152
【弁理士】
【氏名又は名称】服部 毅巖
(72)【発明者】
【氏名】水谷 政美
【審査官】 秦野 孝一郎
(56)【参考文献】
【文献】 特開2010−135998(JP,A)
【文献】 特開2006−321265(JP,A)
【文献】 特開2006−322797(JP,A)
【文献】 特開2008−168865(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/00
(57)【特許請求の範囲】
【請求項1】
車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部と、
道路勾配を検出して時系列で前記記憶部に格納し、前記道路勾配の時系列データに基づいて計算される道路の形状に基づいて前記車両から所定距離だけ離れた道路上の地点を計算し、前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出し、前記一部領域の画像を表示させる制御部と
を有する、表示制御装置。
【請求項2】
前記制御部は、前記車両上で受ける加速度の情報を取得し、前記加速度に基づいて前記道路勾配を検出する
請求項1に記載の表示制御装置。
【請求項3】
前記制御部は、設定した閾値よりも前記道路勾配が小さい場合には前記撮像画像から所定の一部領域を切り出し、前記閾値よりも前記道路勾配が大きい場合には前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出す
請求項1又は2に記載の表示制御装置。
【請求項4】
前記制御部は、前記カメラと前記地点とを結ぶ直線と、前記道路の形状を示す道路勾配曲線とが交わる場合に、前記道路勾配曲線の接線を基準に前記撮像画像の一部領域を決定する
請求項に記載の表示制御装置。
【請求項5】
前記制御部は、前記カメラと前記地点とを結ぶ直線上の点を含むように切り出される前記撮像画像の一部領域において道路の占める割合が所定の割合よりも大きくなる場合、前記道路の占める割合が前記所定の割合よりも小さくなるように前記一部領域の位置を調整する
請求項1〜のいずれか1項に記載の表示制御装置。
【請求項6】
コンピュータが、
車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部から前記撮像画像を取得し、
道路勾配を検出して時系列で前記記憶部に格納し、前記道路勾配の時系列データに基づいて計算される道路の形状に基づいて前記車両から所定距離だけ離れた道路上の地点を計算し、前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出し、前記一部領域の画像を表示させる
表示制御方法。
【請求項7】
車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部から前記撮像画像を取得し、
道路勾配を検出して時系列で前記記憶部に格納し、前記道路勾配の時系列データに基づいて計算される道路の形状に基づいて前記車両から所定距離だけ離れた道路上の地点を計算し、前記カメラと前記地点とを結ぶ直線上の点を含むように前記撮像画像の一部領域を切り出し、前記一部領域の画像を表示させる
処理をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法、及びプログラムに関する。
【背景技術】
【0002】
近年、自動車の電子化が急速に進んでいる。旧来より、自動車には、エンジンの出力や燃費を好適な状態に保つために、エンジンの点火時期、燃料噴射、エンジンの回転速度などを制御する電子制御ユニット(ECU:Electronic Control Unit)が搭載されている。最近では、こうした自動車の基本性能に関わる部分にとどまらず、安全性や省エネルギー性能の向上を目的とした様々な電子制御が行われている。また、自動走行や衝突検知などの技術についても実用化に向けた試験が実施されている。
【0003】
このような自動車の電子化が進む中、サイドミラーやルームミラーなどの視界提供部品を電子化しようとする動きがある。例えば、サイドミラーの位置に設置したカメラの画像をディスプレイに表示してサイドミラーの機能を代替する技術についてUNECE(United Nations Economic Commission for Europe)で議論が交わされている(Regulation No.46)。視界提供部品が電子化されると、画像処理を利用してミラー画像を加工できるようになり、安全性や快適性を向上させるための工夫の余地が生まれる。
【0004】
画像処理を利用して走行時の安全性を高める技術としては、例えば、車両に搭載され、上り坂を走行中に、坂の頂上付近に位置する坂で隠れた他車両の存在を知らせる車載監視装置が提案されている。この車載監視装置は、車両の前方視界をカメラで撮像し、時間経過に伴って地平線上に迫り上がってくる物体を含む領域を撮像画像から抽出し、道路の凸形状部により部分的に隠蔽された他車両を識別する。
【0005】
なお、ミラーを制御する技術としては、例えば、車両が走行する道路の勾配及び道路の曲がり具合に基づいてルームミラーの鏡面部に映る鏡像Aを推定し、設定した鏡像Bと鏡像Aとの差分が解消されるように鏡面部の角度を稼動させる技術が提案されている。また、ドアミラーやルームミラーなどの視界提供手段、及び車両周辺に設置されたカメラと表示装置とを組み合わせた視界提供手段の少なくとも1つを選択的に利用可能な状態にし、運転者に特定範囲内の視界を提供する視界提供装置が提案されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−132895号公報
【特許文献2】特開2009−279949号公報
【特許文献3】特開2009−280196号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
坂道を走行中にミラーを介して見える後方視界には、上り坂の場合には道路が、下り坂の場合には空が大きな割合を占める。つまり、坂道を走行中にミラーから得られる車両後方の情報は、平坦な道路を走行中に得られる車両後方の情報よりも少ない。そのため、坂道を走行中、後方から接近してくる車両の認識が遅れたり、後方視界の狭さに運転者が不安を感じたりすることがある。こうした事情に鑑みると、坂道でも後方視界が十分に確保できれば安全性の向上に寄与すると考えられる。
【0008】
そこで、1つの側面によれば、本発明の目的は、坂道走行時に好適な後方視界を提供することが可能な、表示制御装置、表示制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本開示の1つの側面によれば、車両の後方視界を撮像するカメラにより撮像された撮像画像が格納される記憶部と、道路勾配を検出して時系列で記憶部に格納し、道路勾配の時系列データに基づいて計算される道路の形状に基づいて車両から所定距離だけ離れた道路上の地点を計算し、カメラと地点とを結ぶ直線上の点を含むように撮像画像の一部領域を切り出し、一部領域の画像を表示させる制御部とを有する、表示制御装置が提供される。
【発明の効果】
【0012】
本開示によれば、坂道走行時に好適な後方視界を提供することが可能になる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
【図面の簡単な説明】
【0013】
図1】第1実施形態に係る表示制御装置の一例を示した図である。
図2】第2実施形態に係る車載装置の一例を示した第1の図である。
図3】第2実施形態に係る車載装置の一例を示した第2の図である。
図4】第2実施形態に係る視界提供部の機能について説明するための第1の図である。
図5】第2実施形態に係る視界提供部の機能について説明するための第2の図である。
図6】第2実施形態に係る視界提供部の機能について説明するための第3の図である。
図7】第2実施形態に係る視界提供部の機能について説明するための第4の図である。
図8】第2実施形態に係る視界提供部の機能について説明するための第5の図である。
図9】第2実施形態に係る視界提供部の機能について説明するための第6の図である。
図10】第2実施形態に係る視界提供部の機能について説明するための第7の図である。
図11】第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第1の図である。
図12】第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第2の図である。
図13】第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第3の図である。
図14】第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第4の図である。
図15】第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第5の図である。
図16】第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第6の図である。
図17】第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第7の図である。
図18】第2実施形態の一変形例(変形例#1)に係る視界提供方法について説明するための第1の図である。
図19】第2実施形態の一変形例(変形例#1)に係る視界提供方法について説明するための第2の図である。
図20】第2実施形態の一変形例(変形例#2)に係る視界提供方法について説明するための図である。
図21】第2実施形態の一変形例(変形例#3)に係る情報処理装置のハードウェアについて説明するための図である。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
【0015】
<1.第1実施形態>
図1を参照しながら、第1実施形態について説明する。図1は、第1実施形態に係る表示制御装置の一例を示した図である。
【0016】
図1に示すように、第1実施形態に係る表示制御装置10は、記憶部11及び制御部12を有する。なお、表示制御装置10が有する機能は、車両C10の電子制御ユニット(ECU)に組み込まれていてもよい。
【0017】
なお、記憶部11は、RAM(Random Access Memory)などの揮発性記憶装置、或いは、HDD(Hard Disk Drive)やフラッシュメモリなどの不揮発性記憶装置である。制御部12は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などのプロセッサである。但し、制御部12は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの電子回路であってもよい。制御部12は、例えば、記憶部11又は他のメモリに記憶されたプログラムを実行する。
【0018】
記憶部11は、車両C10の後方視界を撮像するカメラ20により撮像された撮像画像P10が格納される。例えば、カメラ20は、一般的な自動車のサイドミラーが設置される位置である車両C10のミラー部分M10に配置される。なお、カメラ20としては、例えば、一般的な自動車のサイドミラーが映す後方視界の範囲よりも広い範囲を撮像可能な焦点距離の短い広角レンズを搭載したカメラが適用される。また、カメラ20としては、例えば、連続的に後方視界を撮像可能なデジタルビデオカメラが適用される。
【0019】
制御部12は、道路勾配θを検出する。例えば、制御部12は、車両C10の移動速度及び車両C10上で受ける加速度の情報を取得する。車両C10上で受ける加速度には、移動速度の変化に伴う加速度、及び重力が含まれる。加速度の情報は、例えば、3次元加速度センサなどを利用して取得することができる。制御部12は、取得した移動速度及び加速度に基づいて道路勾配θを検出する。
【0020】
また、制御部12は、道路勾配θに基づいて車両C10から所定距離L10だけ離れた道路上の地点PT10を計算する。例えば、移動速度及び道路勾配θに関する時系列データを利用すれば、車両C10の現在位置より後方の道路形状を推定することが可能である。また、道路形状が推定できれば、車両C10の現在位置から所定距離L10だけ離れた道路上の地点PT10を計算することができる。なお、所定距離L10は、車両C10から地点PT10までの直線距離(図1を参照)であってもよいし、道路に沿って計測した距離であってもよい。
【0021】
道路上の地点PT10を計算した制御部12は、カメラ20と地点PT10とを結ぶ直線上の点を含むように撮像画像P10の一部領域A12を切り出す。なお、一部領域A12を切り出す際の視野角φは、例えば、予め設定した一定の角度に維持される。また、制御部12は、一部領域A12の画像P12を表示させる。例えば、制御部12は、車両C10に搭載された車載モニタ(非図示)やカーナビゲーションシステムの画面(非図示)などに画像P12を表示させる。
【0022】
上記のように、一部領域A12を好適に調整すれば、視野V12に含まれる情報が得られる。仮に、一般的な自動車のサイドミラーと同様の視野V11が得られるように撮像画像P10から一部領域A11を切り出した場合、一部領域A11の画像P11は大部分が道路で占められる。一部領域A12のように切り出すと、一部領域A12の画像P12から十分な後方視界の情報が得られる。図1の例では、運転者が物体O10の存在に容易に気づくことができるようになる。
【0023】
つまり、表示制御装置10を適用すれば、坂道を走行中の車両C10を運転する運転者に対し、好適な後方視界を提供することができる。また、好適な後方視界の提供は安全性の向上に寄与する。なお、図1には車両C10が上り坂を走行する場合を例示しているが、上記の表示制御装置10を適用すると、車両C10が下り坂を走行する場合でも好適な後方視界を提供することができる。また、図1の例ではカメラ20をサイドミラーの位置(ミラー部分M10)に設置しているが、サイドミラー以外のミラーが設置される部分に設置されてもよい。
【0024】
以上、第1実施形態について説明した。
<2.第2実施形態>
次に、第2実施形態について説明する。
【0025】
[2−1.車載装置の例]
まず、図2及び図3を参照しながら、第2実施形態に係る車載装置について説明する。以下の説明では、自動車などの車両Cに搭載される装置を総称して車載装置と呼ぶ。
【0026】
なお、図2は、第2実施形態に係る車載装置の一例を示した第1の図である。また、図3は、第2実施形態に係る車載装置の一例を示した第2の図である。
図2に示すように、車両Cの車載装置は、電子制御ユニット100、第1カメラ201A、第2カメラ201B、第1モニタ202A、第2モニタ202B、及び被制御機構203を含む。以下の説明において、電子制御ユニット100、第1カメラ201A、第2カメラ201B、第1モニタ202A、及び第2モニタ202Bを後方視界提供装置RVと呼ぶ場合がある。後方視界提供装置RVは、表示制御装置の一例である。
【0027】
ECUは、電子制御ユニット100の一例である。電子制御ユニット100は、被制御機構203を電子制御する。被制御機構203には、例えば、点火機構、燃料系統、吸排気系統、動弁機構、始動機構、駆動機構、安全装置、室内機器、灯火類などが含まれる。電子制御ユニット100は、点火機構について点火時期を制御し、燃料系統について燃料の噴射タイミングや噴射量などを制御する。また、電子制御ユニット100は、吸排気系統についてスロットル開度や過給器の過給圧などを制御し、動弁機構についてバルブタイミングやバルブリフト量などを制御する。
【0028】
その他にも、電子制御ユニット100は、始動機構についてセルモータなどを制御し、駆動機構についてクラッチなどを制御する。安全装置としては、例えば、ABS(Antilock Brake System)やエアバッグなどがあり、その動作制御も電子制御ユニット100により行われる。室内機器としては、例えば、エアコンディショナ、タコメータ、スピードメータなどがあり、これらも電子制御ユニット100により制御される。また、方向指示器などの灯火類に関する制御も電子制御ユニット100により行われる。
【0029】
また、車両Cがハイブリッド自動車や電気自動車などの場合、電子制御ユニット100は、例えば、電力回生ブレーキや動力モータの制御、バッテリの管理、エンジン・モータ間のクラッチ制御なども行う。電子制御ユニット100は、機構制御部101、及び視界提供部102を有する。上記のような被制御機構203の制御は、電子制御ユニット100が有する機能のうち、機構制御部101により実行される。一方、電子制御ユニット100が有する視界提供部102は、後方視界提供装置RVとしての機能を提供する。
【0030】
視界提供部102は、第1カメラ201A、第2カメラ201B、第1モニタ202A、及び第2モニタ202Bを制御する。
第1カメラ201A、及び第2カメラ201Bは、例えば、光学系、撮像素子、ADC(Analog-to-Digital Converter)、及び信号処理回路などを有する撮像装置である。
【0031】
光学系は、レンズや絞り機構などを含む導光手段である。撮像素子は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの光電変換素子である。ADCは、撮像素子から出力される電気信号をデジタル信号に変換する回路である。また、信号処理回路は、A/D変換回路から出力されたデジタル信号に対して画質の調整や符号化などの信号処理を施して画像データを生成する回路である。以下の説明において、第1カメラ201A、第2カメラ201Bから出力される画像データを撮像画像と呼ぶ場合がある。
【0032】
第1モニタ202A、第2モニタ202Bは、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、又はELD(Electro-Luminescence Display)などのディスプレイ装置である。なお、車両Cに搭載されたカーナビゲーションシステムなどに組み込まれたディスプレイ装置を第1モニタ202A、第2モニタ202Bとして利用することも可能である。
【0033】
第1カメラ201Aから出力された撮像画像は、電子制御ユニット100に入力される。電子制御ユニット100は、入力された撮像画像の一部領域(以下、提示範囲)を切り出し、切り出した画像(以下、提示画像)を第1モニタ202Aに表示させる。つまり、第1カメラ201Aにより撮像された撮像画像の提示範囲が第1モニタ202Aに表示される。
【0034】
同様に、第2カメラ201Bから出力された撮像画像は、電子制御ユニット100に入力される。電子制御ユニット100は、入力された撮像画像から提示範囲を切り出して提示画像を生成し、生成した提示画像を第2モニタ202Bに表示させる。つまり、第2カメラ201Bにより撮像された撮像画像の提示範囲が第2モニタ202Bに表示される。
【0035】
第1カメラ201A、第2カメラ201Bは、例えば、図3に示すように、自動車のサイドミラーが配置される部分に、車両Cの後方に向けて設置される。図3の例では、第1カメラ201Aが車両Cの左側面に設置されている。また、図3の例では、第2カメラ201Bが車両Cの右側面に設置されている。また、第1モニタ202A、第2モニタ202Bは、例えば、図3に示すように、運転者が視認しやすい位置に設置される。図3の例では、第1モニタ202Aがハンドルの左側に設置され、第2モニタ202Bがハンドルの右側に設置されている。
【0036】
このような配置にすることで、運転者は、車両Cの左側面に設置された第1カメラ201Aの映像をハンドルの左側に位置する第1モニタ202Aで視認することができる。また、運転者は、車両Cの右側面に設置された第2カメラ201Bの映像をハンドルの側に位置する第2モニタ202Bで視認することができる。つまり、図3の例は、2つのサイドミラーを第1カメラ201A、第2カメラ201B、第1モニタ202A、第2モニタ202Bにより代替した車両Cを示したものである。
【0037】
以下、図3に例示した第1カメラ201A、第2カメラ201B、第1モニタ202A、第2モニタ202Bの配置を想定して説明を進める。但し、第2実施形態に係る技術の適用範囲はこれに限定されず、カメラ及びモニタの位置や数を変更してもよい。例えば、バックミラーの位置や車両後方にカメラを設置し、カーナビゲーションシステムをモニタとして利用する形態なども考えられる。また、3つ以上のカメラ、及び3つ以上のモニタを車両Cの内外に設置してもよい。こうした変形例についても第2実施形態に係る技術の適用範囲に含まれる。
【0038】
以上、第2実施形態に係る車載装置について説明した。
[2−2.視界提供部の機能]
次に、図4図10を参照しながら、電子制御ユニット100が有する機能のうち、視界提供部102の機能について説明する。
【0039】
なお、図4は、第2実施形態に係る視界提供部の機能について説明するための第1の図である。また、図5は、第2実施形態に係る視界提供部の機能について説明するための第2の図である。また、図6は、第2実施形態に係る視界提供部の機能について説明するための第3の図である。
【0040】
また、図7は、第2実施形態に係る視界提供部の機能について説明するための第4の図である。また、図8は、第2実施形態に係る視界提供部の機能について説明するための第5の図である。また、図9は、第2実施形態に係る視界提供部の機能について説明するための第6の図である。また、図10は、第2実施形態に係る視界提供部の機能について説明するための第7の図である。
【0041】
図4に示すように、視界提供部102は、記憶部121、移動速度取得部122、加速度取得部123、道路勾配計算部124、基準地点計算部125、画像切り出し部126、及び画像表示部127を有する。
【0042】
なお、記憶部121の機能は、RAMなどの揮発性記憶装置、或いは、HDDやフラッシュメモリなどの不揮発性記憶装置を利用して実現可能である。移動速度取得部122、加速度取得部123、道路勾配計算部124、基準地点計算部125、画像切り出し部126、及び画像表示部127の機能は、CPUやDSPなどのプロセッサを利用して実現可能である。また、移動速度取得部122、加速度取得部123、道路勾配計算部124、基準地点計算部125、画像切り出し部126、及び画像表示部127の機能は、ASICやFPGAなどの電子回路を利用して実現することも可能である。
【0043】
記憶部121には、第1カメラ201Aにより撮像された撮像画像が格納される。また、記憶部121には、第2カメラ201Bにより撮像された撮像画像が格納される。移動速度取得部122は、機構制御部101から車両Cの移動速度(例えば、スピードメータに表示する車速)を取得する。移動速度取得部122により取得された移動速度の情報は、記憶部121に格納される。
【0044】
加速度取得部123は、3軸加速度センサなどの加速度計を有し、加速度計を利用して加速度を取得する。利用可能な加速度計としては、例えば、ピエゾ抵抗型3軸加速度センサ、静電容量型3軸加速度センサ、熱検知型3軸加速度センサなどがある。加速度取得部123により取得された加速度の情報は、記憶部121に格納される。
【0045】
道路勾配計算部124は、記憶部121に格納された加速度の情報に基づいて道路勾配を計算する。道路勾配計算部124により計算された道路勾配の情報は、記憶部121に格納される。なお、道路勾配の計算方法については後述する。
【0046】
基準地点計算部125は、車両Cが現在走行中の地点から所定距離だけ後方に位置する道路上の地点(以下、基準地点)を計算する。このとき、基準地点計算部125は、記憶部121に格納された道路勾配の時系列データ及び移動速度の時系列データに基づいて道路形状を推定する。また、基準地点計算部125は、推定した道路形状に基づいて基準地点を計算する。基準地点計算部125により計算された基準地点の情報は、記憶部121に格納される。なお、基準地点の計算方法については後述する。
【0047】
画像切り出し部126は、記憶部121に格納された基準地点の情報に基づいて撮像画像から提示範囲を決定する。また、画像切り出し部126は、決定した提示範囲を撮像画像から切り出して提示画像を生成する。画像切り出し部126により生成された提示画像は、画像表示部127に入力される。なお、提示範囲の決定方法については後述する。画像表示部127は、第1カメラ201Aの撮像画像から切り出された提示画像を第1モニタ202Aに表示させる。また、画像表示部127は、第2カメラ201Bの撮像画像から切り出された提示画像を第2モニタ202Bに表示させる。
【0048】
(道路勾配の計算について)
ここで、図5を参照しながら、道路勾配の計算方法について説明する。なお、ここで言う道路勾配とは、水平面(重力がかかる方向に対して垂直な面)に対する道路の傾き(例えば、図5に例示した傾斜角Θ)を意味する。
【0049】
図5に示すように、車両Cの進行方向と逆の方向を示すx軸、x軸と垂直なz軸、x−z面と交わる水平面上に設定したX軸、及びX軸と垂直なZ軸を考える。このような軸を設定するとx軸とX軸との成す角が傾斜角Θとなる。
【0050】
例えば、3軸加速度センサから得られるx軸方向の加速度をAx、z軸方向の加速度をAz、X軸方向の加速度をAと表記すると、Ax、Az、Aの関係は、重力加速度g及び傾斜角Θを用いて下記の式(1)及び式(2)のように表現される。下記の式(1)及び式(2)を変形すると、下記の式(3)及び式(4)が得られる。道路勾配計算部124は、記憶部121に格納された加速度Ax、Az、及び重力加速度gを下記の式(3)及び式(4)に代入して傾斜角Θを計算する。
【0051】
x = g・sinΘ + A・cosΘ
…(1)
z = −g・cosΘ + A・sinΘ
…(2)
【0052】
【数1】
【0053】
【数2】
以上、道路勾配の計算方法について説明した。
【0054】
(基準地点の計算について)
次に、図6を参照しながら、基準地点の計算方法について説明する。以下の説明では、時刻tにおける道路勾配を傾斜角Θ(t)、移動速度をv(t)、単位時間Δtに車両Cが移動した距離をd(t)、現在位置を基準として時刻tに車両Cが位置する道路の高さをH(t)と表記する。また、現在位置を基準とするX軸方向(図5を参照)の距離をX(t)と表記する。なお、時刻t0における車両Cの位置を現在位置とする。
【0055】
車両Cが下り勾配を走行している場合、図6の(A)に示したような傾斜角Θ(t)のグラフが得られる。また、時刻tにおける車両Cの移動距離d(t)は、v(t)×Δtを計算することにより得られる。従って、図6の(B)に示すように、高さH(t)及び距離X(t)が示す地点から、傾斜角Θ(t)の方向に移動距離d(t)だけ後方の地点が、時刻t−1における道路の位置(H(t−1)、X(t−1))であると推定される。基準地点計算部125は、上記の方法を用いて逐次的に高さH(t)及び距離X(t)を推定する。
【0056】
高さH(t)及び距離X(t)を計算した基準地点計算部125は、現在位置と推定した地点とを結ぶ直線の長さD(t)を計算する。また、基準地点計算部125は、計算した長さD(t)が許容可能な誤差の範囲で所定距離Dthと一致するか否かを判定する。長さD(t)が所定距離Dthと一致する場合、図6の(C)に示すように、基準地点計算部125は、その地点を基準地点Qに決定する。一方、長さD(t)が所定距離Dthと一致しない場合、基準地点計算部125は、上記の推定処理を継続する。
【0057】
基準地点計算部125により推定された高さH(t)及び距離X(t)の時系列データは、記憶部121に格納される。また、基準地点計算部125により決定された基準地点Qの情報は、記憶部121に格納される。
【0058】
なお、上記の例では高さH(t)及び距離X(t)を推定する度に、長さD(t)が所定距離Dthと一致するか否かを判定していたが、距離X(t)の積分値が所定距離Dthより大きくなるまで道路形状Rを計算した後で、道路形状Rから基準地点Qを決定する仕組みに変形することもできる。また、現在地点と基準地点Qとの間の距離D(t)を直線距離としているが、道路形状Rに沿って距離D(t)を評価する仕組みに変形することもできる。
【0059】
以上、基準地点の計算方法について説明した。
(提示範囲の決定について)
次に、図7図10を参照しながら、提示範囲の決定方法について説明する。ここでは、図7に示すように、撮像画像Pwから提示画像Pcを切り出すことを前提に提示範囲の決定方法について考える。なお、説明の都合上、第1カメラ201Aにより撮像された撮像画像Pwから提示画像Pcを切り出す方法を例に説明を進める。
【0060】
第1カメラ201A、第1モニタ202Aを1つのサイドミラーの代替として利用する場合、提示範囲の決定時に、サイドミラーについて法令で規定された要件を満たすことが求められる。例えば、サイドミラーについては、車両後方に所定距離(例えば、50m)だけ離れた地点が確認できるようにすることが法令で規定されている。こうした要件を踏まえ、画像切り出し部126は、図7の(A)に示すように、視野角λを固定した視野Vに対応する提示範囲Wを決定する。但し、視野角λは、車両後方に所定距離だけ離れた地点の対象物が規定の大きさで提示範囲Wに含まれるような角度に設定される。
【0061】
また、図7の(A)に示すように、第1カメラ201Aの視野角λ0が、提示範囲Wに対応する視野角λよりも大きくなるように、第1カメラ201Aとして利用されるカメラの焦点距離が選択される。以下、第1カメラ201Aの位置(図7の例ではレンズの位置)をq0と表記し、第1カメラ201Aの正面方向(光軸方向)に位置する点をq1と表記する。また、図7の(B)に示すように、提示範囲Wに対応する視野Vの中心方向に位置する点をq2と表記する。また、q0とq1とを結ぶ線分(以下、線分q0−q1)と、q0とq2とを結ぶ線分(以下、線分q0−q2)とが成す角度をηと表記する。
【0062】
画像切り出し部126は、線分q0−q1と線分q0−q2とが成す角度ηを変化させ、好適な提示範囲Wを決定する。このとき、画像切り出し部126は、視野Vが第1カメラ201Aの視野(図7に示した撮像範囲)に収まる範囲で角度ηを変化させる。なお、以下の説明において、線分q0−q2が線分q0−q1よりも上方となる場合の角度ηを正値(+)で表現し、線分q0−q2が線分q0−q1よりも下方となる場合の角度ηを負値(−)で表現することがある。提示範囲Wを決定した画像切り出し部126は、撮像画像Pwから提示範囲Wを切り出して提示画像Pcを生成する。
【0063】
図7の例は、上り坂を走行中の車両Cから第1カメラ201Aにより撮像した撮像画像Pw、及び+方向及び−方向に角度ηを変化させた場合に得られる提示画像Pcの変化を模式的に示したものである。なお、ハッチングを施した部分は道路を示している。図7の(A)に示すように、上り坂を走行している場合、角度ηが0に設定されていると、提示画像Pcの大部分が道路で占められ、後方視界が制限される。また、角度ηが−方向に変化した場合、図7の(C)に示すように、提示画像Pcに占める道路の割合はさらに大きくなる。一方、角度ηを+方向に変化させると、図7の(B)に示すように、提示画像Pcに占める道路の割合は減り、好適な後方視界が得られる。
【0064】
図7の例では、角度ηを+方向に変化させることで、運転者にとって好適な後方視界が得られるようになり、安全性の向上や運転者の不安低減に寄与する。但し、角度ηを+方向に変化させ過ぎると、車両Cに近い後方視界が提示画像Pcに含まれなくなる可能性がある。また、法令で規定された地点が提示画像Pcに含まれなくなる可能性がある。また、同じ上り坂でも走行位置によって角度ηの好適な値は変化する。また、下り坂の場合にも角度ηの好適な値は変化する。そこで、画像切り出し部126は、こうした事情を考慮した好適な角度ηの制御を行う。
【0065】
(上り坂の場合)
まず、図8及び図9を参照しながら、上り坂を走行中の車両Cにおける提示範囲Wの決定方法について説明する。なお、説明の中で、点q0と基準地点Qとを結ぶ線分(以下、線分q0−Q)と、水平面とが成す角度をΘQと表記する。また、車両Cが水平面上にある場合、角度ηが0のときに好適な提示画像Pcが得られるとする。つまり、車両Cが水平面上にある場合には、第1カメラ201Aの正面に好適な後方視界が得られるとする。
【0066】
図8の(A)に示すように、車両Cが上り坂を上り始めた状態(Θ>ΘQ)において、角度ηが0の状態(線分q0−q1に沿った方向を撮像する状態)で得られる提示画像Pcは、道路の占める割合が大きな画像となる。そのため、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを+方向に変化させる。このとき、画像切り出し部126は、角度ηの変化を最小限(図8の(A)のように、視野Vの上方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0067】
角度ηが大きく変化すると、提示画像Pcが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Pcの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
【0068】
図8の(B)に示すように、車両Cが上り坂を上り終わる状態(Θ<ΘQ)において、角度ηが0の状態(線分q0−q1に沿った方向を撮像する状態)で得られる提示画像Pcは、空(道路から大きく上方に離れた空間)の占める割合が大きな画像となる。そのため、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを−方向に変化させる。このとき、画像切り出し部126は、角度ηの変化を最小限(図8の(B)のように、視野Vの下方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0069】
角度ηが大きく変化すると、提示画像Pcが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Pcの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
【0070】
但し、車両Cが上り坂を上りきった後、図8(B)に示した方法で、線分q0−Q(基準線)を基準に角度ηを変化させると、図9の(A)に示すように、基準線が上り坂の頂点と交差して道路の占める割合が大きな提示画像Pcが得られる。そこで、画像切り出し部126は、図9の(B)に示すように、上り坂の道路に接する接線(以下、線分q0−QT)を計算し、線分q0−QTを基準に角度ηを変化させる。つまり、画像切り出し部126は、線分q0−QTが視野Vに含まれるように角度ηを−方向に変化させる。このとき、画像切り出し部126は、角度ηの変化を最小限(図9の(B)のように、視野Vの下方境界と線分q0−QTとが近接する状態)に留めるようにする。
【0071】
角度ηが大きく変化すると、提示画像Pcが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Pcの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
【0072】
上記の方法で角度ηを変化させることにより、上り坂を走行中でも車両Cの後方に所定距離だけ離れた地点を含み、かつ、好適な後方視界が得られる提示画像Pcが得られる。
(下り坂の場合)
次に、図10を参照しながら、下り坂を走行中の車両Cにおける提示範囲Wの決定方法について説明する。
【0073】
図10の(A)に示すように、車両Cが下り坂を下り始めた状態(Θ>ΘQ)において、角度ηが0の状態(線分q0−q1に沿った方向を撮像する状態)で得られる提示画像Pcは、空(道路から大きく上方に離れた空間)の占める割合が大きな画像となる。そのため、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを−方向に変化させる。このとき、画像切り出し部126は、角度ηの変化を最小限(図10の(A)のように、視野Vの下方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0074】
角度ηが大きく変化すると、提示画像Pcが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Pcの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
【0075】
但し、車両Cが下り坂を下り終わる状態において、図10(A)に示した方法で、線分q0−Q(基準線)を基準に角度ηを変化させると、図10の(B)に示すように、基準線が下り坂の頂点と交差して道路の占める割合が大きな提示画像Pcが得られる。そこで、画像切り出し部126は、図10の(B)に示すように、下り坂の道路に接する接線(線分q0−QT)を計算し、線分q0−QTを基準に角度ηを変化させる。つまり、画像切り出し部126は、線分q0−QTが視野Vに含まれるように角度ηを+方向に変化させる。このとき、画像切り出し部126は、角度ηの変化を最小限(図10の(B)のように、視野Vの下方境界と線分q0−QTとが近接する状態)に留めるようにする。
【0076】
角度ηが大きく変化すると、提示画像Pcが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Pcの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
【0077】
図10の(C)に示すように、車両Cが下り坂を下りきった後(Θ<ΘQ)において、角度ηが0の状態(線分q0−q1に沿った方向を撮像する状態)で得られる提示画像Pcは、道路の占める割合が大きな画像となる。そのため、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを+方向に変化させる。このとき、画像切り出し部126は、角度ηの変化を最小限(図10の(C)のように、視野Vの上方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0078】
角度ηが大きく変化すると、提示画像Pcが大きく変化し、どの位置を見ているのかを瞬時に認識することが難しくなるなど、運転者に戸惑いを与える可能性がある。しかし、角度ηの変化を最小限に留めることで、提示画像Pcの大きな変化を抑制し、運転者の戸惑いを低減することができる。結果として安全性の向上にも寄与する。
【0079】
以上、提示範囲の決定方法について説明した。なお、第1カメラ201Aにより撮像された撮像画像Pwから提示画像Pcを生成する例を中心に説明したが、第2カメラ201Bにより撮像された撮像画像Pwから提示画像Pcを生成する場合も同様である。
【0080】
上記のように、道路形状Rに基づいて提示範囲Wを適切に調整することにより、法令上の規定を遵守しつつ、運転者に好適な後方視界を提示することができる。その結果、安全性の向上に寄与する。
【0081】
以上、視界提供部102の機能について説明した。
[2−3.処理の流れ]
次に、図11図17を参照しながら、視界提供部102が実行する処理の流れについて説明する。
【0082】
なお、図11は、第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第1の図である。また、図12は、第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第2の図である。また、図13は、第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第3の図である。
【0083】
また、図14は、第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第4の図である。また、図15は、第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第5の図である。また、図16は、第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第6の図である。また、図17は、第2実施形態に係る視界提供部が実行する処理の流れについて説明するための第7の図である。
【0084】
(全体的な処理の流れ)
まず、図11を参照しながら、全体的な処理の流れについて説明する。
(S101)道路勾配計算部124は、記憶部121に格納された加速度の情報に基づいて道路勾配を計算する。道路勾配計算部124により計算された道路勾配の情報は、記憶部121に格納される。なお、加速度の情報は、加速度取得部123により3軸加速度センサなどの加速度計を利用して取得され、記憶部121に格納されている。
【0085】
(S102)基準地点計算部125は、記憶部121に格納された道路勾配の時系列データ及び移動速度の時系列データに基づいて道路形状を推定する。なお、移動速度の時系列データは、移動速度取得部122により機構制御部101から取得され、記憶部121に格納されている。
【0086】
(S103)基準地点計算部125は、S102の処理で推定した道路形状に基づいて基準地点を計算する。基準地点計算部125により計算された基準地点の情報は、記憶部121に格納される。
【0087】
(S104)画像切り出し部126は、記憶部121に格納された基準地点の情報に基づいて撮像画像から提示範囲を決定する。
(S105)画像切り出し部126は、決定した提示範囲を撮像画像から切り出して提示画像を生成する。画像切り出し部126により生成された提示画像は、画像表示部127に入力される。
【0088】
(S106)画像表示部127は、第1カメラ201Aの撮像画像から切り出された提示画像を第1モニタ202Aに表示させる。また、画像表示部127は、第2カメラ201Bの撮像画像から切り出された提示画像を第2モニタ202Bに表示させる。なお、記憶部121には、第1カメラ201Aにより撮像された撮像画像、及び第2カメラ201Bにより撮像された撮像画像が格納されている。
【0089】
S106の処理が完了すると、図11に示した一連の処理は終了する。
以上、全体的な処理の流れについて説明した。
(道路勾配の計算に係る処理の流れ)
次に、図12を参照しながら、道路勾配の計算に係る処理の流れについて説明する。なお、図12に示す処理は、S101の処理に対応する。
【0090】
(S111)道路勾配計算部124は、記憶部121に格納された加速度の情報を取得する。例えば、道路勾配計算部124は、時刻tにおいて3軸加速度センサから得られたx軸方向の加速度Ax及びz軸方向の加速度Az図5を参照)を取得する。
【0091】
(S112)道路勾配計算部124は、S111の処理で取得した加速度Ax、Az、及び重力加速度gを上記の式(3)に代入してX方向の加速度Aを計算する。また、道路勾配計算部124は、加速度Ax、Az、A、及び重力加速度gを上記の式(4)に代入して傾斜角Θを計算する。道路勾配計算部124により計算された傾斜角Θは、時刻tにおける道路勾配を示す傾斜角Θ(t)として記憶部121に格納される。
【0092】
S112の処理が完了すると、図12に示した一連の処理は終了する。
以上、道路勾配の計算に係る処理の流れについて説明した。
(道路形状の計算に係る処理の流れ)
次に、図13を参照しながら、道路形状の計算に係る処理の流れについて説明する。なお、図13に示す処理は、S102の処理に対応する。
【0093】
(S121)基準地点計算部125は、記憶部121に格納された移動速度の時系列データを取得する。例えば、基準地点計算部125は、時刻tにおける移動速度v(t)を取得する(図6を参照)。
【0094】
(S122)基準地点計算部125は、記憶部121に格納された道路勾配の時系列データを取得する。例えば、基準地点計算部125は、時刻tにおける傾斜角Θ(t)を取得する(図6を参照)。
【0095】
(S123)基準地点計算部125は、S121及びS122の処理で取得した移動速度及び道路勾配の時系列データを用いて道路形状を計算する。
まず、基準地点計算部125は、例えば、時刻tにおいて車両Cが単位時間Δtの間に移動した移動距離d(t)を計算する。なお、時刻tにおける車両Cの移動距離d(t)は、v(t)×Δtを計算することにより得られる。
【0096】
次いで、基準地点計算部125は、時刻tにおける高さH(t)の地点から、傾斜角Θ(t)の方向に移動距離d(t)だけ後方の地点を時刻t−1における道路の位置(H(t−1)、X(t−1))と推定する。基準地点計算部125により推定されたH(t−1)、X(t−1)の情報は、記憶部121に格納される。
【0097】
S121〜S123の処理は、現在時刻t0から過去へ遡る方向に時刻tを更新しながら逐次的に繰り返し実行される。例えば、距離X(t)を時刻t0から時刻tまで積分した積分値が所定距離Dthより大きくなるまでS121〜S123の処理が繰り返し実行される。なお、逐次計算されたH(t)、X(t)のデータが道路形状R(図6を参照)の時系列データとなる。
【0098】
S123の処理が完了すると、図13に示した一連の処理は終了する。
以上、道路形状の計算に係る処理の流れについて説明した。
(基準地点の計算に係る処理の流れ)
次に、図14を参照しながら、基準地点の計算に係る処理の流れについて説明する。なお、図14に示す処理は、S103の処理に対応する。
【0099】
(S131)基準地点計算部125は、記憶部121に格納された道路形状の時系列データを取得する。例えば、基準地点計算部125は、S102の処理で推定された道路形状Rを示す高さH(t)及び距離X(t)のデータを取得する。
【0100】
(S132)基準地点計算部125は、車両Cの現在位置から、予め設定された距離だけ離れた道路上の地点を検出する。例えば、基準地点計算部125は、時刻t0に対応する車両Cの現在位置と、時刻tに対応する高さH(t)及び距離X(t)で表される道路形状Rの地点との間の距離D(t)を計算する。そして、基準地点計算部125は、許容可能な誤差の範囲で距離D(t)が所定距離Dthに一致するか否かを判定する。基準地点計算部125は、時刻tを更新しながら判定処理を実行し、距離D(t)が所定距離Dthに一致する地点を検出する。
【0101】
(S133)基準地点計算部125は、S132の処理で検出した地点を基準地点に設定する。基準地点計算部125により設定された基準地点の情報は記憶部121に格納される。S133の処理が完了すると、図14に示した一連の処理は終了する。
【0102】
以上、基準地点の計算に係る処理の流れについて説明した。
(提示範囲の決定に係る処理の流れ)
次に、図15図17を参照しながら、提示範囲の決定に係る処理の流れについて説明する。なお、図15図17に示す処理は、S104の処理に対応する。なお、以下の説明において、車両Cの進行方向が水平面に対して下方に向いている場合の傾斜角Θを負値で表現し、車両Cの進行方向が水平面に対して上方に向いている場合の傾斜角Θを正値で表現する。
【0103】
(S141)画像切り出し部126は、記憶部121から現在時刻t0における傾斜角Θを取得する。また、画像切り出し部126は、取得した傾斜角Θと閾値Th1とを比較し、傾斜角Θが閾値Th1よりも大きいか否かを判定する。傾斜角Θが閾値Th1よりも大きい場合、処理は、図16のS144に進む。一方、傾斜角Θが閾値Th1よりも大きくない場合、処理は、S142に進む。
【0104】
なお、閾値Th1は、上り坂を判別するために予め設定された閾値である。従って、閾値Th1は、正値に設定される。例えば、車両Cが道路の小さな凹凸などに乗り上げた際に上り坂と判定されないよう、閾値Th1は、0よりも大きな値に設定される。このような設定にすれば、道路の小さな凹凸に反応して提示範囲Wが頻繁に変化することによる視認性の悪化を抑制することができる。また、安定した後方視界が得られるため、安全性の向上に寄与する。
【0105】
(S142)画像切り出し部126は、S141の処理で取得した傾斜角Θと閾値Th2とを比較し、傾斜角Θが閾値Th2よりも小さいか否かを判定する。傾斜角Θが閾値Th2よりも小さい場合、処理は、図17のS150に進む。一方、傾斜角Θが閾値Th2よりも小さくない場合、処理は、S143に進む。
【0106】
なお、閾値Th2は、下り坂を判別するために予め設定された閾値である。従って、閾値Th2は、負値に設定される。例えば、車両Cが道路の小さな凹凸などを越えた後に下り坂と判定されないよう、閾値Th2は、0よりも小さな値に設定される。このような設定にすれば、道路の小さな凹凸に反応して提示範囲Wが頻繁に変化することによる視認性の悪化を抑制することができる。また、安定した後方視界が得られるため、安全性の向上に寄与する。
【0107】
(S143)画像切り出し部126は、提示範囲Wを既定値に設定する。S143の処理は、車両Cが水平面に近い形状の道路を走行中に実行される。この場合には、傾斜角Θに応じた提示範囲Wの補正は行わず、予め設定された提示範囲W(既定値)の提示画像Pcが運転者に提示される。既定値には、例えば、第1カメラ201A、第2カメラ201Bの光軸方向を中心とする視野Vに対応する提示範囲Wが設定される。つまり、角度ηが0となるような提示範囲Wが既定値に設定される。
【0108】
S143の処理が完了すると、図15図17に示した一連の処理は終了する。
(S144)画像切り出し部126は、記憶部121から基準地点Qの情報を取得し、基準地点Qの情報に基づいて角度ΘQを計算する。また、画像切り出し部126は、角度ΘQと傾斜角Θとを比較し、角度ΘQが傾斜角Θよりも小さいか否かを判定する。つまり、画像切り出し部126は、道路が凹形状であるか否かを判定する。角度ΘQが傾斜角Θよりも小さい場合、処理は、S145に進む。一方、角度ΘQが傾斜角Θよりも小さくない場合、処理は、S146に進む。
【0109】
(S145)画像切り出し部126は、線分q0−Qを基準に提示範囲Wを決定する。例えば、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを+方向に変化させる(図8の(A)を参照)。但し、画像切り出し部126は、角度ηの変化を最小限(図8の(A)のように、視野Vの上方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0110】
S145の処理が完了すると、図15図17に示した一連の処理は終了する。
(S146)画像切り出し部126は、記憶部121から道路形状の時系列データを取得し、線分q0−Qが道路と交わるか否かを判定する。線分q0−Qが道路と交わる場合、処理はS148に進む。一方、線分q0−Qが道路と交わらない場合、処理はS147に進む。
【0111】
(S147)画像切り出し部126は、線分q0−Qを基準に提示範囲Wを決定する。例えば、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを−方向に変化させる(図8の(B)を参照)。但し、画像切り出し部126は、角度ηの変化を最小限(図8の(B)のように、視野Vの下方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0112】
S147の処理が完了すると、図15図17に示した一連の処理は終了する。
(S148)画像切り出し部126は、S146の処理で取得した道路形状の時系列データを用いて道路に接する接線(線分q0−QT)を計算する(図9の(B)を参照)。
【0113】
(S149)画像切り出し部126は、線分q0−QTを基準に提示範囲Wを決定する。例えば、画像切り出し部126は、線分q0−QTが視野Vに含まれるように角度ηを−方向に変化させる(図9の(B)を参照)。但し、画像切り出し部126は、角度ηの変化を最小限(図9の(B)のように、視野Vの下方境界と線分q0−QTとが近接する状態)に留めるようにする。
【0114】
S149の処理が完了すると、図15図17に示した一連の処理は終了する。
(S150)画像切り出し部126は、記憶部121から基準地点Qの情報を取得し、基準地点Qの情報に基づいて角度ΘQを計算する。また、画像切り出し部126は、角度ΘQと傾斜角Θとを比較し、角度ΘQが傾斜角Θよりも大きいか否かを判定する。つまり、画像切り出し部126は、道路が凸形状であるか否かを判定する。角度ΘQが傾斜角Θよりも大きい場合、処理は、S151に進む。一方、角度ΘQが傾斜角Θよりも大きくない場合、処理は、S152に進む。
【0115】
(S151)画像切り出し部126は、線分q0−Qを基準に提示範囲Wを決定する。例えば、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを−方向に変化させる(図10の(A)を参照)。但し、画像切り出し部126は、角度ηの変化を最小限(図10の(A)のように、視野Vの下方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0116】
S151の処理が完了すると、図15図17に示した一連の処理は終了する。
(S152)画像切り出し部126は、記憶部121から道路形状の時系列データを取得し、線分q0−Qが道路と交わるか否かを判定する。線分q0−Qが道路と交わる場合、処理はS154に進む。一方、線分q0−Qが道路と交わらない場合、処理はS153に進む。
【0117】
(S153)画像切り出し部126は、線分q0−Qを基準に提示範囲Wを決定する。例えば、画像切り出し部126は、線分q0−Qが視野Vに含まれるように角度ηを+方向に変化させる(図10の(C)を参照)。但し、画像切り出し部126は、角度ηの変化を最小限(図10の(C)のように、視野Vの上方境界と線分q0−Qとが近接する状態)に留めるようにする。
【0118】
S153の処理が完了すると、図15図17に示した一連の処理は終了する。
(S154)画像切り出し部126は、S152の処理で取得した道路形状の時系列データを用いて道路に接する接線(線分q0−QT)を計算する(図10の(B)を参照)。
【0119】
(S155)画像切り出し部126は、線分q0−QTを基準に提示範囲Wを決定する。例えば、画像切り出し部126は、線分q0−QTが視野Vに含まれるように角度ηを+方向に変化させる(図10の(B)を参照)。但し、画像切り出し部126は、角度ηの変化を最小限(図10の(B)のように、視野Vの下方境界と線分q0−QTとが近接する状態)に留めるようにする。
【0120】
S155の処理が完了すると、図15図17に示した一連の処理は終了する。
以上、提示範囲の決定に係る処理の流れについて説明した。
[2−4.変形例#1(傾斜角に基づく視界制御)]
次に、図18及び図19を参照しながら、第2実施形態の一変形例(変形例#1)に係る視界提供方法について説明する。上記説明に係る視界提供方法は、道路勾配の時系列データから道路形状を推定する処理を含んでいた。変形例#1は、道路形状の推定処理を省略し、検出した道路勾配から直接的に補正角度ηを計算する方法を提案するものである。
【0121】
なお、図18は、第2実施形態の一変形例(変形例#1)に係る視界提供方法について説明するための第1の図である。また、図19は、第2実施形態の一変形例(変形例#1)に係る視界提供方法について説明するための第2の図である。
【0122】
(上り坂の場合)
車両Cが上り坂を走行する場合、図18に示すような走行距離に応じた傾斜角Θのデータが得られる。変形例#1では、予め設定された2つの閾値Θth1、Θth2を用いて角度ηが制御される。例えば、画像切り出し部126は、傾斜角Θが閾値Θth1より大きくなるタイミング、及び傾斜角Θが閾値Θth2より小さくなるタイミングで予め設定されたパターンF1、F2に沿って角度ηを変化させる。なお、閾値Θth1、Θth2は正値である。例えば、閾値Θth1、Θth2は、Θth1>Θth2>0を満たすように設定される。
【0123】
図18の例では、傾斜角Θが閾値Θth1を上回った後、徐々に角度ηが+方向に大きくなり、その後、徐々に角度ηが0に近づくように、パターンF1が設定されている。傾斜角Θが閾値Θth2を下回った後、徐々に角度ηが−方向に大きくなり、その後、徐々に角度ηが0に近づくように、パターンF2が設定されている。パターンF1、F2のカーブは、例えば、走行速度と道路勾配とを考慮して実験的に決定される。
【0124】
(下り坂の場合)
車両Cが下り坂を走行する場合、図19に示すような走行距離に応じた傾斜角Θのデータが得られる。変形例#1では、予め設定された2つの閾値Θth3、Θth4を用いて角度ηが制御される。例えば、画像切り出し部126は、傾斜角Θが閾値Θth3より小さくなるタイミング、及び傾斜角Θが閾値Θth4より大きくなるタイミングで予め設定されたパターンF3、F4に沿って角度ηを変化させる。なお、閾値Θth3、Θth4は負値である。例えば、閾値Θth3、Θth4は、Θth4<Θth3<0を満たすように設定される。
【0125】
図19の例では、傾斜角Θが閾値Θth3を下回った後、徐々に角度ηが−方向に大きくなり、その後、徐々に角度ηが0に近づくように、パターンF3が設定されている。傾斜角Θが閾値Θth4を上回った後、徐々に角度ηが+方向に大きくなり、その後、徐々に角度ηが0に近づくように、パターンF4が設定されている。パターンF3、F4のカーブは、例えば、走行速度と道路勾配とを考慮して実験的に決定される。
【0126】
変形例#1を適用した場合、傾斜角Θ及び移動速度Vの時系列データを用いて道路形状を推定せずに提示範囲Wを制御することが可能になる。その結果、電子制御ユニット100の処理負荷が低減される。
【0127】
以上、変形例#1に係る視界提供方法について説明した。
[2−5.変形例#2(カーブを考慮した視界制御)]
次に、図20を参照しながら、第2実施形態の一変形例(変形例#2)に係る視界提供方法について説明する。変形例#2は、カーブを考慮した提示範囲の制御方法を提案するものである。なお、図20は、第2実施形態の一変形例(変形例#2)に係る視界提供方法について説明するための図である。
【0128】
図20に示すように、車両Cが急なカーブを走行している場合、遠方の後方視野からは道路が外れてしまう可能性がある。そのため、傾斜角Θが大きいと判断して提示範囲Wをより遠方に移動すると、道路を含まない後方視界が提示範囲Wの大きな割合を占めてしまうことがある。
【0129】
こうした事情を考慮し、変形例#2では、車両Cが走行している道路の曲率を検出し、検出した曲率が予め設定した閾値より大きい場合に、提示範囲Wを既定値に固定する仕組みを提案する。なお、道路の曲率は、例えば、3軸加速度センサから得られる水平面上の加速度のうち、車両Cの進行方向に垂直な方向の加速度成分に基づいて評価することができる。また、GPS(Global Positioning System)や地図情報を利用して車両Cが走行中の道路について曲率を計算し、曲率が閾値より大きいか否かを判定することもできる。
【0130】
変形例#2を適用した場合、基準地点Qに基づく提示範囲Wの制御により道路以外の後方視界が提示画像Pcの大部分を占めてしまう状況を適切に回避することが可能になる。その結果、好適な後方視界を運転者に提供することができるようになり、安全性の向上に寄与する。
【0131】
以上、変形例#2に係る視界提供方法について説明した。
[2−6.変形例#3(情報処理装置による視界制御)]
次に、図21を参照しながら、第2実施形態の一変形例(変形例#3)に係る情報処理装置について説明する。上記説明に係る視界提供方法は、電子制御ユニット100により実現されていた。変形例#3は、上記説明に係る視界提供方法を電子制御ユニット100とは異なる情報処理装置により実現する方法を提案するものである。なお、図21は、第2実施形態の一変形例(変形例#3)に係る情報処理装置のハードウェアについて説明するための図である。
【0132】
上記説明に係る視界提供方法を適用可能な情報処理装置としては、例えば、カーナビゲーションシステムなどが考えられる。また、スマートフォンやパーソナルコンピュータなどの情報処理装置をカーナビゲーションシステムや電子制御ユニット100に接続し、情報処理装置を視界提供部102として利用する利用形態も考えられる。
【0133】
こうした方法を適用する場合、上述した視界提供部102の機能が情報処理装置に実装される。例えば、図21に示すようなハードウェアを有する情報処理装置を利用することで、視界提供部102の機能を情報処理装置に実装することができる。この場合、視界提供部102が有する機能は、コンピュータプログラムを用いて図21に示すハードウェアを制御することにより実現される。
【0134】
図21に示すように、このハードウェアは、主に、CPU902と、ROM(Read Only Memory)904と、RAM906と、ホストバス908と、ブリッジ910とを有する。さらに、このハードウェアは、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926とを有する。
【0135】
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、CPU902に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。RAM906には、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。
【0136】
これらの要素は、例えば、高速なデータ伝送が可能なホストバス908を介して相互に接続される。一方、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続される。また、入力部916としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部916としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。
【0137】
出力部918としては、例えば、CRT、LCD、PDP、又はELDなどのディスプレイ装置が用いられる。また、出力部918として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部918は、情報を視覚的又は聴覚的に出力することが可能な装置である。
【0138】
記憶部920は、各種のデータを格納するための装置である。記憶部920としては、例えば、HDDなどの磁気記憶デバイスが用いられる。また、記憶部920として、SSD(Solid State Drive)やRAMディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。
【0139】
ドライブ922は、着脱可能な記録媒体であるリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。
【0140】
接続ポート924は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子など、外部接続機器930を接続するためのポートである。外部接続機器930としては、例えば、プリンタなどが用いられる。
【0141】
通信部926は、ネットワーク932に接続するための通信デバイスである。通信部926としては、例えば、有線又は無線LAN(Local Area Network)用の通信回路、WUSB(Wireless USB)用の通信回路、光通信用の通信回路やルータ、ADSL(Asymmetric Digital Subscriber Line)用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークであり、例えば、インターネット、LAN、放送網、衛星通信回線などを含む。
【0142】
以上、第2実施形態について説明した。
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【0143】
10 表示制御装置
11 記憶部
12 制御部
20 カメラ
A11、A12 一部領域
C10 車両
L10 所定距離
M10 ミラー部分
O10 物体
P10 撮像画像
P11、P12 画像
PT10 地点
V11、V12 視野
θ 道路勾配
φ 視野角
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21