IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社トランストロンの特許一覧

特開2023-102660運転支援装置、運転支援方法、および運転支援プログラム
<>
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図1
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図2
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図3
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図4
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図5
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図6
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図7
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図8
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図9
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図10
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図11
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図12
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図13
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図14
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図15
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図16
  • 特開-運転支援装置、運転支援方法、および運転支援プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023102660
(43)【公開日】2023-07-25
(54)【発明の名称】運転支援装置、運転支援方法、および運転支援プログラム
(51)【国際特許分類】
   G01C 21/36 20060101AFI20230718BHJP
   G08G 1/0968 20060101ALI20230718BHJP
【FI】
G01C21/36
G08G1/0968
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022003306
(22)【出願日】2022-01-12
(71)【出願人】
【識別番号】391008559
【氏名又は名称】株式会社トランストロン
(74)【代理人】
【識別番号】100170070
【弁理士】
【氏名又は名称】坂田 ゆかり
(72)【発明者】
【氏名】谷野 浩司
【テーマコード(参考)】
2F129
5H181
【Fターム(参考)】
2F129AA03
2F129BB20
2F129BB21
2F129BB70
2F129DD39
2F129DD68
2F129EE02
2F129EE34
2F129EE56
2F129EE65
2F129EE68
2F129EE69
2F129EE78
2F129EE79
2F129EE80
2F129EE81
2F129EE94
2F129FF02
2F129FF57
2F129GG17
5H181AA01
5H181BB04
5H181CC04
5H181CC12
5H181FF04
5H181FF05
5H181FF10
5H181FF15
5H181FF25
5H181FF27
5H181FF33
5H181FF38
5H181FF40
5H181MC19
5H181MC27
(57)【要約】
【課題】進行方向の後方を撮影するカメラ(バックカメラ)を用いることなく復路の案内を行うことができる。
【解決手段】往路で撮像された往路画像に基づいて復路の案内を行う運転支援装置である。車両の位置及び進行方向を含む位置情報を取得する位置情報取得部と、車両の前方を撮像して、往路画像及び復路画像を取得する撮像部と、往路画像の左右を反転させた反転画像に基づいて、復路の案内に用いられる復路案内用画像を生成する画像生成部と、位置情報と往路画像と復路案内用画像とを関連付けて記憶する記憶部と、位置情報と復路案内用画像と復路画像とに基づいて、復路において前記車両が正しい経路を走行しているか否かを判定する判定部と、復路において車両が正しい経路を走行していないと判定された場合に通知を出力する通知部と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
往路で撮像された往路画像に基づいて復路の案内を行う運転支援装置であって、
車両の位置及び進行方向を含む位置情報を取得する位置情報取得部と、
前記車両の前方を撮像して、前記往路画像及び前記復路において撮像された復路画像を取得する撮像部と、
前記往路画像の左右を反転させた反転画像に基づいて、前記復路の案内に用いられる復路案内用画像を生成する画像生成部と、
前記位置情報と前記往路画像と前記復路案内用画像とを関連付けて記憶する記憶部と、
前記位置情報と前記復路案内用画像と前記復路画像とに基づいて、前記復路において前記車両が正しい経路を走行しているか否かを判定する判定部と、
前記復路において前記車両が正しい経路を走行していないと判定された場合に通知を出力する通知部と、
を備えたことを特徴とする運転支援装置。
【請求項2】
前記画像生成部は、前記反転画像から構造物を抽出し、当該抽出された構造物のうちの前記反転画像において前記車両に近い位置にある第1構造物を小さくして前記反転画像の中央近傍に配置し、前記抽出された構造物のうちの前記反転画像において前記車両から遠い位置にある第2構造物を大きくして前記反転画像の端近傍に配置して前記復路案内用画像を生成する
ことを特徴とする請求項1に記載の運転支援装置。
【請求項3】
前記判定部は、前記復路案内用画像及び前記復路画像から構造物を抽出し、前記復路案内用画像及び前記復路画像からそれぞれ第3構造物が抽出できた場合には、前記車両が正しい経路を走行していると判断する
ことを特徴とする請求項1又は2に記載の運転支援装置。
【請求項4】
前記判定部は、前記復路案内用画像における前記第3構造物の位置と、前記復路画像における前記第3構造物の位置とに基づいて前記車両が正しい経路を走行していると判断する
ことを特徴とする請求項3に記載の運転支援装置。
【請求項5】
前記判定部は、前記復路における位置が第1位置であるときには、前記記憶部に記憶された復路案内用画像のうち、前記往路において前記第1位置を通過した時刻である第1時刻から所定時間だけ早い第2時刻に関連付けられた復路案内用画像を用いて判定を行う
ことを特徴とする請求項1から4のいずれか一項に記載の運転支援装置。
【請求項6】
前記車両に設けられたスピーカ又は表示部を含む出力部を備え、
前記通知部は、前記判定部により前記復路が正しくないと判定された場合に、前記出力部から音又は文字情報による通知を出力する
ことを特徴とする請求項1から5のいずれか一項に記載の運転支援装置。
【請求項7】
前記車両の速度である車速を取得する速度取得部を備え、
前記位置情報取得部は、前記車速に基づいて前記位置を算出する
ことを特徴とする請求項1から6のいずれか一項に記載の運転支援装置。
【請求項8】
車両の前方を撮像する撮像部により往路で撮像された往路画像に基づいて復路の案内を行う運転支援方法であって、
前記車両の位置及び進行方向を含む位置情報及び前記往路画像を取得するステップと、
前記往路画像の左右を反転させた反転画像に基づいて、前記復路の案内に用いられる復路案内用画像を生成するステップと、
前記位置情報と前記往路画像と前記復路案内用画像とを関連付けて記憶するステップと、
前記復路において前記撮像部により撮像された復路画像を取得するステップと、
前記位置情報と前記復路案内用画像と前記復路画像とに基づいて、前記復路において前記車両が正しい経路を走行しているか否かを判定するステップと、
前記復路において前記車両が正しい経路を走行していないと判定された場合に通知を出力するステップと、
を含むことを特徴とする運転支援方法。
【請求項9】
車両の前方を撮像する撮像部により往路で撮像された往路画像に基づいて復路の案内を行う運転支援プログラムであって、
コンピュータを、
前記車両の位置及び進行方向を含む位置情報を取得する位置情報取得部、
前記往路画像の左右を反転させた反転画像に基づいて、前記復路の案内に用いられる復路案内用画像を生成し、前記位置情報と前記往路画像と前記復路案内用画像とを関連付けて記憶部に記憶する画像生成部、
前記位置情報と、前記復路案内用画像と、前記復路において前記撮像部により撮像された復路画像とに基づいて、前記復路において前記車両が正しい経路を走行しているか否かを判定する判定部、
前記復路において前記車両が正しい経路を走行していないと判定された場合に通知を出力する通知部、
として機能させることを特徴とする運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援装置、運転支援方法、および運転支援プログラムに関する。
【背景技術】
【0002】
特許文献1には、進行方向の後方側を撮影する撮影手段により撮影された案内用画像データを、復路の案内の際に用いることが可能なナビゲーション装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011-169651号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の装置では、進行方向の後方を撮影するカメラ(バックカメラ)が必須であり、バックカメラが設けられていない車両に適用することはできない。
【0005】
四輪車では、進行方向の前方を撮影するカメラが搭載されているのが一般的であるが、バックカメラは設けられていないことが多い。特に、自動二輪車では、バックカメラはほとんど設けられていない。したがって、特許文献1に記載の発明は、これらの車両に適用することはできない。
【0006】
本発明はこのような事情に鑑みてなされたもので、バックカメラを用いることなく復路の案内を行うことができる運転支援装置、運転支援方法、および運転支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明に係る運転支援装置は、例えば、往路で撮像された往路画像に基づいて復路の案内を行う運転支援装置であって、車両の位置及び進行方向を含む位置情報を取得する位置情報取得部と、前記車両の前方を撮像して、前記往路画像及び前記復路において撮像された復路画像を取得する撮像部と、前記往路画像の左右を反転させた反転画像に基づいて、前記復路の案内に用いられる復路案内用画像を生成する画像生成部と、前記位置情報と前記往路画像と前記復路案内用画像とを関連付けて記憶する記憶部と、前記位置情報と前記復路案内用画像と前記復路画像とに基づいて、前記復路において前記車両が正しい経路を走行しているか否かを判定する判定部と、前記復路において前記車両が正しい経路を走行していないと判定された場合に通知を出力する通知部と、を備えたことを特徴とする。
【0008】
本発明の他態様に係る運転支援方法は、例えば、車両の前方を撮像する撮像部により往路で撮像された往路画像に基づいて復路の案内を行う運転支援方法であって、前記車両の位置及び進行方向を含む位置情報及び前記往路画像を取得するステップと、前記往路画像の左右を反転させた反転画像に基づいて、前記復路の案内に用いられる復路案内用画像を生成するステップと、前記位置情報と前記往路画像と前記復路案内用画像とを関連付けて記憶するステップと、前記復路において前記撮像部により撮像された復路画像を取得するステップと、前記位置情報と前記復路案内用画像と前記復路画像とに基づいて、前記復路において前記車両が正しい経路を走行しているか否かを判定するステップと、前記復路において前記車両が正しい経路を走行していないと判定された場合に通知を出力するステップと、を含むことを特徴とする。
【0009】
本発明の他態様に係る運転支援プログラムは、例えば、コンピュータを、車両の前方を撮像する撮像部により往路で撮像された往路画像に基づいて復路の案内を行う運転支援プログラムであって、コンピュータを、前記車両の位置及び進行方向を含む位置情報を取得する位置情報取得部、前記往路画像の左右を反転させた反転画像に基づいて、前記復路の案内に用いられる復路案内用画像を生成し、前記位置情報と前記往路画像と前記復路案内用画像とを関連付けて記憶部に記憶する画像生成部、前記位置情報と、前記復路案内用画像と、前記復路において前記撮像部により撮像された復路画像とに基づいて、前記復路において前記車両が正しい経路を走行しているか否かを判定する判定部、前記復路において前記車両が正しい経路を走行していないと判定された場合に通知を出力する通知部、として機能させることを特徴とする。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、CD-ROMなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。
【0010】
本発明の上記いずれかの態様では、往路画像に基づいて作成した復路案内用画像と、復路画像に基づいて復路において車両が正しい経路を走行しているか否かを判定する。これにより、バックカメラを用いることなく復路の案内を行うことができる。
【0011】
前記画像生成部は、前記反転画像から構造物を抽出し、当該抽出された構造物のうちの前記反転画像において前記車両に近い位置にある第1構造物を小さくして前記反転画像の中央近傍に配置し、前記抽出された構造物のうちの前記反転画像において前記車両から遠い位置にある第2構造物を大きくして前記反転画像の端近傍に配置して前記復路案内用画像を生成してもよい。これにより、復路案内用画像を復路画像に近づけ、復路において車両が正しい経路を走行しているか否かの判定精度を高くすることができる。
【0012】
前記判定部は、前記復路案内用画像及び前記復路画像から構造物を抽出し、前記復路案内用画像及び前記復路画像からそれぞれ第3構造物が抽出できた場合には、前記車両が正しい経路を走行していると判断してもよい。これにより、復路画像と復路案内用画像とが同じ景色か否かを容易に判定することができる。
【0013】
前記判定部は、前記復路案内用画像における前記第3構造物の位置と、前記復路画像における前記第3構造物の位置とに基づいて前記車両が正しい経路を走行していると判断してもよい。これにより、復路において車両が正しい経路を走行しているか否かの判定精度を高くすることができる。
【0014】
前記判定部は、前記復路における位置が第1位置であるときには、前記記憶部に記憶された復路案内用画像のうち、前記往路において前記第1位置を通過した時刻である第1時刻から所定時間だけ早い第2時刻に関連付けられた復路案内用画像を用いて判定を行ってもよい。これにより、復路案内用画像の基となる往路画像と復路画像とに同じ構造物を含めることができる。したがって、復路において車両が正しい経路を走行しているか否かの判定精度を高くすることができる。
【0015】
前記車両に設けられたスピーカ又は表示部を含む出力部を備え、前記通知部は、前記判定部により前記復路が正しくないと判定された場合に、前記出力部から音又は文字情報による通知を出力してもよい。これにより、復路において運転者へ正しい経路の運転支援を行うことができる。
【0016】
前記車両の速度である車速を取得する速度取得部を備え、前記位置情報取得部は、前記車速に基づいて前記位置を算出してもよい。これにより、位置情報が取得できない場合であっても、進行方向の前方を撮像した画像のみを用いて復路の案内を行うことができる。
【発明の効果】
【0017】
本発明によれば、進行方向の後方を撮影するカメラを用いることなく復路の案内を行うことができる。
【図面の簡単な説明】
【0018】
図1】運転支援装置1が支援を行う対象である車両Cの概略を模式的に示す図である。
図2】運転支援装置1のハードウェア構成の一例を概略的に示すブロック図である
図3】運転支援装置1の電気的な機能ブロックの概略を示す図である。
図4】復路ナビ用データの一例を示す図である。
図5】往路画像を取得して復路ナビ用画像を生成する処理の流れを示すフローチャートである。
図6】(A)は往路画像の一例であり、(B)は道路のみの部分が削除された往路画像であり、(C)は反転画像の一例である。
図7】(A)は反転画像を帯状画像に分割した一例であり、(B)は帯状画像の並べ替えの一例であり、(C)は復路ナビ用画像の一例である。
図8】復路において運転支援装置1が復路ナビ用画像を用いて案内を行う処理の流れを示すフローチャートである。
図9】復路ナビ用画像の取得を説明する図である。
図10】(A)は復路画像の一例であり、(B)は比較用復路画像の一例である。
図11】(A)は復路ナビ用画像の一例であり、(B)は比較用復路画像の一例である。
図12】運転支援装置2の電気的な機能ブロックの概略を示す図である。
図13】(A)は復路ナビ用画像(反転画像)の一例であり、(B)は比較用復路画像の一例である。
図14】運転支援装置3の電気的な機能ブロックの概略を示す図である。
図15】位置情報と往路画像と復路ナビ用画像とが関連付けられた復路ナビ用データの一例を示す図である。
図16】往路画像を取得し、復路ナビ用画像を生成する処理の流れを示すフローチャートである。
図17】復路において運転支援装置3が復路ナビ用画像を用いて案内を行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明に係る運転支援装置の実施形態を、図面を参照して詳細に説明する。本発明は、往路で進行方向の前方を撮像し、その画像を用いて復路の案内が可能な運転支援装置である。本発明における車両は、四輪車、自動二輪車、自転車等を含む。
<第1の実施の形態>
図1は、第1の実施の形態に係る運転支援装置1が支援を行う対象である車両Cの概略を模式的に示す図である。運転支援装置1は、車両Cに搭載されている。車両Cには、車両Cの前方(図2の二点鎖線参照)を撮像する撮像部14が設けられている。
【0020】
図2は、運転支援装置1のハードウェア構成の一例を概略的に示すブロック図である。運転支援装置1は、制御装置50と、通信装置52と、記憶装置54と、を備える。制御装置50は、CPU(Central Processing Unit)56及びメモリ58を主に備えて構成される。
【0021】
制御装置50では、記憶装置54又はメモリ58等に格納された所定のプログラムをCPUが実行することにより、各種の機能部として機能する。
【0022】
通信装置52は、外部の装置と通信するための通信インターフェース等で構成される。通信装置52は、端末装置等との間で各種の情報を送受信する。
【0023】
記憶装置54は、ハードディスク等で構成される。この記憶装置54は、制御装置50における処理の実行に必要な各種プログラムや各種の情報、及び処理結果の情報を記憶する。
【0024】
なお、運転支援装置1は、専用又は汎用のサーバ・コンピュータ等の情報処理装置を用いて実現することができる。また、運転支援装置1は、単一の情報処理装置により構成されるものであってもよく、通信ネットワーク上に分散した複数の情報処理装置により構成されるものであってもよい。また、図2は、運転支援装置1が有する主要なハードウェア構成の一部を示しているに過ぎず、運転支援装置1は、情報処理装置が一般的に備える他の構成を備えることができる。
【0025】
図3は、運転支援装置1の電気的な機能ブロックの概略を示す図である。運転支援装置1は、主として、通信部11と、方位センサ12と、高度センサ13と、撮像部14と、出力部15と、制御部20と、記憶部30とを備える。
【0026】
通信部11は、図示しない測位システムから車両Cの位置の情報を取得する機能部である。なお、通信部11は、道路に設けられた情報発信装置、外部の情報処理装置、他車の運転支援装置等と通信を行う機能部であってもよい。
【0027】
方位センサ12は、方角を検知することで車両Cの進行方向を取得する機能部である。方位センサ12は、例えば3軸の地磁気センサを用いることができる。
【0028】
高度センサ13は、車両Cの高度を取得する機能部である。高度センサ13は、例えば気圧センサを用いることができる。なお、高度センサ13は必須ではなく、通信部11が図示しない測位システムから車両Cの高度の情報を取得してもよい。
【0029】
撮像部14は、車両Cの前方を撮像する機能部である。往路で撮像部14が撮像した画像を往路画像とし、復路で撮像部14が撮像した画像を復路画像とする。撮像部14は、往路画像及び復路画像を連続的に撮像する。
【0030】
出力部15は、音、文字情報等の通知を出力する機能部である。出力部15は、車両Cに設けられており、スピーカ15a、表示部15bを含む。表示部15bは、液晶等の表示装置、ランプ等を含む。なお、出力部15は、スピーカ15a、表示部15b以外の構成を有していてもよいし、スピーカ15a、表示部15bのいずれか一方を有していてもよい。
【0031】
制御部20は、CPU(Central Processing Unit)56等の演算装置や記憶装置54により、ソフトウェア資源として、少なくとも、位置情報取得部21、画像取得部22、画像生成部23、判定部24、通知部25を有する。制御部20は、ECU(Electronic Control Unit)により実現されていてもよい。
【0032】
位置情報取得部21は、通信部11、方位センサ12、高度センサ13等により取得された車両Cの位置情報を取得する機能部である。車両Cの位置情報は、車両Cの位置、進行方向、高度等を含む。ただし、高度は必須ではない。
【0033】
画像取得部22は、撮像部14から往路画像及び復路画像を取得する機能部である。また、画像取得部22は、位置情報取得部21から位置情報を取得し、往路画像と往路画像が撮像された地点の位置情報とを関連付けて記憶部30に記憶させる。
【0034】
画像生成部23は、記憶部30に記憶された往路画像に基づいて、復路の案内に用いられる復路ナビ用画像(本発明の復路案内用画像に相当)を生成する機能部である。画像生成部23が復路ナビ用画像を生成する処理については後に詳述する。
【0035】
また、画像生成部23は、生成した復路ナビ用画像を位置情報及び往路画像に関連付けて記憶部30に記憶させる。以下、位置情報と往路画像と復路ナビ用画像とが関連付けられたデータを復路ナビ用データとする。
【0036】
図4は、復路ナビ用データの一例を示す図である。復路ナビ用データには、時刻と、その時刻における位置情報と、往路画像(図4では、往路画像に付されたファイル名(撮影ファイル名)で表される)と、復路ナビ用画像(図4では、復路ナビ用画像に付されたファイル名(復路ナビ用画像名)で表される)とが関連付けられている。位置情報は、位置、方位、高度、進行方向(方位)、進行方向(高度)を含む。
【0037】
図4における各項目について説明する。位置は、通信部11を介して取得された位置に関する情報であり、緯度と経度の情報を含む。方位は、方位センサ12により取得された情報であり、真方位(北を基準とした角度)で表される。高度は、高度センサ13により取得された情報であり、ジオイド高さ(地球を仮想的に表した楕円体表面からの高さ)で表される。
【0038】
進行方向(方位)は、車両Cの進行方向の変化であり、方位センサ12により取得された真方位から算出される。進行方向(高さ)は、車両Cの高度の変化であり、高度センサ13により取得されたジオイド高さから算出される。例えば、時刻t2においては、時刻t2と時刻t1の方位及び高度の差分が進行方向(方位)、進行方向(高さ)となる。
【0039】
図3の説明に戻る。判定部24は、位置情報と復路ナビ用画像と復路画像とに基づいて、復路において車両Cが正しい経路を走行しているか否かを判定する機能部である。判定部24は、復路画像と復路ナビ用画像とを比較し、当該比較した結果に基づいて車両Cが正しい経路を走行しているか否かを判定する。判定部24の処理については後に詳述する。
【0040】
通知部25は、復路において車両Cが正しい経路を走行していないと判定された場合に通知を出力する機能部である。例えば、通知部25は、出力部15から音又は文字情報による通知を行う。通知部25は、スピーカ15aから音(ビープ音、音声を含む)を出力して通知を行い、表示部15bである液晶表示装置に文字情報を出力して通知を行う。
【0041】
制御部20は、車両Cに搭載された車両制御部(図示省略)に接続されている。車両制御部は、車両Cに設けられた各種センサやエンジン等に接続されており、エンジンの駆動、制御を含む各種制御を行う。また、制御部20は、カーナビゲーションシステムを含む車載装置に接続されている。
【0042】
記憶部30は、制御部20の処理に必要な情報を格納する機能部である。記憶部30に格納される情報は、往路画像、復路ナビ用画像を含む画像のデータ、復路ナビ用データ等である。
【0043】
図5は、往路画像を取得し、復路ナビ用画像を生成する処理の流れを示すフローチャートである。図5に示す処理は、車両Cの運転が開始されたときに制御部20により開始される。また、本実施の形態では、制御部20は、往路の開始及び終了を車載装置から取得する。
【0044】
位置情報取得部21は、通信部11、方位センサ12及び高度センサ13から車両Cの位置情報を取得して画像取得部22に出力する(ステップSP11)。画像取得部22は、撮像部14から往路画像を取得する(ステップSP12)。そして、画像取得部22は、ステップSP11で取得した位置情報と、ステップSP12で取得した往路画像とを関連付けて記憶部30に格納する(ステップSP13)。
【0045】
画像取得部22は、車載装置等から往路の運転が終了したか否かを取得する(ステップSP14)。往路の運転が終了していない場合(ステップSP14でNO)には、ステップSP11に処理を戻す。
【0046】
往路の運転が終了した場合(ステップSP14でYES)には、画像生成部23は、復路ナビ用画像を生成する(ステップSP15~SP17)処理を行う。
【0047】
まず、画像生成部23は、記憶部30に格納された任意の往路画像(例えば、時刻t1に関連付けられた往路画像)から復路ナビ用画像を生成する(ステップSP15)。図6、7は、復路ナビ用画像の生成過程を模式的に示す図である。
【0048】
図6(A)は往路画像の一例である。画像生成部23は、往路画像を取得して道路及び構造物(ビル、看板等)を抽出する。道路や構造物の抽出は、公知の画像処理技術を用いることができる。
【0049】
次に、画像生成部23は、往路画像から道路のみの部分を削除する。道路は復路の案内に用いることができない情報であるため、往路画像から道路のみの部分を削除して、復路の案内に用いる構造物を残した画像を生成する。図6(B)は、道路のみの部分が削除された往路画像である。そして、画像生成部23は、道路のみの部分が削除された往路画像を反転させて反転画像を生成する。図6(C)は、反転画像の一例である。
【0050】
次に、画像生成部23は、反転画像に基づいて復路ナビ用画像を生成する。まず、図7(A)に示すように、反転画像を複数の帯状の画像(帯状画像)に分割し、1つの帯状画像に1つの構造物が含まれるようにする。帯状画像は、反転画像の上下方向に沿って反転画像を切断することにより生成される。
【0051】
次に、画像生成部23は、反転画像において車両Cに近い位置にある構造物を小さくして反転画像の中央近傍に配置し、反転画像において車両Cから遠い位置にある構造物を大きくして反転画像の端近傍に配置して復路ナビ用画像を生成する。
【0052】
まず、画像生成部23は、帯状画像を並べ替えて、図7(B)に示すように、反転画像において車両Cに近い位置にある構造物(すなわち、反転画像の端近傍に大きく映っている構造物)が含まれる帯状画像を中央近傍に配置し、反転画像において車両Cから遠い位置(すなわち、反転画像の中央近傍に小さく映っている構造物)にある構造物が含まれる帯状画像を端近傍に配置する。図7(A)と(B)の間の矢印は、帯状画像の並べ替えの様子を示す。
【0053】
次に、画像生成部23は、図7(B)に示す並べ替え後において、中央近傍の帯状画像を縮小し、端近傍の帯状画像を拡大する。このとき、画像生成部23は、中央近傍の帯状画像に写っている構造物が小さく、端近傍にいくにつれて帯状画像に写っている構造物が大きくなるように帯状画像を拡大又は縮小する。その結果、図7(C)に示すような復路ナビ用画像が生成される。
【0054】
図5の説明に戻る。画像生成部23は、ステップSP15で生成した復路ナビ用画像を、基になった往路画像及び位置情報に関連付けて記憶部30に格納する(ステップSP16)。
【0055】
画像生成部23は、記憶部30に格納されている全ての往路画像に対して復路ナビ用画像を生成して記憶部30に格納したか(ステップSP15、SP16の処理を行ったか)を判定する(ステップSP17)。全ての往路画像に対してステップSP15、SP16の処理を行っていない場合(ステップSP17でNO)には、画像生成部23は処理をステップSP15に戻す。全ての往路画像に対してステップSP15、SP16の処理を行った場合(ステップSP17でYES)には、画像生成部23は一連の処理を終了する。
【0056】
図8は、復路において運転支援装置1が復路ナビ用画像を用いて案内を行う処理の流れを示すフローチャートである。図8に示す処理は、車両Cの復路の運転が開始されたときに制御部20により開始される。また、本実施の形態では、制御部20は、復路の開始を車載装置から取得する。
【0057】
判定部24は、前回の判定(後の詳述するステップSP26)が行われてから一定時間が経過したか否かを判定する(ステップSP21)。前回の判定から一定時間が経過していない場合(ステップSP21でNO)には、判定部24はステップSP21の処理を繰り返す。
【0058】
前回の判定から一定時間が経過した場合(ステップSP21でYES、最初にステップSP21の処理を行う場合を含む)には、位置情報取得部21は、通信部11、方位センサ12及び高度センサ13から車両Cの位置情報を取得して画像取得部22に出力する(ステップSP22)。画像取得部22は、撮像部14から復路画像を取得する(ステップSP23)。そして、画像取得部22は、位置情報及び復路画像を判定部24に出力する。
【0059】
判定部24は、ステップSP21で取得した位置情報に基づいて、記憶部30から復路ナビ用画像を取得する(ステップSP24)。図9は、復路ナビ用画像の取得を説明する図である。以下、復路における車両Cの位置を地点Aとし、地点Aの復路画像と比較する復路ナビ用画像を取得する場合を例に、ステップSP24の処理を説明する。
【0060】
車両Cの位置が地点Aのときの撮像部14の視界は往路と復路で異なり、往路画像を撮像するときの撮像部14の視界は視界a1であり、復路画像を撮像するときの撮像部14の視界は視界a2である。つまり、地点Aで撮像された往路画像に基づいて生成された復路ナビ用画像に含まれる構造物は、復路画像に含まれる構造物と異なり、地点Aで撮像された復路画像と、地点Aで撮像された往路画像に基づいて生成された復路ナビ用画像とを比較して運転支援を行うことはできない。
【0061】
したがって、地点Aで撮像された復路画像に領域Dにある構造物が撮像されているとすると、判定部24は、領域Dにある構造物が撮像されている往路画像を取得する必要がある。領域Dにある構造物が含まれた往路画像は、領域Dを挟んで地点Aと対向する地点Bで撮像可能である。地点Bで往路画像を撮像するときの撮像部14の視界は視界b1であるため、地点Bで撮像された往路画像には領域Dにある構造物が含まれる。
【0062】
往路において、車両Cは、地点Aを通過した時刻から所定時間(例えば、30秒)だけ早く地点Bを通過する。したがって、判定部24は、往路において地点Aを通過した時刻(時刻taとする)を復路ナビ用データから抽出するとともに、時刻taから所定時間だけ早い時刻(時刻tbとする)のデータを復路ナビ用データから抽出する。そして、判定部24は、復路ナビ用データにおいて時刻tbに関連付けられた復路ナビ用画像名のファイル(復路ナビ用画像)を記憶部30から取得する。
【0063】
図8の説明に戻る。判定部24は、ステップSP24で取得された復路画像と、ステップSP25で取得された復路ナビ用画像とを比較し(ステップSP25)、復路ナビ用画像と復路画像とが同じ景色である、すなわち復路において車両Cが正しい経路を走行しているか否かを判定する(ステップSP26)。ステップSP25、SP26の処理について、図10、11を用いて説明する。
【0064】
図10(A)は復路画像の一例であり、図10(B)は復路ナビ用画像との比較に用いられる復路画像(以下、比較用復路画像という)の一例である。まず、判定部24は、画像生成部23に復路画像を出力し、画像生成部23は、復路画像を処理して比較用復路画像を生成する。具体的には、画像生成部23は、復路画像を取得して道路及び構造物(ビル、看板等)を抽出し、復路画像から道路のみの部分を削除して比較用復路画像を生成する。そして、画像生成部23は、比較用復路画像を判定部24に出力する。
【0065】
図11(A)は復路ナビ用画像の一例であり、図11(B)は比較用復路画像の一例である。判定部24は、復路ナビ用画像及び比較用復路画像の比較領域から構成物を抽出する。図11では、復路ナビ用画像及び比較用復路画像の中心を通る中心線を一点鎖線で示し、比較領域を点線で囲んでいる。比較領域は、復路ナビ用画像及び比較用復路画像の中央を含まない領域であり、中央から両端側に寄った位置に設定することが望ましい。なお、比較領域から構成物を抽出する方法は、すでに公知の様々な方法を用いることができる。
【0066】
そして、判定部24は、復路ナビ用画像及び比較用復路画像の比較領域から抽出された構成物を比較し、復路ナビ用画像及び比較用復路画像からそれぞれ同一の構造物が抽出できたか否かを判定する。復路ナビ用画像から抽出された構造物と、比較用復路画像から抽出された構造物が同一であるか否かは、構造物の色、形状等に基づいて判定する。図11に示す例では、判定部24は、形状に基づいて復路ナビ用画像の構造物S1と比較用復路画像の構造物S3とが同一であると判定でき、形状及び色に基づいて復路ナビ用画像の構造物S2と比較用復路画像の構造物S4とが同一であると判定できる。
【0067】
そして、判定部24は、復路ナビ用画像及び比較用復路画像からそれぞれ同一の構造物が抽出できた場合には、比較用復路画像と復路ナビ用画像とが同じ景色である、すなわち復路において車両Cが正しい経路を走行していると判定する。
【0068】
図8の説明に戻る。判定部24は、比較用復路画像と復路ナビ用画像とが同じ景色である、すなわち復路において車両Cが正しい経路を走行している場合(ステップSP26でYES)には、処理をステップSP21に戻す。
【0069】
判定部24は、比較用復路画像と復路ナビ用画像とが同じ景色でない、すなわち復路において車両Cが正しい経路を走行していない場合(ステップSP26でNO)には、判定部24は、復路において車両Cが正しい経路を走行していない可能性があることを通知部25に出力し、復路において車両Cが正しい経路を走行していない可能性があることを示す通知を通知部25が出力部15を介して出力する(ステップSP27)。本実施の形態では、通知部25は、スピーカ15aから「ルートが間違っている可能性があります」という音声情報を出力するが、通知の形態はこれに限られない。
【0070】
本実施の形態によれば、往路画像に基づいて作成した復路ナビ用画像と復路画像に基づいて作成した比較用復路画像とを比較して、復路において車両Cが正しい経路を走行しているか否かを判定することで、バックカメラを用いることなく、進行方向の前方を撮像した画像のみを用いて、復路の案内を行うことができる。例えば、道に迷った場合等には、位置情報のみに基づいた案内では十分な案内ができないおそれがあるが、画像を用いて案内を行うことで詳細な案内を行うことができる。
【0071】
そして、復路が正しくないと判定された場合に、出力部15から音又は文字情報による通知を出力することで、復路において運転者へ正しい経路の運転支援を行うことができる。
【0072】
また、本実施の形態によれば、車両Cに近い位置にある構造物を小さくして反転画像の中央近傍に配置し、反転画像において車両Cから遠い位置にある構造物を大きくして反転画像の端近傍に配置して復路ナビ用画像とすることで、復路ナビ用画像を復路画像に近づけることができる。その結果、復路において車両Cが正しい経路を走行しているか否かの判定精度を高くすることができる。
【0073】
また、本実施の形態によれば、復路ナビ用画像と比較用復路画像からそれぞれ同じ構造物が抽出できた場合には、車両Cが正しい経路を走行していると判断することで、比較用復路画像と復路ナビ用画像とが同じ景色か否かを容易に判定することができる。
【0074】
また、本実施の形態によれば、復路における位置が位置Aであるときには、記憶部30に記憶された復路ナビ用画像のうち、往路において位置Aを通過した時刻taから所定時間だけ早い時刻tbに関連付けられた復路ナビ用画像を用いて判定部24が判定を行うため、復路ナビ用画像の基となる往路画像と復路画像とに同じ構造物を含めることができる。したがって、判定部24は、復路において車両Cが正しい経路を走行しているか否かの判定精度を高くすることができる。
【0075】
なお、本実施の形態では、画像生成部23が往路画像及び復路画像から道路及び構造物を抽出し、往路画像及び復路画像から道路のみの部分を削除して反転画像及び比較用復路画像を生成したが、往路画像及び復路画像から道路を削除する処理は必須ではない。画像生成部23は、反転画像を生成するのに、道路を削除していない往路画像をそのまま用いてもよい。また、道路を削除しない場合には比較用復路画像は復路画像と同じであり、判定部24は、復路画像に基づいて車両Cが正しい経路を走行しているか否かを判定してもよい。
【0076】
また、本実施の形態では、画像生成部23が往路画像及び復路画像から道路及び構造物を抽出したが、画像生成部23が曲がり角の近傍に位置する特徴的な構造物を抽出し、当該構造物を用いて車両Cが正しい経路を走行しているか否かを判定部24が判定してもよい。例えば、画像生成部23は、復路ナビ用データに含まれる往路の位置情報から復路で曲がる位置を取得し、曲がり角に位置する構造物のうち、色、形状等が特徴的な構造物を抽出することで、曲がり角の近傍に位置する特徴的な構造物を抽出してもよい。
【0077】
また、本実施の形態では、復路ナビ用画像及び比較用復路画像からそれぞれ同一の構造物が抽出できた場合には、判定部24が比較用復路画像と復路ナビ用画像とが同じ景色であると判定したが、復路ナビ用画像及び比較用復路画像からそれぞれ同一の構造物が抽出でき、かつ、その構造物の配置(復路ナビ用画像における位置と比較用復路画像における位置)が同一又は近傍に位置する場合に、判定部24が比較用復路画像と復路ナビ用画像とが同じ景色であると判定してもよい。これにより、比較用復路画像と復路ナビ用画像とが同じ景色か否かを高い精度で判定することができる。
【0078】
また、本実施の形態では、比較用復路画像と復路ナビ用画像とが同じ景色でない場合(ステップSP26でNO)に、復路において車両Cが正しい経路を走行していないとして通知部25が通知を行った(ステップSP27)が、復路において車両Cが正しい経路を走行していないと判定する方法はこれに限られない。判定部24は、比較用復路画像と復路ナビ用画像とが同じ景色でない場合(ステップSP26でNO)に、復路ナビ用データを参照して、復路において車両Cが正しい経路を走行しているか否かを判定してもよい。例えば、判定部24は、復路の車両Cの現在位置と同じ位置情報を有するデータを復路ナビ用データから抽出し、復路の車両Cの位置情報(方位、高度)と抽出した復路ナビ用データの方位、高度、進行方向(方位)及び進行方向(高度)とに基づいて、復路において車両Cが正しい経路を走行しているか否かを判定してもよい。これにより、誤判定を減らすことができる。
【0079】
<第2の実施の形態>
本発明の第1の実施の形態では、反転画像を複数の帯状画像に分割し、車両Cに近い位置にある構造物を小さくして反転画像の中央近傍に配置し、反転画像において車両Cから遠い位置にある構造物を大きくして反転画像の端近傍に配置した復路ナビ用画像と比較用復路画像とを比較することにより、復路において車両Cが正しい経路を走行しているか否かを判定したが、比較用復路画像とを比較する復路ナビ用画像の形態及び復路において車両Cが正しい経路を走行しているか否かを判定する方法はこれに限られない。
【0080】
以下、本発明の第2の実施の形態にかかる運転支援装置2について説明する。第1の実施と同一の部分については、同一の符号を付し、説明を省略する。
【0081】
図12は、運転支援装置2の電気的な機能ブロックの概略を示す図である。運転支援装置2は、主として、通信部11と、方位センサ12と、高度センサ13と、撮像部14と、出力部15と、制御部20Aと、記憶部30とを備える。制御部20Aは、CPU(Central Processing Unit)56等の演算装置や記憶装置54により、ソフトウェア資源として、少なくとも、位置情報取得部21、画像取得部22、画像生成部23A、判定部24A、通知部25を有する。
【0082】
画像生成部23Aは、記憶部30に格納された往路画像から復路ナビ用画像を生成する機能部である。具体的には、画像生成部23Aは、往路画像を取得して道路及び構造物を抽出し、往路画像から道路のみの部分を削除する。また、画像生成部23Aは、道路のみの部分が削除された往路画像を反転させて反転画像を生成し、この反転画像を復路ナビ用画像とする。
【0083】
判定部24Aは、位置情報と復路ナビ用画像と復路画像とに基づいて、復路において車両Cが正しい経路を走行しているか否かを判定する機能部である。図13(A)は復路ナビ用画像(反転画像)の一例であり、図13(B)は比較用復路画像の一例である。判定部24Aが用いる比較用復路画像は、判定部24が用いるものと同一である。
【0084】
判定部24Aは、復路ナビ用画像及び比較用復路画像の中央を含まない比較領域のそれぞれから色情報を抽出する。比較領域から中央を削除するのは、反転画像の中央は車両Cの背中側になり、比較用復路画像に撮像されない可能性があるためである。
【0085】
判定部24Aは、抽出した色情報に基づいて、復路ナビ用画像の色の種類及び配置と、比較用復路画像の色の種類及び配置とを比較する。なお、復路ナビ用画像(反転画像)では色の配置が反転しているため、判定部24Aは色の反転を考慮して比較を行う。そして、判定部24Aは、比較した結果に基づいて復路において車両Cが正しい経路を走行しているか否かを判定する。
【0086】
例えば、判定部24Aは、比較用復路画像の左半分の領域Lに含まれる特徴的な色が、復路ナビ用画像の左半分の領域Lに含まれ、比較用復路画像の右半分の領域Rに含まれる特徴的な色が、復路ナビ用画像の右半分の領域Rに含まれる場合には、復路において車両Cが正しい経路を走行していると判定する。
【0087】
本実施の形態によれば、画像生成部23Aの処理が軽くなり、処理に要する時間や負荷を短くすることができる。
【0088】
<第3の実施の形態>
本発明の第1の実施の形態では、通信部11を介して測位システムから車両Cの位置の情報を取得したが、測位システムから情報が取得できない場合に車両Cの位置を算出するようにしてもよい。
【0089】
以下、本発明の第3の実施の形態にかかる運転支援装置3について説明する。第1の実施と同一の部分については、同一の符号を付し、説明を省略する。
【0090】
図14は、運転支援装置3の電気的な機能ブロックの概略を示す図である。運転支援装置3は、主として、通信部11と、方位センサ12と、高度センサ13と、撮像部14と、出力部15と、車速センサ16と、制御部20Bと、記憶部30とを備える。制御部20Bは、CPU(Central Processing Unit)56等の演算装置や記憶装置54により、ソフトウェア資源として、少なくとも、位置情報取得部21A、画像取得部22、画像生成部23、判定部24、通知部25を有する。
【0091】
車速センサ16(本発明の速度取得部に相当)は、車両Cの速度(以下、車速という)を取得する機能部である。車速センサ16は、車輪に設けられたセンサから電気信号を発生させ、当該電気信号に基づいて速度を求める。なお、車速センサ16の形態はこれに限られず、例えば、加速度センサにより取得された加速度に基づいて速度を算出してもよい。
【0092】
位置情報取得部21Aは、通信部11、方位センサ12、高度センサ13等により取得された車両Cの位置情報を取得する機能部である。また、位置情報取得部21Aは、車速センサ16により取得された車速に基づいて車両Cの位置情報を算出する機能部である。位置情報取得部21Aの詳細については後に詳述する。
【0093】
画像取得部22は、位置情報取得部21Aから位置情報を取得し、往路画像と往路画像が撮像された地点の位置情報とを関連付けて記憶部30に記憶させる。画像生成部23は、生成した復路ナビ用画像を位置情報及び往路画像に関連付けて記憶部30に記憶させる。
【0094】
図15は、位置情報と往路画像と復路ナビ用画像とが関連付けられた復路ナビ用データの一例を示す図である。復路ナビ用データには、時刻と、その時刻における位置情報と、往路画像と、復路ナビ用画像とが関連付けられている。位置情報は、位置、方位、高度、車速、進行方向(方位)、進行方向(高度)を含む。図15における車速は、車速センサ16から取得された車速に関する情報であり、時速で表される。
【0095】
図16は、往路画像を取得し、復路ナビ用画像を生成する処理の流れを示すフローチャートである。図16に示す処理は、車両Cの運転が開始されたときに制御部20Bにより開始される。また、本実施の形態では、制御部20Bは、往路の開始及び終了を車載装置から取得する。
【0096】
位置情報取得部21Aは、通信部11、方位センサ12及び高度センサ13から車両Cの位置情報を取得して画像取得部22に出力し(ステップSP31)、画像取得部22は、撮像部14から往路画像を取得する(ステップSP32)。ステップSP11はステップSP11、SP12と同様である。
【0097】
位置情報取得部21Aは、ステップSP31において通信部11を介して測位システムから位置を取得できたか否かを判定する(ステップSP33)。測位システムから位置を取得できた場合(ステップSP33でYES)には、画像取得部22は、ステップSP31で取得した位置情報と、ステップSP12で取得した往路画像とを関連付けて記憶部30に格納する(ステップSP35)。
【0098】
測位システムから位置を取得できなかった場合(ステップSP33でNO)には、位置情報取得部21Aは、車速センサ16から車速を取得し、当該車速に基づいて車両Cの位置を算出し、当該算出された位置を車両Cの位置情報として画像取得部22に出力する(ステップSP34)。位置情報取得部21Aは、例えば、最後に測位システムから位置を取得できたときの経過時間と車速センサ16から取得された車速とに基づいて、最後に測位システムから位置を取得できたときからの進行距離を算出し、当該進行距離を最後に測位システムから位置を取得できたときの位置情報に加算して、現在の車両Cの位置を算出することができる。
【0099】
そして、画像取得部22は、ステップSP31、SP34で位置情報取得部21Aから取得した位置情報と、ステップSP12で取得した往路画像とを関連付けて記憶部30に格納する(ステップSP35)。
【0100】
画像取得部22は、車載装置等から往路の運転が終了したか否かを取得する(ステップSP36)。往路の運転が終了していない場合(ステップSP36でNO)には、ステップSP11に処理を戻す。往路の運転が終了した場合(ステップSP36でYES)には、画像生成部23は、復路ナビ用画像を生成する(ステップSP37~SP39)処理を行う。ステップSP36~SP39はステップSP14~SP17と同様である。
【0101】
図17は、復路において運転支援装置3が復路ナビ用画像を用いて案内を行う処理の流れを示すフローチャートである。図17に示す処理は、車両Cの復路の運転が開始されたときに制御部20Bにより開始される。また、本実施の形態では、制御部20Bは、復路の開始を車載装置から取得する。
【0102】
判定部24は、前回の判定(後の詳述するステップSP49)が行われてから一定時間が経過したか否かを判定する(ステップSP41)。前回の判定から一定時間が経過していない場合(ステップSP41でNO)には、判定部24はステップSP41の処理を繰り返す。前回の判定から一定時間が経過した場合(ステップSP41でYES、最初にステップSP41の処理を行う場合を含む)には、位置情報取得部21Aは、通信部11、方位センサ12及び高度センサ13から車両Cの位置情報を取得して画像取得部22に出力する(ステップSP42)。画像取得部22は、撮像部14から復路画像を取得し、位置情報及び復路画像を判定部24に出力する(ステップSP43)。ステップSP41~SP43はステップSP21~SP23と同様である。
【0103】
位置情報取得部21Aは、ステップSP42において通信部11を介して測位システムから位置を取得できたか否かを判定する(ステップSP44)。測位システムから位置を取得できた場合(ステップSP44でYES)には、判定部24は、ステップSP41で取得した位置情報に基づいて、記憶部30から復路ナビ用画像を取得する(ステップSP45)。ステップSP45はステップSP24と同様である。
【0104】
測位システムから位置を取得できなかった場合(ステップSP44でNO)には、位置情報取得部21Aは、車速センサ16から車速を取得し、当該車速に基づいて車両Cの位置を算出し、当該算出された位置を、方位センサ12、高度センサ13から取得された情報とともに、車両Cの位置情報として画像取得部22に出力する(ステップSP46)。ステップSP46の処理は、ステップSP34と同様である。
【0105】
そして、判定部24は、ステップSP46で位置情報取得部21Aから取得した位置情報に基づいて、記憶部30から復路ナビ用画像を取得する(ステップSP47)。ステップSP47において位置情報に基づいて復路ナビ用画像を取得する方法はステップSP24と同様である。
【0106】
判定部24は、ステップSP43で取得された復路画像と、ステップSP45又はSP47で取得された復路ナビ用画像とを比較し(ステップSP48)、復路において車両Cが正しい経路を走行しているか否かを判定する(ステップSP49)。復路において車両Cが正しい経路を走行している場合(ステップSP49でYES)には、処理をステップSP41に戻す。復路において車両Cが正しい経路を走行していない場合(ステップSP49でNO)には、判定部24は、復路において車両Cが正しい経路を走行していない可能性があることを示す通知を通知部25が出力部15を介して出力する(ステップSP50)。ステップSP48~SP50はステップSP25~SP27と同様である。
【0107】
本実施の形態によれば、位置情報が取得できない場合であっても、進行方向の前方を撮像した画像のみを用いて復路の案内を行うことができる。例えば、トンネル内部や谷間などでは測位システムから情報を取得しにくいが、車速から車両Cの位置を求めることで、トンネル内部の分岐等においても適切な案内を行うことができる。
【0108】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0109】
1、2、3 :運転支援装置
11 :通信部
12 :方位センサ
13 :高度センサ
14 :撮像部
15 :出力部
15a :スピーカ
15b :表示部
20、20A、20B:制御部
21、21A:位置情報取得部
22 :画像取得部
23、23A:画像生成部
24、24A:判定部
25 :通知部
30 :記憶部
50 :制御装置
52 :通信装置
54 :記憶装置
58 :メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17