IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特許7361348映像制御装置、映像制御方法及びプログラム
<>
  • 特許-映像制御装置、映像制御方法及びプログラム 図1
  • 特許-映像制御装置、映像制御方法及びプログラム 図2
  • 特許-映像制御装置、映像制御方法及びプログラム 図3
  • 特許-映像制御装置、映像制御方法及びプログラム 図4
  • 特許-映像制御装置、映像制御方法及びプログラム 図5
  • 特許-映像制御装置、映像制御方法及びプログラム 図6
  • 特許-映像制御装置、映像制御方法及びプログラム 図7
  • 特許-映像制御装置、映像制御方法及びプログラム 図8
  • 特許-映像制御装置、映像制御方法及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-05
(45)【発行日】2023-10-16
(54)【発明の名称】映像制御装置、映像制御方法及びプログラム
(51)【国際特許分類】
   G01S 19/47 20100101AFI20231006BHJP
   G01C 21/28 20060101ALI20231006BHJP
【FI】
G01S19/47
G01C21/28
【請求項の数】 10
(21)【出願番号】P 2021527393
(86)(22)【出願日】2020-04-02
(86)【国際出願番号】 JP2020015238
(87)【国際公開番号】W WO2020261696
(87)【国際公開日】2020-12-30
【審査請求日】2022-12-16
(31)【優先権主張番号】P 2019116243
(32)【優先日】2019-06-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】田中 彰
(72)【発明者】
【氏名】犬飼 文人
(72)【発明者】
【氏名】森 俊也
(72)【発明者】
【氏名】笠澄 研一
【審査官】藤田 都志行
(56)【参考文献】
【文献】特開2000-055678(JP,A)
【文献】特開平09-196692(JP,A)
【文献】特開平08-114455(JP,A)
【文献】米国特許出願公開第2014/0195151(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 19/00-19/55
G01C 21/26-21/36
(57)【特許請求の範囲】
【請求項1】
衛星測位システムにより測位される車両の位置を取得する第1取得部と、
デッドレコニングに基づいて推定される前記車両の推定位置を取得する第2取得部と、
衛星測位システムにより測位される前記車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、前記車両の方位のずれを推定する方位ずれ推定部と、
推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出する方位算出部と、
前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する出力部と、を備え、
前記方位ずれ推定部は、
衛星測位システムにより測位される前記車両の第1位置と、
前記車両が前記第1位置から移動したときの、衛星測位システムにより測位される前記車両の第2位置と、
前記第1位置と、前記第1位置における前記車両の方位と、前記車両に備えられたジャイロセンサの検出結果と、前記車両の速度情報とを用いた前記デッドレコニングに基づいて推定される、前記第2位置が測位されたときの前記車両の推定位置と、
に基づいて、前記車両の方位のずれを推定する、
映像制御装置。
【請求項2】
前記方位ずれ推定部は、前記第1位置と前記第2位置とを結ぶ直線と、前記第1位置と前記推定位置とを結ぶ直線とのなす角度を前記車両の方位のずれとして推定する、
請求項に記載の映像制御装置。
【請求項3】
前記方位ずれ推定部は、複数の連続する区間のそれぞれにおける前記第1位置と、前記第2位置と、前記推定位置とに基づいて、前記複数の連続する区間のそれぞれについての前記車両の方位のずれを推定し、
前記方位算出部は、前記複数の連続する区間のうちの2つ以上の区間についての前記車両の方位のずれに基づいて、前記車両の推定方位を算出する、
請求項又はに記載の映像制御装置。
【請求項4】
前記方位算出部は、前記複数の連続する区間のうち、隣り合う前区間における前記ジャイロセンサの検出結果に基づいて算出される前記車両の方位に対して、前記ジャイロセンサの検出結果に基づいて算出される前記車両の方位が第1閾値以上変動している区間を除外した前記複数の連続する区間のそれぞれについての前記車両の方位のずれの平均値に基づいて、前記車両の推定方位を算出する、
請求項に記載の映像制御装置。
【請求項5】
前記方位算出部は、前記複数の連続する区間のうち、前記車両の方位のずれが第2閾値以上となっている区間を除外した前記複数の連続する区間のそれぞれについての前記車両の方位のずれの平均値に基づいて、前記車両の推定方位を算出する、
請求項又はに記載の映像制御装置。
【請求項6】
前記方位算出部は、前記複数の連続する区間のそれぞれについての前記車両の方位のずれの中央値に基づいて、前記車両の推定方位を算出する、
請求項に記載の映像制御装置。
【請求項7】
前記方位算出部は、前記複数の連続する区間のそれぞれについての前記車両の方位のずれの加重平均値に基づいて、前記車両の推定方位を算出する、
請求項に記載の映像制御装置。
【請求項8】
前記出力部は、前記車両の推定方位の過去の変動量に基づいて予測される将来の前記車両の推定方位を前記映像表示装置に出力する、
請求項1~のいずれか1項に記載の映像制御装置。
【請求項9】
衛星測位システムにより測位される車両の位置を取得し、
デッドレコニングに基づいて推定される前記車両の推定位置を取得し、
衛星測位システムにより測位される前記車両の第1位置と、前記車両が前記第1位置から移動したときの、衛星測位システムにより測位される前記車両の第2位置と、前記第1位置、前記第1位置における前記車両の方位、前記車両に備えられたジャイロセンサの検出結果、及び前記車両の速度情報を用いた前記デッドレコニングに基づいて推定される、前記第2位置が測位されたときの前記車両の推定位置とに基づいて、前記車両の方位のずれを推定し、
推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出し、
前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する、
映像制御方法。
【請求項10】
請求項に記載の映像制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像制御装置、映像制御方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1及び2には、地図データとGPS(Global Positioning System)等を用いて自車の位置を検出し、ヘッドアップディスプレイ(Head-Up Display、以下、HUDとも表記する)によって人の視野に目的地への経路情報を映し出す技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平7-257228号公報
【文献】特開2018-045103号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
HUD等の映像表示装置によって表示される目的地への経路情報には、例えば、車両を目的地へ誘導するための車両の方位(車両自身の向き)に基づいた情報が含まれる場合がある。車両の方位に基づいた情報は、例えば、自車を起点として進行方向へ延びる矢印(後述する図9参照)等である。車両の方位に基づいた情報を生成するためには、車両の方位を推定する必要があるが、推定された車両の方位が実際の方位からずれていると、車両の方位に基づいた情報を見た車両の乗員に違和感を与えるおそれがある。例えば、自車を起点として進行方向へ延びる矢印が、自車の方位がずれて推定されてしまったことで、道路からはみ出るように表示される場合がある。
【0005】
そこで、本開示は、車両の方位の推定の精度を高めることができる映像制御装置等を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る映像制御装置は、衛星測位システムにより測位される車両の位置を取得する第1取得部と、デッドレコニングに基づいて推定される前記車両の推定位置を取得する第2取得部と、衛星測位システムにより測位される前記車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、前記車両の方位のずれを推定する方位ずれ推定部と、推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出する方位算出部と、前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する出力部と、を備える。
【0007】
また、本開示の一態様に係る映像制御方法は、衛星測位システムにより測位される車両の位置を取得し、デッドレコニングに基づいて推定される前記車両の推定位置を取得し、衛星測位システムにより測位される前記車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、前記車両の方位のずれを推定し、推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出し、前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する。
【0008】
また、本開示の一態様に係るプログラムは、上記の映像制御方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0009】
本開示の映像制御装置等によれば、車両の方位の推定の精度を高めることができる。
【図面の簡単な説明】
【0010】
図1図1は、実施の形態に係る映像制御装置及びその周辺の装置の構成の一例を示すブロック図である。
図2図2は、ジャイロセンサを用いた車両の方位の算出方法を説明するための図である。
図3図3は、ジャイロセンサのゼロ点の更新を説明するための図である。
図4図4は、実施の形態に係る映像制御装置の動作の一例を示すフローチャートである。
図5図5は、実施の形態に係る車両の方位のずれの推定方法の一例を示す図である。
図6図6は、実施の形態に係る車両の方位のずれの推定方法の他の一例を示す図である。
図7図7は、実施の形態に係る描画遅延の解消方法を説明するための図である。
図8図8は、実施の形態に係る映像制御装置を適用したときの方位のずれの推移を示す図である。
図9図9は、映像表示装置の表示の一例を示す図である。
【発明を実施するための形態】
【0011】
(実施の形態)
以下、実施の形態に係る映像制御装置について、図面を参照しながら説明する。
【0012】
図1は、実施の形態に係る映像制御装置10及びその周辺の装置の構成の一例を示すブロック図である。図1には、映像制御装置10の他に、情報処理装置20、ECU30、ジャイロセンサ40、加速度センサ50及び映像表示装置60が示されている。これらの装置は、例えば、車両(例えば自動車)に搭載される。
【0013】
情報処理装置20は、GPS(Global Positioning System)等の衛星測位システムにより測位される車両の位置及び車両の方位、並びに、車両の目的地までの経路(例えば、目的地までの最短の経路又は渋滞を避ける経路等)の情報等を取得可能な装置であり、例えば、カーナビゲーションシステムである。
【0014】
ECU30は、例えば、車速信号等を取り扱うECUであり、現在の車両の速度をCAN(Controller Area Network)バスに出力可能な装置である。
【0015】
ジャイロセンサ40は、車両のヨー角速度情報を検出し、検出結果を出力するセンサである。上記検出結果を積算することで車両の方位を算出することができる。
【0016】
加速度センサ50は、車両の加速度を検出し、検出結果を出力するセンサである。上記検出結果に基づいて、車両が停止しているか否かを判定できる。
【0017】
映像表示装置60は、車両の方位に基づいた情報を表示する装置であり、例えば、HUD、電子ミラー又はカーナビゲーションシステム等である。本実施の形態では、映像表示装置60をHUDとする。車両の方位に基づいた情報は、例えば、車両を起点として進行方向へ延びる矢印等である(後述する図9参照)。映像表示装置60は、情報処理装置20から取得する車両の目的地までの経路の情報と、映像制御装置10から取得する車両の推定方位とに基づいて、車両の方位に基づいた情報を表示する。なお、車両の方位に基づいた情報は、車両の方位自体であってもよい。つまり、映像表示装置60に、車両の方位が表示されてもよい。
【0018】
映像制御装置10は、車両の推定方位を算出し、推定方位を映像表示装置60に出力する装置である。映像制御装置10により算出された推定方位に応じて映像表示装置60の表示内容(車両の方位に基づいた情報)が変わることになるため、映像制御装置10は、映像表示装置60の表示内容を制御する装置であるともいえる。映像制御装置10は、第1取得部11、第2取得部12、方位ずれ推定部13、方位算出部14及び出力部15を備える。映像制御装置10は、プロセッサ、メモリ及び通信回路等を含むコンピュータである。メモリは、ROM(Read Only Memory)、RAM(Random Access Memory)等であり、プロセッサにより実行されるプログラムを記憶することができる。また、メモリには、映像制御装置10が取得した情報が格納される。例えばプロセッサが、プログラムに従って動作することにより、第1取得部11、第2取得部12、方位ずれ推定部13、方位算出部14及び出力部15の機能が実現される。
【0019】
第1取得部11は、衛星測位システムにより測位される車両の位置を取得する。具体的には、第1取得部11は、情報処理装置20から衛星測位システムにより測位される車両の位置を取得する。第1取得部11は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置とを取得する。第1取得部11は、衛星測位システムにより測位される車両の位置を逐次取得することで、第1位置から第2位置までの車両の走行軌跡を推定できる。
【0020】
第2取得部12は、デッドレコニングに基づいて推定される車両の推定位置を取得する。例えば、第2取得部12は、第1位置と、第1位置における車両の方位と、車両に備えられたジャイロセンサ40の検出結果と、車両の速度情報とを用いたデッドレコニングに基づいて、第2位置が測位されたときの(具体的には第2位置が測位されたタイミングでの)車両の推定位置を推定することで、車両の推定位置を取得する。デッドレコニングとは、衛星測位システムのように位置を直接測位するのではなく、ある地点における移動体の方位、その地点からのジャイロセンサの検出結果及び移動体の速度情報等を用いて、移動体の位置を相対的に測位する技術である。第2取得部12は、デッドレコニングにより、第1位置から推定位置までの車両の走行軌跡を推定できる。
【0021】
第1取得部11が取得する第1位置と、第2取得部が取得する第1位置とが同じ位置であれば、第2取得部12は、情報処理装置20から第1位置を取得してもよいし、第1取得部11から第1位置を取得してもよい。また、第2取得部12は、例えば、車両の起動時(走行開始時)には、第1位置における車両の方位を情報処理装置20から取得する。つまり、車両の走行開始時に第2取得部12が取得する第1位置における車両の方位は、衛星測位システムにより測位された車両の方位となる。また、第2取得部12は、例えば、車両の走行開始後には、第1位置における車両の方位を方位算出部14から取得する。また、第2取得部12は、ジャイロセンサ40の検出結果をジャイロセンサ40から取得し、車両の速度情報をECU30からCANバス等を介して取得する。また、第2取得部12は、例えば、第2位置が測位されたタイミングを第1取得部11から通知される。
【0022】
ここで、ジャイロセンサ40の検出結果によって、車両の方位を算出する方法について図2を用いて説明する。
【0023】
図2は、ジャイロセンサ40を用いた車両の方位の算出方法を説明するための図である。
【0024】
例えば、時刻T=0での車両の方位(初期方位)が既知であるとする。時刻T=1での車両の方位は、時刻T=0から時刻T=1間のジャイロセンサ40の検出結果(つまりヨー角速度)の積算値を初期方位に加算することで算出できる。時刻T=2での車両の方位は、時刻T=1から時刻T=2間のジャイロセンサ40の検出結果の積算値を時刻T1での車両の方位に加算することで算出できる。このように、ある瞬間の車両の方位が既知であれば、その瞬間の車両の方位と、ジャイロセンサ40の検出結果の積算値とを用いて車両の方位を正確に算出することができる。ただし、初期方位にずれが含まれている場合には、初期方位を用いて算出されるその後の車両の方位についても、そのずれ分正確にずれてくることになる。
【0025】
また、車両が停止している状態であるにもかかわらず、ジャイロセンサ40のゼロ点(車両が停止している状態のときのジャイロセンサ40の出力)がジャイロドリフトによってゼロとならない場合がある。この場合、ジャイロセンサ40の積算値もずれていってしまう。そこで、このようなときに、ジャイロセンサ40のゼロ点が更新される。これについて、図3を用いて説明する。
【0026】
図3は、ジャイロセンサ40のゼロ点の更新を説明するための図である。
【0027】
図3に示されるように、車両が走行を継続すると、ある時点からジャイロセンサ40のゼロ点がジャイロドリフトによってゼロから変動する。ジャイロセンサ40のゼロ点の変動は、ジャイロセンサ40の検出結果の積算値を変化させるため、ジャイロセンサ40のゼロ点の変動によって(つまりジャイロドリフトによって)、ジャイロセンサ40を用いて算出される車両の方位にずれが生じる。そこで、例えば、第2取得部12は、ゼロ点の更新を行う。具体的には、第2取得部12は、車両が停止しているとき(例えば、過去3秒間車速が0であり、かつ、車両の加速度の変化量が所定の閾値以下であるとき)、過去3秒間のジャイロセンサ40の検出結果の平均値をゼロとすることで、ゼロ点の更新を行う。これにより、車両の方位がこれ以上ずれないようにすることができる。第2取得部12は、車両の加速度を加速度センサ50から取得する。例えば、第2取得部12は、車両が停止しているときに、過去3秒間のジャイロセンサ40の検出結果の平均値がゼロであれば(つまりゼロ点が変動していなければ)、ゼロ点の更新を行わない。言い換えると、第2取得部12は、ゼロ点の変動が確認できたときに、ゼロ点の更新を行う。
【0028】
図1での説明に戻り、方位ずれ推定部13は、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれを推定する。方位ずれ推定部13の動作の詳細については後述する。
【0029】
方位算出部14は、方位ずれ推定部13により推定された車両の方位のずれに基づいて、車両の推定方位を算出する。方位算出部14の動作の詳細については後述する。
【0030】
出力部15は、車両の推定方位を映像表示装置60に出力する。
【0031】
次に、映像制御装置10の動作について説明する。
【0032】
図4は、実施の形態に係る映像制御装置10の動作の一例を示すフローチャートである。
【0033】
第1取得部11は、衛星測位システムにより測位される車両の位置を取得する(ステップS11)。具体的には、第1取得部11は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置とを取得する。
【0034】
第2取得部12は、デッドレコニングに基づいて推定される車両の推定位置を取得する(ステップS12)。車両の推定位置は、第1位置と、第1位置における車両の方位と、車両に備えられたジャイロセンサ40の検出結果と、車両の速度情報とを用いたデッドレコニングに基づいて推定される、第2位置が測位されたときの車両の位置である。
【0035】
方位ずれ推定部13は、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、車両の方位のずれを推定する(ステップS13)。具体的には、方位ずれ推定部13は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置と、第1位置と第1位置における車両の方位と車両に備えられたジャイロセンサの検出結果と車両の速度情報とを用いたデッドレコニングに基づいて推定される、第2位置が測位されたときの車両の推定位置と、に基づいて、車両の方位のずれを推定する。車両の方位のずれの推定方法について、図5を用いて詳細に説明する。
【0036】
図5は、実施の形態に係る車両の方位のずれの推定方法の一例を示す図である。図5は、水平面上の車両の走行軌跡を模式的に示しており、車両が左下側(原点側)から右上側(X軸及びY軸プラス側)に移動するとする。図5における実線は、実際の走行軌跡であり、映像制御装置10等が認識できないものであるが、衛星測位システムによる走行軌跡及びデッドレコニングによる走行軌跡との比較のために図示している。図5における破線は、衛星測位システムによる走行軌跡である。図5における一点鎖線は、デッドレコニングによる走行軌跡である。
【0037】
図5における位置A1は、衛星測位システムにより測位される第1位置を示し、位置A2は、車両が位置A1から移動したときの、衛星測位システムにより測位される第2位置を示す。映像制御装置10は、衛星測位システムにより測位される車両の位置を逐次取得することで、衛星測位システムによる走行軌跡を認識できる。ただ、衛星測位システムにより測位される車両の位置には、誤差が含まれており、実際の走行位置から10メートル程度ずれて測位される場合もある。
【0038】
図5における位置B1は、位置A2が測位されたときの、デッドレコニングにより推定される推定位置を示す。映像制御装置10は、位置A1における車両の方位(初期方位)を取得し、また、位置A1からのジャイロセンサ40の検出結果、及び、位置A1からの車両の速度情報を逐次取得することで、デッドレコニングによる走行軌跡を認識できる。デッドレコニングが精度よく行われる場合、ある地点からの車両の方位の変化及び車両の速度の変化を正確に走行軌跡に反映することができるため、図5に示されるように、デッドレコニングによる走行軌跡は、実際の走行軌跡と形状が類似していることがわかる。しかし、デッドレコニングにより用いられる車両の初期方位が、実際の車両の方位とずれている場合、そのずれ分、デッドレコニングによる走行軌跡の位置も、実際の走行軌跡の位置からずれる。位置A1は、車両の方位のずれの推定の処理を開始する位置であり、例えば、車両の走行の開始位置(車両の起動位置)又はジャイロセンサ40のゼロ点の更新位置である。位置A1が車両の走行の開始位置である場合、初期方位は、例えば衛星測位システムにより測位される車両の方位である。衛星測位システムにより測位される車両の方位の精度が低いため、初期方位は、実際の車両の方位とずれている可能性が高い。また、位置A1がジャイロセンサ40のゼロ点の更新位置である場合、初期方位は、例えばジャイロセンサ40の検出結果に基づいて算出される車両の方位である。ジャイロセンサ40のゼロ点の更新は、ジャイロセンサ40のゼロ点が変動したときに行われるため、ジャイロセンサ40のゼロ点の更新時にジャイロセンサ40の検出結果に基づいて算出される車両の方位(つまり初期方位)は、実際の車両の方位とずれている可能性が高い。
【0039】
車両の走行の開始位置又はジャイロセンサ40のゼロ点の更新位置では、ジャイロセンサ40のゼロ点の更新が行われ、ジャイロセンサ40のゼロ点は変動していないとする。また、これらの位置では、車両が停止しており、これらの位置から車両が移動を開始してからしばらくはジャイロドリフトによるジャイロセンサ40のゼロ点の変動はないとする。このように、衛星測位システムにより測位される位置A1から位置A2まで車両が移動する間、車両の方位のずれは、位置A1において生じているずれから変動しないとする。
【0040】
デッドレコニングが精度よく行われ、かつ、車両の方位のずれの推定のための移動中に車両の方位のずれが変動しないという前提のもとでは、位置A1と位置A2とを結ぶ直線と、位置A1と位置B1とを結ぶ直線とのなす角度を車両の方位のずれとみなすことができる。つまり、方位ずれ推定部13は、衛星測位システムにより測位される車両の方位のずれ、又は、ジャイロドリフトによる車両の方位のずれ等を推定することができる。
【0041】
図4での説明に戻り、方位算出部14は、方位ずれ推定部13により推定された車両の方位のずれに基づいて、車両の推定方位を算出する(ステップS14)。例えば、方位算出部14は、推定された車両の方位のずれを用いて、位置A2以降の移動においてジャイロセンサ40の検出結果に基づいて算出される車両の方位を補正する(例えば車両の方位のずれを加算又は減算する)ことで、車両の推定方位を算出する。これにより、車両の方位の推定の精度を高めることができる。
【0042】
そして、出力部15は、車両の推定方位を映像表示装置60に出力する(ステップS15)。これにより、映像表示装置60は、ずれの少ない車両の方位に基づいて、車両の方位に基づいた情報を表示することができる。
【0043】
なお、方位ずれ推定部13は、車両の方位のずれを推定し、車両の推定方位が算出された後も、引き続き位置A1を起点として、逐次車両の方位のずれを推定してもよい。詳細は後述する図6で説明するが、車両の方位のずれを推定するために車両が移動する距離が長くなるほど車両の方位のずれの推定の精度が高まるためである。ただし、車両が停止せずに移動する距離が長くなると、ジャイロドリフトによる車両の方位のずれ(つまりジャイロセンサ40のゼロ点の変動)が発生するため、ジャイロセンサ40のゼロ点が変動してゼロ点の更新が行われた場合には、位置A1に代わる新たな第1位置を起点として車両の方位のずれの推定の処理が行われる。
【0044】
図5に示されるように、衛星測位システムにより測位される車両の位置には、誤差が含まれており、当該誤差が大きいほど位置A1と位置A2とを結ぶ直線がぶれることになるため、車両の方位のずれの推定の精度が低くなる。一方で、位置A1と位置A2との距離(車両の方位のずれを推定するために車両が移動する距離)が長いほど上記誤差が車両の方位のずれの推定に影響しにくくなる。ただし、車両の方位のずれは、デッドレコニングが精度よく行われ、かつ、車両の方位のずれの推定のための移動中に車両の方位のずれが変動しないという前提のもとで計算されたものであり、実際には、車両が移動する距離が長くなると、デッドレコニングの精度が落ちたり、ジャイロドリフトの影響を受けたりすることがある。このため、上記前提を維持するためには、車両が移動する距離をなるべく短くする必要がある。
【0045】
そこで、方位ずれ推定部13は、例えば10m程度の短い区間ごとに車両の方位の推定の処理を行い、方位算出部14は、各区間での車両の方位の推定結果から車両の推定方位を算出してもよい。具体的には、方位ずれ推定部13は、複数の連続する区間のそれぞれにおける第1位置と、第2位置と、推定位置とに基づいて、複数の連続する区間のそれぞれについての車両の方位のずれを推定してもよい。また、方位算出部14は、複数の連続する区間のうちの2つ以上の区間についての車両の方位のずれに基づいて、車両の推定方位を算出してもよい。これについて、図6を用いて説明する。
【0046】
図6は、実施の形態に係る車両の方位のずれの推定方法の他の一例を示す図である。図6は、図5と同じように、水平面上の車両の走行軌跡を模式的に示しており、車両が左下側(原点側)から右上側(X軸及びY軸プラス側)に移動するとする。ただし、図6では、複数の連続する区間(ここでは、一例として3つの区間である第1区間から第3区間を示している)のそれぞれごとに第1位置、第2位置及び推定位置が存在する。つまり、図5における第1位置(位置A1)、第2位置(位置A2)及び推定位置(位置B1)を用いた車両の方位のずれの推定の処理が第1区間から第3区間のそれぞれで行われる。第1区間において、位置A1は、衛星測位システムにより測位される第1位置を示し、位置A2は、車両が位置A1から移動したときの、衛星測位システムにより測位される第2位置を示し、位置B1は、位置A2が測位されたときの、デッドレコニングにより推定される推定位置を示す。また、第2区間において、位置A2は、衛星測位システムにより測位される第1位置を示し、位置A3は、車両が位置A2から移動したときの、衛星測位システムにより測位される第2位置を示し、位置B2は、位置A3が測位されたときの、デッドレコニングにより推定される推定位置を示す。また、第3区間において、位置A3は、衛星測位システムにより測位される第1位置を示し、位置A4は、車両が位置A3から移動したときの、衛星測位システムにより測位される第2位置を示し、位置B3は、位置A4が測位されたときの、デッドレコニングにより推定される推定位置を示す。
【0047】
ここでは、一例として3つの区間について、車両の方位のずれの推定が行われる例を示しているが、例えば、数100mの距離を10m程度の短い区間で分割して各区間について車両の方位のずれが推定される。10m程度の短い区間では、デッドレコニングが精度よく行われ、かつ、車両の方位のずれの推定のための移動中に車両の方位のずれが変動しないという前提を確保しやすくなる。ただし、各区間が短いため、衛星測位システムにより測位される車両の位置の誤差の影響を大きく受けて、各区間で推定される車両の方位のずれは大きくなりやすい。なお、各区間の距離は、10mに限らず、20m又は30m程度であってもよい。
【0048】
これに対して、方位算出部14は、複数の連続する区間のうちの2つ以上の区間についての車両の方位のずれを用いることで、衛星測位システムにより測位される車両の位置の誤差の影響を小さくする。例えば、2つ以上の区間についての車両の方位の平均値又は中央値等を算出することで、各区間で推定される車両の方位のずれが大きい場合であっても、車両の方位の推定の精度をさらに高めることができる。
【0049】
例えば、方位算出部14は、複数の連続する区間のうち、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出してもよい。
【0050】
例えば、図6の例では、隣り合う第1区間及び第2区間について、第1区間が第2区間に対して隣り合う前区間となり、隣り合う第2区間及び第3区間について、第2区間が第3区間に対して隣り合う前区間となる。例えば、隣り合う第1区間及び第2区間について、第1区間(前区間)におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位が北であったとする。また、第2区間(後区間)におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位が東であったとする。この場合、例えば10m程度の距離で車両の方位が90度程度変化しているため、第2区間周辺で急なカーブ又は右左折路が存在する可能性が高く、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない可能性が高い。そこで、複数の連続する区間のうち、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値が算出される。衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない可能性が高い区間において推定された車両の方位のずれが除外されて平均値が算出されるため、車両の方位の推定の精度をさらに高めることができる。なお、第1閾値が例えば90度である例について説明したが、第1閾値は特に限定されず、適宜設定される。
【0051】
また、例えば、方位算出部14は、複数の連続する区間のうち、車両の方位のずれが第2閾値以上となっている区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出してもよい。
【0052】
例えば、複数の連続する区間のうちのある区間において、推定された車両の方位のずれが大きい(例えば20度等)場合がある。このような区間は、衛星測位システムの動作が不安定となっており、衛星測位システムにより測位された車両の第2位置が実際の位置から大きくずれている可能性が高い。そこで、複数の連続する区間のうち、車両の方位のずれが第2閾値以上となっている区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値が算出される。衛星測位システムの動作が不安定となっている可能性の高い区間において推定された車両の方位のずれが除外されて平均値が算出されるため、車両の方位の推定の精度をさらに高めることができる。なお、第2閾値が例えば20度である例について説明したが、第2閾値は特に限定されず、適宜設定される。
【0053】
なお、方位算出部14は、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間、及び、車両の方位のずれが第2閾値以上となっている区間の両方を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出してもよい。
【0054】
また、例えば、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの中央値に基づいて、車両の推定方位を算出してもよい。
【0055】
衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間(例えば、上記説明において、平均値を算出する際に除外するとした区間)における車両の方位のずれは、他の区間における車両の方位のずれに対して、異常な値となっている場合がある。このような異常な値も含めて平均値が算出されると、平均値が異常な値の影響を大きく受けて正常な値とならないおそれがある。そこで、中央値が算出されることで、車両の方位の推定の精度をさらに高めることができる。
【0056】
また、例えば、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの加重平均値に基づいて、車両の推定方位を算出してもよい。
【0057】
例えば、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間(例えば、上記説明において、平均値を算出する際に除外するとした区間)における車両の方位のずれに対する重みを小さくして(例えば0.5等にして)、加重平均値を算出することで、車両の方位の推定の精度をさらに高めることができる。
【0058】
出力部15は、このようにして算出された車両の推定方位を映像表示装置60に出力するが、映像表示装置60では、車両の推定方位に基づく車両の方位に基づいた情報を映像表示装置60に表示する際に、例えば約33.3ms程度の描画遅延が生じる。つまり、映像制御装置10において、精度よく推定方位を算出したとしても、約33.3ms前の車両の推定方位に基づいて車両の方位に基づいた情報が映像表示装置60に表示されることとなる。そこで、出力部15は、車両の推定方位の過去の変動量に基づいて予測される将来の車両の推定方位を映像表示装置60に出力してもよい。これについて、図7を用いて説明する。
【0059】
図7は、実施の形態に係る描画遅延の解消方法を説明するための図である。
【0060】
図7の上側に示されるように、現在の推定方位(図7中の一点鎖線)が映像表示装置60に出力されると、約33.3ms後に現在の推定方位に基づく車両の方位に基づいた情報が映像表示装置60に表示される。しかし、車両の方位は時々刻々と変化するため、描画時点(つまり現在から約33.3ms後)には、現在とは異なる方位(図7中の二点鎖線)となっている場合があり、描画遅延による車両の方位のずれが生じる場合がある。
【0061】
そこで、図7の下側に示されるように、出力部15は、車両の推定方位をそのまま映像表示装置60に出力せずに、これまでに算出された車両の推定方位の過去の変動量に基づいて将来の車両の推定方位(図7中の実線)を予測して映像表示装置60に出力する。例えば、出力部15は、約16.6ms前から現在までの変動量に基づいて約33.3ms後の車両の推定方位を予測する。これにより、描画に使用される予測された推定方位と、描画時点の推定方位との差が小さくなるため、描画遅延による車両の方位のずれが小さくなる。すなわち、車両の方位に基づいた情報が映像表示装置60に正確に表示されるようになる。
【0062】
次に、本実施の形態に係る映像制御装置10を適用したときの方位のずれの推移について図8を用いて説明する。
【0063】
図8は、実施の形態に係る映像制御装置10を適用したときの方位のずれの推移を示す図である。例えば、本実施の形態では、車両の方位のずれが推定され、車両の方位の補正が行われることで、車両の方位の誤差を全体的に低下させることができる。
【0064】
図8に示されるように、例えば、60Hz描画レートと同じ頻度でジャイロセンサ40の検出結果の積算が行われ車両の方位が予測されるとする。例えば、車両の起動時における初期方位として、衛星測位システムにより測位される車両の方位が用いられる。衛星測位システムにより測位される車両の方位の精度は低く、車両の方位のずれの推定が行われ車両の方位が補正されるまでは、ジャイロセンサ40の検出結果に基づいて算出される車両の方位には、初期方位の誤差が含まれる。
【0065】
車両が移動を開始した後、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて車両の方位のずれが推定される。そして、推定された車両の方位のずれに基づいて車両の方位が補正される。これにより、車両の方位の誤差を例えば0.8度以下とすることができる。
【0066】
その後、車両がある程度走行を継続すると、ジャイロドリフトにより車両の方位のずれが大きくなる場合がある。そこで、車両はいったん停止し、ジャイロセンサ40のゼロ点の補正が行われ、車両の方位のずれがこれ以上大きくならないようにする。そして、再度、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて車両の方位のずれが推定され、推定された車両の方位のずれに基づいて車両の方位が補正される。これにより、車両の方位の誤差を再度0.8度以下とすることができる。以降も、例えば、ジャイロセンサ40のゼロ点が変動してジャイロセンサ40のゼロ点の補正が行われたときに、車両の方位の誤差が小さくなるように車両の方位のずれの推定の処理が行われる。
【0067】
以上のようにして、車両の方位の推定の精度が高められることで、車両の方位に基づいた情報を映像表示装置60に正確に表示することができる。
【0068】
図9は、映像表示装置60の表示の一例を示す図である。上述したように、映像表示装置60は、例えばHUDであり、図9には、映像表示装置60の表示領域として、車両のフロントウインドシールドガラス上の表示領域Dが示されている。
【0069】
車両の方位に基づいた情報は、例えば、自車を起点として進行方向へ延びる矢印Cである。自車を起点として進行方向へ延びる矢印Cを表示領域D上に表示するためには、車両の方位を推定する必要がある。推定された車両の方位が実際の方位からずれていると、矢印Cが道路からはみ出るように(例えば、車両が歩道又は建物等に向かうように)表示される場合がある。本実施の形態に係る映像制御装置10では、車両の方位の推定の精度を高めることができるため、矢印Cが車両の進行方向を向くように表示させることができる。
【0070】
以上説明したように、本実施の形態に係る映像制御装置10は、衛星測位システムにより測位される車両の位置を取得する第1取得部11と、デッドレコニングに基づいて推定される前記車両の推定位置を取得する第2取得部12と、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれを推定する方位ずれ推定部13と、推定された車両の方位のずれに基づいて、車両の推定方位を算出する方位算出部14と、車両の推定方位を、車両の方位に基づいた情報を表示する映像表示装置60に出力する出力部15と、を備える。
【0071】
衛星測位システムによれば、車両の位置だけでなく、車両の位置の時間変化から車両の方位も測位できる。しかし、衛星測位システムによる測位は1Hz(約1sに1回)の頻度でしか行われず、また測位された車両の方位を取得する際に、通信遅延も存在するため、車両の移動中には、車両の方位は時々刻々と変化するのに対して、大きく遅延した車両の方位に基づいて車両の方位に基づいた情報が映像表示装置に表示されることとなる。
【0072】
そこで、本態様では、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれが推定される。衛星測位システムにより測位される車両の位置は、ある程度の誤差は生じるが車両の実際の位置に近い位置となる。一方で、デッドレコニングに基づいて推定される車両の推定位置は、デッドレコニングに用いられる車両の方位にずれが生じている場合、そのずれが推定位置にある程度正確に反映されることになる。すなわち、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とのずれは、車両の方位のずれと相関があることから、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とのずれから車両の方位のずれを推定することができる。これにより、車両の方位の推定の精度を高めることができる。
【0073】
また、方位ずれ推定部13は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置と、第1位置と第1位置における車両の方位と車両に備えられたジャイロセンサ40の検出結果と車両の速度情報とを用いたデッドレコニングに基づいて推定される、第2位置が測位されたときの車両の推定位置と、に基づいて、車両の方位のずれを推定するとしてもよい。具体的には、方位ずれ推定部13は、第1位置と第2位置とを結ぶ直線と、第1位置と推定位置とを結ぶ直線とのなす角度を車両の方位のずれとして推定するとしてもよい。
【0074】
第1位置及び第2位置は、車両の実際の位置に近い位置となる。推定位置は、第1位置における車両の方位を基準としたジャイロセンサの検出結果等を用いたデッドレコニングに基づいて推定される位置である。車両が第1位置から第2位置に移動するにつれて、デッドレコニングに基づく車両の走行軌跡は、第1位置における車両の方位のずれ分、衛星測位システムにより測位される車両の第1位置から第2位置への走行軌跡からずれていく。このように、衛星測位システムにより測位される車両の第2位置と、デッドレコニングに基づいて推定される車両の推定位置とのずれは、第1位置における車両の方位のずれに応じたものとなることから、第2位置と推定位置とのずれから車両の方位のずれを推定することができる。具体的には、第1位置と第2位置とを結ぶ直線と、第1位置と推定位置とを結ぶ直線とのなす角度が、第1位置における車両の方位のずれとみなすことができるため、当該角度を算出することで、容易に車両の方位のずれを推定することができる。
【0075】
また、方位ずれ推定部13は、複数の連続する区間のそれぞれにおける第1位置と、第2位置と、推定位置とに基づいて、複数の連続する区間のそれぞれについての車両の方位のずれを推定し、方位算出部14は、複数の連続する区間のうちの2つ以上の区間についての車両の方位のずれに基づいて、車両の推定方位を算出するとしてもよい。
【0076】
例えば、複数の連続する区間のそれぞれについての車両の方位のずれのうち2つ以上の区間についての車両の方位のずれの平均値又は中央値等を算出することで、車両の方位の推定の精度をさらに高めることができる。
【0077】
また、方位算出部14は、複数の連続する区間のうち、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出するとしてもよい。
【0078】
隣り合う前区間に対して車両の方位が第1閾値以上変動している区間は、急なカーブ又は右左折路が存在する可能性が高く、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない可能性が高い。このため、このような区間を除外して複数の連続する区間のそれぞれについての車両の方位のずれの平均値を算出することで、車両の方位の推定の精度をさらに高めることができる。
【0079】
また、方位算出部14は、複数の連続する区間のうち、車両の方位のずれが第2閾値以上となっている区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出するとしてもよい。
【0080】
推定された車両の方位のずれが第2閾値以上となっている区間は、衛星測位システムの動作が不安定となっており、衛星測位システムにより測位された車両の第2位置が実際の位置から大きくずれている可能性が高い。このため、このような区間を除外して複数の連続する区間のそれぞれについての車両の方位のずれの平均値を算出することで、車両の方位の推定の精度をさらに高めることができる。
【0081】
また、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの中央値に基づいて、車両の推定方位を算出するとしてもよい。
【0082】
これによれば、複数の連続する区間のそれぞれについての車両の方位のずれのうち、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間における車両の方位のずれ(いわゆる外れ値)の影響を抑制できるため、車両の方位の推定の精度をさらに高めることができる。
【0083】
また、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの加重平均値に基づいて、車両の推定方位を算出するとしてもよい。
【0084】
これによれば、複数の連続する区間のそれぞれについての車両の方位のずれのうち、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間における車両の方位のずれに対する重みを小さくして加重平均値を算出することで、当該区間における車両の方位のずれの影響を抑制できるため、車両の方位の推定の精度をさらに高めることができる。
【0085】
また、出力部15は、車両の推定方位の過去の変動量に基づいて予測される将来の車両の推定方位を映像表示装置60に出力するとしてもよい。
【0086】
車両の方位に基づいた情報を映像表示装置60に表示する際に、33.3ms程度の描画遅延が生じる。このため、車両の推定方位がそのまま映像表示装置60に出力される場合、車両の方位は時々刻々と変化するのに対して、約33.3ms前の車両の推定方位に基づいて車両の方位に基づいた情報が映像表示装置60に表示されることとなる。そこで、これまでに算出された車両の推定方位の過去の変動量(例えば約16.6ms前から現在までの変動量)に基づいて将来の(約33.3ms後の)車両の推定方位を予測して映像表示装置60に出力することで、描画遅延の影響を抑制でき、映像表示装置60に正確な車両の方位に基づいた情報を表示することができる。
【0087】
(その他の実施の形態)
以上のように、本開示に係る技術の例示として実施の形態を説明した。しかしながら、本開示に係る技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。例えば、以下のような変形例も本開示の一実施の形態に含まれる。
【0088】
例えば、上記実施の形態では、映像制御装置10は、情報処理装置20及び映像表示装置60と別体に設けられている例について説明したが、これに限らない。例えば、映像制御装置10は、情報処理装置20と一体に設けられていてもよいし、映像表示装置60と一体に設けられていてもよいし、映像制御装置10、情報処理装置20及び映像表示装置60が一体に設けられていてもよい。
【0089】
例えば、上記実施の形態では、車両は自動車であると説明したが、自動車に限らず、二輪車、建機又は農機等であってもよい。
【0090】
なお、本開示は、映像制御装置10として実現できるだけでなく、映像制御装置10を構成する各構成要素が行うステップ(処理)を含む映像制御方法として実現できる。
【0091】
具体的には、図4に示されるように、映像制御方法では、衛星測位システムにより測位される車両の位置を取得し(ステップS11)、デッドレコニングに基づいて推定される車両の推定位置を取得し(ステップS12)、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれを推定し(ステップS13)、推定された車両の方位のずれに基づいて、車両の推定方位を算出し(ステップS14)、車両の推定方位を、車両の方位に基づいた情報を表示する映像表示装置60に出力する(ステップS15)。
【0092】
例えば、映像制御方法におけるステップは、コンピュータ(コンピュータシステム)によって実行されてもよい。そして、本開示は、映像制御方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したCD-ROM等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
【0093】
例えば、本開示が、プログラム(ソフトウェア)で実現される場合には、コンピュータのCPU、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、CPUがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。
【0094】
また、上記実施の形態の映像制御装置10に含まれる各構成要素は、専用又は汎用の回路として実現されてもよい。
【0095】
また、上記実施の形態の映像制御装置10に含まれる各構成要素は、集積回路(IC:Integrated Circuit)であるLSI(Large Scale Integration)として実現されてもよい。
【0096】
また、集積回路はLSIに限られず、専用回路又は汎用プロセッサで実現されてもよい。プログラム可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続及び設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。
【0097】
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、映像制御装置10に含まれる各構成要素の集積回路化が行われてもよい。
【0098】
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
【産業上の利用可能性】
【0099】
本開示は、例えば、車両の方位に基づいた情報を表示する装置に適用できる。
【符号の説明】
【0100】
10 映像制御装置
11 第1取得部
12 第2取得部
13 方位ずれ推定部
14 方位算出部
15 出力部
20 情報処理装置
30 ECU
40 ジャイロセンサ
50 加速度センサ
60 映像表示装置
図1
図2
図3
図4
図5
図6
図7
図8
図9