知財求人 - 知財ポータルサイト「IP Force」
▶ パナソニックオートモーティブシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132480
(43)【公開日】2024-10-01
(54)【発明の名称】表示システム、路面起伏推定装置及び表示方法
(51)【国際特許分類】
G08G 1/13 20060101AFI20240920BHJP
【ＦＩ】
G08G1/13
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023043255
(22)【出願日】2023-03-17
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】犬飼 文人
(72)【発明者】
【氏名】森 俊也
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB13
5H181BB20
5H181CC04
5H181EE02
5H181FF10
5H181FF22
5H181FF27
5H181FF33
(57)【要約】
【課題】路面の起伏をより精度よく推定できる表示システム等を提供する。
【解決手段】表示システム１は、路面起伏推定装置１０と、推定された路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定する表示態様決定装置２０と、決定された重畳位置にコンテンツを重畳させて表示する表示装置３０とを備える。路面起伏推定装置１０は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得する路面起伏算出部１２と、路面起伏情報取得部によって取得された複数の路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部（路面起伏補正部１３）と、複数の路面起伏情報のうち所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、路面の起伏を推定する推定部（路面起伏補正部１３）とを有する。
【選択図】図１
【解決手段】表示システム１は、路面起伏推定装置１０と、推定された路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定する表示態様決定装置２０と、決定された重畳位置にコンテンツを重畳させて表示する表示装置３０とを備える。路面起伏推定装置１０は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得する路面起伏算出部１２と、路面起伏情報取得部によって取得された複数の路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部（路面起伏補正部１３）と、複数の路面起伏情報のうち所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、路面の起伏を推定する推定部（路面起伏補正部１３）とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
路面起伏推定部と、
前記路面起伏推定部によって推定された路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定する重畳位置決定部と、
前記重畳位置決定部によって決定された前記重畳位置に前記コンテンツを重畳させて表示する表示部と、を備え、
前記路面起伏推定部は、
移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の前記路面の起伏を示す路面起伏情報を取得する路面起伏情報取得部と、
前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、
複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を有する、
表示システム。
前記路面起伏推定部によって推定された路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定する重畳位置決定部と、
前記重畳位置決定部によって決定された前記重畳位置に前記コンテンツを重畳させて表示する表示部と、を備え、
前記路面起伏推定部は、
移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の前記路面の起伏を示す路面起伏情報を取得する路面起伏情報取得部と、
前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、
複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を有する、
表示システム。
【請求項2】
前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、
前記所定の条件は、前記相対位置が所定の閾値範囲内であるという条件である、
請求項１に記載の表示システム。
前記所定の条件は、前記相対位置が所定の閾値範囲内であるという条件である、
請求項１に記載の表示システム。
【請求項3】
前記所定の条件は、複数の前記路面起伏情報の数が所定数以上あるという条件である、
請求項１に記載の表示システム。
請求項１に記載の表示システム。
【請求項4】
前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、
前記相対位置は、前記移動体の自車線の幅方向における現在位置を基準とした場合の前記幅方向の位置を含み、
前記判定部は、複数の前記相対位置が所定数以上あるか否かを判定し、前記所定数以上ではないと判定した場合、さらに複数の前記相対位置のそれぞれに対して、所定の閾値範囲内であるか否かを判定し、
前記推定部は、前記所定の閾値範囲内である１以上の第１相対位置と、前記所定の閾値範囲外である１以上の第２相対位置に対して所定の処理が施された１以上の処理後の第２相対位置とに基づいて、前記路面の起伏を推定する、
請求項３に記載の表示システム。
前記相対位置は、前記移動体の自車線の幅方向における現在位置を基準とした場合の前記幅方向の位置を含み、
前記判定部は、複数の前記相対位置が所定数以上あるか否かを判定し、前記所定数以上ではないと判定した場合、さらに複数の前記相対位置のそれぞれに対して、所定の閾値範囲内であるか否かを判定し、
前記推定部は、前記所定の閾値範囲内である１以上の第１相対位置と、前記所定の閾値範囲外である１以上の第２相対位置に対して所定の処理が施された１以上の処理後の第２相対位置とに基づいて、前記路面の起伏を推定する、
請求項３に記載の表示システム。
【請求項5】
前記所定の処理は、前記１以上の第２相対位置に対して所定の減算量だけオフセットするという処理である、
請求項４に記載の表示システム。
請求項４に記載の表示システム。
【請求項6】
前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、
前記所定の条件は、複数の前記相対位置の変化量が所定の閾値範囲内であるという条件である、
請求項１に記載の表示システム。
前記所定の条件は、複数の前記相対位置の変化量が所定の閾値範囲内であるという条件である、
請求項１に記載の表示システム。
【請求項7】
前記判定部は、連続する３つ以上の前記相対位置における一の前記相対位置と他の２以上の前記相対位置それぞれとの変化量を、前記３つ以上の前記相対位置のそれぞれに対して算出し、
前記所定の条件は、さらに前記所定の閾値範囲外となる回数が所定回数未満であるという条件を含む、
請求項６に記載の表示システム。
前記所定の条件は、さらに前記所定の閾値範囲外となる回数が所定回数未満であるという条件を含む、
請求項６に記載の表示システム。
【請求項8】
前記判定部は、複数の前記相対位置のそれぞれに基づいて１次近似曲線を算出し、
前記所定の条件は、前記１次近似曲線からの変化量が前記所定の閾値範囲内であるという条件である、
請求項６に記載の表示システム。
前記所定の条件は、前記１次近似曲線からの変化量が前記所定の閾値範囲内であるという条件である、
請求項６に記載の表示システム。
【請求項9】
前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、
前記所定の条件は、前記路面の起伏の推定に用いられる前記相対位置が、現時点の複数の第１相対位置と、過去に推定された複数の第２相対位置とに基づいて平滑化された位置であるという条件である、
請求項１に記載の表示システム。
前記所定の条件は、前記路面の起伏の推定に用いられる前記相対位置が、現時点の複数の第１相対位置と、過去に推定された複数の第２相対位置とに基づいて平滑化された位置であるという条件である、
請求項１に記載の表示システム。
【請求項10】
前記複数の第２相対位置は、過去の第１時点に推定された位置であり、
前記所定の条件は、前記路面の起伏の推定に用いられる前記相対位置が、前記複数の第１相対位置と、前記複数の第２相対位置と、過去の第２時点に推定された複数の第３相対位置とに基づいて平滑化された位置であるという条件である、
請求項９に記載の表示システム。
前記所定の条件は、前記路面の起伏の推定に用いられる前記相対位置が、前記複数の第１相対位置と、前記複数の第２相対位置と、過去の第２時点に推定された複数の第３相対位置とに基づいて平滑化された位置であるという条件である、
請求項９に記載の表示システム。
【請求項11】
前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、
前記所定の条件は、現時点の複数の第１相対位置と、過去に推定された複数の第２相対位置との差分が所定の閾値範囲内であるという条件である、
請求項１に記載の表示システム。
前記所定の条件は、現時点の複数の第１相対位置と、過去に推定された複数の第２相対位置との差分が所定の閾値範囲内であるという条件である、
請求項１に記載の表示システム。
【請求項12】
前記相対位置は、前記移動体の高さ方向における現在位置を基準とした場合の前記高さ方向の位置を含み、
前記所定の閾値範囲は、許容される道路勾配に基づいて決定される範囲である、
請求項２、６～８、１１のいずれか１項に記載の表示システム。
前記所定の閾値範囲は、許容される道路勾配に基づいて決定される範囲である、
請求項２、６～８、１１のいずれか１項に記載の表示システム。
【請求項13】
前記相対位置は、前記移動体の自車線の幅方向における現在位置を基準とした場合の前記幅方向の位置を含み、
前記所定の閾値範囲は、前記自車線の道路幅に基づいて決定される範囲である、
請求項２、６～８、１１のいずれか１項に記載の表示システム。
前記所定の閾値範囲は、前記自車線の道路幅に基づいて決定される範囲である、
請求項２、６～８、１１のいずれか１項に記載の表示システム。
【請求項14】
前記相対位置は、前記移動体の進行方向における現在位置を基準とした場合の前記進行方向の位置を含み、
前記所定の閾値範囲は、前記撮像部の性能に基づいて決定される範囲である、
請求項２、６～８、１１のいずれか１項に記載の表示システム。
前記所定の閾値範囲は、前記撮像部の性能に基づいて決定される範囲である、
請求項２、６～８、１１のいずれか１項に記載の表示システム。
【請求項15】
移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得する路面起伏情報取得部と、
前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、
複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を備える、
路面起伏推定装置。
前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、
複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を備える、
路面起伏推定装置。
【請求項16】
移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得し、
取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定し、
複数の前記路面起伏情報のうち前記所定の条件を満たすと判定された１つ以上の路面起伏情報に基づいて、前記路面の起伏を推定し、
推定された前記路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定し、
決定された前記重畳位置に前記コンテンツを重畳させて表示する、
表示方法。
取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定し、
複数の前記路面起伏情報のうち前記所定の条件を満たすと判定された１つ以上の路面起伏情報に基づいて、前記路面の起伏を推定し、
推定された前記路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定し、
決定された前記重畳位置に前記コンテンツを重畳させて表示する、
表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システム、路面起伏推定装置及び表示方法に関する。
【背景技術】
【0002】
移動体の前方の路面の起伏に応じて、コンテンツを前方の対象物に重畳させて表示することが検討されている。例えば、特許文献１には、カメラによって撮像された車両周辺の画像を用いて前方の対象物の実空間での３次元位置（３次元情報）を算出し、移動体の前方の路面の起伏を推定する技術が開示されている。また、特許文献２には、路面の起伏を活用して、コンテンツを前方の対象物に重畳させて表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６１３８２９３号公報
【特許文献2】特開２０１９－５１７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、コンテンツを適切な位置に重畳させて表示するためには、路面の起伏がより精度よく推定されることが望まれる。しかしながら、特許文献１及び２に開示されている技術は、路面の起伏を精度よく推定することに対して改善の余地がある。
【0005】
そこで、本開示は、路面の起伏をより精度よく推定することができる表示システム、路面起伏推定装置及び表示方法を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る表示システムは、路面起伏推定部と、前記路面起伏推定部によって推定された路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定する重畳位置決定部と、前記重畳位置決定部によって決定された前記重畳位置に前記コンテンツを重畳させて表示する表示部と、を備え、前記路面起伏推定部は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の前記路面の起伏を示す路面起伏情報を取得する路面起伏情報取得部と、前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を有する。
【0007】
本開示の一態様に係る路面起伏推定装置は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得する路面起伏情報取得部と、前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を備える。
【0008】
本開示の一態様に係る表示方法は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得し、取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定し、複数の前記路面起伏情報のうち前記所定の条件を満たすと判定された１つ以上の路面起伏情報に基づいて、前記路面の起伏を推定し、推定された前記路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定し、決定された前記重畳位置に前記コンテンツを重畳させて表示する。
【発明の効果】
【0009】
本開示の一態様によれば、路面の起伏をより精度よく推定することができる表示システム等を実現することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
（本開示に至った経緯）
本開示の実施の形態等の説明に先立ち、本開示に至った経緯について説明する。
本開示の実施の形態等の説明に先立ち、本開示に至った経緯について説明する。
【0012】
背景技術で記載した通り、カメラによって撮像された車両周辺の画像を用いて、移動体の前方の路面の起伏を推定する技術がある。そのような技術では、画像の品質（解像度、コントラストなど）が悪かったり、走行中の動的な車両姿勢変動（車両振動、車線変更、ハンドル操舵等）があると、３次元位置算出時のノイズとなり、路面の起伏を精度よく推定できない恐れがある。特許文献１及び２には、画像の品質及びノイズを考慮して画像から路面の起伏を推定する技術は開示されていない。
【0013】
そこで、本願発明者らは、画像の品質が悪い又はノイズが存在する場合であっても画像から路面の起伏を精度よく推定することができる表示システム等について鋭意検討し、以下に示す表示システム等を創案した。
【0014】
本開示の第１態様に係る表示システムは、路面起伏推定部と、前記路面起伏推定部によって推定された路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定する重畳位置決定部と、前記重畳位置決定部によって決定された前記重畳位置に前記コンテンツを重畳させて表示する表示部と、を備え、前記路面起伏推定部は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の前記路面の起伏を示す路面起伏情報を取得する路面起伏情報取得部と、前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を有する。
【0015】
これにより、所定の条件を満たす１以上の路面起伏情報に基づいて路面の起伏が推定されるので、例えば、画像の品質又はノイズの影響等により、画像から路面起伏情報を推定する３次元復元処理に失敗している路面起伏情報を除外することができる。つまり、路面の起伏を推定する際の精度を低下させる要因となる路面起伏情報を除外することができる。よって、表示システムは、路面の起伏をより精度よく推定することができる。これは、表示システムがコンテンツを表示する際に、コンテンツの重畳位置がズレてしまい、情報が誤認識される、又は、ユーザが違和感を感じることを抑制することにつながる。
【0016】
また、例えば、本開示の第２態様に係る表示システムは、第１態様に係る表示システムであって、前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、前記所定の条件は、前記相対位置が所定の閾値範囲内であるという条件であってもよい。
【0017】
これにより、所定の閾値範囲外である相対位置を除外して路面の起伏を推定することができるので、路面の起伏をより精度よく推定することができる。
【0018】
また、例えば、本開示の第３態様に係る表示システムは、第１態様又は第２態様に係る表示システムであって、前記所定の条件は、複数の前記路面起伏情報の数が所定数以上あるという条件であってもよい。
【0019】
これにより、所定数以上の路面起伏情報を用いて路面の起伏を推定することができるので、路面起伏情報の数が少ない場合に比べて路面の起伏をより精度よく推定することができる。
【0020】
また、例えば、本開示の第４態様に係る表示システムは、第３態様に係る表示システムであって、前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、前記相対位置は、前記移動体の自車線の幅方向における現在位置を基準とした場合の前記幅方向の位置を含み、前記判定部は、複数の前記相対位置が所定数以上あるか否かを判定し、前記所定数以上ではないと判定した場合、さらに複数の前記相対位置のそれぞれに対して、所定の閾値範囲内であるか否かを判定し、前記推定部は、前記所定の閾値範囲内である１以上の第１相対位置と、前記所定の閾値範囲外である１以上の第２相対位置に対して所定の処理が施された１以上の処理後の第２相対位置とに基づいて、前記路面の起伏を推定してもよい。
【0021】
これにより、路面の起伏を推定するための相対位置のデータ数が少ない場合に、所定の閾値範囲外の相対位置のデータを用いて路面の起伏を推定するための相対位置のデータ数を増やすことができる。よって、路面の起伏をより精度よく推定することができる。
【0022】
また、例えば、本開示の第５態様に係る表示システムは、第４態様に係る表示システムであって、前記所定の処理は、前記１以上の第２相対位置に対して所定の減算量だけオフセットするという処理であってもよい。
【0023】
これにより、所定の閾値範囲外の相対位置がガードレールなどの道路より上方に位置し、路面と平行に設置される物体の対象位置を、路面の起伏を推定するための相対位置として用いることができる。
【0024】
また、例えば、本開示の第６態様に係る表示システムは、第１態様～第５態様のいずれかに係る表示システムであって、前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、前記所定の条件は、複数の前記相対位置の変化量が所定の閾値範囲内であるという条件であってもよい。
【0025】
これにより、変化量が所定の閾値範囲外である相対位置を除外して路面の起伏を推定することができるので、路面の起伏をより精度よく推定することができる。
【0026】
また、例えば、本開示の第７態様に係る表示システムは、第６態様に係る表示システムであって、前記判定部は、連続する３つ以上の前記相対位置における一の前記相対位置と他の２以上の前記相対位置それぞれとの変化量を、前記３つ以上の前記相対位置のそれぞれに対して算出し、前記所定の条件は、さらに前記所定の閾値範囲外となる回数が所定回数未満であるという条件を含んでもよい。また、例えば、本開示の第８態様に係る表示システムは、第６態様に係る表示システムであって、前記判定部は、複数の前記相対位置のそれぞれに基づいて１次近似曲線を算出し、前記所定の条件は、前記１次近似曲線からの変化量が前記所定の閾値範囲内であるという条件であってもよい。
【0027】
これにより、近い距離で相対位置が大きく異なるのは３次元復元処理の精度が低い可能性があるので、そのような相対位置を除外することで、路面の起伏の推定精度を向上させることができる。
【0028】
また、例えば、本開示の第９態様に係る表示システムは、第１態様～第８態様のいずれかに係る表示システムであって、前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、前記所定の条件は、前記路面の起伏の推定に用いられる前記相対位置が、現時点の複数の第１相対位置と、過去に推定された複数の第２相対位置とに基づいて平滑化された位置であるという条件であってもよい。
【0029】
これにより、現時点及び過去の同じ位置の相対位置を平滑化するので、どちらかが精度の低いデータであっても、その影響を抑制することができる。よって、路面の起伏をより精度よく推定することができる。
【0030】
また、例えば、本開示の第１０態様に係る表示システムは、第９態様に係る表示システムであって、前記複数の第２相対位置は、過去の第１時点に推定された位置であり、前記所定の条件は、前記路面の起伏の推定に用いられる前記相対位置が、前記複数の第１相対位置と、前記複数の第２相対位置と、過去の第２時点に推定された複数の第３相対位置とに基づいて平滑化された位置であるという条件であってもよい。
【0031】
これにより、複数の過去の相対位置を用いるので、平滑化効果を向上させることができる。よって、路面の起伏をさらに精度よく推定することができる。
【0032】
また、例えば、本開示の第１１態様に係る表示システムは、第１態様～第１０態様のいずれかに係る表示システムであって、前記路面起伏情報は、前記移動体から見た、前記撮像部の撮像範囲に存在する物体の相対位置を含み、前記所定の条件は、現時点の複数の第１相対位置と、過去に推定された複数の第２相対位置との差分が所定の閾値範囲内であるという条件であってもよい。
【0033】
これにより、現時点及び過去の相対位置の差分が所定の閾値範囲外である相対位置を除外して路面の起伏を推定することができるので、路面の起伏をより精度よく推定することができる。
【0034】
また、例えば、本開示の第１２態様に係る表示システムは、第２態様、第６態様～第８態様、第１１態様のいずれかに係る表示システムであって、前記相対位置は、前記移動体の高さ方向における現在位置を基準とした場合の前記高さ方向の位置を含み、前記所定の閾値範囲は、許容される道路勾配に基づいて決定される範囲であってもよい。
【0035】
これにより、道路構造上あり得ない路面起伏情報を除外することができるので、路面の起伏をより精度よく推定することができる。
【0036】
また、例えば、本開示の第１３態様に係る表示システムは、第２態様、第６態様～第８態様、第１１態様のいずれかに係る表示システムであって、前記相対位置は、前記移動体の自車線の幅方向における現在位置を基準とした場合の前記幅方向の位置を含み、前記所定の閾値範囲は、前記自車線の道路幅に基づいて決定される範囲であってもよい。
【0037】
これにより、自車線の外部の対象物の起伏を示す情報を除外することができるので、幅方向の起伏をより精度よく推定することができる。
【0038】
また、例えば、本開示の第１４態様に係る表示システムは、第２態様、第６態様～第８態様、第１１態様のいずれかに係る表示システムであって、前記相対位置は、前記移動体の進行方向における現在位置を基準とした場合の前記進行方向の位置を含み、前記所定の閾値範囲は、前記撮像部の性能に基づいて決定される範囲であってもよい。
【0039】
これにより、撮像部の性能が低くなる範囲又は撮像可能範囲外の路面起伏情報を除外することができるので、路面の起伏をより精度よく推定することができる。
【0040】
また、本開示の第１５態様に係る路面起伏推定装置は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得する路面起伏情報取得部と、前記路面起伏情報取得部によって取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する判定部と、複数の前記路面起伏情報のうち前記判定部によって前記所定の条件を満たすと判定された１以上の路面起伏情報に基づいて、前記路面の起伏を推定する推定部と、を備える。また、本開示の第１６態様に係る表示方法は、移動体に搭載されて繰り返し撮像を行う撮像部によって撮像された複数の画像に基づいて算出された、地点毎の路面の起伏を示す路面起伏情報を取得し、取得された複数の前記路面起伏情報のそれぞれが所定の条件を満たすか否かを判定し、複数の前記路面起伏情報のうち前記所定の条件を満たすと判定された１つ以上の路面起伏情報に基づいて、前記路面の起伏を推定し、推定された前記路面の起伏に基づいて、前景に重畳して表示させるコンテンツの重畳位置を決定し、決定された前記重畳位置に前記コンテンツを重畳させて表示する。
【0041】
これにより、上記の表示システムと同様の効果を奏する。
【0042】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
【0043】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0044】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0045】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
【0046】
また、本明細書において、同一、平行、垂直などの要素間の関係性を示す用語、並びに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度（あるいは、１０％程度）の差異をも含むことを意味する表現である。
【0047】
また、本明細書において、「第１」、「第２」などの序数詞は、特に断りの無い限り、構成要素の数又は順序を意味するものではなく、同種の構成要素の混同を避け、区別する目的で用いられている。
【0048】
【0049】
【0050】
図１に示すように、表示システム１は、移動体（例えば、図４Ａ等に示す移動体１００）に搭載されている撮像部（例えば、図４Ａ等に示す撮像部１１０）によって撮像された画像に基づいて決定された移動体の前景の重畳位置にコンテンツ（例えば、図形等）を重畳させて表示させるシステムである。例えば、移動体１００は、人を乗せて移動できる乗り物であり、移動体１００に乗っている人に対してコンテンツを前方の対象物に重畳して表示させる。例えば、移動体１００は、車両であり、対象物は、前方の車両、歩行者、路面、道路標示等である。表示システム１は、路面起伏推定装置１０と、表示態様決定装置２０と、表示装置３０とを備える。
【0051】
路面起伏推定装置１０は、移動体１００の前方を撮像した画像に基づいて、移動体１００の前方の路面の起伏を推定する。路面起伏推定装置１０は、画像取得部１１と、路面起伏算出部１２と、路面起伏補正部１３とを有する。路面起伏推定装置１０は、路面起伏推定部の一例である。
【0052】
画像取得部１１は、移動体１００に搭載されて繰り返し撮像を行う撮像部１１０によって撮像された複数の画像を取得する。例えば、画像取得部１１は、撮像部１１０が画像を撮像する度に当該画像を取得することによって、複数の画像を取得する。例えば、撮像部１１０は、移動体１００の前方を撮像できるように移動体１００に搭載されており、移動体１００の前方を繰り返し撮像する。例えば、撮像部１１０は、所定の時間間隔で繰り返し撮像を行い、複数の画像は、所定の時間間隔で移動体１００の前方の様子を示す。例えば、撮像部１１０は、移動体１００が走行する自車線の道路幅以上の範囲を撮像可能である。また、例えば、撮像部１１０は、移動体１００の前方の所定範囲（例えば、５ｍ～５０ｍ等）を撮像可能である。例えば、撮像部１１０は、カメラ、ＬＩＤＡＲ等である。
【0053】
路面起伏算出部１２は、複数の画像に基づいて、前方の地点毎の路面の起伏を示す路面起伏情報を算出することで当該路面起伏情報を取得する。路面起伏算出部１２は、複数の画像に基づいて路面起伏情報を推定するとも言える。路面起伏算出部１２は、複数の画像に基づいて、現時点の移動体位置からみた路面の起伏の相対位置を含む路面起伏情報を算出する。相対位置は、移動体１００から見た、撮像部１１０の撮像範囲に存在する物体（路面以外の物体）の相対位置も含む。なお、複数の画像に基づいて路面起伏情報を算出することを、３次元復元処理とも記載する。
【0054】
なお、路面起伏算出部１２が実行する３次元復元処理の手法は特に限定されず、既知のいかなる手法が用いられてもよい。例えば、特許文献１に開示されている手法が用いられてもよい。路面起伏算出部１２は、路面起伏情報取得部の一例である。
【0055】
【0056】
図２Ａの（ａ）は、路面起伏算出部１２が推定した路面の起伏を示す図である。図２Ａの（ａ）の横軸は、移動体１００の現在位置を基準として、前方の位置（奥行）を示し、縦軸は、移動体１００の現在位置を基準として、高さ方向の位置（垂直）を示す。図２Ａの（ａ）は、路面起伏補正部１３により所定の条件を満たさない路面起伏情報が除外される前の推定結果を示す。
【0057】
図２Ａの（ａ）に示す塗り潰し無しの丸（○）は、路面起伏情報（具体的には、相対位置）の一例であり、路面起伏算出部１２が算出した奥行地点毎の垂直方向の値（相対高さ）の全てを示しており、実線は、奥行地点毎の垂直方向の値の全てを用いた場合の路面起伏推定結果を示しており、一点鎖線は、路面起伏の真値（現実の路面起伏）を示しており、塗り潰し有りの丸（●）は、移動体１００の現在位置（移動体位置）を示している。また、破線枠は、路面起伏補正部１３によって所定の条件を満たさないと判定され、除外される路面起伏情報を示す図である。
【0058】
このように、路面起伏算出部１２は、移動体１００の前方の地点毎の路面の起伏を算出する。
【0059】
路面起伏補正部１３は、路面起伏算出部１２が算出した路面の起伏を補正する。路面起伏補正部１３は、路面起伏算出部１２が算出した路面起伏情報のそれぞれが所定の条件を満たすか否かを判定する。路面起伏補正部１３は、判定部として機能する。また、路面起伏補正部１３は、所定の条件を満たすと判定された１つ以上の路面起伏情報に基づいて、路面の起伏を推定する。路面起伏補正部１３は、推定部としても機能する。
【0060】
このように、本実施の形態に係る路面起伏推定装置１０は、複数の路面起伏情報の全てを用いて路面の起伏を推定するのではなく、所定の条件を満たすものを用いて路面の起伏を推定する。
【0061】
ここで所定の条件について、図２Ａ～図９を参照しながら説明する。まず、所定の条件が移動体位置からみた路面の起伏の相対位置が所定の閾値範囲内であるという条件である場合について、図２Ａ及び図２Ｂを参照しながら説明する。図２Ｂは、本実施の形態に係る第１条件を説明するための第２図である。
【0062】
相対位置は、垂直方向、奥行方向及び水平方向の３つがある。図２Ａを用いて垂直方向の閾値（垂直閾値）及び奥行方向の閾値（奥行閾値）について説明し、図２Ｂを用いて水平方向の閾値（水平閾値）について説明する。垂直閾値、奥行閾値及び水平閾値は、予め設定され、記憶部（図示しない）に記憶されている。なお、以下では、３つのそれぞれの閾値範囲を満たす路面起伏情報を用いる例を説明するが、少なくとも１つの閾値範囲を満たす路面起伏情報を用いて路面起伏が推定されてもよい。水平方向は、移動体１００が走行する道路の幅方向であり、奥行方向は、例えば、移動体１００の進行方向である。
【0063】
路面起伏補正部１３は、路面起伏算出部１２が算出した地点毎の路面起伏情報のうち所定の閾値範囲外の路面起伏情報を除外し、除外されなかった１以上の路面起伏情報に基づいて、路面の起伏を推定する。このように、所定の条件を満たす路面起伏情報に基づいて路面の起伏を推定し直すことを本明細書では補正とも記載する。
【0064】
垂直閾値は、道路構造上、許容される道路勾配に基づいて設定される値であり、図２Ａの例では±１ｍである。奥行閾値は、撮像部１１０の性能に基づいて設定される値であり、図２Ａの例では５ｍ以上５０ｍ以下（５ｍ～５０ｍ以内）である。路面起伏補正部１３は、複数の路面起伏情報から、垂直方向が±１ｍ外であり、かつ、奥行方向が５ｍ未満又は５０ｍより大きい路面起伏情報を除外する。なお、垂直閾値及び奥行閾値はこれに限定されない。
【0065】
【0066】
図２Ｂは、移動体１００から前方を見た図である。水平閾値は、移動体１００が走行する道路の道路幅に基づいて設定される値であり、図２Ｂの例では±２ｍである。水平閾値は、移動体１００の現在位置と地図情報とに基づいて動的に設定されてもよいし、固定値であってもよい。なお、水平閾値はこれに限定されない。
【0067】
図２Ｂの（ａ）は、路面起伏補正部１３により所定の条件を満たさない路面起伏情報の除外前の推定結果を示し、図２Ｂの（ｂ）は、路面起伏補正部１３により所定の条件を満たさない路面起伏情報の除外後の推定結果を示す。
【0068】
図２Ｂの（ａ）に示すように、路面起伏補正部１３は、複数の路面起伏情報から、水平方向が±２ｍ外（例えば、垂直方向が±１ｍ外であり、かつ、水平方向が±２ｍ外）の路面起伏情報を除外する。
【0069】
【0070】
このように、路面起伏推定装置１０は、３次元復元処理に失敗した（例えば、ノイズを含む）路面起伏情報を除外するので、路面の起伏をより正確に推定することが可能となる。
【0071】
次に、所定の条件が路面起伏情報の数が所定数以上であるという条件である場合について、図３Ａ及び図３Ｂを参照しながら説明する。図３Ａは、本実施の形態に係る第２条件を説明するための第１図である。図３Ｂは、本実施の形態に係る第２条件を説明するための第２図である。図３Ａでは、路面起伏算出部１２により推定される路面起伏情報を示し、図３Ｂでは、路面起伏補正部１３の処理を示す。
【0072】
なお、路面起伏情報の数が所定数以上とは、路面起伏算出部１２により推定された路面起伏情報の数（除外前の路面起伏情報の数）が所定数以上であることであってもよいし、図２Ａ及び図２Ｂにおいて除外された後の１以上の路面起伏情報の数（除外後の路面起伏情報の数）が所定数以上であることであってもよい。以下では、図２Ａ及び図２Ｂにおいて除外された後の１以上の路面起伏情報の数（除外後の路面起伏情報の数）が所定数以上である場合について説明する。
【0073】
【0074】
図３Ａの（ａ）及び（ｂ）に示すように、路面起伏補正部１３は、路面起伏算出部１２により推定された路面起伏情報が水平閾値を満たすか否かを判定する。図３Ａの（ａ）の例では、水平閾値内の路面起伏情報を塗り潰し無し丸（○）で示しており、水平閾値外の路面起伏情報を塗り潰し無し四角（□）で示している。なお、水平閾値外の路面起伏情報は、水平位置が所定範囲内（例えば、２～２．５ｍの範囲等）の水平方向の位置が近い路面起伏情報であってもよい。水平閾値は、所定の閾値範囲の一例である。
【0075】
路面起伏補正部１３は、水平閾値を満たす路面起伏情報の数が所定数以上であるか否かを判定し、所定数以上ではない場合に以下に示す処理を実行する。
【0076】
図３Ｂの（ａ）は、水平閾値外の路面起伏情報を所定の値オフセットすることを説明するための図であり、図３Ｂの（ｂ）は、オフセット後の路面起伏情報と水平閾値内の路面起伏情報とから路面の起伏を推定した結果を示す。
【0077】
水平閾値外の路面起伏情報は、路面ではなく、ガードレール、防音壁など、道路の外側に配置され、道路と平行して設けられる（路面の起伏に沿って設けられる）構造物である可能性がある。例えば、水平閾値外の路面起伏情報が示す起伏は、路面と同様の起伏を有するものと考えられる。そこで、路面起伏補正部１３は、水平閾値を満たす路面起伏情報の数が所定数未満であると判定した場合、水平閾値外の路面起伏情報も用いて路面の起伏を推定する。一旦除去された水平閾値外の路面起伏情報を復活させるとも言える。
【0078】
図３Ｂの（ａ）に示すように、路面起伏補正部１３は、水平閾値外の路面起伏情報に対して、所定の値をオフセットする（図３Ｂの（ａ）に示す下向きの矢印を参照）。ここでのオフセットは、１以上の路面起伏情報（例えば、相対位置）に対して所定の値（所定の減算量）だけオフセットするという処理である。つまり、オフセットは、垂直方向の値を、例えば一律減算するという処理である。
【0079】
所定の値は、例えば、水平閾値外の路面起伏情報のうち最も移動体１００に近い位置の路面起伏情報と、路面の起伏の推定結果（実線）との垂直方向の差分であってもよい。また、所定の値は、構造物の種類毎に予め設定されており、記憶部に記憶されていてもよいし、固定値が設定されていてもよい。構造物の種類は、撮像部１１０が撮像した画像の画像解析により取得可能である。図３Ｂの（ａ）の例では、オフセット値が１ｍである例について示している。オフセットすることは、所定の処理の一例である。
【0080】
図３Ｂの（ｂ）に示すように、路面起伏補正部１３は、水平閾値内の路面起伏情報と、オフセットされた水平閾値外の路面起伏情報とから路面の起伏を推定する。路面起伏補正部１３は、所定の閾値範囲内である１以上の第１相対位置と、所定の閾値範囲外である１以上の第２相対位置に対してオフセットされた１以上の処理後の第２相対位置とに基づいて、路面の起伏を推定するとも言える。
【0081】
なお、路面起伏補正部１３は、水平閾値外の路面起伏情報から推定された路面の起伏と、水平閾値内の路面起伏情報から推定された路面の起伏とが類似（例えば、所定範囲内）の形状を有するか否かを判定し、類似の形状を有する場合に、水平閾値内の路面起伏情報と、オフセットされた水平閾値外の路面起伏情報とから路面の起伏を推定すると判定してもよい。
【0082】
次に、所定の条件が、移動体位置からみた各地点の路面の起伏の相対位置の変化量が所定の閾値範囲内であるという条件である場合について、図４Ａ及び図４Ｂを参照しながら説明する。図４Ａは、本実施の形態に係る第３条件を説明するための第１図である。図４Ｂは、本実施の形態に係る第３条件を説明するための第２図である。図４Ａでは、除外前後における路面の起伏の推定結果を示しており、図４Ｂは、除外される地点の判定結果の一例を示す図である。なお、相対位置は、垂直方向、奥行方向及び水平方向の３つの位置があるが、以下では、垂直方向の相対位置について説明する。
【0083】
図４Ａの（ａ）は、路面起伏算出部１２により地点ａ～ｈの８地点の垂直値（相対高さ）が推定された例を示している。この場合、路面起伏補正部１３は、隣接３地点の垂直差（路面高さの差）が閾値外となるか否かを判定し、判定結果に基づいて除外する地点を決定する。
【0084】
図４Ｂに示すように、路面起伏補正部１３は、連続する３つの相対位置における一の相対位置（例えば、地点ａの相対位置）と他の２以上の相対位置（例えば、地点ｂ及びｃの相対位置）それぞれとの変化量を、３つ以上の相対位置（例えば、地点ａ、ｂ、ｃの相対位置）のそれぞれに対して算出する。路面起伏補正部１３は、例えば、隣接３点の垂直差のうち閾値外と判定される回数が相対的に多い地点を除外する地点として決定してもよい。図４Ｂでは、閾値を０．５ｍとしている。地点ａを基準とした場合、地点ｂが閾値外となり、地点ｂを基準とした場合、地点ａ及びｃが閾値外となり、地点ｃを基準とした場合、地点ｂが閾値外となる。この場合、路面起伏補正部１３は、閾値外となる回数が２回と他より多い地点ｂを除外する地点であると判定する。なお、地点の数などにより閾値外と判定される回数の閾値が設定されていてもよい。つまり、所定の条件は、さらに所定の閾値範囲外となる回数が所定回数未満であるという条件を含んでいてもよい。
【0085】
図４Ａの（ｂ）に示すように、路面起伏補正部１３は、地点ｂ及びｆの２点が除外された路面起伏情報を用いて路面の起伏を推定する。
【0086】
次に、所定の条件が、移動体位置からみた各地点の路面起伏の相対位置の変化量が所定の閾値範囲内である場合の他の例について、図５を参照しながら説明する。図５は、本実施の形態に係る第４条件を説明するための図である。図５では、所定の条件が、路面起伏情報に基づいて算出した１次近似曲線からの変化量が所定の閾値範囲内であるという条件である場合について説明する。ここでの路面起伏情報は、路面起伏算出部１２が算出した路面起伏情報（除外又は平滑化されていない路面起伏情報）である。
【0087】
図５の（ａ）は、路面起伏算出部１２により地点ａ～ｈの８地点の垂直値が推定され、当該８地点の垂直値から１次近似曲線（実線の直線）が算出された例を示している。路面起伏補正部１３は、１次近似曲線を算出し、算出した１次近似曲線との差が所定の閾値範囲内であるか否かにより、除外するか否かを判定する。路面起伏補正部１３は、１次近似曲線との差が所定の閾値範囲内であると判定した場合、当該地点の垂直値を残し、１次近似曲線との差が所定の閾値範囲外であると判定した場合、当該地点の垂直値を除外すると判定する。なお、１次近似曲線は、路面起伏補正部１３により算出される。
【0088】
路面起伏補正部１３は、１次近似曲線との差が閾値外と判定された地点を除外する地点であると判定する。
【0089】
図５の（ｂ）に示すように、路面起伏補正部１３は、１次近似曲線を基準とした閾値判定により、地点ｂ及びｆを閾値外と判定し、地点ｂ及びｆの２点が除外された路面起伏情報を用いて路面の起伏を推定する。図５の（ｂ）では、閾値を０．５ｍとしている。
【0090】
次に、所定の条件が、路面の起伏の推定に用いられる相対位置が、現時点及び１以上の過去に算出された同一位置における相対位置を用いて平滑化された位置であるという条件である場合について、図６及び図７を参照しながら説明する。図６は、本実施の形態に係る第５条件を説明するための図である。図７は、本実施の形態に係る第６条件を説明するための図である。図６は、過去の１時点の移動体位置を用いる例を示しており、図７は、過去の複数時点（２時点）の移動体位置を用いる例を示している。図６及び図７では、垂直方向の路面の起伏の推定について説明するが、水平方向の路面の起伏の推定についても同様のことが言える。
【0091】
図６の（ａ）は、現在及び過去の路面起伏情報を示す図であり、図６の（ｂ）は、現在及び過去の同一地点における路面起伏情報が平滑化された後の路面起伏情報を示す図である。図６の（ａ）では、過去の移動体１００の位置を塗り潰し有り四角（■）で示し、過去の路面起伏情報を潰し無し四角（□）で示している。
【0092】
図６の（ａ）及び（ｂ）に示すように、路面起伏補正部１３は、過去の移動体１００の位置から推定した路面起伏情報と現在の移動体１００の位置から推定した路面起伏情報とを平滑化する。本実施の形態では、路面起伏補正部１３は、現在と過去との同一地点における相対位置の平均値を算出する。平均値は、重み付け平均により算出されてもよい。なお、同一地点とは、奥行方向及び水平方向の位置が全く同じ地点に加えて、最も近い地点又は所定の範囲内の地点も含まれる。
【0093】
路面起伏補正部１３は、複数の路面起伏情報のうち、平滑化されている１以上の路面起伏情報を、所定の条件を満たす路面起伏情報であると判定する。
【0094】
図７の（ａ）は、現在及び過去２時点の路面起伏情報を示す図であり、図７の（ｂ）は、現在及び過去２時点の同一地点における路面起伏情報が平滑化された後の路面起伏情報を示す図である。図７の（ａ）では、過去の第１時点（過去１）の移動体１００の位置を塗り潰し有り四角（■）で示し、過去の第１時点の路面起伏情報を潰し無し四角（□）で示している。また、図７の（ａ）では、過去の第２時点（過去２）の移動体１００の位置を塗り潰し有り三角（▲）で示し、過去の第２時点の路面起伏情報を潰し無し三角（△）で示している。過去の第１時点及び第２時点は、互いに異なる時点であり、時間的に連続する時点であってもよい。
【0095】
図７の（ａ）及び（ｂ）に示すように、路面起伏補正部１３は、過去２時点のそれぞれでの移動体１００の位置から推定した過去２時点それぞれの路面起伏情報と現在の移動体１００の位置から推定した路面起伏情報とを平滑化する。本実施の形態では、路面起伏補正部１３は、現在と過去２時点のそれぞれとの同一地点における相対位置の平均値を算出する。平均値は、重み付け平均により算出されてもよい。
【0096】
なお、過去の時点の数は、３以上であってもよい。また、現在の路面起伏情報に用いる過去の路面起伏情報は、最も過去の路面起伏情報であっても現在の移動体１００の位置に対して後方１０ｍ以下の位置で取得された路面起伏情報である。
【0097】
次に、所定の条件が、過去の移動体位置から推定した路面起伏と、現在の移動体１００の位置から推定した路面起伏との差分が所定の閾値範囲内であることである場合について、図８を参照しながら説明する。図８は、本実施の形態に係る第７条件を説明するための図である。
【0098】
図８の（ａ）は、現在及び過去において推定された路面起伏情報を示す図である。
【0099】
図８の（ｂ）は、現在及び過去において推定された路面起伏情報の同一地点の差分を示す図である。図８の（ｂ）では、現在の路面起伏情報から過去の路面起伏情報を引いた結果を示している。路面起伏補正部１３は、起伏の差が所定の閾値範囲内であるか否かを複数の地点のそれぞれで判定し、起伏の差が所定の閾値範囲内である路面起伏情報を抽出する。図８の（ｂ）の例では、４箇所が除外された結果である。
【0100】
図８の（ｃ）は、抽出する路面起伏情報に基づいて、路面の起伏が推定された結果を示す。
【0101】
上記のように、路面起伏補正部１３は、上記の複数の条件のうち少なくとも１つを用いて路面の起伏を推定する。路面起伏補正部１３は、例えば、複数の条件のうち２以上の条件の組み合わせを用いて路面の起伏を推定してもよい。
【0102】
図１を再び参照して、表示態様決定装置２０は、路面起伏推定装置１０によって推定された移動体１００の路面の起伏に基づいて、表示態様の一例として、前景に重畳して表示させるコンテンツの重畳位置を決定する。例えば、表示態様決定装置２０は、コンテンツに関するデータ（ＨＵＤ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）表示用データ）を表示システム１の外部から取得し、コンテンツの重畳位置を決定する。表示態様決定装置２０は、移動体１００の前方が上り坂である場合にはコンテンツを表示装置３０における平坦時と比べて上方に表示させ、移動体１００の前方が下り坂である場合にはコンテンツを表示装置３０における平坦時と比べて下方に表示させる。表示態様決定装置２０は、重畳位置決定部の一例である。
【0103】
なお、表示態様決定装置２０は、コンテンツの重畳位置に加えて、コンテンツの形状などを決定してもよい。
【0104】
表示装置３０は、表示態様決定装置２０によって決定された重畳位置にコンテンツを重畳させて表示する。表示装置３０は、例えば、移動体１００に搭載されるヘッドアップディスプレイ等であり、画像（例えば、数字、文字及び矢印などの図形を含む視覚情報）として当該車両を操作する運転者等のユーザに対して視認させる装置である。特に、ヘッドアップディスプレイは、例えば、車両のコックピットの前方に設置されるウインドシールド（フロントガラス）やコンバイナを表示媒体として、当該ウインドシールド等に画像を投影して反射させることによって、画像を虚像としてユーザに視認させる。この際、ウインドシールドやコンバイナが透光性を有することにより、車両の外側から入射する光は、ウインドシールド越しに見える景色として虚像とともにユーザに視認される。このように、表示装置３０は、前景にコンテンツを重畳して表示させる。
【0105】
なお、表示装置３０は、ヘッドアップディスプレイに限定されず、例えば、ユーザが装着するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス等であってもよい。
【0106】
［２．表示システムの動作］
続いて、上記のように構成される表示システム１における動作について、図９～図１１を参照しながら説明する。図９は、本実施の形態に係る表示システム１の動作（表示方法）を示すフローチャートである。
続いて、上記のように構成される表示システム１における動作について、図９～図１１を参照しながら説明する。図９は、本実施の形態に係る表示システム１の動作（表示方法）を示すフローチャートである。
【0107】
図９に示すように、移動体１００が移動を開始する（Ｓ１０）と、画像取得部１１は、撮像部１１０が撮像した移動体１００の前方の画像を取得する（Ｓ２０）。
【0108】
次に、路面起伏算出部１２は、画像に基づいて、移動体１００の前方の路面の３次元復元処理を実行する（Ｓ３０）。路面起伏算出部１２は、画像に基づいて、図２Ａ等に示す地点毎の相対位置を含む路面起伏情報を算出し、算出した路面起伏情報（データ）を蓄積する（Ｓ４０）。路面起伏算出部１２は、算出した路面起伏情報を記憶部（図示しない）に記憶する。
【0109】
次に、路面起伏算出部１２は、路面起伏の条件判定を実行する（Ｓ５０）。路面起伏算出部１２は、路面の起伏を推定するために用いる所定の条件又は所定の条件の組み合わせを決定する。
【0110】
【0111】
図１０に示すように、路面起伏補正部１３は、路面起伏算出部１２が推定した路面起伏情報の数に基づいて、第１条件の処理を実行するか否かを判定する（Ｓ５１ａ）。路面起伏補正部１３は、例えば、路面起伏情報の数が第１所定数以上ある場合、第１条件の処理を実行すると判定し（Ｓ５１ａでＹｅｓ）、路面起伏情報の数が第１所定数以上ない場合、第１条件の処理を実行しないと判定する（Ｓ５１ａでＮｏ）。ステップＳ５１ａでＹｅｓの場合、ステップＳ５１ｂに進み、ステップＳ５１ａでＮｏの場合、ステップＳ５２ａに進む。ここでの路面起伏情報の数は、路面起伏算出部１２が算出した路面起伏情報の数、つまり所定の範囲内外の両方を含む路面起伏情報の数である。
【0112】
【0113】
次に、路面起伏補正部１３は、路面起伏算出部１２が推定した路面起伏情報の数に基づいて、第２条件の処理を実行するか否かを判定する（Ｓ５２ａ）。路面起伏補正部１３は、例えば、路面起伏情報の数が第２所定数以上ある場合、第２条件の処理を実行すると判定し（Ｓ５２ａでＹｅｓ）、路面起伏情報の数が第２所定数以上ない場合、第２条件の処理を実行しないと判定する（Ｓ５２ａでＮｏ）。ステップＳ５２ａでＹｅｓの場合、ステップＳ５２ｂに進み、ステップＳ５２ａでＮｏの場合、ステップＳ５３ａに進む。ここでの路面起伏情報の数は、所定の範囲内と判定された路面起伏情報の数である。なお、第２所定数は、第１所定数と同数であってもよいし、第１所定数より多くてもよいし、第１所定数より少なくてもよい。
【0114】
ステップＳ５２ｂにおいて、路面起伏補正部１３は、図３Ａ及び図３Ｂに示すように、水平方向の位置が所定の閾値範囲外である路面起伏情報の高さ方向（垂直方向）の位置に対して所定の値をオフセットして、路面の起伏の推定に用いる路面起伏情報の数を増やす処理を実行する。路面起伏補正部１３は、例えば、路面起伏情報の数が第２所定数以上となるように、路面起伏情報の数を増やす処理を実行する。
【0115】
次に、路面起伏補正部１３は、路面起伏算出部１２が推定した路面起伏情報の数に基づいて、第３条件の処理を実行するか否かを判定する（Ｓ５３ａ）。路面起伏補正部１３は、例えば、移動体１００に対して近距離の路面起伏情報の数が第３所定数以上ある場合、第３条件の処理を実行すると判定し（Ｓ５３ａでＹｅｓ）、移動体１００に対して近距離の路面起伏情報の数が第３所定数以上ない場合、第３条件の処理を実行しないと判定する（Ｓ５３ａでＮｏ）。ステップＳ５３ａでＹｅｓの場合、ステップＳ５３ｂに進み、ステップＳ５３ａでＮｏの場合、ステップＳ５４に進む。
【0116】
ステップＳ５３ｂにおいて、路面起伏補正部１３は、図４Ａ及び図４Ｂに示すように、隣接する３点の路面起伏情報の差が所定の閾値範囲内であるか否かを判定し、所定の閾値範囲外となる回数が所定回数以上である路面起伏情報を除外する。
【0117】
次に、路面起伏補正部１３は、路面の３次元情報を蓄積する（Ｓ５４）。路面起伏補正部１３は、路面の３次元情報として、図２Ａ等に示す除外前の路面起伏情報を記憶部に記憶してもよいし、図２Ｂ等に示す除外後の路面起伏情報を記憶部に記憶してもよい。
【0118】
次に、路面起伏補正部１３は、路面起伏算出部１２が推定した路面起伏情報の数に基づいて、第４条件の処理を実行するか否かを判定する（Ｓ５５ａ）。路面起伏補正部１３は、例えば、路面起伏情報の数が第４所定数以上ある場合、第４条件の処理を実行すると判定し（Ｓ５５ａでＹｅｓ）、路面起伏情報の数が第４所定数以上ない場合、第４条件の処理を実行しないと判定する（Ｓ５５ａでＮｏ）。ステップＳ５５ａでＹｅｓの場合、ステップＳ５５ｂに進み、ステップＳ５５ａでＮｏの場合、ステップＳ５６ａに進む。ここでの路面起伏情報の数は、路面起伏算出部１２が推定した路面起伏情報の数である。なお、第４所定数は、第１所定数～第３所定数のいずれかと同数であってもよいし、異なる数であってもよい。
【0119】
ステップＳ５５ｂにおいて、路面起伏補正部１３は、図５に示すように、路面起伏算出部１２が推定した路面起伏情報に基づいて１次近似曲線を算出し、１次近似曲線を基準とした場合に複数の路面起伏情報のそれぞれが所定の閾値範囲内であるか否かを判定し、所定の閾値範囲外の路面起伏情報を除外する。
【0120】
次に、路面起伏補正部１３は、路面起伏算出部１２が推定した路面起伏情報の数に基づいて、第５条件の処理を実行するか否かを判定する（Ｓ５６ａ）。路面起伏補正部１３は、例えば、路面起伏情報の数が第５所定数以上ある場合、第５条件の処理を実行すると判定し（Ｓ５６ａでＹｅｓ）、路面起伏情報の数が第５所定数以上ない場合、第５条件の処理を実行しないと判定する（Ｓ５６ａでＮｏ）。ステップＳ５６ａでＹｅｓの場合、ステップＳ５６ｂに進み、ステップＳ５６ａでＮｏの場合、ステップＳ５７ａに進む。ここでの路面起伏情報の数は、路面起伏算出部１２が推定した路面起伏情報の数である。なお、第５所定数は、第１所定数～第４所定数のいずれかと同数であってもよいし、異なる数であってもよい。
【0121】
ステップＳ５６ｂにおいて、路面起伏補正部１３は、図６に示すように、路面起伏算出部１２が現在推定した路面起伏情報（図６の（ａ）に示す現在の移動体位置から推定した結果）と、路面起伏算出部１２が過去に推定した路面起伏情報（図６の（ａ）に示す過去の移動体位置から推定した結果）とを平滑した値（図６の（ｂ）を参照）を算出する。ここで用いられる２つの路面起伏情報は、除外、平滑化などの処理が実行される前の路面起伏情報（例えば、路面起伏算出部１２が推定した路面起伏情報）である。
【0122】
次に、路面起伏補正部１３は、路面起伏算出部１２が推定した路面起伏情報の数に基づいて、第６条件の処理を実行するか否かを判定する（Ｓ５７ａ）。路面起伏補正部１３は、例えば、路面起伏情報の数が第６所定数以上ある場合、第６条件の処理を実行すると判定し（Ｓ５７ａでＹｅｓ）、路面起伏情報の数が第６所定数以上ない場合、第６条件の処理を実行しないと判定する（Ｓ５７ａでＮｏ）。ステップＳ５７ａでＹｅｓの場合、ステップＳ５７ｂに進み、ステップＳ５７ａでＮｏの場合、ステップＳ５８ａに進む。ここでの路面起伏情報の数は、路面起伏算出部１２が推定した路面起伏情報の数である。なお、第６所定数は、第１所定数～第５所定数のいずれか（例えば、第５所定数）と同数であってもよいし、異なる数であってもよい。
【0123】
ステップＳ５７ｂにおいて、路面起伏補正部１３は、図７に示すように、路面起伏算出部１２が現在推定した路面起伏情報（図７の（ａ）に示す「現在の移動体位置から推定した結果」）と、路面起伏算出部１２が過去の第１時点に推定した路面起伏情報（図７の（ａ）に示す「過去１の移動体位置から推定した結果」）と、路面起伏算出部１２が過去の第２時点に推定した路面起伏情報（図７の（ａ）に示す「過去２の移動体位置から推定した結果」）とを平滑した値（図７の（ｂ）参照）を算出する。ここで用いられる３つの路面起伏情報は、除外、平滑化などの処理が実行される前の路面起伏情報（例えば、路面起伏算出部１２が推定した路面起伏情報）である。
【0124】
次に、路面起伏補正部１３は、路面起伏算出部１２が推定した路面起伏情報の数に基づいて、第７条件の処理を実行するか否かを判定する（Ｓ５８ａ）。路面起伏補正部１３は、例えば、路面起伏情報の数が第７所定数以上ある場合、第７条件の処理を実行すると判定し（Ｓ５８ａでＹｅｓ）、路面起伏情報の数が第７所定数以上ない場合、第７条件の処理を実行しないと判定する（Ｓ５８ａでＮｏ）。ステップＳ５８ａでＹｅｓの場合、ステップＳ５８ｂに進み、ステップＳ５８ａでＮｏの場合、ステップＳ５０の処理を終了する。ここでの路面起伏情報の数は、路面起伏算出部１２が推定した路面起伏情報の数である。なお、第７所定数は、第１所定数～第６所定数のいずれかと同数であってもよいし、異なる数であってもよい。
【0125】
ステップＳ５８ｂにおいて、路面起伏補正部１３は、図８に示すように、路面起伏算出部１２が現在推定した路面起伏情報（図８の（ａ）に示す「現在の移動体位置から推定した結果」）と、路面起伏算出部１２が過去に推定した路面起伏情報（図８の（ａ）に示す「過去の移動体位置から推定した結果」）との差を対応する地点毎に算出し、算出した差が所定の閾値範囲内であるか否かを判定し、所定の閾値範囲外の路面起伏情報を除外する。
【0126】
図９を再び参照して、路面起伏補正部１３は、ステップＳ５０の処理により推定された路面起伏情報に基づいて、路面起伏を推定するか否かを判定する（Ｓ６０）。路面起伏補正部１３は、例えば、第５条件～第７条件のいずれかを実行する場合、必要数の過去の路面起伏情報が記憶されているか否かに基づいて、ステップＳ６０の判定を実行する。路面起伏補正部１３は、必要数の過去の路面起伏情報が記憶されている場合に路面起伏を推定すると判定し（Ｓ６０でＹｅｓ）、ステップＳ７０に進み、必要数の過去の路面起伏情報が記憶されていない場合に路面起伏を推定しないと判定し（Ｓ６０でＮｏ）、ステップＳ２０に戻りステップＳ２０以降の処理を継続する。
【0127】
なお、第５条件～第７条件のいずれかを実行されない場合、ステップＳ６０の判定処理は省略されてもよい。
【0128】
次に、路面起伏補正部１３は、ステップＳ５０の処理により推定された路面起伏情報に基づいて、路面起伏を推定する（Ｓ７０）。例えば、ステップＳ５０において、ステップＳ５１ａ～Ｓ５３ａ及びステップＳ５５ａ～Ｓ５６ａがＮｏと判定され、かつ、ステップＳ５７ａ及びＳ５８ａがＹｅｓと判定された場合の路面起伏の推定について、図１１を参照しながら説明する。図１１は、本実施の形態に係る条件を組み合わせて路面起伏情報を除外する例を説明するための図である。
【0129】
図１１の（ａ）は、路面起伏算出部１２が現在推定した路面起伏情報（図１１の（ａ）に示す「現在の移動体位置から推定した結果」：実線）と、路面起伏算出部１２が過去の第１時点及び第２時点に推定した路面起伏情報を平滑化（例えば、平均化）した路面起伏情報（図１１の（ａ）に示す「過去１及び２を平滑した結果」：破線）とを示す。路面起伏補正部１３は、過去の第１時点及び第２時点に推定した路面起伏情報を平滑化する。
【0130】
図１１の（ｂ）は、現在推定した路面起伏情報と平滑化された過去の路面起伏情報との差の計算結果を示す。同一位置（例えば、奥行方向の同一位置）における２つの路面起伏情報の差を取ることで、図１１の（ｂ）に示す差が取得される。
【0131】
図１１の（ｃ）は、路面起伏補正部１３による路面の起伏の推定結果を示す。路面起伏補正部１３は、図１１の（ｂ）に示す差のうち所定の閾値範囲内の差（破線枠がない差）のみを用いて、路面の起伏を推定する。例えば、路面起伏補正部１３は、図１１に示すように、閾値（凸側）より差が大きい及び閾値（凹側）より差が小さい路面起伏情報の差を除外し、除外されなかった路面起伏情報を用いて路面の起伏を推定する。路面起伏補正部１３は、推定した路面の起伏を表示態様決定装置２０に出力する。
【0132】
図９を再び参照して、次に、表示態様決定装置２０は、外部から取得したコンテンツ（表示用データ）の表示態様を決定する（Ｓ８０）。表示態様決定装置２０は、少なくとも推定した路面の起伏に基づいて、コンテンツの重畳位置（表示装置３０における表示位置）を決定する。表示態様決定装置２０は、決定したコンテンツの表示態様を表示装置３０に出力する。
【0133】
次に、表示装置３０は、表示態様決定装置２０が決定した表示態様でコンテンツを表示する（Ｓ９０）。本実施の形態では、表示装置３０は、表示態様決定装置２０が決定した重畳位置にコンテンツを表示する。路面起伏推定装置１０は、上記の通り所定の条件を満たす路面起伏情報を用いて路面の起伏を推定するので、路面の起伏を正確に推定可能である。これにより、コンテンツの重畳位置も正確に決定することができるので、路面の起伏の推定精度が低い等によりコンテンツの重畳位置がずれてしまい、情報を誤認識させる、又は、ユーザが違和感を感じることなどを抑制することができる。
【0134】
【0135】
図１２及び図１３に示すように、垂直方向の閾値は、奥行方向に進むほど大きな値（つまり、広範囲）になってもよい。垂直方向の閾値は、図１２に示すように階段状であってもよいし、図１３に示すように放射状であってもよい。なお、水平方向の閾値も同様に奥行方向に進むほど大きな値となってもよい。
【0136】
図１４に示すように、垂直方向の閾値は、閾値（凸側）と閾値（凹側）とで異なる値であってもよい。例えば、高さがより高い閾値（凸側）は、高さがより低い閾値（凹側）より大きな値となる。ユーザは、下方（凹側）の起伏の推定が正確にできていない場合、上方（凸側）の起伏の推定が正確にできていない場合に比べて、表示装置３０で重畳された表示に違和感を感じやすい。図１４のように、閾値（凹側）を閾値（凸側）より小さくすることで、ユーザが違和感を感じることを効果的に抑制することができる。
【0137】
図１５に示すように、図１２と同様、起伏の差（例えば、垂直値の差）に対する閾値も奥行方向に進むほど大きくなってもよい。図１５では、奥行方向に進むにつれ階段状に閾値が大きくなる例を示しているが、奥行方向に進むにつれ放射状（例えば、図１３を参照）に閾値が大きくなってもよい。
【0138】
（その他の実施の形態）
以上、一つまたは複数の態様に係る表示システム等について、実施の形態等に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。
以上、一つまたは複数の態様に係る表示システム等について、実施の形態等に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。
【0139】
例えば、上記実施の形態等では、図１０に示す判定ステップが実行される例について説明したが、これに限定されない。道路シーン（例えば、車速など）と、第１条件から第７条件のどの条件を用いるかとが対応付けられたテーブルを記憶部が予め記憶しており、路面起伏補正部は、現時点の道路シーンと、テーブルとから処理を実行する条件を決定してもよい。
【0140】
また、上記実施の形態等における路面起伏推定装置は、単独の装置として実現されてもよい。また、路面起伏推定装置は、移動体に搭載されていることに限定されず、移動体から遠隔に配置されてもよい。
【0141】
また、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0142】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。
【0143】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0144】
また、上記実施の形態等に係る表示システムは、単一の装置として実現されてもよいし、複数の装置により実現されてもよい。表示システムが複数の装置によって実現される場合、当該表示システムが有する各構成要素は、複数の装置にどのように振り分けられてもよい。表示システムが複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
【0145】
また、上記実施の形態等で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路（専用のプログラムを実行する汎用回路）または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。
【0146】
システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【0147】
【0148】
また、例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
【産業上の利用可能性】
【0149】
本開示は、コンテンツを前景に重畳して表示する表示システム等に有用である。
【符号の説明】
【0150】
１ 表示システム
１０ 路面起伏推定装置（路面起伏推定部）
１１ 画像取得部
１２ 路面起伏算出部（路面起伏情報取得部）
１３ 路面起伏補正部（判定部、推定部）
２０ 表示態様決定装置（重畳位置決定部）
３０ 表示装置（表示部）
１００ 移動体
１１０ 撮像部
１０ 路面起伏推定装置（路面起伏推定部）
１１ 画像取得部
１２ 路面起伏算出部（路面起伏情報取得部）
１３ 路面起伏補正部（判定部、推定部）
２０ 表示態様決定装置（重畳位置決定部）
３０ 表示装置（表示部）
１００ 移動体
１１０ 撮像部
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】