特開 2024-140804 運転支援システム、運転支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024140804

(43)【公開日】2024-10-10

(54)【発明の名称】運転支援システム、運転支援方法及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241003BHJP

   G08G 1/09 20060101ALI20241003BHJP

【ＦＩ】

G08G1/16 D

G08G1/09 Q

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023052143

(22)【出願日】2023-03-28

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】坂田 崇徳

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB13

5H181CC04

5H181FF04

5H181FF27

5H181FF33

5H181LL01

5H181LL08

5H181LL14

(57)【要約】

【課題】従来よりも運転者を支援することができる運転支援システム等を提供する。
【解決手段】運転支援システム１は、運転席の正面に配置された表示部１１０及び電子サイドミラー１２０を備える車両１００の運転者に対して運転支援を行う運転支援システムであって、運転者が運転する車両１００において、所定の条件が満たされているか否かを判断する表示条件判断部１２と、所定の条件が満たされている場合、車両１００の周辺を含む俯瞰画像を生成する画像処理部２３と、画像処理部２３が生成した俯瞰画像を含む第１画像を電子サイドミラー１２０に表示させる第１制御装置４０と、画像処理部２３が生成した俯瞰画像を含む第２画像を表示部１１０に表示させる第２制御装置５０とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

運転席の正面に配置された第１表示装置及び電子サイドミラーを備える車両の運転者に対して運転支援を行う運転支援システムであって、
前記運転者が運転する前記車両において、所定の条件が満たされているか否かを判断する判断部と、
前記所定の条件が満たされている場合、前記車両の周辺を含む俯瞰画像を生成する生成部と、
前記生成部が生成した前記俯瞰画像を含む第１画像を前記電子サイドミラーに表示させる第１制御部と、
前記生成部が生成した前記俯瞰画像を含む第２画像を前記第１表示装置に表示させる第２制御部とを備える
運転支援システム。

【請求項2】

前記第２制御部は、前記車両が所定値より狭い道路に右折又は左折で進入する場合、前記第１表示装置に表示される前記俯瞰画像の表示位置を、前記車両が右折するか左折するかに応じて異ならせる
請求項１に記載の運転支援システム。

【請求項3】

前記第２制御部は、前記車両が右折する場合、前記第１表示装置における左側の領域に前記俯瞰画像を表示させ、前記車両が左折する場合、前記第１表示装置における右側の領域に前記俯瞰画像を表示させる
請求項２に記載の運転支援システム。

【請求項4】

前記第２画像は、前記第１表示装置に表示させる第３画像及び前記俯瞰画像を含む画像である
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項5】

前記第２画像は、前記俯瞰画像のみを含む画像である
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項6】

前記第１制御部は、前記電子サイドミラーの表示領域のうち車体側の領域に前記俯瞰画像を表示させる
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項7】

前記生成部は、前記車両の周囲の障害物又は脱輪リスクがある部分を強調して表示する前記俯瞰画像を生成する
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項8】

前記所定の条件は、前記車両の速度が所定速度以下であり、かつ、前記車両が備えるウインカーレバーが操作されている第１条件を含み、
前記判断部は、前記第１条件を満たす場合、前記所定の条件が満たされていると判定する
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項9】

前記所定の条件は、前記車両のナビゲーションシステムにおいて右折又は左折を経て所定値より狭い道路に進入する場合、前記右折又は前記左折を行う領域において前記車両が所定速度以下の状態である第２条件を含み、
前記判断部は、前記第２条件を満たす場合、前記所定の条件が満たされていると判定する
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項10】

前記所定の条件は、前記車両がマップデータ上において所定値より狭い道路を走行中の状態である第３条件を含み、
前記判断部は、前記第３条件を満たす場合、前記所定の条件が満たされていると判定する
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項11】

前記判断部は、前記車両のウインカーレバーが元の位置に戻された場合、前記車両が右折又は左折後に所定距離以上走行した場合、又は、走行中の道路が所定値より広いと判定された場合、前記所定の条件が満たされていないと判定し、
前記第１制御部及び前記第２制御部は、前記所定の条件が満たされている状態から前記所定の条件が満たされていない状態に遷移すると、前記俯瞰画像の表示を停止する
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項12】

さらに、前記俯瞰画像の表示機能のオン及びオフを切り替えるための操作部を備える
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項13】

さらに、前記運転席の正面に配置された第２表示装置を備え、
前記第２制御部は、前記第１表示装置及び前記第２表示装置のうちいずれの表示装置に前記俯瞰画像を表示させるかが事前に設定された設定情報において前記第１表示装置が設定されている場合、前記第１表示装置に前記第２画像を表示させる
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項14】

前記第１表示装置は、ヘッドアップディスプレイ又はインストルメントクラスターである
請求項１～３のいずれか１項に記載の運転支援システム。

【請求項15】

運転席の正面に配置された表示装置及び電子サイドミラーを備える車両の運転者に対して運転支援を行う運転支援方法であって、
前記運転者が運転する前記車両において、所定の条件が満たされているか否かを判断し、
前記所定の条件が満たされている場合、前記車両の周辺を含む俯瞰画像を生成し、
生成された前記俯瞰画像を含む第１画像を前記電子サイドミラーに表示させ、
生成された前記俯瞰画像を含む第２画像を前記表示装置に表示させる
運転支援方法。

【請求項16】

請求項１５に記載の運転支援方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、運転支援システム、運転支援方法及びプログラムに関する。

【背景技術】

【0002】

従来、車両の運転者を支援する各種技術が検討されている。例えば、特許文献１には、車両周辺を監視し、障害物を検知すると運転者に報知する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開昭５８－０２２７４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、クリアランスソナーを用いているので、特定の障害物を検知することが困難であり、運転者に対する支援には改善の余地がある。

【0005】

そこで、本開示は、従来よりも運転者を支援することができる運転支援システム、運転支援方法及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る運転支援システムは、運転席の正面に配置された第１表示装置及び電子サイドミラーを備える車両の運転者に対して運転支援を行う運転支援システムであって、前記運転者が運転する前記車両において、所定の条件が満たされているか否かを判断する判断部と、前記所定の条件が満たされている場合、前記車両の周辺を含む俯瞰画像を生成する生成部と、前記生成部が生成した前記俯瞰画像を含む第１画像を前記電子サイドミラーに表示させる第１制御部と、前記生成部が生成した前記俯瞰画像を含む第２画像を前記第１表示装置に表示させる第２制御部とを備える。

【0007】

本開示の一態様に係る運転支援方法は、運転席の正面に配置された表示装置及び電子サイドミラーを備える車両の運転者に対して運転支援を行う運転支援方法であって、前記運転者が運転する前記車両において、所定の条件が満たされているか否かを判断し、前記所定の条件が満たされている場合、前記車両の周辺を含む俯瞰画像を生成し、生成された前記俯瞰画像を含む第１画像を前記電子サイドミラーに表示させ、生成された前記俯瞰画像を含む第２画像を前記表示装置に表示させる。

【0008】

本開示の一態様に係るプログラムは、上記の運転支援方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0009】

本開示の一態様によれば、従来よりも運転者を支援することができる運転支援システム等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る運転支援システムの機能構成を示すブロック図である。

【図2】図２は、車両の左折時における、実施の形態に係る運転支援システムの運転支援内容を説明するための図である。

【図3】図３は、車両の右折時における、実施の形態に係る運転支援システムの運転支援内容を説明するための図である。

【図4】図４は、左折時における車両の俯瞰画像を示す図である。

【図5】図５は、実施の形態に係る運転支援システムの動作を示すシーケンス図である。

【図6】図６は、実施の形態に係る運転支援装置の動作を示すフローチャートである。

【図7】図７は、実施の形態の変形例１に係る車両の内部構成の一例を示す図である。

【図8】図８は、実施の形態の変形例１に係る車両の内部構成の他の一例を示す図である。

【図9】図９は、実施の形態の変形例２に係る運転支援システムの機能構成を示すブロック図である。

【発明を実施するための形態】

【0011】

（本開示に至った経緯）
本開示の説明に先立ち、本開示に至った経緯について説明する。

【0012】

車両が狭い道を直進する又は車両が狭い道へ右左折する際、車両の前方及び側方へ注意を向け、衝突の危険性がある障害物又は脱輪に繋がる側溝などとの距離を確認しつつ前進する必要がある。このとき、以下の２つの課題が存在する。

【0013】

１つ目の課題は、車両の前方及び側方のどちらかに意識を集中する際、もう一方への注意がおろそかになり、障害物への衝突又は脱輪に繋がる危険性があるという課題である。１つ目の課題は、例えば、運転者が運転初心者である場合に特に懸念される課題である。

【0014】

２つ目の課題は、車体と障害物又は側溝との距離感を掴めずに、衝突又は脱輪してしまう危険性が高まるという課題がある。２つ目の課題は、例えば、カーシェアリング、レンタカーなどのサービスで借りた車など、運転者が慣れていない車両を運転する場合に特に懸念される課題である。

【0015】

例えば、狭い道へ右左折する際、車両の前方及び側方の双方への注意を維持しつつ、車両周辺の大小様々な障害物や側溝との距離を運転者が容易に認知できることが望ましく、そのような運転支援が可能な装置等が求められる。しかしながら、上記特許文献１の技術では、背が低い障害物や側溝を検知することが困難であり、十分な運転支援が行えるとは言い難い。

【0016】

そこで、本願発明者は、従来よりも運転者を支援することができる運転支援システム等について鋭意検討を行い、以下に示す運転支援システム等を創案した。

【0017】

本開示の第１態様に係る運転支援システムは、運転席の正面に配置された第１表示装置及び電子サイドミラーを備える車両の運転者に対して運転支援を行う運転支援システムであって、前記運転者が運転する前記車両において、所定の条件が満たされているか否かを判断する判断部と、前記所定の条件が満たされている場合、前記車両の周辺を含む俯瞰画像を生成する生成部と、前記生成部が生成した前記俯瞰画像を含む第１画像を前記電子サイドミラーに表示させる第１制御部と、前記生成部が生成した前記俯瞰画像を含む第２画像を前記第１表示装置に表示させる第２制御部とを備える。

【0018】

これにより、車両の運転者が前方を注視している際、及び、側方の障害物を警戒するために電子サイドミラーを注視している際のいずれにおいても、運転者の視界中に俯瞰画像を表示することができる。よって、運転者は車両の前方及び側方への適切な配分で意識を配りつつ、障害物、側溝との距離などの車両周辺状況を容易に認知することが可能となるので、従来よりも運転者を支援することができる運転支援システムを実現することができる。

【0019】

また、例えば、本開示の第２態様に係る運転支援システムは、第１態様に係る運転支援システムであって、前記第２制御部は、前記車両が所定値より狭い道路に右折又は左折で進入する場合、前記第１表示装置に表示される前記俯瞰画像の表示位置を、前記車両が右折するか左折するかに応じて異ならせてもよい。

【0020】

これにより、狭い道路に右折又は左折で進入する場合に応じた表示位置に俯瞰画像が表示されるので、狭い道路への右折又は左折に適した運転支援を実現することができる。

【0021】

また、例えば、本開示の第３態様に係る運転支援システムは、第１態様又は第２態様に係る運転支援システムであって、前記第２制御部は、前記車両が右折する場合、前記第１表示装置における左側の領域に前記俯瞰画像を表示させ、前記車両が左折する場合、前記第１表示装置における右側の領域に前記俯瞰画像を表示させてもよい。

【0022】

これにより、右折及び左折のいずれの場合においても、前方を注視している運転者の視界中により確実に俯瞰画像を表示させることができる。

【0023】

また、例えば、本開示の第４態様に係る運転支援システムは、第１態様～第３態様のいずれかに係る運転支援システムであって、前記第２画像は、前記第１表示装置に表示させる第３画像及び前記俯瞰画像を含む画像であってもよい。

【0024】

これにより、第３画像が運転者に提示されなくなることを抑制しつつ、運転者による運転を支援することができる。

【0025】

また、例えば、本開示の第５態様に係る運転支援システムは、第１態様～第３態様のいずれかに係る運転支援システムであって、前記第２画像は、前記俯瞰画像のみを含む画像であってもよい。

【0026】

これにより、運転者に俯瞰画像を効果的に視認させることができる。

【0027】

また、例えば、本開示の第６態様に係る運転支援システムは、第１態様～第５態様のいずれかに係る運転支援システムであって、前記第１制御部は、前記電子サイドミラーの表示領域のうち車体側の領域に前記俯瞰画像を表示させてもよい。

【0028】

これにより、俯瞰画像が電子サイドミラーによる運転者の後方確認の妨げになることを抑止しつつ、運転者による運転を支援することができる。

【0029】

また、例えば、本開示の第７態様に係る運転支援システムは、第１態様～第６態様のいずれかに係る運転支援システムであって、前記生成部は、前記車両の周囲の障害物又は脱輪リスクがある部分を強調して表示する前記俯瞰画像を生成してもよい。

【0030】

これにより、障害物への衝突又は脱輪に繋がる危険性を運転者が認知しやすくなるので、運転者による運転を効果的に支援することができる。

【0031】

また、例えば、本開示の第８態様に係る運転支援システムは、第１態様～第７態様のいずれかに係る運転支援システムであって、前記所定の条件は、前記車両の速度が所定速度以下であり、かつ、前記車両が備えるウインカーレバーが操作されている第１条件を含み、前記判断部は、前記第１条件を満たす場合、前記所定の条件が満たされていると判定してもよい。

【0032】

これにより、車両の速度が遅く、かつ、ウインカーレバーが操作されているといった運転者が右左折をしようとしていることが予測される場面において、運転者による右左折を効果的に支援することができる。

【0033】

また、例えば、本開示の第９態様に係る運転支援システムは、第１態様～第８態様のいずれかに係る運転支援システムであって、前記所定の条件は、前記車両のナビゲーションシステムにおいて右折又は左折を経て所定値より狭い道路に進入する場合、前記右折又は前記左折を行う領域において前記車両が所定速度以下の状態である第２条件を含み、前記判断部は、前記第２条件を満たす場合、前記所定の条件が満たされていると判定してもよい。

【0034】

これにより、所定値より狭い道路に右折又は左折で進入する場面において、運転者による右左折を効果的に支援することができる。

【0035】

また、例えば、本開示の第１０態様に係る運転支援システムは、第１態様～第９態様のいずれかに係る運転支援システムであって、前記所定の条件は、前記車両がマップデータ上において所定値より狭い道路を走行中の状態である第３条件を含み、前記判断部は、前記第３条件を満たす場合、前記所定の条件が満たされていると判定してもよい。

【0036】

これにより、車両が所定値より狭い道路を走行中に、運転者による運転を効果的に支援することができる。

【0037】

また、例えば、本開示の第１１態様に係る運転支援システムは、第１態様～第１０態様のいずれかに係る運転支援システムであって、前記判断部は、前記車両のウインカーレバーが元の位置に戻された場合、前記車両が右折又は左折後に所定距離以上走行した場合、又は、走行中の道路が所定値より広いと判定された場合、前記所定の条件が満たされていないと判定し、前記第１制御部及び前記第２制御部は、前記所定の条件が満たされている状態から前記所定の条件が満たされていない状態に遷移すると、前記俯瞰画像の表示を停止してもよい。

【0038】

これにより、所定の条件を満たさない場合に俯瞰画像が表示されないので、運転支援システムにおける処理量を低減することができる。

【0039】

また、例えば、本開示の第１２態様に係る運転支援システムは、第１態様～第１１態様のいずれかに係る運転支援システムであって、さらに、前記俯瞰画像の表示機能のオン及びオフを切り替えるための操作部を備えてもよい。

【0040】

これにより、運転者が必要な場合に俯瞰画像が表示されるので、運転者による運転をさらに効果的に支援することができる。

【0041】

また、例えば、本開示の第１３態様に係る運転支援システムは、第１態様～第１２態様のいずれかに係る運転支援システムであって、さらに、前記運転席の正面に配置された第２表示装置を備え、前記第２制御部は、前記第１表示装置及び前記第２表示装置のうちいずれの表示装置に前記俯瞰画像を表示させるかが事前に設定された設定情報において前記第１表示装置が設定されている場合、前記第１表示装置に前記第２画像を表示させてもよい。

【0042】

これにより、運転者が注視しやすい位置に配置された表示装置に俯瞰画像が表示されることで、運転者による運転をさらに効果的に支援することができる。

【0043】

また、例えば、本開示の第１４態様に係る運転支援システムは、第１態様～第１３態様のいずれかに係る運転支援システムであって、前記第１表示装置は、ヘッドアップディスプレイ又はインストルメントクラスターであってもよい。

【0044】

これにより、運転者の視界内に配置されすい、ヘッドアップディスプレイ又はインストルメントクラスターに俯瞰画像を表示することができる。

【0045】

また、本開示の第１５態様に係る運転支援方法は、運転席の正面に配置された表示装置及び電子サイドミラーを備える車両の運転者に対して運転支援を行う運転支援方法であって、前記運転者が運転する前記車両において、所定の条件が満たされているか否かを判断し、前記所定の条件が満たされている場合、前記車両の周辺を含む俯瞰画像を生成し、生成された前記俯瞰画像を含む第１画像を前記電子サイドミラーに表示させ、生成された前記俯瞰画像を含む第２画像を前記表示装置に表示させる。また、本開示の第１６態様に係るプログラムは、上記の運転支援方法をコンピュータに実行させるためのプログラムである。

【0046】

これにより、上記の運転支援システムと同様の効果を奏する。

【0047】

なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

【0048】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0049】

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0050】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。

【0051】

また、本明細書において、同一などの要素間の関係性を示す用語、並びに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度（あるいは、１０％程度）の差異をも含むことを意味する表現である。

【0052】

また、本明細書において、「第１」、「第２」などの序数詞は、特に断りの無い限り、構成要素の数又は順序を意味するものではなく、同種の構成要素の混同を避け、区別する目的で用いられている。

【0053】

（実施の形態）
以下、本実施の形態に係る運転支援システムについて、図１～図６を参照しながら説明する。

【0054】

［１．運転支援システムの構成］
まず、本実施の形態に係る運転支援システムの構成について、図１～図４を参照しながら説明する。図１は、本実施の形態に係る運転支援システム１の機能構成を示すブロック図である。運転支援システム１は、運転者による運転を支援するための情報処理システムであり、例えば、狭い道へ右左折して進入する場合などに運転者による運転を支援する。なお、運転支援システム１が支援する場面は、右左折に限定されず、車両が直進している場合（例えば、狭い道を直進している場合）などであってもよい。また、運転支援システム１は、車両の俯瞰視において、車両の進行方向を軸として車両の左右の両方を運転者が確認しながら走行する場合に、運転者による運転を支援する。また、運転支援システム１は、車両が前進している場合に、運転者による運転を支援する。以下では運転者に対して俯瞰画像を表示する（例えば、追加で表示する）ことで当該運転者を支援する例を説明するが、俯瞰画像は、車両が前進及び後進のうち前進している場合に表示されるものとする。

【0055】

図１に示すように、運転支援システム１は、運転支援装置１０と、画像処理装置２０と、カメラモジュール３０と、第１制御装置４０と、第２制御装置５０と、第３制御装置６０とを備える。運転支援システム１が備える各構成要素は車両に搭載されるが、少なくとも一部は車両外の装置であって当該車両と通信可能に接続される装置（例えば、サーバ装置）により実現されてもよい。

【0056】

また、車両は、例えば、運転者が運転する自動車等である。図示しないが、車両は、運転者からの操作を受け付けるボタン、タッチパネル等の操作部（例えば、図２に示す操作部１３０）、ウインカー（方向指示器）レバー、速度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ等の車両の走行に関わる各種センサ、ナビゲーションシステム、マップ情報等を記憶する記憶部等の少なくとも１つを備える。

【0057】

運転支援装置１０は、機能情報取得部１１ａと、入力情報取得部１１ｂと、車速情報取得部１１ｃと、自己位置情報取得部１１ｄと、ナビ経路情報取得部１１ｅと、マップ情報取得部１１ｆと、表示条件判断部１２と、信号送信部１３と、画像受信部１４と、画像解析部１５と、画像編集部１６と、送信先判断部１７と、画像送信部１８とを備える。運転支援装置１０の各機能構成は、例えば、１つのＥＣＵ（電子制御ユニット：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）（第１ＥＣＵ）により実現される。

【0058】

機能情報取得部１１ａは、俯瞰画像を表示する表示機能に関する情報を取得する。機能情報取得部１１ａは、例えば、表示機能をオンするかオフするかに関する運転者の機能設定情報を取得する。機能情報取得部１１ａは、記憶部（図示しない）に記憶された機能設定情報を読み出してもよいし、運転者が操作部１３０を操作したことが検知された検知情報を機能設定情報として取得してもよいし、通信回路（通信モジュール）を含んで構成され、外部の装置からの通信により機能設定情報を取得してもよい。

【0059】

入力情報取得部１１ｂは、車両の走行における運転者の操作に関する情報を取得し、例えば、車両の走行における右左折に対する運転者の操作を取得する。入力情報取得部１１ｂは、例えば、運転者によりウインカーレバーが操作された場合、右左折のいずれに対する操作がなされたかを示す入力情報を取得する。入力情報は、例えば、車両がナビゲーションシステムによる経路情報を用いずに走行している場合、車両が次にどちら側に曲がるかを運転支援装置１０が予測するために用いられる。入力情報取得部１１ｂは、ウインカーレバーに対する操作を検知するセンサから入力情報を取得してもよい。

【0060】

車速情報取得部１１ｃは、車両の車速に関する車速情報を取得する。車速情報取得部１１ｃは、例えば、車速を検知する速度センサから車速情報を取得してもよい。車速は、例えば、現時点の車速である。

【0061】

自己位置情報取得部１１ｄは、車両の現在位置に関する自己位置情報を取得する。自己位置情報取得部１１ｄは、例えば、車両の現在位置を検知するセンサ（例えば、ＧＰＳセンサ）から車両の自己位置情報を取得してもよい。さらに、自己位置情報取得部１１ｄは、現在位置及び地図情報等に基づいて、現在位置から交差点等の特定の位置までの距離を取得してもよい。

【0062】

ナビ経路情報取得部１１ｅは、車両に搭載されたナビゲーションシステムにおいて設定されている車両の移動経路に関する情報を取得する。ナビ経路情報取得部１１ｅは、例えば、現在位置から目的地までの移動経路を示す情報を取得する。ナビ経路情報取得部１１ｅは、ナビゲーションシステムと通信可能に構成される。

【0063】

マップ情報取得部１１ｆは、車両の周辺のマップ情報を取得する。マップ情報取得部１１ｆは、例えば、記憶部に記憶されているマップ情報を読み出してもよいし、通信回路（通信モジュール）を含んで構成され、外部の装置から通信によりマップ情報を取得してもよい。

【0064】

マップ情報は、例えば、車両がナビゲーションシステムの経路案内機能を使用せずに走行している場合に用いられる。マップ情報は、車両の周辺の道路に関する情報を含み、例えば、車両が右左折して進入する道路の幅を取得するために用いられる。道路に関する情報には、道路幅を示す情報が含まれる。

【0065】

表示条件判断部１２は、各種取得部が取得した情報の少なくとも１つに基づいて、車両において所定の条件が満たされているか否かを判断する。また、表示条件判断部１２は、所定の開始条件又は所定の終了条件を満たすか否かに応じて、俯瞰画像の表示の開始及び終了を判断する。表示条件判断部１２は、俯瞰画像の表示を行う表示条件を満たしているか否かを判断するとも言える。表示条件判断部１２は、所定の開始条件（所定の条件）を満たす場合、俯瞰画像の表示を開始すると判断し、俯瞰画像の表示中に所定の終了条件を満たす場合、俯瞰画像の表示を終了すると判断する。表示条件判断部１２は、判断部の一例である。

【0066】

所定の開始条件は、車両が右左折を行うことが判断可能な条件であり、例えば、車両の走行速度が任意の数値以下の状態で、かつ、ウインカーレバーが左右どちらかに入力されていることであってもよいし、ナビゲーションシステムにおいて右左折を経て道路幅が所定値以下の狭い道へ進入する経路案内となっている場合に、右左折直前の一定の領域（例えば、右左折する地点の１０ｍ手前の領域など）に走行速度が任意の数値以下（例えば、１０ｋｍ／ｈ以下）の状態で車両が存在することであってもよい。走行速度が任意の数値以下とは、車両が減速していることを意味する。

【0067】

また、所定の開始条件は、車両がマップデータ上において所定値より狭い道路を走行中の状態であることであってもよく、例えば、車両がマップデータ上において所定値より狭い道路を走行中である場合、車両が道路の特定の地点へ所定速度以下の状態で進入することであってもよい。また、所定の開始条件は、マップデータ上において狭い道に繋がっている道を車両が走行中であり、走行中の道の特定の地点へ任意の走行速度以下で車両が進入することであってもよい。なお、マップデータには、ナビゲーションシステム上のマップデータやセンサを使って車載機器内で作成したマップデータなどが含まれる。特定の地点は、例えば、交差点、Ｔ字路、道幅が所定値以上狭くなる地点などである。

【0068】

また、所定の開始条件は、表示スイッチ（例えば、後述する操作部１３０）を運転者が押下することであってもよい。例えば、スイッチを２つ用意し、一方を押せば左後方を写す電子サイドミラー１２０Ｌ及び運転席正面のディスプレイ、もう一方を押せば右後方を写す電子サイドミラー１２０Ｒ及び運転席正面のディスプレイに、俯瞰画像を表示するとしてもよい。

【0069】

また、所定の開始条件は、運転者が専用スイッチ（例えば、後述する操作部１３０）を押下し続けていることであってもよい。例えば、スイッチを２つ用意し、一方を押し続けていれば左後方を写す電子サイドミラー１２０Ｌ及び運転席正面のディスプレイ、もう一方を押し続けていれば右後方を写す電子サイドミラー１２０Ｒ及び運転席正面のディスプレイに、俯瞰画像を表示するとしてもよい。

【0070】

また、所定の開始条件は、表示開始と紐づけられた特定のジェスチャが検知されることであってもよい。例えば、運転者によるウインクや指差しなどであってもよい。また、所定の開始条件は、音声入力によって運転者から表示開始が指示されることであってもよい。また、所定の開始条件は、インフラ設備から表示開始の指示を受けることであってもよい。インフラ設備としては、例えば、信号機、専用機器等が例示される。インフラ設備は、例えば、車両のウインカーの指示内容、車両の走行レーンなどの車両が右左折するか否かを判定するための情報を取得可能に構成される。

【0071】

所定の開始条件としては、上記の各条件が例示される。また、所定の終了条件としては、以下の各条件が例示される。

【0072】

所定の終了条件は、ウインカーレバーが元の位置に戻ったことが検知されることであってもよいし、車両が曲がった先の狭い道を一定距離以上走行することであってもよいし、走行中の道路の幅が所定値より広いと判定されることであってもよい。一定距離以上走行することは、前述のマップデータ上における自車両の位置から判断可能である。また、所定の終了条件は、表示停止用のスイッチが押下されることであってもよいし、専用スイッチの押下されることであってもよい。また、所定の終了条件は、表示終了と紐づけられた特定のジェスチャが検知されることであってもよい。例えば、運転者によるウインクや指差しなどがある。また、所定の終了条件は、音声入力によって運転者から表示終了が指示されることであってもよい。また、所定の終了条件は、インフラ設備から表示終了の指示を受けることであってもよい。

【0073】

信号送信部１３は、画像処理装置２０に対して俯瞰画像の生成の開始及び終了を示す信号を送信する。信号送信部１３は、表示条件判断部１２が俯瞰画像の表示を開始すると判断した場合、画像処理装置２０に対して俯瞰画像の生成を開始することを示す開始信号を送信し、表示条件判断部１２が俯瞰画像の表示を終了すると判断した場合、画像処理装置２０に対して俯瞰画像の生成を終了することを示す終了信号を送信する。これにより、開始信号を受信してから終了信号を受信するまでの期間、画像処理装置２０に対して俯瞰画像を生成させることができる。

【0074】

画像受信部１４は、画像処理装置２０が生成した俯瞰画像を、画像送信部２４から受信する。画像受信部１４は、例えば、通信回路（通信モジュール）を含んで構成される。

【0075】

画像解析部１５は、俯瞰画像の画像解析により、車両の走行の障害となる物体であって、運転者が視認必要な物体（又は危険領域）を検知し、当該物体（又は危険領域）の輪郭を抽出する。画像解析部１５は、例えば、俯瞰画像に映っている障害物、側溝、縁石等の物体を検知し、検知された物体の輪郭を抽出する。

【0076】

画像編集部１６は、画像解析部１５により抽出された輪郭を強調する表示を俯瞰画像に追加する（例えば、重畳する）。画像編集部１６は、例えば、輪郭を強調する線（後述する図４に示す線Ｌ１、Ｌ２を参照）を俯瞰画像に追加してもよい。

【0077】

送信先判断部１７は、運転席の正面側に配置されるディスプレイが複数ある場合、複数のディスプレイのうち俯瞰画像を送信する送信先となる１以上のディスプレイを判断する。例えば、ヘッドアップディスプレイ（表示部１１０）及びインストルメントクラスター（例えば、図７に示す表示部１１０ａ又は図８に示す表示部１１０ｂ）の両方が車両に搭載されている場合、送信先判断部１７は、運転者が事前に設定したリスト情報に基づいて、ヘッドアップディスプレイ及びはインストルメントクラスターのいずれか一方又は両方に俯瞰画像を送信すると判断する。なお、表示部１１０、１１０ａ及び１１０ｂは、第１表示装置の一例である。

【0078】

具体的には、送信先判断部１７は、俯瞰画像を表示するディスプレイをリスト化したリスト情報に基づいて、ディスプレイを制御するための第１制御装置４０、第２制御装置５０、第３制御装置６０等の複数の制御装置の中から俯瞰画像の送信先となる２以上の制御装置を判断する。２以上の制御装置には、電子サイドミラー１２０Ｒ及び１２０Ｌを制御する１以上の制御装置（例えば、第１制御装置４０）と、運転者が前方を視認した場合に視界に入るディスプレイを制御する１以上の制御装置（例えば、表示部１１０を制御する第２制御装置５０）とを含む。

【0079】

リスト情報は、運転者等により予め設定され、記憶部に記憶されている。リスト情報には、車両に搭載された複数のディスプレイのうちどのディスプレイに俯瞰画像を表示させるかを示す情報が含まれる。

【0080】

画像送信部１８は、送信先判断部１７により判断された２以上の送信先に、画像編集部１６が編集した俯瞰画像を送信する。２以上の送信先に送信される俯瞰画像は、例えば、同一の画像である。画像送信部１８は、例えば、通信回路（通信モジュール）を含んで構成される。

【0081】

画像処理装置２０は、信号受信部２１と、画像取得部２２と、画像処理部２３と、画像送信部２４とを備える。画像処理装置２０の各機能構成は、例えば、１つのＥＣＵ（第２ＥＣＵ）により実現される。第２ＥＣＵは、例えば、第１ＥＣＵとは別体のＥＣＵである。

【0082】

信号受信部２１は、信号送信部１３から送信された開始信号及び終了信号を受信する。信号受信部２１は、例えば、通信回路（通信モジュール）を含んで構成される。

【0083】

画像取得部２２は、カメラモジュール３０と通信可能に接続され、カメラモジュール３０から俯瞰画像を生成するための１以上のカメラ画像を取得する。カメラモジュール３０から取得するカメラ画像は、例えば、車両の周辺を撮像した画像である。

【0084】

画像処理部２３は、車両の状況が上記所定の開始条件を満たす場合、画像取得部２２により取得された複数の画像から、車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像を生成する。画像処理部２３は、生成部の一例である。

【0085】

画像送信部２４は、画像処理部２３により生成された俯瞰画像を運転支援装置１０（画像受信部１４）に送信する。画像送信部２４は、例えば、通信回路（通信モジュール）を含んで構成される。

【0086】

カメラモジュール３０は、俯瞰画像を生成可能な画像を撮像可能であり、車両の周囲を撮像可能な１以上のカメラを含む。カメラモジュール３０は車両に搭載されているが、これに限定されず、例えば、車外に設置されていてもよい。

【0087】

複数の制御装置のそれぞれは、車両に搭載された複数のディスプレイを制御可能な制御装置である。複数の制御装置の機能構成は、例えば共通であり、以下では第１制御装置４０を例に説明する。また、以下では、第２制御装置５０の各構成要素を、第１制御装置４０の各構成要素の符号を用いて説明する。

【0088】

第１制御装置４０は、電子サイドミラー１２０Ｒ及び１２０Ｌの表示を制御する制御装置であり、画像受信部４１と、描画部４２と、ディスプレイ制御部４３と有する。第１制御装置４０の各機能構成は、例えば、１つのＥＣＵ（第３ＥＣＵ）により実現される。第３ＥＣＵは、第１ＥＣＵ及び第２ＥＣＵとは別体のＥＣＵである。第１制御装置４０は、第１制御部の一例である。

【0089】

なお、電子サイドミラー１２０Ｒは、車両の右後方を撮像した右後方画像を表示可能な表示部を有するサイドミラーであり、電子サイドミラー１２０Ｌは、車両の左後方を撮像した左後方画像を表示可能な表示部を有するサイドミラーである。また、以降において、電子サイドミラー１２０Ｒ及び１２０Ｌを区別せずに記載する場合、又は、両方を含む場合、電子サイドミラー１２０とも記載する。

【0090】

画像受信部４１は、画像送信部１８から送信された俯瞰画像を受信する。画像受信部４１は、例えば、通信回路（通信モジュール）を含んで構成される。

【0091】

描画部４２は、電子サイドミラー１２０Ｒ及び１２０Ｌに表示する画像を生成する。描画部４２は、画像受信部４１が俯瞰画像を受信すると、表示レイアウト情報に基づいて、俯瞰画像以外の表示物も含めて表示する画像を描画する。描画部４２は、例えば、電子サイドミラー１２０Ｒが右後方画像及び俯瞰画像を一画面上に同時に表示するための表示画像を生成し、かつ、電子サイドミラー１２０Ｌが左後方画像及び俯瞰画像を一画面上に同時に表示するための表示画像を生成する。

【0092】

電子サイドミラー１２０Ｒが表示する画像の生成を例に説明すると、描画部４２は、右後方画像上に俯瞰画像を重畳して表示させてもよいし、右後方画像を縮小し、空いた表示スペースに俯瞰画像を表示させてもよいし、右後方画像（例えば、元々表示されている表示物を含む画像）を非表示とし俯瞰画像のみを表示させてもよい。また、描画部４２は、右後方画像上に俯瞰画像を重畳して表示させる場合、俯瞰画像の全体又は一部を半透明として重畳させてもよい。

【0093】

なお、表示レイアウト情報には、いずれの態様で俯瞰画像を表示させるか、及び、電子サイドミラー１２０Ｒにおける俯瞰画像の表示位置を示す情報が含まれる。表示レイアウト情報は、例えば予め運転者により設定され、記憶部に記憶されている。

【0094】

ディスプレイ制御部４３は、描画部４２が生成した表示画像を電子サイドミラー１２０Ｒ及び１２０Ｌに表示させるための制御信号を生成し、電子サイドミラー１２０Ｒ及び１２０Ｌに出力する。ディスプレイ制御部４３は、電子サイドミラー１２０Ｒ及び１２０Ｌに表示画像を表示させる制御を実行する。

【0095】

第２制御装置５０は、運転席の正面に配置されるディスプレイを制御する制御装置であり、本実施の形態では、ヘッドアップディスプレイの表示部１１０の表示を制御する。第２制御装置５０は、第２制御部の一例である。

【0096】

なお、ヘッドアップディスプレイは、車両に関するあらゆる情報を、画像（例えば、数字、文字及び矢印などの図形を含む視覚情報）として当該車両を操作する運転者に対して視認させる表示装置である。ヘッドアップディスプレイは、例えば、車両のコックピットの前方に設置されるウインドシールド（フロントガラス）やコンバイナを表示媒体として、当該ウインドシールド等に画像を投影して反射させることによって、画像を虚像として運転者に視認させる。この際、ウインドシールドやコンバイナが透光性を有することにより、車両の外側から入射する光は、ウインドシールド越しに見える景色として虚像とともに運転者に視認される。表示部１１０は、例えば、フロントガラスの一部により実現される。

【0097】

第３制御装置６０は、運転席の正面に配置されるディスプレイを制御する制御装置であり、例えば、インストルメントクラスターの表示を制御する制御装置である。

【0098】

操作部１３０は、俯瞰画像の表示機能のオン及びオフを切り替えるためのスイッチであり、例えば、ハンドル等に設けられる。操作部１３０は、例えば、専用のボタンであってもよい。また、操作部１３０が押されるごとに俯瞰画像の表示機能のオン及びオフが切り替えられてもよいし、操作部１３０が押されている期間のみ俯瞰画像の表示機能がオンされてもよい。

【0099】

なお、車両には、操作部１３０に替えて、又は、操作部１３０とともに、音声、ジェスチャ等により俯瞰画像の表示機能のオン及びオフを切り替えるため装置（例えば、集音装置又は撮像装置）が設けられてもよい。

【0100】

なお、上記では、操作部１３０により俯瞰画像の表示機能のオン及びオフが切り替えられる例について説明したがこれに限定されず、例えば、常時俯瞰画像の表示機能をオンにする設定があってもよい。運転者が俯瞰画像を常時表示するように事前に設定することで、右左折する際に運転者が操作部１３０を操作する必要がなくなるので、右左折における安全性を向上させることができる。なお、この場合における所定の開始条件は、常時俯瞰画像の表示機能をオンにする設定になっていることである。

【0101】

次に、上記のように構成される運転支援システム１の運転支援内容について、図２～図４を参照しながら説明する。図２は、車両１００の左折時における、本実施の形態に係る運転支援システム１の運転支援内容を説明するための図である。例えば、図２は、所定値（所定幅）より狭い道路２１０への左折進入を行う場合の各ディスプレイの表示内容を示す。図２の（ａ）～（ｃ）は、左折時のイメージ図を示す。図２の（ａ）は、車両１００の前方に表示される画像を示す図であり、図２の（ｂ）は、車両１００の左側の電子サイドミラー１２０Ｌに表示される画像を示す図であり、図２の（ｃ）は、車両１００の右側の電子サイドミラー１２０Ｒに表示される画像を示す図である。

【0102】

図２の状況において、運転者が右前方に視線を向けている場合、塀２２０Ｒを視認できるが車両１００の左側の塀（図４に示す塀２２０Ｌ）への注意がおろそかになりやすい。また、運転者が右前方に視線を向けている場合であっても、運転者が車両１００の運転に慣れていない場合、塀２２０Ｒとの距離感を掴みにくいことがある。

【0103】

また、図２の状況において、運転者が左側方の確認のため電子サイドミラー１２０Ｌに視線を向けている場合、電子サイドミラー１２０Ｌ越しに塀２２０Ｌを視認できるが右側の塀２２０Ｒへの注意がおろそかになりやすい。

【0104】

また、車両１００が右折する場合にも同様の課題が発生し得る。図３は、車両１００の右折時における、本実施の形態に係る運転支援システム１の運転支援内容を説明するための図である。例えば、図３は、所定値より狭い道路２１０への右折進入を行う場合の各ディスプレイの表示内容を示す。図３の（ａ）～（ｃ）は、右折時のイメージ図を示す。具体的には、図３の（ａ）は、車両１００の前方に表示される画像を示す図であり、図３の（ｂ）は、車両１００の左側の電子サイドミラー１２０Ｌに表示される画像を示す図であり、図３の（ｃ）は、車両１００の右側の電子サイドミラー１２０Ｒに表示される画像を示す図である。

【0105】

図３の状況において、運転者が左前方に視線を向けている場合、建物２２１Ｌを視認できるが車両１００の右側の塀２２０Ｒへの注意がおろそかになりやすい。また、運転者が左前方に視線を向けている場合であっても、運転者が車両１００の運転に慣れていない場合、建物２２１Ｌとの距離感を掴みにくいことがある。

【0106】

また、図３の状況において、運転者が右側方の確認のため電子サイドミラー１２０Ｒに視線を向けている場合、電子サイドミラー１２０Ｒ越しに塀２２０Ｒを視認できるが左前方の建物２２１Ｌへの注意がおろそかになりやすい。

【0107】

このように、例えば、車両１００が狭い道に左折進入及び右折進入する場合、上記の１つ目及び２つ目の課題が発生し得る。なお、上記の１つ目及び２つ目の課題は、車両１００が狭い道を直進する場合等にも発生し得る。

【0108】

そこで、運転支援システム１は、図２の（ａ）～（ｃ）に示すように、車両１００の俯瞰画像Ｐ１を表示部１１０、電子サイドミラー１２０Ｒ及び１２０Ｌのそれぞれに表示させる。これにより、運転支援システム１は、運転者が車両１００の前方を注視している際と、側方の障害物を警戒するために電子サイドミラー１２０Ｌを注視している際のいずれにおいても、運転者の視界中に俯瞰画像Ｐ１を表示することができる。俯瞰画像Ｐ１は、例えば、車両１００と、塀、側溝などとの距離を把握しやすい画像であり、かつ、車両１００の周囲の状況を１つの画像で把握させることが可能な画像である。よって、運転者は、車両１００の前方及び側方へ適切な配分で意識を配りつつ、障害物や側溝との距離などの車両１００の周辺状況を容易に確認することが可能となる。これは、障害物への衝突や脱輪が発生することを抑制することにつながる。

【0109】

なお、表示部１１０、電子サイドミラー１２０Ｒ及び１２０Ｌのそれぞれに表示される俯瞰画像Ｐ１は同一の画像（例えば、図４に示す画像）である。

【0110】

運転支援システム１は、車両１００の俯瞰画像Ｐ１を、電子サイドミラー１２０Ｒ及び１２０Ｌ、並びに、運転席正面に設置されている表示部１１０に同時に表示させる。運転支援システム１は、右左折のどちらであるかに応じて俯瞰画像Ｐ１の表示位置を異ならせてもよい。描画部４２は、右左折のそれぞれで、表示部１１０における俯瞰画像Ｐ１の表示位置を異ならせる。描画部４２は、例えば、車両が所定値より狭い道路２１０に右折又は左折で進入する場合、表示部１１０に表示される俯瞰画像Ｐ１の表示位置を、車両が右折するか左折するかに応じて異ならせてもよい。

【0111】

この場合、表示レイアウト情報は、右左折のそれぞれに対して設定される。そして、描画部４２は、車両１００が左折する場合、左折時の表示レイアウト情報に基づいて俯瞰画像Ｐ１の表示位置を決定し、車両１００が右折する場合、右折時の表示レイアウト情報に基づいて俯瞰画像の表示位置を決定する。

【0112】

図２の（ａ）に示すように、第２制御装置５０は、左折時には表示部１１０の右側の領域に俯瞰画像Ｐ１を表示させ、例えば、表示部１１０の右端に俯瞰画像Ｐ１を表示させてもよい。これにより、左折時に運転者が前方の障害物や側溝に視線を向けている間、俯瞰画像Ｐ１が運転者の視界に入りやすくなる。なお、左折時に表示部１１０に表示される俯瞰画像Ｐ１を含む画像は、第２画像の一例である。

【0113】

図３の（ａ）に示すように、第２制御装置５０は、右折時には表示部１１０の左側の領域に俯瞰画像Ｐ２を表示させ、例えば、表示部１１０の左端に俯瞰画像Ｐ２を表示させてもよい。これにより、右折時に運転者が前方の障害物や側溝に視線を向けている間、俯瞰画像Ｐ２が運転者の視界に入りやすくなる。なお、右折時に表示部１１０に表示される俯瞰画像Ｐ２を含む画像は、第２画像の一例である。

【0114】

このような第２画像は、例えば、所定の開始条件を満たす場合、生成された俯瞰画像Ｐ１を含む第２画像を表示させる第２制御情報が、第２制御装置５０のディスプレイ制御部４３から表示部１１０に出力されることで表示される。

【0115】

また、運転支援システム１は、電子サイドミラー１２０Ｒ及び１２０Ｌへの俯瞰画像の表示を、運転者による後方確認の妨げにならない態様で表示させる。描画部４２は、例えば、表示レイアウト情報に基づいて、電子サイドミラー１２０Ｒ及び１２０Ｌの表示領域のうち車体側の領域に表示させてもよい。車体側の領域とは、電子サイドミラー１２０Ｒ及び１２０Ｌの正面視において、表示領域の半分より車体側（内側）の領域であってもよく、さらには表示領域の１／３より車体側（内側）の領域であってもよい。

【0116】

描画部４２は、例えば、図２の（ｂ）及び（ｃ）並びに図３の（ｂ）及び（ｃ）に示すように、表示領域の半分より車体側であって、かつ、表示領域の上部（例えば、上部隅）の領域に俯瞰画像を表示させてもよい。表示領域の上部の領域に表示とは、表示領域の上部の領域及び下部の領域のうち、上部の領域に俯瞰画像の面積の半分以上が表示されていることを意味する。電子サイドミラー１２０Ｒ及び１２０Ｌに表示される俯瞰画像Ｐ１を含む画像は、第１画像の一例である。

【0117】

このような第１画像は、例えば、所定の開始条件を満たす場合、生成された俯瞰画像Ｐ１を含む第１画像を表示させる第１制御情報が、第１制御装置４０のディスプレイ制御部４３から電子サイドミラー１２０Ｒ及び１２０Ｌに出力されることで表示される。

【0118】

ここで俯瞰画像Ｐ１について、図４を参照しながら説明する。図４は、左折時における車両１００の俯瞰画像Ｐ１を示す図である。俯瞰画像Ｐ１が表示されることで、例えば、背が低い障害物や側溝などであっても、画像で確認を行うことができる。

【0119】

画像編集部１６は、俯瞰画像Ｐ１中の障害物や側溝の輪郭を検知し、色をつけて強調表示させてもよい。画像編集部１６は、障害物や側溝と車両１００との距離に応じて色をグラデーション的に変化させてもよく、例えば、車両１００に近いほど濃い赤で表示し、車両１００から遠いほど薄い赤で輪郭を表示してもよい。例えば、画像編集部１６は、障害物（又は側溝）との衝突又は脱輪リスクの高い部分は濃い赤とし、リスクが高い部分から離れるにつれて薄い赤へと色を変化させてもよい。側溝は、脱輪リスクがある部分の一例である。また、画像編集部１６は、生成部の一部として機能する。

【0120】

図４では、線Ｌ１は塀２２０Ｒの輪郭を示しており、車両１００との距離が近いほど濃い線としている。また、線Ｌ２は塀２２０Ｌの輪郭を示しており、車両１００との距離が近いほど濃い線としている。

【0121】

［２．運転支援システムの動作］
続いて、上記のように構成される運転支援システム１の動作について、図５及び図６を参照しながら説明する。図５は、本実施の形態に係る運転支援システム１の動作（運転支援方法）を示すシーケンス図である。

【0122】

図５に示すように、運転支援装置１０は、俯瞰画像の表示条件（例えば、所定の開始条件）を満たすと判定する（Ｓ１０）と、画像処理装置２０に俯瞰画像を生成するための指示を信号送信部１３を介して送信し、画像処理装置２０は当該指示を信号受信部２１を介して受信する（Ｓ２０）。

【0123】

次に、画像処理装置２０の画像取得部２２は、カメラモジュール３０から俯瞰画像を生成するためのカメラ画像を取得する（Ｓ３０）。画像取得部２２は、俯瞰画像の表示条件を満たすと判定された時点及びそれ以降に撮像されたカメラ画像を取得する。カメラ画像には、車両の周囲の障害物、側溝等が含まれ得る。画像取得部２２は、例えば、所定の時間間隔ごとにカメラ画像を取得する。

【0124】

次に、画像処理装置２０の画像処理部２３は、画像取得部２２により取得されたカメラ画像に基づいて、車両１００を含む車両１００の周辺の俯瞰画像を生成する（Ｓ４０）。画像処理部２３は、例えば、所定の時間間隔ごとに俯瞰画像を生成する。

【0125】

次に、画像処理装置２０は、生成された俯瞰画像を画像送信部２４を介して運転支援装置１０に送信し、運転支援装置１０は、画像処理装置２０からの俯瞰画像を画像受信部１４を介して受信する（Ｓ５０）。運転支援装置１０は、俯瞰画像に対して解析及び編集を実行してもよい。

【0126】

次に、運転支援装置１０の送信先判断部１７は、運転者が事前に設定した情報に基づいて、俯瞰画像の送信先のディスプレイを判断する（Ｓ６０）。送信先判断部１７は、例えば、当該情報を記憶部等から読み出し、読み出した情報が示すディスプレイを俯瞰画像の送信先のディスプレイであると判断する。図５の例では、ヘッドアップディスプレイ（ＨＵＤ）の表示部１１０が俯瞰画像の送信先のディスプレイであると判定された場合のシーケンス図を示す。なお、電子サイドミラー１２０には、必ず俯瞰画像が送信される。

【0127】

なお、ステップＳ６０の処理は、車両１００の運転席の正面に複数のディスプレイが配置される場合に実行される。

【0128】

次に、運転支援装置１０の画像送信部１８は、判断された送信先のディスプレイのそれぞれに俯瞰画像を送信する（Ｓ７０、Ｓ８０）。画像送信部１８は、例えば、判断された送信先のディスプレイのそれぞれに共通の俯瞰画像を送信する。これにより、表示部１１０及び電子サイドミラー１２０のそれぞれにおいて、同一の俯瞰画像を表示させることができる。

【0129】

次に、第１制御装置４０の描画部４２は、画像受信部４１が俯瞰画像を受信する（Ｓ７０）と、表示物を描画する（Ｓ９０）。描画部４２は、例えば、もともと表示部１１０に表示させる表示物（第３画像）に俯瞰画像を重畳等することで表示部１１０に表示させる表示画像を生成してもよい。描画部４２は、俯瞰画像を半透明状態（例えば、透過率５０％等）とし、表示物に重畳させてもよい。また、描画部４２は、表示部１１０に表示させる予定の第３画像の表示を停止し、俯瞰画像のみを表示させてもよい。また、描画部４２は、表示部１１０に表示させる予定の第３画像の表示レイアウトを変更し、表示レイアウトが変更されたに第３画像及び俯瞰画像を同時に表示させてもよい。第３画像及び俯瞰画像を同時に表示するための画像は、第２画像の一例である。

【0130】

なお、第３画像は、俯瞰画像ではない画像であり、また所定の開始条件を満たすか否かに関わらず表示される画像である。第３画像は、車両の走行を支援するための画像であってもよく、例えば、経路案内、車両状態等を示す画像であってもよい。

【0131】

なお、俯瞰画像を表示物に重畳させるか否か、第３画像の表示レイアウトを変更させるか否か等は、運転者により予め設定されていてもよい。この場合、描画部４２は、運転者により予め設定された情報を読み出し、読み出した情報に基づいて、俯瞰画像を表示物に重畳させるか否か、第３画像の表示レイアウトを変更させるか否か等のいずれを実行するかを判断してもよい。

【0132】

次に、ディスプレイ制御部４３は、描画部４２が生成した表示画像を表示するための制御情報を表示部１１０に出力し、表示部１１０は、当該制御情報を取得する（Ｓ１００）。

【0133】

次に、表示部１１０は、ディスプレイ制御部４３から取得した制御情報に基づいて表示画像を表示する（Ｓ１１０）。

【0134】

また、第２制御装置５０の描画部４２は、画像受信部４１が俯瞰画像を受信する（Ｓ８０）と、表示物を描画する（Ｓ１２０）。第２制御装置５０の描画部４２は、例えば、もともと電子サイドミラー１２０に表示させる表示物（画像）に俯瞰画像を重畳等することで電子サイドミラー１２０に表示させる表示画像を生成してもよい。第２制御装置５０の描画部４２は、俯瞰画像を半透明状態（例えば、透過率５０％等）とし、表示物に重畳させてもよい。なお、第２制御装置５０の描画部４２は、第１制御装置４０の描画部４２が実行する他の方法により俯瞰画像を表示させてもよい。

【0135】

次に、第２制御装置５０のディスプレイ制御部４３は、描画部４２が生成した表示画像を表示するための制御情報を電子サイドミラー１２０に出力し、電子サイドミラー１２０は、当該制御情報を取得する（Ｓ１３０）。

【0136】

次に、電子サイドミラー１２０は、第２制御装置５０のディスプレイ制御部４３から取得した制御情報に基づいて表示画像を表示する（Ｓ１４０）。ステップＳ１４０において、電子サイドミラー１２０Ｒ及び１２０Ｌのそれぞれが俯瞰画像を含む表示画像を表示してもよいし、車両１００の進行方向に応じた一方の電子サイドミラー１２０のみが俯瞰画像を含む表示画像を表示してもよい。

【0137】

なお、ステップＳ７０、ステップＳ９０～Ｓ１１０の処理と、ステップＳ８０、ステップＳ１２０～Ｓ１４０の処理とは、平行して実行される。例えば、ステップＳ１１０及びＳ１４０は、同時に実行される。例えば、表示部１１０の表示画像における俯瞰画像の表示期間と、電子サイドミラー１２０における俯瞰画像の表示期間とは、少なくとも一部が重なる。これにより、運転者が前方側を確認しているときであっても、側方を確認しているときであっても、運転者に俯瞰画像を視認させることが可能である。

【0138】

次に、運転支援装置１０の動作について、図６を参照しながら説明する。図６は、本実施の形態に係る運転支援装置１０の動作（運転支援方法）を示すフローチャートである。

【0139】

図６に示すように、運転支援装置１０の表示条件判断部１２は、各取得部が取得した情報に基づいて、現在の車両１００が俯瞰画像の表示条件を満たしているか否かを判定する（Ｓ２１０）。表示条件判断部１２は、上記で説明した条件のいずれかを満たす場合、俯瞰画像の表示条件を満たすと判定する。なお、俯瞰画像の表示条件は、所定の条件（所定の開始条件）の一例である。ステップＳ２１０でＹｅｓと判定されることは、図５に示すステップＳ１０に対応する。

【0140】

次に、運転支援装置１０の信号送信部１３は、表示条件判断部１２により車両１００の状況が俯瞰画像の表示条件を満たしていると判定する（Ｓ２１０でｙｅｓ）と、画像処理装置２０に対して俯瞰画像の生成の指示を送信する（Ｓ２２０）。ステップＳ２２０は、図５に示すステップＳ２０に対応する。これにより、画像処理装置２０により俯瞰画像が生成される。

【0141】

次に、運転支援装置１０の画像受信部１４は、画像処理装置２０から俯瞰画像を取得する（Ｓ２３０）。ステップＳ２３０は、図５に示すステップＳ５０に対応する。

【0142】

次に、運転支援装置１０の送信先判断部１７は、運転者により予め設定された情報に基づいて、画像送信先のディスプレイを判断する（Ｓ２４０）。ステップＳ２４０は、図５に示すステップＳ６０に対応する。

【0143】

次に、運転支援装置１０の画像送信部１８は、第１制御装置４０及び第２制御装置５０のそれぞれに俯瞰画像を出力する（Ｓ２５０）。ステップＳ２５０は、図５に示すステップＳ７０及びＳ８０に対応する。

【0144】

次に、運転支援装置１０は、運転停止するか否かを判定する（Ｓ２６０）。運転支援装置１０は、例えば、自車両が目的地に到着した場合、又は、運転者から運転を停止する操作を受け付けた場合、運転停止すると判定してもよい。運転支援装置１０は、運転停止すると判定した場合（Ｓ２６０でｙｅｓ）、俯瞰画像を表示するための処理を終了し、運転停止しないと判定した場合（Ｓ２６０でｎｏ）、ステップＳ２１０に戻り処理を継続する。

【0145】

また、運転支援装置１０の表示条件判断部１２は、車両１００の状況が俯瞰画像の表示条件を満たしていないと判定する（Ｓ２１０でｎｏ）と、さらに現在が俯瞰画像を表示中か否かを判定する（Ｓ２７０）。表示条件判断部１２は、例えば、ステップＳ２１０でｎｏと判定される前の直近のステップＳ２１０の判定結果に基づいてステップＳ２７０の判定を行ってもよい。

【0146】

運転支援装置１０は、現在が俯瞰画像を表示中であると表示条件判断部１２が判定する（Ｓ２７０でｙｅｓ）と、俯瞰画像を非表示とする処理を実行する（Ｓ２８０）。例えば、運転支援装置１０の信号送信部１３は、俯瞰画像の生成の終了を示す信号を画像処理装置２０に送信する。画像処理部２３は、当該信号を信号受信部２１を介して取得すると、俯瞰画像を生成する処理を停止する。

【0147】

また、運転支援装置１０は、現在が俯瞰画像を表示中ではないと表示条件判断部１２が判定する（Ｓ２７０でｎｏ）と、ステップＳ２１０に戻り処理を継続する。

【0148】

（実施の形態の変形例１）
以下では、運転支援システムの支援対象である車両の別の例について、図７及び図８を参照しながら説明する。なお、以下では、実施の形態との相違点を中心に説明し、実施の形態と同一又は類似の内容については説明を省略又は簡略化する。

【0149】

図７は、本変形例に係る車両の内部構成の一例を示す図である。図７では、運転席の正面に配置されるインストルメントクラスターが表示部１１０ａである例について説明する。

【0150】

図７に示すように、車両には、メータ等の機器の周辺に表示部１１０ａ（図７の例では、マルチインフォメーションディスプレイ）が搭載されている。第２制御装置５０は、例えば、表示部１１０ａに表示される画像を制御する。第２制御装置５０は、俯瞰画像の表示条件を満たしている場合、表示部１１０ａに車両の俯瞰画像を含む第２画像を表示させる。

【0151】

なお、マルチインフォメーションディスプレイは、インストルメントパネル内に備えられる表示システムのことである。

【0152】

また、ヘッドアップディスプレイ及びインストルメントクラスターの両方が車両に搭載されている場合、運転者は、どちらに俯瞰画像を表示するかを設定可能であってもよい。そして、第２制御装置５０は、当該設定を読み出し、読み出した設定が示すディスプレイに俯瞰画像を含む画像を表示させてもよい。

【0153】

図８は、本変形例に係る車両の内部構成の他の一例を示す図である。

【0154】

図８に示すように、表示部１１０ｂは、インストルメントパネルの横方向における中央付近に配置されていてもよい。第２制御装置５０は、インストルメントパネルの横方向における中央付近に配置された表示部１１０ｂに俯瞰画像を含む画像を表示させてもよい。

【0155】

（実施の形態の変形例２）
以下では、本変形例に係る運転支援システムについて、図９を参照しながら説明する。なお、以下では、実施の形態との相違点を中心に説明し、実施の形態と同一又は類似の内容については説明を省略又は簡略化する。

【0156】

図９は、本変形例に係る運転支援システム１ａの機能構成を示すブロック図である。

【0157】

図９に示すように、本変形例に係る運転支援システム１ａは、運転支援装置１０ａと、カメラモジュール３０と、第１制御装置４０と、第２制御装置５０と、第３制御装置６０とを備える。運転支援システム１ａは、実施の形態に係る運転支援システム１の運転支援装置１０及び画像処理装置２０に替えて、運転支援装置１０ａを備える。

【0158】

運転支援装置１０ａは、運転支援装置１０及び画像処理装置２０の両方の機能を有する。具体的には、運転支援装置１０ａは、機能情報取得部１１ａと、入力情報取得部１１ｂと、車速情報取得部１１ｃと、自己位置情報取得部１１ｄと、ナビ経路情報取得部１１ｅと、マップ情報取得部１１ｆと、表示条件判断部１２と、信号送信部１３と、画像受信部１４と、画像解析部１５と、画像編集部１６と、送信先判断部１７と、画像送信部１８と、画像取得部２２ａと、画像処理部２３ａとを備える。画像取得部２２ａは画像取得部２２と同様の機能を有し、画像処理部２３ａは画像処理部２３と同様の機能を有する。運転支援装置１０ａの各機能構成は、例えば、１つのＥＣＵにより実現される。

【0159】

なお、当該１つのＥＣＵは、さらに各制御装置の機能を実現可能であってもよい。例えば、当該１つのＥＣＵは、さらに、第１制御装置４０、第２制御装置５０及び第３制御装置６０の少なくとも１つ（例えば、全て）の機能を実行可能であってもよい。

【0160】

（その他の実施の形態）
以上、一つ又は複数の態様に係る運転支援システム等について、実施の形態等に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。

【0161】

例えば、上記実施の形態等では、右左折のそれぞれにおいて電子サイドミラー１２０Ｒ及び１２０Ｌのそれぞれに俯瞰画像が表示される例について説明したが、これに限定されない。電子サイドミラー１２０Ｒ及び１２０Ｌのうち車両が曲がる方向に応じた電子サイドミラー１２０Ｒ又は１２０Ｌのみに俯瞰画像が表示されてもよい。例えば、車両１００が左折する場合、電子サイドミラー１２０Ｒ及び１２０Ｌのうち電子サイドミラー１２０Ｌのみに俯瞰画像が表示され、車両１００が右折する場合、電子サイドミラー１２０Ｒ及び１２０Ｌのうち電子サイドミラー１２０Ｒのみに俯瞰画像が表示されてもよい。

【0162】

また、上記実施の形態等における車両１００の周囲画像から俯瞰画像を生成する方法は、既知のいかなる方法が用いられてもよい。

【0163】

また、上記実施の形態等では、運転席の正面に配置されるディスプレイとして表示部１１０等を例示したが、これらに限定されず、例えば、運転席の正面に固定されたスマートフォンなどのディスプレイが運転席の正面に配置されるディスプレイとして用いられてもよい。

【0164】

また、上記実施の形態等では、描画部４２は、表示レイアウト情報に基づいて俯瞰画像の表示位置を決定する例について説明したが、運転者を撮像した画像等に基づいて検知された運転者の視線に基づいて俯瞰画像の表示位置を決定してもよい。描画部４２は、例えば、運転者の視線の方向と表示部１１０とが交差する点を含む領域に、俯瞰画像を表示させてもよい。

【0165】

また、近年、自動運転などの先進機能を利用者へ提供するため、従来複数のＥＣＵに分かれて搭載されていた機能を１つのＥＣＵへ統合する動きがある。ＥＣＵの統合において、１つのＥＣＵに複数の仮想的なコンピュータを動作させるために仮想化技術が利用されている。その仮想的なコンピュータは仮想マシンと呼ばれ、複数の仮想マシンを動作させる仮想化基盤となるソフトウェアはハイパーバイザと呼ばれる。本開示では、複数の仮想マシンは、運転支援装置１０、１０ａが実行する機能を実行可能な運転支援アプリを動作させるオペレーティングシステムである仮想マシン、画像処理装置２０が実行する機能を実行可能な画像処理アプリを動作させるオペレーティングシステムである仮想マシン、及び、各種制御装置が実行する機能を実行可能な制御アプリを動作させるオペレーティングシステムである仮想マシン等を含む。本開示における情報の出力、送信とは、ハイパーバイザ上で動作する一のアプリから他のアプリに情報が受け渡されること（例えば、１つのチップ内で情報が受け渡されること）を含む。

【0166】

また、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0167】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が他のステップと同時（並列）に実行されてもよいし、上記ステップの一部は実行されなくてもよい。

【0168】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0169】

また、上記実施の形態等に係る運転支援装置、画像処理装置、各種制御装置等の情報処理装置のそれぞれは、単一の装置として実現されてもよいし、複数の装置により実現されてもよい。当該情報処理装置が複数の装置によって実現される場合、当該情報処理装置が有する各構成要素は、複数の装置にどのように振り分けられてもよい。情報処理装置が複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信及び有線通信が組み合わされてもよい。

【0170】

また、上記実施の形態等で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路（専用のプログラムを実行する汎用回路）又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。

【0171】

システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

【0172】

また、本開示の一態様は、図５及び図６のいずれかに示される運転支援方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。

【0173】

また、例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。

【産業上の利用可能性】

【0174】

本開示は、運転者による車両の運転を支援する支援システム等に有用である。

【符号の説明】

【0175】

１、１ａ 運転支援システム
１０、１０ａ 運転支援装置
１１ａ 機能情報取得部
１１ｂ 入力情報取得部
１１ｃ 車速情報取得部
１１ｄ 自己位置情報取得部
１１ｅ ナビ経路情報取得部
１１ｆ マップ情報取得部
１２ 表示条件判断部（判断部）
１３ 信号送信部
１４、４１ 画像受信部
１５ 画像解析部
１６ 画像編集部（生成部）
１７ 送信先判断部
１８、２４ 画像送信部
２０ 画像処理装置
２１ 信号受信部
２２、２２ａ 画像取得部
２３、２３ａ 画像処理部（生成部）
３０ カメラモジュール
４０ 第１制御装置（第１制御部）
４２ 描画部
４３ ディスプレイ制御部
５０ 第２制御装置（第２制御部）
６０ 第３制御装置
１００ 車両
１１０、１１０ａ、１１０ｂ 表示部（第１表示装置）
１２０Ｌ、１２０Ｒ 電子サイドミラー
１３０ 操作部
２１０ 道路
２２０Ｌ、２２０Ｒ 塀
２２１Ｌ 建物
Ｌ１、Ｌ２ 線
Ｐ１、Ｐ２ 俯瞰画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】