知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-14
(45)【発行日】2025-04-22
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G08G 1/0965 20060101AFI20250415BHJP
G08G 1/16 20060101ALI20250415BHJP
【ＦＩ】
G08G1/0965
G08G1/16 C
【請求項の数】
3
(21)【出願番号】P 2023100954
(22)【出願日】2023-06-20
(62)【分割の表示】P 2020101593の分割
【原出願日】2020-06-11
(65)【公開番号】P2023112053
(43)【公開日】2023-08-10
【審査請求日】2023-06-20
【前置審査】
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】白土 敏治
(72)【発明者】
【氏名】間根山 しおり
(72)【発明者】
【氏名】榎坂 徹也
(72)【発明者】
【氏名】小出 兼靖
【審査官】西堀 宏之
(56)【参考文献】
【文献】特開２０１９－１５６１４４（ＪＰ，Ａ）
【文献】特開２０１７－２００８１２（ＪＰ，Ａ）
【文献】特開２０１９－０１０９２９（ＪＰ，Ａ）
【文献】国際公開第２０１６／０８４１４９（ＷＯ，Ａ１）
【文献】特許第７３０６３３３（ＪＰ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００－９９／００
(57)【特許請求の範囲】
【請求項1】
車両（２）が備える表示装置（１５）に画像（６１、６１Ａ、６１Ｂ、６１Ｃ、７１）を表示する画像処理装置（３）であって、緊急車両（７３）の位置を表す情報を取得するように構成された情報取得ユニット（３５）が取得した前記情報に基づき、前記緊急車両は前記車両に接近しているか否かを判断するように構成された判断ユニット（３６）と、
前記車両が自動運転を行っているときに、前記緊急車両は前記車両に接近していると前記判断ユニットが判断した場合、前記画像を変更する画像変更ユニット（３７）と、
を備え、
前記判断ユニットは、前記緊急車両が前記車両を既に通過したか否かをさらに判断するように構成され、
前記緊急車両が前記車両を既に通過したと前記判断ユニットが判断した場合、前記画像変更ユニットは、前記画像変更ユニットによる変更の後の前記画像（７１）を、前記緊急車両が前記車両の横を既に通過したことを表す報知を含む画像にさらに変化させるように構成された画像処理装置。
【請求項2】
請求項１に記載の画像処理装置であって、前記画像変更ユニットによる変更の後の前記画像（７１）は、前記車両の周辺の他車両（６３）及び前記車両を、前記車両よりも後方の視点から俯瞰した俯瞰画像である画像処理装置。
【請求項3】
請求項１又は２に記載の画像処理装置であって、前記車両が自動運転を行っているときに、前記緊急車両は前記車両に接近していると前記判断ユニットが判断した場合、前記画像変更ユニットは、それまで表示していた画像に、前記緊急車両の接近を知らせる通知を重ねて表示する画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は画像処理装置に関する。
【背景技術】
【0002】
車両が自動運転を行っているときに、その車両に緊急車両が接近することがある。自動運転を継続したまま、緊急車両を回避する制御を実行する車両制御装置が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１５６１４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
車両に緊急車両が接近したとき、車両の周囲の状況によっては、自動運転から手動運転に移行し、車両の乗員の運転操作によって緊急車両を回避する必要がある。しかしながら、自動運転を行っている車両の乗員は、緊急車両の接近に気づかないことがある。
【0005】
本開示の１つの局面では、緊急車両の接近を車両の乗員に知らせることができる画像処理装置を提供することが好ましい。
【課題を解決するための手段】
【0006】
本開示の１つの局面は、車両（２）が備える表示装置（１５）に画像（６１、６１Ａ、６１Ｂ、６１Ｃ、７１）を表示する画像処理装置（３）である。画像処理装置は、緊急車両（７３）の位置を表す情報を取得するように構成された情報取得ユニット（３５）が取得した前記情報に基づき、前記緊急車両は前記車両に接近しているか否かを判断するように構成された判断ユニット（３６）と、前記車両が自動運転を行っているときに、前記緊急車両は前記車両に接近していると前記判断ユニットが判断した場合、前記画像を変更する画像変更ユニット（３７）と、を備える。
【0007】
本開示の１つの局面である画像処理装置は、緊急車両の接近を車両の乗員に知らせることができる。
【図面の簡単な説明】
【0008】
【図1】車載システムの構成を表すブロック図である。
【図2】画像処理装置の機能的構成を表すブロック図である。
【図3】車載システムが実行する処理を表すフローチャートである。
【図4】車載システムが実行する処理を表すフローチャートである。
【図9】手動運転への備え要求の表示態様を表す説明図である。
【図11】車両が停車し、緊急車両が通過した場合の手動運転要求、自動運転提案、及び運転支援提案の表示態様を表す説明図である。
【図12】車両が停車せずに緊急車両が通過した場合の自動運転続行通知、及び解除通知の表示態様を表す説明図である。
【図13】緊急車両が通過する前に手動運転に移行する場合の手動運転要求の表示態様を表す説明図である。
【図14】表示範囲が緊急車両の位置を含む変更後画像を表す説明図である。
【発明を実施するための形態】
【0009】
本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
１．車載システム１の構成
車載システム１の構成を、図１及び図２に基づき説明する。車載システム１は、車両２に搭載されている。
＜第１実施形態＞
１．車載システム１の構成
車載システム１の構成を、図１及び図２に基づき説明する。車載システム１は、車両２に搭載されている。
【0010】
図１に示すように、車載システム１は、画像処理装置３と、自動運転システム５と、ロケータＥＣＵ７と、走行制御ＥＣＵ９と、周辺監視センサ１１と、メータディスプレイ１５と、ＣＩＤ（Center Information Display）１７と、ＨＵＤ１９と、通信モジュール２１と、を備える。車載システム１の各構成は、通信バス２９により、互いに通信可能に接続されている。
【0011】
画像処理装置３は、は、ＣＰＵ３１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ３３とする）と、を有するマイクロコンピュータを備える。
画像処理装置３の各機能は、ＣＰＵ３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３３が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置３は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
画像処理装置３の各機能は、ＣＰＵ３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ３３が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置３は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
【0012】
画像処理装置３は、図２に示すように、情報取得ユニット３５と、条件判断ユニット３６と、画像変更ユニット３７と、通知ユニット３８と、要求表示ユニット３９と、を備える。画像処理装置３が備える各構成の機能は後述する。
【0013】
自動運転システム５は、自動運転ＥＣＵ４１と、運転支援ＥＣＵ４３と、を備える。自動運転ＥＣＵ４１は、自動運転機能を実現させる車載ＥＣＵである。自動運転とは、車両２の乗員に代わり運転操作を自動で行う機能である。自動運転ＥＣＵ４１は、例えば、レベル３以上の自動運転を可能にする。自動運転のレベルとは、米国自動車技術会が規定する自動運転レベルである。
【0014】
自動運転ＥＣＵ４１は、ロケータＥＣＵ７からロケータ情報及び地図情報を取得する。ロケータ情報及び地図情報については後述する。また、自動運転ＥＣＵ４１は、周辺監視センサ１１から検出情報を取得する。検出情報については後述する。
【0015】
自動運転ＥＣＵ４１は、ロケータ情報、地図情報、及び検出情報に基づき、車両２の走行環境を認識する。走行環境として、例えば、車両２の周辺に存在する物標の位置及び速度等が挙げられる。物標として、例えば、車両２の周辺の他車両６３、歩行者、自転車、動物、固定物、車線境界線等が挙げられる。また、走行環境として、例えば、車両２が走行しているレーンの位置及び形状等が挙げられる。
【0016】
自動運転ＥＣＵ４１は、認識した走行環境に基づき、車両２の予定走行ラインを生成する。自動運転ＥＣＵ４１は、走行制御ＥＣＵ９と連携しながら、生成した予定走行ラインに沿って車両２が走行するように、車両２の加減速制御及び操舵制御等を実行する。
【0017】
運転支援ＥＣＵ４３は、車両２の乗員の運転操作を支援する運転支援操作を実現させる車載ＥＣＵである。運転支援ＥＣＵ４３は、例えば、レベル２程度の高度運転支援又は部分的な自動走行制御を可能にする。
【0018】
ロケータＥＣＵ７は、ＧＮＳＳ（Global Navigation Satellite System）受信器及び慣性センサ等を含む。ロケータＥＣＵ７は、ＧＮＳＳ受信器で受信する測位信号、慣性センサの計測結果、及び通信バス２９に出力された車速情報等を組み合わせ、車両２の位置及び進行方向等を逐次測定する。ロケータＥＣＵ７は、ロケータ情報を通信バス２９に逐次出力する。ロケータ情報は、車両２の位置及び進行方向等を表す情報である。
【0019】
ロケータＥＣＵ７は、地図データベース５１をさらに備える。地図データベース５１は、大容量の記憶媒体を主体とする構成である。記憶媒体には、多数の地図データが格納されている。地図データとして、３次元地図データ及び２次元地図データがある。３次元地図データは、いわゆる高精度地図データである。３次元地図データは、高度運転支援及び自動運転に必要な情報を含んでいる。３次元地図データは、道路の３次元形状情報、各レーンの詳細情報等を含んでいる。
【0020】
ロケータＥＣＵ７は、車両２の現在位置周辺の地図データを地図データベース５１から読み出す。ロケータ７ＥＣＵは、運転支援ＥＣＵ４３及び自動運転ＥＣＵ４１等に、ロケータ情報とともに地図情報を提供する。地図情報は、地図データベース５１から読み出した地図データを含む情報である。
【0021】
なお、車載システム１は、ロケータＥＣＵ７に替えて、スマートフォン等のユーザ端末又はナビゲーション装置等からロケータ情報及び地図情報を取得し、取得したロケータ情報及び地図情報を運転支援ＥＣＵ４３及び自動運転ＥＣＵ４１等に提供してもよい。
【0022】
走行制御ＥＣＵ９は、マイクロコントローラを主体として含む電子制御装置である。走行制御ＥＣＵ９は、車輪速センサの検出信号に基づき、車速情報を生成する。車輪速センサは、車両２の各輪のハブ部分に設けられている。車速情報は、車両２の現在の走行速度を示す情報である。走行制御ＥＣＵ９は、車速情報を通信バス２９に逐次出力する。
【0023】
走行制御ＥＣＵ９は、ブレーキ制御ＥＣＵ及び駆動制御ＥＣＵの機能を少なくとも有する。走行制御ＥＣＵ９は、車両２の乗員の運転操作に基づく操作指令、運転支援ＥＣＵ４３からの制御指令、及び自動運転ＥＣＵ４１からの制御指令のいずれか一つに基づき、車両２の各輪に発生させるブレーキ力の制御と、車両２の動力源の出力制御とを継続的に実施する。
【0024】
周辺監視センサ１１は、車両２の周辺環境を監視する自律センサである。周辺監視センサ１１は、車両２の周辺に存在する物標を検出可能である。周辺監視センサ１１は、検出情報を、通信バス２９を介して、運転支援ＥＣＵ４３及び自動運転ＥＣＵ４１等に提供する。検出情報は、検出した物標の位置及び速度等を表す情報である。
【0025】
周辺監視センサ１１は、例えば、カメラユニット５３及びミリ波レーダ５５等を含む。カメラユニット５３は、単眼カメラを含む構成であってもよいし、複眼カメラを含む構成であってもよい。カメラユニット５３は、例えば、車両２の前方範囲、側方範囲、及び後方範囲等を撮影可能である。検出情報は、例えば、カメラユニット５３が車両２の周囲を撮影して生じた撮像データ、及び撮像データの解析結果の少なくとも一方を含む。
【0026】
ミリ波レーダ５５は、ミリ波又は準ミリ波を車両２の周囲へ向けて照射する。ミリ波レーダ５５は、物標で反射した反射波を受信する。検出情報は、例えば、ミリ波レーダ５５の検出結果を含む。周辺監視センサ１１は、ライダ及びソナー等をさらに備えていてもよい。
【0027】
メータディスプレイ１５及びＣＩＤ１７は、それぞれ、例えば、液晶ディスプレイ又はＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等を主体とする構成である。メータディスプレイ１５及びＣＩＤ１７は、画像処理装置３から取得する制御信号及び映像データに基づき、種々の画像を表示画面に表示させる。
【0028】
メータディスプレイ１５は、例えば、車両２の運転席の正面に設置されている。ＣＩＤ１７は、例えば、車両２のセンタクラスタの上方に設置されている。ＣＩＤ１７は、タッチパネルの機能を有している。ＣＩＤ１７は、例えば、車両２の乗員等による表示画面へのタッチ操作及びスワイプ操作等を検出する。
【0029】
ＨＵＤ１９は、画像処理装置３から取得する制御信号及び映像データに基づき、車両２の乗員の前方に結像される画像の光を、ウィンドシールドに投影する。ウィンドシールドにて車両２の車室内側に反射された画像の光は、車両２の乗員によって知覚される。こうしてＨＵＤ１９は、ウィンドシールドよりも前方の空間中に虚像を表示する。車両２の乗員は、ＨＵＤ１９によって表示される虚像を、車両２の前景と重ねて視認する。
【0030】
なお、メータディスプレイ１５、ＣＩＤ１７、及びＨＵＤ１９は、車両２が備える表示装置に対応する。
通信モジュール２１は、車両２の外部に位置する通信対象との間で無線通信を行うことができる。通信対象として、例えば、後述する緊急車両７３、管理センター等が挙げられる。
通信モジュール２１は、車両２の外部に位置する通信対象との間で無線通信を行うことができる。通信対象として、例えば、後述する緊急車両７３、管理センター等が挙げられる。
【0031】
２．車載システム１が実行する処理
車載システム１が実行する処理を、図３～図１３に基づき説明する。車載システム１は、レベル３以上の自動運転を行っているときにこの処理を実行する。レベル３以上の自動運転を行っているとき、車両２の乗員は、車両２の周辺を監視しなくてもよい。
車載システム１が実行する処理を、図３～図１３に基づき説明する。車載システム１は、レベル３以上の自動運転を行っているときにこの処理を実行する。レベル３以上の自動運転を行っているとき、車両２の乗員は、車両２の周辺を監視しなくてもよい。
【0032】
後述するステップ５で変更後画像７１が表示されるまで、画像処理装置３は、メータディスプレイ１５に通常画像６１を表示している。通常画像６１として、例えば、図５Ａに示す通常画像６１Ａと、図５Ｂに示す通常画像６１Ｂと、図５Ｃに示す通常画像６１Ｃとがある。
【0033】
通常画像６１Ａは、車両２の乗員にリラックスを推奨する旨の表示を含む画像である。通常画像６１Ｂは俯瞰画像である。俯瞰画像とは、車両２の周辺の他車両６３、車両２、車線境界線等を、車両２よりも後方の視点から俯瞰した画像である。通常画像６１Ｂは、周辺監視センサ１１を用いて取得した情報に基づき合成された合成画像である。通常画像６１Ｂは、周辺監視センサ１１を用いて検知した、車両２の周囲の状況に合わせて更新される。
【0034】
通常画像６１Ｃは、ナビゲーション装置の表示のように、車両２の位置を表す画像である。通常画像６１Ｃは、車両２の周囲を表す地図を含む画像である。通常画像６１Ｃは、例えば、車両２の走行ルート６５と、走行ルート６５上における車両２の位置６７とを表す画像である。通常画像６１Ａ、通常画像６１Ｂ、及び通常画像６１Ｃは、それぞれ、車両２の速度を表示している。
【0035】
図３のステップ１では、まず、画像処理装置３の情報取得ユニット３５が、通信モジュール２１を用いて、通信対象から、緊急車両７３の位置を表す情報（以下では緊急車両情報とする）を取得する。通信対象は、例えば、緊急車両７３、管理センター等である。緊急車両情報は、例えば、緊急車両７３の位置に加えて、緊急車両７３の速度、緊急車両７３の進行方向、緊急車両７３の予定走行軌跡等を表す情報であってもよい。
【0036】
次に、画像処理装置３の条件判断ユニット３６が、取得した緊急車両情報に基づき、緊急車両７３を検知したか否かを判断する。緊急車両７３を検知したと判断した場合、本処理はステップ２に進む。緊急車両７３を検知しなかったと判断した場合、本処理はステップ１の前に戻る。
【0037】
ステップ２では、条件判断ユニット３６が、前記ステップ１で取得した緊急車両情報に基づき、緊急車両７３は車両２に接近しているか否かを判断する。接近しているとは、車両２と緊急車両７３との距離が時間の経過とともに短くなることを意味する。
【0038】
緊急車両７３が車両２に接近していると判断した場合、本処理はステップ３に進む。緊急車両７３が車両２に接近していないと判断した場合、本処理はステップ１の前に戻る。なお、緊急車両７３が車両２に接近していることは、第１条件が成立することに対応する。
【0039】
ステップ３では、画像処理装置３の通知ユニット３８が、緊急車両７３の接近を車両２の乗員に通知する。例えば、図６Ａに示すように、メータディスプレイ１５に通常画像６１Ａが表示されている場合、通知ユニット３８は、最初に、接近通知６９を通常画像６１Ａの中央に大きく表示する。次に、通知ユニット３８は、接近通知６９を通常画像６１Ａの隅に小さく表示する。接近通知６９は、緊急車両７３が車両２に接近していることを表す通知である。
【0040】
図６Ｂに示すように、メータディスプレイ１５に通常画像６１Ｂが表示されている場合、及び、図６Ｃに示すように、メータディスプレイ１５に通常画像６１Ｃが表示されている場合でも、同様に、通知ユニット３８は、最初に、接近通知６９を通常画像６１の中央に大きく表示し、次に、通常画像６１の隅に小さく表示する。なお、通知ユニット３８は、音、振動、ＬＥＤの発光等によって緊急車両７３の接近を通知してもよい。通常画像６１Ｃが表示する地図の範囲内に緊急車両７３が存在する場合、通知ユニット３８は、図６Ｃに示すように、通常画像６１Ｃに緊急車両７３を表示する。
【0041】
ステップ４では、まず、情報取得ユニット３５が、前記ステップ１と同様にして、緊急車両情報を取得する。次に、条件判断ユニット３６が、取得した緊急車両情報に基づき、緊急車両７３から車両２までの距離が予め設定された閾値以下であるか否かを判断する。緊急車両７３から車両２までの距離が閾値以下であると判断した場合、本処理はステップ５に進む。緊急車両７３から車両２までの距離が閾値を超えると判断した場合、本処理はステップ４の前に戻る。なお、緊急車両７３から車両２までの距離が閾値以下であることは、第２条件が成立することに対応する。
【0042】
ステップ５では、画像処理装置３の画像変更ユニット３７が、メータディスプレイ１５に表示する画像を、通常画像６１から、図７Ｂに示す変更後画像７１に変更する。変更後画像７１は俯瞰画像である。変更後画像７１は、周辺監視センサ１１を用いて取得した情報に基づき合成された合成画像である。
【0043】
変更後画像７１における表示範囲は、通常画像６１Ｂにおける表示範囲に比べて、緊急車両７３の位置の方向に拡張されている。図７Ｂに示す変更後画像７１の場合、図７Ａに示すように、緊急車両７３の位置は、車両２を基準として、左後方である。そのため、変更後画像７１における表示範囲は、通常画像６１Ｂにおける表示範囲に比べて、左後方に拡張されている。
なお、変更後画像７１における表示範囲は、通常画像６１Ｂにおける表示範囲に比べて、移動していてもよい。例えば、変更後画像７１は、通常画像６１Ｂに比べて、カメラ視点が移動した画像のように表示される。
なお、変更後画像７１における表示範囲は、通常画像６１Ｂにおける表示範囲に比べて、移動していてもよい。例えば、変更後画像７１は、通常画像６１Ｂに比べて、カメラ視点が移動した画像のように表示される。
【0044】
図７Ａ、図７Ｂに示す事例の場合、緊急車両７３は、路肩７５を走行している。変更後画像７１における表示範囲は、通常画像６１Ｂにおける表示範囲に比べて、路肩７５の方向に拡張され、路肩７５を含んでいる。変更後画像７１は、後述するステップ８で接近通知６９が消去されるまで、接近通知６９を含む。
【0045】
ステップ６では、緊急車両７３が走行する車線を緊急車両情報に基づき認識することが可能であるか否かを、条件判断ユニット３６が判断する。緊急車両７３が走行する車線を認識することが可能であると判断した場合、本処理はステップ７に進む。緊急車両７３が走行する車線を認識することが不可能であると判断した場合、本処理はステップ８に進む。
【0046】
【0047】
図８Ａに示す予定走行軌跡７７は、緊急車両７３が走行している路肩７５を塗りつぶしたものである。緊急車両７３がいずれかの車線を走行している場合、予定走行軌跡７７は、緊急車両７３が走行している車線を塗りつぶしたものとなる。図８Ｂに示す予定走行軌跡７７は、直線により構成される。図８Ｂに示す予定走行軌跡７７は、矢印により構成される。図８Ｃに示す予定走行軌跡７７は、緊急車両７３が車線を跨いで走行していることを示す。図８Ｃに示す予定走行軌跡７７は、直線により構成される。
【0048】
ステップ８では、画像処理装置３の要求表示ユニット３９が、図９に示すように、手動運転への備え要求７９をメータディスプレイ１５に表示する。手動運転への備え要求７９は、変更後画像７１に重畳して表示される。手動運転への備え要求７９は、車両２の乗員に対し、手動運転に備えることを要求する旨の表示である。手動運転に備えるとは、車両２の周辺を監視すること、及び、車両２のハンドルを握ることである。要求表示ユニット３９は、音、振動、ＬＥＤの発光等により、車両２の乗員に対し、手動運転に備えることを要求してもよい。
【0049】
要求表示ユニット３９は、手動運転への備え要求７９を、最初は、メータディスプレイ１５の中央に大きく表示する。その後、車両２の乗員がハンドルを握ったことを車載システム１が検出すると、要求表示ユニット３９は、手動運転への備え要求７９を、メータディスプレイ１５の隅に小さく表示する。
ステップ９では、車両制御が可能であるか否かを、自動運転ＥＣＵ４１が判断する。車両制御とは、緊急車両７３を回避し、緊急車両７３の通路を確保するために自動運転ＥＣＵ４１が行う制御である。車両制御として、減速、徐行、停車、車線の中で一方の端に寄ること、別の車線又は路肩に移動すること等が挙げられる。いずれかの車両制御が可能であると判断した場合、本処理はステップ１０に進む。いずれの車両制御も不可能であると判断した場合、本処理はステップ１２に進む。
ステップ９では、車両制御が可能であるか否かを、自動運転ＥＣＵ４１が判断する。車両制御とは、緊急車両７３を回避し、緊急車両７３の通路を確保するために自動運転ＥＣＵ４１が行う制御である。車両制御として、減速、徐行、停車、車線の中で一方の端に寄ること、別の車線又は路肩に移動すること等が挙げられる。いずれかの車両制御が可能であると判断した場合、本処理はステップ１０に進む。いずれの車両制御も不可能であると判断した場合、本処理はステップ１２に進む。
【0050】
ステップ１０では、自動運転ＥＣＵ４１が、実行可能な車両制御の中から、実行する車両制御を決定する。画像処理装置３の通知ユニット３８は、自動運転ＥＣＵ４１から、実行する車両制御を表す情報を取得する。通知ユニット３８は、図１０Ａ、図１０Ｂ、又は図１０Ｃに示すように、車両制御内容通知８１をメータディスプレイ１５に表示する。車両制御内容通知８１は、変更後画像７１に重畳して表示される。車両制御内容通知８１は、自動運転ＥＣＵ４１がこれから実行する車両制御を表す。図１０Ａに示す事例の場合、車両制御は減速である。図１０Ｂに示す事例の場合、車両制御は停車である。図１０Ｃに示す事例の場合、車両制御は、右側へ寄ることである。
【0051】
ステップ１１では、前記ステップ１０で決定した車両制御を自動運転ＥＣＵ４１が行う。ステップ１１の後、本処理はステップ１３に進む。
ステップ１２では、要求表示ユニット３９が、図１３に示すように、手動運転要求８３をメータディスプレイ１５に表示する。手動運転要求８３とは、自動運転から手動運転への切り替えを車両２の乗員に要求する表示である。このとき、要求表示ユニット３９は、車速と手動運転要求８３とを除く表示を消去する。表示を消去すると、メータディスプレイ１５に表示される情報の量が減る。その結果、車両２の乗員は、メータディスプレイ１５よりも車両２の周囲に注目する。
ステップ１２では、要求表示ユニット３９が、図１３に示すように、手動運転要求８３をメータディスプレイ１５に表示する。手動運転要求８３とは、自動運転から手動運転への切り替えを車両２の乗員に要求する表示である。このとき、要求表示ユニット３９は、車速と手動運転要求８３とを除く表示を消去する。表示を消去すると、メータディスプレイ１５に表示される情報の量が減る。その結果、車両２の乗員は、メータディスプレイ１５よりも車両２の周囲に注目する。
【0052】
その後、車両２の状態が手動運転の状態に切り替わり、緊急車両７３が車両２の横を通過したとき、要求表示ユニット３９は、図１３に示すように、手動運転要求８３を消去する。手動運転要求８３を消去した後、メータディスプレイ１５の表示は、手動運転時における通常の表示に戻る。ステップ１２の後、本処理はステップ１８に進む。
【0053】
図４のステップ１３では、まず、情報取得ユニット３５が、通信モジュール２１を用いて、通信対象から緊急車両情報を取得する。次に、条件判断ユニット３６が、取得した緊急車両情報に基づき、緊急車両７３が車両２の横を既に通過したか否かを判断する。緊急車両７３が車両２の横を既に通過したと判断した場合、本処理はステップ１４に進む。緊急車両７３は車両２の横を未だ通過していないと判断した場合、本処理はステップ１３の前に戻る。
【0054】
ステップ１４では、通知ユニット３８が、通過通知をメータディスプレイ１５に表示する。通過通知とは、緊急車両７３が車両２の横を既に通過したことを表す通知である。また、通知ユニット３８は、それまで表示していた接近通知６９を消去する。
ステップ１５では、前記ステップ１１で行った車両制御により車両２が停止したか否かを条件判断ユニット３６が判断する。車両２が停止したと判断した場合、本処理はステップ１６に進む。車両２が停止していないと判断した場合、本処理はステップ２４に進む。
ステップ１５では、前記ステップ１１で行った車両制御により車両２が停止したか否かを条件判断ユニット３６が判断する。車両２が停止したと判断した場合、本処理はステップ１６に進む。車両２が停止していないと判断した場合、本処理はステップ２４に進む。
【0055】
ステップ１６では、要求表示ユニット３９が、図１１に示すように、手動運転要求８３をメータディスプレイ１５に表示する。手動運転要求８３は、変更後画像７１に重畳して表示される。また、要求表示ユニット３９は、不要な表示を消去する。不要な表示として、例えば、手動運転への備え要求７９がある。なお、車両２の乗員は、手動運転要求８３に応じて、自動運転から手動運転に切り替える。
【0056】
ステップ１７では、車両２の乗員の運転操作に基づき、走行制御ＥＣＵ９が車両２を発進させる。
ステップ１８では、運転状況が安定したか否かを自動運転ＥＣＵ４１が判断する。運転状況が安定するとは、緊急車両７３が既に車両２の横を通過し、車両２の周辺の車両が既に走行可能な状態にあることを意味する。運転状況が安定したと判断した場合、本処理はステップ１９に進む。運転状況が未だ安定していないと判断した場合、本処理はステップ１８の前に戻る。
ステップ１８では、運転状況が安定したか否かを自動運転ＥＣＵ４１が判断する。運転状況が安定するとは、緊急車両７３が既に車両２の横を通過し、車両２の周辺の車両が既に走行可能な状態にあることを意味する。運転状況が安定したと判断した場合、本処理はステップ１９に進む。運転状況が未だ安定していないと判断した場合、本処理はステップ１８の前に戻る。
【0057】
ステップ１９では、乗員が車両２の周辺を監視することが不要であるか否かを自動運転ＥＣＵ４１が判断する。例えば、レベル３以上の自動運転が可能なエリアに車両２がいる場合、乗員が車両２の周辺を監視することは不要である。レベル３以上の自動運転が可能なエリアとして、例えば、自動車専用道路、渋滞の中等が挙げられる。車両２の周辺を監視することが不要であると判断した場合、本処理はステップ２０に進む。車両２の周辺を監視することが必要であると判断した場合、本処理はステップ２１に進む。
【0058】
ステップ２０では、通知ユニット３８が、図１１に示すように、自動運転提案８５をメータディスプレイ１５に表示する。自動運転提案８５は、自動運転を開始することを車両２の乗員に提案する通知である。また、自動運転提案８５は、車両２の周辺を監視すること、及び、車両２のハンドルを握ることが不要であることを車両２の乗員に通知する。
【0059】
ステップ２１では、運転支援が可能か否かを運転支援ＥＣＵ４３が判断する。運転支援が可能であると判断した場合、本処理はステップ２２に進む。運転支援が不可能であると判断した場合、本処理はステップ２３に進む。
【0060】
ステップ２２では、通知ユニット３８が、図１１に示すように、運転支援提案８７をメータディスプレイ１５に表示する。運転支援提案８７は、変更後画像７１に重畳して表示される。運転支援提案８７は、運転支援を開始することを車両２の乗員に提案する通知である。
【0061】
ステップ２３では、車載システム１が手動運転の状態を継続する。
ステップ２４では、自動運転ＥＣＵ４１が自動運転を継続する。通知ユニット３８は、図１２に示すように、自動運転続行通知８９をメータディスプレイ１５に表示する。自動運転続行通知８９は、変更後画像７１に重畳して表示される。自動運転続行通知８９は、自動運転が続行されることを表す。要求表示ユニット３９は、手動運転への備え要求７９をメータディスプレイ１５に引き続き表示する。
ステップ２４では、自動運転ＥＣＵ４１が自動運転を継続する。通知ユニット３８は、図１２に示すように、自動運転続行通知８９をメータディスプレイ１５に表示する。自動運転続行通知８９は、変更後画像７１に重畳して表示される。自動運転続行通知８９は、自動運転が続行されることを表す。要求表示ユニット３９は、手動運転への備え要求７９をメータディスプレイ１５に引き続き表示する。
【0062】
ステップ２５では、運転状況が安定したか否かを自動運転ＥＣＵ４１が判断する。運転状況が安定したと判断した場合、本処理はステップ２６に進む。運転状況が未だ安定していないと判断した場合、本処理はステップ２５の前に戻る。
【0063】
ステップ２６では、要求表示ユニット３９が、図１２に示すように、解除通知９１をメータディスプレイ１５に表示する。解除通知９１は、変更後画像７１に重畳して表示される。解除通知９１は、車両２の周辺を監視すること、及び、車両２のハンドルを握ることが不要であることを車両２の乗員に通知する。解除通知９１が表示されたとき、要求表示ユニット３９は、手動運転への備え要求７９を消去する。
【0064】
３．画像処理装置３が奏する効果
（１Ａ）画像処理装置３は、緊急車両情報を取得する。画像処理装置３は、緊急車両情報に基づき、（ａ）緊急車両７３は車両２に接近しているという第１条件、及び（ｂ）緊急車両７３から車両２までの距離が予め設定された閾値以下であるという第２条件が成立するか否かを判断する。画像処理装置３は、車両２が自動運転を行っているときに、第１条件及び第２条件が成立すると判断した場合、メータディスプレイ１５に表示する画像を、通常画像６１から変更後画像７１に変更する。変更後画像７１は俯瞰画像である。
（１Ａ）画像処理装置３は、緊急車両情報を取得する。画像処理装置３は、緊急車両情報に基づき、（ａ）緊急車両７３は車両２に接近しているという第１条件、及び（ｂ）緊急車両７３から車両２までの距離が予め設定された閾値以下であるという第２条件が成立するか否かを判断する。画像処理装置３は、車両２が自動運転を行っているときに、第１条件及び第２条件が成立すると判断した場合、メータディスプレイ１５に表示する画像を、通常画像６１から変更後画像７１に変更する。変更後画像７１は俯瞰画像である。
【0065】
車両２の乗員は、メータディスプレイ１５に表示されている画像が、通常画像６１から変更後画像７１に変更されたことにより、緊急車両７３が車両２に接近しており、緊急車両７３から車両２までの距離が閾値以下であることを知ることができる。
【0066】
（１Ｂ）変更後画像７１は、予定走行軌跡７７を表す。車両２の乗員は、予定走行軌跡７７を見ることで、緊急車両７３が今後走行する位置を知ることができる。
（１Ｃ）画像処理装置３は、車両２が自動運転を行っているときに、第１条件及び第２条件が成立すると判断した場合、手動運転への備え要求７９をメータディスプレイ１５に表示する。車両２の乗員は、手動運転への備え要求７９を見ることで、自動運転から手動運転への切り替えに備えることができる。
（１Ｃ）画像処理装置３は、車両２が自動運転を行っているときに、第１条件及び第２条件が成立すると判断した場合、手動運転への備え要求７９をメータディスプレイ１５に表示する。車両２の乗員は、手動運転への備え要求７９を見ることで、自動運転から手動運転への切り替えに備えることができる。
【0067】
（１Ｄ）通常画像６１Ｂは俯瞰画像である。変更後画像７１における表示範囲は、通常画像６１Ｂにおける表示範囲に比べて、緊急車両７３の位置の方向に拡張されている。車両２の乗員は、変更後画像７１における表示範囲と、通常画像６１Ｂにおける表示範囲との比較により、緊急車両７３の位置の方向を知ることができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【0068】
（１）例えば、図１４に示すように、変更後画像７１における表示範囲は、緊急車両７３の位置を含む。この場合、車両２の乗員は、変更後画像７１を見ることで、緊急車両７３の位置を一層詳しく知ることができる。
【0069】
（２）前記ステップ４における判断は、緊急車両７３が車両２に到達するまでの予測時間（以下では到達予測時間とする）が予め設定された閾値以下であるか否かという判断であってもよい。到達予測時間が閾値以下であると判断した場合、本処理はステップ５に進む。到達予測時間が閾値を超えると判断した場合、本処理はステップ４の前に戻る。到達予測時間は、例えば、車両２の位置に対する緊急車両７３の相対位置の変化等から算出できる。
【0070】
（３）通常画像６１及び変更後画像７１を表示する表示装置は、メータディスプレイ１５以外の表示装置であってもよい。メータディスプレイ１５以外の表示装置として、ＣＩＤ１７、ＨＵＤ１９等が挙げられる。
【0071】
（４）前記ステップ８で手動運転への備え要求７９をメータディスプレイ１５に表示する必要条件は、前記ステップ１、２で肯定判断されること、及び、緊急車両７３から車両２までの距離が特定閾値以下であること、であってもよい。特定閾値は、前記ステップ４で使用した閾値と同じであってもよいし、異なっていてもよい。
【0072】
（５）本開示に記載の画像処理装置３及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理装置３及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像処理装置３及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理装置３に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
【0073】
（６）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
【0074】
（７）上述した画像処理装置３の他、当該画像処理装置３を構成要素とするシステム、当該画像処理装置３としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、表示制御方法等、種々の形態で本開示を実現することもできる。
［本明細書が開示する技術思想］
［項目１］
車両（２）が備える表示装置（１５）に画像（６１、６１Ａ、６１Ｂ、６１Ｃ、７１）を表示する画像処理装置（３）であって、
緊急車両（７３）の位置を表す情報を取得するように構成された情報取得ユニット（３５）と、
前記情報取得ユニットが取得した前記情報に基づき、（ａ）前記緊急車両は前記車両に接近しているという第１条件、及び（ｂ）前記緊急車両から前記車両までの距離、又は、前記緊急車両が前記車両に到達するまでの予測時間が予め設定された閾値以下であるという第２条件が成立するか否かを判断するように構成された条件判断ユニット（３６）と、
前記車両が自動運転を行っているときに、前記第１条件及び前記第２条件が成立すると前記条件判断ユニットが判断した場合、前記画像を変更する画像変更ユニット（３７）と、
を備え、
前記画像変更ユニットによる変更の後の前記画像（７１）は、前記車両の周辺の他車（６３）両及び前記車両を、前記車両よりも後方の視点から俯瞰した俯瞰画像である画像処理装置。
［項目２］
項目１に記載の画像処理装置であって、
前記画像変更ユニットによる変更の後の前記俯瞰画像は、前記緊急車両の予定走行軌跡（７７）を表す画像処理装置。
［項目３］
項目１又は２に記載の画像処理装置であって、
前記車両が自動運転を行っているときに、前記第１条件及び前記第２条件が成立すると前記条件判断ユニットが判断した場合、手動運転に備えることを要求する旨の表示（７９）を前記表示装置に表示する要求表示ユニット（３９）をさらに備える画像処理装置。
［項目４］
項目１～３のいずれか１項に記載の画像処理装置であって、
前記画像変更ユニットによる変更の後の前記俯瞰画像における表示範囲は、前記緊急車両の位置を含む画像処理装置。
［項目５］
項目１～４のいずれか１項に記載の画像処理装置であって、
前記画像変更ユニットによる変更の前の前記画像（６１Ｂ）は、前記俯瞰画像であり、
前記画像変更ユニットによる変更の後の前記俯瞰画像における表示範囲は、前記画像変更ユニットによる変更の前の前記俯瞰画像における表示範囲に比べて、前記緊急車両の位置の方向に拡張されている画像処理装置。
［項目６］
項目１～５のいずれか１項に記載の画像処理装置であって、
前記車両の周囲を表す地図を含む画像を前記表示装置に表示するように構成され、
前記緊急車両の位置が前記地図の範囲内である場合、前記地図を含む画像に前記緊急車両を表示するように構成された画像処理装置。
［本明細書が開示する技術思想］
［項目１］
車両（２）が備える表示装置（１５）に画像（６１、６１Ａ、６１Ｂ、６１Ｃ、７１）を表示する画像処理装置（３）であって、
緊急車両（７３）の位置を表す情報を取得するように構成された情報取得ユニット（３５）と、
前記情報取得ユニットが取得した前記情報に基づき、（ａ）前記緊急車両は前記車両に接近しているという第１条件、及び（ｂ）前記緊急車両から前記車両までの距離、又は、前記緊急車両が前記車両に到達するまでの予測時間が予め設定された閾値以下であるという第２条件が成立するか否かを判断するように構成された条件判断ユニット（３６）と、
前記車両が自動運転を行っているときに、前記第１条件及び前記第２条件が成立すると前記条件判断ユニットが判断した場合、前記画像を変更する画像変更ユニット（３７）と、
を備え、
前記画像変更ユニットによる変更の後の前記画像（７１）は、前記車両の周辺の他車（６３）両及び前記車両を、前記車両よりも後方の視点から俯瞰した俯瞰画像である画像処理装置。
［項目２］
項目１に記載の画像処理装置であって、
前記画像変更ユニットによる変更の後の前記俯瞰画像は、前記緊急車両の予定走行軌跡（７７）を表す画像処理装置。
［項目３］
項目１又は２に記載の画像処理装置であって、
前記車両が自動運転を行っているときに、前記第１条件及び前記第２条件が成立すると前記条件判断ユニットが判断した場合、手動運転に備えることを要求する旨の表示（７９）を前記表示装置に表示する要求表示ユニット（３９）をさらに備える画像処理装置。
［項目４］
項目１～３のいずれか１項に記載の画像処理装置であって、
前記画像変更ユニットによる変更の後の前記俯瞰画像における表示範囲は、前記緊急車両の位置を含む画像処理装置。
［項目５］
項目１～４のいずれか１項に記載の画像処理装置であって、
前記画像変更ユニットによる変更の前の前記画像（６１Ｂ）は、前記俯瞰画像であり、
前記画像変更ユニットによる変更の後の前記俯瞰画像における表示範囲は、前記画像変更ユニットによる変更の前の前記俯瞰画像における表示範囲に比べて、前記緊急車両の位置の方向に拡張されている画像処理装置。
［項目６］
項目１～５のいずれか１項に記載の画像処理装置であって、
前記車両の周囲を表す地図を含む画像を前記表示装置に表示するように構成され、
前記緊急車両の位置が前記地図の範囲内である場合、前記地図を含む画像に前記緊急車両を表示するように構成された画像処理装置。
【符号の説明】
【0075】
２…車両、３…画像処理装置、１５…メータディスプレイ、３５…情報取得ユニット、３６…条件判断ユニット、３７…画像変更ユニット、３８…通知ユニット、３９…要求表示ユニット、６１、６１Ａ、６１Ｂ、６１Ｃ…通常画像、７１…変更後画像、７３…緊急車両、７７…予定走行軌跡、７９…手動運転への備え要求
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
