特開 2023-22740 表示制御装置、及び表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023022740

(43)【公開日】2023-02-15

(54)【発明の名称】表示制御装置、及び表示制御方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230208BHJP

   G09G 5/00 20060101ALI20230208BHJP

   G09G 5/377 20060101ALI20230208BHJP

   G09G 5/02 20060101ALI20230208BHJP

   G09G 5/36 20060101ALI20230208BHJP

   B60R 1/26 20220101ALI20230208BHJP

   B60R 1/29 20220101ALI20230208BHJP

   B60R 1/20 20220101ALI20230208BHJP

   G06T 1/00 20060101ALI20230208BHJP

【ＦＩ】

H04N7/18 J

G09G5/00 550C

G09G5/00 530M

G09G5/36 520L

G09G5/00 510A

G09G5/02 B

G09G5/36 520B

G09G5/36 520G

G09G5/36 520P

B60R1/26

B60R1/29

B60R1/20 100

G06T1/00 330Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021127771

(22)【出願日】2021-08-03

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】岩本 太郎

(72)【発明者】

【氏名】藤原 学

(72)【発明者】

【氏名】坂本 秀樹

(72)【発明者】

【氏名】松田 脩平

(72)【発明者】

【氏名】村本 政忠

【テーマコード（参考）】

5B057

5C054

5C182

【Ｆターム（参考）】

5B057AA16

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD05

5B057CE04

5B057CE08

5B057CE17

5C054CA04

5C054CC02

5C054FC11

5C054FE18

5C054HA30

5C182AA02

5C182AA03

5C182AB25

5C182AC03

5C182BA14

5C182BA55

5C182BA56

5C182BC01

5C182BC26

5C182CA21

5C182CB04

5C182CB14

5C182CB32

5C182CB44

5C182CB45

5C182CB47

5C182CB52

5C182CB55

5C182CC04

5C182DA02

5C182DA44

5C182DA65

(57)【要約】

【課題】車外の画像と車内の画像とを表示装置に表示させる表示制御装置において、車外の画像と車内の画像とを運転者等のユーザが容易に識別できるようにする。
【解決手段】表示制御装置は、車外を撮像した第１の撮像画像を生成する第１の撮像部と、車内を撮像した第２の撮像画像を生成する第２の撮像部と、前記第１の撮像画像と前記第２の撮像画像とを表示部に表示する表示制御部と、を有し、前記表示制御部は、前記第１の撮像画像と前記第２の撮像画像とを同時に表示する際に、前記第１の撮像画像と前記第２の撮像画像とのうち、少なくとも一方の撮像画像の一部、又は全部の表示態様を補正して前記表示部に表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車外を撮像した第１の撮像画像を生成する第１の撮像部と、
車内を撮像した第２の撮像画像を生成する第２の撮像部と、
前記第１の撮像画像と前記第２の撮像画像とを表示部に表示する表示制御部と、
を有し、
前記表示制御部は、前記第１の撮像画像と前記第２の撮像画像とを同時に表示する際に、前記第１の撮像画像と前記第２の撮像画像とのうち、少なくとも一方の撮像画像の一部、又は全部の表示態様を補正して前記表示部に表示する、表示制御装置。

【請求項2】

前記第１の撮像部は、車両の後方を撮像した前記第１の撮像画像を生成し、
前記第２の撮像部は、後部座席の乗員を撮像した前記第２の撮像画像を生成し、
前記表示制御部は、前記第１の撮像画像と、前記乗員の背景の配色を変更した前記第２の撮像画像とを前記表示部に表示する、
請求項１に記載の表示制御装置。

【請求項3】

前記表示制御部は、
前記表示部に表示した前記第１の撮像画像の範囲内に前記第２の撮像画像を表示し、
第２の撮像画像の前記乗員の背景を前記第１の撮像画像を視認できるように透過させる、
請求項２に記載の表示制御装置。

【請求項4】

前記乗員の状態を検知する状態検知部を有し、
前記表示制御部は、前記乗員の状態に応じて、前記乗員の背景の配色を変更する、
請求項２又は３に記載の表示制御装置。

【請求項5】

前記状態検知部は、前記後部座席の複数の乗員の状態を検知し、
前記表示制御部は、前記複数の乗員の状態に応じて、前記複数の乗員ごとに背景の配色を変更する、請求項４に記載の表示制御装置。

【請求項6】

前記表示制御部は、前記第２の撮像画像に前記乗員が写っていない場合、前記第２の撮像画像の表示を中止する、請求項２乃至５のいずれか一項に記載の表示制御装置。

【請求項7】

前記表示態様の補正は、配色の変更処理、ぼかし処理、及び透過処理のうち、1つ以上の処理を含む、請求項１乃至６のいずれか一項に記載の表示制御装置。

【請求項8】

車両の運転者の視線を検知する視線検知部を有し、
前記表示制御部は、前記運転者の視線に応じて、前記第２の撮像画像の表示方法を変更する、
請求項１乃至７のいずれか一項に記載の表示制御装置。

【請求項9】

前記表示制御部は、前記運転者が前記第１の撮像画像を注視している場合、前記第２の撮像画像の表示領域を縮小、又は透過させる、請求項８に記載の表示制御装置。

【請求項10】

前記表示制御部は、前記運転者が前記第１の撮像画像を注視していない場合、前記第２の撮像画像を既定の表示方法で前記表示部に表示する、請求項８又は９に記載の表示制御装置。

【請求項11】

車両に搭載される表示制御装置が、
車外を撮像し第１の撮像画像を生成する第１の撮像処理と、
車内を撮像し第２の撮像画像を生成する第２の撮像処理と、
前記第１の撮像画像と前記第２の撮像画像とを表示部に表示する表示制御処理と、
を実行し、
前記表示制御処理は、前記第１の撮像画像と前記第２の撮像画像とを同時に表示する際に、前記第１の撮像画像と前記第２の撮像画像とのうち、少なくとも一方の撮像画像の一部、又は全部の表示態様を補正して前記表示部に表示する、表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、及び表示制御方法に関する。

【背景技術】

【0002】

車両に搭載したカメラで車両の後方の画像を撮像し、撮像した後方の画像を表示装置等に表示することにより、当該表示装置等を電子ミラーとして機能させる表示制御技術が知られている。

【0003】

また、車両に搭載したカメラで後部座席の乗員の画像を撮像し、車両の後方の画像と共に、撮像した乗員の画像を表示装置等に表示する技術が知られている（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１９９１５３号公報

【特許文献2】特開２０２０－０９５４０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示された技術では、表示装置等に表示した車両の後方の画像の中に、後部座席の画像を表示している。この場合、後部座席の画像にも車両の後方の画像が含まれることから、風景の中に風景があるという状況となり、運転者等のユーザが、車両の後方の画像と、後部座席の画像とを識別し難いという問題がある。

【0006】

特許文献２に開示された技術では、車両の後方の画像に、後部座席の画像から背景画像を除いた被写体画像を合成した合成画像を、表示装置等に表示している。この場合、後部座席の画像から、車両の後方の風景等を除外することができるが、合成画像に写っている人物が、車両の内部にいるのか、車両の外部にいるのかを識別し難いという問題がある。

【0007】

このように、従来の技術では、車外の画像と車内の画像とを表示装置に表示させる画像表示装置において、車外の画像と車内の画像とを、運転者等のユーザが識別することには困難を伴っていた。

【0008】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、車外の画像と車内の画像とを表示装置に表示させる表示制御装置において、車外の画像と車内の画像とを運転者等のユーザが容易に識別できるようにする。

【課題を解決するための手段】

【0009】

上記の課題を解決するために、本発明の一実施形態に係る表示制御装置は、車外を撮像した第１の撮像画像を生成する第１の撮像部と、車内を撮像した第２の撮像画像を生成する第２の撮像部と、前記第１の撮像画像と前記第２の撮像画像とを表示部に表示する表示制御部と、を有し、前記表示制御部は、前記第１の撮像画像と前記第２の撮像画像とを同時に表示する際に、前記第１の撮像画像と前記第２の撮像画像とのうち、少なくとも一方の撮像画像の一部、又は全部の表示態様を補正して前記表示部に表示する。

【発明の効果】

【0010】

本発明の一実施形態によれば、車外の画像と車内の画像とを表示装置に表示させる表示制御装置において、車外の画像と車内の画像とを運転者等のユーザが容易に識別できるようになる。

【図面の簡単な説明】

【0011】

【図1】一実施形態に係る表示制御システムの構成例を示す図である。

【図2】従来のルームミラーのイメージを示す図である。

【図3】後方の画像と乗員の画像を表示する表示画像の一例のイメージを示す図である。

【図4】一実施形態に係る表示装置が表示する表示画像のイメージを示す図である。

【図5】一実施形態に係る表示制御装置のハードウェア構成の例を示す図である。

【図6】第１の実施形態に係る表示制御装置の処理の例を示すフローチャートである。

【図7】第１の実施形態に係る表示画像の例を示す図である。

【図8】第２の実施形態に係る表示制御装置の処理の一例を示すフローチャートである。

【図9】第２の実施形態に係る表示制御装置の処理の別の一例を示すフローチャートである。

【図10】第２の実施形態に係る第２の撮像画像の表示領域の例を示す図である。

【図11】第３の実施形態に係る表示制御システムの構成例を示す図である。

【図12】第３の実施形態に係る表示制御装置の処理の例を示すフローチャートである。

【図13】第３の実施形態に係る表示画像の一例について説明するための図である。

【図14】第４の実施形態に係る表示制御システムの構成例を示す図である。

【図15】第４の実施形態に係る表示制御装置の処理の例を示すフローチャートである。

【図16】第４の実施形態に係る第２の撮像画像について説明するための図である。

【発明を実施するための形態】

【0012】

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

【0013】

＜表示制御システムの構成例＞
図１は、一実施形態に係る表示制御システムの構成例を示す図である。表示制御システム１は、例えば、自動車等の車両１０において、車両１０の後方を撮像した第１の撮像画像と、車両１０内の乗員を撮像した第２の撮像画像とを表示装置１３に表示することにより、表示装置１３を電子ミラーとして機能させるシステムである。図１の例では、表示制御システム１は、車両１０に搭載される表示制御装置１００、車外カメラ１１、車内カメラ１２、及び表示装置１３等を含む。

【0014】

表示制御装置１００は、例えば、車両１０に搭載されるＥＣＵ（Electric Control Unit）等のコンピュータの構成を有する電子制御装置である。表示制御装置１００は、表示制御装置１００が備えるコンピュータで所定のプログラムを実行することにより、例えば、第１の撮像部１２０、第２の撮像部１３０、及び表示制御部１１０等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。

【0015】

第１の撮像部１２０は、例えば、車両１０の外部を撮像する車外カメラ１１を制御して、車外を撮像した第１の撮像画像を生成する第１の撮像処理を実行する。好ましくは、第１の撮像部１２０は、車外カメラ１１を用いて車両１０の後方を撮像し、撮像した画像を左右反転した第１の撮像画像を生成する。なお、撮像した画像を左右反転する処理は、表示制御部１１０が実行しても良い。

【0016】

第２の撮像部１３０は、例えば、車両１０の内部を撮像する車内カメラ１２を制御して、車内を撮像した第２の撮像画像を生成する第２の撮像処理を実行する。好ましくは、第２の撮像部１３０は、車内カメラ１２を用いて車両１０の後部座席の乗員を撮像し、撮像した画像を左右反転した第２の撮像画像を生成する。なお、撮像した画像を左右反転する処理は、表示制御部１１０が実行しても良い。

【0017】

表示制御部１１０は、第１の撮像画像と第２の撮像画像とを同時に表示する表示画像を生成し、生成した表示画像を表示装置１３に表示させることにより、表示装置１３を電子ミラー（ルームミラー）として機能させる表示制御処理を実行する。

【0018】

表示装置（表示部）１３は、一例として、従来のルームミラー（室内後写鏡）と同様の位置に設けられ、表示制御部１１０からの制御に従って表示画像を表示する。表示装置１３は、例えば、液晶ディスプレイ、又は有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスを備えている。

【0019】

図２は、従来のルームミラーのイメージを示す図である。従来のルームミラー（室内後写鏡）２０１は、例えば、車両１０のフロントウィンドウ２０２の内側の中央上部等に設けられ、車両を運転する運転者が、車両の後方２０３、又は車両の後部座席の乗員２０４等の状態を確認するために用いられる。

【0020】

図３は、後方の画像と乗員の画像とを表示す表示画像の一例のイメージを示す図である。表示装置１３は、例えば、車両１０のフロントウィンドウ２０２の内側の中央上部等に設けられ、車両１０の後方を撮像した第１の撮像画像と、車両１０の後部座席の乗員を撮像した第２の撮像画像とを表示する。

【0021】

図３の例では、特許文献２に開示された技術と同様に、車両１０の後方を撮像した第１の撮像画像３０１と、後部座席の乗員を撮像した第２の撮像画像から背景画像を除いた乗員の画像３０２とを合成した表示画像３０３が、表示装置１３に表示されている。この場合、車両１０を運転する運転者等は、表示画像３０３に写っている人物が、車両１０内の人物なのか、車両１０外の人物なのかを識別し難いという問題がある。

【0022】

また、特許文献１に開示された技術のように、車両１０の後方を撮像した第１の撮像画像３０１の中に、車両１０の後部座席の乗員を撮像した第２の撮像画像をＰｉｎＰ（Picture in Picture）表示することも可能である。ただし、この場合、後部座席の乗員を撮像した第２の撮像画像にも車両１０の後方の画像が含まれることから、風景の中に風景があるという状況となり、運転者が、車両１０の後方の画像と、後部座席の画像とを識別し難いという問題がある。

【0023】

そこで、本実施形態に係る表示制御部１１０は、図１に示すように、表示態様補正部１１１、及び表示画像生成部１１２等を有している。

【0024】

表示態様補正部１１１は、表示制御部１１０が、表示装置１３に、第１の撮像画像と第２の撮像画像とを同時に表示する際に、第１の撮像画像と第２の撮像画像のうち、少なくとも一方の撮像画像の一部、又は全部の表示態様を補正する表示態様補正処理を実行する。例えば、表示態様補正部１１１は、第１の撮像画像と第２の撮像画像とを同時に表示する際に、第２の撮像画像に撮像された乗員の背景の配色を変更する配色の変更処理を実行する。また、表示態様補正部１１１は、配色を変更した領域を透過させる透過処理を実行する。例えば、表示態様補正部１１１は、第２の撮像画像に撮像された乗員の背景の配色を変更した場合、配色が変更された乗員の背景を第１の撮像画像を視認できるように透過させる。なお、表示態様補正処理には、配色の変更処理、及び透過処理に加えて、例えば、ぼかし処理、モザイク処理等の様々な処理が含まれ得る。

【0025】

表示画像生成部１１２は、例えば、第１の撮影画像と、表示態様補正部１１１が配色変更処理、及び透過処理等を実行した第２の撮像画像とを合成して、表示画像を生成する表示画像生成処理を実行する。また、表示画像生成部１１２は、生成した表示画像を表示装置１３出力することにより、表示画像を表示装置１３に表示する。

【0026】

図４は、一実施形態に係る表示装置が表示する表示画像のイメージを示す図である。この図は、本実施形態に係る表示制御装置１００が、表示装置１３に、第１の撮像画像４０２と第２の撮像画像４０３とを同時に表示する際の表示画像４０１の一例のイメージを示している。図４の例では、表示制御部１１０は、車両１０の後方を撮像した第１の撮像画像４０２の中に、車両１０の後部座席を撮像した第２の撮像画像４０３をＰｉｎＰ表示させた表示画像４０１を、表示装置１３に表示している。

【0027】

また、図４の例では、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像４０３の乗員４０４の背景４０５の配色を変更している。例えば、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像４０３の乗員４０４の背景４０５を、所定の色で塗り潰しても良い。これにより、車両１０の運転者は、車両１０の後方を撮像した第１の撮像画像４０２と、車両１０の後部座席を撮像した第２の撮像画像４０３とを、容易に識別できるようになる。

【0028】

好ましくは、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像４０３の乗員４０４の背景４０５に透過処理を実行する。例えば、表示制御部１１０は、表示態様補正部１１１を用いて所定の色に塗り潰した背景４０５を、公知の画像処理技術を用いて、第１の撮像画像４０２を視認できるように透過させる。これにより、表示制御部１１０は、図４に示すような表示画像４０１において、第１の撮像画像４０２のうち、第２の撮像画像４０３により視認できなくなるエリアを減らすことができる。

【0029】

以上、本実施形態によれば、車外の画像と車内の画像とを表示装置１３に表示させる表示制御装置１００において、車外の画像と車内の画像とを運転者等のユーザが容易に識別できるようになる。

【0030】

＜ハードウェア構成＞
図５は、一実施形態に係る表示制御装置のハードウェア構成の例を示す図である。表示制御装置１００は、コンピュータの構成を備えており、例えば、ＣＰＵ（Central Processing Unit）５０１、メモリ５０２、ストレージデバイス５０３、ＧＰＵ（Graphics Processing Unit）５０４、通信装置５０５、Ｉ／Ｆ（Interface）５０６、及びバス５０７等を有する。

【0031】

ＣＰＵ５０１は、例えば、ストレージデバイス５０３等の記憶媒体に格納された所定のプログラムを実行することにより、図１に示すような表示制御装置１００の各機能構成を実現するプロセッサである。メモリ５０２は、例えば、ＣＰＵ５０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、及びＣＰＵ５０１の起動用のプログラム等を記憶した不揮発性のメモリであるＲＯＭ（Read Only Memory）等を含む。ストレージデバイス５０３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の不揮発性、かつ大容量の記憶デバイスである。

【0032】

ＧＰＵ５０４は、主に画像処理に関連する様々な処理を、ＣＰＵ５０１より高速に実行する画像処理用のプロセッサである。通信装置５０５は、表示制御装置１００を通信ネットワークに接続するための１つ以上の通信インタフェースを含む。例えば、通信装置５０５は、表示制御装置１００を車両１０の車載ネットワークに接続するための通信インタフェースを含む。また、通信装置５０５は、表示制御装置１００を、例えば、インターネット等のＷＡＮ（Wide Area Network）に接続するための無線通信デバイス等を含み得る。

【0033】

Ｉ／Ｆ５０６は、表示制御装置１００に、例えば、車外カメラ１１、車内カメラ１２、及び後述する視線検知装置１１０１等の外部装置を接続するためのインタフェースである。バス５０７は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0034】

＜処理の流れ＞
続いて、本実施形態に係る表示制御方法の処理の流れについて説明する。

【0035】

［第１の実施形態］
図６は、第１の実施形態に係る表示制御装置の処理の例を示すフローチャートである。表示制御装置１００は、例えば、車両１０のイグニッションスイッチがオンの間、図６に示した処理を繰り返し実行する。

【0036】

ステップＳ６０１において、第１の撮像部１２０は、車外カメラ１１を制御して、例えば、車両１０の後方を撮像した第１の撮像画像を生成する。好ましくは、第１の撮像部１２０は、車外カメラ１１で撮像した画像を左右反転して、表示装置１３に表示する第１の撮像画像を生成する。

【0037】

ステップＳ６０２において、第２の撮像部１３０は、ステップＳ６０１の処理と並行して、車内カメラ１２を制御して、例えば、車両１０の後部座席の乗員を撮像した第２の撮像画像を生成する。好ましくは、第２の撮像部１３０は、車内カメラ１２で撮像した画像を左右反転して、表示装置１３に表示する第２の撮像画像を生成する。

【0038】

ステップＳ６０３において、表示制御部１１０は、第２の撮像部１３０が生成した第２の撮像画像に、乗員が写っているか否かを判断する。第２の撮像画像に乗員が写っている場合、表示制御部１１０は、処理をステップＳ６０４に移行させる。一方、第２の撮像画像に乗員が写っていない場合、表示制御部１１０は、処理をステップＳ６０６に移行させる。

【0039】

ステップＳ６０４に移行すると、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像の乗員の背景の配色を変更する。一例として、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像の乗員の背景を、所定の色で塗り潰す（例えば、ブルーバック等）。

【0040】

ステップＳ６０５において、表示制御部１１０は、表示画像生成部１１２を用いて、第１の撮像画像と、乗員の配色を変更した第２の撮像画像とを同時に表示する表示画像を生成する。

【0041】

一方ステップＳ６０３からステップＳ６０６に移行すると、表示制御部１１０は、表示画像生成部１１２を用いて、第１の撮像画像を表示する表示画像を生成する。これにより、表示制御部１１０は、表示装置１３への第２の撮像画像の表示を中止する。

【0042】

ステップＳ６０７において、表示制御部１１０は、表示画像生成部１１２が生成した表示画像を表示装置１３に出力する。これにより、表示装置１３は、例えば、図７に示すような表示画像７０１を表示する。

【0043】

図７は、第１の実施形態に係る表示画像の一例を示す図である。この図は、車両１０の後部座席に乗員がいる場合に、表示装置１３が表示する表示画像７０１の一例のイメージを示している。

【0044】

図７の例では、表示制御装置１００は、表示装置１３に、車両１０の後方を撮像した第１の撮像画像７０２内に、車両１０の後部座席の乗員を撮像した第２の撮像画像７０３をＰｉｎＰ表示した表示画像７０１を表示している。また、第２の撮像画像７０３において、乗員７０４の背景７０５は、所定の色で塗り潰されている。従って、車両１０の運転者は、車両１０の後部座席に座っている乗員７０４と、車両１０の後方にいる車外の人物７０６とを容易に識別できるようになる。

【0045】

なお、図７に示す表示画像７０１は一例である。例えば、表示制御装置１００は、車両１０の後方を撮像した第１の撮像画像７０２と、車両１０の後部座席の乗員を撮像した第２の撮像画像７０３とを、例えば、横に並べて表示した表示画像を表示装置１３に表示しても良い。

【0046】

以上、第１の実施形態によれば、車外の画像と車内の画像とを表示装置１３に表示させる表示制御装置１００において、車外の画像と車内の画像とを運転者等のユーザが容易に識別できるようになる。

【0047】

なお、図６のステップＳ６０４において、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像の乗員の背景の配色を変更する処理に代えて、背景をぼかす処理を実行しても良い。この場合でも、車両１０の運転者は、車両１０の後部座席に座っている乗員７０４と、車両１０の後方にいる車外の人物７０６とを容易に識別できるようになる。

【0048】

[第２の実施形態]
第２の実施形態では、表示制御装置１００が、図７に示すような表示画像７０１において、第２の撮像画像７０３の乗員７０４の背景７０５を透過処理する場合の例について説明する。

【0049】

図８は、第２の実施形態に係る表示制御装置の処理の一例を示すフローチャートである。なお、図８に示す処理のうち、ステップＳ６０１～Ｓ６０４、Ｓ６０６、Ｓ６０７の処理は、第１の実施形態のステップＳ６０１～Ｓ６０４、Ｓ６０６、Ｓ６０７の処理と同様なので、ここでは説明を省略する。

【0050】

ステップＳ８０１において、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像の乗員の背景を、第１の撮像画像を撮像できるように透過させる透過処理を実行する。

【0051】

ステップＳ８０２において、表示制御部１１０は、表示画像生成部１１２を用いて、第１の撮像画像内に第２の撮像画像を表示する表示画像を生成する。

【0052】

上記の処理により、表示制御装置１００は、例えば、図４に示すような表示画像４０１を、表示装置１３に表示することができる。

【0053】

図４の例では、表示制御装置１００は、表示装置１３に、車両１０の後方を撮像した第１の撮像画像４０２の範囲内に、車両１０の後部座席の乗員を撮像した第２の撮像画像４０３をＰｉｎＰ表示した表示画像４０１を表示している。また、第２の撮像画像７０３において、乗員７０４の背景７０５は、所定の色で塗り潰され、かつ第１の撮像画像４０２が視認できるように透過処理されている。

【0054】

第１の実施形態では、車両１０の運転者は、図７に示すように、第１の撮像画像７０２のうち、第２の撮像画像７０３が表示されているエリアを視認することができない。一方、第２の実施形態では、車両１０の運転者は、図４に示すように、第２の撮像画像４０３が表示されているエリアのうち、乗員４０４の背景４０５において、第１の撮像画像４０２を視認することができる。

【0055】

なお、図８に示した処理は一例であり、表示制御装置１００は、例えば、図９に示すような別の処理手順で、図４に示すような表示画像４０１を表示装置１３に表示しても良い。

【0056】

図９は第２の実施形態に係る表示制御装置の処理の別の一例を示すフローチャートである。なお、図９に示す処理のうち、ステップＳ６０１～Ｓ６０３、Ｓ６０６、Ｓ６０７の処理は、第１の実施形態のステップＳ６０１～Ｓ６０３、Ｓ６０６、Ｓ６０７の処理と同様なので、ここでは説明を省略する。

【0057】

ステップＳ９０１において、表示制御部１１０は、表示態様補正部１１１を用いて、例えば、図１０に示すように、第１の撮像画像１００１のうち、第２の撮像画像を表示する表示領域１００２の配色（色合い）を変更する。

【0058】

ステップＳ９０２において、表示制御部１１０は、例えば、表示画像生成部１１２を用いて、第２の撮像画像から、背景画像を除いた乗員の画像を抽出する。

【0059】

ステップＳ９０３において、表示制御部１１０は、表示画像生成部１１２を用いて、図１０に示すような第１の撮像画像１００１内の第２の撮像画像の表示領域１００２に、ステップＳ９０２で抽出した乗員の画像を表示する表示画像を生成する。

【0060】

図９の処理により、表示制御部１１０は、図４に示す表示画像４０１と同様の表示画像を表示装置１３に表示することができる。

【0061】

［第３の実施形態］
第３の実施形態では、表示制御装置１００が、車両１０を運転する運転者の視線を検知し、運転者の視線に応じて第２の撮像画像の表示方法を変更する場合の処理の例について説明する。

【0062】

図１１は、第３の実施形態に係る表示制御システムの構成例を示す図である。図１１に示すように、第３の実施形態に係る表示制御システム１は、図１で説明した一実施形態に係る表示制御システム１の構成に加えて、視線検知装置１１０１、及び視線検知部１１０２を有している。

【0063】

視線検知装置１１０１は、所定のユーザの視線を検知する装置である。例えば、視線検知装置１１０１は、公知の画像解析技術により、ユーザの顔画像から瞳を抽出し、その動き、方向等から、ユーザの視線、又は視点等を検知する。

【0064】

視線検知部１１０２は、例えば、ＣＰＵ５０１が実行するプログラムによって実現され、視線検知装置１１０１を用いて、車両１０を運転する運転者が、表示装置１３に表示した第１の撮像画像を注視していることを検知する。例えば、視線検知部１１０２は、運転者の視線が、所定の時間を超えて第１の撮像画像上に留まっている場合、運転者が第１の撮像画像を注視していると判断する。

【0065】

また、第３の実施形態に係る表示制御部１１０は、車両１０を運転する運転者が、表示装置１３に表示した第１の撮像画像を注視している場合、第２の撮像画像の表示領域を縮小、又は透過させる。なお、上記以外の表示制御システム１の機能構成は、図１で説明した一実施形態に係る表示制御システム１の機能構成と同様で良い。

【0066】

＜処理の流れ＞
図１２は、第３の実施形態に係る表示制御装置の処理の例を示すフローチャートである。なお、図１２に示す処理のうち、ステップＳ６０１～Ｓ６０３、Ｓ６０６、Ｓ６０７の処理は、図６で説明した第１の実施形態の処理と同様なので、ここでは説明を省略する。また、ここでは、第１、２の実施形態と同様の処理内容に対する詳細な説明は省略する。

【0067】

ステップＳ１２０１において、表示制御部１１０は、表示態様補正部１１１を用いて、第２の撮像画像の乗員の背景の配色を変更し、配色を変更した乗員の背景を透過処理する。なお、この処理は、図８のステップＳ６０４、Ｓ８０１の処理に対応している。

【0068】

ステップＳ１２０２、Ｓ１２０３において、視線検知部１１０２は、視線検知装置１１０１を用いて、車両１０を運転する運転者の視線を検知し、運転者が表示装置１３に表示している第１の撮像画像を注視しているか否かを判断する。例えば、視線検知部１１０２は、図１３（Ａ）に示すように、運転者の視線（視点）１３０２が、第１の撮像画像１３０１上に、所定の時間を超えて留まっている場合、運転者が第１の撮像画像を注視していると判断する。

【0069】

具体的な一例として、視線検知部１１０２は、視線検知装置１１０１による運転者の視線１３０２の検知結果を、メモリ５０２等に時系列で記憶しておく。また、視線検知部１１０２は、ステップＳ１２０２で検知した運転者の視線１３０２と、メモリ５０２等に時系列で記憶した運転者の視線１３０２とから、運転者が第１の撮像画像を注視していることを検知する。

【0070】

運転者が第１の撮像画像を注視している場合、表示制御部１１０は、処理をステップＳ１２０４に移行させる。一方、運転者が第１の撮像画像を注視していない場合、表示制御部１１０は、処理をステップＳ１２０５に移行させる。

【0071】

ステップＳ１２０４に移行すると、表示制御部１１０は、表示画像生成部１１２を用いて、第２の表示領域を縮小、又は透過させる。例えば、表示制御部１１０は、図１３（Ｂ）に示すように、第１の撮像画像１３０１内に表示する第２の撮像画像の表示領域１３０３を縮小する。或いは、表示制御部１１０は、図１０に示すように、第１の撮像画像１００１内に表示する第２の撮像画像の表示領域１００２を維持したまま、第２の撮像画像の表示領域１００２を、第１の撮像画像を視認できるように透過させても良い。

【0072】

一方、ステップＳ１２０５に移行すると、表示制御部１１０は、第２の撮像画像を、縮小、又は透過を行わない既定の表示方法とする。

【0073】

ステップＳ１２０６において、表示制御部１１０は、表示画像生成部１１２を用いて、第１の撮像画像１３０１と、第２の撮像画像の表示領域１３０３とを表示する表示画像を生成する。なお、図１３（Ｂ）に示すように、第２の撮像画像の表示領域１３０３を縮小する場合、第２の撮像画像の表示領域１３０３には、乗員の背景の配色を変更し、かつ透過処理した第２の撮像画像を表示する。一方、図１０に示すように、第２の撮像画像の表示領域１００２を透過させる場合、第２の撮像画像の表示領域１３０３には、第２の撮像画像を表示しなくても良い（或いは、第２の撮像画像の透過度を、さらに上げて表示しても良い）。

【0074】

上記の処理により、表示制御装置１００は、第１の撮像画像の表示領域のうち、第２の撮像画像の表示領域により、第１の撮像画像が視認できなくなるエリアを、より削減することができる。

【0075】

［第４の実施形態］
第４の実施形態では、表示制御装置１００が、車両１０の乗員の状態を検知する状態検知部を有し、乗員の状態に応じて、表示装置１３に表示する第２の撮像画像の乗員の背景の表示態様を補正する場合の例について説明する。

【0076】

図１４は、第４の実施形態に係る表示制御システムの構成例を示す図である。図１４に示すように、第４の実施形態に係る表示制御システム１は、図１で説明した一実施形態に係る表示制御システム１の構成に加えて、状態検知部１４０１を有している。

【0077】

状態検知部１４０１は、例えば、ＣＰＵ５０１が実行するプログラムによって実現され、車両１０の乗員の状態を検知する。一例として、状態検知部１４０１は、第２の撮像部１３０が生成した、車両１０の後部座席の乗員を撮像した第２の撮像画像を解析して、後部座席の乗員の状態（例えば、良好、車酔い、発熱、睡眠等）を検知する。別の一例として、状態検知部１４０１は、車両１０の座席に設けられた温度センサ、脈拍センサ、動きセンサ等の様々なセンサを用いて、乗員の状態を検知しても良い。別の一例として、状態検知部１４０１は、第２の撮像部１３０が生成した第２の撮像画像を、機械学習で学習済の状態推定モデルに入力することにより、乗員の状態を推定しても良い。

【0078】

また、第３の実施形態に係る表示態様補正部１１１は、状態検知部１４０１が検知した乗員の状態に応じて、第２の撮像画像における乗員の背景の表示態様を補正する。好ましくは、状態検知部１４０１は、後部座席の複数の乗員の状態を検知し、表示態様補正部１１１は、複数の乗員の状態に応じて、乗員ごとに背景の表示態様を補正する。なお、上記以外の表示制御システム１の機能構成は、図１で説明した一実施形態に係る表示制御システム１の機能構成と同様で良い。

【0079】

＜処理の流れ＞
図１５は、第４の実施形態に係る表示制御装置の処理の例を示すフローチャートである。なお、図１５に示す処理のうち、ステップＳ６０１～Ｓ６０３、Ｓ６０６、Ｓ６０７の処理は、図６で説明した第１の実施形態の処理と同様なので、ここでは説明を省略する。また、ここでは、第１～３の実施形態と同様の処理内容に対する詳細な説明は省略する。

【0080】

ステップＳ１５０１において、状態検知部１４０１は、車両１０の乗員の状態を検知する。例えば、状態検知部１４０１は、第２の撮像部１３０が生成した第２の撮像画像を解析して、車両１０の後部座席に座っている複数の乗員の状態を検知する。

【0081】

ステップＳ１５０２において、表示制御部１１０は、表示態様補正部１１１を用いて、状態検知部１４０１が検知した乗員の状態に応じて、例えば、図１６に示すように、第２の撮像画像１６００の複数の乗員１６０１～１６０３の背景の色合いを変更する。図１６の例では、表示態様補正部１１１は、状態が「良好」である乗員１６０１の背景の配色を「緑色」としている。同様に、表示態様補正部１１１は、状態が「発熱」である乗員１６０２の背景の配色を「黄色」とし、状態が「車酔い」である乗員１６０３の背景を「オレンジ色」としている。なお、乗員の状態を表す「色」、又は検知対象とする乗員の「状態」等は、ユーザ（運転者等）が、設定画面等から設定できるものであっても良い。

【0082】

ステップＳ１５０３において、表示制御部１１０は、表示態様補正部１１１を用いて、各乗員の背景の色合いを変更した第２の撮像画像１６００において、乗員の背景を透過処理する。

【0083】

ステップＳ１５０４において、表示制御部１１０は、表示画像生成部１１２を用いて、第１の撮像画像と、第２の撮像画像とを同時に表示する表示画像を生成する。

【0084】

図１５の処理により、表示制御部１１０は、例えば、図１６に示すような表示画像１６０４を表示装置１３に表示することができる。これにより、ユーザ（運転者等）は表示装置１３に表示される第２の撮像画像１６００を見ることにより、後部座席の乗員の状態を容易に把握できるようになる。

【0085】

以上、本発明の各実施形態によれば、車外の画像と車内の画像とを表示装置１３に表示させる表示制御装置１００において、車外の画像と車内の画像とを運転者等のユーザが容易に識別できるようになる。

【0086】

なお、本発明は、上記の各実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、又は応用が可能である。

【符号の説明】

【0087】

１ 表示制御システム
１３ 表示装置（表示部）
１１０ 表示制御部
１２０ 第1の撮像部
４０２、７０２ 第１の撮像画像
４０３、７０３ 第２の撮像画像
１１０２ 視線検知部
１４０１ 状態検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】