特許 7472936 映像制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】映像制御装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240416BHJP

   G08G 1/16 20060101ALI20240416BHJP

   G07C 5/00 20060101ALI20240416BHJP

   B60R 11/04 20060101ALI20240416BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 U

G08G1/16 C

G07C5/00 Z

B60R11/04

【請求項の数】 1

(21)【出願番号】P 2022093618

(22)【出願日】2022-06-09

(62)【分割の表示】P 2018076897の分割

【原出願日】2018-04-12

(65)【公開番号】P2022132278

(43)【公開日】2022-09-08

【審査請求日】2022-06-09

【前置審査】

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】永井 亮行

(72)【発明者】

【氏名】荒瀬 貴之

(72)【発明者】

【氏名】春原 一史

(72)【発明者】

【氏名】森 俊夫

(72)【発明者】

【氏名】菅田 章典

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３３４３５７（ＵＳ，Ａ１）

【文献】特開２０１３－１２５１９１（ＪＰ，Ａ）

【文献】特開２０１８－０５２２１５（ＪＰ，Ａ）

【文献】特開２００５－３３８９３４（ＪＰ，Ａ）

【文献】特開２００４－１４７０４６（ＪＰ，Ａ）

【文献】特開２０１７－１９４９５０（ＪＰ，Ａ）

【文献】特開２０１３－２１６２４１（ＪＰ，Ａ）

【文献】特開２０１５－１２８９１５（ＪＰ，Ａ）

【文献】特開２０１４－１６７４３８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００５４９４９（ＵＳ，Ａ１）

【文献】特開２０１０－１１１３６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／００－９９／００

Ｇ０７Ｃ １／００－１５／００

Ｂ６０Ｒ ９／００－１１／０６

(57)【特許請求の範囲】

【請求項1】

車両の周囲と車両内とを含む車両周辺映像の映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した前記映像データから、車両の乗員の顔部の顔映像を抽出する顔映像抽出部と、
前記映像データ取得部が取得した前記映像データから、前記車両の周囲の車両外部映像を抽出する外部映像抽出部と、
前記顔映像抽出部が抽出した前記顔映像を、前記外部映像抽出部が抽出した前記車両外部映像に合成して合成映像を生成する映像合成部と、
前記外部映像抽出部が抽出した前記車両外部映像に基づいて、画像中の水平方向および垂直方向において輝度の変化量が所定値以下である映像領域を抽出する映像領域抽出部と、
前記映像領域抽出部が抽出した前記映像領域の大きさに基づき、前記映像領域に収まるように前記顔映像の大きさを調整し、前記調整した顔映像を合成した前記合成映像を生成するよう、前記映像合成部を制御する映像制御部と、
前記映像合成部が合成した前記合成映像の出力を制御する出力制御部と、
を備えることを特徴とする映像制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像制御装置に関する。

【背景技術】

【0002】

車両の周囲と車両内とを撮影するカメラで画像を録画し、運転中の事故発生を通報し、また、駐車中の防犯上の異常を検知したとき、通報することが可能な車載監視カメラ装置に関する技術が知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－０１９５６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術によれば、事故にあったり、駐車中に防犯上の異常が検知されたりしたとき、車両周辺映像によって、事故にあったときの様子を後から正確に確認することが可能である。

【0005】

事故にあったり、駐車中に防犯上の異常が検知されたりしたときだけではなく、例えば、周囲の景色に車両乗員の顔画像を重畳した映像を生成し、表示したり記憶したりしたいという要望がある。

【0006】

本発明は、上記に鑑みてなされたものであって、車両外部の映像に車両乗員の顔画像を適切に重畳した映像を生成することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明に係る映像制御装置は、車両の周囲と車両内とを含む車両周辺映像の映像データを取得する映像データ取得部と、映像データ取得部が取得した映像データから、車両の乗員の顔部の顔映像を抽出する顔映像抽出部と、映像データ取得部が取得した映像データから、車両の周囲の車両外部映像を抽出する外部映像抽出部と、顔映像抽出部が抽出した顔映像を、外部映像抽出部が抽出した車両外部映像に合成して合成映像を生成する映像合成部と、外部映像抽出部が抽出した車両外部映像に基づいて、画像中の水平方向および垂直方向において輝度の変化量が所定値以下である映像領域を抽出する映像領域抽出部と、映像領域抽出部が抽出した映像領域に、顔映像を合成した合成映像を生成するよう、映像合成部を制御する映像制御部と、映像合成部が合成した合成映像の出力を制御する出力制御部と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、車両外部の映像に車両乗員の顔画像を適切に重畳した映像を生成することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、第一実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。

【図2】図２は、第一実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。

【図3】図３は、第一実施形態に係る映像制御装置における処理の流れを示すフローチャートである。

【図4】図４は、第二実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。

【図5】図５は、第二実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。

【図6】図６は、第二実施形態に係る映像制御装置における処理の流れを示すフローチャートである。

【図7】図７は、第三実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。

【図8】図８は、第三実施形態に係る映像制御装置における処理の流れを示すフローチャートである。

【図9】図９は、第四実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。

【図10】図１０は、第四実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。

【図11】図１１は、第四実施形態に係る映像制御装置における処理の流れを示すフローチャートである。

【図12】図１２は、第五実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。

【図13】図１３は、第五実施形態に係る映像制御装置が撮影した映像データの一例を説明する概略図である。

【図14】図１４は、第五実施形態に係る映像制御装置における処理の流れを示すフローチャートである。

【図15】図１５は、第六実施形態に係る映像制御装置における処理の流れを示すフローチャートである。

【図16】図１６は、第七実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。

【図17】図１７は、第七実施形態に係る映像制御装置における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本発明に係る映像制御装置、車両用撮影装置、映像制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
図１は、第一実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図２は、第一実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。車両用撮影装置１は、車内の状況に応じて、より詳しくは、乗員の状況に応じて、乗員の顔映像１００を車両の外部の車両外部映像１１０に合成した合成映像１２０を生成して、出力する。

【0012】

乗員は、人と、例えば、犬または猫のようなペットの動物とを含む。本実施形態では、乗員は、人として説明する。

【0013】

出力は、合成映像１２０を表示部３０に表示することと、合成映像１２０を記憶部４０に記憶することとを含む。

【0014】

車両用撮影装置１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。車両用撮影装置１は、カメラ（撮影部）２０と、表示部３０と、記憶部４０と、映像制御装置５０とを有する。

【0015】

カメラ２０は、車両の周囲と車両内とを含む車両周辺映像を撮影するカメラである。本実施形態では、カメラ２０は、３６０°の全天周を撮影可能なカメラとして説明するが、これに限定されず、車両の周囲及び車両内をそれぞれに撮影する複数のカメラ群であってもよい。カメラ２０は、車両の前方に配置されている。カメラ２０は、エンジンが始動してから停止するまでの間、車両の周囲と車両内とを含む車両周辺映像を常時撮影する。カメラ２０は、撮影した映像データを映像制御装置５０の映像データ取得部５１へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

【0016】

表示部３０は、一例としては、車両用撮影装置１に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部３０は、カメラ２０と一体に形成されていてもよい。表示部３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。本実施形態では、表示部３０は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部３０は、映像制御装置５０の出力制御部５６の表示制御部５６１から出力された映像信号に基づき、車両外部映像１１０または合成映像１２０を表示する。

【0017】

記憶部４０は、車両用撮影装置１におけるデータの一時記憶などに用いられる。記憶部４０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶部である。または、図示しない通信装置を介して無線接続される外部記憶部であってもよい。記憶部４０は、映像制御装置５０の出力制御部５６の記憶制御部５６２から出力された制御信号に基づき、車両外部映像１１０または合成映像１２０を記憶する。

【0018】

映像制御装置５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。映像制御装置５０は、記憶部４０に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。映像制御装置５０は、映像データ取得部５１と、乗員情報取得部５２と、顔映像抽出部５３と、外部映像抽出部５４と、映像合成部５５と、出力制御部５６と、映像制御部５７とを有する。映像制御装置５０には図示しない内部メモリが含まれ、内部メモリは映像制御装置５０におけるデータの一時記憶などに用いられる。

【0019】

映像データ取得部５１は、車両の周囲と車両内とを含む車両周辺映像の映像データを取得する。より詳しくは、映像データ取得部５１は、カメラ２０が出力した映像データを取得する。映像データ取得部５１は、取得した映像データを乗員情報取得部５２と顔映像抽出部５３と外部映像抽出部５４とに出力する。

【0020】

乗員情報取得部５２は、車両内の乗員の音声と感情と動作と生体の兆候との少なくともいずれかの乗員の状況を示す乗員情報を取得する。乗員情報取得部５２は、映像データ取得部５１が取得した映像データに音声認識処理を行って、乗員の音声を認識して音声データを乗員情報として取得する。本実施形態では、乗員情報取得部５２は、例えば、家族のような車両に乗車する頻度が高い乗員の音声をあらかじめ記憶しておき、認識した音声が、誰の音声であるかを特定して認識する。または、指向性の高いマイクを備え、どの座席に着座している乗員の音声であるかを認識してもよい。または、乗員情報取得部５２は、顔映像抽出部５３が抽出した顔映像１００から、乗員の表情を認識した感情情報を乗員情報として取得してもよい。または、乗員情報取得部５２は、映像データ取得部５１が取得した映像データに画像認識処理を行って、乗員の動作を認識して動作情報を乗員情報として取得してもよい。または、乗員情報取得部５２は、映像データ取得部５１が取得した映像データに画像認識処理を行って、例えば、呼吸の有無、意識の有無、瞼の状態、視線の向き、視線の移動量、および、顔色の少なくともいずれかを含む乗員の外見から認識可能な生体の兆候を認識して生体情報を乗員情報として取得してもよい。または、乗員情報取得部５２は、図示しない生体情報センサが取得した乗員の生体の兆候を認識して生体情報を乗員情報として取得してもよい。乗員情報取得部５２は、取得した乗員情報を映像制御部５７に出力する。

【0021】

顔映像抽出部５３は、映像データ取得部５１が取得した映像データから、乗員の顔部の映像である顔映像１００を抽出する。より詳しくは、顔映像抽出部５３は、図示しない人物認識辞書を使用して、映像データに人物認識処理を行って乗員の顔部を認識して、顔映像１００を抽出する。人物認識処理は、公知の方法であればよく、限定されない。本実施形態では、顔映像抽出部５３は、例えば、家族のような車両に乗車する頻度が高い乗員の顔部を記憶した人物認識辞書を使用して、誰の顔であるかを特定して認識するものとする。顔映像抽出部５３は、認識した顔映像１００を映像合成部５５と映像制御部５７とに出力する。

【0022】

また、顔映像抽出部５３は、乗員情報取得部５２によって音声が検出された乗員のみ、顔映像１００を抽出してもよいし、すべての乗員の顔映像１００を抽出してもよい。より詳しくは、顔映像抽出部５３は、映像データにおいて、乗員情報取得部５２が音声を検出した時刻に、口唇部の動きが検出された乗員の顔部を、音声を発した乗員の顔部として認識し、口唇部の動きが検出されない乗員の顔部は、認識しなくてもよい。

【0023】

また、顔映像抽出部５３は、映像データに人物認識処理を行った際に、認識した乗員の着座位置を合わせて取得してもよい。

【0024】

さらに、顔映像抽出部５３は、人物認識処理によって認識した複数の乗員が、例えば、１０ｃｍ程度以下まで接近していると判定されるとき、接近している複数の乗員をまとめて認識してもよい。例えば、後部座席の乗員が接近して会話しているとき、顔映像抽出部５３は、後部座席の複数の乗員をまとめて認識してもよい。

【0025】

外部映像抽出部５４は、映像データ取得部５１が取得した映像データから、車両の周囲の車両外部映像１１０を抽出する。外部映像抽出部５４は、映像データのうち、車両の進行方向の前方と左右側方と後方とに対応するカメラ２０の撮影範囲を車両外部映像１１０として抽出する。本実施形態では、外部映像抽出部５４は、映像データのうち、車両の進行方向の前方に対応するカメラ２０の撮影範囲を車両外部映像１１０として抽出する。外部映像抽出部５４は、認識した車両外部映像１１０を映像合成部５５と映像制御部５７とに出力する。

【0026】

映像合成部５５は、顔映像抽出部５３が抽出した顔映像１００を、外部映像抽出部５４が抽出した車両外部映像１１０に合成して合成映像１２０を生成する。より詳しくは、映像合成部５５は、顔映像抽出部５３が抽出した顔映像１００を、車両の前方から見たように視点変換処理を行う。言い換えると、映像合成部５５は、顔映像抽出部５３が抽出した顔映像１００の歪を補正する。また、映像合成部５５は、外部映像抽出部５４が抽出した車両外部映像１１０のうち、車両の進行方向の前方が撮影された範囲を切り出す切出処理と、運転席から前方を見たように視点変換処理とを行う。言い換えると、映像合成部５５は、車両外部映像１１０のうち、車両の進行方向の前方が撮影された範囲を切り出して、外部映像抽出部５４が抽出した車両外部映像１１０の歪を補正する。映像合成部５５は、視点変換後の顔映像１００を視点変換後の車両外部映像１１０に合成して合成映像１２０を生成する。

【0027】

本実施形態では、車両外部映像１１０において顔映像１００を合成する位置は、限定されない。例えば、車両外部映像１１０の周縁部に顔映像１００を合成してもよい。例えば、顔映像抽出部５３が認識した乗員の着座位置に応じて、車両外部映像１１０の所定位置に顔映像１００を合成してもよい。例えば、運転席に着座している運転手の顔画像１００ａを運転席側（右下）に表示し、助手席に着座している同乗者の顔画像１００ｂを助手席側（左下）に表示し、鏡像のように合成する等である。

【0028】

本実施形態では、車両外部映像１１０において顔映像１００を合成する大きさと形状とは、限定されない。例えば、合成した顔映像１００の面積の合計を、車両外部映像１１０の面積の２０％程度以下にしてもよい。例えば、矩形状または円形状または認識した乗員の外形に沿ってに切り出した顔映像１００を車両外部映像１１０に合成してもよい。

【0029】

映像制御部５７は、乗員の音声が検出されている間、または、乗員の音声が検出されてから所定時間、映像合成部５５によって、合成映像１２０を生成するように制御してもよい。音声が検出されている間、合成映像１２０を生成することにより、発声した乗員を認識しやすい合成映像１２０が生成される。乗員の音声が検出されてから所定時間、合成映像１２０を生成することにより、短い音声を発した場合でも乗員の顔を認識しやすい合成映像１２０が生成される。

【0030】

図２を用いて、合成映像１２０について説明する。合成映像１２０は、車両外部映像１１０の左側部に乗員の顔映像１００が合成されている。合成映像１２０は、車両外部映像１１０に、車両外部映像１１０が撮影されたときのすべての乗員の顔映像１００が合わせて表示される。

【0031】

出力制御部５６は、映像合成部５５が合成した合成映像１２０の出力を制御する。出力制御部５６は、表示制御部５６１と、記憶制御部５６２とを有する。表示制御部５６１は、映像合成部５５が合成した合成映像１２０を表示部３０に出力させる映像信号を出力する。記憶制御部５６２は、映像合成部５５が合成した合成映像１２０を記憶部４０に記憶させる。

【0032】

映像制御部５７は、映像合成部５５における合成映像１２０の生成と、出力制御部５６
による合成映像１２０の出力とを制御する。より詳しくは、映像制御部５７は、乗員情報取得部５２が取得した乗員情報に基づいて、映像合成部５５によって合成映像１２０を生成し、出力制御部５６によって合成映像１２０を出力する。本実施形態では、映像制御部５７は、乗員情報取得部５２が映像データから乗員の音声を検出すると、映像合成部５５によって合成映像１２０を生成させ、表示制御部５６１によって合成映像１２０を表示部３０に出力させ、記憶制御部５６２によって合成映像１２０を記憶部４０に記憶させる。

【0033】

次に、図３を用いて、映像制御装置５０における処理の流れについて説明する。図３は、第一実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置１の起動中、カメラ２０は、車両の周囲と車両内とを含む車両周辺映像を撮影する。

【0034】

映像制御装置５０は、映像データを取得する（ステップＳ１０１）。より詳しくは、映像制御装置５０は、映像データ取得部５１によって、カメラ２０が出力した映像データを取得する。映像制御装置５０は、ステップＳ１０２に進む。

【0035】

映像制御装置５０は、乗員情報を取得する（ステップＳ１０２）。より詳しくは、映像制御装置５０は、乗員情報取得部５２によって、映像データ取得部５１が取得した映像データに音声認識処理を行って、乗員の音声を認識して音声データを乗員情報として取得する。映像制御装置５０は、ステップＳ１０３に進む。

【0036】

映像制御装置５０は、乗員の音声を検出したかを判定する（ステップＳ１０３）。映像制御装置５０は、乗員情報取得部５２が音声データを取得した場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０７に進む。映像制御装置５０は、乗員情報取得部５２が音声データを取得しなかった場合（ステップＳ１０３でＮｏ）、ステップＳ１０４に進む。

【0037】

乗員の音声を検出しなかった場合（ステップＳ１０３でＮｏ）、映像制御装置５０は、車両外部映像１１０を抽出する（ステップＳ１０４）。より詳しくは、映像制御装置５０は、外部映像抽出部５４によって、映像データのうち、車両の前方に対応するカメラ２０の撮影範囲を車両外部映像１１０として抽出する。映像制御装置５０は、ステップＳ１０５に進む。

【0038】

映像制御装置５０は、車両外部映像１１０を記憶する（ステップＳ１０５）。より詳しくは、映像制御装置５０は、出力制御部５６の記憶制御部５６２によって、抽出した車両外部映像１１０を記憶部４０に記憶させる。映像制御装置５０は、ステップＳ１０６に進む。

【0039】

映像制御装置５０は、車両外部映像１１０を表示する（ステップＳ１０６）。より詳しくは、映像制御装置５０は、出力制御部５６の表示制御部５６１によって、抽出した車両外部映像１１０を表示部３０に表示させる。映像制御装置５０は、処理を終了する。

【0040】

乗員の音声を検出した場合（ステップＳ１０３でＹｅｓ）、映像制御装置５０は、顔映像１００を抽出する（ステップＳ１０７）。より詳しくは、映像制御装置５０は、顔映像抽出部５３によって、映像データに人物認識処理を行って乗員の顔部を認識して、顔映像１００を抽出する。映像制御装置５０は、ステップＳ１０８に進む。

【0041】

映像制御装置５０は、車両外部映像１１０を抽出する（ステップＳ１０８）。ステップＳ１０８においては、ステップＳ１０４と同様の処理が実行される。映像制御装置５０は、ステップＳ１０９に進む。

【0042】

映像制御装置５０は、映像を合成する（ステップＳ１０９）。より詳しくは、映像制御装置５０は、映像合成部５５によって、顔映像抽出部５３が抽出した顔映像１００を、車両の前方から見たように視点変換処理を行う。また、映像制御装置５０は、映像合成部５５によって、外部映像抽出部５４が抽出した車両外部映像１１０に、車両の進行方向の前方が撮影された範囲を切り出す切出処理と、運転席から前方を見たように視点変換処理とを行う。映像制御装置５０は、映像合成部５５によって、視点変換後の顔映像１００を視点変換後の車両外部映像１１０に合成して合成映像１２０を生成する。映像制御装置５０は、ステップＳ１１０に進む。

【0043】

映像制御装置５０は、合成映像１２０を記憶する（ステップＳ１１０）。より詳しくは、映像制御装置５０は、出力制御部５６の記憶制御部５６２によって、合成映像１２０を記憶部４０に記憶させる。映像制御装置５０は、ステップＳ１１１に進む。

【0044】

映像制御装置５０は、合成映像１２０を表示する（ステップＳ１１１）。より詳しくは、映像制御装置５０は、出力制御部５６の表示制御部５６１によって、合成映像１２０を表示部３０に表示させる。映像制御装置５０は、処理を終了する。

【0045】

このようにして、乗員の音声を検出すると、顔映像１００を車両外部映像１１０に合成して合成映像１２０を生成する。生成した合成映像１２０は、記憶部４０に記憶されるとともに、表示部３０に表示される。例えば、周囲の景色に反応して乗員が音声を発すると、そのときの車両外部映像１１０に乗員の顔映像１００を合成した合成映像１２０が生成される。

【0046】

上述したように、本実施形態は、乗員の音声を検出すると、顔映像１００を車両外部映像１１０に合成して合成映像１２０を生成することができる。また、本実施形態では、生成した合成映像１２０を、記憶部４０に記憶するとともに、表示部３０に表示することができる。本実施形態では、例えば、周囲の景色に反応して乗員が音声を発すると、そのときの車両外部映像１１０に乗員の顔映像１００を合成した合成映像１２０が生成することができる。これにより、本実施形態は、例えば、車両での旅行の楽しい記録を残すことができる。このように、本実施形態によれば、車内の状況に応じて適切な映像を記憶することができる。

【0047】

本実施形態によれば、乗員情報取得部５２によって音声が検出された乗員のみ、顔映像１００を抽出して、合成映像１２０を生成することができる。本実施形態によれば、乗員が寝ていたりして音声を発していないときは、顔映像１００が抽出されないので、合成映像１２０に寝顔の映像を含められることがない。これにより、本実施形態は、乗員のプライバシーを守ることができる。

【0048】

本実施形態によれば、例えば、後部座席の乗員が接近して会話しているとき、後部座席の複数の乗員をまとめて一つの顔映像１００として抽出して、合成映像１２０を生成することができる。これにより、本実施形態は、例えば、車両での旅行の楽しい記録を残すことができる。

【0049】

［第二実施形態］
図４ないし図６を参照しながら、本実施形態に係る車両用撮影装置１Ａについて説明する。図４は、第二実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図５は、第二実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。図６は、第二実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置１Ａは、基本的な構成は第一実施形態の車両用撮影装置１と同様である。以下の説明においては、車両用撮影装置１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。車両用撮影装置１Ａは、映像制御装置５０Ａが声量導出部５２１Ａを備える点と、映像合成部５５Ａと映像制御部５７Ａとにおける処理が第一実施形態と異なる。

【0050】

声量導出部５２１Ａは、乗員情報取得部５２が取得した乗員の音声の音声データに基づいて、声量の大きさを導出する。声量導出部５２１Ａは、導出した音声の声量の大きさの声量情報を映像制御部５７Ａに出力する。

【0051】

映像合成部５５Ａは、声量導出部５２１Ａが導出した乗員の声量の大きさに応じて、顔映像抽出部５３が抽出した顔映像１００の大きさを変えて、外部映像抽出部５４が抽出した車両外部映像１１０に合成して合成映像１２０を生成する。例えば、映像合成部５５Ａは、声量が閾値以上である場合、顔映像１００の大きさを、声量が閾値未満である場合に比べて大きくして合成映像１２０を生成してもよい。例えば、映像合成部５５Ａは、声量が大きいほど顔映像１００の大きさを大きくして合成映像１２０を生成してもよい。例えば、映像合成部５５Ａは、乗員ごとにあらかじめ記憶された普段の声量に比べて、導出した声量が大きい場合、顔映像１００の大きさを大きくして合成映像１２０を生成してもよい。

【0052】

図５を参照して、合成映像１２０について説明する。女性の乗員の声量が男性の乗員の声量より大きいものとする。女性の乗員の顔映像１００は、男性の乗員の顔映像１００より大きく表示されている。

【0053】

映像制御部５７Ａは、声量導出部５２１Ａが導出した乗員の声量の大きさに基づいて、映像合成部５５Ａによって合成映像１２０を生成し、出力制御部５６による合成映像１２０の出力を制御する。

【0054】

次に、図６を用いて、映像制御装置５０Ａにおける処理の流れについて説明する。ステップＳ２０１ないしステップＳ２０６、ステップＳ２０８、ステップＳ２０９、ステップＳ２１１、ステップＳ２１２の処理は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０６、ステップＳ１０７、ステップＳ１０８、ステップＳ１１０、ステップＳ１１１と同様の処理を行う。

【0055】

乗員の音声を検出した場合（ステップＳ２０３でＹｅｓ）、映像制御装置５０Ａは、声量を導出する（ステップＳ２０７）。より詳しくは、映像制御装置５０Ａは、声量導出部５２１Ａによって、乗員情報取得部５２が取得した乗員の音声について声量の大きさを導出する。映像制御装置５０Ａは、ステップＳ２０８に進む。

【0056】

映像制御装置５０Ａは、声量に応じて顔映像１００の大きさを変えて映像を合成する（ステップＳ２１０）。より詳しくは、映像制御装置５０Ａは、声量導出部５２１Ａが導出した乗員の声量の大きさに応じて、顔映像抽出部５３が抽出した顔映像１００の大きさを変えて、車両外部映像１１０に合成して合成映像１２０を生成する。映像制御装置５０Ａは、ステップＳ２１１に進む。

【0057】

このようにして、乗員の音声を検出すると、声量に応じて大きさを変えた顔映像１００を車両外部映像１１０に合成して合成映像１２０を生成する。

【0058】

上述したように、本実施形態は、乗員の音声を検出すると、声量に応じて大きさを変えた顔映像１００を車両外部映像１１０に合成して合成映像１２０を生成することができる。本実施形態では、例えば、周囲の景色に反応して乗員が音声を発すると、声の大きい乗員の顔映像１００を声の小さい乗員の顔映像１００より大きくした合成映像１２０を生成することができる。これにより、本実施形態は、例えば、より大きな声を出して、周囲の景色に大きな反応を示した乗員の顔映像１００を大きくすることができる。

【0059】

［第三実施形態］
図７、図８を参照しながら、本実施形態に係る車両用撮影装置１Ｂについて説明する。図７は、第三実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図８は、第三実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置１Ｂは、基本的な構成は第一実施形態の車両用撮影装置１と同様である。車両用撮影装置１Ｂは、映像制御装置５０Ｂが音声判定部５２２Ｂを備える点と、映像合成部５５Ｂと映像制御部５７Ｂとにおける処理が第一実施形態と異なる。

【0060】

音声判定部５２２Ｂは、乗員情報取得部５２が取得した乗員の音声の音声データから、乗員の音声を認識して、音声が車両の走行状態または車両の周囲の状況に関するものであるかを判定する。音声判定部５２２Ｂは、判定した音声の音声判定情報を映像制御部５７Ｂに出力する。

【0061】

車両の走行状態に関する音声とは、例えば、車両の速度とブレーキ操作とハンドル操作とのような、車両の走行に関して乗員が発する音声である。例えば、「スピード」、「速い」、「ブレーキ」、「もっと踏んで」、「ハンドル」、「もっと切って」、「危ない！」、「ぶつかる」などの音声である。

【0062】

車両の周囲の状況に関する音声とは、例えば、車両の周囲の景色と歩行者と他車両と障害物とのような、車両の周囲の状況に関して乗員が発する音声である。例えば、「見て！」、「何だろう？」、「きれい」、「わぁ」、「（固有名詞）」、「あの建物」、「あの人」、「あの車」、「あのバイク」などの音声である。

【0063】

映像合成部５５Ｂは、音声判定部５２２Ｂが、乗員の音声が車両の走行状態または車両の周囲の状況に関するものであると判定した場合、合成映像１２０を生成する。

【0064】

また、映像合成部５５Ｂは、乗員の音声が車両の周囲の状況に関するものである場合、乗員の興味の対象物を特定して、外部映像抽出部５４が抽出した車両外部映像１１０のうち、対象物が拡大されるように切り出す切出処理を行って、合成映像１２０を生成してもよい。乗員の興味の対象物を特定は、例えば、音声から固有名詞を認識して特定したり、図示しない視線検出装置によって乗員の視線を検出して特定したり、車両外部映像１１０に画像認識を行って特徴的な被撮影物を認識して特定したり、ナビゲーションシステムから取得する地図情報によって特定することが可能である。

【0065】

映像制御部５７Ｂは、音声判定部５２２Ｂが、乗員の音声が車両の走行状態または車両の周囲の状況に関するものであると判定した場合、映像合成部５５Ｂによって合成映像１２０を生成し、出力制御部５６による合成映像１２０の出力を制御する。

【0066】

次に、図８を用いて、映像制御装置５０Ｂにおける処理の流れについて説明する。ステップＳ３０１ないしステップＳ３０６、ステップＳ３０９ないしステップＳ３１３の処理は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０６、ステップＳ１０７ないしステップＳ１１１と同様の処理を行う。

【0067】

乗員の音声を検出した場合（ステップＳ３０３でＹｅｓ）、映像制御装置５０Ｂは、音声を判定する（ステップＳ３０７）。より詳しくは、映像制御装置５０Ｂは、音声判定部５２２Ｂによって、乗員情報取得部５２が取得した乗員の音声の音声データから、乗員の音声を認識して、音声が車両の走行状態または車両の周囲の状況に関するものであるかを判定する。映像制御装置５０Ｂは、ステップＳ３０８に進む。

【0068】

映像制御装置５０Ｂは、車両の走行または車両の周囲に関する音声であるかを判定する（ステップＳ３０８）。より詳しくは、映像制御装置５０Ｂは、音声判定部５２２Ｂによって、音声が車両の走行状態または車両の周囲の状況に関するものであると判定される場合（ステップＳ３０８でＹｅｓ）、ステップＳ３０９に進む。映像制御装置５０Ｂは、音声判定部５２２Ｂによって、音声が車両の走行状態または車両の周囲の状況に関するものであると判定されなかった場合（ステップＳ３０８でＮｏ）、ステップＳ３０４に進む。

【0069】

このようにして、検出した乗員の音声が、車両の走行状態または車両の周囲の状況に関するものであると、顔映像１００を車両外部映像１１０に合成して合成映像１２０を生成する。

【0070】

上述したように、本実施形態は、検出した乗員の音声が、車両の走行状態または車両の周囲の状況に関するものであると、顔映像１００を車両外部映像１１０に合成して合成映像１２０を生成することができる。本実施形態によれば、例えば、検出した乗員の音声が、車両外部映像１１０とに関連がありそうな場合に限って、合成映像１２０を生成するこ
とができる。

【0071】

［第四実施形態］
図９ないし図１１を参照しながら、本実施形態に係る車両用撮影装置１Ｃについて説明する。図９は、第四実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図１０は、第四実施形態に係る映像制御装置で生成した合成映像の一例を説明する概略図である。図１１は、第四実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置１Ｃは、基本的な構成は第一実施形態の車両用撮影装置１と同様である。車両用撮影装置１Ｃは、映像制御装置５０Ｃが顔方向判定部５３１Ｃを備える点と、映像合成部５５Ｃと映像制御部５７Ｃとにおける処理が第一実施形態と異なる。

【0072】

顔方向判定部５３１Ｃは、顔映像抽出部５３が抽出した顔映像１００に基づいて、乗員の顔部の向きを判定する。より詳しくは、顔方向判定部５３１Ｃは、顔映像抽出部５３が抽出した顔映像１００が正面を向いている場合、進行方向の前方を向いていると判定する。顔方向判定部５３１Ｃは、顔映像抽出部５３が抽出した顔映像１００が右側を向いている場合、進行方向の右方向を向いていると判定する。顔方向判定部５３１Ｃは、顔映像抽出部５３が抽出した顔映像１００が左側を向いている場合、進行方向の左方向を向いていると判定する。顔方向判定部５３１Ｃは、顔映像抽出部５３が抽出した顔映像１００が後方を向いている場合、進行方向の後方を向いていると判定する。

【0073】

映像合成部５５Ｃは、顔方向判定部５３１Ｃが判定した乗員の顔部の向きに基づいて、外部映像抽出部５４が抽出した車両外部映像１１０のうち、乗員の顔部の向きに対応する範囲を切り出す切出処理を行って、切り出した車両外部映像１１０に顔映像１００を合成した合成映像１２０を生成する。

【0074】

図１０を参照して、合成映像１２０について説明する。乗員が車両の進行方向に対して左方向を向いているものとして説明する。合成映像１２０は、図２とは異なる車両進行方向に対して左方向が切り出された車両外部映像１１０に乗員の顔映像１００が合成されている。

【0075】

映像制御部５７Ｃは、映像合成部５５Ｃによって、顔方向判定部５３１Ｃが判定した乗員の顔部の向きに基づいて、外部映像抽出部５４が抽出した車両外部映像１１０のうち、乗員の顔部の向きに対応する範囲を切り出して、顔映像１００を合成した合成映像１２０を生成するように制御する。なお、このときの顔映像１００は、図１０に示すように乗員の顔部の向きが判りやすいように車両前方の視点からの顔映像１００であることが好ましい。また、乗員の顔が正面から映るような視点変換を行ったものであってもよい。

【0076】

次に、図１１を用いて、映像制御装置５０Ｃにおける処理の流れについて説明する。ステップＳ４０１ないしステップＳ４０７、ステップＳ４０９、ステップＳ４１１、ステップＳ４１２の処理は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０７、ステップＳ１０８、ステップＳ１１０、ステップＳ１１１と同様の処理を行う。

【0077】

映像制御装置５０Ｃは、顔方向を判定する（ステップＳ４０８）。より詳しくは、映像制御装置５０Ｃは、顔方向判定部５３１Ｃによって、顔映像抽出部５３が抽出した顔映像１００に基づいて、乗員の顔部の向きを判定する。映像制御装置５０Ｃは、ステップＳ４０９に進む。

【0078】

映像制御装置５０Ｃは、顔方向に応じて、車両外部映像１１０の切出範囲を変えて映像を合成する（ステップＳ４１０）。より詳しくは、映像制御装置５０Ｃは、顔方向判定部５３１Ｃが判定した乗員の顔部の向きに基づいて、外部映像抽出部５４が抽出した車両外部映像１１０のうち、乗員の顔部の向きに対応する範囲を切り出す切出処理を行って、切り出した車両外部映像１１０に顔映像１００を合成した合成映像１２０を生成する。映像制御装置５０は、ステップＳ４１１に進む。

【0079】

このようにして、乗員の顔方向に応じて、車両外部映像１１０の切出範囲を変え合成映像１２０を生成する。

【0080】

上述したように、本実施形態は、乗員の顔方向に応じて、車両外部映像１１０の切出範囲を変えて合成映像１２０を生成することができる。本実施形態によれば、例えば、乗員が興味を持った対象物を見ながら音声を発したとき、対象物が位置する方向を含んで切り出した車両外部映像１１０に顔映像１００を合成することができる。これにより、本実施形態は、合成映像１２０によって、乗員が興味を持った対象物を後から確認することができる。なお、顔映像抽出部５３が抽出した顔映像１００に基づいて運転手の顔画像１００ａが前方以外の方向を向いていると判定した場合には、車両外部映像１１０に顔画像１００ａを合成するとともに、警告を発するようにしてもよい。

【0081】

［第五実施形態］
図１２ない図１４を参照しながら、本実施形態に係る車両用撮影装置１Ｄについて説明する。図１２は、第五実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図１３は、第五実施形態に係る映像制御装置が撮影した映像データの一例を説明する概略図である。図１４は、第五実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置１Ｄは、基本的な構成は第一実施形態の車両用撮影装置１と同様である。車両用撮影装置１Ｄは、映像制御装置５０Ｄが映像領域抽出部５４１Ｄを備える点と、映像合成部５５Ｄと映像制御部５７Ｄとにおける処
理が第一実施形態と異なる。

【0082】

映像領域抽出部５４１Ｄは、外部映像抽出部５４が抽出した車両外部映像１１０に基づいて、画像中で輝度の変化が少ない領域、言い換えると、単調な対象物が撮影された映像領域１３０を抽出する。本実施形態では、映像領域抽出部５４１Ｄは、車両外部映像１１０に基づいて、空が撮影された映像領域１３０を抽出する。空を抽出する方法は、映像中の画素の輝度が水平方向および垂直方向にほぼ一定となる領域を導出する公知のいずれの方法でもよく、限定されない。また、映像領域抽出部５４１Ｄは、車両外部映像１１０に基づいて、ボンネットを含む自車両の車体が撮影された領域、または、道路が撮影された映像領域１３０を抽出してもよい。例えば、映像領域抽出部５４１Ｄは、車両外部映像１１０において輝度の変化が少ない、または、低周波の所定面積以上の領域を映像領域１３０として抽出する。

【0083】

映像合成部５５Ｄは、映像領域抽出部５４１Ｄが抽出した空が撮影された映像領域１３０に顔映像１００を合成した合成映像１２０を生成する。映像合成部５５Ｄは、抽出された映像領域１３０に収まるように、顔映像１００の大きさを調整して合成映像１２０を生成することが好ましい。このように車両外部映像中の単調な対象物が撮影された領域に乗員の顔映像１００を合成することで、車両外部映像中の建物や標識、他車両などを顔映像１００が隠し、見えなくなってしまうことを防ぐことができる。

【0084】

図１３を参照して、合成映像１２０について説明する。合成映像１２０は、車両外部映像１１０の空の映像領域１３０に乗員の顔映像１００が合成されている。

【0085】

映像制御部５７Ｄは、映像合成部５５Ｄによって、映像領域抽出部５４１Ｄが抽出した空が撮影された映像領域１３０に顔映像１００を合成した合成映像１２０を生成するよう制御する。

【0086】

次に、図１４を用いて、映像制御装置５０Ｄにおける処理の流れについて説明する。ステップＳ５０１ないしステップＳ５０８、ステップＳ５１１、ステップＳ５１２の処理は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０８、ステップＳ１１０、ステップＳ１１１と同様の処理を行う。

【0087】

映像制御装置５０Ｄは、空を撮像した領域を抽出する（ステップＳ５０９）。より詳しくは、映像制御装置５０Ｄは、映像領域抽出部５４１Ｄによって、外部映像抽出部５４が抽出した車両外部映像１１０から、空が撮影された映像領域１３０を抽出する。映像制御装置５０Ｄは、ステップＳ５１０に進む。

【0088】

映像制御装置５０Ｄは、抽出された空の映像領域１３０に映像を合成する（ステップＳ５１０）。より詳しくは、映像制御装置５０Ｄは、映像合成部５５Ｄによって、映像領域抽出部５４１Ｄが抽出した空が撮影された映像領域１３０に顔映像１００を合成した合成映像１２０を生成する。映像制御装置５０Ｄは、ステップＳ５１１に進む。

【0089】

このようにして、空を撮像した映像領域１３０に顔映像１００が合成される。

【0090】

上述したように、本実施形態は、空を撮像した映像領域１３０に顔映像１００を合成することができる。本実施形態によれば、対向車、歩行者、信号、標識および建物などの乗員が興味をもつ可能性のある対象物が撮影された範囲に、顔映像１００が重畳され、対象物が視認できない映像となることを抑制することができる。

【0091】

［第六実施形態］
図１５を参照しながら、本実施形態に係る車両用撮影装置１Ｂについて説明する。図１５は、第六実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置１Ｂは、基本的な構成は第三実施形態の車両用撮影装置１Ｂと同様である。車両用撮影装置１Ｂは、音声判定部５２２Ｂと映像制御部５７Ｂとにおける処理が第三実施形態と異なる。

【0092】

音声判定部５２２Ｂは、映像データ取得部５１が取得した映像データから、乗員の音声を認識して、事故など危ない状況に関するであるかを判定する。

【0093】

事故など危ない状況に関する音声とは、例えば、「危ない！」、「ぶつかる」、「事故」、「衝突」などの音声である。

【0094】

映像制御部５７Ｂは、音声判定部５２２Ｂが、事故など危ない状況に関する音声であると判定した場合、映像合成部５５Ｂによって合成映像１２０を生成し、合成映像１２０と、合成する前の車両外部映像１１０とを記憶して、合成する前の車両外部映像１１０を表示する。また、映像制御部５７Ｂは、音声判定部５２２Ｂが、乗員の音声が車両の走行状態または車両の周囲の状況に関するものであると判定しなかった場合、映像合成部５５Ｂによって合成映像１２０を生成し、合成映像１２０を記憶して、合成映像１２０を表示する。

【0095】

次に図１５を用いて、映像制御装置５０Ｂにおける処理の流れについて説明する。ステップＳ６０１ないしステップＳ６０６、ステップＳ６０９ないしステップＳ６１３の処理は、図８に示すフローチャートのステップＳ３０１ないしステップＳ３０７、ステップＳ３０９ないしステップＳ３１３と同様の処理を行う。

【0096】

乗員の音声を検出した場合（ステップＳ６０３でＹｅｓ）、映像制御装置５０Ｂは、音声を判定する（ステップＳ６０７）。より詳しくは、映像制御装置５０Ｂは、音声判定部５２２Ｂによって、乗員情報取得部５２が取得した乗員の音声の音声データから、乗員の音声を認識して、音声が事故など危ない状況に関するものであるかを判定する。映像制御装置５０Ｂは、ステップＳ６０８に進む。

【0097】

映像制御装置５０Ｂは、事故など危ない状況に関する音声であるかを判定する（ステップＳ６０８）。より詳しくは、映像制御装置５０Ｂは、音声判定部５２２Ｂによって、事故など危ない状況に関する音声であると判定される場合（ステップＳ６０８でＹｅｓ）、ステップＳ６１４に進む。映像制御装置５０Ｂは、音声判定部５２２Ｂによって、事故など危ない状況に関する音声であると判定されなかった場合（ステップＳ６０８でＮｏ）、ステップＳ６０９に進む。

【0098】

ステップＳ６１４ないしステップＳ６１７、ステップＳ６１８、ステップＳ６１９は、ステップＳ６０９ないしステップＳ６１２、ステップＳ６０５、ステップＳ６１３と同様の処理を行う。

【0099】

このようにして、検出した乗員の音声が、事故など危ない状況に関する音声であると、合成映像１２０と、合成する前の車両外部映像１１０とを記憶して、合成する前の車両外部映像１１０を表示する。また、検出した乗員の音声が、事故など危ない状況に関する音声ではないと、合成映像１２０を記憶して、合成映像１２０を表示する。

【0100】

上述したように、本実施形態は、検出した乗員の音声が、事故など危ない状況に関する音声であると、合成映像１２０と、合成する前の車両外部映像１１０とをどちらも記憶して、合成する前の車両外部映像１１０を表示することができる。また、検出した乗員の音声が、事故など危ない状況に関する音声ではないと、合成映像１２０を記憶して、合成映像１２０を表示することができる。本実施形態によれば、事故などのときは、合成映像１２０と、合成する前の車両外部映像１１０とをどちらも記憶するので、事故時の様子を検証するための映像と証拠能力の高い映像とを記憶することができる。

【0101】

本実施形態によれば、事故などのときは、運転者を含む乗員の注意を惹くような合成映像１２０が表示部３０に表示されないようにすることができる。事故など危ない状況ではなく、安全であるときに限って、合成映像１２０を表示部３０に表示することができる。

【0102】

［第七実施形態］
図１６、図１７を参照しながら、本実施形態に係る車両用撮影装置１Ｅについて説明する。図１６は、第七実施形態に係る映像制御装置を有する車両用撮影装置の構成例を示すブロック図である。図１７は、第七実施形態に係る映像制御装置における処理の流れを示すフローチャートである。車両用撮影装置１Ｅは、基本的な構成は第一実施形態と同様である。車両用撮影装置１Ｅは、表示部３０Ｅの構成と、映像制御装置５０Ｅが車両情報取得部５８Ｅを備える点と、出力制御部５６Ｅの表示制御部５６１Ｅの処理が第一実施形態と異なる。

【0103】

表示部３０Ｅは、運転者から視認可能な位置に配置された運転席用表示部３０１Ｅと、後部座席から視認可能な位置に配置された後部座席用表示部３０２Ｅとを有する。

【0104】

車両情報取得部５８Ｅは、車両の加速度または速度など、車両が受けた衝撃を判定可能な車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部５８Ｅは、取得した車両情報を映像制御部５７に出力する。

【0105】

表示制御部５６１Ｅは、事故など危ない状況が検出されたとき、合成する前の車両外部映像１１０を運転席用表示部３０１Ｅに表示させる映像信号を出力し、合成映像１２０を後部座席用表示部３０２Ｅに表示させる映像信号を出力する。

【0106】

次に、図１７を用いて、映像制御装置５０Ｅにおける処理の流れについて説明する。ステップＳ７０１ないしステップＳ７０６、ステップＳ７０９ないしステップＳ７１７の処理は、図１５に示すフローチャートのステップＳ６０１ないしステップＳ６０６、ステップＳ６０９ないしステップＳ６１７と同様の処理を行う。

【0107】

乗員の音声を検出した場合（ステップＳ７０３でＹｅｓ）、映像制御装置５０Ｅは、車両情報を判定する（ステップＳ７０７）。より詳しくは、映像制御装置５０Ｅは、車両情報取得部５８Ｅが取得した車両情報が車両の事故など危ない状況を示すものであるかを判定する。映像制御装置５０Ｅは、ステップＳ７０８に進む。

【0108】

映像制御装置５０Ｅは、事故など危ない状況を示す車両情報かを判定する（ステップＳ７０８）。より詳しくは、映像制御装置５０Ｅは、車両情報取得部５８Ｅが取得した車両情報が車両の事故など危ない状況を示すものであると判定する場合（ステップＳ７０８でＹｅｓ）、ステップＳ７１４に進む。映像制御装置５０Ｅは、車両情報取得部５８Ｅが取得した車両情報が車両の事故など危ない状況を示すものではないと判定する場合（ステップＳ７０８でＮｏ）、ステップＳ７０９に進む。

【0109】

映像制御装置５０Ｅは、車両外部映像１１０を運転席用表示部３０１Ｅに表示する（ステップＳ７１８）。

【0110】

映像制御装置５０Ｅは、合成映像１２０を後部座席用表示部３０２Ｅに表示する（ステップＳ７１９）。

【0111】

このようにして、事故など危ない状況を検出すると、合成する前の車両外部映像１１０を運転席用表示部３０１Ｅに表示させ、合成映像１２０を後部座席用表示部３０２Ｅに表示させる。

【0112】

上述したように、本実施形態は、事故など危ない状況を検出すると、合成する前の車両外部映像１１０を運転席用表示部３０１Ｅに表示させ、合成映像１２０を後部座席用表示部３０２Ｅに表示させることができる。本実施形態によれば、状況に応じて、車両の複数の表示部に表示する映像をそれぞれ適したものにすることができる。

【0113】

さて、これまで本発明に係る車両用撮影装置１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

【0114】

図示した車両用撮影装置１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0115】

車両用撮影装置１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0116】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0117】

車両外部映像１１０において顔映像１００を合成する位置は、検出した声量の大きさ、または、認識した音声の内容、または、乗員の表情に応じて変えてもよい。これにより、車内の状況に応じて適切な映像を生成することができる。

【0118】

車両外部映像１１０において顔映像１００を合成する大きさは、乗員が意識を失っていたり、生体情報に異常がある場合、顔映像１００を大きくして合成してもよい。これにより、車内の状況に応じて適切な映像を生成することができる。

【0119】

第四実施形態において、映像合成部５５Ｃが乗員の顔部の向きに応じて切出範囲を変える際に、進行方向の前方を含む通常の切出範囲から徐々に切り出す範囲をずらすようにしてもよい。これにより、切出範囲をどちらの方向にずらしたかを認識しやすくすることができる。

【0120】

第二実施形態において、乗員情報取得部５２が乗員の表情を認識した感情情報を取得する場合、声量導出部５２１Ａの代わりに感情量導出部を備え、乗員の表情の変化が大きいほど、乗員の顔映像１００を大きくして合成してもよい。乗員情報取得部５２が乗員の動作を取得する場合、声量導出部５２１Ａの代わりに動作量導出部を備え、乗員の動作が大きいほど、乗員の顔映像１００を大きくして合成してもよい。

【0121】

乗員情報取得部５２が認識可能な生体の兆候を認識して生体情報を乗員情報として取得する場合や生体情報センサが取得した乗員の生体の兆候を認識して生体情報する場合、声量導出部５２１Ａの代わりに生体情報量導出部を備え、乗員の生体情報が多いほど、乗員の顔映像１００を大きくして合成してもよい。これらの感情量、動作量、生体情報量を導出する導出部を乗員情報量導出部としてもよい。

【符号の説明】

【0122】

１ 車両用撮影装置
２０ カメラ
３０ 表示部
４０ 記憶部
５０ 映像制御装置
５１ 映像データ取得部
５２ 乗員情報取得部
５３ 顔映像抽出部
５４ 外部映像抽出部
５５ 映像合成部
５６ 出力制御部
５６１ 表示制御部
５６２ 記憶制御部
５７ 映像制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】