特許 6806040 画像生成装置、表示システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6806040

(24)【登録日】2020年12月8日

(45)【発行日】2021年1月6日

(54)【発明の名称】画像生成装置、表示システム、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20201221BHJP

   H04N 5/66 20060101ALI20201221BHJP

   H04N 5/232 20060101ALI20201221BHJP

   G06T 1/00 20060101ALI20201221BHJP

【ＦＩ】

   H04N7/18 J

   H04N5/66 Z

   H04N5/232 290

   G06T1/00 280

【請求項の数】4

【全頁数】24

(21)【出願番号】特願2017-220716(P2017-220716)

(22)【出願日】2017年11月16日

(65)【公開番号】特開2019-92094(P2019-92094A)

(43)【公開日】2019年6月13日

【審査請求日】2019年4月3日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】宇田 尚典

(72)【発明者】

【氏名】赤井 良行

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１２−１９５７９３（ＪＰ，Ａ）

【文献】 特開２０１０−１７３４９２（ＪＰ，Ａ）

【文献】 特開２０１６−１９２１２８（ＪＰ，Ａ）

【文献】 特開２０１２−０５１６７８（ＪＰ，Ａ）

【文献】 特開２０１０−２７２００１（ＪＰ，Ａ）

【文献】 特開２００５−１１０１５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｋ ３５／００

Ｇ０８Ｇ １／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／６６

(57)【特許請求の範囲】

【請求項1】

移動体の周辺の画像を撮影する撮影部により時系列に撮影された複数の第１画像から、前記移動体の周辺環境の変化の度合いを表す環境情報を生成する情報生成部と、
前記複数の第１画像の各々について、前記第１画像の輪郭線を抽出した第１輪郭線画像を生成し、前記第１画像の背景部分を抽出した背景画像を生成し、前記第１輪郭線画像の輪郭線の濃度を前記環境情報に応じて変化させた第２輪郭線画像を生成し、前記第２輪郭線画像と前記背景画像とを合成して第２画像を生成する画像生成部と、
を備え、
前記環境情報が、
前記第１画像全体の変化の度合いを表す第１の複雑さパラメータ、前記第１画像内の左右端の変化の度合いを表す第２の複雑さパラメータ、前記第１の複雑さパラメータの速度に対する変化を表す特性曲線と前記第１の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさ、または、前記第２の複雑さパラメータの速度に対する変化を表す特性曲線と前記第２の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさで表される第３の複雑さパラメータ、及び、前記第１画像内の中央部の変化の度合いを表す第４の複雑さパラメータで構成される複雑さパラメータ群の中から選択された１つの複雑さパラメータ、または、前記複雑さパラメータ群の中から選択された２以上の複雑さパラメータの組合せであり、
前記画像生成部は、選択された複雑さパラメータの値が大きくなるほど、輪郭線の濃度を濃くする、
画像生成装置。

【請求項2】

前記画像生成部は、前記輪郭線の色を、前記第１画像を代表する色とする、
請求項１に記載の画像生成装置。

【請求項3】

請求項１または請求項２に記載の画像生成装置と、
前記画像生成装置から送信された前記画像に基づく情報を表示する表示装置と、
を備えた表示システム。

【請求項4】

コンピュータを、請求項１または請求項２に記載の画像生成装置の各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、表示システム、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、入力される機械調の原画像を絵画調画像に変換する絵画調画像への変換プログラムであって、前記原画像と、該原画像に目的とする絵の感じがでるように所定の濃淡パターンで作成されたフィルタ画像とを合成する合成ステップを有する、ことを特徴とする絵画調画像への変換プログラムが開示されている。

【0003】

特許文献２には、プロセッサと、プログラム及びデータが格納された記憶手段と、画像出力手段とを備え、該データは、カメラで撮像された被写体画像と、スクリーントーンとを含み、該プログラムが該プロセッサに対し、該被写体画像を漫画調に変換させる画像処理装置において、該プログラムは該プロセッサに対し、（ａ）該被写体画像をグレースケール画像に変換させ、（ｂ）該グレースケール画像を第１の閾値で２値化させたマスクを生成させ、該スクリーントーンの、該マスクの白画素の位置に対応した画素からなるスクリーントーン切抜画像を生成させ、（ｃ）該グレースケール画像を、該第１の閾値より小さい第２の閾値で２値化させて２値画像を生成させ、（ｄ）該グレースケール画像のエッジ画像を反転させた輪郭線画像を生成させ、（ｅ）該スクリーントーン切抜画像と該２値画像と該輪郭線画像とを積合成させた第１合成画像を生成させ、該第１合成画像の一部又は全部を含む画像を漫画調画像として該画像出力手段に供給させることを特徴とする画像処理装置が開示されている。

【0004】

特許文献３には、被写体を撮影して得られる連写画像群や動画を構成する動画構成画像群の中からユーザによって任意に選択された合成に用いられる合成用画像群のデータが記憶される合成用画像群記憶手段と、前記合成用画像群の中から被写体の動作開始の画像、動作中の画像、動作終了の画像を抽出する画像抽出手段と、前記画像抽出手段が抽出した複数の画像を合成する抽出画像合成手段と、画像を表示する表示手段および前記抽出画像合成手段によって合成された合成抽出画像を表示させる表示制御手段と、ユーザによって前記合成抽出画像内における所定の矩形領域を選択するのに用いられる矩形領域入力手段と、ユーザが選択した矩形領域を印刷用紙のサイズに合った矩形領域に調整する矩形領域調整手段と、前記合成用画像群内の画像における前記矩形領域調整手段によって調整された矩形領域内を合成する矩形領域合成手段と、前記矩形領域合成手段が合成して得られる矩形領域合成画像を絵画調に変換する絵画調変換手段と、前記絵画調変換手段によって生成された絵画調画像を前記印刷用紙に印刷する印刷手段と、を備えることを特徴とする画像処理装置が開示されている。

【0005】

特許文献４には、オリジナル画像の画調変換を行う画調変換方法であって、前記画像の少なくとも一部に、流体の動きのように表現する画像変換処理を行うことを特徴とする画調変換方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００２−２９８１３６号公報

【特許文献2】特開２０１４−１０２５９６号公報

【特許文献3】特開２０１２−１２９６６９号公報

【特許文献4】特開２０１３−１９１１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来の画像処理装置等は、移動体の周辺環境を反映した画像に関するものではない。

【0008】

本発明の目的は、移動体の周辺環境に応じて変化する画像を得ることができる、画像生成装置、表示システム、及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の画像生成装置は、移動体の周辺の画像を撮影する撮影部により時系列に撮影された複数の第１画像から、前記移動体の周辺環境の変化の度合いを表す環境情報を生成する情報生成部と、前記複数の第１画像の各々について、前記第１画像の輪郭線を抽出した第１輪郭線画像を生成し、前記第１画像の背景部分を抽出した背景画像を生成し、前記第１輪郭線画像の輪郭線の濃度を前記環境情報に応じて変化させた第２輪郭線画像を生成し、前記第２輪郭線画像と前記背景画像とを合成して第２画像を生成する画像生成部と、を備え、前記環境情報が、前記第１画像全体の変化の度合いを表す第１の複雑さパラメータ、前記第１画像内の左右端の変化の度合いを表す第２の複雑さパラメータ、前記第１の複雑さパラメータの速度に対する変化を表す特性曲線と前記第１の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさ、または、前記第２の複雑さパラメータの速度に対する変化を表す特性曲線と前記第２の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさで表される第３の複雑さパラメータ、及び、前記第１画像内の中央部の変化の度合いを表す第４の複雑さパラメータで構成される複雑さパラメータ群の中から選択された１つの複雑さパラメータ、または、前記複雑さパラメータ群の中から選択された２以上の複雑さパラメータの組合せであり、前記画像生成部は、選択された複雑さパラメータの値が大きくなるほど、輪郭線の濃度を濃くする画像生成装置である。

【0010】

本発明の表示システムは、本発明の画像生成装置と、前記画像生成装置から送信された前記画像に基づく情報を表示する表示装置と、を備えた表示システムである。

【0011】

本発明のプログラムは、コンピュータを、本発明の画像生成装置の各部として機能させるためのプログラムである。

【発明の効果】

【0012】

本発明によれば、移動体の周辺環境に応じて変化する画像を得ることができる、画像生成装置、表示システム、及びプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態に係る画像生成装置の構成の概略を示すブロック図である。

【図2】撮影部で撮影された画像を示す。（Ａ）は複雑さパラメータ１を得るための画像の正面図、（Ｂ）は複雑さパラメータ２を得るための画像の正面図、（Ｃ）は図５（Ｂ）で分割した画像コマを特定する番号の配列図である。

【図3】速度-複雑さパラメータ特性図である。

【図4】撮影部で撮影された画像を示し、複雑さパラメータ４を得るための画像の正面図である。

【図5】第１の実施の形態に係る画像生成装置の電気的構成の一例を示すブロック図である。

【図6】第１の実施の形態に係る画像生成装置の動作の概略を示す模式図である。

【図7】第１の実施の形態に係る情報処理部の構成の一例を示すブロック図である。

【図8】第１の実施の形態に係る情報処理部の構成の具体例を示すブロック図である。

【図9】第１の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。

【図10】図９の「エフェクト処理」を実行するプログラムの流れを示すフローチャートである。

【図11】画像処理を説明するための図である。（Ａ）は撮影されたカメラ映像、（Ｂ）は輪郭線画像、（Ｃ）は輪郭線の濃度が薄く変更された輪郭線画像、（Ｄ）は背景画像、（Ｅ）は合成画像を示す。

【図12】画像処理を説明するための図である。（Ａ）は撮影されたカメラ映像、（Ｂ）は輪郭線画像、（Ｃ）は輪郭線の濃度が濃く変更された輪郭線画像、（Ｄ）は背景画像、（Ｅ）は合成画像を示す。

【図13】第２の実施の形態で生成されるグラデーション画像の一例を示す図である。

【図14】第２の実施の形態に係る画像生成装置の動作の概略を示す模式図である。

【図15】第２の実施の形態に係る情報処理部の構成の一例を示すブロック図である。

【図16】第２の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。

【図17】（Ａ）〜（Ｄ）は、カメラ映像に対応するグラデーション画像の具体例１を示す図である。

【図18】第３の実施の形態で動画像の生成に用いる図形の一例を示す図である。

【図19】図形の移動経路の一例を示す図である。

【図20】図形の移動経路の他の一例を示す図である。

【図21】第３の実施の形態に係る画像生成装置の動作の概略を示す模式図である。

【図22】第３の実施の形態に係る情報処理部の構成の一例を示すブロック図である。

【図23】第４の実施の形態に係る表示システムの構成の一例を示すブロック図である。

【図24】第４の実施の形態に係る表示装置の一例を示す模式図である。

【図25】第４の実施の形態に係る表示装置の他の一例を示す模式図である。

【図26】（Ａ）〜（Ｄ）は、カメラ映像に対応するグラデーション画像の具体例２を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

【0015】

＜発明の概要＞
本明細書では、本発明に係る画像生成装置を、「移動体」の一例である車両に搭載された画像生成装置に適用した例について説明する。図１は本発明の実施の形態に係る画像生成装置の構成の概略を示すブロック図である。

【0016】

画像生成装置１０は、複雑さパラメータを生成するパラメータ生成部１２と、複雑さパラメータに応じて変化する画像を生成する画像生成部１４とを備えている。ここで「複雑さパラメータ」とは、車両の周辺環境の変化の度合いを表す「環境情報」の一例である。車両の周辺環境の変化の度合いが大きいほど、車両の周辺環境は「複雑」である。複雑さパラメータの種類や取得方法については後述する。

【0017】

パラメータ生成部１２は、車両に設置された環境検出センサから、車両の周辺環境の状況に応じた状況情報を取得する。パラメータ生成部１２は、取得された状況情報に応じた複雑さパラメータを生成する。環境検出センサとしては、カメラ等の画像センサ、光センサ、放射温度計等の温度センサ、ＧＰＳを含むカーナビゲーション・システム等の位置センサなどがある。本実施の形態では、画像生成装置１０が、車両の周辺を撮影する撮影部（カメラ）を備える例について説明する。

【0018】

画像生成部１４は、複雑さパラメータに応じて画像処理を制御して、複雑さパラメータに応じて変化する画像を生成し、画像データを出力する。複雑さパラメータに応じて画像処理が制御される。例えば、画像生成部１４は、複雑さパラメータに応じてカメラ映像に掛けるエフェクトを制御して、新たな画像を生成してもよい。また、例えば、画像生成部１４は、図形を移動させて動画像を生成する際に、複雑さパラメータに応じて図形の色や動きを制御して、新たな画像を生成してもよい。

【0019】

＜複雑さパラメータ＞
次に、複雑さパラメータの種類及び取得方法について説明する。
上記の通り、撮影部（カメラ）は、車両の走行中または停車中に車両の周辺の画像を撮影する。複雑さパラメータは、撮影された車両の周辺の画像から生成される。以下では、複数の複雑さパラメータ（複雑さパラメータ１〜４）について説明する。本実施の形態では、複雑さパラメータ４を用いる例について説明するが、他の複雑さパラメータを用いてもよく、複数の複雑さパラメータを２以上組合せて用いてもよい。

【0020】

図２は撮影部で撮影された画像を表す図である。図２（Ａ）は複雑さパラメータ１を得るための画像の正面図、図２（Ｂ）は複雑さパラメータ２を得るための画像の正面図、図２（Ｃ）は図２（Ｂ）で分割した画像コマを特定する番号の配列図である。

【0021】

（複雑さパラメータ１）
複雑さパラメータ１は、画像全体の変化の度合いを監視する情報である。複雑さパラメータ１の生成に際し、基本処理として生成した白黒データを取得し（図２（Ａ）参照）、時間的に前後する画像情報の差（の絶対値）を演算し（差分演算）、車両の走行（移動）に応じて、当該差分演算を数十回（例えば、６０回程度）繰り返したときの平均値を演算する。この複雑さパラメータ１によって、車両の周辺環境のうち撮影部の視野内全体の変化を認識することができる。

【0022】

（複雑さパラメータ２）
複雑さパラメータ２は、画像の左右端の変化の度合いを重点的に監視する情報である。ここで「左右」とは、車両の走行方向に対し「右側」「左側」という意味である。複雑さパラメータ２の生成に際し、基本処理として生成した白黒データ（絶対値）を取得し、取得した白黒データの画像を複数の画像コマに分割する。例えば、図２（Ｃ）に示される如く、横９×縦５に分割し、各画像コマに対して、左上から右下にかけて番号を付与する。

【0023】

分割した画像コマの中から、画像の左右端に相当する画像コマである、図２（Ｂ）のＮｏ．２１とＮｏ．２６との差の絶対値の平均値、及びＮｏ．２５とＮｏ．３０との差の絶対値の平均値を抽出する。そして、Ｎｏ．２１とＮｏ．２６との差の絶対値の平均値、及びＮｏ．２５とＮｏ．３０との差の絶対値の平均値とを演算し（平均値演算）、車両の走行（移動）に応じて、当該平均値演算を数十回（例えば、４０回程度）繰り返したときの平均値を演算する。この複雑さパラメータ２によって、車両の周辺環境のうち特に車両の側方の変化を認識することができる。

【0024】

（複雑さパラメータ３）
複雑さパラメータ３は、車両の近傍に存在する障害物の有無を監視する情報である。図３は速度-複雑さパラメータ特性図である。図３に示す特性曲線は、上記の複雑さパラメータ２と速度との関係を表す。以下では、「複雑さパラメータ２の特性曲線」という。複雑さパラメータ３の生成に際し、複雑さパラメータ２の特性曲線に対し基準線Ａ（図３参照）を設定する。

【0025】

ここで、複雑さパラメータ２が速度に対して直線的に変化する成分を含むと仮定する。図３に示す基準線Ａは、直線的に変化する成分を表す。複雑さパラメータ２の特性曲線Ｃと基準線Ａとの差分（図３の斜線領域Ｄ参照）が、複雑さパラメータ３である。同様に、複雑さパラメータ１の特性曲線に対して基準線を設定して、複雑さパラメータ１の特性曲線と基準線の差分を求め、複雑さパラメータ３を生成してもよい。複雑さパラメータ１の特性曲線と基準線との差分と、複雑さパラメータ２の特性曲線と基準線との差分とを比較して、差分が大きい方を複雑さパラメータ３としてもよい。

【0026】

例えば、車両が障害物の少ない道路を走行しているときは、実際の速度−複雑さパラメータ特性曲線は、特性曲線Ｂとなり、前記基準線Ａを超える要素はない。

【0027】

一方、障害物の多い道路を走行しているときは、速度−複雑さパラメータ１、２特性曲線は、特性曲線Ｃとなり、前記基準線Ａを超える要素が存在する（図３の斜線領域Ｄ参照）。この斜線領域Ｄが発生する状況としては、車両が駐車場の敷地内である、道路が狭くかつ電信柱や自動販売機が道路側に突出して設置される、及び、人通りが多い場合等が挙げられる。

【0028】

（複雑さパラメータ４）
複雑さパラメータ４は、画像の中央部の変化の度合いを重点的に監視する情報である。ここで「中央部」とは、画像を車両の高さ方向に三分割した場合の中央部分である。図４は撮影部で撮影された画像を示し、複雑さパラメータ４を得るための画像の正面図である。

【0029】

複雑さパラメータ４の生成に際し、基本処理として生成した白黒データ（絶対値）を取得し、取得した白黒データの画像を高さ方向に複数の領域に分割する。例えば、図７に示される如く、横１×縦３に分割する。

【0030】

分割した領域の中から、中央領域の画像に対し、時間的に前後する画像情報の差（の絶対値）を演算し（差分演算）、車両の走行（移動）に応じて、当該差分演算を数十回（例えば、６０回程度）繰り返したときの平均値を演算する。この複雑さパラメータ４によって、車両の周辺環境のうち特に車両前方中央の変化を認識することができる。

【0031】

＜第１の実施の形態＞
第１の実施の形態に係る画像生成装置について説明する。画像生成装置の電気的構成、動作、機能構成の各々について説明する。電気的構成は各実施の形態について共通の構成である。画像生成装置の動作及び機能構成は、実施の形態毎に特定される。

【0032】

（電気的構成）
まず、画像生成装置の電気的構成について説明する。
図５は本発明の実施の形態に係る画像生成装置の電気的構成の一例を示すブロック図である。図５に示すように、画像生成装置１０は、図１に示す「画像生成部１４」の機能を実行する情報処理部３０を備えている。情報処理部３０は、各種演算を行うコンピュータとして構成されている。情報処理部３０は、ＣＰＵ（中央処理装置; Central Processing Unit）３０Ａ、ＲＯＭ（Read Only Memory）３０Ｂ、ＲＡＭ（Random Access Memory）３０Ｃ、不揮発性のメモリ３０Ｄ、及び入出力部（Ｉ／Ｏ）３０Ｅを備えている。

【0033】

ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、メモリ３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。ＣＰＵ３０Ａは、例えばＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。また、Ｉ／Ｏ３０Ｅには、撮影部２０、操作部３２、表示部３４、通信部３６、記憶部３８、画像出力部４０、及び音楽出力部４２が接続されている。

【0034】

撮影部２０は、車両に設置されたカメラ等の撮影装置で構成されている。撮影部２０は、可視画像を取得する。撮影部２０は、可視画像に加えて、赤外画像や距離画像を取得してもよい。撮影部２０は、例えば、車両の走行中に車両の前方や側方の景色を撮影する。撮影部２０は、撮影した画像の画像データを情報処理部３０に出力する。

【0035】

操作部３２は、スイッチ、ボタン等を備え、搭乗者からの操作を受け付ける。表示部３４は、ディスプレイ等を備え、搭乗者に各種情報を表示する。タッチパネル等、操作部３２及び表示部３４の機能を兼ね備える構成として、搭乗者からの操作を受け付けると共に、搭乗者に各種情報を表示するようにしてもよい。

【0036】

通信部３６は、有線又は無線の通信回線を介して外部装置と通信を行うためのインターフェースである。例えば、ＬＡＮ（Local Area Network）、インターネット等のネットワークに接続されたコンピュータ等の外部装置と通信を行うためのインターフェースとして機能する。記憶部３８は、ハードディスク等の外部記憶装置である。

【0037】

画像出力部４０は、情報処理部３０で生成された画像を表示する、投影する等して画像を出力する。画像出力部４０は、例えば、搭乗者の周辺視野内など車両内の搭乗者から見える位置に、画像を投影する。

【0038】

音楽出力部４２は、音楽情報に基づいて音楽を出力する。音楽出力部４２は、例えば、画像出力部４０から出力される画像の色に応じた音楽を出力する。後述する通り、「赤」は温かい感覚を誘起し、「青」は涼しい感覚を誘起する等、画像の色に応じた感覚を誘起する。温かい感覚を誘起する色の画像の場合は、暖炉の音など、温かそうな効果音を併せて出力してもよい。涼しげな感覚を誘起する色の画像の場合は、水やカエルの音など、涼しげな効果音を併せて出力してもよい。

【0039】

本実施の形態では、後述する「画像生成処理」を実行するためのプログラムが、ＲＯＭ３０Ｂに記憶されている。なお、プログラムの記憶領域はＲＯＭ３０Ｂには限定されない。各種プログラムは、メモリ３０Ｄや記憶部３８等の他の記憶装置に記憶されていてもよく、通信部３６を介して外部装置から取得してもよい。

【0040】

また、情報処理部３０には、各種ドライブが接続されていてもよい。各種ドライブは、ＣＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus)メモリなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体にプログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。

【0041】

（動作の概略）
次に、画像生成装置の動作について説明する。
図６は第１の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図６に示すように、第１の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータを生成する。カメラ映像に対し、生成された複雑さパラメータに応じた度合いのエフェクトを掛けて、新たな画像を生成する。

【0042】

第１の実施の形態では、車両に搭乗して走行するという日常の行為により、新たな画像が自動的に作成される。著作権フリーの画像が無尽蔵に作成される。作成された画像は、服やカバンやノート等の媒体に印刷出力される等、二次利用も可能である。

【0043】

画像にエフェクトを掛けることで、絵画調や漫画調等、画調を変換できることは知られている。本実施の形態では、カメラ映像に対し、複雑さパラメータに応じた度合いのエフェクトを掛けることにより、搭乗者が遭遇した場面に応じた「劇的さ」を表す、新たな画像が生成される。

【0044】

（画像生成装置の構成）
次に、画像生成装置の機能構成について説明する。
図７は第１の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図７に示すように、情報処理部３０は、メモリ５０、パラメータ生成部５２、及び画像処理部５４を備えている。撮影部２０により撮影された車両の周辺の画像を「第１画像」とし、その画像データを「第１画像データ」とする。

【0045】

撮影部２０から取得された第１画像データは、メモリ５０に記憶される。パラメータ生成部５２は、第１画像データをメモリ５０から取得し、第１画像データから複雑さパラメータ４を生成する。画像処理部５４は、第１画像データをメモリ５０から取得する。

【0046】

画像処理部５４は、第１画像を画像処理して第２画像を生成する。第１画像に対し、複雑さパラメータに応じた度合いのエフェクトを掛けて、第２画像を生成する。第２画像の画像データを「第２画像データ」とする。情報処理部３０は、第２画像データを出力する。

【0047】

次に、画像生成装置の構成の具体例について説明する。
図８は第１の実施の形態に係る情報処理部の機能構成の具体例を示すブロック図である。図７に示す情報処理部３０と同様に、情報処理部３０は、メモリ５０、パラメータ生成部５２、及び画像処理部５４を備えている。画像処理部５４は、輪郭抽出部５６、輪郭色/濃度変更部５８、画像合成部６０、及び背景抽出部６２を備えている。具体例では、画像処理部５４が行う画像処理の手順について説明する。

【0048】

輪郭抽出部５６は、カメラ映像である第１画像をグレースケール化し、白黒で表現されたグレースケール画像を生成する。輪郭抽出部５６は、グレースケール画像から輪郭線画像を生成する。例えば、グレースケール画像に対しエッジ検出を行い、エッジ検出の結果を二値化してエッジ画像を生成する。エッジ画像の白黒を反転させて、第１輪郭線画像を生成する。

【0049】

輪郭色/濃度変更部５８は、複雑さパラメータ４に応じて、第１輪郭線画像の輪郭線の色を設定する。輪郭線の色が変化することで、情報処理部３０で生成される第２画像に変化が与えられる。

【0050】

輪郭色/濃度変更部５８は、複雑さパラメータ４に応じて第１輪郭線画像の輪郭線の濃度を変更し、第２輪郭線画像を生成する。複雑さパラメータの値が大きくなるほど、車両の周辺環境の変化の度合いが大きくなる。したがって、複雑さパラメータの値が大きいほど、輪郭線の濃度を濃くする。輪郭線の濃度は、輪郭線を太くすると濃くなる。

【0051】

背景抽出部６２は、カメラ映像である第１画像から背景画像を分離する。例えば、撮影時間が前後する複数の画像を合成することで、動いている物体が消えて背景画像が分離される。ここで「動いている物体」とは、撮影部の視野内に出現したり、視野内から消えたりする物体のことである。画像合成部６０は、背景画像と第２輪郭線画像とを合成して合成画像（第２画像）を生成する。例えば、画素毎に、背景画像の画素値と、第２輪郭線画像の画素値との和を求める。

【0052】

輪郭抽出部５６、輪郭色/濃度変更部５８、画像合成部６０、及び背景抽出部６２の各部の機能は、画像にエフェクトを掛けるエフェクタにより実行される。輪郭線抽出を行うエフェクタとしては、「SKETCHER」などが挙げられる。輪郭線の色や濃度を変更するエフェクタとしては、「2TONER」などが挙げられる。背景画像を抽出するエフェクタとしては、「SLIDER」などが挙げられる。「SLIDER」は、ディレイを掛けた複数の画像を重ねることにより、動いている物体を消す。

【0053】

上記の例では、画像全体にエフェクトを掛け、エフェクトを掛ける度合いを制御しているが、画像の一部分にエフェクトを掛け、エフェクトを掛ける部分領域の大きさを制御してもよい。

【0054】

（プログラム）
次に、「画像生成処理」を実行するプログラムについて説明する。
図９は第１の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。図１０は図９の「エフェクト処理」を実行するプログラムの流れを示すフローチャートである。「画像生成処理」及び「エフェクト処理」は、処理の実行を開始する指示があると、画像生成装置１０のＣＰＵ３０Ａにより実行される。

【0055】

まず、ステップ１００で、メモリに記憶された第１画像データを取得する。次に、ステップ１０２で、第１画像データから複雑さパラメータ４を生成する。次に、ステップ１０４で、第１画像に対し「エフェクト処理」を行って、第２画像を生成する。次に、ステップ１０６で、第２画像に応じた第２画像データを出力して、ルーチンを終了する。

【0056】

エフェクト処理では、まず、ステップ２００で、第１画像の輪郭線を抽出した第１輪郭画像を生成する。次に、ステップ２０２で、第１輪郭画像の輪郭線の色及び濃度の少なくとも一方を、複雑さパラメータ４に応じて変更する。第１輪郭画像から、第２輪郭画像が生成される。次に、ステップ２０４で、第１画像から背景画像を分離する。次に、ステップ２０６で、第２輪郭画像と背景画像とを合成して、ルーチンを終了する。

【0057】

（画像処理）
図１１（Ａ）〜（Ｅ)は画像処理の手順を説明するための図である。図１１（Ａ）は撮影されたカメラ映像、図１１（Ｂ）は第１輪郭線画像、図１１（Ｃ）は輪郭線の濃度が薄く変更された第２輪郭線画像、図１１（Ｄ）は背景画像、図１１（Ｅ）は合成画像を示す。

【0058】

図１１（Ａ）に示すカメラ映像（第１画像）は、車両の周辺環境にあまり変化がない状況で撮影された画像である。車両の周辺環境の変化が少ない場合は、複雑さパラメータ４が小さくなる。複雑さパラメータ４が小さくなると、図１１（Ｃ）に示すように、第２輪郭線画像では輪郭線の濃度が薄くなる。

【0059】

一方、カメラ映像（第１画像）から背景画像が分離された結果、図１１（Ｄ）に示す背景画像では、側方の建物等が無くなっている。図１１（Ｄ）に示す背景画像に図１１（Ｃ）に示す第２輪郭線画像が合成されて、図１１（Ｅ）に示す合成画像（第２画像）が生成される。

【0060】

図１２（Ａ）〜（Ｅ)は画像処理の手順を説明するための図である。図１２（Ａ）は撮影されたカメラ映像、図１２（Ｂ）は第１輪郭線画像、図１２（Ｃ）は輪郭線の濃度が濃く変更された第２輪郭線画像、図１２（Ｄ）は背景画像、図１２（Ｅ）は合成画像を示す。

【0061】

図１２（Ａ）に示すカメラ映像（第１画像）は、車両の周辺環境に木が沢山ある等、車両の周辺環境に変化が多い状況で撮影された画像である。車両の周辺環境の変化が多い場合は、複雑さが増した状態であり、複雑さパラメータ４が大きくなる。複雑さパラメータ４が大きくなると、図１２（Ｃ）に示すように、第２輪郭線画像では輪郭線の濃度が濃くなる。輪郭線の色は、例えば、木の色（緑）等、第１画像を代表する色とする。

【0062】

一方、カメラ映像（第１画像）から背景画像が分離された結果、図１２（Ｄ）に示す背景画像では、具体的な木の形が無くなっている。図１２（Ｄ）に示す背景画像に図１２（Ｃ）に示す第２輪郭線画像が合成されて、図１２（Ｅ）に示す合成画像（第２画像）が生成される。第２画像では、緑色の輪郭線がはっきり見えている。

【0063】

複雑さパラメータ４に応じて輪郭線の濃度を変更することで、車両の周辺環境の変化に応じて第２画像が変化する。変化が乏しいところから、カーブして複雑な場所に来たときなどは、輪郭がどんどん現れてきて、第２画像の鑑賞者に「劇的な」感じを与えることができる。車両の周辺環境の変化に応じて映像に抑揚がつく。劇的に変わる映像が、鑑賞者に特別な場所に来た感じを与え、車両の運転という日常の行為に対して付加価値を付与する。

【0064】

＜第２の実施の形態＞
第２の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ４を生成する点は、第１の実施の形態と同様である。第２の実施の形態では、生成された複雑さパラメータ４に応じた速度で、帯状の図形を一方向に移動させてグラデーション画像（動画像）を生成する。このとき、第１画像から色情報を抽出し、抽出された色情報に応じて帯状の図形の色を変化させる。

【0065】

第２の実施の形態でも、車両に搭乗して走行するという日常の行為により、新たな画像が自動的に作成される。著作権フリーの画像が無尽蔵に作成される。作成された画像は、二次利用も可能である。

【0066】

第２の実施の形態でも、撮影部２０により撮影された車両の周辺の画像を「第１画像」とし、その画像データを「第１画像データ」とする。また、情報処理部３０で生成される動画像を「グラデーション画像」と称する。

【0067】

（グラデーション画像）
ここで、グラデーション画像について説明する。
図１３は第２実施の形態で生成されるグラデーション画像の一例を示す図である。グラデーション画像は、帯状の図形（以下、「帯」という。）８２が、画面８０の一端から他端まで移動することにより生成される。図示した例では、帯８２は、画面８０の上端に出現し、画面８０の上端から下端まで矢印方向に移動して、画面８０の下端に到達すると消える。

【0068】

例えば、画面８０の各隅の座標を、上左端（0,0）、上右端（448,0）、下左端（0,469）、下右端(448,469)とする。帯８２の各隅の座標を、上左端（0,y）、上右端（448,y）、下左端（0,y+20）、下右端(448,y+20)とする。帯８２の長さは「449（＝469-20）」であり、帯８２の幅は「20」である。

【0069】

上記の通り、帯８２の位置座標は「ｙ」の値で表される。図示した例では、ｙの値は、0から449まで変化する。例えば、帯８２の位置座標を、カウンタのカウント値に応じて変化させてもよい。カウント値は、カウンタに信号が１つ入るたびに１つ増える。カウンタに信号を入れる間隔を、遅延装置等を用いて複雑さパラメータ４に応じて変化させる。帯８２の移動速度が、複雑さパラメータ４に応じて変化する。

【0070】

複雑さパラメータ４が大きい（周辺環境に変化が大きい）場合は、カウンタに入る信号の間隔を短くして、帯８２の移動速度を速くする。複雑さパラメータ４が小さい（周辺環境に変化が小さい）場合は、カウンタに入る信号の間隔を長くして、帯８２の移動速度を遅くする。

【0071】

帯８２の色は、車両の周辺を撮影したカメラ映像（第１画像）から抽出された色とする。帯８２の色は、第１画像の全部または一部を代表する代表色としてもよい。例えば、第１画像を車両の高さ方向に三分割し、中央部分から代表色を抽出する。第１画像の上部には空が写り込み空の色が中心になり、下部には道路やボンネットが写り込みこれらの色が中心になる。第１画像の中央部分の色を用いた方が、車両の周辺環境の変化が色に反映され易い。

【0072】

本実施の形態では、中央部分から代表色を抽出する。第１画像の中央部分の各画素の画素値を、ＲＧＢ各色に分けると、ＲＧＢ各色の比率が求められる。得られた比率でＲＧＢ各色を混合した色を、第１画像の中央部分の代表色とする。得られた代表色が、カメラ映像（第１画像）から求めた、車両の周辺環境を表す色である。車両の周辺環境が変化すると、帯８２の色もそれに応じて変化する。

【0073】

また、帯８２の色は、代表色を「差し色」で補正した補正色としてもよい。第１画像の中央部分には様々な色がある。各画素の画素値のばらつきが大きいほど、代表色は灰色に近くなる。帯８２の色を明るくするために、差し色を用いて代表色を補正してもよい。

【0074】

差し色は、赤、だいだい、黄色、緑、水色、青、紫の７色である。第１画像の中央部分から抽出した代表色において色成分が一番多い色を、その代表色に対する「差し色」と特定する。そして、第１画像の中央部分の代表色と、特定された「差し色」とを混ぜた補正色を、帯８２の色とする。

【0075】

車両の周辺環境を表す色の帯８２を、複雑さパラメータ４に応じた移動速度で、画面８０の上端から下端まで移動させることにより、グラデーション画像が生成される。車両の周辺環境が、帯８２の色と動きで表される。

【0076】

グラデーション画像は、例えば、いわゆるアンビエント照明（環境照明）として車両内に投影される。グラデーション画像は、車両内の床や側方下側など、搭乗者が正面を向いている場合には「周辺視野」となる部分に投影される。車両内の床とは、運転席、助手席、後部座席の下の床の部分である。車両内の側方下側とは、ドア下側等である。

【0077】

車両の周辺環境に応じて色が変化する画像を車両内に投影することにより、車両の外部と内部とを色で結びつけ、搭乗者の意識を車両の周辺環境に向けさせる。例えば、黄緑のグラデーション画像が投影されると、田んぼの稲穂などに目が行き易くなる。このようにして、搭乗者が周辺環境に気付くように仕向けている。

【0078】

画面全体の色が大きく変わるとちらつきを感じる。ちらつきは運転の妨げにもなる。グラデーション画像なら、画面の一部の色が徐々に変わるのでちらつきを感じない。グラデーション画像は、車両の周辺環境に応じて変化するので、車両で移動しているイメージを持たせる助けになる。また、グラデーション画像によれば、揺らいでいる感じがでるし、飽きさせない効果がある。

【0079】

上記の例では、差し色は、車両の周辺環境を表す代表色に応じて変化するが、差し色を特定色に固定してもよい。例えば、温かい感覚を誘起する場合は差し色を「赤」とし、涼しい感覚を誘起する場合は差し色を「青」とする。特定色を基調とするグラデーション画像により、心理効果を利用して特定の感覚を誘起する。

【0080】

夏、車両内が非常に暑くなっている場合に、車両に乗り込んでしばらくは、涼しい感覚を誘起する「青」を基調としたグラデーション画像を車両内に投影して搭乗者を向かえる。水やカエルの音など、涼しげな効果音を併せて出力してもよい。逆に、冬は、温かい感覚を誘起する「赤」を基調としたグラデーション画像を車両内に投影して搭乗者を向かえる。冬の場合は、暖炉の音など、温かそうな効果音を併せて出力してもよい。

【0081】

（動作の概略）
次に、画像生成装置の動作について説明する。
図１４は第２の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図１４に示すように、第２の実施の形態では、車両の周辺を撮影したカメラ映像（第１画像）から、複雑さパラメータを生成する。移動させる図形の形状（帯の長さや幅）、移動経路の初期値、及び移動速度の初期値等を設定する。

【0082】

第１画像から色情報を抽出し、抽出された色情報を帯の色として設定する。上記の通り、帯の色は、代表色または補正色に設定される。代表色または補正色の帯を、生成された複雑さパラメータ４に応じた速度で移動させて、第１画像とは別に「グラデーション画像」を生成する。ここでは、図形の移動速度を変えることを「エフェクト」と称する。

【0083】

第２の実施の形態では、帯状の図形が複雑さパラメータ４に応じた移動速度で移動するように、画像処理を制御する。これにより、車両の周辺環境の変化に応じたグラデーション画像が生成される。車両の周辺環境の変化が大きいほど、図形の移動速度が速くなり、グラデーションが粗くなる。カメラ映像より抽象化されたグラデーション画像により、車両の周辺環境の雰囲気が表現される。

【0084】

グラデーション画像は車両内に投影されるが、搭乗者が見てもちらつきを感じない。グラデーション画像が、車両の周辺環境を表す色で構成されることにより、搭乗者に周辺環境を意識させる。グラデーション画像は、車両の周辺環境に応じて変化するので、車両で移動しているイメージを持たせる助けになる。

【0085】

（画像生成装置の構成）
次に、画像生成装置の機能構成について説明する。
図１５は第２の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図１５に示すように、情報処理部３０は、メモリ５０、パラメータ生成部５２、動き制御部６４、色情報抽出部６６、色設定部６８、及び動画像生成部７０を備えている。撮影部２０から取得された第１画像データは、メモリ５０に記憶される。パラメータ生成部５２は、第１画像データをメモリ５０から取得し、第１画像データから複雑さパラメータを生成する。

【0086】

動画像生成部７０は、帯の形状（長さや幅）、移動経路の初期値、及び移動速度の初期値等を設定する。色情報抽出部６６は、第１画像の中央部分から代表色を抽出する。また、必要に応じて、代表色を「差し色」で補正して補正色を求める。色設定部６８は、帯の色を、代表色または補正色に設定する。

【0087】

動き制御部６４は、複雑さパラメータ４に応じた移動速度を求める。動き制御部６４は、動画像生成部７０によりグラデーション画像を生成する際に、色設定部６８により設定された色の帯が、複雑さパラメータ４に応じた移動速度で移動するように、動画像生成部７０を制御する。動画像生成部７０は、グラデーション画像を生成する。情報処理部３０は、グラデーション画像を表す画像データを出力する。

【0088】

（プログラム）
次に、「画像生成処理」を実行するプログラムについて説明する。
図１６は第２の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。「画像生成処理」は、画像生成を開始する指示があると、画像生成装置１０のＣＰＵ３０Ａにより実行される。

【0089】

まず、ステップ３００で、メモリに記憶された第１画像データを取得する。次に、ステップ３０２で、第１画像データから色情報を抽出する。次に、ステップ３０４で、抽出された色情報から、帯の色を設定する。帯の色は、代表色または補正色に設定される。

【0090】

次に、ステップ３０６で、帯の移動を開始するか否かを判断する。前の帯が画面の下端に到達して消えると、次の帯が画面の上端に出現して移動を開始する。帯の移動を開始するまで、ステップ３０６の判断を繰り返し行う。帯の移動を開始する場合は、ステップ３０８に進み、ステップ３０８で、最新の第１画像データを取得する。

【0091】

次に、ステップ３１０で、最新の第１画像データから複雑さパラメータ４を生成する。次に、ステップ３１２で、複雑さパラメータ４から、帯の移動速度を算出する。次に、ステップ３１４で、算出された移動速度で帯が下方に移動するように、動画生成部を制御する。

【0092】

次に、ステップ３１６で、帯の移動が終了したか否かを判断する。帯の移動が終了した場合は、ステップ３１８に進む。帯の移動が終了していない場合は、ステップ３０８に戻って、ステップ３０８からステップ３１６までの手順を繰り返し行う。逐次、最新の第１画像データを取得して、複雑さパラメータ４を生成し、複雑さパラメータ４に応じた移動速度を算出して、算出された移動速度で帯を移動させる。

【0093】

次に、ステップ３１８で、画像生成が終了したか否かを判断する。画像生成が終了した場合は、ルーチンを終了する。画像生成が終了していない場合は、ステップ３００に戻って、ステップ３００からステップ３１８までの手順を繰り返し行う。逐次、帯の色が設定され、設定された色の新しい帯が出現し、画面の上端から下端まで移動する。

【0094】

（具体例１）
次に、グラデーション画像の具体例１について説明する。図１７（Ａ）〜（Ｄ）の各々は、カメラ映像に対応するグラデーション画像の具体例１を示す図である。左側がカメラ映像であり、右側が対応するグラデーション画像である。車両の周辺環境の変化が大きいほど、図形の移動速度が速くなり、グラデーションが粗くなる。

【0095】

図１７（Ａ）に示すカメラ映像に対し、図１７（Ａ）に示すグラデーション画像が得られる。この例での車両の周辺環境の変化を「中」程度とし、グラデーションの密度を「中」程度とする。

【0096】

図１７（Ｂ）に示すカメラ映像では、トンネルで同じ周囲環境が続くので、図１７（Ａ）に示すカメラ映像に比べて、車両の周辺環境の変化は少ない。車両の周辺環境の変化が少ないと、帯がゆっくりと移動する。このため、図１７（Ｂ）に示すグラデーション画像では、図１７（Ａ）に示すグラデーション画像よりもグラデーションが細かくなる。

【0097】

図１７（Ｃ）に示すカメラ映像では、車両の周辺に障壁があり、図１７（Ａ）に示すカメラ映像に比べて、車両の周辺環境の変化が大きい。車両の周辺環境の変化が大きいと、帯が速く移動する。このため、図１７（Ｃ）に示すグラデーション画像では、図１７（Ａ）に示すグラデーション画像よりもグラデーションが粗くなる。

【0098】

図１７（Ｄ）に示すカメラ映像では、左側は変化しないが、右側が絶えず変化するので、図１７（Ａ）に示すカメラ映像と同様に、車両の周辺環境の変化は中程度になる。このため、図１７（Ｄ）に示すグラデーション画像では、図１７（Ａ）に示すグラデーション画像と同様に、グラデーションの密度は中程度となる。

【0099】

（具体例２）
次に、グラデーション画像の具体例２について説明する。この例では、色の心理効果を利用して、暑い時に涼しく、寒い時に温かく感じさせる。図２６（Ａ）〜（Ｄ）の各々は、カメラ映像に対応するグラデーション画像の具体例２を示す図である。左側がカメラ映像であり、右側が対応するグラデーション画像である。

【0100】

図２６（Ａ）に示すカメラ映像では、車両が移動状態から停止状態に入ったため、車両の周辺環境が大きく変化する。車両の周辺環境の変化が大きいと、帯がゆっくりと移動する。このため、図２６（Ａ）に示すグラデーション画像では、グラデーションが粗くなる。

【0101】

図２６（Ｂ）及び図２６（Ｃ）に示すカメラ映像では、車両の周辺環境の変化が単調である。車両の周辺環境の変化が少ないと、帯の移動速度が速くなる。このため、図２６（Ｂ）及び図２６（Ｃ）に示すグラデーション画像では、グラデーションが細かくなる。

【0102】

図２６（Ｄ）に示すカメラ映像では、車両の周辺環境がやや複雑である。このため、図２６（Ｄ）に示すグラデーション画像では、グラデーションが粗くなる。

【0103】

また、図２６（Ａ）〜（Ｄ）のグラデーション画像では、特定の色を基調として、温かい、涼しい等の感覚や、水や炎のイメージを色で表現している。青色や赤色のグラデーションとなっており、色の持つイメージ効果がある。

【0104】

温かい、涼しい等の特定の感覚を誘導する特定色のグラデーション画像は、特定の感覚を誘導する外に、搭乗者の足元に表示されると、グラデーション画像の揺れる動きが、水が揺れているイメージや炎がちろちろ揺らいでいるイメージと重なり、より効果的に感じる。

【0105】

図２６（Ａ）及び（Ｂ）は、水のイメージを青色で表す。車両内の床や側面が青色になり涼しく感じる。涼やかな音と合わせると効果的である。図２６（Ｃ）及び（Ｄ）は、火のイメージを青色で表す。車両内の床や側面が赤色になり温かく感じる。火や熱風の音と合わせると効果的である。

【0106】

＜第３の実施の形態＞
第３の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ４を生成する点は、第１の実施の形態と同様である。第３の実施の形態では、生成された複雑さパラメータ４に応じた速度で、予め定めた形状の図形を移動させて新たな動画像を生成する。図形の形状は「帯状」に限定されない。図形の色も任意に設定される。ここでは、図形の移動速度を変えることを「エフェクト」と称する。

【0107】

第３の実施の形態でも、車両に搭乗して走行するという日常の行為により、新たな動画像が自動的に作成される。著作権フリーの画像が無尽蔵に作成される。作成された画像は、二次利用も可能である。

【0108】

第３の実施の形態でも、撮影部２０により撮影された車両の周辺の画像を「第１画像」とし、その画像データを「第１画像データ」とする。また、情報処理部３０で生成される動画像を「図形移動画像」と称する。

【0109】

（図形移動画像）
第３の実施の形態では、予め定めた形状の図形を、予め定めた移動経路に沿って移動させて図形移動画像を生成する。予め定めた移動経路としては、閉じた移動経路を設定する。図形は移動経路に沿って繰り返し移動する。移動経路を含む平面を回転させてもよい。なお、移動経路は任意に設定することができる。以下では、図形の形状と動きについて説明する。また、具体的な図形を「オブジェクト」と称する。

【0110】

オブジェクトの形状と、移動経路の初期値と、移動速度の初期値とを設定する。仮想空間内において、予め定めた形状のオブジェクトを、予め定めた移動速度で、予め定めた移動経路に沿って繰り返し移動させたときの様子を表す動画像を生成する。

【0111】

図１８は第３の実施の形態で動画像の生成に用いる図形（オブジェクト）の一例を示す図である。図示した例では、環状の複数のオブジェクト７１が図示されているが、オブジェクト７１の個数は１つでもよい。オブジェクト７１の形状は、特に制限は無く、多角形状、帯状等の二次元形状でもよく、柱状、錐状等の三次元形状でもよい。

【0112】

オブジェクト７１の形状は、見る方向によって形状が異なるものが好ましい。例えば、円柱とかトーラスとか、上から見た図と横から見た図が変わる形状が望ましい。複雑さパラメータに応じてオブジェクトを移動させる際に、オブジェクトの移動経路を有する面の角度が変わることにより、違った形状に見えるようになる。

【0113】

図１９は図形の移動経路の一例を示す図である。図２０は図形の移動経路の他の一例を示す図である。例えば、図１９、図２０の移動経路の例では、オブジェクト７１は、地点（１）から地点（２）、地点（２）から地点（３）、地点（３）から地点（４）、地点（４）から地点（１）へと移動する。オブジェクト７１は、複雑さパラメータ４に応じた速度で移動する。

【0114】

また、オブジェクト７１のサイズを、複雑さパラメータ４に応じて変更してもよい。例えば、複雑さパラメータ４の値が大きいほど、オブジェクトが大きくなるように、オブジェクト７１のサイズを変更する。

【0115】

また、オブジェクト７１の色は、第２実施の形態と同様に、第１画像の全部または一部を代表する代表色、または、代表色を差し色で補正した補正色としてもよい。差し色は、温かい場合は「赤」、涼しい場合は「青」というように、特定の感覚を誘導する特定色としてもよい。

【0116】

（画像生成装置）
次に、第３の実施の形態に係る画像生成装置について説明する。
図２１は第３の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図２１に示すように、第３の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ４を生成する。図形の形状、移動経路の初期値、及び移動速度の初期値等を設定する。予め定めた形状の図形を、生成された複雑さパラメータ４に応じた速度で移動させて、カメラ映像とは別に「図形移動画像」を生成する。ここでは、図形の移動速度を変えることを「エフェクト」と称する。

【0117】

図２２は第３の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図２２に示すように、情報処理部３０は、メモリ５０、パラメータ生成部５２、動き制御部６４、及び動画像生成部７０を備えている。撮影部２０から取得された第１画像データは、メモリ５０に記憶される。パラメータ生成部５２は、第１画像データをメモリ５０から取得し、第１画像データから複雑さパラメータ４を生成する。

【0118】

動画像生成部７０は、オブジェクトの形状と、移動経路の初期値と、移動速度の初期値とを設定する。動き制御部６４は、複雑さパラメータ４に応じた移動速度を求める。動き制御部６４は、動画像生成部７０により動画像を生成する際に、得られた移動速度でオブジェクトが移動するように、動画像生成部７０を制御する。動画像生成部７０は、図形移動画像を生成する。情報処理部３０は、図形移動画像を表す画像データを出力する。

【0119】

第３の実施の形態では、オブジェクトが複雑さパラメータ４に応じた移動速度で移動するように、画像処理を制御する。これにより、車両の周辺環境の変化に応じた図形移動画像が生成される。カメラ映像より抽象化された図形移動画像により、車両の周辺環境の雰囲気が表現される。

【0120】

図形移動画像は、グラデーション画像と同様に、車両内に投影されるが、搭乗者が見てもちらつきを感じない。また、図形移動画像は、車両の周辺環境に応じて変化するので、車両で移動しているイメージを持たせる助けになる。

【0121】

＜第４の実施の形態＞
第４の実施の形態は、表示システムに係る実施の形態である。
図２３は第４の実施の形態に係る表示システムの構成の一例を示すブロック図である。図２３に示すように、表示システム１００は、画像生成装置１０と表示装置９０とを備えている。表示装置９０は、例えば自宅等の画像生成装置１０とは離れた場所に配置されている。表示装置９０は、例えば、搭乗者Ａの自宅等に配置される。画像生成装置１０は、撮影部２０、情報処理部３０、及び通信部３６を備えている。表示装置９０は、通信部９２、表示制御部９４、及び表示部９６を備えている。

【0122】

画像生成装置１０の構成は、第２の実施の形態または第３の実施の形態に係る画像生成装置と同じ構成としてもよい。情報処理部３０は、撮影部２０から第１画像データを取得し、第１画像データから複雑さパラメータ４を生成する。情報処理部３０は、複雑さパラメータ４に応じて変化し、車両の周辺環境を表す「環境画像」を生成する。通信部３６は、環境画像の画像データを表示装置９０に送信する。

【0123】

画像生成装置１０の構成を、第２の実施の形態に係る画像生成装置と同じ構成とした場合は、帯を移動させて生成したグラデーション画像が「環境画像」である。画像生成装置１０の構成を、第３の実施の形態に係る画像生成装置と同じ構成とした場合は、予め定めた形状の図形を移動させて生成した図形移動画像が「環境画像」である。

【0124】

表示装置９０の表示部９６は、表示制御部９４により制御されて画像を表示する。通信部３６は、有線又は無線の通信回線を介して外部装置と通信を行うためのインターフェースである。通信部３６は、画像生成装置１０から、環境画像の画像データを受信する。表示制御部９４は、環境画像が表示部９６に表示されるように、表示部９６を制御する。表示部９６には、車両の周辺環境を表す環境画像が表示される。

【0125】

画像生成装置１０が搭載される車両の搭乗者Ａは、撮影部２０で撮影される車両の周辺環境の映像（第１画像）と同じ映像を見ている。離れた場所に居る他者Ｂには、表示装置９０の表示部９６に表示される環境画像を見ている。

【0126】

表示装置９０の表示部９６に環境画像が表示されることで、離れた場所に居る他者Ｂには、搭乗者Ａが搭乗している車両の周辺環境の様子がなんとなく伝わる。環境画像における色や動きにより、他者Ｂに伝わる。他者Ｂは、車両や搭乗者Ａの状態を推測できる。

【0127】

抽象化した環境画像を表示する方が、第１画像をそのまま表示するより、車両の周辺環境の様子が他者Ｂに伝わり易い。抽象化することで、意識して見る煩わしさが低減される。また、抽象化することで、搭乗者Ａやカメラ映像に写り込んだ第三者のプライバシーが保護される。

【0128】

図２４は第４の実施の形態に係る表示装置の一例を示す模式図である。図２５は第４の実施の形態に係る表示装置の他の一例を示す模式図である。図２４及び図２５では、表示装置９０が、照明オブジェである。照明オブジェは、環境画像に基づいて照明の色や明るさを変化させて、環境画像に基づく情報を表示する。

【0129】

車両の周辺環境の色と動きを、家にいる他者Ｂが見ている照明オブジェに無線で飛ばしたイメージである。車内と同様、めまぐるしく色が変わることがないので、注意をひきつけないが、何となく存在と動きを感じることができる。抽象化した表示が、相手を想像したりする効果につながる。

【0130】

＜変形例＞
なお、上記実施の形態で説明した画像生成装置、表示システム、及びプログラムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。

【0131】

上記の実施の形態では、グラデーション画像や図形移動画像を車両内に投影する例について説明したが、発光素子や電光掲示板を用いて表示してもよい。

【0132】

上記の実施の形態では、複雑さパラメータ４を用いる例について説明したが、複雑さパラメータ４に代えて、複雑さパラメータ１から３の何れかを用いてもよい。

【0133】

上記の実施の形態では、画像の色に応じた効果音を併せて出力する例について説明したが、エフェクトの効果に応じた効果音を出力してもよく、複雑さパラメータから音楽情報を生成してもよい。例えば、「ＭＩＤＩ信号変換用のソフトウエア」を用いて、複雑さパラメータに応じたＭＩＤＩのノート信号を生成し、「ＭＩＤＩ信号から音楽情報を生成するソフトウエア」を用いて、ノート信号から音楽情報を生成する。図５に示す音楽出力部４２により、生成された音楽情報に応じた音楽が演奏される。

【0134】

ここで、ＭＩＤＩ（Musical Instrument Digital Interface）とは、音楽情報をデジタル信号で通信するための国際規格である。ＭＩＤＩ信号とは、ＭＩＤＩ規格の情報であり、標準的なＭＩＤＩファイル形式（ＳＭＦ：Standard MIDI File Format）の情報である。「ＭＩＤＩ信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバー」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化を「ノートオン/ノートオフ」を表すデータに各々変換している。

【符号の説明】

【0135】

１０ 画像生成装置
１２ パラメータ生成部
１４ 画像生成部
２０ 撮影部
３０ 情報処理部
３２ 操作部
３４ 表示部
３６ 通信部
３８ 記憶部
４０ 画像出力部
４２ 音楽出力部
５０ メモリ
５２ パラメータ生成部
５４ 画像処理部
５６ 輪郭抽出部
５８ 濃度変更部
６０ 画像合成部
６２ 背景抽出部
６４ 動き制御部
６６ 色情報抽出部
６８ 色設定部
７０ 動画像生成部
７１ オブジェクト
８０ 画面
８２ 帯
９０ 表示装置
９２ 通信部
９４ 表示制御部
９６ 表示部
１００ 表示システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】