特開 2023-151962 画像生成装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023151962

(43)【公開日】2023-10-16

(54)【発明の名称】画像生成装置、方法及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231005BHJP

   H04N 7/18 20060101ALI20231005BHJP

【ＦＩ】

G08G1/16 D

H04N7/18 J

H04N7/18 U

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022061850

(22)【出願日】2022-04-01

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】後藤 正樹

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054EA03

5C054EA05

5C054FD03

5C054FE18

5C054FE26

5C054HA19

5C054HA30

5H181AA01

5H181BB04

5H181BB13

5H181CC04

5H181FF05

5H181FF33

5H181LL08

5H181LL15

(57)【要約】

【課題】特定の視点位置から移動体の存在による死角領域の状況を認識し易くすること。
【解決手段】画像生成装置（１）は、車外の視点位置Ｍを取得する取得部（１１）と、視点位置Ｍと車両Ｖ１の位置及び進行方向から、視点位置Ｍから車両Ｖ１により死角となり得る死角領域Ｄを特定する特定部（１２１）と、車両Ｖ１の周囲が撮影された複数の車外画像を用いて、死角領域Ｄに基づき視点位置Ｍの視点での合成画像を生成する生成部（１２２）と、視点位置Ｍの表示端末Ｍ１へ合成画像を送信する送信部（１４）と、を備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

車外の視点位置を取得する取得部と、
前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定部と、
前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成部と、
を備える画像生成装置。

【請求項2】

前記取得部は、前記複数の車外画像に含まれる対象物の距離情報を取得し、
前記特定部は、前記距離情報に基づいて、前記死角領域に含まれる対象物を特定し、
前記生成部は、前記特定された対象物と前記車両との距離を前記複数の車外画像の間で合わせるように各車外画像の大きさを調整して前記合成画像を生成する
請求項１に記載の画像生成装置。

【請求項3】

前記特定部は、前記死角領域に含まれる対象物と前記車両との距離が閾値以内の場合、前記対象物として特定する
請求項２に記載の画像生成装置。

【請求項4】

コンピュータが、
車外の視点位置を取得し、
前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定し、
前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する、
画像生成方法。

【請求項5】

車外の視点位置を取得する取得処理と、
前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定処理と、
前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成処理と、
をコンピュータに実行させる画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像生成装置、方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、運転者等の移動体の搭乗者に対し、死角領域の対象物を迅速に認識させる技術が開示されている。特許文献１に係る技術は、移動体の外部機器から、移動体の死角領域に存在する対象物情報を取得し、移動体の外部の視界に対象物を示す重畳画像を生成するものである。

【0003】

特許文献２には、移動体の外部に存在する対象物に関する対象物情報を報知する情報報知装置に関する技術が開示されている。特許文献２にかかる情報報知装置は、逆方向移動体から、該逆方向移動体の周囲に存在する対象物の検出結果情報を取得し、検出結果情報に対応する対象物情報を移動体の搭乗者へ報知する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１４７０３５号公報

【特許文献2】特開２０１８－１４７０５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、第１の移動体の死角領域の対象物の存在は、第１の移動体の搭乗者だけでなく、第１の移動体の周辺にいる第２の移動体も認識する必要がある。尚、上述した特許文献１及び２にかかる技術は、第２の移動体に対して報知するものではない。

【0006】

本開示の目的は、上述した課題を鑑み、特定の視点位置から死角領域の状況を認識し易くするための画像生成装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

本開示にかかる画像生成装置は、車外の視点位置を取得する取得部と、前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定部と、前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成部と、を備える。

【0008】

本開示にかかる画像生成方法は、コンピュータが、車外の視点位置を取得し、前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定し、前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する。

【0009】

本開示にかかる画像生成プログラムは、車外の視点位置を取得する取得処理と、前記視点位置と車両の位置に基づいて前記視点位置からの死角となり得る死角領域を特定する特定処理と、前記車両の周囲が撮影された複数の車外画像を用いて、前記死角領域に基づき前記視点位置の視点での合成画像を生成する生成処理と、をコンピュータに実行させる。

【発明の効果】

【0010】

本開示により、特定の視点位置から死角領域の状況を認識し易くするための画像生成装置、方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態１にかかる死角映像提供システムの全体構成を示す概要図である。

【図2】本実施形態１にかかる歩道上の移動体の視点位置から車道を見た場合の視界の例を示す図である。

【図3】本実施形態１にかかる歩道上の移動体の視点位置Ｍから車道を見た場合の車両Ｖ１による死角領域Ｄの上面図である。

【図4】本実施形態１にかかる車両の周囲を撮影するために搭載されたカメラと撮影範囲の例を示す図である。

【図5】本実施形態１にかかる車両Ｖ１の周囲における視点位置Ｍごとの視点領域の例を示す図である。

【図6】本実施形態１にかかる視点位置ごとの車両Ｖ１による死角領域Ｄの例を示す図である。

【図7】本実施形態１にかかる視点位置ごとの合成画像の概念を説明するための図である。

【図8】本実施形態１にかかる画像生成装置を搭載した車両Ｖ１の構成を示すブロック図である。

【図9】本実施形態１にかかる画像生成処理の流れを示すフローチャートである。

【図10】本実施形態１にかかる合成画像の幅の決定の概念を説明するための図である。

【図11】本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の例を示す図である。

【図12】本実施形態１にかかる合成画像の例を示す図である。

【図13】本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の他の例を示す図である。

【図14】本実施形態１にかかる合成画像の他の例を示す図である。

【図15】本実施形態２にかかる歩道上に表示端末を設置した場合の例を示す図である。

【発明を実施するための形態】

【0012】

以下では、本開示の具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

【0013】

＜実施形態１＞
図１は、本実施形態１にかかる死角映像提供システム１０００の全体構成を示す概要図である。死角映像提供システム１０００は、歩行者Ｕが所持する表示端末Ｍ１と車両Ｖ１に搭載された車載端末とが通信網Ｎを介して通信可能に接続されている。通信網Ｎは、無線通信回線網又は携帯電話回線網等を含み、インターネットを含んでも良い。尚、車両Ｖ１とは、本実施形態１にかかる画像生成装置を含む車載端末を搭載した移動体を指すものであり、歩行者Ｕ又は表示端末Ｍ１の視点位置からの死角領域を生じ得る車両であるものとする。

【0014】

表示端末Ｍ１は、移動体の一例であり、無線通信機能を有し、表示画面を少なくとも備える情報処理装置である。表示端末Ｍ１は、歩行者Ｕの操作に応じて、又は、定期的に、通信網Ｎを介して、一定範囲内の車両Ｖ１に対して現在の位置情報を含む合成画像要求を送信する。尚、表示端末Ｍ１は、近距離無線通信等により合成画像要求を所定範囲内の車両Ｖ１等へ送信してもよい。ここで、表示端末Ｍ１は、定期的にＧＰＳ（Global Positioning System）機能等により現在の位置情報を取得するものとする。表示端末Ｍ１の位置情報は、後述する視点位置Ｍに相当する。尚、視点位置Ｍは、歩行者Ｕの目の高さの位置情報を含んだ３次元座標情報であってもよい。そして、表示端末Ｍ１は、車両Ｖ１に搭載された車載端末から通信網Ｎを介して、車両Ｖ１の死角領域に存在する対象物を含む合成画像を受信し、表示画面に合成画像を表示する。例えば、表示端末Ｍ１は、スマートフォン、携帯電話端末、タブレット端末等の移動通信装置である。また、対象物とは、画像認識技術等により予め設定した形状にマッチングする物である。また、対象物は、歩行者Ｕへの注意喚起が必要な候補ともいえる。例えば、対象物は、車やバイク等の移動体であるが、これらに限定されない。

【0015】

図２は、本実施形態１にかかる歩道上の移動体の視点位置から車道を見た場合の視界の例を示す図である。歩行者Ｕは、表示端末Ｍ１を携帯して歩道Ｒ２におり、信号機のない横断歩道Ｒ３を渡る前とする。車両Ｖ１と他車両Ｖ３は、車道Ｒ５上で走行又は駐停車しているものとする。そのため、歩行者Ｕの視界では、奥側の車道Ｒ４上の移動体が認識し難いことを示す。

【0016】

図３は、本実施形態１にかかる歩道上の移動体の視点位置Ｍから車道を見た場合の車両Ｖ１による死角領域Ｄの上面図である。図３は、上述した図２を上空から示した図である。視点位置Ｍは、歩行者Ｕ及び表示端末Ｍ１の位置を示す。他車両Ｖ２は、車道Ｒ４上で走行又は駐停車しているものとする。そして、他車両Ｖ２は、視点位置Ｍから見た場合の車両Ｖ１の死角領域Ｄに存在する。そのため、視点位置Ｍにおいて歩行者Ｕが車両Ｖ１方向を見た場合には、歩行者Ｕには他車両Ｖ２が見えないことを示す。よって、歩行者Ｕは横断歩道Ｒ３を渡ろうとしているが、死角領域Ｄにいる他車両Ｖ２が認識できないため、危険な状況であることを示す。

【0017】

図４は、本実施形態１にかかる車両Ｖ１の周囲を撮影するために搭載されたカメラＣ１からＣ４と撮影範囲Ａ１からＡ４の例を示す図である。カメラＣ１は撮影範囲Ａ１を撮影し、カメラＣ２は撮影範囲Ａ２を撮影し、カメラＣ３は撮影範囲Ａ３を撮影し、カメラＣ４は撮影範囲Ａ４を撮影する。尚、撮影範囲Ａ１からＡ４は、一部が重なっても良い。尚、車両Ｖ１に搭載されるカメラの台数は４台に限定されず、車両Ｖ１の周囲を撮影することができる台数であればよい。また、カメラＣ１からＣ４の設置位置も図４に限定されない。

【0018】

図５は、本実施形態１にかかる車両Ｖ１の周囲における視点位置ごとの視点領域の例を示す図である。「視点領域」とは、視点位置Ｍの集合、つまり歩行者Ｕや表示端末Ｍ１が存在する領域である。視点領域Ａ１１は車両Ｖ１の左前方領域、視点領域Ａ１２は車両Ｖ１の前方領域、視点領域Ａ１３は車両Ｖ１の右前方領域、視点領域Ａ１４は車両Ｖ１の右方領域、視点領域Ａ１５は車両Ｖ１の右後方領域、視点領域Ａ１６は車両Ｖ１の後方領域、視点領域Ａ１７は車両Ｖ１の左後方領域、視点領域Ａ１８は車両Ｖ１の左方領域を示す。

【0019】

図６は、本実施形態１にかかる視点位置ごとの車両Ｖ１による死角領域Ｄの例を示す図である。視点領域Ａ１１に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ２及びＡ４に含まれる。視点領域Ａ１２に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ３、Ａ２及びＡ４に含まれる。視点領域Ａ１３に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ２及びＡ３に含まれる。視点領域Ａ１４に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１、Ａ３及びＡ２に含まれる。視点領域Ａ１５に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１及びＡ３に含まれる。視点領域Ａ１６に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１、Ａ３及びＡ４に含まれる。視点領域Ａ１７に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１及びＡ４に含まれる。視点領域Ａ１８に視点位置Ｍが存在する場合、車両Ｖ１により生じる死角領域Ｄは、撮影範囲Ａ１、Ａ２及びＡ３に含まれる。

【0020】

図７は、本実施形態１にかかる視点位置ごとの合成画像の概念を説明するための図である。まず、視点変換画像Ｉ１は、カメラＣ１で撮影した画像を視点変換した画像である。視点変換画像Ｉ２は、カメラＣ２で撮影した画像を視点変換した画像である。視点変換画像Ｉ３は、カメラＣ３で撮影した画像を視点変換した画像である。視点変換画像Ｉ４は、カメラＣ４で撮影した画像を視点変換した画像である。そして、視点領域Ａ１１に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ１は、左に視点変換画像Ｉ４、右に視点変換画像Ｉ２が合成された画像となる。視点領域Ａ１２に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ２は、左に視点変換画像Ｉ４、中央に視点変換画像Ｉ２、右に視点変換画像Ｉ３が合成された画像となる。視点領域Ａ１３に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ３は、左に視点変換画像Ｉ２、右に視点変換画像Ｉ３が合成された画像となる。視点領域Ａ１４に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ４は、左に視点変換画像Ｉ２、中央に視点変換画像Ｉ３、右に視点変換画像Ｉ１が合成された画像となる。視点領域Ａ１５に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ５は、左に視点変換画像Ｉ３、右に視点変換画像Ｉ１が合成された画像となる。視点領域Ａ１６に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ６は、左に視点変換画像Ｉ３、中央に視点変換画像Ｉ１、右に視点変換画像Ｉ４が合成された画像となる。視点領域Ａ１７に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ７は、左に視点変換画像Ｉ１、右に視点変換画像Ｉ４が合成された画像となる。視点領域Ａ１８に視点位置Ｍが存在する場合、合成画像ＣＩＭＧ８は、左に視点変換画像Ｉ１、中央に視点変換画像Ｉ４、右に視点変換画像Ｉ２が合成された画像となる。

【0021】

図８は、本実施形態１にかかる画像生成装置１を搭載した車両Ｖ１の構成を示すブロック図である。車両Ｖ１は、車載端末の少なくとも一部である画像生成装置１と、カメラＣ１からＣ４を搭載した車両である。カメラＣ１は、撮影部Ｃ１１及び測距部Ｃ１２を備える。撮影部Ｃ１１は、車両Ｖ１の車外である撮影範囲Ａ１を定期的に撮影し、撮影した画像を画像生成装置１へ出力する。撮影部Ｃ１１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等である。測距部Ｃ１２は、撮影部Ｃ１１による撮影画像から画像解析により抽出された対象物とカメラＣ１との距離を測定する。尚、画像解析処理は、画像生成装置１により行われても良い。測距部Ｃ１２は、測定した距離情報を画像生成装置１へ出力する。測距部Ｃ１２は、例えば、カメラＣ１と対象物との距離を深度として測定するセンサである。そのため、カメラＣ１は、撮影部Ｃ１１と測距部Ｃ１２を併せたＴＯＦ（Time Of Flight）カメラを用いてもよい。カメラＣ２、Ｃ３及びＣ４は、カメラＣ１と同等の構成を有する。例えば、カメラＣ２は撮影部Ｃ２１及び測距部Ｃ２２を備え、撮影範囲Ａ２を撮影する。カメラＣ３は撮影部Ｃ３１及び測距部Ｃ３２を備え、撮影範囲Ａ３を撮影する。カメラＣ４は撮影部Ｃ４１及び測距部Ｃ４２を備え、撮影範囲Ａ４を撮影する。尚、撮影部Ｃ１１、Ｃ２１、Ｃ３１及びＣ４１のそれぞれにより撮影された画像は、車両Ｖ１の周囲である車外が撮影された車外画像である。

【0022】

画像生成装置１は、同じ時点において複数のカメラにより撮影された各車外画像から、表示端末Ｍ１の視点位置Ｍから見た場合の死角領域Ｄを含む合成画像を生成し、合成画像を表示端末Ｍ１へ送信する情報処理装置である。画像生成装置１は、例えば、マイクロコンピュータやＥＣＵ（Electronic Control Unit）等である。画像生成装置１は、取得部１１、制御部１２、受信部１３及び送信部１４を備える。尚、取得部１１、制御部１２、受信部１３及び送信部１４は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、量子プロセッサ（量子コンピュータ制御チップ）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、メモリ又はこれらの組み合わせからなる。

【0023】

取得部１１は、車両Ｖ１の位置情報及び進行方向を取得する。例えば、取得部１１は、ＧＰＳ機能を有し、現在の位置情報を取得してもよい。また、取得部１１は、ジャイロ等を含み、車両Ｖ１の進行方向を取得してもよい。また、取得部１１は、受信部１３により受信された表示端末Ｍ１の位置情報、つまり、車外の視点位置Ｍを取得してもよい。また、取得部１１は、カメラＣ１～Ｃ４から車外画像を取得する。または、取得部１１は、後述する特定部１２１により特定されたカメラが撮影した車外画像を取得してもよい。また、取得部１１は、カメラＣ１～Ｃ４から車外画像のそれぞれの中に含まれる対象物の距離情報を取得する。または、取得部１１は、後述する特定部１２１により特定されたカメラが撮影した車外画像の中に含まれる対象物の距離情報を取得してもよい。取得部１１は、取得した車両Ｖ１の位置情報及び進行方向、視点位置Ｍ、車外画像及び距離情報を、メモリ等に保存してもよい。

【0024】

受信部１３は、表示端末Ｍ１から通信網Ｎを介して、表示端末Ｍ１の位置情報を含む合成画像要求を受信する。尚、受信部１３は、表示端末Ｍ１から近距離無線通信等の直接的な通信方式により合成画像要求を受信してもよい。送信部１４は、制御部１２により合成された合成画像を、通信網Ｎを介して視点位置Ｍの表示端末Ｍ１へ送信する。尚、送信部１４は、合成画像を、近距離無線通信等により表示端末Ｍ１へ送信してもよい。尚、送信部１４は、死角領域Ｄ内に閾値距離以内の対象物がないと判定された場合、対象物無しの応答を、合成画像要求の要求元である表示端末Ｍ１へ送信してもよい。言い換えると、送信部１４は、死角領域Ｄ内に閾値距離以内の対象物があると判定された場合、合成画像を表示端末Ｍ１へ送信してもよい。

【0025】

制御部１２は、特定部１２１及び生成部１２２を備える。特定部１２１は、視点位置Ｍと車両Ｖ１の位置及び進行方向から、視点位置Ｍから車両Ｖ１により死角となり得る死角領域Ｄを特定する。また、特定部１２１は、死角領域Ｄを撮影範囲に含むカメラを特定する。さらに、特定部１２１は、距離情報に基づいて、死角領域Ｄに含まれる対象物を特定することが望ましい。さらに、特定部１２１は、死角領域Ｄに含まれる対象物と車両Ｖ１との距離が閾値以内の場合、対象物として特定するとよい。

【0026】

特定部１２１は、相対位置算出部１２１１、死角領域算出部１２１２及び対象物判定部１２１３を備える。相対位置算出部１２１１は、視点位置Ｍと車両Ｖ１の相対位置を算出する。死角領域算出部１２１２は、視点位置Ｍから見た場合の車両Ｖ１による死角領域Ｄを算出する。対象物判定部１２１３は、距離情報に基づいて、死角領域Ｄ内に閾値距離以内の対象物があるか否かを判定する。

【0027】

生成部１２２は、車両Ｖ１の周囲が撮影された複数の車外画像を用いて、死角領域Ｄに基づき視点位置Ｍの視点での合成画像を生成する。さらに、生成部１２２は、特定された対象物と車両Ｖ１との距離を、複数の車外画像の間で一致させるように各車外画像の大きさを調整して、合成画像を生成するとよい。例えば、生成部１２２は、対象物の距離に合わせて複数の車外画像のそれぞれの大きさを調整し、調整後の各画像を合成する際に境界面を合わせるようにして合成画像を生成するとよい。また、生成部１２２は、対象物が複数の車外画像のそれぞれに映っている場合は、対象物の大きさが同じ大きさとなるように画像の調整をするとよい。

【0028】

生成部１２２は、視点変換部１２２１及び画像合成部１２２２を備える。視点変換部１２２１は、死角領域Ｄを含む車外画像の視点変換を行う。例えば、視点変換部１２２１は、死角領域Ｄを含む車外画像を、視点位置Ｍから見た画像となるように、車外画像内の各点の二次元座標を、撮影に用いたカメラからの撮影視点位置から見た座標系から視点位置Ｍから見た座標系へ座標変換するとよい。尚、視点変換処理は、任意の公知技術を用いることができる。画像合成部１２２２は、視点変換した各車外画像を合成して合成画像を生成する。また、画像合成部１２２２は、合成画像が車両Ｖ１の死角領域Ｄの画像であることを示すために、生成した合成画像に、車両Ｖ１の領域画像を追加するとよい。

【0029】

尚、特定部１２１及び生成部１２２、又は、相対位置算出部１２１１、死角領域算出部１２１２、対象物判定部１２１３、視点変換部１２２１及び画像合成部１２２２は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、量子プロセッサ、ＲＡＭ、ＲＯＭ、メモリ又はこれらの組み合わせからなる。

【0030】

尚、画像生成装置１は、図示しない構成として、画像生成プログラムを記憶する記憶装置を備える。記憶装置は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。画像生成プログラムは、本実施形態にかかる画像生成処理が実装されたコンピュータプログラムである。画像生成装置１のＣＰＵ等は、記憶装置からメモリへ画像生成プログラムを読み込ませて実行する。これにより、ＣＰＵ等は、上述した取得部１１、制御部１２、受信部１３及び送信部１４、並びに、特定部１２１及び生成部１２２として機能する。また、ＣＰＵ等は、上述した相対位置算出部１２１１、死角領域算出部１２１２、対象物判定部１２１３、視点変換部１２２１及び画像合成部１２２２として機能する。

【0031】

図９は、本実施形態１にかかる画像生成処理の流れを示すフローチャートである。まず、制御部１２は、受信部１３から表示端末Ｍ１からの合成画像要求を受信しているか否かを判定する（Ｓ１）。受信部１３から合成画像要求を受信していない場合、制御部１２は、所定時間待機し、再度、ステップＳ１を行う。受信部１３から合成画像要求を受信した場合、制御部１２は、取得部１１から車両Ｖ１の位置情報及び進行方向を取得する（Ｓ２）。そして、取得部１１は、制御部１２から表示端末Ｍ１の位置情報を取得する（Ｓ３）。具体的には、取得部１１は、制御部１２から受信部１３により受信された合成画像要求に含まれる表示端末Ｍ１の視点位置Ｍを取得する。

【0032】

続いて、相対位置算出部１２１１は、視点位置Ｍと車両Ｖ１の相対位置を算出する（Ｓ４）。例えば、相対位置算出部１２１１は、視点位置Ｍと車両Ｖ１の位置情報とから所定の座標系における視点位置Ｍと車両Ｖ１との座標を算出してもよい。死角領域算出部１２１２は、車両Ｖ１の領域の端から端までの大きさ、つまり長さを取得する（Ｓ５）。死角領域算出部１２１２は、視点位置Ｍから見た場合の車両Ｖ１による死角領域Ｄを算出する（Ｓ６）。例えば、死角領域算出部１２１２は、視点位置Ｍから車両Ｖ１の領域の両端までの線分を延長して死角領域Ｄを特定してもよい。

【0033】

そして、特定部１２１は、死角領域Ｄを撮影範囲に含むカメラを特定する（Ｓ７）。例えば、特定部１２１は、車両Ｖ１の周囲の撮影範囲のうち死角領域Ｄに含まれる撮影範囲に対応するカメラを特定する。この例では、特定部１２１は、カメラＣ１からＣ４のうち２，３台を特定する。これにより、合成対象の車外画像が絞り込まれるため、ステップＳ８及びＳ９の処理負荷を軽減できる。そして、取得部１１は、ステップＳ７により特定された複数のカメラが撮影した複数の車外画像と、各車外画像内の対象物の距離情報とを取得する（Ｓ８）。

【0034】

そして、対象物判定部１２１３は、距離情報に基づいて、死角領域Ｄ内に閾値距離以内の対象物があるか否かを判定する（Ｓ９）。具体的には、対象物判定部１２１３は、ステップＳ８で取得した距離情報が閾値距離以内である対象物があるか否かを判定する。その理由は、死角領域Ｄ内に対象物が含まれていたとしても、遠方であれば視点位置Ｍの歩行者Ｕには危険性が低く、認識させる必要性が低いといえるためである。例えば、死角領域Ｄのうち車道Ｒ４上の移動体である他車両Ｖ２については、車道Ｒ５上の車両Ｖ１との距離が比較的近く、歩道Ｒ２側の歩行者Ｕが横断歩道Ｒ３を渡る際に、認識しておく必要が高い。一方、死角領域Ｄのうち歩道Ｒ１上の物体や建物等の固定物については、車道Ｒ５上の車両Ｖ１との距離が比較的遠く、歩道Ｒ２側の歩行者Ｕが認識する必要性が低い。

【0035】

ステップＳ９で死角領域Ｄ内に閾値距離以内の対象物がある場合、視点変換部１２２１は、死角領域Ｄを含む車外画像の視点変換を行う（Ｓ１０）。具体的には、まず、視点変換部１２２１は、視点位置Ｍ、車両Ｖ１及び死角領域Ｄの相対的な位置関係から、合成画像の幅を決定する。

【0036】

図１０は、本実施形態１にかかる合成画像の幅の決定の概念を説明するための図である。まず、視点位置Ｍから車両Ｖ１方向を見た場合の合成画像の仮想投影面Ｓの位置を定めるための「視点位置Ｍからの距離」が、予めＲＯＭ等の記憶部に設定されているものとする。この場合、視点変換部１２２１は、視点位置Ｍからの距離を記憶部から読み出し、視点位置Ｍと車両Ｖ１の中心Ｐ１との線分の延長線上で、視点位置Ｍから上記読み出した「視点位置Ｍからの距離」となる点をＰ３とする。視点変換部１２２１は、Ｐ３を仮想投影面Ｓの描画幅の中心とする。そして、視点変換部１２２１は、視点位置Ｍから描画幅の中心Ｐ３への線分と直角となるように仮想投影面Ｓを設定する。そして、視点変換部１２２１は、死角領域Ｄのうち仮想投影面Ｓと重なる線分を死角領域幅Ｗ２とし、描画幅の中心Ｐ３から死角領域幅Ｗ２の両側に等幅で非死角領域幅Ｗ３１及びＷ３２を設定する。尚、非死角領域幅Ｗ３１及びＷ３２は、等幅である必要はない。そして、視点変換部１２２１は、仮想投影面Ｓにおける非死角領域幅Ｗ３１及びＷ３２、並びに、死角領域幅Ｗ２の合計値を合成画像の幅、つまり全描画幅Ｗ１として決定する。ここで、非死角領域幅Ｗ３１及びＷ３２は、視点位置Ｍから車両Ｖ１の方向を見た場合に、車両Ｖ１の周囲が十分に映る範囲とするための余裕の幅である。全描画幅Ｗ１に非死角領域幅Ｗ３１及びＷ３２をより長く設定することで、合成画像の撮影範囲をより広角に取ることができる。また、視点変換部１２２１は、視点位置Ｍと車両Ｖ１の角Ｐ２との線分の延長線と仮想投影面Ｓとの交点を、画像合成境界点Ｐ４とする。画像合成境界点Ｐ４は、隣接する車外画像の重複する部分の境界点である。画像合成境界点Ｐ４の決定方法はこれに限らず、他の方法でもよい。

【0037】

図１１は、本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の例を示す図である。ここでは、上述した視点領域Ａ１７の例を示す。また、撮影範囲Ａ１とＡ４が死角領域Ｄを含み、撮影範囲Ａ４に対象物として他車両Ｖ２が含まれているものとする。つまり、カメラＣ４により撮影された車外画像には、他車両Ｖ２が映っているものとする。そして、車両Ｖ１から他車両Ｖ２の距離は、閾値距離以内であるものとする。このとき、視点変換部１２２１は、視点位置Ｍと車両Ｖ１の中心Ｐ１との線分の延長線上のＰ３の距離が最も近い距離となる面を仮想投影面Ｓと決定し、撮影範囲Ａ１及びＡ４の車外画像を仮想投影面Ｓに向けて視点変換する。具体的には、視点変換部１２２１は、撮影範囲Ａ１及びＡ４の車外画像のそれぞれを、視点位置Ｍと画像合成境界点Ｐ４の線分の延長線で分割する。つまり、視点変換部１２２１は、撮影範囲Ａ１の車外画像について分割された左側を残し、撮影範囲Ａ４の車外画像について分割された右側を残す。そして、視点変換部１２２１は、撮影範囲Ａ１及びＡ４の車外画像の残された側について、仮想投影面Ｓに向けて座標変換等を行うことにより視点変換する。尚、視点変換部１２２１は、視点位置Ｍを仮想カメラの位置、高さを歩行者Ｕの目線の高さとして、視点変換するとよい。

【0038】

その後、画像合成部１２２２は、視点変換した各車外画像を合成して合成画像を生成する（Ｓ１１）。具体的には、画像合成部１２２２は、視点位置Ｍと画像合成境界点Ｐ４の線分の延長線を境界として、撮影範囲Ａ１及びＡ４の車外画像の視点変換後の画像同士を合成する。さらに、画像合成部１２２２は、生成した合成画像に、車両Ｖ１の領域画像を追加する（Ｓ１２）。具体的には、画像合成部１２２２は、ステップＳ１１で生成した合成画像に、車両Ｖ１の領域画像を重畳する。ここで、車両Ｖ１の領域画像は、車両Ｖ１のＣＧ（Computer Graphics）の画像やポリゴン画像であるとよい。また、領域画像は、破線や透過率の高い画像であるものとする。そして、送信部１４は、ステップＳ１１及びＳ１２による合成画像を、通信網Ｎを介して視点位置Ｍの表示端末Ｍ１へ送信する（Ｓ１３）。これにより、表示端末Ｍ１は、画像生成装置１から受信した合成画像を画面に表示する。

【0039】

一方、ステップＳ９で死角領域Ｄ内に閾値距離以内の対象物がない場合、送信部１４は、対象物無しの応答を、表示端末Ｍ１へ送信する（Ｓ１４）。これにより、表示端末Ｍ１は、画像生成装置１から受信した応答を画面に表示する。

【0040】

図１２は、本実施形態１にかかる合成画像ＣＩＭＧ７の例を示す図である。合成画像ＣＩＭＧ７は、上述したとおり、視点変換画像Ｉ１と視点変換画像Ｉ４が合成された画像である。視点変換画像Ｉ４には、他車両Ｖ２が仮想投影面Ｓに視点変換された画像が含まれる。そして、視点変換画像Ｉ１と視点変換画像Ｉ４に跨って、車両Ｖ１の領域画像が追加で合成されている。ステップＳ１１の合成画像は、車両Ｖ１に搭載されたカメラにより撮影された車外画像であるため、車両Ｖ１が映っていない。一方、視点位置Ｍからは、実際には、車両Ｖ１が見える。そのため、ステップＳ１２により車両Ｖ１の領域画像を追加することで、視点位置Ｍからの視点に近付けることができる。これにより、歩行者Ｕは、表示端末Ｍ１の画面を介して、車両Ｖ１を透過したかのような位置に他車両Ｖ２の存在を認識することができる。つまり、歩行者Ｕは、本来であれば車両Ｖ１による死角領域Ｄのため見えない他車両Ｖ２を、表示端末Ｍ１に表示された合成画像ＣＩＭＧ７により見ることができる。

【0041】

図１３は、本実施形態１にかかる合成画像生成時の視点位置Ｍ、車両Ｖ１、死角領域Ｄ及び他車両Ｖ２の位置関係の他の例を示す図である。この例では、上述した図１１と比べて他車両Ｖ２が撮影範囲Ａ１とＡ４に跨って含まれているものとする。つまり、カメラＣ４により撮影された車外画像とカメラＣ１により撮影された車外画像との両方に、他車両Ｖ２が映っているものとする。このとき、他車両Ｖ２が画像合成境界点Ｐ４で重なるように投影面Ｓを決定する。

【0042】

図１４は、本実施形態１にかかる合成画像ＣＩＭＧ７ａの他の例を示す図である。合成画像ＣＩＭＧ７ａは、視点変換画像Ｉ１と視点変換画像Ｉ４に跨って、他車両Ｖ２が仮想投影面Ｓに視点変換された画像が合成されている。また、図１２と同様に、視点変換画像Ｉ１と視点変換画像Ｉ４に跨って、車両Ｖ１の領域画像が追加で合成されている。

【0043】

このように、本実施形態１により、特定の視点位置から移動体の存在による死角領域の状況を認識し易くすることができる。

【0044】

＜実施形態２＞
図１５は、本実施形態２にかかる歩道上に表示端末Ｍ２を設置した場合の例を示す図である。表示端末Ｍ２は、歩道Ｒ２上に設置され、無線通信機能を有し、表示画面を少なくとも備える情報処理装置である。表示端末Ｍ２は、上述した表示端末Ｍ１と同様に、歩行者Ｕの操作に応じて、又は、定期的に、通信網Ｎを介して、又は、近距離無線通信等により一定範囲内の車両Ｖ１に対して位置情報を含む合成画像要求を送信する。尚、表示端末Ｍ２の位置情報は、歩道Ｒ２上の固定位置であり、表示端末Ｍ２内の記憶装置に予め設定された値であってもよい。そして、表示端末Ｍ２は、車両Ｖ１に搭載された車載端末から通信網Ｎを介して、車両Ｖ１の死角領域Ｄに存在する対象物を含む合成画像を受信し、表示画面に合成画像を表示する。例えば、表示端末Ｍ２は、液晶ディスプレイ等を備えたデジタルサイネージ装置である。また、上述した視点位置Ｍは、表示端末Ｍ２の設置位置となる。つまり、視点位置Ｍは、移動体である必要はなく、歩道Ｒ２上に固定された位置であってもよい。このように、本実施形態２によっても、上述した実施形態１と同様に、特定の視点位置から移動体の存在による死角領域の状況を認識し易くすることができる。

【0045】

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

【0046】

尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

【0047】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【符号の説明】

【0048】

１０００ 死角映像提供システム
Ｎ 通信網
Ｕ 歩行者
Ｍ 視点位置
Ｍ１、Ｍ２ 表示端末
Ｖ１ 車両
Ｖ２、Ｖ３ 他車両
Ｒ１、Ｒ２ 歩道
Ｒ３ 横断歩道
Ｒ４、Ｒ５ 車道
Ｄ 死角領域
Ｃ１～Ｃ４ カメラ
Ｃ１１～Ｃ４１ 撮影部
Ｃ１２～Ｃ４２ 測距部
Ａ１～Ａ４ 撮影範囲
Ａ１１～Ａ１８ 視点領域
Ｉ１～Ｉ４ 視点変換画像
ＣＩＭＧ１～ＣＩＭＧ８ 合成画像
１ 画像生成装置
１１ 取得部
１２ 制御部
１２１ 特定部
１２１１ 相対位置算出部
１２１２ 死角領域算出部
１２１３ 対象物判定部
１２２ 生成部
１２２１ 視点変換部
１２２２ 画像合成部
１３ 受信部
１４ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】