特開 2023-12856 画像生成装置、画像生成方法、画像生成プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023012856

(43)【公開日】2023-01-26

(54)【発明の名称】画像生成装置、画像生成方法、画像生成プログラム及び記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230119BHJP

   G08G 1/00 20060101ALI20230119BHJP

【ＦＩ】

G06T7/00 650Z

G06T7/00 350C

G08G1/00 D

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021116578

(22)【出願日】2021-07-14

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田 英毅

(72)【発明者】

【氏名】井上 俊明

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181AA05

5H181BB20

5H181CC04

5H181EE15

5H181FF10

5H181MB08

5H181MC17

5H181MC22

5L096BA04

5L096HA02

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】交通に関する情報を示すデータの容量を小さくする画像生成装置、画像生成方法、画像生成プログラム及び記憶媒体を提供する。
【解決手段】画像生成装置において、抽出部は、交通状況を撮影した第１の画像から、交通状況を説明する文章を抽出する。生成部は、抽出部によって抽出された文章を基に第２の画像を生成し端末３０に出力する。生成部は、第２の画像として、第１の画像よりも容量が小さい画像を生成してもよい。生成部は、既定の図形を配置した静止画像を生成してもよい。抽出部は、交通状況における交通路の形状及び交通参加者の動きを説明する文章を抽出してもよい。生成部は、交通路の形状及び交通参加者を図形で表し、交通参加者の動きを矢印で表した画像を生成してもよい。生成部は、学習済みの敵対的生成ネットワークに、抽出部によって抽出された文章を入力することにより画像を生成してもよい。
【選択図】図１

【特許請求の範囲】

【請求項1】

交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出部と、
前記抽出部によって抽出された文章を基に第２の画像を生成する生成部と、
を有することを特徴とする画像生成装置。

【請求項2】

前記生成部は、前記第２の画像として、前記第１の画像よりも容量が小さい画像を生成することを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記生成部は、既定の図形を配置した静止画像を生成することを特徴とする請求項１又は２に記載の画像生成装置。

【請求項4】

前記抽出部は、前記交通状況における交通路の形状及び交通参加者の動きを説明する文章を抽出し、
前記生成部は、前記交通路の形状及び交通参加者を図形で表し、前記交通参加者の動きを矢印で表した画像を生成することを特徴とする請求項１から３のいずれか１項に記載の画像生成装置。

【請求項5】

前記生成部は、学習済みの敵対的生成ネットワークに前記抽出部によって抽出された文章を入力することにより画像を生成することを特徴とする請求項１から４のいずれか１項に記載の画像生成装置。

【請求項6】

コンピュータによって実行される画像生成方法であって、
交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出ステップと、
前記抽出ステップによって抽出された文章を基に第２の画像を生成する生成ステップと、
を含むことを特徴とする画像生成方法。

【請求項7】

交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出ステップと、
前記抽出ステップによって抽出された文章を基に第２の画像を生成する生成ステップと、
をコンピュータに実行させるための画像生成プログラム。

【請求項8】

交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出ステップと、
前記抽出ステップによって抽出された文章を基に第２の画像を生成する生成ステップと、
をコンピュータに実行させるための画像生成プログラムを記憶したことを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像生成方法、画像生成プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来、車両前方を撮影した映像データを、各種センサ情報（タコメータ、速度、操作履歴等）、ＧＰＳデータ、衝撃度・方向検知データとともに保存しておき、車両が衝撃を受けたとき、証券番号等と保存した映像データ及び他のデータとを組み合わせて事故受付サイトに送信する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－１７９０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術には、交通に関する情報を示すデータの容量が大きい場合があるという問題がある。

【0005】

例えば、従来の技術では、映像データ（動画像データ）が記憶領域に記憶され、インターネット回線を介して送信される。ここで、映像データの容量（サイズ）が大きい場合、記憶領域の容量及び回線の帯域を圧迫することが考えられる。

【0006】

本発明は、上記に鑑みてなされたものであって、交通に関する情報を示すデータの容量を小さくすることができる画像生成装置、画像生成方法、画像生成プログラム及び記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0007】

請求項１に記載の画像生成装置は、交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出部と、前記抽出部によって抽出された文章を基に第２の画像を生成する生成部と、を有することを特徴とする。

【0008】

請求項６に記載の画像生成方法は、コンピュータによって実行される画像生成方法であって、交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出ステップと、前記抽出ステップによって抽出された文章を基に第２の画像を生成する生成ステップと、を含むことを特徴とする。

【0009】

請求項７に記載の画像生成プログラムは、交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出ステップと、前記抽出ステップによって抽出された文章を基に第２の画像を生成する生成ステップと、をコンピュータに実行させる。

【0010】

請求項８に記載の記憶媒体は、交通状況を撮影した第１の画像から、前記交通状況を説明する文章を抽出する抽出ステップと、前記抽出ステップによって抽出された文章を基に第２の画像を生成する生成ステップと、をコンピュータに実行させるための画像生成プログラムを記憶したことを特徴とする。

【図面の簡単な説明】

【0011】

【図1】図１は、画像生成処理の概要を示す図である。

【図2】図２は、画像生成装置の構成例を示す図である。

【図3】図３は、画像の生成方法を説明する図である。

【図4】図４は、画像生成装置の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施形態）について説明する。なお、以下に説明する実施形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

【0013】

［第１の実施形態］
第１の実施形態に係る画像生成装置は、撮影された交通状況を示す画像の容量を小さくした上で、ユーザに提示する。例えば、画像生成装置は、事故の様子を撮影した動画像を基に、事故の様子を説明した容量の小さい静止画像を生成する。

【0014】

図１は、画像生成処理の概要を示す図である。図１に示すように、画像生成装置１０は、ネットワークＮを介して車両Ｖに備えられた車載装置２０と接続される。例えば、ネットワークＮはインターネットである。

【0015】

また、画像生成装置１０は、ネットワークＮを介して端末３０と接続される。例えば、端末３０は、交通事故の状況を調査する保険会社に所属するユーザによって使用される。

【0016】

また、画像生成装置１０、車載装置２０及び端末３０は、ユーザに情報を提供するための情報提供システムを構成するものであってもよい。

【0017】

例えば、画像生成装置１０は、サーバである。また、例えば、車載装置２０は、画像の撮影機能を備えたドライブレコーダ等である。端末３０は、画像の表示機能を備えたパーソナルコンピュータ等である。

【0018】

図１に示すように、まず、車載装置２０は、車両Ｖの前方の画像を撮影する（ステップＳ１）。次に、車載装置２０は、撮影した画像を、ネットワークＮを介して画像生成装置１０に送信する（ステップＳ２）。

【0019】

ここで、画像生成装置１０は、受信した画像から交通状況を説明する文章を抽出する（ステップＳ３）。さらに、画像生成装置１０は、抽出された文章から画像を生成する（ステップＳ４）。

【0020】

続いて、画像生成装置１０は、生成した画像を端末３０に送信する（ステップＳ５）。そして、端末３０は、画像生成装置１０から受信した画像を表示する（ステップＳ６）。

【0021】

図２は、画像生成装置の構成例を示す図である。図２に示すように、画像生成装置１０は、インタフェース部１１、記憶部１２及び制御部１３を有する。

【0022】

インタフェース部１１は、データの入出力を行うためのインタフェースである。また、インタフェース部１１は、インターネット等の通信ネットワークを介して他の装置との間でデータ通信が可能な通信モジュールであってもよい。

【0023】

記憶部１２は、画像生成装置１０で実行される各種のプログラム、及び処理の実行に必要なデータ等を記憶する。

【0024】

記憶部１２は、モデル情報１２１を記憶する。モデル情報１２１は、画像から文章を抽出するための文章抽出モデル、及び、文章から画像を生成するための画像生成モデルを構築するためのパラメータである。

【0025】

例えば、モデル情報１２１は、ニューラルネットワークを構築するための重み等のパラメータである。

【0026】

ここで、文章抽出モデルは、例えば既知の画像キャプション用のＡＩであってよい。
参考文献１：Microsoft, "What’s that? Microsoft’s latest breakthrough, now in Azure AI, describes images as well as people do"（https://blogs.microsoft.com/ai/azure-image-captioning/?utm_source=stories-pointer）

【0027】

また、画像生成モデルは、敵対的生成ネットワーク（ＧＡＮ：Genera tive Adversarial Networks）であってよい。
参考文献２："Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks", ICCV 2017（https://arxiv.org/abs/1612.03242）

【0028】

制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部１２に記憶された各種プログラムが実行されることにより実現され、画像生成装置１０全体の動作を制御する。

【0029】

なお、制御部１３は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって実現されてもよい。

【0030】

制御部１３は、抽出部１３１及び生成部１３２を有する。抽出部１３１は、交通状況を撮影した第１の画像から、交通状況を説明する文章を抽出する。また、生成部１３２は、抽出部１３１によって抽出された文章を基に第２の画像を生成する。

【0031】

抽出部１３１は、モデル情報１２１から構築された文章抽出モデルを用いて文章を抽出する。また、生成部１３２は、モデル情報１２１から構築された画像生成モデルを用いて画像を生成する。

【0032】

また、生成部１３２は、第２の画像として、第１の画像よりも容量が小さい画像を生成する。例えば、第１の画像が動画像である場合、生成部１３２は、第１の画像よりもフレーム数が少ない動画像又は静止画像を生成する。

【0033】

例えば、生成部１３２は、既定の図形を配置した静止画像を第２の画像として生成する。車両等の交通参加者を既定の図形で表現することにより、精細に描画する場合と比べて第２の画像の容量を小さくすることができる。

【0034】

既定の図形は、三角形及び四角形等の幾何学図形、矢印、及び車両等の形状を模した図形が含んでいてもよい。

【0035】

図３は、画像の生成方法を説明する図である。図３に示すように、抽出部１３１は、動画像２００からテキスト２１０を抽出する。

【0036】

動画像２００には、時系列順に並んだフレーム２０１ｆ、フレーム２０２ｆ、フレーム２０３ｆが含まれる。フレーム２０１ｆ、フレーム２０２ｆ、フレーム２０３ｆは、交通事故のような所定のイベントが発生した時刻及びその前後に時刻に対応する。

【0037】

抽出部１３１は、動画像２００の全体からテキスト２１０を抽出してもよいし、一部のフレームからテキスト２１０を抽出してもよい。

【0038】

テキスト２１０に示すように、抽出部１３１は、交通状況における交通路の形状及び交通参加者の動きを説明する文章を抽出する。

【0039】

生成部１３２は、テキスト２１０から画像２２０を生成する。生成部１３２は、学習済みの敵対的生成ネットワークに生成部１３２によって抽出された文章を入力することにより画像を生成する。

【0040】

敵対的生成ネットワークは、文章及び画像を組み合わせた教師データを用いて学習済みであるものとする。

【0041】

図３の例では、生成部１３２は、テキスト２１０から画像２２０を生成する。画像２２０は、静止画像であり、動画像２００より容量が小さい。

【0042】

生成部１３２は、画像２２０において、交通路の形状及び交通参加者を図形で表し、交通参加者の動きを矢印で表している。

【0043】

例えば、画像２２０において、交通参加者である四輪自動車、二輪自動車（バイク）、自転車は、それぞれの形状を模した図形で表されている。また、画像２２０において、各交通参加者の移動経路が矢印で表されている。また、画像２２０において、衝突及び接触が発生した位置は「×」で表されている。

【0044】

また、生成部１３２は、第２の画像として、生成元の第１の画像である動画像よりもフレーム数が少ないアニメーションを生成してもよい。

【0045】

なお、生成部１３２は、第１の画像よりも容量が大きい画像を第２の画像として生成してもよい。この場合、例えば、生成部１３２は、第１の画像である静止画像から、第２の画像である動画像を生成することができる。

【0046】

図４は、画像生成装置の処理の流れを示すフローチャートである。図４に示すように、まず、画像生成装置１０は、車載装置２０によって撮影された画像から交通状況を説明する文章を抽出する（ステップＳ１０１）。

【0047】

次に、画像生成装置１０は、抽出した文章から、元の画像と比べて容量の小さな画像を生成する（ステップＳ１０２）。

【0048】

そして、画像生成装置１０は、生成した画像を出力する。例えば、画像生成装置１０は、生成した画像を端末３０に送信する（ステップＳ１０３）。

【0049】

［第１の実施形態の効果］
これまで説明してきたように、画像生成装置１０の抽出部１３１は、交通状況を撮影した第１の画像から、交通状況を説明する文章を抽出する。生成部１３２は、抽出部１３１によって抽出された文章を基に第２の画像を生成する。

【0050】

例えば、画像生成装置１０は、動画像から静止画像を生成することができる。これにより、画像生成装置１０は、交通に関する情報を示すデータの容量を小さくすることができる。

【0051】

また、画像生成装置１０は、交通状況を撮影した画像から、当該画像の意味を変化させることなくシンボリックな画像を生成することができる。ユーザは、シンボリックな画像を見ることで交通状況を容易に理解することができる。

【0052】

生成部１３２は、既定の図形を配置した静止画像を生成する。これにより、生成される画像の容量を小さくすることができる。

【0053】

抽出部１３１は、交通状況における交通路の形状及び交通参加者の動きを説明する文章を抽出する。生成部１３２は、交通路の形状及び交通参加者を図形で表し、交通参加者の動きを矢印で表した画像を生成する。これにより、ユーザが直感的に理解しやすい画像を生成することができる。

【0054】

生成部１３２は、学習済みの敵対的生成ネットワークに抽出部１３１によって抽出された文章を入力することにより画像を生成する。これにより、文章から精度良く画像を生成することができる。

【符号の説明】

【0055】

１０ 画像生成装置
１１ インタフェース部
１２ 記憶部
１３ 制御部
２０ 車載装置
３０ 端末
１２１ モデル情報
１３１ 抽出部
１３２ 生成部

【図1】

【図2】

【図3】

【図4】