特開 2022-145093 学習モデル生成装置、学習モデル生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022145093

(43)【公開日】2022-10-03

(54)【発明の名称】学習モデル生成装置、学習モデル生成方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220926BHJP

   G08G 1/04 20060101ALI20220926BHJP

   G08G 1/017 20060101ALI20220926BHJP

   G06N 20/00 20190101ALI20220926BHJP

【ＦＩ】

G06T7/00 350B

G08G1/04 D

G08G1/017

G06N20/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021046353

(22)【出願日】2021-03-19

(71)【出願人】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】上山 晃平

(72)【発明者】

【氏名】足立 浩基

(72)【発明者】

【氏名】片山 紘希

(72)【発明者】

【氏名】津田 晃太郎

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5L096BA04

5L096DA01

5L096FA02

5L096HA09

5L096HA11

5L096JA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

【課題】異なる地点に設置された撮像装置が出力する複数の画像データから、地点間で消失又は出現した車両を検出するための学習モデルを生成し得る技術を提供する。
【解決手段】学習モデル生成装置は、車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、学習モデル生成部１１を備えている、ことを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、学習モデル生成部を備えている、ことを特徴とする学習モデル生成装置。

【請求項2】

請求項１に記載の学習モデル生成装置であって、
車両の画像のみを含む画像データと、予め設定された場所を撮影して得られた画像データとを合成して、前記車両とその周辺環境とを示す画像データを生成する、訓練データ生成部、
を備えている、ことを特徴とする学習モデル生成装置。

【請求項3】

車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、ステップを備えている、ことを特徴とする学習モデル生成方法。

【請求項4】

請求項３に記載の学習モデル生成方法であって、
車両の画像のみを含む画像データと、予め設定された場所を撮影して得られた画像データとを合成して、前記車両とその周辺環境とを示す画像データを生成する、ステップ、
を備えている、ことを特徴とする学習モデル生成方法。

【請求項5】

コンピュータに、
車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、ステップを実行させる命令を含む、ことを特徴とするプログラム。

【請求項6】

請求項５に記載のプログラムであって、
車両の画像のみを含む画像データと、予め設定された場所を撮影して得られた画像データとを合成して、前記車両とその周辺環境とを示す画像データを生成する、ステップ、
を実行させる命令を含む、ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデル生成装置、学習モデル生成方法、及びプログラムに関する。

【背景技術】

【0002】

近年、道路沿いなど、街中のいたるところに車両を監視する監視カメラが設置されている。この監視カメラが撮像した映像を用いて、車両の走行を追跡する技術が種々提案されている（例えば特許文献１参照）。特許文献１に記載の装置は、複数の地点に設置された複数のカメラと通信可能となっている。そして、この装置は、走行路の複数を通過した車両のナンバープレートに表記されている情報を認識した結果を用いて、地点間での車両を同定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－２０１７２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、カメラの設置された地点と地点との間に右左折できるような別の道路がある場合、地点間で右左折して車両が消失したり、右左折してきて車両が出現したりすることがある。このような場合、特許文献１に記載の装置には、撮像装置が設置された地点間で消失又は出現した車両を検出することが求められるが、当該装置では、このような車両の検出は困難である。そこで、地点を通過した車両を検出するために、異なる撮像装置で撮像された複数の撮像画像から車両を検出できるようにすることが望まれる。

【0005】

本発明の目的の一例は、異なる地点に設置された撮像装置が出力する複数の画像データから、地点間で消失又は出現した車両を検出するための学習モデルを生成し得る、学習モデル生成装置、学習モデル生成方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一側面における学習モデル生成装置は、
車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、学習モデル生成部を備えている、ことを特徴とする。

【0007】

また、上記目的を達成するため、本発明の一側面における学習モデル生成方法は、
車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、ステップを備えている、ことを特徴とする。

【0008】

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、ステップを実行させる命令を含む、ことを特徴とする。

【発明の効果】

【0009】

以上のように本発明によれば、異なる地点に設置された撮像装置が出力する複数の画像データから、地点間で消失又は出現した車両を検出するための学習モデルを生成し得る。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態における学習モデル生成装置の概略構成を示す構成図である。

【図2】図２は、実施の形態における学習モデル生成装置の具体的構成を示す構成図である。

【図3】図３は、学習モデル生成装置の動作を示すフロー図である。

【図4】図４は、本発明の実施の形態における学習モデル生成装置を実現するコンピュータの一例を示すブロック図である。

【発明を実施するための形態】

【0011】

［装置構成］
最初に、実施の形態における学習モデル生成装置の概略構成について図１を用いて説明する。図１は、実施の形態における学習モデル生成装置の概略構成を示す構成図である。

【0012】

図１に示す実施の形態における学習モデル生成装置１０は、車両の車両情報を出力するのに用いる学習モデルを生成する装置である。図１に示すように、学習モデル生成装置１０は、学習モデル生成部１１を備えている。

【0013】

学習モデル生成部１１は、訓練データを取得し、取得した訓練データを用いて機械学習を実行して、学習モデルを生成する。訓練データとしては、車両の画像と車両周辺の画像との画像データと、車両を特定する車両情報とが用いられる。

【0014】

学習モデル生成装置１０によれば、異なる地点に設置された撮像装置が出力する複数の画像データから、地点間で消失又は出現した車両を検出するための学習モデルを生成し得る。そして、学習モデルに、車両の画像を示す画像データを入力すれば、その車両の車両情報が出力される。出力された車両情報を用いれば、後述するように、異なる地点に設置された撮像装置が出力する複数の画像データから、地点間で消失又は出現した車両を検出することが可能となる。

【0015】

続いて、図２を用いて、本実施の形態における学習モデル生成装置１０の構成及び機能について具体的に説明する。図２は、本実施の形態における学習モデル生成装置の具体的構成を示す構成図である。

【0016】

図２に示すように、実施の形態では、学習モデル生成装置１０は、学習モデル生成部１１に加えて、訓練データ生成部１２と、訓練データ格納部１３とを備えている。

【0017】

訓練データ生成部１２は、学習モデル生成装置１０の外部から入力された画像データ及び定義ファイルを受け付け、訓練データを生成し、訓練データ格納部１３に格納する。

【0018】

以下に、訓練データについて、具体的に説明する。

【0019】

訓練データ生成部１２は、車両の画像の画像データ、及び、定義ファイルから、訓練データを生成する。定義ファイルとは、車両の車種から形状へと変換するファイルである。車両の形状とは、「セダン」、「ワゴン」、「ワンボックス」などである。訓練データ生成部１２は、インターネット等から取得（スクレイピング）されてきた車両の画像を示す複数の画像データを、セマンティックセグメンテーションモデルに入力する。これにより、入力された複数の画像データから、画像中の車両の予測領域が抽出され、車両の背景画像を抜き取り、車両の画像のみを含む画像データが生成される。訓練データ生成部１２は、生成された車両の画像のみを含む画像データと、予め設定された場所を撮影して得られた画像データとを合成する。これにより、背景の違いによる影響を最小限に抑えることができる。訓練データ生成部１２は、生成された画像データを、定義ファイルによって、形状毎に分類する。そして、車両の画像と車両周辺の画像との画像データと、その車両を特定する車両情報とが、訓練データとして用いられる。車両を特定する車両情報とは、「セダン」、「ワゴン」、「ワンボックス」など、車両の形状を特定する情報及び車両の車種である。

【0020】

学習モデル生成部１１は、訓練データ格納部１３に格納されている訓練データを用いて、訓練を実施し、学習モデルを生成する。学習モデル生成部１１は、生成した学習モデルを、後述する車両監視装置に出力する。

【0021】

学習モデル生成部１１は、生成されクラスタリングされた訓練データを、形状毎に学習して、学習モデルを生成する。例えば、クラスタリングした形状毎に、同一車種のペアと別の車種との３つの画像データの組を生成する。ＣＮＮ(Convolutional Neural Network)モデルから３枚の画像データの特徴量を抽出し、同一車種間の特徴量距離と異なる車種間の特徴量距離を算出する。損失関数に３枚の画像データを入力し、異なる車種間の特徴量距離が遠ざかるようにＣＮＮのパラメータを更新する。

【0022】

上記のトリプレットロスを用いて損失を計算し、ａｄａｍを用いて、学習モデルの最適化を行い、訓練を実施する機械学習の手法としては、ゼロショット学習、ディープラーニング、リッジ回帰、ロジスティック回帰、サポートベクトルマシン、勾配ブースティング等が挙げられる。

【0023】

［装置動作］
次に、本発明の実施の形態における学習モデル生成装置の動作について図３を用いて説明する。図３は、学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、学習モデル生成装置を動作させることによって、学習モデル生成方法が実施される。よって、本実施の形態における学習モデル生成方法の説明は、以下の学習モデル生成装置の動作説明に代える。

【0024】

図３に示すように、最初に、訓練データ生成部１２は、学習モデル生成装置１０の外部から入力された車両の画像の画像データ、及び、定義ファイルから訓練データを生成し、生成した訓練データを、訓練データ格納部１３に格納する（ステップＡ１）。ステップＡ１で生成された訓練データは、車両の画像と車両周辺の画像との画像データと、その車両を特定する車両情報とで構成されている。

【0025】

次に、学習モデル生成部１１は、ステップＡ１で訓練データ格納部１３に格納された訓練データを用いて、機械学習を実行し、学習モデルを生成する（ステップＡ２）。更に、学習モデル生成部１１は、ステップＡ２で生成した学習モデルを、後述する車両監視装置に出力する（ステップＡ３）。

【0026】

ステップＡ１～Ａ３の実行により、車両の画像を示す画像データと、車両を特定する車両情報との関係を機械学習した、学習モデルが得られる。

【0027】

学習モデルが入力される車両監視装置は、道路上の異なる第１の地点と第２の地点とに設置された監視装置が出力する撮影データ入力される。車両監視装置は、この撮影データを、学習モデルに入力して、撮影データに含まれる、２つの地点を通過する車両を特定する車両情報を取得する。そして、車両監視装置は、車両情報から、第１の地点を通過した車両が、第２の地点を通過しているかを判定する。より詳しくは、第１の地点と、第２の地点との間には右左折路が存在して、第１の地点を通過した車両が、第２の地点へ向かう途中で右左折する場合がある。この場合、第１の地点を通過した車両は、第２の地点を通過することはない。例えば、第１の地点を通過した車両と同一の車両が第２の地点を通過していない場合、車両監視装置は、その車両は途中で右左折により消失した車両であると判定する。同様に、第２の地点を通過した車両と同一の車両が第１の地点を通過していない場合、車両監視装置は、その車両は、第１の地点と第２の地点との間から右左折により出現した車両であると判定する。また、第１の地点を通過した車両と、第２の地点を通過した車両とが同一である場合、車両監視装置は、その車両は第１の地点及び第２の地点を通過している車両であると判定する。

【0028】

このような車両監視装置において、学習モデルを用いることで、異なる地点に設置された撮像装置が出力する複数の画像データから、異なる地点を通過する車両を特定することができる。そして、それによって、異なる地点を通過する車両が同一であるか否かを判定することで、地点間で消失又は出現した車両を検出することができる。

【0029】

以上のように本実施の形態によれば、異なる地点に設置された撮像装置が出力する複数の画像データから、地点間で消失又は出現した車両を検出するための学習モデルを生成し得る。

【0030】

［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図３に示すステップＡ１～Ａ３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における学習モデル生成装置と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、学習モデル生成部１１、及び訓練データ生成部１２として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。

【0031】

また、本実施の形態では、訓練データ格納部１３は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。

【0032】

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、学習モデル生成部１１、及び訓練データ生成部１２のいずれかとして機能しても良い。

【0033】

ここで、実施の形態におけるプログラムを実行することによって、学習モデル生成装置を実現するコンピュータについて図４を用いて説明する。図４は、本発明の実施の形態における学習モデル生成装置を実現するコンピュータの一例を示すブロック図である。

【0034】

図４に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

【0035】

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラムを構成するコード群をメインメモリ１１２に展開し、コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

【0036】

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

【0037】

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

【0038】

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

【0039】

なお、本実施の形態における学習モデル生成装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、学習モデル生成装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

【0040】

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記６）によって表現することができるが、以下の記載に限定されるものではない。

【0041】

（付記１）
車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、学習モデル生成部を備えている、ことを特徴とする学習モデル生成装置。

【0042】

（付記２）
付記１に記載の学習モデル生成装置であって、
車両の画像のみを含む画像データと、予め設定された場所を撮影して得られた画像データとを合成して、前記車両とその周辺環境とを示す画像データを生成する、訓練データ生成部、
を備えている、ことを特徴とする学習モデル生成装置。

【0043】

（付記３）
車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、ステップを備えている、ことを特徴とする学習モデル生成方法。

【0044】

（付記４）
付記３に記載の学習モデル生成方法であって、
車両の画像のみを含む画像データと、予め設定された場所を撮影して得られた画像データとを合成して、前記車両とその周辺環境とを示す画像データを生成する、ステップ、
を備えている、ことを特徴とする学習モデル生成方法。

【0045】

（付記５）
コンピュータに、
車両の画像と前記車両周辺の画像との画像データと、前記車両を特定する車両情報とを訓練データとして用いて機械学習を実行して、画像データが入力されると、前記画像データで示される画像中の車両の車両情報を出力する、機械学習モデルを生成する、ステップを実行させる命令を含む、ことを特徴とするプログラム。

【0046】

（付記６）
付記５に記載のプログラムであって、
車両の画像のみを含む画像データと、予め設定された場所を撮影して得られた画像データとを合成して、前記車両とその周辺環境とを示す画像データを生成する、ステップ、
を実行させる命令を含む、ことを特徴とするプログラム。

【0047】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【産業上の利用可能性】

【0048】

本発明は、異なる地点に設置された撮像装置が出力する複数の画像データから、地点間で消失又は出現した車両を検出するための学習モデルを生成することができる。本発明は、画像から車両の車両情報を特定することが求められる際に有用である。

【符号の説明】

【0049】

１０ 学習モデル生成装置
１１ 学習モデル生成部
１２ 訓練データ生成部
１３ 訓練データ格納部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

【図1】

【図2】

【図3】

【図4】