(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】画像処理システムおよび画像処理方法
(51)【国際特許分類】
G08G 1/017 20060101AFI20240806BHJP
G08G 1/04 20060101ALI20240806BHJP
H04N 7/18 20060101ALI20240806BHJP
G06T 7/00 20170101ALI20240806BHJP
G16Y 10/40 20200101ALI20240806BHJP
G16Y 40/10 20200101ALI20240806BHJP
【FI】
G08G1/017
G08G1/04 D
H04N7/18 U
G06T7/00 650B
G06T7/00 350B
G16Y10/40
G16Y40/10
(21)【出願番号】P 2021187916
(22)【出願日】2021-11-18
【審査請求日】2023-11-08
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】毛利 昌弘
(72)【発明者】
【氏名】藤田 貴大
【審査官】秋山 誠
(56)【参考文献】
【文献】特開2009-245385(JP,A)
【文献】特開2011-154630(JP,A)
【文献】特開2015-159520(JP,A)
【文献】特開2021-135816(JP,A)
【文献】特開2018-060296(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/017
G08G 1/04
H04N 7/18
G06T 7/00
G16Y 10/40
G16Y 40/10
(57)【特許請求の範囲】
【請求項1】
地面に対して動かないように固定され、ナンバプレートを撮影可能な第1のアングルから対象車両を含む複数の車両を撮影する第1のカメラと、
地面に対して動かないように固定され、前記第1のアングルとは異なる第2のアングルから、走行中の前記複数の車両を撮影する第2のカメラと、
前記第1のカメラにより撮影された第1の動画データおよび前記第2のカメラにより撮影された第2の動画データを取得するプロセッサとを備え、
前記プロセッサは、
前記第1の動画データに含まれる前記複数の車両のうち、前記対象車両のナンバーに一致するナンバーを有する車両を前記対象車両として選択し、
前記第1の動画データにおいて選択された前記対象車両から
、前記対象車両のナンバー以外の対象車両情報を取得し、
前記対象車両情報は、前記対象車両の走行状態に関する情報と、前記対象車両の外観に関する情報とを含み、
前記プロセッサは、さらに、
前
記対象車両情報に基づいて、前記第2の動画データに含まれる前記複数の車両のなかから
、前記対象車両の走行状態で走行中であり、かつ、前記対象車両の外観と同じ外観を有する車両を前記対象車両
として特定し、
特定された前記対象車両を含む画像を生成する、画像処理システム。
【請求項2】
前記プロセッサは、
前記第1の動画データから前記複数の車両を抽出し、
抽出された前記複数の車両の各々の前記ナンバプレートのナンバーを認識し、
抽出された前記複数の車両の各々と当該車両に最も近いナンバーとを対応付け、前記対象車両のナンバーに一致するナンバーを有する車両を前記対象車両として選択する、請求項
1に記載の画像処理システム。
【請求項3】
対象車両特定モデルが格納された第1のメモリをさらに備え、
前記対象車両特定モデルは、車両が抽出された動画を入力とし、かつ、前記動画における前記車両を出力とする学習済みモデルであり、
前記プロセッサは、前記対象車両特定モデルおよび前記対象車両情報に基づいて、前記第2の動画データから前記対象車両を特定する、請求項
1または2に記載の画像処理システム。
【請求項4】
車両抽出モデルが格納された第2のメモリをさらに備え、
前記車両抽出モデルは、車両を含む動画を入力とし、かつ、前記動画における前記車両を出力とする学習済みモデルであり、
前記プロセッサは、前記車両抽出モデルを用いて、前記第1の動画データから前記複数の車両を抽出する、請求項
2に記載の画像処理システム。
【請求項5】
ナンバー認識モデルが格納された第3のメモリをさらに備え、
前記ナンバー認識モデルは、ナンバーを含む動画を入力とし、かつ、前記動画におけるナンバーを出力とする学習済みモデルであり、
前記プロセッサは、前記ナンバー認識モデルを用いて、前記第1の動画データから前記ナンバプレートのナンバーを認識する、請求項
1または2に記載の画像処理システム。
【請求項6】
コンピュータによる画像処理方法であって、
地面に対して動かないように固定された第1のカメラを用いて、ナンバプレートを撮影可能な第1のアングルから対象車両を含む複数の車両が撮影された第1の動画データを取得するステップと、
地面に対して動かないように固定された第2のカメラを用いて、前記第1のアングルとは異なる第2のアングルから走行中の前記複数の車両が撮影された第2の動画データを取得するステップと、
前記第1の動画データに含まれる前記複数の車両のうち、前記対象車両のナンバーに一致するナンバーを有する車両を前記対象車両として選択するステップと、
前記第1の動画データにおいて選択された前記対象車両か
ら、前記対象車両のナンバー以外の対象車両情報を取得するステップとを含み、
前記対象車両情報は、前記対象車両の走行状態に関する情報と、前記対象車両の外観に関する情報とを含み、
前記画像処理方法は、
前
記対象車両情報に基づいて、前記第2の動画データに含まれる前記複数の車両のなかから
、前記対象車両の走行状態で走行中であり、かつ、前記対象車両の外観と同じ外観を有する車両を前記対象車両
として特定
するステップと、
特定された前記対象車両を含む画像を生成するステップとを
さらに含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理システムおよび画像処理方法に関し、より特定的には、車両を撮影するための技術に関する。
【背景技術】
【0002】
運転が好きなユーザは、自身の走行中の車両の外観を撮影したいという欲求を有し得る。ユーザは、撮影した画像を、たとえばソーシャル・ネットワーキング・サービス(以下、「SNS」と記載する)に投稿(アップロード)することで多くの人に見てもらうことができる。しかし、ユーザが自身による運転中に走行中の車両の外観を撮影することは困難である。そこで、走行中の車両の外観を撮影するサービスが提案されている。
【0003】
たとえば特開2019-121319号公報(特許文献1)は車両撮影支援装置を開示する。車両撮影支援装置は、撮影装置により撮影された画像に車両のナンバープレートのナンバーが写っている場合に、当該画像に当該車両が写っていると判定し、当該撮影をSNSに投稿する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-121319号公報
【文献】特開2009-245385号公報
【文献】特開2019-211921号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
走行中の車両のナンバープレートを撮影可能とは必ずしも限らない。ナンバープレートが写らないアングルから撮影された画像(たとえば車両の真横から撮影された画像)、ナンバープレートが小さくしか写らない画像(たとえば車両の遠方から撮影された画像)など、様々な画像に対する要望が存在し得る。特許文献1に開示された装置は、そのような要望について特に考慮していない点において改善の余地がある。
【0006】
本開示は上記課題を解決するためになされたものであり、本開示の目的は、ナンバープレートのナンバーが写っていなくても車両を特定することである。
【課題を解決するための手段】
【0007】
(1)本開示のある局面に従う画像処理システムは、第1のカメラと、第2のカメラと、プロセッサとを備える。第1のカメラは、ナンバプレートを撮影可能な第1のアングルから対象車両を含む複数の車両を撮影する。第2のカメラは、第1のアングルとは異なる第2のアングルから、走行中の複数の車両の動画を撮影する。プロセッサは、第1のカメラにより撮影された第1の動画データおよび第2のカメラにより撮影された第2の動画データを取得する。プロセッサは、第1の動画データに含まれる複数の車両のうち、対象車両のナンバーに一致するナンバーを有する車両を対象車両として選択する。プロセッサは、第1の動画データにおいて選択された対象車両から得られる、対象車両のナンバー以外の対象車両情報に基づいて、第2の動画データに含まれる複数の車両のなかから対象車両を特定し、特定された対象車両を含む画像を生成する。
【0008】
(2)対象車両情報は、対象車両の走行状態に関する情報を含む。プロセッサは、第2の動画データに含まれる複数の車両のなかから、対象車両の走行状態で走行中の車両を対象車両として特定する。
【0009】
(3)対象車両情報は、対象車両の外観に関する情報を含む。プロセッサは、第2の動画データに含まれる複数の車両のなかから、対象車両の外観と同じ外観を有する車両を対象車両として特定する。
【0010】
上記(1)~(3)の構成によれば、ナンバープレートのナンバーが撮影可能な第1のアングルから撮影された第1の動画を用いて対象車両情報(対象車両のナンバー以外の情報であり、対象車両の走行状態、外観に関する情報)が抽出される。そして、抽出された対象車両情報に基づいて、第2のアングルから撮影された第2の動画中の車両が特定される。このように、第1の動画と第2の動画とを対象車両情報により結び付けることで、たとえ第2の動画中では車両のナンバーが写っていなくても、車両を特定できる。
【0011】
(4)プロセッサは、第1の動画データから複数の車両を抽出し、抽出された複数の車両の各々のナンバプレートのナンバーを認識する。プロセッサは、抽出された複数の車両の各々と当該車両に最も近いナンバーとを対応付け、対象車両のナンバーに一致するナンバーを有する車両を対象車両として選択する。
【0012】
上記(4)の構成によれば、複数の車両の各々と、当該車両に最も近いとナンバーとが対応付けられる。そして、対象車両のナンバーに一致するナンバーを有する車両が対象車両として選択される。これにより、第1の動画データ中の対象車両を高精度に選択できる。
【0013】
(5)画像処理システムは、対象車両特定モデルが格納された第1のメモリをさらに備える。対象車両特定モデルは、車両が抽出された動画を入力とし、かつ、動画における車両を出力とする学習済みモデルである。プロセッサは、対象車両特定モデルおよび対象車両情報に基づいて、第2の動画データから対象車両を特定する。
【0014】
(6)画像処理システムは、車両抽出モデルが格納された第2のメモリをさらに備える。車両抽出モデルは、車両を含む動画を入力とし、かつ、動画における車両を出力とする学習済みモデルである。プロセッサは、車両抽出モデルを用いて、第1の動画データから複数の車両を抽出する。
【0015】
(7)画像処理システムは、ナンバー認識モデルが格納された第3のメモリをさらに備える。ナンバー認識モデルは、ナンバーを含む動画を入力とし、かつ、動画におけるナンバーを出力とする学習済みモデルである。プロセッサは、ナンバー認識モデルを用いて、第1の動画データからナンバプレートのナンバーを認識する。
【0016】
上記(5)~(7)の構成によれば、機械学習により準備された学習済みモデルを用いることで、対象車両特定、車両抽出およびナンバー認識の各処理の精度を向上させることができる。
【0017】
(8)本開示の他の局面に従うコンピュータによる画像処理方法は、第1~第4の方法を含む。第1の方法は、ナンバプレートを撮影可能な第1のアングルから対象車両を含む複数の車両が撮影された第1の動画データを取得するステップである。第2のステップは、第1のアングルとは異なる第2のアングルから走行中の複数の車両が撮影された第2の動画データを取得するステップである。第3のステップは、第1の動画データに含まれる複数の車両のうち、対象車両のナンバーに一致するナンバーを有する車両を対象車両として選択するステップである。第4のステップは、第1の動画データにおいて選択された対象車両から得られる、対象車両のナンバー以外の対象車両情報に基づいて、第2の動画データに含まれる複数の車両のなかから対象車両を特定し、特定された対象車両を含む画像を生成するステップである。
【0018】
上記(8)の方法によれば、上記(1)の構成と同様に、たとえ第2の動画中では車両のナンバーが写っていなくても、車両を特定できる。
【発明の効果】
【0019】
本開示によれば、ナンバープレートのナンバーが写っていなくても車両を特定できる。
【図面の簡単な説明】
【0020】
【
図1】本実施の形態に係る画像処理システムの全体構成を概略的に示す図である。
【
図2】撮影システムの典型的なハードウェア構成を示すブロック図である。
【
図3】撮影システムによる車両撮影の様子を示す第1の図(斜視図)である。
【
図4】撮影システムによる車両撮影の様子を示す第2の図(上面図)である。
【
図5】識別動画の1フレームの一例を示す図である。
【
図6】鑑賞動画の1フレームの一例を示す図である。
【
図7】サーバ2の典型的なハードウェア構成を示すブロック図である。
【
図8】撮影システムおよびサーバの機能的構成を示す機能ブロック図である。
【
図9】車両抽出処理に用いられる学習済みモデル(車両抽出モデル)の一例を説明するための図である。
【
図10】ナンバー認識処理に用いられる学習済みモデル(ナンバー認識モデル)の一例を説明するための図である。
【
図11】対象車両特定処理に用いられる学習済みモデル(対象車両特定モデル)の一例を説明するための図である。
【
図12】本実施の形態における車両の撮影処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰り返さない。
【0022】
[実施の形態]
<システム構成>
図1は、本実施の形態に係る画像処理システムの全体構成を概略的に示す図である。画像処理システム100は、複数の撮影システム1と、サーバ2とを備える。複数の撮影システム1の各々とサーバ2とは、ネットワークNWを介して互いに通信可能に接続されている。なお、
図1には3台の撮影システム1が示されているが、撮影システム1の台数は特に限定されない。撮影システム1は1台だけであってもよい。
【0023】
撮影システム1は、たとえば道路近傍に設置され、当該道路を走行中の車両9(
図3参照)を撮影する。本実施の形態では、撮影システム1は、撮影された動画に所定の演算処理(後述)を施し、その演算処理結果を動画とともにサーバ2に送信する。
【0024】
サーバ2は、たとえば、車両撮影サービスを提供する事業者の自社サーバである。サーバ2は、クラウドサーバ管理会社が提供するクラウドサーバであってもよい。サーバ2は、撮影システム1から受信した動画からユーザが鑑賞するための画像(以下、「鑑賞画像」とも記載する)を生成し、生成された鑑賞画像をユーザに提供する。鑑賞画像は、一般的には静止画であるが、短い動画であってもよい。ユーザは、多くの場合、車両9のドライバであるが、特に限定されない。
【0025】
図2は、撮影システム1の典型的なハードウェア構成を示すブロック図である。撮影システム1は、プロセッサ11と、メモリ12と、認識用カメラ13と、鑑賞用カメラ14と、通信インターフェイス(IF)15とを備える。メモリ12は、ROM(Read Only Memory)121と、RAM(Random Access Memory)122と、フラッシュメモリ123とを含む。撮影システム1の構成要素はバス等によって互いに接続されている。
【0026】
プロセッサ11は、撮影システム1の全体的な動作を制御する。メモリ12は、プロセッサ11により実行されるプログラム(オペレーティングシステムおよびアプリケーションプログラム)と、そのプログラムで使用されるデータ(マップ、テーブル、数式、パラメータなど)とを記憶する。また、メモリ12は、撮影システム1により撮影された動画を一時的に格納する。
【0027】
認識用カメラ13は、車両9に設けられたナンバープレートのナンバーをプロセッサ11が認識するための動画(以下、「識別動画」とも記載する)を撮影する。鑑賞用カメラ14は、鑑賞画像の生成に用いられる動画(以下、「鑑賞動画」とも記載する)を撮影する。認識用カメラ13および鑑賞用カメラ14の各々は、偏光レンズ付の高感度タイプのカメラであることが好ましい。
【0028】
なお、認識用カメラ13は、本開示に係る「第1のカメラ」に相当する。識別動画は「第1の動画データ」に相当する。鑑賞用カメラ14は、本開示に係る「第2のカメラ」に相当する。鑑賞動画は「第2の動画データ」に相当する。
【0029】
通信IF15は、サーバ2との通信を行うためのインターフェイスである。通信IF15は、たとえば4G(Generation)または5Gに準拠する通信モジュールである。
【0030】
図3は、撮影システム1による車両撮影の様子を示す第1の図(斜視図)である。
図4は、撮影システム1による車両撮影の様子を示す第2の図(上面図)である。
図3および
図4を参照して、認識用カメラ13は、ナンバープレートを撮影可能なアングル(第1のアングル)から識別動画を撮影する。この例では、車両9のほぼ正面から識別動画が撮影される。一方、鑑賞用カメラ14は、写真映りがよい(いわゆるSNS映えする)アングル(第2のアングル)から鑑賞動画を撮影する。この例では、車両9の真横から鑑賞動画が撮影される。
【0031】
図5は、識別動画の1フレームの一例を示す図である。
図5に示すように、識別動画には複数台の車両9(91,92)が写る場合がある。以下、複数台車両のうち撮影対象の車両(鑑賞画像を撮影しようとしている車両)を「対象車両」と記載し、それ以外の車両から区別する。
【0032】
図6は、鑑賞動画の1フレームの一例を示す図である。鑑賞動画に関しては、対象車両のナンバープレートが写っていることは要求されない。しかし、対象車両のナンバープレートが鑑賞動画に写っていてもよい。
【0033】
なお、車両9(対象車両を含む)は、
図3~
図5に示したような四輪車に限られず、たとえば二輪車(バイク)であってもよい。二輪車のナンバープレートは後方にしか取り付けられていないので、ナンバープレートを撮影できない状況が生じやすい。
【0034】
図7は、サーバ2の典型的なハードウェア構成を示すブロック図である。サーバ2は、プロセッサ21と、メモリ22と、入力装置23と、ディスプレイ24と、通信IF25とを備える。メモリ22は、ROM221と、RAM222と、HDD223とを含む。サーバ2の構成要素はバス等によって互いに接続されている。
【0035】
プロセッサ21は、サーバ2における各種演算処理を実行する。メモリ22は、プロセッサ21により実行されるプログラムと、そのプログラムで使用されるデータとを記憶する。また、メモリ22は、サーバ2による画像処理に使用されるデータを格納したり、サーバ2により画像処理されたデータを格納したりする。入力装置23は、サーバ2の管理者の入力を受け付ける。入力装置23は、典型的にはキーボード、マウスである。ディスプレイ24は様々な情報を表示する。通信IF25は、撮影システム1との通信を行うためのインターフェイスである。
【0036】
<画像処理システムの機能的構成>
図8は、撮影システム1およびサーバ2の機能的構成を示す機能ブロック図である。撮影システム1は、識別動画撮影部31と、鑑賞動画撮影部32と、通信部33と、演算処理部34とを含む。演算処理部34は、車両抽出部341と、ナンバー認識部342と、マッチング処理部343と、対象車両選択部344と、特徴量抽出部345と、動画バッファ346と、動画切り出し部347とを含む。
【0037】
識別動画撮影部31は、ナンバー認識部342がナンバープレートのナンバーを認識するための識別動画を撮影する。識別動画撮影部31は、識別動画を車両抽出部341に出力する。識別動画撮影部31は、
図2の認識用カメラ13に対応する。
【0038】
鑑賞動画撮影部32は、車両9のユーザが鑑賞するための鑑賞動画を撮影する。鑑賞動画撮影部32は、鑑賞動画を動画バッファ346に出力する。鑑賞動画撮影部32は、
図2の鑑賞用カメラ14に対応する。
【0039】
通信部33は、ネットワークNWを介してサーバ2の通信部42(後述)と双方向の通信を行う。通信部33は、サーバ2から対象車両のナンバーを受信する。また、通信部33は、鑑賞動画(より詳細には、鑑賞動画のなかから対象車両を含むように切り出された動画)をサーバ2に送信する。通信部33は
図2の通信IF15に対応する。
【0040】
車両抽出部341は、識別動画から車両(対象車両に限らず、車両全般)を抽出する。この処理を「車両抽出処理」とも記載する。車両抽出処理には、たとえば、ディープラーニング(深層学習)などの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、車両抽出部341は「車両抽出モデル」によって実現される。車両抽出モデルについては
図9にて説明する。車両抽出部341は、識別動画のうち車両が抽出された動画(車両を含むフレーム)をナンバー認識部342に出力するとともにマッチング処理部343に出力する。
【0041】
ナンバー認識部342は、車両抽出部341により車両が抽出された動画からナンバープレートのナンバーを認識する。この処理を「ナンバー認識処理」とも記載する。ナンバー認識処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、ナンバー認識部342は「ナンバー認識モデル」によって実現される。ナンバー認識モデルについては
図10にて説明する。ナンバー認識部342は、認識したナンバーをマッチング処理部343に出力する。また、ナンバー認識部342は、認識したナンバーを通信部33に出力する。これにより、各車両のナンバーがサーバ2に送信される。
【0042】
マッチング処理部343は、車両抽出部341により抽出された車両と、ナンバー認識部342により認識されたナンバーとを対応付ける。この処理を「マッチング処理」とも記載する。具体的には、再び
図5を参照して、2台の車両91,92が抽出され、かつ、2つのナンバー81,82が認識された状況を例に説明する。マッチング処理部343は、ナンバー毎に、ナンバーと車両との間の距離(フレーム上でのナンバーの座標と車両の座標との間の距離)を算出する。そして、マッチング処理部343は、ナンバーと、そのナンバーとの間の距離が短い車両とをマッチングする。この例では、ナンバー81と車両91との間の距離の方がナンバー81と車両92との間の距離よりも短いので、マッチング処理部343は、ナンバー81と車両91とを対応付ける。同様にして、マッチング処理部343は、ナンバー82と車両92とを対応付ける。マッチング処理部343は、マッチング処理の結果(ナンバーが対応付けられた車両)を対象車両選択部344に出力する。
【0043】
対象車両選択部344は、マッチング処理によってナンバーが対応付けられた車両のなかから、ナンバーが対象車両のナンバー(サーバ2から受信したもの)に一致する車両を対象車両として選択する。対象車両選択部344は、対象車両として選択された車両を特徴量抽出部345に出力する。
【0044】
特徴量抽出部345は、対象車両を含む動画を解析することで対象車両の特徴量を抽出する。より具体的には、特徴量抽出部345は、対象車両を含むフレームにおける対象車両の時間的変化(たとえば、フレーム間での対象車両の移動量、フレーム間での対象車両のサイズの変化量)に基づいて、対象車両の走行速度を算出する。特徴量抽出部345は、対象車両の走行速度に加えて、たとえば対象車両の加速度(減速度)を算出してもよい。また、特徴量抽出部345は、公知の画損認識技術を用いて対象車両の外観(ボディ形状、ボディ色など)に関する情報を抽出する。特徴量抽出部345は、対象車両の特徴量(走行状態および外観)を動画切り出し部に出力する。また、特徴量抽出部345は、対象車両の特徴量を通信部33に出力する。これにより、対象車両の特徴量がサーバ2に送信される。
【0045】
動画バッファ346は、鑑賞動画を一時的に記憶する。動画バッファ346は、代表的にはリングバッファ(循環バッファ)であって、1次元配列の先頭と末尾とが論理的に連結された環状の記憶領域を有する。新たに撮影された鑑賞動画は、記憶領域に格納可能な所定の時間分だけ動画バッファ346に記憶される。当該所定の時間を超えた分の鑑賞動画(古い動画)は、動画バッファ346から自動的に消去される。
【0046】
動画切り出し部347は、動画バッファ346に記憶された鑑賞動画から、特徴量抽出部345により抽出された特徴量(対象車両の走行速度、加速度、ボディ形状、ボディ色など)に基づいて、対象車両が撮影されている可能性が高い部分を切り出す。より詳細に説明すると、識別動画撮影部31(認識用カメラ13)により撮影される地点と、鑑賞動画撮影部32(鑑賞用カメラ14)により撮影される地点との間の距離は既知である。したがって、対象車両の走行速度(および加速度)が分かれば、動画切り出し部347は、識別動画撮影部31により対象車両が撮影されるタイミングと、鑑賞動画撮影部32により対象車両が撮影されるタイミングとの間の時間差を算出できる。動画切り出し部347は、識別動画撮影部31により対象車両が撮影されたタイミングと上記の時間差とに基づいて、鑑賞動画撮影部32により対象車両が撮影されるタイミングを算出する。そして、動画切り出し部347は、動画バッファ346に記憶された鑑賞動画から、対象車両が撮影されるタイミングを含む所定の時間幅(たとえば数秒間~数十秒間)の動画を切り出す。動画切り出し部347は、切り出された鑑賞動画を通信部33に出力する。これにより、対象車両を含む鑑賞動画がサーバ2に送信される。
【0047】
なお、動画切り出し部347は、特徴量抽出部345により抽出された特徴量に拘わらず、所定のタイミングで鑑賞動画を切り出してもよい。つまり、動画切り出し部347は、識別動画撮影部31により対象車両が撮影されたタイミングから所定の時間差後に鑑賞動画撮影部32により撮影された鑑賞動画を切り出してもよい。
【0048】
サーバ2は、記憶部41と、通信部42と、演算処理部43とを含む。記憶部41は、画像記憶部411と、登録情報記憶部412とを含む。演算処理部43は、車両抽出部431と、対象車両特定部432と、画像加工部433と、アルバム作成部434と、ウェブサービス管理部435と、撮影システム管理部436とを含む。
【0049】
画像記憶部411は、サーバ2による演算処理の結果、得られる鑑賞画像を格納する。より具体的には、画像記憶部411は、画像加工部433による加工前後の画像を記憶するとともに、アルバム作成部434により作成されたアルバムを格納する。
【0050】
登録情報記憶部412は、車両撮影サービスに関する登録情報を記憶している。登録情報は、車両撮影サービスの提供を申し込んだユーザの個人情報と、そのユーザの車両情報とを含む。ユーザの個人情報は、たとえば、ユーザの識別番号(ID)、氏名、生年月日、住所、電話番号、メールアドレスなどに関する情報を含む。ユーザの車両情報は、車両のナンバープレートのナンバーに関する情報を含む。車両情報は、たとえば、車種、年式、ボディ形状(セダン型、ワゴン型、ワンボックス型)、ボディ色などに関する情報を含んでもよい。
【0051】
通信部42は、ネットワークNWを介して撮影システム1の通信部33と双方向の通信を行う。通信部42は、対象車両のナンバーを撮影システム1に送信する。また、通信部42は、撮影システム1から対象車両を含む鑑賞動画と、対象車両の特徴量(走行状態および外観)とを受信する。通信部42は
図7の通信IF25に対応する。
【0052】
車両抽出部431は、鑑賞動画から車両(対象車両に限らず、車両全般)を抽出する。この処理には、撮影システム1の車両抽出部341による車両抽出処理と同様に、車両抽出モデルを用いることができる。車両抽出部431は、鑑賞動画のうち車両が抽出された動画(車両を含むフレーム)を対象車両特定部432に出力する。
【0053】
対象車両特定部432は、車両抽出部431により抽出された車両のなかから、対象車両の特徴量(すなわち、走行速度、加速度などの走行状態、および、ボディ形状、ボディ色などの外観)に基づいて対象車両を特定する。この処理を「対象車両特定処理」とも記載する。対象車両特定処理にもディープラーニングなどの機械学習の技術により生成された学習済みモデルを用いることができる。本例では、対象車両特定部432は「対象車両特定モデル」によって実現される。対象車両特定については
図11にて説明する。対象車両特定部432によって対象車両が特定されることで鑑賞画像が生成される。鑑賞画像は、通常は複数の画像(時間的に連続した複数のフレーム)を含む。対象車両特定部432は、鑑賞画像を画像加工部433に出力する。
【0054】
画像加工部433は鑑賞画像を加工する。たとえば、画像加工部433は、複数の画像のなかから最も写真映りがよい画像(いわゆるベストショット)を選択する。そして、画像加工部433は、抽出された鑑賞画像に対して様々な画像補正(トリミング、色補正、歪み補正など)を行う。画像加工部433は、加工済みの鑑賞画像をアルバム作成部434に出力する。
【0055】
アルバム作成部434は、加工済みの鑑賞画像を用いてアルバムを作成する。アルバム作成には公知の画像解析技術(たとえば、スマートホンで撮影された画像からフォトブック、スライドショーなどを自動で作成する技術)を用いることができる。アルバム作成部434は、アルバムをウェブサービス管理部435に出力する。
【0056】
ウェブサービス管理部435は、アルバム作成部434により作成されたアルバムを用いたウェブサービス(たとえばSNSに連携可能なアプリケーションプログラム)を提供する。なお、ウェブサービス管理部435は、サーバ2とは別のサーバに実装されてもよい。
【0057】
撮影システム管理部436は、撮影システム1を管理(監視および診断)する。撮影システム管理部436は、管理下の撮影システム1に何らかの異常(カメラ故障、通信不具合など)が発生した場合に、そのことをサーバ2の管理者に通知する。これにより、管理者が撮影システム1点検、修理などの対応を取ることができる。撮影システム管理部436もウェブサービス管理部435と同様に、別サーバとして実装され得る。
【0058】
<学習済みモデル>
図9は、車両抽出処理に用いられる学習済みモデル(車両抽出モデル)の一例を説明するための図である。学習前モデルである推定モデル51は、たとえば、ニューラルネットワーク511と、パラメータ512とを含む。ニューラルネットワーク511は、ディープラーニングによる画像認識処理に用いられる公知のニューラルネットワークである。そのようなニューラルネットワークとしては、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)、再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)などが挙げられる。パラメータ512は、ニューラルネットワーク511による演算に用いられる重み付け係数などを含む。
【0059】
多数の教師データが開発者により予め準備される。教師データは、例題データと、正解データとを含む。例題データは、抽出対象である車両を含む画像データである。正解データは、例題データに対応する抽出結果を含む。具体的には、正解データは、例題データに含まれる車両が抽出された画像データである。
【0060】
学習システム61は、例題データおよび正解データを用いて推定モデル51を学習させる。学習システム61は、入力部611と、抽出部612と、学習部613とを含む。
【0061】
入力部611は、開発者により準備された多数の例題データ(画像データ)を受け付けて抽出部612に出力する。
【0062】
抽出部612は、入力部611からの例題データを推定モデル51に入力することによって、例題データに含まれる車両を例題データ毎に抽出する。抽出部612は、その抽出結果(推定モデル51からの出力)を学習部613に出力する。
【0063】
学習部613は、抽出部612から受けた例題データからの車両の抽出結果と、その例題データに対応する正解データとに基づいて、推定モデル51を学習させる。具体的には、学習部613は、抽出部612によって得られた車両の抽出結果が正解データに近づくように、パラメータ512(たとえば重み付け係数)を調整する。
【0064】
以上のように推定モデル51の学習が行われ、学習が完了した推定モデル51が車両抽出モデル71として車両抽出部341(および車両抽出部431)に格納されている。車両抽出モデル71は、識別動画を入力とし、かつ、車両が抽出された識別動画を出力とする。車両抽出モデル71は、識別動画のフレーム毎に、抽出された車両を当該フレームの識別子と関連付けてマッチング処理部343に出力する。フレームの識別子とは、たとえばタイムスタンプ(フレームの時刻情報)である。
【0065】
図10は、ナンバー認識処理に用いられる学習済みモデル(ナンバー認識モデル)の一例を説明するための図である。例題データは、認識対象であるナンバーを含む画像データである。正解データは、例題データに含まれるナンバープレートの位置およびナンバーを示すデータである。例題データおよび正解データが異なるものの、学習システム62による推定モデル52の学習手法は、学習システム61(
図9参照)による学習手法と同様であるため、詳細な説明は繰り返さない。
【0066】
学習が完了した推定モデル52がナンバー認識モデル72としてナンバー認識部342に格納されている。ナンバー認識モデル72は、車両抽出部341によって車両が抽出された識別動画を入力とし、かつ、ナンバープレートの座標およびナンバーを出力とする。ナンバー認識モデル72は、識別動画のフレーム毎に、認識されたナンバープレートの座標およびナンバーを当該フレームの識別子に関連付けてマッチング処理部343に出力する。
【0067】
図11は、対象車両特定処理に用いられる学習済みモデル(対象車両特定モデル)の一例を説明するための図である。例題データは、特定対象である対象車両を含む画像データである。例題データは、対象車両の特徴量(具体的には走行状態および外観)に関する情報をさらに含む。正解データは、例題データに含まれる対象車両が特定された画像データである。学習システム63による推定モデル53の学習手法も学習システム61,62(
図9および
図10参照)による学習手法と同様であるため、詳細な説明は繰り返さない。
【0068】
学習が完了した推定モデル53が対象車両特定モデル73として対象車両特定部432に格納されている。対象車両特定モデル73は、車両抽出部431によって車両が抽出された鑑賞動画、ならびに、対象車両の特徴量(走行状態および外観)を入力とし、かつ、対象車両が特定された鑑賞動画を出力とする。対象車両特定モデル73は、鑑賞動画のフレーム毎に、特定された鑑賞動画を当該フレームの識別子に関連付けて画像加工部433に出力する。
【0069】
なお、車両抽出処理は、機械学習を用いた処理に限定されない。機械学習を用いない公知の画像認識技術(画像認識モデル、アルゴリズム)を車両抽出処理に適用できる。ナンバー認識処理および対象車両特定処理に関しても同様である。
【0070】
<処理フロー>
図12は、本実施の形態における車両の撮影処理の処理手順を示すフローチャートである。このフローチャートは、たとえば予め定められた条件成立時または所定の周期毎に実行される。図中、左側に撮影システム1による処理を示し、右側にサーバ2による処理を示す。各ステップは、プロセッサ11またはプロセッサ21によるソフトウェア処理により実現されるが、ハードウェア(電気回路)により実現されてもよい。以下、ステップをSと略す。
【0071】
S11において、撮影システム1は、識別動画に対して車両抽出処理(
図9参照)を実行することで車両を抽出する。さらに、撮影システム1は、車両が抽出された識別動画に対してナンバー認識処理(
図10参照)を実行することでナンバーを認識する(S12)。撮影システム1は、認識されたナンバーをサーバ2に送信する。
【0072】
サーバ2は、撮影システム1からナンバーを受信すると、登録情報を参照することで、受信したナンバーが登録済みのナンバーであるかどうか(つまり、撮影システム1により撮影された車両が車両撮影サービスの提供を申し込んだユーザの車両(対象車両)であるかどうか)を判定する。受信したナンバーが登録済みのナンバー(対処車両のナンバー)である場合、サーバ2は、対象車両のナンバーを送信するとともに、対象車両を含む鑑賞動画の送信を撮影システム1に要求する(S21)。
【0073】
S13において、撮影システム1は、認識動画における各車両と各ナンバーとのマッチング処理を実行する。そして、撮影システム1は、ナンバーが対応付けられた車両のなかから、対象車両のナンバーと同じナンバーが対応付けられた車両を対応車両として選択する(S14)。さらに、撮影システム1は、対象車両の特徴量(走行状態および外観)を抽出し、抽出された特徴量をサーバ2に送信する。
【0074】
S16において、撮影システム1は、メモリ22(動画バッファ346)に一時的に格納された鑑賞動画のなかから、対象車両を含む部分を切り出す。この切り出しに際しては、前述のように対象車両の走行状態(走行速度、加速度など)および外観(ボディ形状、ボディ色など)を用いることができる。撮影システム1は、切り出された鑑賞動画をサーバ2に送信する。
【0075】
S22において、サーバ2は、撮影システム1から受信した鑑賞動画に対して車両抽出処理(
図9参照)を実行することで、車両を抽出する。
【0076】
S23において、サーバ2は、S22にて抽出された車両のなかから、対象車両の特徴量(走行状態および外観)に基づいて対象車両を特定する(
図11の対象車両特定処理)。対象車両の特徴量として対象車両の走行状態および外観のうちの一方のみを用いることも考えられる。しかし、鑑賞動画中に、ボディ形状およびボディ色が同じ複数台の車両が含まれたり、走行速度および加速度がほぼ等しい複数台の車両が含まれたりする可能性がある。これに対し、本実施の形態では、ボディ形状およびボディ色が同じ複数台の車両が鑑賞動画中に含まれる場合であっても、それらの車両の間で走行速度および/または加速度が異なれば、対象車両を他の車両から区別できる。あるいは、走行速度および加速度がほぼ等しい複数台の車両が鑑賞動画中に含まれる場合であっても、それらの車両の間でボディ形状および/またはボディ色が異なれば、対象車両を他の車両から区別できる。このように、対象車両の特徴量として対象車両の走行状態および外観の両方を用いることによって、対象車両の特定精度を向上させることができる。
【0077】
ただし、対象車両の走行状態および外観の両方を用いることは必須ではなく、いずれか一方のみを用いてもよい。対象車両の走行状態および/または外観に関する情報は、本開示に係る「対象車両情報」に相当する。また、対象車両の外観に関する情報は、撮影システム1(特徴量抽出部345)による解析によって得られた車両情報に限らず、登録情報記憶部412に予め記憶された車両情報であってもよい。
【0078】
S24において、サーバ2は、対象車両を含む鑑賞動画(複数の鑑賞画像)のなかから、最適な鑑賞画像(ベストショット)を選択する。さらに、サーバ2は、最適な鑑賞画像に対して画像補正を行う。そして、サーバ2は、補正後の鑑賞画像を用いてアルバムを作成する(S25)。ユーザは、作成されたアルバムを鑑賞したり、アルバム内の所望の画像をSNSに投稿したりすることができる。
【0079】
以上のように、本実施の形態においては、ナンバープレートのナンバーが撮影可能なアングルから撮影された識別動画を用いて、対象車両の特徴量(走行情報および外観)が抽出される。そして、抽出された特徴量に基づいて、別のアングルから撮影された鑑賞動画中の対象車両が特定される。このように、識別動画と鑑賞動画とを対象車両の特徴量により結び付けることで、たとえ鑑賞動画中では対象車両のナンバーが写っていなくても、対象車両を特定できる。
【0080】
なお、本実施の形態では、撮影システム1とサーバ2とが画像処理を分担して実行する例について説明した。したがって、撮影システム1のプロセッサ11およびサーバ2のプロセッサ21の両方が本開示に係る「プロセッサ」に相当する。しかし、撮影システム1がすべての画像処理を実行し、画像処理済みのデータ(鑑賞画像)をサーバ2に送信してもよい。よって、サーバ2は本開示に係る画像処理に必須の構成要素ではない。この場合、撮影システム1のプロセッサ11が本開示に係る「プロセッサ」に相当する。あるいは逆に、撮影システム1は撮影されたすべての動画をサーバ2に送信し、サーバ2がすべての画像処理を実行してもよい。この場合には、サーバ2のプロセッサ21が本開示に係る「プロセッサ」に相当する。
【0081】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0082】
100 画像処理システム、1 撮影システム、11 プロセッサ、12 メモリ、121 ROM、122 RAM、123 フラッシュメモリ、13 認識用カメラ、14 鑑賞用カメラ、15 通信IF、2 サーバ、21 プロセッサ、22 メモリ、221 ROM、222 RAM、23 入力装置、24 ディスプレイ、25 通信IF、31 識別動画撮影部、32 鑑賞動画撮影部、33 通信部、34 演算処理部、341 車両抽出部、342 ナンバー認識部、343 マッチング処理部、344 対象車両選択部、345 車両情報解析部、346 動画バッファ、347 動画切り出し部、41 記憶部、411 画像記憶部、412 登録情報記憶部、42 通信部、43 演算処理部、431 車両抽出部、432 対象車両特定部、433 画像加工部、434 アルバム作成部、435 ウェブサービス管理部、436 撮影システム管理部、51,52,53 推定モデル、511,521,531 ニューラルネットワーク、512,522,532 パラメータ、61,62,63 学習システム、611,621,631 入力部、612 抽出部、622 認識部、632 特定部、613,623,633 学習部、71 車両抽出モデル、72 ナンバー認識モデル、73 対象車両特定モデル、712,722,732 パラメータ、81,82 ナンバー、9,91,92 車両、NW ネットワーク。