知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052812
(43)【公開日】2024-04-12
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G08G 1/017 20060101AFI20240405BHJP
G08G 1/04 20060101ALI20240405BHJP
G06V 20/62 20220101ALI20240405BHJP
G06T 7/00 20170101ALI20240405BHJP
G06V 10/82 20220101ALI20240405BHJP
G06V 30/194 20220101ALI20240405BHJP
【ＦＩ】
G08G1/017
G08G1/04 A
G06V20/62
G06T7/00 350C
G06V10/82
G06V30/194
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2024024173
(22)【出願日】2024-02-21
(62)【分割の表示】P 2021088744の分割
【原出願日】2021-05-26
(71)【出願人】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】田中 悟
(72)【発明者】
【氏名】中里 裕哉
(72)【発明者】
【氏名】五十嵐 智史
(72)【発明者】
【氏名】早川 和男
(57)【要約】
【課題】車両に関連する情報を好適に収集する情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】本開示の一態様にかかるプログラムは、検出段階と、抽出段階と、文字認識段階と、出力制御段階とをコンピュータに実行させる。検出段階は、車両の周囲の風景を撮影して生成された撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、車両の周囲に位置する周辺車両のナンバープレートを検出する。抽出段階は、周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、撮影画像から切り出して、抽出画像を生成する。文字認識段階は、抽出画像から文字認識モデルを用いて文字情報を取得し、文字情報に基づいて周辺車両のナンバープレート情報を生成する。出力制御段階は、周辺車両のナンバープレート情報を出力させる。
【選択図】図４
【解決手段】本開示の一態様にかかるプログラムは、検出段階と、抽出段階と、文字認識段階と、出力制御段階とをコンピュータに実行させる。検出段階は、車両の周囲の風景を撮影して生成された撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、車両の周囲に位置する周辺車両のナンバープレートを検出する。抽出段階は、周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、撮影画像から切り出して、抽出画像を生成する。文字認識段階は、抽出画像から文字認識モデルを用いて文字情報を取得し、文字情報に基づいて周辺車両のナンバープレート情報を生成する。出力制御段階は、周辺車両のナンバープレート情報を出力させる。
【選択図】図４
【特許請求の範囲】
【請求項1】
車両の周囲の風景を撮影して生成された撮影画像を取得する画像取得段階と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階とをコンピュータに実行させ、
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定段階は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と
を含み、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
プログラム。
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階とをコンピュータに実行させ、
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定段階は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と
を含み、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
プログラム。
【請求項2】
車両の周囲の風景を撮影して生成された撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
をコンピュータに実行させ、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
プログラム。
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
をコンピュータに実行させ、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
プログラム。
【請求項3】
前記文字認識モデルは、認識用教師データを用いて学習され、
前記認識用教師データは、文字情報に基づいて生成された文字画像であって、前記文字情報に対応する図形を含む文字画像、に対して、前記文字情報と前記図形の位置とを含むアノテーション情報が付与されたデータである
請求項１又は２に記載のプログラム。
前記認識用教師データは、文字情報に基づいて生成された文字画像であって、前記文字情報に対応する図形を含む文字画像、に対して、前記文字情報と前記図形の位置とを含むアノテーション情報が付与されたデータである
請求項１又は２に記載のプログラム。
【請求項4】
前記文字画像は、前記文字情報に基づいて生成された一次文字画像の画素値を補正することにより得られた文字画像である
請求項３に記載のプログラム。
請求項３に記載のプログラム。
【請求項5】
前記文字認識モデルは、
ナンバープレート情報中の第１識別情報、に対応する文字情報を認識する第１文字認識モデルと、
ナンバープレート情報中の第２識別情報、に対応する文字情報を認識する第２文字認識モデルと、
を含み、
前記第１文字認識モデルは、前記第１識別情報に対応する第１認識用教師データを用いて学習され、
前記第２文字認識モデルは、前記第２識別情報に対応する第２認識用教師データを用いて学習される
請求項１から４のいずれか一項に記載のプログラム。
ナンバープレート情報中の第１識別情報、に対応する文字情報を認識する第１文字認識モデルと、
ナンバープレート情報中の第２識別情報、に対応する文字情報を認識する第２文字認識モデルと、
を含み、
前記第１文字認識モデルは、前記第１識別情報に対応する第１認識用教師データを用いて学習され、
前記第２文字認識モデルは、前記第２識別情報に対応する第２認識用教師データを用いて学習される
請求項１から４のいずれか一項に記載のプログラム。
【請求項6】
車両の周囲の風景を撮影した撮影画像を取得する画像取得部と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定部と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成部と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御部と
を備え、
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定部は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出部と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出部と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識部と
を備え、
前記文字認識部は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成し、
前記出力制御部は、前記１のナンバープレート情報を出力する
情報処理システム。
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定部と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成部と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御部と
を備え、
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定部は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出部と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出部と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識部と
を備え、
前記文字認識部は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成し、
前記出力制御部は、前記１のナンバープレート情報を出力する
情報処理システム。
【請求項7】
車両の周囲の風景を撮影した撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出部と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出部と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識部と、
前記周辺車両のナンバープレート情報を出力させる出力制御部と
を備え、
前記文字認識部は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成し、
前記出力制御部は、前記１のナンバープレート情報を出力する
情報処理システム。
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出部と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識部と、
前記周辺車両のナンバープレート情報を出力させる出力制御部と
を備え、
前記文字認識部は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成し、
前記出力制御部は、前記１のナンバープレート情報を出力する
情報処理システム。
【請求項8】
車両の周囲の風景を撮影した撮影画像を取得する画像取得段階と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階とを備え、
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定段階は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と
を含み、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
情報処理方法。
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階とを備え、
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定段階は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と
を含み、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
情報処理方法。
【請求項9】
車両の周囲の風景を撮影して生成された撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
を含み、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
情報処理方法。
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
を含み、
前記文字認識段階は、撮影タイミングが異なる複数の前記撮影画像の各々について生成されたナンバープレート情報を互いに補完して、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム、情報処理方法及びプログラムに関し、特に車両に関連する情報を取得する情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
道路を走行する車両や駐車場を出入りする車両を監視するために、車両に関連する情報を収集する技術が提案されている。例えば、特許文献１では、車両ナンバー認識システムが、車載カメラで撮影した走行車両の画像からナンバープレートの位置とサイズを求めて文字画像を抽出し、文字画像から文字認識により車両ナンバーを取得することが開示されている。上述の特許文献１では、車両ナンバー認識システムは、取得した車両ナンバーを、走行車両の速度データや位置データとともに記録することが開示されている。
【0003】
また特許文献２では、撮影画像から車体を検出し、車体画像からナンバープレートを検出し、切り出したナンバープレート画像からさらに文字部分画像を切り出し、文字部分画像を利用して文字認識を実行する文字認識装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平１１－２９６７８５号公報
【特許文献2】特許第６７７９４９１号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、上述の特許文献１には、走行車両の速度データや位置データを取得する詳細な方法について開示されておらず、車載カメラで撮影した画像から走行車両のナンバープレートを検出する詳細な方法についても開示されていない。
【0006】
また、上述の特許文献２に記載の方法は、文字認識を実行するまでの処理手順が多いため処理負荷が高いという問題がある。尚、上述の特許文献２には、他車両の走行に関連する情報を取得することは開示されていない。
したがって、車両に関連する情報をより好適に収集することが求められる。
したがって、車両に関連する情報をより好適に収集することが求められる。
【0007】
本開示の目的は、上述した課題を鑑み、車両に関連する情報を好適に収集する情報処理システム、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
本開示の一態様にかかるプログラムは、画像取得段階と、識別情報推定段階と、走行情報生成段階と、出力制御段階とをコンピュータに実行させる。前記画像取得段階は、車両の周囲の風景を撮影して生成された撮影画像を取得する。前記識別情報推定段階は、前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する。前記走行情報生成段階は、前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する。前記出力制御段階は、前記識別情報と、前記第２走行情報とを対応付けて出力させる。
【0009】
本開示の一態様にかかるプログラムは、検出段階と、抽出段階と、文字認識段階と、出力制御段階とをコンピュータに実行させる。前記検出段階は、車両の周囲の風景を撮影して生成された撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する。前記抽出段階は、前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する。前記文字認識段階は、前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する。前記出力制御段階は、前記周辺車両のナンバープレート情報を出力させる。
【0010】
本開示の一態様にかかる情報処理システムは、画像取得部と、識別情報推定部と、走行情報生成部と、出力制御部とを備える。前記画像取得部は、車両の周囲の風景を撮影した撮影画像を取得する。前記識別情報推定部は、前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する。前記走行情報生成部は、前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する。前記出力制御部は、前記識別情報と、前記第２走行情報とを対応付けて出力させる。
【0011】
本開示の一態様にかかる情報処理システムは、検出部と、抽出部と、文字認識部と、出力制御部とを備える。前記検出部は、車両の周囲の風景を撮影した撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する。前記抽出部は、前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する。前記文字認識部は、前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する。前記出力制御部は、前記周辺車両のナンバープレート情報を出力させる。
【発明の効果】
【0012】
本開示により、車両に関連する情報を好適に収集する情報処理システム、情報処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0013】
【図1】実施形態１にかかる情報処理システムの構成を示すブロック図である。
【図2】実施形態１にかかる情報処理方法の流れを示すフローチャートである。
【図3】実施形態２にかかる情報処理システムの構成を示すブロック図である。
【図4】実施形態２にかかる情報処理方法の流れを示すフローチャートである。
【図5】実施形態３にかかる車両管理システムの概略構成図である。
【図6】実施形態３にかかる車載システムの構成を示すブロック図である。
【図7】実施形態３にかかる撮影画像の一例を示す図である。
【図8】実施形態３にかかる抽出画像の一例を示す図である。
【図9】実施形態３にかかる文字認識処理を説明するための図である。
【図10】実施形態３にかかる認識結果の一例を示す図である。
【図11】実施形態３にかかる情報処理方法の流れを示すフローチャートである。
【図12】撮影画像の一例を示す図である。
【図13】実施形態３の第１変形例にかかる撮影画像の一例を示す図である。
【図14】実施形態３の第２変形例にかかるナンバープレート情報の合成処理を説明するための図である。
【図15】実施形態３の第３変形例にかかる車載システムの構成を示すブロック図である。
【図16】実施形態４にかかる車両管理システムの概略構成図である。
【図17】実施形態４にかかる認識用教師データ生成装置の構成を示すブロック図である。
【図18】実施形態４にかかるアノテーション情報のデータ構造の一例を示す図である。
【図19】実施形態４にかかる書式情報及び描画点情報を説明するための図である。
【図20】実施形態４にかかる描画点情報ＤＢのデータ構造の一例を示す図である。
【図21】実施形態４にかかる認識用教師データ生成処理の流れを示すフローチャートである。
【図22】実施形態４にかかる画像生成部による描画方法を説明するための図である。
【図23】実施形態４にかかる補正部による補正処理を説明するための図である。
【図24】実施形態４にかかる文字認識モデル学習処理の流れを示すフローチャートである。
【図25】実施形態５にかかる車両管理システムの概略構成図である。
【図26】実施形態５にかかる文字認識処理を説明するための図である。
【図27】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【0014】
以下、実施形態を通じて本開示を説明するが、特許請求の範囲にかかる開示を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0015】
＜実施形態の課題＞
ここで、実施形態の課題について改めて説明する。道路や駐車場の入口の任意の場所に固定設置されたカメラから車両を撮影し、撮影画像からナンバープレートを認識する監視システムが活用されている。しかし、上記監視システムにおいては、カメラを固定設置する必要があり、設置コストがかかること及び建築上の制限があることから、容易にカメラを設置できないという問題がある。このため、上記監視システムは、現状、主要道路しかカバーできていない。近年、可搬型の監視システムも開発されているが、設置する手間がかかっている。
ここで、実施形態の課題について改めて説明する。道路や駐車場の入口の任意の場所に固定設置されたカメラから車両を撮影し、撮影画像からナンバープレートを認識する監視システムが活用されている。しかし、上記監視システムにおいては、カメラを固定設置する必要があり、設置コストがかかること及び建築上の制限があることから、容易にカメラを設置できないという問題がある。このため、上記監視システムは、現状、主要道路しかカバーできていない。近年、可搬型の監視システムも開発されているが、設置する手間がかかっている。
【0016】
ここで、上述の特許文献１に記載の車両ナンバー認識システムは、固定設置カメラに代えて、車載カメラで走行車両を撮影し、車両ナンバーを取得することが開示されている。そして上述の特許文献１に記載の車両ナンバー認識システムは、取得した車両ナンバーを、走行車両の速度データや位置データとともに記録することが開示されている。ここで、車載カメラを利用してナンバープレートを認識する場合、より好適に車両を監視するためには、走行車両の速度データや位置データ等の走行情報をより好適に取得することが求められる。しかし、上述の特許文献１には、走行車両の速度データや位置データを取得する詳細な方法については開示されていない。
【0017】
尚、認識対象は、走行車両のナンバープレートに限らず、走行車両の車種又はボディカラーであったとしても、同様の課題が存在する。
【0018】
また上述の特許文献２では、撮影画像に基づいてナンバープレート情報を取得する技術が開示されている。しかし、上述の通り、上述の特許文献２に記載の方法は、文字認識を実行するまでの処理手順が多いため処理負荷が高い。したがって、認識対象がナンバープレートである場合は、ナンバープレート情報をより好適に取得することが求められる。
【0019】
このように、車両に関連する情報をより好適に収集することが求められる。本実施形態は、このような課題を解決するためになされたものである。
【0020】
＜実施形態１＞
次に、本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理システム９００の構成を示すブロック図である。情報処理システム９００は、車両に関連する情報として、車両の識別情報及び走行情報を取得するコンピュータシステムである。情報処理システム９００は、画像取得部９０２と、識別情報推定部９０３と、走行情報生成部９０７と、出力制御部９０８とを備える。
次に、本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理システム９００の構成を示すブロック図である。情報処理システム９００は、車両に関連する情報として、車両の識別情報及び走行情報を取得するコンピュータシステムである。情報処理システム９００は、画像取得部９０２と、識別情報推定部９０３と、走行情報生成部９０７と、出力制御部９０８とを備える。
【0021】
画像取得部９０２は、車両の周囲の風景を撮影して生成された撮影画像を取得する。車両は、自動車、電車又はバス等の移動体である。尚、車両には、周囲の風景を撮影するカメラ（不図示）が搭載されている。カメラは、ドライブレコーダに内蔵されたカメラであってよいが、その他の任意の車載カメラであってよい。以下では、カメラにより周囲の風景を撮影した車両を、撮影車両（自車両）と呼ぶことがある。画像取得部９０２は、撮影画像を識別情報推定部９０３に供給する。
【0022】
識別情報推定部９０３は、撮影画像に基づいて、撮影車両の周囲に位置する周辺車両の識別情報を推定する。周辺車両は、撮影車両の前方又は後方を走行する車両であってもよいし、撮影車両に対向して走行する車両であってもよいし、撮影車両の周辺で駐車又は停車する車両であってもよい。識別情報は、車両を識別する情報であり、車両の外観から推定可能な識別情報であってよい。識別情報は、例えば、ナンバープレート、車種又はボディカラーの情報であってよい。
そして識別情報推定部９０３は、周辺車両の識別情報を出力制御部９０８に供給する。
そして識別情報推定部９０３は、周辺車両の識別情報を出力制御部９０８に供給する。
【0023】
走行情報生成部９０７は、撮影車両の走行に関する第１走行情報を取得する。第１走行情報は、撮影車両の位置情報、進行方向及び速度のうち少なくとも１つを含む。そして走行情報生成部９０７は、第１走行情報に基づいて、周辺車両の走行に関する第２走行情報を生成する。第２走行情報は、周辺車両の位置情報、進行方向及び速度のうち少なくとも１つを含む。例えば、走行情報生成部９０７は、第１走行情報と同一の情報を、第２走行情報として生成する。また例えば、走行情報生成部９０７は、撮影画像と、第１走行情報とに基づいて、第２走行情報を生成する。一例として、走行情報生成部９０７は、撮影画像に含まれる周辺車両の画像領域の大きさ及び位置の少なくとも一方に基づいて、撮影車両に対する周辺車両の相対位置を算出する。そして走行情報生成部９０７は、撮影車両の位置情報及び相対位置に基づいて、周辺車両の位置を算出してよい。尚、撮影車両の位置情報は、ＧＮＳＳ(global navigation satellite system)、例えばＧＰＳ（Global Positioning System）等の衛星測位システムから自車両の位置を測位するための測位情報を受信することで、取得することができる。また一例として、走行情報生成部９０７は、撮影画像に含まれる周辺車両をトラッキングし、周辺車両の画像領域の位置及び大きさの、フレーム間の差分に基づいて、撮影車両に対する周辺車両の相対速度を算出する。そして走行情報生成部９０７は、撮影車両の速度及び相対速度に基づいて、周辺車両の速度を算出してよい。尚、撮影車両の速度は、車速信号から取得することができる。また走行情報生成部９０７は、撮影車両の進行方向及び相対速度の正負に基づいて、周辺車両の進行方向を算出してよい。
そして走行情報生成部９０７は、第２走行情報を出力制御部９０８に供給する。
そして走行情報生成部９０７は、第２走行情報を出力制御部９０８に供給する。
【0024】
出力制御部９０８は、識別情報と、第２走行情報とを対応付けて出力する。ここで、出力とは、上記対応付けた情報を、情報処理システム９００の出力部（不図示）に、所定のデータ形式で出力することであってもよいし、ネットワークを介して外部装置（不図示）に送信することであってもよい。また出力とは、上記対応付けた情報を情報処理システム９００の記憶部（不図示）に格納することであってもよい。
【0025】
図２は、実施形態１にかかる情報処理方法の流れを示すフローチャートである。まず情報処理システム９００の画像取得部９０２は、車両の周囲の風景を撮影して生成された撮影画像を取得する（ステップＳ１０）。次に、識別情報推定部９０３は、ステップＳ１０で取得した撮影画像に基づいて、周辺車両の識別情報を推定する（ステップＳ１１）。次に、走行情報生成部９０７は、撮影車両の第１走行情報を取得する（ステップＳ１２）。次に、走行情報生成部９０７は、撮影車両の第１走行情報に基づいて、周辺車両の第２走行情報を生成する（ステップＳ１３）。尚、ステップＳ１２～１３に示す処理は、ステップＳ１１の前に行われてもよいし、ステップＳ１１と並行して行われてもよい。次に、出力制御部９０８は、ステップＳ１１で推定した、周辺車両の識別情報と、ステップＳ１３で生成した、周辺車両の第２走行情報とを、互いに対応付けて出力する（ステップＳ１４）。
【0026】
このように実施形態１によれば、情報処理システム９００は、撮影車両から周辺車両を撮影できるため、設置コスト及び建築上の設置制限の問題を回避することができる。例えば、撮影車両が道路を走行するだけで、特別な設備投資不要で前方又は後方車両に関連する情報を取得できる。また例えば、撮影車両が対向車両とすれ違うことができる道幅の道路を走行するだけで、特別な設備投資不要で対向車両に関連する情報を取得できる。
【0027】
そして情報処理システム９００は、複雑なセンサを必要とせず、周辺車両の走行情報を容易に生成し、生成した走行情報を周辺車両の識別情報に対応付けて出力することができる。したがって、情報処理システム９００は、車両に関連する情報を好適に収集することができる。
【0028】
＜実施形態２＞
次に、本開示の実施形態２について説明する。図３は、実施形態２にかかる情報処理システム９１０の構成を示すブロック図である。情報処理システム９１０は、車両に関連する情報として、車両のナンバープレート情報を取得するコンピュータシステムである。情報処理システム９１０は、検出部９１４と、抽出部９１５と、文字認識部９１６と、出力制御部９１８とを備える。
次に、本開示の実施形態２について説明する。図３は、実施形態２にかかる情報処理システム９１０の構成を示すブロック図である。情報処理システム９１０は、車両に関連する情報として、車両のナンバープレート情報を取得するコンピュータシステムである。情報処理システム９１０は、検出部９１４と、抽出部９１５と、文字認識部９１６と、出力制御部９１８とを備える。
【0029】
検出部９１４は、撮影車両の周囲の風景を撮影して生成された撮影画像から、検出器（検出モデルとも呼ばれる）を用いて、撮影車両の周囲に位置する周辺車両のナンバープレートを検出する。尚、実施形態１と同様に、車両には、周囲の風景を撮影する車載カメラ（不図示）が搭載されている。カメラ構成は、実施形態１と同様であってよい。検出モデルは、入力画像に含まれるナンバープレートを示す画像領域の位置情報を出力する。検出モデルは、学習済の畳み込みニューラルネットワーク（ＣＮＮ= Convolutional Neural Network）を含むモデルであり、例えばＹｏｌｏ（You Look Only Onse）、ＳＳＤ（Single Shot MultiBox Detector）又はＷＳＳＤ（Weighted Single Shot MultiBox Detector）であってよい。例えば検出モデルは、ナンバープレートを示す画像領域の位置情報がアノテーション情報として付与された画像を教師データとして用いて学習されている。位置情報は、例えばナンバープレートを示す矩形領域の頂点の位置座標であってよい。したがって、この場合、検出部９１４は、検出モデルに撮影画像を入力することで、周辺車両のナンバープレートとして検出された矩形領域の頂点の位置座標を取得することができる。なお、検出モデルは、ＣＮＮに限定されず、ＦＣＮ（Fully Convolution Network）やＦＣＮの一つであるＵ－ｎｅｔであってもよい。
【0030】
検出部９１４は、周辺車両のナンバープレートとして検出された画像領域の位置情報を、抽出部９１５に供給する。以下では、ナンバープレートとして検出された画像領域を、ナンバープレート画像領域と呼ぶことがある。
【0031】
抽出部９１５は、周辺車両のナンバープレート画像領域に応じた抽出領域を、撮影画像から切り出して、抽出画像を生成する。抽出領域は、ナンバープレート画像領域と一致していてもよいし、ナンバープレート画像領域を含む所定の領域であってもよいし、ナンバープレート画像領域中の所定の領域を少なくとも含む領域であってもよい。例えば抽出領域は、ナンバープレート画像領域を中心として予め定められた範囲の画像領域であってよい。抽出部９１５は、抽出画像を文字認識部９１６に供給する。
【0032】
文字認識部９１６は、抽出画像から文字認識器（文字認識モデルとも呼ばれる）を用いて文字情報を取得する。文字認識モデルは、文字を表す図形（文字図形とも呼ばれる）の画像領域の位置情報と、当該図形が示す文字情報とが、アノテーション情報として付与された画像を、教師データとして用いて学習されている。位置情報は、例えば図形を取り囲む矩形領域の頂点の位置座標であってよい。したがって、この場合、文字認識部９１６は、文字認識モデルに抽出画像を入力することで、周辺車両のナンバープレートに含まれる図形が示す文字情報を、図形を取り囲む領域の位置座標とともに取得することができる。
【0033】
そして文字認識部９１６は、取得した文字情報に基づいて周辺車両のナンバープレート情報を生成する。具体的には、文字認識部９１６は、複数の文字情報と、各文字情報に対応する図形を取り囲む領域の位置座標とに基づいて、文字情報の組み合わせを決定する。これにより、文字認識部９１６は、ナンバープレート情報を生成することができる。
【0034】
文字認識部９１６は、生成したナンバープレート情報を、出力制御部９１８に供給する。
【0035】
出力制御部９１８は、周辺車両のナンバープレート情報を出力する。ここで、出力とは、上記対応付けた情報を、情報処理システム９１０の出力部（不図示）に、所定のデータ形式で出力することであってもよいし、ネットワークを介して外部装置（不図示）に送信することであってもよい。また出力とは、上記対応付けた情報を情報処理システム９１０の記憶部（不図示）に格納することであってもよい。
【0036】
図４は、実施形態２にかかる情報処理方法の流れを示すフローチャートである。まず情報処理システム９１０の検出部９１４は、撮影車両の周囲の風景を撮影して生成された撮影画像から、検出モデルを用いて、撮影車両の周囲に位置する周辺車両のナンバープレートを検出する（ステップＳ２０）。次に、抽出部９１５は、周辺車両のナンバープレート画像領域に応じた抽出領域を、撮影画像から切り出して、抽出画像を生成する（ステップＳ２１）。次に、文字認識部９１６は、文字認識モデルを用いて抽出画像から文字情報を取得する（ステップＳ２２）。次に文字認識部９１６は、文字情報に基づいて周辺車両のナンバープレート情報を生成する（ステップＳ２３）。次に、出力制御部９１８は、周辺車両のナンバープレート情報を出力する（ステップＳ２４）。
【0037】
このように実施形態２によれば、情報処理システム９１０は、撮影画像からナンバープレートを容易に検出することができ、その結果、容易にナンバープレート情報を取得することができる。
【0038】
尚、情報処理システム９００，９１０は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態１～２にかかる各情報処理方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、画像取得部９０２、識別情報推定部９０３、走行情報生成部９０７及び出力制御部９０８、あるいは、検出部９１４、抽出部９１５、文字認識部９１６及び出力制御部９１８の機能を実現する。
【0039】
または、画像取得部９０２、識別情報推定部９０３、走行情報生成部９０７及び出力制御部９０８、検出部９１４、抽出部９１５、文字認識部９１６及び出力制御部９１８は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
【0040】
また、情報処理システム９００，９１０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理システム９００，９１０の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
【0041】
＜実施形態３＞
次に、本開示の実施形態３について説明する。実施形態３は、実施形態１及び実施形態２を具体化した実施形態である。図５は、実施形態３にかかる車両管理システム１の概略構成図である。車両管理システム１は、車両に関連する情報として、車両のナンバープレート情報及び走行情報を管理するコンピュータシステムである。つまり本実施形態３では、車両の識別情報は、車両のナンバープレート情報である。尚、本実施形態３では、走行情報は、位置情報、進行方向及び速度を含む。車両管理システム１は、車載システム１０－１、１０－２、１０－３と、管理サーバ２０とを備え、これらがネットワークＮを介して通信可能に接続されている。ネットワークＮは、有線又は無線の通信回線である。
次に、本開示の実施形態３について説明する。実施形態３は、実施形態１及び実施形態２を具体化した実施形態である。図５は、実施形態３にかかる車両管理システム１の概略構成図である。車両管理システム１は、車両に関連する情報として、車両のナンバープレート情報及び走行情報を管理するコンピュータシステムである。つまり本実施形態３では、車両の識別情報は、車両のナンバープレート情報である。尚、本実施形態３では、走行情報は、位置情報、進行方向及び速度を含む。車両管理システム１は、車載システム１０－１、１０－２、１０－３と、管理サーバ２０とを備え、これらがネットワークＮを介して通信可能に接続されている。ネットワークＮは、有線又は無線の通信回線である。
【0042】
車載システム１０－１、１０－２、１０－３の各々は、各車両に搭載されるコンピュータシステムである。以下では、車載システム１０－１、１０－２、１０－３を区別せず言及する場合、単に車載システム１０と呼ぶことがある。尚、車両管理システム１において車載システム１０の数は３に限らず、２以下であってもよいし、４以上であってもよい。
【0043】
車載システム１０は、車載カメラ（不図示）を用いて周辺車両に関連する情報を取得し、周辺車両に関連する情報を、ネットワークＮを介して管理サーバ２０に送信する。具体的には、車載システム１０は、車載カメラを用いて周辺車両のナンバープレート情報及び周辺車両の走行情報を取得し、上記ナンバープレート情報と上記走行情報とを対応付けた車両関連情報を、ネットワークＮを介して管理サーバ２０に送信する。尚、車両関連情報には、さらに、撮影時刻、撮影画像（全景画像）及びナンバープレート画像領域に応じて切り出された抽出画像を含んでもよい。
【0044】
管理サーバ２０は、車載システム１０から周辺車両に関連する情報を収集し、周辺車両に関連する情報を記憶部（不図示）に記録する。具体的には、管理サーバ２０は、車両関連情報を、ネットワークＮを介して車載システム１０から受信した場合、車両関連情報に含まれるナンバープレート情報と走行情報とを対応付けて記憶部に格納する。尚、車両関連情報に撮影時刻、撮影画像及び抽出画像が含まれる場合は、これらをナンバープレート情報に対応付けて記憶部に格納する。
【0045】
また管理サーバ２０は、車両関連情報を表示部（不図示）に表示することで、オペレータに報知してもよい。このとき、管理サーバ２０は、走行情報に含まれる位置情報に基づいて、撮影場所を地図上に表示してよい。
【0046】
図６は、実施形態３にかかる車載システム１０の構成を示すブロック図である。車載システム１０は、情報処理システム（以下、情報処理装置と呼ぶ）１００と、車載カメラ１２０と、１又は複数のセンサ１４０とを備える。
【0047】
車載カメラ１２０は、撮影車両の任意の位置に搭載され、撮影車両の周囲の風景を撮影し、撮影画像のデータである撮影データを生成する。車載カメラ１２０は、情報処理装置１００に通信可能に接続される。車載カメラ１２０は、例えば毎秒３０フレーム（３０ｆｐｓ）の撮影データを生成し、生成した撮影データを３０分の１秒ごとに情報処理装置１００に供給する。撮影データは、例えば、Ｈ．２６４もしくはＨ．２６５等の方式を用いて生成されてもよい。本実施形態３では、車載カメラ１２０は、車両の前方の風景を撮影する前方カメラである。しかし車載カメラ１２０は、車両の後方、左側、又は右側の風景を撮影する後方カメラ、左カメラ、又は右カメラであってもよい。あるいは、車載カメラ１２０は、上述したカメラのうち複数を含んで構成されていてもよい。
【0048】
１又は複数のセンサ１４０は、撮影車両の任意の位置に搭載され、撮影車両の位置情報及び撮影車両の車速を計測するセンサである。例えばセンサ１４０は、車速を計測し、車速信号を生成するセンサであってよい。尚、センサ１４０は、情報処理装置１００に車速信号を直接送信してもよいが、車速信号をＥＣＵ（Electronic Control Unit）に送信し、ＥＣＵが情報処理装置１００に車速信号を送信してもよい。またセンサ１４０は、ＧＰＳ等の衛星測位システムから撮影車両の位置を測位するための測位情報を、位置情報として受信する測位情報受信部として機能してもよい。尚、センサ１４０は、受信した位置情報を直接情報処理装置１００に送信してもよいが、位置情報をＥＣＵに送信し、ＥＣＵが情報処理装置１００に位置情報を送信してもよい。
【0049】
情報処理装置１００は、周辺車両に関連する情報を生成するコンピュータである。情報処理装置１００は、通信部１０１と、画像取得部１０２と、識別情報推定部１０３と、走行情報生成部１０７と、出力制御部１０８と、記憶部１０９とを備える。
【0050】
通信部１０１は、ネットワークＮとの通信インタフェースである。
【0051】
画像取得部１０２は、上述した画像取得部９０２の一例である。画像取得部１０２は、車載カメラ１２０から撮影車両の周囲の風景を撮影した撮影画像を取得する。そして画像取得部１０２は、撮影画像を識別情報推定部１０３に供給する。
【0052】
識別情報推定部１０３は、上述した識別情報推定部９０３の一例である。識別情報推定部１０３は、撮影画像に基づいて、周辺車両の識別情報として、周辺車両のナンバープレート情報を推定する。識別情報推定部１０３は、検出部１０４と、抽出部１０５と、文字認識部１０６とを有する。
【0053】
検出部１０４は、上述した検出部９１４の一例である。検出部１０４は、上述した検出モデルを用いて、撮影画像から、周辺車両のナンバープレートを検出する。そして検出部１０４は、検出モデルから周辺車両のナンバープレート画像領域ＮＡの位置情報を取得し、抽出部１０５に供給する。ナンバープレート画像領域ＮＡの位置情報は、ナンバープレートを示す矩形領域の頂点の位置座標であってよい。
【0054】
抽出部１０５は、上述した抽出部９１５の一例である。抽出部１０５は、周辺車両のナンバープレート画像領域ＮＡに応じた抽出領域を、撮影画像から切り出して、抽出画像を生成する。尚、抽出部１０５は、抽出領域が、後続の文字認識モデルの入力画像のサイズと一致するように、抽出領域の範囲を定めてよい。またこれに代えて、抽出部１０５は、所定の抽出領域を撮影画像から切り出し、当該切り出し画像を、後続の文字認識モデルの入力画像のサイズになるようにリサイズすることで、抽出画像を生成してもよい。尚、切り出し画像に対して周辺車両のナンバープレート画像領域ＮＡが傾いている場合、傾きを補正した上で、抽出画像を生成してもよい。
抽出部１０５は、抽出画像を文字認識部１０６に供給する。
抽出部１０５は、抽出画像を文字認識部１０６に供給する。
【0055】
文字認識部１０６は、上述した文字認識部９１６の一例である。文字認識部１０６は、上述した文字認識モデルを用いて、抽出画像から、複数の文字情報と、各文字情報に対応する図形を取り囲む領域の位置座標とを取得する。本実施形態３では、図形を取り囲む領域の位置座標は、図形を取り囲む領域の代表点の位置座標であり、例えば、図形を取り囲む矩形領域の頂点の位置座標又は重心の位置座標であってよい。
【0056】
そして文字認識部１０６は、複数の文字情報と、各文字情報に対応する図形を取り囲む領域の位置座標とに基づいて周辺車両のナンバープレート情報を生成する。文字認識部１０６は、生成したナンバープレート情報を、出力制御部１０８に供給する。
【0057】
走行情報生成部１０７は、上述した走行情報生成部９０７の一例である。走行情報生成部１０７は、センサ１４０から、直接的又は間接的に、撮影車両の走行に関する第１走行情報（位置情報、進行方向及び車速）を取得する。そして走行情報生成部１０７は、上述した通り、第１走行情報に基づいて、周辺車両の走行に関する第２走行情報（位置情報、進行方向及び車速）を生成する。
そして走行情報生成部１０７は、第２走行情報を出力制御部１０８に供給する。
そして走行情報生成部１０７は、第２走行情報を出力制御部１０８に供給する。
【0058】
出力制御部１０８は、上述した出力制御部９０８及び出力制御部９１８の一例である。出力制御部１０８は、周辺車両のナンバープレート情報と、第２走行情報とを対応付けて出力する。具体的には、出力制御部１０８は、周辺車両のナンバープレート情報と、第２走行情報と、撮影時刻と、撮影画像と、抽出画像とを対応付けた車両関連情報を、通信部１０１を介してネットワークＮ経由で管理サーバ２０に送信する。尚、出力制御部１０８は、周辺車両のナンバープレート情報及び第２走行情報が生成される度に、車両関連情報を管理サーバ２０に送信してよい。しかしこれに代えて、出力制御部１０８は、記憶部１０９に車両関連情報を蓄積しておき、定期的に、又は蓄積された情報量が所定量以上になった場合に、車両関連情報を管理サーバ２０に送信してもよい。あるいは、出力制御部１０８は、管理サーバ２０から車両関連情報の送信を要求された場合に、記憶部１０９に蓄積された車両関連情報を管理サーバ２０に送信してもよい。
【0059】
記憶部１０９は、情報処理装置１００の情報処理に必要な情報を記憶する記憶媒体である。また記憶部１０９は、車両関連情報を記憶してよい。
【0060】
図７は、実施形態３にかかる撮影画像３００の一例を示す図である。撮影画像３００には、車両画像領域Ｖと、その他の風景を示す画像領域とが含まれる。ここで、検出部１０４は、検出モデルに撮影画像３００を入力する。例えば、検出モデルは、撮影画像３００中の矩形のナンバープレート画像領域ＮＡを検出し、撮影画像３００中のナンバープレート画像領域ＮＡの頂点の位置情報を出力する。これにより、検出部１０４は、撮影画像３００からナンバープレート画像領域ＮＡの頂点の位置情報を取得することができる。
【0061】
そして抽出部１０５は、ナンバープレート画像領域ＮＡの頂点の位置情報に基づいて、撮影画像３００から、ナンバープレート画像領域ＮＡを含む矩形領域を切り出し、これにより抽出画像を生成する。
【0062】
図８は、実施形態３にかかる抽出画像３１０の一例を示す図である。抽出画像３１０は、ナンバープレート画像領域ＮＡを含んでいる。ナンバープレート画像領域ＮＡには、文字情報に対応する図形を複数含んでいる。文字情報は、ナンバープレート情報の各識別情報を構成する。
【0063】
ここでナンバープレート情報は、種別（分類項目と呼ばれることがある）が異なる複数の識別情報から構成されている。具体的には、複数の識別情報は、陸運支局Ｔ、分類番号Ｃ、平仮名等Ｕおよび一連指定番号Ｓである。たとえば陸運支局Ｔは、漢字または仮名文字等であり、本図では「足立」である。また分類番号Ｃは、数字等であり、本図では「３３０」である。また平仮名等Ｕは、仮名文字またはアルファベット等であり、本図では「え」である。一連指定番号Ｓは、数字等であり、本図では「１２－３４」である。
【0064】
図９は、実施形態３にかかる文字認識処理を説明するための図である。文字認識部１０６は、抽出画像３１０を文字認識モデルＣＲＭに入力する。文字認識モデルＣＲＭは、抽出画像３１０から図形を取り囲む矩形領域を検出し、矩形領域毎に図形が示すと推定される文字情報を出力する。例えば文字認識モデルＣＲＭは、文字情報として、「足立」、「３」、「３」、「０」、「え」、「１」、「２」、「３」及び「４」と、各文字情報に対応する矩形領域の代表点（例えば、頂点）の位置座標とを含む認識結果３２０を出力する。そして文字認識部１０６は、矩形領域の代表点の位置座標に基づいて、各文字情報がどの識別情報を示しているのかを判定する。例えば、文字認識部１０６は、「足立」は陸運支局Ｔを示し、「３」、「３」及び「０」は分類番号Ｃを示し、「え」は平仮名等Ｕを示し、「１」、「２」、「３」及び「４」は一連指定番号Ｓを示すと判定する。分類番号Ｃ及び一連指定番号Ｓに関しては、矩形領域の代表点の横軸の位置座標に基づいて、抽出画像３１０の左に位置する文字情報から順に、文字情報を連結する。その結果、文字認識部１０６は、「（陸運支局Ｔ）足立／（分類番号Ｃ）３３０／（平仮名等Ｕ）え／（一連指定番号Ｓ）１２－３４」というナンバープレート情報を生成する。
【0065】
尚、文字認識部１０６は、所定の位置に文字情報を検出できなかった場合、又は同じ識別情報中の隣り合う文字情報に対応する矩形領域の代表点間の距離が所定閾値以上である場合、文字情報の代わりに所定の記号「？」を付与して、識別情報を生成してよい。例えば、一連指定番号Ｓの「２」が検出できなかった場合、文字認識部１０６は、「足立／３３０／え／１？－３４」というナンバープレート情報を生成する。これにより、文字認識部１０６は、後続の処理で容易に“抜け”を判定することができる。
【0066】
尚、文字認識モデルＣＲＭは、矩形領域毎に、図形が示すと推定される文字情報に加えて、その文字情報であると推定した場合の信頼度を出力してもよい。
図１０は、実施形態３にかかる認識結果３２０の一例を示す図である。例えば認識結果３２０は、文字情報と、各文字情報に対応する矩形領域の代表点の位置座標と、各文字情報についての信頼度とを含む。一例として、平仮名等Ｕを示す「え」という文字認識結果が３２％の信頼度を有しており、分類番号Ｃの一部を示す「０」が９０％の信頼度を有している。
図１０は、実施形態３にかかる認識結果３２０の一例を示す図である。例えば認識結果３２０は、文字情報と、各文字情報に対応する矩形領域の代表点の位置座標と、各文字情報についての信頼度とを含む。一例として、平仮名等Ｕを示す「え」という文字認識結果が３２％の信頼度を有しており、分類番号Ｃの一部を示す「０」が９０％の信頼度を有している。
【0067】
ここで、文字認識モデルＣＲＭは、同じ図形に対して複数の文字情報を出力する場合がある。この場合、文字認識部１０６は、複数の文字情報と各文字情報の信頼度とに基づいて、複数の文字情報から所定数の文字情報を選択し、選択した所定数の文字情報に基づいてナンバープレート情報を生成してよい。例えば、文字認識部１０６は、陸運支局Ｔ及び平仮名等Ｕのように、１の文字情報から構成される識別情報については、最も信頼度が高い文字情報を、ナンバープレート情報を構成する識別情報として選択する。これに対して、分類番号Ｃ及び一連指定番号Ｓのように、複数の文字情報から構成される識別情報については、文字認識部１０６は、信頼度の高い所定桁数の文字情報を選択してよい。例えば、文字認識部１０６は、一連指定番号Ｓであれば信頼度が上位４個の文字情報を選択してよい。
【0068】
あるいは、文字認識部１０６は、複数の文字情報と各文字情報に対応する図形の位置とに基づいて、複数の文字情報から所定数の文字情報を選択し、選択した所定数の文字情報に基づいてナンバープレート情報を生成してもよい。例えば、複数の文字情報から構成される識別情報については、文字認識部１０６は、矩形領域の代表点の横軸の位置座標と、一桁の図形の最小幅とを用いて、同じ桁の文字情報があるか否かを判定してよい。そして文字認識部１０６は、同じ桁の文字情報があると判定した場合、同じ桁の文字情報のうち、信頼度が最も高い文字情報を、識別情報を構成する文字情報として選択してよい。尚、このときも文字認識部１０６は、信頼度に基づいて、所定桁数となるように文字情報の選択を調整してよい。
【0069】
そして文字認識部１０６は、選択した文字情報を、矩形領域の代表点の横軸の位置座標に基づいて連結して、ナンバープレート情報を構成する識別情報を生成する。
【0070】
図１１は、実施形態３にかかる情報処理方法の流れを示すフローチャートである。まず画像取得部１０２は、車両の周囲の撮影画像を車載カメラ１２０から取得する（ステップＳ１００）。
【0071】
次に、識別情報推定部１０３は、ステップＳ１１０に示す検出処理を実行する。ステップＳ１１０は、ステップＳ１１１及びＳ１１２で構成されてよい。ステップＳ１１１において、検出部１０４は、検出モデルを用いて、撮影画像から周辺車両のナンバープレートを検出する。そしてステップＳ１１２において、抽出部１０５は、ナンバープレート画像領域ＮＡに応じた抽出領域を、撮影画像から切り出して、抽出画像を生成する。
【0072】
次に、識別情報推定部１０３は、ステップＳ１２０に示す文字認識処理を実行する。ステップＳ１２０は、ステップＳ１２１及びＳ１２２で構成されてよい。ステップＳ１２１２において、文字認識部１０６は、文字認識モデルを用いて、抽出画像から文字情報を取得する。そしてステップＳ１２２において、文字認識部１０６は、文字情報に基づいて、ナンバープレート情報を生成する。
【0073】
次に走行情報生成部１０７は、ステップＳ１３０に示す走行情報生成処理を実行する。ステップＳ１３０は、ステップＳ１３１及びＳ１３２で構成される。ステップＳ１３１において、走行情報生成部１０７は、センサ１４０から第１走行情報を取得する。そしてステップＳ１３２において、走行情報生成部１０７は、第１走行情報に基づいて第２走行情報を生成する。尚、ステップＳ１３０は、ステップＳ１１０又はＳ１２０より前に実行されてもよいし、ステップＳ１１０又はＳ１２０と並行して行われてもよい。
【0074】
次に、出力制御部１０８は、通信部１０１を介して、ステップＳ１２２で生成したナンバープレート情報と、ステップＳ１３２で生成した第２走行情報とを対応付けた車両管理情報を、管理サーバ２０に送信する（ステップＳ１４０）。
【0075】
このように実施形態３によれば、実施形態１及び２と同様の効果を奏することができる。また、車両に対して車載システム１０を搭載するだけで、カメラの固定設置が出来ない細い道路でもナンバープレートの認識が可能となる。尚、車載システム１０は、既存機器であるドライブレコーダ等の車載カメラに対して、情報処理装置１００を追加すれば実現可能であるため、比較的低コストで実現する事ができる。
【0076】
また、本実施形態３では、車載システム１０において、検出処理及び文字認識処理を行っている。これにより、管理サーバ２０において検出処理及び文字認識処理を行う場合と比べて、通信環境により画質が悪くなり検出及び文字認識精度が低下するという事態を回避できる。しかし通信環境が整っている場合や検出及び文字認識精度が許容される場合は、これに代えて、車載システム１０が撮影画像を管理サーバ２０に送信し、管理サーバ２０において検出処理及び文字認識処理を行ってもよい。
【0077】
＜実施形態３の第１変形例＞
上述の実施形態３では、検出部１０４は、撮影画像から周辺車両のナンバープレートを検出する。しかし、検出部１０４は、看板又は道路標識等の、ナンバープレートと同程度のサイズの矩形体や、ナンバープレートと同様に図形文字を含む矩形体を、ナンバープレートとして検出することがある。
上述の実施形態３では、検出部１０４は、撮影画像から周辺車両のナンバープレートを検出する。しかし、検出部１０４は、看板又は道路標識等の、ナンバープレートと同程度のサイズの矩形体や、ナンバープレートと同様に図形文字を含む矩形体を、ナンバープレートとして検出することがある。
【0078】
図１２は、撮影画像３３０の一例を示す図である。本図には、検出部１０４が、ナンバープレート画像領域ＮＡ１及びＮＡ２に加えて、ナンバープレート画像領域ＮＡ３を検出したことを示している。しかしナンバープレート画像領域ＮＡ３は、道路標識（交差点名標識）であり、ナンバープレートではない。このような誤検出を回避するため、実施形態３の第１変形例では、検出部１０４は、撮影画像のうち、検出対象となる領域（検出対象領域）を予め定め、検出対象領域からナンバープレートを検出する。
【0079】
図１３は、実施形態３の第１変形例にかかる撮影画像３３０の一例を示す図である。本図では、検出部１０４は、撮影画像３３０の下側の部分を、検出対象領域ＤＡとして定めている。より具体的には、検出部１０４は、検出対象領域ＤＡの上端が、撮影画像３３０の上端から所定長さだけ下に離隔するように、検出対象領域ＤＡを定めている。例えば、検出部１０４は、撮影画像３３０の下半分、又は下側の１／３の領域を検出対象領域ＤＡとして定めてよい。これは、撮影車両の近傍を走行する周辺車両のナンバープレートは、撮影画像３３０の下側に現れる可能性が高いからである。したがって、撮影画像３３０の上側に現れる可能性が高い看板又は道路標識を検出対象から排除することができ、検出精度を高めることができる。したがって、本図では、検出対象領域ＤＡに含まれるナンバープレート画像領域ＮＡ１及びＮＡ２は検出されているが、ナンバープレート画像領域ＮＡ３は検出されていない。
【0080】
尚、検出部１０４は、撮影車両と周辺車両とが所定距離以上離隔している場合、本図のナンバープレート画像領域ＮＡ２のように、小さなサイズのナンバープレート画像領域ＮＡを検出することがある。この場合、文字認識部１０６において、信頼度の高い文字認識を行うことが困難となる。したがって、検出部１０４において検出されたナンバープレート画像領域ＮＡが所定サイズ未満である場合、後続の抽出部１０５において抽出画像を生成しないようにしてもよい。例えば、抽出部１０５は、ナンバープレート画像領域ＮＡの幅が所定画素数未満である場合、抽出画像を生成しなくてよい。これにより、情報処理装置１００による情報処理を高速化することができる。
【0081】
＜実施形態３の第２変形例＞
実施形態３では、車載カメラ１２０は対向車両や追従車両を連続して撮影し、情報処理装置１００は、撮影画像毎に対向車両や追従車両のナンバープレート情報を生成していた。このため、情報処理装置１００は、同一の周辺車両のナンバープレート情報を、複数、管理サーバ２０に送信していた。特に、情報処理装置１００は、撮影車両及び周辺車両が信号待ちをしている場合、同一の周辺車両に関連する情報を、複数、管理サーバ２０に送信することになる。これにより、管理サーバ２０の記憶部の容量及び情報処理装置１００の記憶部１０９の容量を圧迫してしまうという問題がある。
実施形態３では、車載カメラ１２０は対向車両や追従車両を連続して撮影し、情報処理装置１００は、撮影画像毎に対向車両や追従車両のナンバープレート情報を生成していた。このため、情報処理装置１００は、同一の周辺車両のナンバープレート情報を、複数、管理サーバ２０に送信していた。特に、情報処理装置１００は、撮影車両及び周辺車両が信号待ちをしている場合、同一の周辺車両に関連する情報を、複数、管理サーバ２０に送信することになる。これにより、管理サーバ２０の記憶部の容量及び情報処理装置１００の記憶部１０９の容量を圧迫してしまうという問題がある。
【0082】
そこで、実施形態３の第２変形例では、文字認識部１０６は、撮影タイミングが異なる複数の撮影画像の各々について生成されたナンバープレート情報に基づいて、１のナンバープレート情報を生成する。つまり文字認識部１０６は、複数のナンバープレート情報を合成して、１のナンバープレート情報を生成する。そして出力制御部１０８は、文字認識部１０６により生成された１のナンバープレート情報を、第２走行情報に対応付けて出力する。
【0083】
図１４は、実施形態３の第２変形例にかかるナンバープレート情報の合成処理を説明するための図である。本図には、同じ周辺車両に関する複数の抽出画像３１０ａ，３１０ｂが示されている。抽出画像３１０ａからは、「足立／３３０／？／１２－３４」というナンバープレート情報が得られ、抽出画像３１０ｂからは、「足立／３？０／え／１２－３？」というナンバープレート情報が得られている。この場合、文字認識部１０６は、２つのナンバープレート情報を統合して、「足立／３３０／え／１２－３４」という１のナンバープレート情報を、周辺車両のナンバープレート情報として生成する。例えば、文字認識部１０６は、１つの抽出画像から取得したナンバープレート情報で認識できなかった文字情報を示す「？」を、他の抽出画像から取得したナンバープレート情報で補完することで、１のナンバープレート情報を生成してよい。また文字認識部１０６は、各抽出画像に対して文字認識モデルＣＲＭが出力した各文字情報の信頼度に基づいて、１のナンバープレート情報を生成してもよい。例えば、文字認識部１０６は、各識別情報に含まれる各文字情報について、抽出画像の間で最も信頼度が高い文字情報を選択し、選択した文字情報を組み合わせて、１のナンバープレート情報を生成してよい。
【0084】
これにより、出力制御部１０８が出力するデータ量を削減し、管理サーバ２０の記憶部の容量及び情報処理装置１００の記憶部１０９の容量を圧迫するという問題を回避できる。また、文字認識部１０６は、１つの抽出画像からは認識できなかった文字情報を、他の抽出画像によって補完することができるため、ナンバープレート情報の推定精度が向上する。
【0085】
尚、抽出画像３１０ａ及び抽出画像３１０ｂが同一の周辺車両に対応する画像であるか否かは、各抽出画像から得られたナンバープレート情報の重複度に基づいて、文字認識部１０６により判定されてよい。例えば文字認識部１０６は、重複度が所定閾値以上のナンバープレート情報を、同一の周辺車両に対応するナンバープレート情報であると判定する。また、本図では、文字認識部１０６は、２つの抽出画像から得られたナンバープレート情報を合成したが、抽出画像の数はこれに限らない。
【0086】
＜実施形態３の第３変形例＞
実施形態３にかかる情報処理装置１００の機能は、複数の情報処理装置によって実現されてもよい。
図１５は、実施形態３の第３変形例にかかる車載システム１０の構成を示すブロック図である。車載システム１０に含まれる情報処理装置１００は、画像解析装置１６０と、走行情報生成装置１０７ｂと、Ｉ／Ｏ１１０と、通信端末１８０とを有する。
実施形態３にかかる情報処理装置１００の機能は、複数の情報処理装置によって実現されてもよい。
図１５は、実施形態３の第３変形例にかかる車載システム１０の構成を示すブロック図である。車載システム１０に含まれる情報処理装置１００は、画像解析装置１６０と、走行情報生成装置１０７ｂと、Ｉ／Ｏ１１０と、通信端末１８０とを有する。
【0087】
画像解析装置１６０は、車載カメラ１２０で撮影された撮影画像に基づいて、ナンバープレートの検出及び認識を行う情報処理装置である。画像解析装置１６０は、画像取得部１０２と、識別情報推定部１０３と、第１出力制御部１０８ａと、第１記憶部１０９ａとを含む。第１出力制御部１０８ａは、識別情報推定部１０３が生成したナンバープレート情報を、Ｉ／Ｏ１１０を介して通信端末１８０に出力する。例えば、第１出力制御部１０８ａは、ＬＡＮ（Local Area Network）を介してＩ／Ｏ１１０に接続されている。第１記憶部１０９ａは、画像解析装置１６０の処理に必要な情報を記憶する記憶媒体である。撮影画像は第１記憶部１０９ａに保存されてよい。
【0088】
走行情報生成装置１０７ｂは、センサ１４０に接続され、走行情報生成部１０７と同様の機能を有する。走行情報生成装置１０７ｂは、第２走行情報を、Ｉ／Ｏ１１０を介して通信端末１８０に出力する。例えば走行情報生成装置１０７ｂは、ＵＳＢ２．０の通信規格によりＩ／Ｏ１１０に接続されている。尚、通信規格は、ＵＳＢ２．０に限らず、ＵＳＢ２．０以上であってよい。
【0089】
Ｉ／Ｏ１１０は、画像解析装置１６０、走行情報生成装置１０７ｂ及び通信端末１８０の間のデータ入出力を中継するインタフェースである。例えばＩ／Ｏ１１０は、ＵＳＢ２．０の通信規格により通信端末１８０に接続されている。尚、通信規格は、ＵＳＢ２．０に限らず、ＵＳＢ２．０以上であってよい。
【0090】
通信端末１８０は、タブレット端末又はスマートフォン等の通信端末である。通信端末１８０は、ＬＴＥ（Long Term Evolution）回線が利用できる通信端末であってよい。通信端末１８０は、画像解析装置１６０で解析されたデータと、走行情報生成装置１０７ｂ経由で入手できる第２走行情報と、撮影時刻との関連付けを行い、車両関連情報として蓄積する。また、通信端末１８０は、車両関連情報を管理サーバ２０に送信する。通信端末１８０は、通信部１０１と、第２出力制御部１０８ｂと、第２記憶部１０９ｂとを含む。第２出力制御部１０８ｂは、情報処理装置１００の出力制御部１０８と同様の機能を有してよい。第２記憶部１０９ｂは、通信端末１８０の処理に必要な情報を記憶する記憶媒体である。車両関連情報は、第２記憶部１０９ｂに蓄積される。
【0091】
＜実施形態４＞
次に、本開示の実施形態４について説明する。図１６は、実施形態４にかかる車両管理システム１ａの概略構成図である。車両管理システム１ａは、車載システム１０及び管理サーバ２０に加えて、検出用教師データ生成装置３０、検出用学習装置４０、認識用教師データ生成装置５０及び認識用学習装置６０を備える。検出用教師データ生成装置３０、検出用学習装置４０、認識用教師データ生成装置５０及び認識用学習装置６０は、ネットワークＮに接続されている。
次に、本開示の実施形態４について説明する。図１６は、実施形態４にかかる車両管理システム１ａの概略構成図である。車両管理システム１ａは、車載システム１０及び管理サーバ２０に加えて、検出用教師データ生成装置３０、検出用学習装置４０、認識用教師データ生成装置５０及び認識用学習装置６０を備える。検出用教師データ生成装置３０、検出用学習装置４０、認識用教師データ生成装置５０及び認識用学習装置６０は、ネットワークＮに接続されている。
【0092】
検出用教師データ生成装置３０は、検出モデルを学習するための教師データである検出用教師データを生成するコンピュータである。検出用教師データは、画像に対して、ナンバープレートを示す画像領域の位置情報がアノテーション情報として付与されたデータである。検出用教師データ生成装置３０は、画像に対して、ナンバープレートを示す画像領域の位置情報をアノテーション情報として付与して、検出用教師データを生成する。そして検出用教師データ生成装置３０は、生成した検出用教師データを、ネットワークＮを介して検出用学習装置４０に出力する。
【0093】
検出用学習装置４０は、検出用教師データを用いて、検出モデルを学習するコンピュータである。検出用学習装置４０は、生成した学習済の検出モデルを、ネットワークＮを介して車載システム１０に出力する。
【0094】
認識用教師データ生成装置５０は、文字認識モデルを学習するための教師データである認識用教師データを生成するコンピュータである。認識用教師データ生成装置５０としては、例えば、発明者らによる特願２０２０－０７２８３１に記載されている画像生成装置を用いることができる。認識用教師データは、文字画像に対して、文字情報と図形の位置とを含むアノテーション情報が付与されたデータである。文字画像は、文字情報に基づいて生成された、文字情報に対応する図形を含む。尚、本実施形態４では、認識用教師データとして用いられる文字画像は、文字情報に基づいて生成された文字画像を一次文字画像とした場合、上記一次文字画像の画素値を補正することにより得られた文字画像である。まず認識用教師データ生成装置５０は、文字情報に基づいて図形を含む画像を生成し、当該文字情報と、図形の画像領域の位置情報とを、アノテーション情報として付与して、認識用教師データを生成する。そして認識用教師データ生成装置５０は、生成した認識用教師データを、ネットワークＮを介して認識用学習装置６０に出力する。
【0095】
認識用学習装置６０は、認識用教師データを用いて、文字認識モデルを学習するコンピュータである。認識用学習装置６０は、生成した学習済の文字認識モデルを、ネットワークＮを介して車載システム１０に出力する。
【0096】
図１７は、実施形態４にかかる認識用教師データ生成装置５０の構成を示すブロック図である。認識用教師データ生成装置５０は、取得部５００と、画像生成部５０１と、補正部５０２と、アノテーション付与部５０３と、記憶部５０４とを有する。
【0097】
記憶部５０４は、認識用教師データ生成のために必要な各種情報および認識用教師データを記憶する記憶媒体である。記憶部５０４は、書式情報ＦＭと、描画点情報データベース（ＤＢ）５０５と、学習用ＤＢ５０６とを記憶する。
描画点情報ＤＢ５０５は、文字情報に対応する図形を描画するための描画点情報ＤＲを記憶する。描画点情報ＤＲ及び書式情報ＦＭの詳細については、後述する。
学習用ＤＢ５０６は、上述した認識用教師データを記憶する。
描画点情報ＤＢ５０５は、文字情報に対応する図形を描画するための描画点情報ＤＲを記憶する。描画点情報ＤＲ及び書式情報ＦＭの詳細については、後述する。
学習用ＤＢ５０６は、上述した認識用教師データを記憶する。
【0098】
取得部５００は、ユーザから認識用教師データにかかる文字情報等の各種情報を取得する。そして取得部５００は、取得した文字情報等を画像生成部５０１に供給する。取得部５００はまた、ユーザから描画点情報ＤＲに関連する各種情報を取得する。そして取得部５００は、取得した描画点情報ＤＲに関連する各種情報を記憶部５０４の描画点情報ＤＢ５０５に格納する。
【0099】
画像生成部５０１は、取得した文字情報から文字情報に対応する図形を含む文字画像を生成する。ここで画像生成部５０１は、記憶部５０４の描画点情報ＤＢ５０５に記憶される、書式情報ＦＭ及び文字情報に関連付けられた描画点情報ＤＲに基づいて、文字画像を生成する。そして画像生成部５０１は、文字画像を補正部５０２に、文字情報をアノテーション付与部５０３に供給する。
【0100】
補正部５０２は、画像生成部５０１から供給された文字画像の画素値を変換し、文字画像を補正する。補正部５０２は、補正した文字画像をアノテーション付与部５０３に供給する。
【0101】
アノテーション付与部５０３は、画像生成部５０１から供給された文字情報を用いてアノテーション情報を生成する。そしてアノテーション付与部５０３は、補正部５０２から供給された文字画像にアノテーション情報を付与し、認識用教師データを生成する。アノテーション付与部５０３は、生成された認識用教師データを記憶部５０４の学習用ＤＢ５０６に格納する。
【0102】
図１８は、実施形態４にかかるアノテーション情報のデータ構造の一例を示す図である。本図に示すように、例えばアノテーション情報は、識別情報の種別と、区画領域Ｐ及び文字領域Ｌの位置座標と、正解ラベルとを含み、これらが互いに関連付けられた構成をとる。ここで、区画領域Ｐは、各識別情報に割り当てられ、文字画像においてその識別情報の種別に対応する文字情報に対応する図形が描画され得る領域（描画領域）である。そして文字領域Ｌは、各区画領域Ｐに対応する識別情報の文字数に応じて割り当てられた、１文字ごとの描画領域である。区画領域Ｐ及び文字領域Ｌの位置座標は、当該領域を決定する頂点の座標または当該領域の中心の座標といった、当該領域の代表点の座標であってよい。尚、区画領域Ｐ及び文字領域Ｌは、後述する書式情報ＦＭによって決定される。
【0103】
図１９は、実施形態４にかかる書式情報及び描画点情報を説明するための図である。本図は、文字画像上における、書式情報ＦＭが示す書式と、描画点情報ＤＲが示す描画点とを示す。本図に示すように、書式は、識別情報の種別ごとの区画領域Ｐ及び文字領域Ｌを画定する位置及び寸法等である。したがって、書式情報ＦＭは、識別情報の種別ごとの区画領域Ｐ及び文字領域Ｌを画定する位置情報及び寸法情報を含む。なお書式情報ＦＭは、法律、政令又は省令等の法令で定められるナンバープレートの様式に基づいて決定されてよい。
【0104】
描画点は、文字画像に含まれる文字情報に対応する図形を描画するための点である。したがって描画点情報ＤＲは、このような描画点の位置座標を示す。ここで位置座標は、ビットマップ座標であってよい。本実施形態４で描画点情報ＤＲは、当該図形に含まれる全ての描画点のうち、当該図形を画定する外枠および内枠を含む枠線を形成する描画点の位置座標であってよい。また描画点情報ＤＲは、当該図形に含まれる全ての描画点のうち、当該外枠および内枠の中間点の位置座標であってもよい。このように描画点情報ＤＲを一部の描画点の位置座標と定めることで、全ての描画点の位置座標を描画点情報ＤＢ５０５に格納する場合と比べて必要なメモリ容量が最小限に抑えられる。また後述する図形の色の塗りつぶし処理が容易となる。なお本実施形態４で描画点情報ＤＲは、このような描画点の、区画領域Ｐ又は文字領域Ｌの代表点に対する相対的な位置座標であってよい。
【0105】
図２０は、実施形態４にかかる描画点情報ＤＢ５０５のデータ構造の一例を示す図である。例えば描画点情報ＤＢ５０５は、識別情報の種別と、識別情報に種別に対応する文字情報と、識別情報の種別に対応する区画領域Ｐ又は文字領域Ｌの代表点に対する描画点の相対的な位置座標（描画点情報ＤＲ）とを対応付ける。なお本図では描画点情報ＤＢ５０５のデータ構造をテーブル形式で表したが、これに限らず、描画点の相対的な位置座標を記憶するファイルの集合体であってもよい。ファイルは、ＸＭＬファイル等のテキストファイルであってよい。なお各ファイルは、識別情報の種別及び識別情報の種別に対応する文字情報に関連付けられてもよい。
【0106】
図２１は、実施形態４にかかる認識用教師データ生成処理の流れを示すフローチャートである。まず認識用教師データ生成装置５０の取得部５００は、識別情報の種別ごとに、認識用教師データの正解ラベルとなる文字情報を取得する（ステップＳ２１０）。このとき取得部５００は、認識用教師データ生成装置５０の入力部（不図示）がユーザからの入力を受け付けることによって、又はネットワークＮを介してユーザ端末（不図示）から認識用教師データにかかる文字情報を取得してよい。このとき取得部５００は、図形及び背景の色を決定する車両種別情報を取得してもよい。取得部５００は、識別情報の種別、文字情報及び車両種別情報等を画像生成部５０１に出力する。
【0107】
次に、画像生成部５０１は、識別情報の種別と文字情報とに基づいて、識別情報の種別に対応する文字情報に関連付けられた描画点情報ＤＲを記憶部５０４の描画点情報ＤＢ５０５から取得する（ステップＳ２１２）。また画像生成部５０１は、記憶部５０４から書式情報ＦＭを取得する。
【0108】
次に、画像生成部５０１は、取得した描画点情報ＤＲ及び書式情報ＦＭに基づいて、文字情報に対応する図形を描画し、文字画像を生成する（ステップＳ２１４）。
ここで図２２は、実施形態４にかかる画像生成部５０１による描画方法を説明するための図である。本実施形態４では、図２２に示すように、画像生成部５０１は、区画領域Ｐ又は文字領域Ｌの代表点を基準として、取得した描画点情報ＤＲに含まれる位置座標をプロットし、図形の外枠及び内枠を形成する。そして画像生成部５０１は、図形の外枠及び内枠で囲まれた領域及び外枠外の背景を、車両種別情報に応じた色を用いて塗りつぶす処理を行う。画像生成部５０１は、．ＮＥＴ Ｆｒａｍｅｗｏｒｋの標準機能を用いて、このような塗りつぶし処理を行ってよい。そして画像生成部５０１は、このように生成された文字画像を補正部５０２に供給し、識別情報の種別ごとの文字情報をアノテーション付与部５０３に供給する。
ここで図２２は、実施形態４にかかる画像生成部５０１による描画方法を説明するための図である。本実施形態４では、図２２に示すように、画像生成部５０１は、区画領域Ｐ又は文字領域Ｌの代表点を基準として、取得した描画点情報ＤＲに含まれる位置座標をプロットし、図形の外枠及び内枠を形成する。そして画像生成部５０１は、図形の外枠及び内枠で囲まれた領域及び外枠外の背景を、車両種別情報に応じた色を用いて塗りつぶす処理を行う。画像生成部５０１は、．ＮＥＴ Ｆｒａｍｅｗｏｒｋの標準機能を用いて、このような塗りつぶし処理を行ってよい。そして画像生成部５０１は、このように生成された文字画像を補正部５０２に供給し、識別情報の種別ごとの文字情報をアノテーション付与部５０３に供給する。
【0109】
図２１に戻り、説明を続ける。次に、補正部５０２は、画像生成部５０１が生成した文字画像に対して、画素値を変換し、文字画像を補正する（ステップＳ２１５）。そして補正部５０２は、補正した文字画像をアノテーション付与部５０３に供給する。
【0110】
ここで、図２３は、実施形態４にかかる補正部５０２による補正処理を説明するための図である。本図に示すように、補正部５０２は、様々な画素値変換処理を行ってよい。
たとえば、図２３（ａ）に示すように、補正部５０２は文字画像を所定角度だけ回転させてよい。特に、撮影画像中で対向車のナンバープレートは若干傾いているため、上述のように補正した文字画像を認識用教師データとして用いて文字認識モデルを学習することは有効である。
また図２３（ｂ）に示すように、補正部５０２は、文字画像に含まれる図形のエッジ検出をし、図形の輪郭を強調させてよい。
たとえば、図２３（ａ）に示すように、補正部５０２は文字画像を所定角度だけ回転させてよい。特に、撮影画像中で対向車のナンバープレートは若干傾いているため、上述のように補正した文字画像を認識用教師データとして用いて文字認識モデルを学習することは有効である。
また図２３（ｂ）に示すように、補正部５０２は、文字画像に含まれる図形のエッジ検出をし、図形の輪郭を強調させてよい。
【0111】
また図２３（ｃ）に示すように、補正部５０２は、文字画像の解像度を低下させ、輪郭を不明瞭にしてよい。例えば、補正部５０２は、所定の画素と周囲の画素との間隔を変更し、その間の画素を補間することで、文字画像の解像度を低下させる。解像度の低下率（圧縮率）は、実際の撮影画像に基づいて生成された抽出画像の画質やブレに合わせて、定められてよい。圧縮率を定める上で参考とする上記抽出画像は、抽出領域中のナンバープレート画像領域ＮＡが傾いている場合、抽出領域を切り出し後、傾きを補正した画像であってもよい。
【0112】
また図２３（ｄ）に示すように、補正部５０２は、文字画像に対してひずみ補正を行ってよい。
また図２３（ｅ）に示すように、補正部５０２は、ガウシアンフィルタ、中央値フィルタおよびバイラテラルフィルタ等のフィルタを用いて文字画像の画素値を変換してよい。
また図２３（ｅ）に示すように、補正部５０２は、ガウシアンフィルタ、中央値フィルタおよびバイラテラルフィルタ等のフィルタを用いて文字画像の画素値を変換してよい。
【0113】
また図２３（ｆ）に示すように、補正部５０２は、ガウシアンノイズ、インパルスノイズ等のノイズを文字画像の各画素に対して付与し、文字画像を平滑化させてよい。近年、背景に図柄を含むナンバープレートが増加しているが、上述のように補正した文字画像を認識用教師データとして用いることで、図柄による影響を抑える効果がある。
【0114】
また、補正部５０２は、上述した補正処理を組み合わせてもよい。例えば、図２３（ｇ）に示すように、補正部５０２は、文字画像を所定角度だけ回転させ、さらに文字画像の解像度を圧縮させて、輪郭を不明瞭にしてよい。例えば補正部５０２は、これらの処理を、ＯｐｅｎＣＶ（登録商標）を用いたアプリケーションを用いて実行してよい。
【0115】
図２１に戻り、説明を続ける。次に、アノテーション付与部５０３は、ステップＳ２１５で補正された文字画像に対して、識別情報の種別に対応する区画領域Ｐ又は区画領域Ｐと、文字情報である正解ラベルとが関連付けられたアノテーション情報を付与する（ステップＳ２１６）。このようにして、アノテーション付与部５０３は認識用教師データを生成する。そしてアノテーション付与部５０３は、アノテーション情報が付与された文字画像を認識用教師データとして学習用ＤＢ５０６に格納する（ステップＳ２１８）。
【0116】
なおステップＳ２１０において取得部５００の車両種別情報の取得は、省略されてもよい。この場合、画像生成部５０１は、Ｓ２１４において、分類番号Ｃ及び平仮名等Ｕに対応する文字情報に基づいて、図形及び背景の色を推定してよい。
【0117】
図２４は、実施形態４にかかる文字認識モデル学習処理の流れを示すフローチャートである。まず、認識用学習装置６０は、認識用教師データ生成装置５０から認識用教師データを取得する（ステップＳ２２０）。次に、認識用学習装置６０は、学習前の文字認識モデルを取得する（ステップＳ２２１）。次に、認識用学習装置６０は、学習前の文字認識モデルを用いて、文字認識処理を行う（ステップＳ２２２）。このとき認識用学習装置６０は、認識用教師データの文字画像を文字認識モデルに入力し、文字認識モデルから出力された出力値を取得する。次に、認識用学習装置６０は、入力した文字画像に付与されたアノテーション情報に基づいて、アノテーション情報が示す正解ラベルと出力値との間の誤差を算出する（ステップＳ２２３）。そして、認識用学習装置６０は、学習を終了するか否かを判定する（ステップＳ２２４）。たとえば認識用学習装置６０は、パラメータの更新回数が予め定められた回数に達したか否かを判定することにより、学習を終了するか否かを判定してよい。また認識用学習装置６０は、算出した誤差が閾値未満であるか否かを判定することにより、学習を終了するか否かを判定してよい。認識用学習装置６０は、学習を終了する場合（ステップＳ２２４でＹｅｓ）、処理をステップＳ２２６に進め、そうでない場合（ステップＳ２２４でＮｏ）、処理をステップＳ２２５に進める。
【0118】
ステップＳ２２５において、認識用学習装置６０は、誤差に基づいて文字認識モデルのニューラルネットワークの各種パラメータを更新する。そして認識用学習装置６０は、処理をＳ２２２に戻す。
【0119】
ステップＳ２２６において、認識用学習装置６０は学習を終了し、各種パラメータ及び文字認識モデルを決定する。そして認識用学習装置６０は、文字認識モデルを、ネットワークＮを介して車載システム１０に出力し、処理を終了する。
【0120】
このように実施形態４によれば、認識用教師データ生成装置５０が、取得した文字情報から文字画像を生成し、生成した文字画像に対して自動でアノテーション情報を付与する。したがって認識用教師データ生成装置５０は、大量の文字画像を入手することができる。そして認識用教師データ生成装置５０は、管理者の作業負担を最小限に抑えて、文字画像に対して効率よくアノテーション情報を付与することができる。これにより、アノテーション情報が付与された認識用教師データを効率よく生成することができる。
【0121】
また、本実施形態４では、回転やぼかし等の補正処理を行った文字画像に基づいて生成された認識用教師データを用いて学習した文字認識モデルを、文字認識処理に用いる。ここで、これまで、ナンバープレート情報を認識するシステムやソリューションは、機械学習による完全一致による認識方法が主流であった。また、走行中の車両から車載カメラを用いて撮影した撮影画像は、被写体の大きさが定まらない上に相対速度が大きいため、画質が安定せず、鮮明にならないという問題があった。したがって、鮮明な画像を用いて学習させた文字認識モデルでは、文字認識精度が低く、実用レベルでは利用できないという問題があった。しかし、本実施形態４によれば、車載カメラを用いたナンバープレート情報の文字認識精度を向上させることができる。
【0122】
尚、画像生成部５０１は、文字画像を、補正部５０２を介さずに、アノテーション付与部５０３に供給してもよい。つまり、アノテーション付与部５０３は、補正されていない文字画像に対して、アノテーション情報を付与して、認識用教師データを生成してもよい。また、検出用教師データ生成装置３０、検出用学習装置４０、認識用教師データ生成装置５０及び認識用学習装置６０の一部又は全部の機能は、各車載システム１０又は管理サーバ２０に備えられていてもよい。例えば、各車載システム１０又は管理サーバ２０は、上述した認識用教師データ生成処理及び文字認識モデル学習処理を行ってよい。
【0123】
＜実施形態５＞
次に、本開示の実施形態５について説明する。実施形態５は、識別情報の種別ごとに文字認識モデルがあり、文字認識モデル毎に、車両管理システムが認識用教師データ生成装置及び認識用学習装置を有することに特徴を有する。
次に、本開示の実施形態５について説明する。実施形態５は、識別情報の種別ごとに文字認識モデルがあり、文字認識モデル毎に、車両管理システムが認識用教師データ生成装置及び認識用学習装置を有することに特徴を有する。
【0124】
図２５は、実施形態５にかかる車両管理システム１ｂの概略構成図である。車両管理システム１ｂは、認識用教師データ生成装置５０及び認識用学習装置６０に代えて、第１～第４認識用教師データ生成装置５０ｂ－１～５０ｂ－４と、第１～第４認識用学習装置６０ｂ－１～６０ｂ－４とを備える。第１～第４認識用教師データ生成装置５０ｂ－１～５０ｂ－４及び第１～第４認識用学習装置６０ｂ－１～６０ｂ－４は、ネットワークＮに接続されている。
【0125】
第１認識用教師データ生成装置５０ｂ－１及び第１認識用学習装置６０ｂ－１は、陸運支局Ｔを認識する陸運支局モデルＣＲＭ－１に対応する認識用教師データ生成装置及び認識用学習装置である。第２認識用教師データ生成装置５０ｂ－２及び第２認識用学習装置６０ｂ－２は、分類番号Ｃを認識する分類番号モデルＣＲＭ－２に対応する認識用教師データ生成装置及び認識用学習装置である。第３認識用教師データ生成装置５０ｂ－３及び第３認識用学習装置６０ｂ－３は、平仮名等Ｕを認識する平仮名等モデルＣＲＭ－３に対応する認識用教師データ生成装置及び認識用学習装置である。第４認識用教師データ生成装置５０ｂ－４及び第４認識用学習装置６０ｂ－４は、一連指定番号Ｓを認識する一連指定番号モデルＣＲＭ－４に対応する認識用教師データ生成装置及び認識用学習装置である。
【0126】
尚、陸運支局Ｔ、分類番号Ｃ、平仮名等Ｕ及び一連指定番号Ｓの任意の２つの識別情報を第１識別情報及び第２識別情報と呼び、第１識別情報及び第２識別情報の各々に対応する文字情報を認識する文字認識モデルを第１文字認識モデル及び第２文字認識モデルと呼ぶことがある。また第１識別情報及び第２識別情報に対応する認識用教師データを、それぞれ、第１認識用教師データ及び第２認識用教師データと呼ぶことがある。
【0127】
図２６は、実施形態５にかかる文字認識処理を説明するための図である。
まず、車載システム１０の文字認識部１０６は、抽出画像３１０を、陸運支局モデルＣＲＭ－１、分類番号モデルＣＲＭ－２、平仮名等モデルＣＲＭ－３及び一連指定番号モデルＣＲＭ－４に入力する。
まず、車載システム１０の文字認識部１０６は、抽出画像３１０を、陸運支局モデルＣＲＭ－１、分類番号モデルＣＲＭ－２、平仮名等モデルＣＲＭ－３及び一連指定番号モデルＣＲＭ－４に入力する。
【0128】
陸運支局モデルＣＲＭ－１の認識用教師データは、ナンバープレート全体を表す文字画像に対して、陸運支局Ｔに対応する文字情報と、その文字情報を示す図形の位置とを含むアノテーション情報が付与されたデータである。抽出画像３１０が入力された陸運支局モデルＣＲＭ－１は、陸運支局Ｔとして「足立」を少なくとも含む認識結果を出力する。
【0129】
分類番号モデルＣＲＭ－２の認識用教師データは、ナンバープレート全体を表す文字画像に対して、分類番号Ｃに対応する文字情報と、その文字情報を示す図形の位置とを含むアノテーション情報が付与されたデータである。抽出画像３１０が入力された分類番号モデルＣＲＭ－２は、分類番号Ｃとして「３」、「３」、及び「０」と、各文字情報に対応する矩形領域の代表点の位置座標とを少なくとも含む認識結果を出力する。
【0130】
平仮名等モデルＣＲＭ－３の認識用教師データは、ナンバープレート全体を表す文字画像に対して、平仮名等Ｕに対応する文字情報と、その文字情報を示す図形の位置とを含むアノテーション情報が付与されたデータである。抽出画像３１０が入力された平仮名等モデルＣＲＭ－３は、平仮名等Ｕとして「え」を少なくとも含む認識結果を出力する。
【0131】
一連指定番号モデルＣＲＭ－４の認識用教師データは、ナンバープレート全体を表す文字画像に対して、一連指定番号Ｓに対応する文字情報と、その文字情報を示す図形の位置とを含むアノテーション情報が付与されたデータである。抽出画像３１０が入力された一連指定番号モデルＣＲＭ－４は、一連指定番号Ｓとして「１」、「２」、「３」及び「４」と、各文字情報に対応する矩形領域の代表点の位置座標とを少なくとも含む認識結果を出力する。
【0132】
文字認識部１０６は、各文字認識モデルから得られた認識結果に基づいて、「足立／３３０／え／１２－３４」というナンバープレート情報を生成する。
【0133】
このように、識別情報の種別ごとに独立して学習した文字認識モデルを用いて、各識別情報を認識することで、１つの文字認識モデルから４種類の識別情報を認識する場合と比べて、出力対象の文字の選択肢が少なくなるため、文字認識精度を向上できる。１つの文字認識モデルから４種類の識別情報を認識する一実施例では、陸運支局Ｔ、分類番号Ｃ、平仮名等Ｕ及び一連指定番号Ｓの認識成功率がそれぞれ２９．７％、７５．４％、６９．２％及び９３．２％であった。しかし、本実施形態５にかかる一実施例では、陸運支局Ｔ、分類番号Ｃ、平仮名等Ｕ及び一連指定番号Ｓの認識成功率が、それぞれ９４．９％、９７．４％、９９．１％及び９９．９％となり、認識成功率を向上させることができた。
【0134】
尚、第１～第４認識用教師データ生成装置５０ｂ－１～５０ｂ－４及び第１～第４認識用学習装置６０ｂ－１～６０ｂ－４の一部又は全部の機能は、各車載システム１０又は管理サーバ２０に備えられていてもよい。例えば、各車載システム１０又は管理サーバ２０は、識別情報の種別ごとに認識用教師データ生成処理及び文字認識モデル学習処理を行ってよい。
【0135】
続いて、車両管理システムに含まれる、情報処理装置、管理サーバ、検出用教師データ生成装置、検出用学習装置、認識用教師データ生成装置及び認識用学習装置の物理構成を説明する。図２７は、上記装置として用いられるコンピュータの構成例を示す図である。コンピュータ１０００は、プロセッサ１０１０、記憶部１０２０、ＲＯＭ（Read Only Memory）１０３０、ＲＡＭ（Random Access Memory）１０４０、通信インタフェース（ＩＦ：Interface）１０５０、及びユーザインタフェース１０６０を有する。
【0136】
通信インタフェース１０５０は、有線通信手段又は無線通信手段などを介して、コンピュータ１０００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース１０６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース１０６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。
【0137】
記憶部１０２０は、各種のデータを保持できる補助記憶装置である。記憶部１０２０は、必ずしもコンピュータ１０００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ１０００に接続されたクラウドストレージであってもよい。
【0138】
ＲＯＭ１０３０は、不揮発性の記憶装置である。ＲＯＭ１０３０には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。プロセッサ１０１０が実行するプログラムは、記憶部１０２０又はＲＯＭ１０３０に格納され得る。記憶部１０２０又はＲＯＭ１０３０は、例えば車両管理システムに含まれる各装置内の各部の機能を実現するための各種プログラムを記憶する。
【0139】
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータ１０００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0140】
ＲＡＭ１０４０は、揮発性の記憶装置である。ＲＡＭ１０４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ１０４０は、データなどを一時的に格納する内部バッファとして用いられ得る。プロセッサ１０１０は、記憶部１０２０又はＲＯＭ１０３０に格納されたプログラムをＲＡＭ１０４０に展開し、実行する。プロセッサ１０１０は、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）であってよい。プロセッサ１０１０がプログラムを実行することで、車両管理システムに含まれる各装置内の各部の機能が実現され得る。プロセッサ１０１０は、データなどを一時的に格納できる内部バッファを有してもよい。
【0141】
以上、実施形態を参照して本開示を説明したが、本開示は上記によって限定されるものではない。本開示の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0142】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
車両の周囲の風景を撮影して生成された撮影画像を取得する画像取得段階と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階と
をコンピュータに実行させるためのプログラム。
（付記２）
前記第１走行情報は、前記車両の位置情報、進行方向及び車速のうち少なくとも１つを含み、
前記第２走行情報は、前記周辺車両の位置情報、進行方向及び車速のうち少なくとも１つを含む
付記１に記載のプログラム。
（付記３）
前記走行情報生成段階は、前記第１走行情報と同一の情報を、前記第２走行情報として生成する段階を含む
付記１又は２に記載のプログラム。
（付記４）
前記走行情報生成段階は、前記撮影画像と、前記第１走行情報とに基づいて、前記第２走行情報を生成する段階を含む
付記１又は２に記載のプログラム。
（付記５）
前記出力制御段階は、前記周辺車両の前記識別情報と、前記第２走行情報とを対応付けた車両関連情報を、管理サーバに送信させる段階を含む
付記１から４のいずれか一項に記載のプログラム。
（付記６）
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定段階は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と
を含む
付記１から５のいずれか一項に記載のプログラム。
（付記７）
車両の周囲の風景を撮影して生成された撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
をコンピュータに実行させるためのプログラム。
（付記８）
前記文字認識モデルは、認識用教師データを用いて学習され、
前記認識用教師データは、文字情報に基づいて生成された文字画像であって、前記文字情報に対応する図形を含む文字画像、に対して、前記文字情報と前記図形の位置とを含むアノテーション情報が付与されたデータである
付記６又は７に記載のプログラム。
（付記９）
前記文字画像は、前記文字情報に基づいて生成された一次文字画像の画素値を補正することにより得られた文字画像である
付記８に記載のプログラム。
（付記１０）
前記文字認識モデルは、
ナンバープレート情報中の第１識別情報、に対応する文字情報を認識する第１文字認識モデルと、
ナンバープレート情報中の第２識別情報、に対応する文字情報を認識する第２文字認識モデルと、
を含み、
前記第１文字認識モデルは、前記第１識別情報に対応する第１認識用教師データを用いて学習され、
前記第２文字認識モデルは、前記第２識別情報に対応する第２認識用教師データを用いて学習される
付記６から９のいずれか一項に記載のプログラム。
（付記１１）
前記文字認識段階は、
前記文字認識モデルが出力した、複数の文字情報と前記複数の文字情報の各々の信頼度とに基づいて、前記複数の文字情報から所定数の文字情報を選択する段階と、
選択した前記所定数の文字情報に基づいて前記ナンバープレート情報を生成する段階と
を含む
付記６から１０のいずれか一項に記載のプログラム。
（付記１２）
前記文字認識段階は、
前記文字認識モデルが出力した、複数の文字情報と前記複数の文字情報の各々に対応する図形の位置とに基づいて、前記複数の文字情報から所定数の文字情報を選択する段階と、
選択した前記所定数の文字情報に基づいて前記ナンバープレート情報を生成する段階と
を含む
付記６から１１のいずれか一項に記載のプログラム。
（付記１３）
前記検出段階は、前記撮影画像に含まれる予め定められた検出対象領域から、前記ナンバープレートを検出する段階を含む
付記６から１２のいずれか一項に記載のプログラム。
（付記１４）
前記検出対象領域の上端は、前記撮影画像の上端から所定長さだけ下に離隔する
付記１３に記載のプログラム。
（付記１５）
前記抽出段階は、前記周辺車両のナンバープレートとして検出された画像領域が所定サイズ未満である場合、前記抽出画像を生成する段階を含まない
付記６から１４のいずれか一項に記載のプログラム。
（付記１６）
前記文字認識段階は、撮影タイミングが異なる複数の撮影画像の各々について生成されたナンバープレート情報に基づいて、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
付記６から１５のいずれか一項に記載のプログラム。
（付記１７）
車両の周囲の風景を撮影した撮影画像を取得する画像取得部と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定部と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成部と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御部と
を備える情報処理システム。
（付記１８）
車両の周囲の風景を撮影した撮影画像を取得する画像取得段階と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階と
を備える情報処理方法。
（付記１９）
車両の周囲の風景を撮影した撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出部と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出部と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識部と、
前記周辺車両のナンバープレート情報を出力させる出力制御部と
を備える情報処理システム。
（付記２０）
車両の周囲の風景を撮影した撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
を備える情報処理方法。
（付記１）
車両の周囲の風景を撮影して生成された撮影画像を取得する画像取得段階と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階と
をコンピュータに実行させるためのプログラム。
（付記２）
前記第１走行情報は、前記車両の位置情報、進行方向及び車速のうち少なくとも１つを含み、
前記第２走行情報は、前記周辺車両の位置情報、進行方向及び車速のうち少なくとも１つを含む
付記１に記載のプログラム。
（付記３）
前記走行情報生成段階は、前記第１走行情報と同一の情報を、前記第２走行情報として生成する段階を含む
付記１又は２に記載のプログラム。
（付記４）
前記走行情報生成段階は、前記撮影画像と、前記第１走行情報とに基づいて、前記第２走行情報を生成する段階を含む
付記１又は２に記載のプログラム。
（付記５）
前記出力制御段階は、前記周辺車両の前記識別情報と、前記第２走行情報とを対応付けた車両関連情報を、管理サーバに送信させる段階を含む
付記１から４のいずれか一項に記載のプログラム。
（付記６）
前記周辺車両の前記識別情報は、前記周辺車両のナンバープレート情報であり、
前記識別情報推定段階は、
前記撮影画像から、前記周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と
を含む
付記１から５のいずれか一項に記載のプログラム。
（付記７）
車両の周囲の風景を撮影して生成された撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
をコンピュータに実行させるためのプログラム。
（付記８）
前記文字認識モデルは、認識用教師データを用いて学習され、
前記認識用教師データは、文字情報に基づいて生成された文字画像であって、前記文字情報に対応する図形を含む文字画像、に対して、前記文字情報と前記図形の位置とを含むアノテーション情報が付与されたデータである
付記６又は７に記載のプログラム。
（付記９）
前記文字画像は、前記文字情報に基づいて生成された一次文字画像の画素値を補正することにより得られた文字画像である
付記８に記載のプログラム。
（付記１０）
前記文字認識モデルは、
ナンバープレート情報中の第１識別情報、に対応する文字情報を認識する第１文字認識モデルと、
ナンバープレート情報中の第２識別情報、に対応する文字情報を認識する第２文字認識モデルと、
を含み、
前記第１文字認識モデルは、前記第１識別情報に対応する第１認識用教師データを用いて学習され、
前記第２文字認識モデルは、前記第２識別情報に対応する第２認識用教師データを用いて学習される
付記６から９のいずれか一項に記載のプログラム。
（付記１１）
前記文字認識段階は、
前記文字認識モデルが出力した、複数の文字情報と前記複数の文字情報の各々の信頼度とに基づいて、前記複数の文字情報から所定数の文字情報を選択する段階と、
選択した前記所定数の文字情報に基づいて前記ナンバープレート情報を生成する段階と
を含む
付記６から１０のいずれか一項に記載のプログラム。
（付記１２）
前記文字認識段階は、
前記文字認識モデルが出力した、複数の文字情報と前記複数の文字情報の各々に対応する図形の位置とに基づいて、前記複数の文字情報から所定数の文字情報を選択する段階と、
選択した前記所定数の文字情報に基づいて前記ナンバープレート情報を生成する段階と
を含む
付記６から１１のいずれか一項に記載のプログラム。
（付記１３）
前記検出段階は、前記撮影画像に含まれる予め定められた検出対象領域から、前記ナンバープレートを検出する段階を含む
付記６から１２のいずれか一項に記載のプログラム。
（付記１４）
前記検出対象領域の上端は、前記撮影画像の上端から所定長さだけ下に離隔する
付記１３に記載のプログラム。
（付記１５）
前記抽出段階は、前記周辺車両のナンバープレートとして検出された画像領域が所定サイズ未満である場合、前記抽出画像を生成する段階を含まない
付記６から１４のいずれか一項に記載のプログラム。
（付記１６）
前記文字認識段階は、撮影タイミングが異なる複数の撮影画像の各々について生成されたナンバープレート情報に基づいて、１のナンバープレート情報を生成する段階を含み、
前記出力制御段階は、前記１のナンバープレート情報を出力させる段階を含む
付記６から１５のいずれか一項に記載のプログラム。
（付記１７）
車両の周囲の風景を撮影した撮影画像を取得する画像取得部と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定部と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成部と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御部と
を備える情報処理システム。
（付記１８）
車両の周囲の風景を撮影した撮影画像を取得する画像取得段階と、
前記撮影画像に基づいて、前記車両の周囲に位置する周辺車両の識別情報を推定する識別情報推定段階と、
前記車両の走行に関する第１走行情報を取得し、前記第１走行情報に基づいて、前記周辺車両の走行に関する第２走行情報を生成する走行情報生成段階と、
前記識別情報と、前記第２走行情報とを対応付けて出力させる出力制御段階と
を備える情報処理方法。
（付記１９）
車両の周囲の風景を撮影した撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出部と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出部と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識部と、
前記周辺車両のナンバープレート情報を出力させる出力制御部と
を備える情報処理システム。
（付記２０）
車両の周囲の風景を撮影した撮影画像から、入力画像に含まれるナンバープレートを示す画像領域の位置を出力する検出モデルを用いて、前記車両の周囲に位置する周辺車両のナンバープレートを検出する検出段階と、
前記周辺車両のナンバープレートとして検出された画像領域に応じた抽出領域を、前記撮影画像から切り出して、抽出画像を生成する抽出段階と、
前記抽出画像から文字認識モデルを用いて文字情報を取得し、前記文字情報に基づいて前記周辺車両のナンバープレート情報を生成する文字認識段階と、
前記周辺車両のナンバープレート情報を出力させる出力制御段階と
を備える情報処理方法。
【符号の説明】
【0143】
１，１ａ，１ｂ 車両管理システム
１０ 車載システム
２０ 管理サーバ
３０ 検出用教師データ生成装置
４０ 検出用学習装置
５０ 認識用教師データ生成装置
５０ｂ－１～４ 第１～第４認識用教師データ生成装置
６０ 認識用学習装置
６０ｂ－１～４ 第１～第４認識用学習装置
１００，９００，９１０ 情報処理装置（情報処理システム）
１０１ 通信部
１０２，９０２ 画像取得部
１０３，９０３ 識別情報推定部
１０４，９１４ 検出部
１０５，９１５ 抽出部
１０６，９１６ 文字認識部
１０７，９０７ 走行情報生成部
１０７ｂ 走行情報生成装置
１０８，９０８，９１８ 出力制御部
１０８ａ 第１出力制御部
１０８ｂ 第２出力制御部
１０９ 記憶部
１０９ａ 第１記憶部
１０９ｂ 第２記憶部
１１０ Ｉ／Ｏ
１２０ 車載カメラ
１４０ センサ
１６０ 画像解析装置
１８０ 通信端末
３００，３３０ 撮影画像
３１０ 抽出画像
３２０ 認識結果
５００ 取得部
５０１ 画像生成部
５０２ 補正部
５０３ アノテーション付与部
５０４ 記憶部
５０５ 描画点情報ＤＢ
５０６ 学習用ＤＢ
１０００ コンピュータ
１０１０ プロセッサ
１０２０ 記憶部
１０３０ ＲＯＭ
１０４０ ＲＡＭ
１０５０ 通信インタフェース
１０６０ ユーザインタフェース
ＮＡ ナンバープレート画像領域
Ｖ 車両画像領域
ＤＡ 検出対象領域
Ｔ 陸運支局
Ｃ 分類番号
Ｕ 平仮名等
Ｓ 一連指定番号
ＣＲＭ 文字認識モデル
ＦＭ 書式情報
ＤＲ 描画点情報
１０ 車載システム
２０ 管理サーバ
３０ 検出用教師データ生成装置
４０ 検出用学習装置
５０ 認識用教師データ生成装置
５０ｂ－１～４ 第１～第４認識用教師データ生成装置
６０ 認識用学習装置
６０ｂ－１～４ 第１～第４認識用学習装置
１００，９００，９１０ 情報処理装置（情報処理システム）
１０１ 通信部
１０２，９０２ 画像取得部
１０３，９０３ 識別情報推定部
１０４，９１４ 検出部
１０５，９１５ 抽出部
１０６，９１６ 文字認識部
１０７，９０７ 走行情報生成部
１０７ｂ 走行情報生成装置
１０８，９０８，９１８ 出力制御部
１０８ａ 第１出力制御部
１０８ｂ 第２出力制御部
１０９ 記憶部
１０９ａ 第１記憶部
１０９ｂ 第２記憶部
１１０ Ｉ／Ｏ
１２０ 車載カメラ
１４０ センサ
１６０ 画像解析装置
１８０ 通信端末
３００，３３０ 撮影画像
３１０ 抽出画像
３２０ 認識結果
５００ 取得部
５０１ 画像生成部
５０２ 補正部
５０３ アノテーション付与部
５０４ 記憶部
５０５ 描画点情報ＤＢ
５０６ 学習用ＤＢ
１０００ コンピュータ
１０１０ プロセッサ
１０２０ 記憶部
１０３０ ＲＯＭ
１０４０ ＲＡＭ
１０５０ 通信インタフェース
１０６０ ユーザインタフェース
ＮＡ ナンバープレート画像領域
Ｖ 車両画像領域
ＤＡ 検出対象領域
Ｔ 陸運支局
Ｃ 分類番号
Ｕ 平仮名等
Ｓ 一連指定番号
ＣＲＭ 文字認識モデル
ＦＭ 書式情報
ＤＲ 描画点情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】