特許 6243956 情報処理システム、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6243956

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】情報処理システム、情報処理装置及び情報処理方法

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20171127BHJP

【ＦＩ】

   G06Q30/02 398

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2016-82219(P2016-82219)

(22)【出願日】2016年4月15日

(65)【公開番号】特開2017-201436(P2017-201436A)

(43)【公開日】2017年11月9日

【審査請求日】2016年4月21日

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】515112953

【氏名又は名称】クラウディアン ホールディングス インク

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100188307

【弁理士】

【氏名又は名称】太田 昌宏

(72)【発明者】

【氏名】太田 洋

(72)【発明者】

【氏名】佐藤 剛宣

【審査官】 山内 裕史

(56)【参考文献】

【文献】 特開２００８−０５２５３９（ＪＰ，Ａ）

【文献】 特開２００７−２９９１４４（ＪＰ，Ａ）

【文献】 特開２０１４−０１６６５４（ＪＰ，Ａ）

【文献】 特開２０００−１８２１０９（ＪＰ，Ａ）

【文献】 特開２００４−３０３１６４（ＪＰ，Ａ）

【文献】 特開２０１０−２３７４１１（ＪＰ，Ａ）

【文献】 特開２０１４−００２５３４（ＪＰ，Ａ）

【文献】 特開平０６−３０７８２７（ＪＰ，Ａ）

【文献】 ＧＴＣ Ｊａｐａｎ ２０１５ ＧＰＵをディープラーニングに活用，Ｉ／Ｏ，日本，株式会社工学社，２０１５年１１月 １日，第４０巻，第４−６頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

走行中の車両の画像を撮像する第１の撮像部と、
前記第１の撮像部が撮像した前記車両の画像に基づいて、ディープラーニングを用いて前記車両のモデルを特定し、特定した前記モデルに基づいて統計データを生成する制御部と、
前記車両の後方側においてモデルに関する情報が記載された箇所の画像を撮像する第２の撮像部と、を備え、
前記制御部は、前記特定したモデルと、前記第２の撮像部が撮像した画像から読み取った前記車両のモデルとが一致しない場合、前記車両の画像と前記読み取った前記車両のモデルとに基づき、前記車両のモデルを特定するためのプログラムを更新する、情報処理システム。

【請求項2】

情報を表示する表示部をさらに備え、
前記制御部は、前記生成した統計データに応じた情報を前記表示部に表示させる、
請求項１に記載の情報処理システム。

【請求項3】

前記表示部は、デジタルサイネージであり、
前記制御部により前記デジタルサイネージに表示される情報は広告である、
請求項２に記載の情報処理システム。

【請求項4】

走行中の車両の画像に基づいて、ディープラーニングを用いて前記車両のモデルを特定し、特定した前記モデルごとの統計データを生成する制御部を備え、
前記制御部は、前記特定したモデルと、前記車両の後方側においてモデルに関する情報が記載された箇所の画像から読み取った前記車両のモデルとが一致しない場合、前記車両の画像と前記読み取った前記車両のモデルとに基づき、前記車両のモデルを特定するためのプログラムを更新する、情報処理装置。

【請求項5】

画像を撮像する第１の撮像部及び第２の撮像部と、制御部とを備える情報処理システムによる情報処理方法であって、
前記第１の撮像部が、走行中の車両の画像を撮像する第１撮像ステップと、
前記第２の撮像部が、前記車両の後方側においてモデルに関する情報が記載された箇所の画像を撮像する第２撮像ステップと、
前記制御部が、前記第１撮像ステップで撮像された画像に基づいて、ディープラーニングを用いて前記車両のモデルを特定する特定ステップと、
前記制御部が、前記特定ステップで特定した前記モデルごとの統計データを生成する生成ステップと、
前記制御部が、前記特定したモデルと、前記第２撮像ステップで撮像された画像から読み取った前記車両のモデルとが一致しない場合、前記車両の画像と前記読み取った前記車両のモデルとに基づき、前記車両のモデルを特定するためのプログラムを更新する更新ステップと、
を含む、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の位置を走行する車両の統計データを生成する情報処理システム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、車両の運転者等に向けて表示される屋外広告が知られている。例えば、特許文献１には、屋外に配置した看板装置に、時間帯及び交通量等に応じた広告を表示するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１２２６７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示されたシステムは、あらかじめ調査された交通量に基づいて広告を表示するものであり、実際に走行している車両の属性に応じて広告を表示するものではない。そのため、上記システムでは、必ずしも実際に走行している車両の属性に適合した広告が表示されているとは限らない。また、上記システムでは、広告を見ることができる位置を走行する車両の属性を知ることができないため、広告の効果を評価することが難しい。

【0005】

上記のような問題点に鑑みてなされた本発明の目的は、所定の位置を走行する車両の統計データを生成する情報処理システム、情報処理装置及び情報処理方法を提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、本発明の一実施形態に係る情報処理システムは、
走行中の車両の画像を撮像する撮像部と、
前記撮像部が撮像した前記車両の画像に基づいて前記車両のモデルを特定し、特定した前記モデルに基づいて統計データを生成する制御部と、
を備える。

【0007】

また、情報処理システムは、
情報を表示する表示部をさらに備え、
前記制御部は、前記生成した統計データに応じた情報を前記表示部に表示させてもよい。

【0008】

また、情報処理システムにおいて、
前記表示部は、デジタルサイネージであり、
前記制御部により前記デジタルサイネージに表示される情報は広告であってもよい。

【0009】

また、情報処理システムは、
前記車両においてモデルに関する情報が記載された箇所の画像を撮像する第２の撮像部をさらに備え、
前記制御部は、前記特定したモデルと、前記第２の撮像部が撮像した画像から読み取った前記車両のモデルとが一致しない場合、前記車両の画像と前記読み取った前記車両のモデルとに基づき、前記車両のモデルを特定するためのプログラムを更新してもよい。

【0010】

また、情報処理システムにおいて、前記制御部は、ディープラーニングに基づいて前記車両のモデルを特定してもよい。

【0011】

また、本発明は上述した情報処理システムに対応する情報処理装置及び情報処理方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

【0012】

例えば、本発明の一実施形態に係る情報処理装置は、
走行中の車両の画像に基づいて前記車両のモデルを特定し、特定した前記モデルごとの統計データを生成する制御部を備える。

【0013】

また、本発明の一実施形態に係る情報処理方法は、
画像を撮像する撮像部と、制御部とを備える情報処理システムによる情報処理方法であって、
前記撮像部が、走行中の車両の画像を撮像する撮像ステップと、
前記制御部が、前記撮像ステップで撮像された画像に基づいて前記車両のモデルを特定する特定ステップと、
前記制御部が、前記特定ステップで特定した前記モデルごとの統計データを生成する生成ステップと、を含む。

【発明の効果】

【0014】

上記のように構成された本発明に係る情報処理システム、情報処理装置及び情報処理方法によれば、所定の位置を走行する車両の統計データを生成できる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。

【図2】図１の情報処理システムの使用の一例を示す概略図である。

【図3】図１の第２の情報処理装置による、車両が写った範囲の抽出方法の一例について説明する図である。

【図4】図１の情報処理システムによる情報表示の処理の一例を示すシーケンス図である。

【図5】図１の情報処理システムによるモデル判定プログラムの更新処理の概要を示すシーケンス図である。

【図6】図１の第１の情報処理装置におけるモデル判定プログラムの更新処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0017】

図１は、本発明の一実施形態に係る情報処理システム１００の概略構成を示す機能ブロック図である。図１に示すように、本実施形態に係る情報処理システム１００は、第１の情報処理装置１１０と、第２の情報処理装置１２０と、第１の撮像装置１３０と、第２の撮像装置１４０と、表示装置１５０とを備える。第２の情報処理装置１２０は、第１の情報処理装置１１０、第１の撮像装置１３０、第２の撮像装置１４０及び表示装置１５０と、それぞれ通信可能に構成されている。これらの各装置は、適宜インターネット等を介して通信可能に構成されていてもよい。

【0018】

図２は、図１の情報処理システム１００の使用の一例を示す概略図である。表示装置１５０は、各種情報を表示する。本実施形態において、表示装置１５０は、例えば図２に示すように、道路を走行する車両のドライバーが見ることが可能な位置に配置されるデジタルサイネージ（電子看板）である。表示装置１５０は、例えば、ビルの壁面又は道路脇等に設置される。表示装置１５０は、第２の情報処理装置１２０から取得した制御信号に基づいて、所定の情報を表示する。本実施形態において、表示装置１５０は、例えばドライバーに対する各種広告を表示するとして説明する。

【0019】

第１の撮像装置１３０は、表示装置１５０が表示する広告を視認可能な位置又は所定時間後に視認可能となる位置を走行する車両の画像を撮像する。第１の撮像装置１３０は、例えば所定の位置の道路を撮像する定点カメラである。第１の撮像装置１３０は、当該道路を走行する車両の画像を撮像する。第１の撮像装置１３０は、例えば、表示装置１５０の前面側を走行する車両の進行方向側である前方側の画像を撮像する。

【0020】

第２の撮像装置１４０は、第１の撮像装置１３０が撮像した車両の後方側の画像を撮像する。第２の撮像装置１４０は、第１の撮像装置１３０と同様に、例えば所定の位置の道路を撮像する定点カメラである。第２の撮像装置１４０は、例えば表示装置１５０を視認可能な位置を通り過ぎた後に走行する道路を撮像することにより、車両の後方側の画像を撮像する。第２の撮像装置１４０は、第１の撮像装置１３０が撮像する位置と同じ位置の道路を、異なる角度から撮像することにより、車両の後方側の画像を撮像してもよい。第１の撮像装置１３０及び第２の撮像装置１４０が撮像した画像は、第２の情報処理装置１２０に送信される。なお、後述の通り、第２の撮像装置１４０は、情報処理システム１００で使用されるモデル判定プログラム２１１の更新処理に利用される画像を撮像するものであり、統計データ２１３の生成に必須のものではない。

【0021】

第２の情報処理装置１２０は、第１の撮像装置１３０が撮像した画像に基づいて、表示装置１５０に表示させる広告を決定し、決定した広告を表示させるための制御信号を表示装置１５０に送信する。すなわち、情報処理システム１００において、表示装置１５０が表示する所定の広告は、第１の撮像装置１３０が撮像した画像に基づいて、第２の情報処理装置１２０により決定及び制御される。具体的には、第２の情報処理装置１２０は、第１の撮像装置１３０が撮像した画像に基づいて、車両のモデル（車名、車種、年式及び型式等）を判定し、判定したモデルに基づいて車両のモデルに関する統計データ２１３を生成する。車両のモデルの判定には、ディープラーニング（深層学習）が利用される。第２の情報処理装置１２０は、生成した統計データ２１３に応じた広告を、表示装置１５０に表示させる。

【0022】

第２の情報処理装置１２０が車両のモデルを判定するためのプログラム（モデル判定プログラム２１１）は、第１の情報処理装置１１０により作成される。また、第１の情報処理装置１１０は、第２の情報処理装置１２０を介して取得した、第１の撮像装置１３０及び第２の撮像装置１４０が撮像した画像に基づいて学習を行い、モデル判定プログラム２１１を更新する。第１の撮像装置１３０は、更新されたモデル判定プログラム２１１を第２の撮像装置１４０に送信し、第２の撮像装置１４０は、更新されたモデル判定プログラム２１１を使用して、表示装置１５０に表示させる広告を決定するための制御を行う。

【0023】

再び図１を参照し、情報処理システム１００の各構成要素の詳細について説明する。

【0024】

第１の情報処理装置１１０は、例えばサーバ装置により構成される。第１の情報処理装置１１０は、制御部１１１と、記憶部１１２と、通信部１１３とを備える。

【0025】

制御部１１１は、第１の情報処理装置１１０が備える各機能ブロックをはじめとして、第１の情報処理装置１１０の全体を制御及び管理するプロセッサである。制御部１１１は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１１２又は外部の記憶媒体等に格納される。

【0026】

制御部１１１は、車両のモデルを判定するためのモデル判定プログラム２１１を作成する。本実施形態において、制御部１１１は、ディープラーニングにより、モデル判定プログラム２１１を作成する。ディープラーニングは、多層構造のニューラルネットワークを利用して、データの特徴量を自動で計算及び学習する技術である。制御部１１１は、例えば記憶部１１２に記憶されるデータセット２１２を用いてディープラーニングを行う。制御部１１１は、第１の情報処理装置１１０の外部から取得したデータセット（画像と車種等の対応データ）を用いてディープラーニングを行ってもよい。

【0027】

また、制御部１１１は、第２の情報処理装置１２０を介して取得した、第１の撮像装置１３０及び第２の撮像装置１４０が撮像した画像に基づいて、作成したモデル判定プログラム２１１を更新する。モデル判定プログラム２１１の更新の詳細については、後述する図５の説明において詳述する。

【0028】

記憶部１１２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部１１１の動作に必要なデータなどを記憶する。また、記憶部１１２は、ワークメモリとして機能するＲＡＭ（Random Access Memory）等のデバイスも有する。記憶部１１２は、モデル判定プログラム２１１と、データセット２１２とを記憶する。モデル判定プログラム２１１は、制御部１１１がディープラーニングにより作成したプログラムである。データセット２１２は、制御部１１１がモデル判定プログラム２１１を作成するために使用する一連のデータである。データセット２１２は、例えば第１の情報処理装置１１０の管理者により入力されるものであってもよく、第１の情報処理装置１１０が外部のリソースから取得したものであってもよい。データセット２１２として、実際の映像データを追加することもできる。データセット２１２は、例えば、車両の画像と、当該車両に関する情報との組合せにより構成される。車両に関する情報は、車両のモデルに関する情報であり、例えば、車両の車名、車種、年式及び型式等を含む。なお、車両に関する情報は、これらに限られず、車両に関する任意の情報を含んでいてもよい。

【0029】

通信部１１３は、第２の情報処理装置１２０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第１の情報処理装置１１０は、通信部１１３を介して、制御部１１１が作成したモデル判定プログラム２１１を第２の情報処理装置１２０に送信する。また、例えば第１の情報処理装置１１０は、通信部１１３を介して、第２の情報処理装置１２０が備える、第１の撮像装置１３０及び第２の撮像装置１４０が撮像した画像等のデータを受信する。

【0030】

第２の情報処理装置１２０は、例えばサーバ装置により構成される。第２の情報処理装置１２０は、制御部１２１と、記憶部１２２と、通信部１２３とを備える。

【0031】

制御部１２１は、第２の情報処理装置１２０が備える各機能ブロックをはじめとして、第２の情報処理装置１２０の全体を制御及び管理するプロセッサである。制御部１２１は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１２２又は外部の記憶媒体等に格納される。

【0032】

制御部１２１は、第１の撮像装置１３０が撮像した、車両を含む画像に基づいて、画像に映り込んだ車両のモデルを判定し、判定結果に基づいて統計データ２１３を生成する。また、制御部１２１は、統計データ２１３に基づいて、表示装置１５０に表示させる広告を決定する。

【0033】

制御部１２１は、まず、第１の撮像装置１３０が撮像した、車両を含む画像のうち、車両が写った範囲を抽出（特定）する。範囲の抽出は、任意の方法で実行することができる。

【0034】

図３は、第２の情報処理装置１２０による範囲の抽出方法の一例について説明する図である。図３（ａ）は、第１の撮像装置１３０により撮像された画像の一例であり、図３（ｂ）は、図３（ａ）の画像における第２の情報処理装置１２０による処理過程を示す画像の一例である。範囲の抽出方法の一例において、制御部１２１は、オプティカルフロー法を用いて、車両の特徴的な点（特徴点）を、第１の撮像装置１３０が撮像した画像において連続する複数のフレームに亘って追跡記録する。制御部１２１が追跡した特徴点は、図３（ｂ）において上方から下方に（車両の進行方向に）延びる線として表現されている。オプティカルフロー法により、制御部１２１は、画像内における車両の動きを検出する。そして、制御部１２１は、バックグラウンド除去法を用いて、第１の撮像装置１３０が撮像した画像において連続する複数のフレームの画像の加重平均を算出し、算出結果と、最後に取得したフレームの画像との差分を算出する。これにより、制御部１２１は、画像内において移動する物体、すなわち車両を検出する。制御部１２１は、これらのオプティカルフロー法及びバックグラウンド除去法を用いて、第１の撮像装置１３０が撮像した画像のうち、車両が写った範囲を抽出する。抽出された範囲は、図３（ｂ）において、それぞれ四角により囲まれた領域として表現されている。なお、制御部１２１は、上述の方法に限らず、他の任意の方法により、車両が写った範囲を抽出してもよい。

【0035】

制御部１２１は、車両が写った範囲を抽出すると、当該抽出した範囲における車両の画像に基づき、モデル判定プログラム２１１を使用して、車両のモデルを判定する。

【0036】

そして、制御部１２１は、判定したモデルに基づいて、車両のモデルに関する統計データ２１３を生成する。統計データ２１３は、第１の撮像装置１３０が撮像する、道路の所定の位置を走行した車両のモデルに関する統計的なデータである。統計データ２１３は、例えば、所定の時間ごとに分割された、車両のモデルに関するデータを含む。所定の時間を、例えば数秒単位以下とすることにより、制御部１２１は、所定の位置を走行する車両のモデルをリアルタイムに把握することができる。制御部１２１は、統計データ２１３により、所定の時間ごとに所定の位置を走行した車両のモデルが得られる。また、制御部１２１は、統計データ２１３により、例えば時間の経過に沿った車両のモデルの変化の傾向も得られる。

【0037】

制御部１２１は統計データ２１３に基づいて、表示装置１５０に表示させる広告（情報）を決定する。このとき、制御部１２１は、所定の位置を走行する車両のモデルに関するリアルタイムな統計データ２１３に基づき、表示装置１５０に表示させる広告を決定する。制御部１２１は、例えば判定したモデルに対応付けられた広告の広告ＩＤを決定する。広告ＩＤは、表示装置１５０が表示可能な各広告に、それぞれ一意に対応付けられた情報である。制御部１２１は、例えば予め記憶部１２２に記憶された、統計データ２１３の内容に応じて広告ＩＤを決定するためのテーブル（広告ＩＤテーブル２１５）を参照して、統計データ２１３の内容に応じた広告ＩＤを決定する。例えば、制御部１２１は、統計データ２１３において最も台数が多いモデルに基づき、広告ＩＤテーブル２１５を参照して広告ＩＤを決定する。また、例えば、制御部１２１は、統計データ２１３における各モデルの台数の割合に応じて、広告ＩＤテーブル２１５を参照して広告ＩＤを決定してもよい。広告ＩＤに対応付けられた広告は、例えば、当該広告ＩＤに対応付けられたモデルの車両の購買者又は所有者を対象とした広告である。かかる広告は、例えば、当該広告ＩＤに対応付けられたモデルの車両と同一のメーカの商品に関する広告、又は当該広告ＩＤに対応付けられたモデルの車両の購買者層が購入する可能性の高い商品に関する広告等である。制御部１２１は、制御信号として、決定した広告ＩＤと、当該広告ＩＤに対応する広告を表示させるための指令を表示装置１５０に送信することにより、決定した広告を表示装置１５０に表示させる。

【0038】

記憶部１２２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部１２１の動作に必要なデータ等を記憶する。また、記憶部１２２は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。記憶部１２２は、モデル判定プログラム２１１と、統計データ２１３と、撮像データ２１４と、広告ＩＤテーブル２１５とを記憶する。モデル判定プログラム２１１は、第２の情報処理装置１２０が第１の情報処理装置１１０から取得して、記憶部１２２に記憶したものである。モデル判定プログラム２１１は、第１の情報処理装置１１０により適宜更新される。撮像データ２１４は、第２の情報処理装置１２０が、第１の撮像装置１３０及び第２の撮像装置１４０から取得した、第１の撮像装置１３０及び第２の撮像装置１４０がそれぞれ撮像した画像に関するデータである。撮像データ２１４は、例えば第１の情報処理装置１１０に送信され、第１の情報処理装置１１０においてモデル判定プログラム２１１を更新するために使用される。

【0039】

通信部１２３は、第１の情報処理装置１１０、第１の撮像装置１３０、第２の撮像装置１４０及び表示装置１５０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第２の情報処理装置１２０は、通信部１２３を介して、第１の情報処理装置１１０からモデル判定プログラム２１１を取得する。また、例えば、第２の情報処理装置１２０は、通信部１２３を介して、第１の撮像装置１３０及び第２の撮像装置１４０から、第１の撮像装置１３０及び第２の撮像装置１４０が撮像した画像を取得する。また、第２の情報処理装置１２０は、通信部１２３を介して、第１の情報処理装置１１０に、第１の撮像装置１３０及び第２の撮像装置１４０が撮像した画像を送信する。また、例えば、第２の情報処理装置１２０は、通信部１２３を介して、表示装置１５０に制御信号を送信する。第２の情報処理装置１２０は、第１の撮像装置１３０からリアルタイムに画像を取得し、取得した画像に基づいて生成した制御信号を表示装置１５０に送信する。

【0040】

第１の撮像装置１３０は、撮像部１３１と、制御部１３２と、記憶部１３３と、通信部１３４とを備える。

【0041】

撮像部１３１は、道路を走行する車両の画像を撮像する。撮像部１３１は、例えばデジタルビデオカメラにより構成される。

【0042】

制御部１３２は、第１の撮像装置１３０が備える各機能ブロックをはじめとして、第１の撮像装置１３０の全体を制御及び管理するプロセッサである。制御部１３２は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１３３又は外部の記憶媒体等に格納される。

【0043】

記憶部１３３は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部１３２の動作に必要なデータ等を記憶する。また、記憶部１３３は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。記憶部１３３は、例えば、撮像部１３１が撮像した撮像データ２１４を記憶してもよい。

【0044】

通信部１３４は、第２の情報処理装置１２０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第１の撮像装置１３０は、通信部１３４を介して、撮像部１３１が撮像した撮像データ２１４を第２の情報処理装置１２０に送信する。

【0045】

第２の撮像装置１４０は、撮像部１４１と、制御部１４２と、記憶部１４３と、通信部１４４とを備える。第２の撮像装置１４０が備える撮像部１４１、制御部１４２、記憶部１４３及び通信部１４４の各機能は、それぞれ第１の撮像装置１３０が備える撮像部１３１、制御部１３２、記憶部１３３及び通信部１３４と同様であるため、ここでは、その詳細な説明を省略する。

【0046】

表示装置１５０は、表示部１５１と、制御部１５２と、記憶部１５３と、通信部１５４とを備える。

【0047】

表示部１５１は、ＬＥＤ（Light Emitting Diode）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）等の周知のディスプレイにより構成される表示デバイスである。表示部１５１は、制御部１５２の制御に基づき、広告を表示する。

【0048】

制御部１５２は、表示装置１５０が備える各機能ブロックをはじめとして、表示装置１５０の全体を制御及び管理するプロセッサである。制御部１５２は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１５３又は外部の記憶媒体等に格納される。制御部１５２は、第２の情報処理装置１２０から取得した制御信号に基づき、表示部１５１に各種広告を表示させる。

【0049】

記憶部１５３は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部１３２の動作に必要なデータ等を記憶する。また、記憶部１５３は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。記憶部１５３は、例えば、表示部１５１に表示させる広告を、画像又は動画等として記憶する。記憶部１５３は、各広告を、広告ＩＤと対応付けて記憶する。

【0050】

通信部１５４は、第２の情報処理装置１２０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、表示装置１５０は、通信部１５４を介して、第２の情報処理装置１２０から制御信号を取得し、取得した制御信号に応じて、表示部１５１に情報を表示する。

【0051】

次に、情報処理システム１００による情報表示の処理の一例について、図４を参照して説明する。

【0052】

まず、第１の情報処理装置１１０は、データセットに基づいて、ディープラーニングにより、モデル判定プログラム２１１を作成する（ステップＳ１０１）。

【0053】

第１の情報処理装置１１０は、ステップＳ１０１で作成したモデル判定プログラム２１１を、第２の情報処理装置１２０に送信する（ステップＳ１０２）。

【0054】

次に、第１の撮像装置１３０が画像を撮像する（ステップＳ１０３）。第１の撮像装置１３０により撮像される画像は、車両の前方側の画像である。

【0055】

第１の撮像装置１３０は、ステップＳ１０３で撮像した画像に関する撮像データ２１４を、第２の情報処理装置１２０に送信する（ステップＳ１０４）。第１の撮像装置１３０は、ステップＳ１０３及びステップＳ１０４を、常時繰り返して実行してもよく、定期的に繰り返し実行してもよい。

【0056】

第２の情報処理装置１２０は、第１の撮像装置１３０から撮像データ２１４を取得すると、撮像データ２１４に係る画像において車両が写った範囲を抽出する（ステップＳ１０５）。

【0057】

そして、第２の情報処理装置１２０は、抽出した範囲に写った車両の画像に基づき、モデル判定プログラム２１１を用いて、車両のモデルを判定する（ステップＳ１０６）。

【0058】

次に、第２の情報処理装置１２０は、判定した車両のモデルに基づいて、統計データ２１３を生成する（ステップＳ１０７）。

【0059】

第２の情報処理装置１２０は、記憶部１２２に記憶された広告ＩＤテーブル２１５を参照して、ステップＳ１０７で生成した統計データ２１３に基づき、表示装置１５０に表示する広告の広告ＩＤを決定する（ステップＳ１０８）。

【0060】

第２の情報処理装置１２０は、ステップＳ１０８で決定した広告ＩＤを含む制御信号を、表示装置１５０に送信する（ステップＳ１０９）。

【0061】

表示装置１５０は、制御信号を受信すると、制御信号に基づき、広告ＩＤに対応付けられた広告を表示部１５１に表示する（ステップＳ１１０）。

【0062】

このように、本実施形態に係る情報処理システム１００によれば、第２の情報処理装置１２０は、表示装置１５０に表示される広告を視認できる位置を走行する車両のモデルをリアルタイムに判定し、判定したモデルに基づいて統計データ２１３を生成する。そして、第２の情報処理装置１２０は、統計データ２１３に応じて、判定したモデルの車両の購買者又は所有者を対象とした広告を表示装置１５０に表示できる。そのため、情報処理システム１００によれば、広告の視聴者に応じた広告を表示でき、視聴者のニーズに合った広告を表示しやすくなる。

【0063】

また、本実施形態に係る情報処理システム１００によれば、統計データ２１３により、表示装置１５０に広告を表示している際に、どのモデルの車両が表示装置１５０を視認できる位置を走行していたかを分析できる。そのため、情報処理システム１００によれば、表示装置１５０に表示された広告を視認した視聴者の属性を知ることができるので、広告の価値を評価しやすくなる。

【0064】

また、本実施形態に係る情報処理システム１００によれば、ディープラーニングを利用して作成されたプログラムに基づいて、車両のモデルを判定しているため、ディープラーニングを利用していない場合と比較して、車両のモデル判定精度が向上する。

【0065】

次に、情報処理システム１００によるモデル判定プログラム２１１の更新処理の一例について、図５を参照して説明する。

【0066】

モデル判定プログラム２１１の更新処理において、第２の情報処理装置１２０は、第１の撮像装置１３０から取得した前方側の画像と、図４のステップＳ１０６で判定した車両のモデルとを対応付ける（ステップＳ２０１）。

【0067】

第２の情報処理装置１２０は、ステップＳ２０１で対応付けた前方側の画像（撮像データ２１４）と、モデルの判定結果とを第１の情報処理装置１１０に送信する（ステップＳ２０２）。

【0068】

次に、第２の撮像装置１４０が画像を撮像する（ステップＳ２０３）。第２の撮像装置１４０により撮像される画像は、車両の後方側の画像である。

【0069】

第２の撮像装置１４０は、ステップＳ２０３で撮像した画像に関する撮像データ２１４を、第２の情報処理装置１２０に送信する（ステップＳ２０４）。第２の撮像装置１４０は、ステップＳ２０３及びステップＳ２０４を、常時繰り返して実行してもよく、定期的に繰り返し実行してもよい。

【0070】

第２の情報処理装置１２０は、第２の撮像装置１４０から取得した撮像データ２１４を、第１の情報処理装置１１０に送信する（ステップＳ２０５）。

【0071】

そして、第１の情報処理装置１１０は、モデル判定プログラム２１１を更新する処理を実行する（ステップＳ２０６）。

【0072】

図６は、図５のステップＳ２０６における、第１の情報処理装置１１０によるモデル判定プログラム２１１の更新処理の一例を示すフローチャートである。

【0073】

第１の情報処理装置１１０は、車両の後方側の各画像において、車両が写った範囲を抽出する（ステップＳ３０１）。第１の情報処理装置１１０による抽出は、任意の画像処理により行うことができる。第１の情報処理装置１１０による抽出方法は、例えば、第２の情報処理装置１２０による前方側の画像における車両が写った範囲の抽出方法と同様とすることができる。

【0074】

次に、第１の情報処理装置１１０は、抽出された前方側及び後方側の車両の画像から、各車両の前方側及び後方側に取り付けられたナンバープレートを読み取る（ステップＳ３０２）。ここで、ナンバープレートは、車両の登録番号を記した板であり、自動車登録番号標及び車両番号標を含む。第１の情報処理装置１１０は、例えば公知の技術により、車両のナンバープレートの位置を特定し、ナンバープレートに記載された文字及び番号等（以下「ナンバー」と略記する）を読み取ることができる。

【0075】

そして、第１の情報処理装置１１０は、読み取ったナンバープレートのナンバーから、前方側及び後方側のナンバーが一致する画像を対応付けることにより、同一の車両の画像を対応付ける（ステップＳ３０３）。

【0076】

次に、第１の情報処理装置１１０は、画像解析により、車両の後方側の画像から、車両の後方側に記載された車両のモデルに関する情報を読み取る（ステップＳ３０４）。車両の後方側には、車名及び型式等のモデルに関する情報が記載されている場合が多いため、第１の情報処理装置１１０は、このように車両の後方側に記載された車両のモデルに関する情報を読み取る。

【0077】

第１の情報処理装置１１０は、第２の情報処理装置１２０が判定した車両のモデルと、ステップＳ３０４で読み出した車両のモデルとが一致するか否かを判断する（ステップＳ３０５）。

【0078】

第１の情報処理装置１１０は、第２の情報処理装置１２０が判定した車両のモデルと、ステップＳ３０４で読み出した車両のモデルとが一致すると判断した場合（ステップＳ３０５のＹｅｓ）、このフローを終了する。

【0079】

一方、第１の情報処理装置１１０は、第２の情報処理装置１２０が判定した車両のモデルと、ステップＳ３０４で読み出した車両のモデルとが一致しないと判断した場合（ステップＳ３０５のＮｏ）、第２の情報処理装置１２０による車両のモデルの判定が誤っていると判断して、再学習を行い、モデル判定プログラム２１１を更新する（ステップＳ３０６）。具体的には、第１の情報処理装置１１０は、読み出したモデルが車両の正しいモデルであると判断して、車両の画像と読み出したモデル（車名、車種、年式及び型式等）とを対応付けて、ディープラーニングにおいて微調整を行う、いわゆるチューニングという手法により、モデル判定プログラム２１１を更新する。更新されたプログラムは、記憶部１１２に記憶される。

【0080】

そして、第１の情報処理装置１１０は、更新されたモデル判定プログラム２１１を、第２の情報処理装置１２０に送信する（ステップＳ３０７）。第２の情報処理装置１２０は、更新されたモデル判定プログラム２１１を取得した後、当該更新されたモデル判定プログラム２１１を用いて、車両のモデルを判定し、広告を表示させる処理を実行する。

【0081】

このように、本実施形態に係る情報処理システム１００によれば、車両の前方側及び後方側を撮像し、撮像した画像に基づいて、モデルの判定結果が正しいか否かを検証できる。また、モデルの判定結果が誤っている場合には、第１の情報処理装置１１０は、モデル判定プログラム２１１を更新できる。第２の情報処理装置１２０は、更新されたモデル判定プログラム２１１を用いて、モデルの判定処理を実行するため、モデル判定プログラム２１１が更新されるたびに、モデルの判定精度が向上する。

【0082】

以上、本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【0083】

例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。

【0084】

具体的には、例えば、上記実施形態では、情報処理システム１００は、それぞれ独立した第１の情報処理装置１１０と第２の情報処理装置１２０とを備えると説明したが、例えば情報処理システム１００は、第１の情報処理装置１１０及び第２の情報処理装置１２０の双方の機能を有する１つの情報処理装置を備えていてもよい。また、例えば、第２の情報処理装置１２０の機能の一部又は全部は、第１の撮像装置１３０、第２の撮像装置１４０又は表示装置１５０の少なくともいずれかに包含されていてもよい。

【0085】

また、上記実施形態では、情報処理システム１００は、統計データ２１３に基づいて表示装置１５０に広告等の情報を表示すると説明したが、必ずしも情報を表示しなくてもよい。情報処理システム１００は、生成された統計データ２１３を他の用途に用いてもよい。例えば、統計データ２１３は、所定の位置の交通量調査に用いることができる。統計データ２１３を交通量調査に用いることにより、車両のモデルごとの交通量を調査することができる。統計データ２１３は、この他、所定の位置を走行する車両のモデルごとの情報を活用可能な任意の用途に用いることができる。

【符号の説明】

【0086】

１００ 情報処理システム
１１０ 第１の情報処理装置
１１１、１２１、１３２、１４２、１５２ 制御部
１１２、１２２、１３３、１４３、１５３ 記憶部
１１３、１２３、１３４、１４４、１５４ 通信部
１２０ 第２の情報処理装置
１３０ 第１の撮像装置
１３１、１４１ 撮像部
１４０ 第２の撮像装置
１５０ 表示装置
１５１ 表示部
２１１ モデル判定プログラム
２１２ データセット
２１３ 統計データ
２１４ 撮像データ
２１５ 広告ＩＤテーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】