特開 2023-125865 コンピュータプログラム、画像処理装置、画像処理システム、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023125865

(43)【公開日】2023-09-07

(54)【発明の名称】コンピュータプログラム、画像処理装置、画像処理システム、及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230831BHJP

   G06T 7/60 20170101ALI20230831BHJP

   G08G 1/00 20060101ALI20230831BHJP

【ＦＩ】

G06T7/00 350B

G06T7/60 110

G08G1/00 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022030207

(22)【出願日】2022-02-28

(71)【出願人】

【識別番号】000002358

【氏名又は名称】新明和工業株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】渡邉 啓介

(72)【発明者】

【氏名】宇和 直哉

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC04

5H181MA42

5L096BA04

5L096BA18

5L096CA02

5L096FA16

5L096FA67

5L096FA69

5L096HA02

5L096KA04

(57)【要約】

【課題】コンピュータプログラム、画像処理装置、画像処理システム、及び画像処理方法の提供。
【解決手段】車両追跡エリアを時系列的に撮像する撮像装置から撮像画像を取得し、物体検出用の学習モデルを用いて、撮像装置により撮像された各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出し、抽出した複数の検出領域から車両の移動軌跡を導出し、導出した移動軌跡に基づき、所定エリアへの入退場を判定する処理をコンピュータに実行させる。
【選択図】図１０

【特許請求の範囲】

【請求項1】

車両追跡エリアを時系列的に撮像する撮像装置から撮像画像を取得し、
物体検出用の学習モデルを用いて、前記撮像装置により撮像された各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出し、
抽出した複数の検出領域から前記車両の移動軌跡を導出し、
導出した移動軌跡に基づき、所定エリアへの入退場を判定する
処理をコンピュータに実行させるためのコンピュータプログラム。

【請求項2】

前記移動軌跡が、前記所定エリア寄りに設定される第１の基準線と、該第１の基準線から離隔して前記所定エリアの反対側に設定される第２の基準線との間の領域を跨いだか否かを判定することにより、前記所定エリアへの入退場を判定する
処理を前記コンピュータに実行させるための請求項１に記載のコンピュータプログラム。

【請求項3】

最新の撮像画像から遡って所定枚数の撮像画像を順次探索することにより、前記移動軌跡を導出する
処理を前記コンピュータに実行させるための請求項２に記載のコンピュータプログラム。

【請求項4】

前記移動軌跡の始点が前記第１の基準線より前記所定エリアの内側方向に偏倚した位置にあり、前記移動軌跡の終点が前記第２の基準線より前記所定エリアの外側方向に偏倚した位置にある場合、前記所定エリアへの入場と判定し、
前記移動軌跡の始点が前記第２の基準線より前記所定エリアの外側方向に偏倚した位置にあり、前記移動軌跡の終点が前記第１の基準線より前記所定エリアの内側方向に偏倚した位置にある場合、前記所定エリアからの退場と判定する
処理を前記コンピュータに実行させるための請求項３に記載のコンピュータプログラム。

【請求項5】

前記学習モデルは、撮像画像を入力した場合、前記撮像画像に含まれる車両を囲むバウンディングボックスの情報を出力するよう構成されており、
前記学習モデルから出力される情報に基づき、検出対象の車両を含む検出領域を抽出する
処理を前記コンピュータに実行させるための請求項１から請求項４の何れか１つに記載のコンピュータプログラム。

【請求項6】

各検出領域における注目点の軌跡を前記車両の移動軌跡として導出する
処理を前記コンピュータに実行させるための請求項１から請求項５の何れか１つに記載のコンピュータプログラム。

【請求項7】

前記移動軌跡の中途にて前記移動軌跡の始点が存在するエリアまで戻る場合、前記移動軌跡の導出を中止する
処理を前記コンピュータに実行させるための請求項６に記載のコンピュータプログラム。

【請求項8】

車両追跡エリアを時系列的に撮像する撮像装置から撮像画像を取得する取得部と、
物体検出用の学習モデルを用いて、前記撮像装置により撮像された各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出する抽出部と、
抽出した複数の検出領域から前記車両の移動軌跡を導出する導出部と、
導出した移動軌跡に基づき、所定エリアへの入退場を判定する判定部と
を備える画像処理装置。

【請求項9】

車両追跡エリアを時系列的に撮像する撮像装置と、
前記撮像装置から撮像画像を取得する取得部、
物体検出用の学習モデルを用いて、前記取得部より取得した各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出する抽出部、
抽出した複数の検出領域から前記車両の移動軌跡を導出する導出部、及び
導出した移動軌跡に基づき、所定エリアへの入退場を判定する判定部
を備える画像処理装置と
を含む画像処理システム。

【請求項10】

車両追跡エリアを時系列的に撮像する撮像装置から撮像画像を取得し、
物体検出用の学習モデルを用いて、前記撮像装置により撮像された各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出し、
抽出した複数の検出領域から前記車両の移動軌跡を導出し、
導出した移動軌跡に基づき、所定エリアへの入退場を判定する
処理をコンピュータにより実行する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータプログラム、画像処理装置、画像処理システム、及び画像処理方法に関する。

【背景技術】

【0002】

近年、道路を走行する車両の数をカウントするトラフィックカウンタが利用されている。トラフィックカウンタとしては、例えば、磁気センサを用いたもの、監視カメラを用いたもの、超音波センサを用いたもの等が利用されている。例えば、特許文献１には、深層学習により得られた学習モデルを用いて、固定型カメラより得られる画像から、走行中の車両を検出する手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１５４０２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１は、走行中の車両を検出する方法を開示するものの、所定エリアへの入退場を判定する構成については開示していない。

【0005】

本発明は、所定エリアへの入退場を判定することができるコンピュータプログラム、画像処理装置、画像処理システム、及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係るコンピュータプログラムは、車両追跡エリアを時系列的に撮像する撮像装置から撮像画像を取得し、物体検出用の学習モデルを用いて、前記撮像装置により撮像された各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出し、抽出した複数の検出領域から前記車両の移動軌跡を導出し、導出した移動軌跡に基づき、所定エリアへの入退場を判定する処理をコンピュータに実行させるためのコンピュータプログラムである。

【0007】

本発明の一態様に係る画像処理装置は、車両追跡エリアを時系列的に撮像する撮像装置から撮像画像を取得する取得部と、物体検出用の学習モデルを用いて、前記撮像装置により撮像された各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出する抽出部と、抽出した複数の検出領域から前記車両の移動軌跡を導出する導出部と、導出した移動軌跡に基づき、所定エリアへの入退場を判定する判定部とを備える。

【0008】

本発明の一態様に係る画像処理システムは、車両追跡エリアを時系列的に撮像する撮像装置と、前記撮像装置から撮像画像を取得する取得部、物体検出用の学習モデルを用いて、前記取得部より取得した各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出する抽出部、抽出した複数の検出領域から前記車両の移動軌跡を導出する導出部、及び導出した移動軌跡に基づき、所定エリアへの入退場を判定する判定部を備える画像処理装置とを含む。

【0009】

本発明の一態様に係る画像処理方法は、車両追跡エリアを時系列的に撮像する撮像装置から撮像画像を取得し、物体検出用の学習モデルを用いて、前記撮像装置により撮像された各時点の撮像画像の夫々について物体検出を行い、検出対象の車両を含む検出領域を各時点の撮像画像から抽出し、抽出した複数の検出領域から前記車両の移動軌跡を導出し、導出した移動軌跡に基づき、所定エリアへの入退場を判定する処理をコンピュータにより実行する。

【発明の効果】

【0010】

本願によれば、所定エリアへの入退場を判定することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１に係る車両追跡システムの全体構成を示す模式図である。

【図2】画像処理装置の内部構成を説明するブロック図である。

【図3】画像処理装置が撮像装置から取得する撮像画像の一例を示す模式図である。

【図4】学習モデルの構成例を示す模式図である。

【図5】学習モデルによるオブジェクトの検出例を示す模式図である。

【図6】車両位置の追跡方法を説明する説明図である。

【図7】車両の移動軌跡の導出例を示す模式図である。

【図8】基準線の設定例を説明する説明図である。

【図9】駐車エリアへの入退場の判定方法を説明する説明図である。

【図10】画像処理装置が実行する入場判定の処理手順を説明するフローチャートである。

【図11】画像処理装置が実行する退場判定の処理手順を説明するフローチャートである。

【図12】駐車台数の表示例を示す模式図である。

【図13】車両の検出位置が振動する場合の検出例を示す模式図である。

【図14】実施の形態２における入場判定の処理手順を説明するフローチャートである。

【図15】実施の形態２における退場判定の処理手順を説明するフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
図１は実施の形態１に係る車両追跡システムの全体構成を示す模式図である。本実施の形態では、ごみ処理施設において塵芥収集車などの車両を追跡するための車両追跡システム１について説明する。以下の説明において、塵芥収集車と塵芥収集車以外の一般車両とを区別して説明する必要がない場合、単に車両とも記載する。

【0013】

ごみ処理施設は、一般的には、車両が駐車する駐車エリアを備えたプラットフォーム、駐車エリアに駐車した車両から排出されるごみを一時的に貯留するごみピット、ごみピット内のごみを焼却炉へ搬送する搬送クレーン、搬送クレーンにより搬送されてきたごみを焼却する焼却炉などにより構成される。本実施の形態に係る車両追跡方法は、このような焼却炉を備えたごみ処理施設に適用可能である。また、本実施の形態に係る車両追跡方法は、焼却炉を備えたごみ処理施設に限らず、プラットフォームを備えた中継施設や選別施設に適用可能である。

【0014】

図１には、ごみ処理施設のうち、プラットフォームＰＦと、プラットフォームＰＦに隣接するごみピットＧＰとが示されている。このプラットフォームＰＦは、塵芥収集車が駐車するための２台分の駐車スペースＰＳ１，ＰＳ２と、一般車両が駐車するための１台分の駐車スペースＰＳ３とが設けられた駐車エリアＰＡを備えている。また、プラットフォームＰＦは、駐車エリアＰＡに隣接して設けられた徐行エリアＳＡを備えている。ごみ処理施設内に入場した塵芥収集車及び一般車両は、徐行エリアＳＡを徐行しながら駐車エリアＰＡまで進み、各車両用に設けられた駐車スペースＰＳ１～ＰＳ３に駐車して、収集したごみをごみピットＧＰへ排出する作業を行う。なお、プラットフォームＰＦが備える駐車スペースの数は、図１に示すものに限定されず、ごみ処理施設に応じて適宜設計される。

【0015】

車両追跡システム１は、プラットフォームＰＦを俯瞰的に撮像する撮像装置１２０と、撮像装置１２０より時系列的に得られる撮像画像を解析して、車両の位置を追跡する画像処理装置１００とを備える。すなわち、本実施の形態では、プラットフォームＰＦが車両追跡エリアとして設定されており、プラットフォームＰＦ内での各車両の位置を画像処理装置１００により追跡するよう構成されている。

【0016】

撮像装置１２０は、プラットフォームＰＦを斜め上方から撮像するようにごみ処理施設内に設置される。撮像装置１２０の撮像範囲には、プラットフォームＰＦの全体が含まれている必要はなく、駐車エリアＰＡと徐行エリアＳＡとの間の境界を含む一定の領域が含まれていればよい。

【0017】

撮像装置１２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子、タイミングジェネレータ（ＴＧ）やアナログ信号処理回路（ＡＦＥ）などが実装されたドライバ回路を備える。撮像装置１２０のドライバ回路は、ＴＧから出力されるクロック信号に同期して固体撮像素子から出力されるＲＧＢ各色の信号を取り込み、ＡＦＥにおいて、ノイズ除去、増幅、ＡＤ変換などの必要な処理を施すことにより、デジタル形式の画像データ（撮像画像）を時系列的に生成する。撮像装置１２０のドライバ回路は、生成した画像データを画像処理装置１００へ伝送する。画像データの伝送方式は、有線方式であってもよく、無線方式であってもよい。

【0018】

画像処理装置１００は、撮像装置１２０から取得した撮像画像を解析し、プラットフォームＰＦ内での車両の位置を追跡する。画像処理装置１００は、プラットフォームＰＦ内での車両の位置を追跡することにより、駐車エリアＰＡにおける車両の駐車台数をカウントすることができる。

【0019】

図２は画像処理装置１００の内部構成を説明するブロック図である。画像処理装置１００は、専用又は汎用のコンピュータであり、制御部１０１、記憶部１０２、操作部１０３、入力部１０４、出力部１０５、及び通信部１０６を備える。

【0020】

制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１０１が備えるＲＯＭには、画像処理装置１００が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１０１内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部１０２に記憶された各種コンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、本実施の形態における画像処理装置１００としての機能を実現する。制御部１０１が備えるＲＡＭには、演算の実行中に利用されるデータ等が一時的に記憶される。

【0021】

制御部１０１は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、代替的に、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路又は制御回路であってもよい。また、制御部１０１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

【0022】

記憶部１０２は、ハードディスク、フラッシュメモリなどを用いた記憶装置を備える。記憶部１０２には、制御部１０１によって実行されるコンピュータプログラム、外部から取得した各種データ、画像処理装置１００の内部にて生成した各種データ等が記憶される。

【0023】

記憶部１０２に記憶されるコンピュータプログラムは、撮像装置１２０より得られる複数の時点の撮像画像の夫々から追跡すべき車両を検出し、検出結果に基づき、車両追跡エリア内での車両の位置を追跡する処理をコンピュータに実行させるための車両追跡プログラムＰＧを含む。車両追跡プログラムＰＧを含むコンピュータプログラムは、コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体ＲＭにより提供される。記録媒体ＲＭは、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カードなどの可搬型メモリである。制御部１０１は、図に示していない読取装置を用いて、記録媒体ＲＭから各種プログラムを読み取り、読み取った各種プログラムを記憶部１０２に記憶させる。代替的に、車両追跡プログラムＰＧを含むコンピュータプログラムは、通信により提供されてもよい。

【0024】

また、記憶部１０２には、撮像画像を入力した場合、当該撮像画像に含まれる車両に関する情報を出力するよう学習された学習モデルＭＤが記憶される。学習モデルＭＤには、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）などの物体検出用の学習モデルが用いられる。代替的に、学習モデルＭＤは、ＳｅｇＮｅｔ、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションを行う学習モデルであってもよい。記憶部１０２には、学習モデルＭＤの層構造や各層が備えるノードの情報などが記憶される。

【0025】

操作部１０３は、キーボードやマウスなどの入力デバイスにより構成されており、各種の操作を受付ける。制御部１０１は、操作部１０３を通じて受付けた操作に基づき、適宜の処理を実行する。なお、本実施の形態では、画像処理装置１００が操作部１０３を備える構成としたが、操作部１０３は必須ではなく、外部に接続された機器や通信部１０６を介して操作を受付ける構成であってもよい。

【0026】

入力部１０４は、撮像装置１２０を接続するための入力インタフェースを備える。入力部１０４が備える入力インタフェースは、有線方式のインタフェースであってもよく、無線方式のインタフェースであってもよい。有線方式のインタフェースとして、例えば、ＤＶＩ（Digital Visual Interface）やＨＤＭＩ（High-Definition Multimedia Interface、登録商標）などのインタフェースを用いることができる。また、無線方式のインタフェースとして、ワイヤレスＨＤＭＩなどのインタフェースを用いることができる。入力部１０４を通じて入力された画像データ（撮像装置１２０）は、記憶部１０２に記憶される。

【0027】

出力部１０５は、液晶モニタなどの表示装置１４０を接続するための出力インタフェースを備える。出力部１０５が備える出力インタフェースは、アナログ形式の映像信号を出力する出力インタフェースであってもよく、デジタル形式の映像信号を出力する出力インタフェースであってもよい。出力部１０５は、例えば、駐車エリアＰＡにおける駐車台数を表示装置１４０に表示させるべく、表示データを表示装置１４０へ出力する。本実施の形態では、画像処理装置１００の外部に表示装置１４０を接続する構成としたが、画像処理装置１００が表示装置１４０を搭載するものであってもよい。

【0028】

通信部１０６は、外部機器との間で各種のデータを送受信する通信インタフェースを備える。外部機器は、例えば、外部のサーバ装置やゴミ処理施設の作業員が形態する携帯する携帯端末などである。通信部１０６は、外部機器と通信するために、例えば、ＷｉＦｉ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の無線通信の通信規格に準じた通信インタフェースを備える。

【0029】

図３は画像処理装置１００が撮像装置１２０から取得する撮像画像の一例を示す模式図である。上述したように、撮像装置１２０は、プラットフォームＰＦの斜め上方に設置されており、プラットフォームＰＦを俯瞰的に撮像する。このようにして撮像される撮像画像には、例えば図３に示すように、駐車エリアＰＡ及び徐行エリアＳＡを含むプラットフォームＰＦの略全域と、ごみピットＧＰの一部とが含まれる。図３に示す撮像画像は、駐車エリアＰＡが備える３台分の駐車スペースＰＳ１～ＰＳ３のうち、手前の駐車スペースＰＳ１には塵芥収集車ＧＴ１が駐車し、奥の駐車スペースＰＳ３には一般車両Ｃ１が駐車している様子を示している。

【0030】

プラットフォームＰＦに駐車した車両の台数をカウントするだけなら、車両正面から撮像した撮像画像を用いることも可能である。しかしながら、車両正面から撮像した撮像画像を用いた場合、一般車両と塵芥収集車とを区別して検出することが困難となる。一般車両と区別して塵芥収集車を検出するためには、塵芥収集車の特徴であるキャブ及び塵芥収容箱の双方が撮像画像に含まれている必要がある。このため、本実施の形態では、車両の斜め上から撮像した撮像画像を用いて、車両検出を行う。

【0031】

画像処理装置１００は、撮像装置１２０より撮像画像を取得し、取得した撮像画像を解析することにより、追跡すべき車両を検出する。本実施の形態では、撮像画像の解析に物体検出用の学習モデルＭＤが用いられる。

【0032】

以下、学習モデルＭＤによる検出方法について説明する。
図４は学習モデルＭＤの構成例を示す模式図である。学習モデルＭＤは、ＹＯＬＯやＳＳＤなどの物体検出用の学習モデルであり、入力層、中間層、及び出力層を備える。本実施の形態において、検出対象の物体（オブジェクト）は、塵芥収集車及び一般車両である。学習モデルＭＤの入力層には、撮像装置１２０より時系列的に得られる撮像画像が順次入力される。学習モデルＭＤの中間層は、畳み込み層、プーリング層、及び全結合層などを備え、入力画像に含まれるオブジェクトらしき領域の候補を選定するための演算や入力画像から抽出される特徴量に基づきオブジェクトを識別するための演算等を実行する。学習モデルＭＤの出力層は、中間層による演算結果に基づき、オブジェクトの検出結果を出力する。検出結果は、例えば、オブジェクトを囲むバウディングボックスの情報、バウディングボックスで囲んだオブジェクトのクラス名、及び検出信頼度を示すスコアを含む。検出信頼度は、バウンディングボックスが何らかのオブジェクトを含んでいる確率（０から１の値）と、バウンディングボックスと正解領域との重複割合（０から１の値）との積により表される。

【0033】

学習モデルＭＤは、塵芥収集車又は一般車両をオブジェクトとして含む多数の画像と、各画像に含まれるオブジェクトのクラス名（塵芥収集車又は一般車両）と、オブジェクトを囲むバウンディングボックスの情報（例えば、中心座標、幅、高さ）とを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。学習モデルＭＤは、画像処理装置１００の内部で生成されてもよく、外部サーバにおいて生成されてもよい。生成された学習モデルＭＤは画像処理装置１００の記憶部１０２に記憶される。この場合、画像処理装置１００の制御部１０１は、解析対象の撮像画像を学習モデルＭＤに入力し、学習モデルＭＤを用いた演算を実行することによって、オブジェクトの検出結果を取得する。

【0034】

代替的に、学習モデルＭＤは外部サーバに記憶されてもよい。この場合、画像処理装置１００は、撮像装置１２０より取得した撮像画像を外部サーバへアップロードして、学習モデルＭＤによる演算を依頼し、学習モデルＭＤによる演算結果（オブジェクトの検出結果）を外部サーバから取得すればよい。

【0035】

図５は学習モデルＭＤによるオブジェクトの検出例を示す模式図である。画像処理装置１００は、撮像装置１２０より取得した撮像画像を学習モデルＭＤに入力し、学習モデルＭＤによる演算を実行することにより、これらのオブジェクトを囲むバウンディングボックスの情報、バウディングボックスで囲んだオブジェクトのクラス名、及び検出信頼度を示すスコアの情報を取得する。図５の撮像画像には、検出対象のオブジェクトとして、塵芥収集車ＧＴ１及び一般車両Ｃ１が含まれている。画像処理装置１００は、このような撮像画像を学習モデルＭＤに入力することによって、塵芥収集車ＧＴ１を囲むバウンディングボックスＢＯＸ１の情報や一般車両Ｃ１を囲むバウンディングボックスＢＯＸ２の情報などを取得する。

【0036】

ここで、バウンディングボックスの情報とは、バウンディングボックスが示す矩形領域を画定するための情報であり、例えば、矩形領域の中心座標、幅、及び高さにより定義される。バウンディングボックスＢＯＸ１の中心座標を（ｘ１，ｙ１）、幅をｗ１、高さをｈ１としたとき、バウンディングボックスＢＯＸ１は、（ｘ１，ｙ１，ｗ１，ｈ１）により表される。同様に、バウンディングボックスＢＯＸ２の中心座標を（ｘ２，ｙ２）、幅をｗ２、高さをｈ２としたとき、バウンディングボックスＢＯＸ２は、（ｘ２，ｙ２，ｗ２，ｈ２）により表される。本実施の形態では、矩形領域の中心座標、幅、及び高さにより、バウンディングボックスを定義したが、矩形領域の中心座標に代えて、矩形領域の左上隅の座標を採用してもよい。

【0037】

図５に示す検出結果は、バウンディングボックスＢＯＸ１で囲んだオブジェクトのクラス名が「Garbage Truck（塵芥収集車）」であり、その検出信頼度が「０．９８」であることを示している。また、バウンディングボックスＢＯＸ２で囲んだオブジェクトのクラス名は「Car（一般車両）」であり、その検出信頼度が「０．９７」であることを示している。

【0038】

画像処理装置１００は、撮像装置１２０より得られる各時点の撮像画像を学習モデルＭＤに順次入力し、各撮像画像から検出対象である車両を検出することにより、車両追跡エリア内での車両の位置を追跡する。各時点の撮像画像から得られるバウディングボックスの情報等は記憶部１０２に随時記憶される。

【0039】

図６は車両位置の追跡方法を説明する説明図である。本実施の形態では、最新の検出領域から遡って所定数の検出領域を探索することにより、車両の移動軌跡を導出する。具体的には、画像処理装置１００は、以下の処理を行う。

【0040】

画像処理装置１００は、時刻ｔ＝ｔ１，ｔ２，…，ｔｎの各時点で撮像された撮像画像（フレーム）を学習モデルＭＤに順次入力し、学習モデルＭＤから得られるバウディングボックスＢＯＸ１，ＢＯＸ２，…，ＢＯＸｎの情報を検出領域の情報として記憶部１０２に記憶させる。画像処理装置１００は、最新のバウディングボックスＢＯＸｎから遡って所定数（例えば２０個）のバウディングボックスＢＯＸｎ，ＢＯＸｎ－１，…，ＢＯＸｎ－１９を抽出する。各バウディングボックスＢＯＸｎ，ＢＯＸｎ－１，…，ＢＯＸｎ－１９の中心座標をＰｎ，Ｐｎ－１，…，Ｐｎ－１９とする。

【0041】

画像処理装置１００は、最新のバウディングボックスＢＯＸｎに対して検索エリアＲＡを設定する。画像処理装置１００は、バウディングボックスＢＯＸｎの中心座標Ｐｎを基準として検索エリアＲＡを設定することができる。図６に示すように、Ｐｎに対し、Ｐｎ－１，…，Ｐｎ－１９が左下方向に延びている場合、例えば、Ｐｎから右方向及び上方向にそれぞれ５０画素、左方向に３５０画素、下方向に２５０画素だけ離隔した境界線によって切り取られる矩形領域を検索エリアＲＡとして設定する。

【0042】

画像処理装置１００は、抽出した所定数のバウディングボックスＢＯＸｎ，ＢＯＸｎ－１，…，ＢＯＸｎ－１９のうち、中心座標Ｐｎ，Ｐｎ－１，…，Ｐｎ－１９が検索エリアＲＡの内側に入っているものを車両位置の追跡に用いる検出領域として選別する。図６の例では、中心座標Ｐｎ～Ｐｎ－１７は検索エリアＲＡの内側に入っており、バウディングボックスＢＯＸｎ～ＢＯＸｎ－１７は車両位置の追跡に用いる検出領域として選別される。一方、中心座標Ｐｎ－１８，Ｐｎ－１９は検索エリアＲＡから外れているので、バウディングボックスＢＯＸｎ－１８，ＢＯＸｎ－１９は車両位置の追跡に用いる検出領域から除外される。

【0043】

図６の例では、最新のバウディングボックスＢＯＸｎから遡って２０個分のバウディングボックスを抽出する構成としたが、バウディングボックスを抽出する数は、撮像装置１２０の画角や施設の大きさ等に応じて適宜設定されるとよい。また、検索エリアＲＡのサイズも上記に限定されず、撮像装置１２０の画角や施設の大きさ等に応じて適宜設定されるとよい。

【0044】

画像処理装置１００は、選別した検出領域に基づき車両の移動軌跡を導出する。図７は車両の移動軌跡の導出例を示す模式図である。画像処理装置１００は、車両位置の追跡に用いる検出領域としてバウディングボックスＢＯＸｎ～ＢＯＸｎ－１７を選別した場合、これらの中心座標Ｐｎ～Ｐｎ－１７を車両の移動軌跡として抽出する。本実施の形態では、最新の撮像画像から遡って検出領域を抽出しているので、中心座標Ｐｎが探索の開始点となり、中心座標Ｐｎ－１７が探索の終了点となる。この場合、中心座標Ｐｎ－１７，Ｐｎ－１６，…，Ｐｎ－１，Ｐｎを順に結ぶ軌跡が車両の移動軌跡を表す。

【0045】

本実施の形態では、検出領域の中心座標を車両の位置として特定する構成としたが、中心座標に限らず、中心から偏倚した点の座標を車両の位置として特定してもよく、学習モデルＭＤにより車両として検出された領域の重心を車両の位置として特定してもよい。

【0046】

上述したように、選別したバウンディングボックスの中心座標を追跡することにより、車両の移動軌跡を導出することが可能である。しかしながら、本実施の形態では、車両の斜め上方向から撮像した撮像画像を用いているため、２台の車両が左右に並ぶ場合、奥側の車両が手前側の車両の影に隠れてしまう場合がある。この場合、種別判別に必要な情報の取得が困難となり、奥側の車両を検出できない可能性がある。このため、駐車エリアＰＡと徐行エリアＳとの間の境界線を跨いだか否かにより入退場を判定する手法を採用すると、境界線を跨ぐ直前タイミングや境界線を跨いだ直後のタイミングで車両の検出漏れが発生した場合に、入退場した車両をカウントすることができないという問題が生じる。

【0047】

そこで、本実施の形態では、車両の移動軌跡を追跡すると共に、その移動軌跡が2本の基準線の間の領域を跨いだか否かを判定することにより、駐車エリアＰＡへの入退場を判定する。

【0048】

図８は基準線の設定例を説明する説明図である。本実施の形態では、互いに離隔して設けられる２本の基準線ＢＬ１，ＢＬ２が設定される。以下では、両者を区別して説明する場合、駐車エリアＰＡ寄りの基準線ＢＬ１を第１の基準線ＢＬ１と称し、第１の基準線ＢＬ１から離隔して駐車エリアＰＡの反対側に設けられる基準線ＢＬ２を第２の基準線と称する。参考として示す基準線ＢＬ０は、第１の基準線ＢＬ１及び第２の基準線ＢＬ２の双方から等距離にある基準線である。

【0049】

駐車判定をするために、基準線ＢＬ１，ＢＬ２は、駐車エリアＰＡの近くに設けられることが好ましい。その一方で、奥側の塵芥収集車ＧＴ２が手前側の塵芥収集車ＧＴ１の影に隠れてしまって検出できなかった場合、移動軌跡が基準線ＢＬ１，ＢＬ２の間の領域を跨いだか否かを判定することができない可能性が生じるので、基準線ＢＬ１，ＢＬ２は、駐車エリアＰＡからある程度離隔した位置（徐行スペース側に離隔した位置）に設けられることが好ましい。

【0050】

より具体的には、以下の観点に基づき、基準線ＢＬ１，ＢＬ２を設けることが好ましい。（１）第１の基準線ＢＬ１に関して、駐車スペースＰＳ１～ＰＳ３で駐車する全ての車両の検出ボックスの中心（バウンディングボックスの中心座標）は、第１の基準線ＢＬ１より駐車エリアＰＡ側となることが好ましい。（２）手前側のレーンに別の車両が駐車していても、第１の基準線ＢＬ１より駐車エリアＰＡ側で検出ボックスの中心が確認できることが好ましい。

【0051】

（３）第２の基準線ＢＬ２に関して、駐車スペースＰＳ１～ＰＳ３の車両が徐行エリアＳＡに移動する際、手前側のレーンに別の車両が駐車していても、徐行エリアＳＡへ移動する車両の検出ボックスの中心が第２の基準線ＢＬ２より徐行エリアＳＡ側で確認できることが好ましい。

【0052】

（４）基準線ＢＬ１，ＢＬ２の全体的な位置に関して、徐行エリアＳＡで検出される車両の検出ボックスの中心が基準線ＢＬ１，ＢＬ２を跨がないように、２本の基準線ＢＬ１，ＢＬ２は共になるべく駐車エリアＰＡ寄りに位置することが好ましい。

【0053】

（５）基準線ＢＬ１，ＢＬ２間の領域の幅に関して、車両の移動速度と撮像装置１２０のフレームレートとを基に、基準線ＢＬ１，ＢＬ２間の領域に、車両の移動軌跡を構成する点が少なくとも１つ含まれていることが好ましい。

【0054】

本実施の形態では、上記（１）～（５）の観点に基づき、２本の基準線ＢＬ１，ＢＬ２が設定される。

【0055】

図９は駐車エリアＰＡへの入退場の判定方法を説明する説明図である。本実施の形態に係る画像処理装置１００は、導出した車両の移動軌跡が第１の基準線ＢＬ１と第２の基準線ＢＬ２との間の領域を跨いだか否かを判定することにより、駐車エリアＰＡへの入退場を判定する。

【0056】

より詳細には、探索開始点（図９の例ではＰｎ）が第１の基準線ＢＬ１よりも更に内側にあり、探索終了点（図９の例ではＰｎ－１７）が第２の基準線ＢＬ２よりも更に外側にある場合、駐車エリアＰＡへの入場と判定する。逆に、探索開始点が第２の基準線ＢＬ２よりも更に外側にあり、探索終了点が第１の基準線ＢＬ１よりも更に内側にある場合、駐車エリアＰＡからの退場と判定する。

【0057】

画像処理装置１００は、車両位置を追跡した結果、車両が徐行エリアＳＡ側から第２の基準線ＢＬ２と第１の基準線ＢＬ１との間の領域を跨いだと判定した場合、駐車と判定して駐車台数を＋１だけ加算し、車両が駐車エリアＰＡ側から第１の基準線ＢＬ１と第２の基準線ＢＬ２との間の領域を跨いだと判定した場合、駐車エリアＰＡからの退場と判定して駐車台数を１だけ減算することにより、駐車エリアＰＡにおける駐車台数をカウントすることができる。

【0058】

また、画像処理装置１００は、学習モデルＭＤの演算結果から、物体のクラス（塵芥収集車／一般車両）を識別することができるので、塵芥収集車毎に駐車台数をカウントしてもよく、一般車両毎に駐車台数をカウントしてもよい。

【0059】

以下、画像処理装置１００の動作について説明する。
図１０は画像処理装置１００が実行する入場判定の処理手順を説明するフローチャートである。画像処理装置１００の制御部１０１は、入力部１０４を通じてフレーム単位の撮像画像を取得した場合（ステップＳ１０１）、取得した撮像画像を学習モデルＭＤに入力し、学習モデルＭＤによる演算を実行する（ステップＳ１０２）。ステップＳ１０１で取得した撮像画像を最新のフレームとする。制御部１０１は、取得した最新のフレームについて学習モデルＭＤによる演算を実行することで、そのフレームに含まれる車両を検出し、バウンディングボックスの情報などを取得する。制御部１０１は、最新のフレームで取得したバウンディングボックスの情報を検出領域の情報として記憶部１０２に記憶させる（ステップＳ１０３）。

【0060】

制御部１０１は、最新のフレームから取得した検出領域の中心座標を求め、探索開始点が第１の基準線ＢＬ１より更に駐車エリアＰＡの内側にあるか否かを判断する（ステップＳ１０４）。探索開始点が第１の基準線ＢＬ１より内側にない場合（Ｓ１０４：ＮＯ）、制御部１０１は、処理をステップＳ１０１に戻す。

【0061】

探索開始点が第１の基準線ＢＬ１より内側にある場合（Ｓ１０４：ＹＥＳ）、制御部１０１は、所定数（例えば２０個）の検出領域の情報を記憶部１０２から読み出す（ステップＳ１０５）。制御部１０１は、最新のフレームから抽出した検出領域の中心座標を基準として、検索エリアを設定し、設定した検索エリアの範囲内に含まれる検出領域を選別する（ステップＳ１０６）。

【0062】

制御部１０１は、選別した検出領域から中心距離が最小となる検出領域を順次選択することにより、車両の移動軌跡を導出する（ステップＳ１０７）。すなわち、制御部１０１は、最新のフレームから抽出した検出領域から順に中心間距離が最小となる検出領域を順次選択すればよい。なお、中心間距離が最小となる場合であっても、その距離が閾値以上である場合には、選択から除外してもよい。

【0063】

次いで、制御部１０１は、探索終了点が第２の基準線ＢＬ２より外側にあるか否かを判断する（ステップＳ１０８）。探索終了点が第２の基準線ＢＬ２より外側にない場合（Ｓ１０８：ＮＯ）、制御部１０１は、処理をステップＳ１０１に戻す。

【0064】

探索終了点が第２の基準線ＢＬ２より外側にある場合（Ｓ１０８：ＹＥＳ）、制御部１０１は、駐車エリアＰＡへの入場と判定し（ステップＳ１０９）、駐車台数を＋１だけ加算する（ステップＳ１１０）。

【0065】

制御部１０１は、カウントした駐車台数の情報を出力部１０５より出力し、表示装置１４０に表示させる（ステップＳ１１１）。

【0066】

図１１は画像処理装置１００が実行する退場判定の処理手順を説明するフローチャートである。退場判定の処理手順は入場判定の処理手順と同様である。制御部１０１は、図１０のフローチャートと同様の手順にて、ステップＳ１２４で探索開始点が第２の基準線ＢＬ２より外側であるか否かを判断し、ステップＳ１２８で探索終了点が第１の基準線より内側であるか否かを判断する。探索開始点が第２の基準線ＢＬ２より外側であり（Ｓ１２４：ＹＥＳ）、探索終了点が第１の基準線ＢＬ１より内側であると判断した場合（Ｓ１２８：ＹＥＳ）、制御部１０１は、駐車エリアからの退場と判定し（ステップＳ１２９）、駐車台数を１だけ減算する（ステップＳ１３０）。

【0067】

制御部１０１は、カウントした駐車台数の情報を出力部１０５より出力し、表示装置１４０に表示させる（ステップＳ１３１）。

【0068】

図１２は駐車台数の表示例を示す模式図である。図１２は、車種（塵芥収集車／一般車両）毎に駐車台数を表示した例を示している。

【0069】

以上のように、本実施の形態では、駐車エリアＰＡと徐行エリアＳＡとを区画する境界線ＢＬ０に対し、駐車エリアＰＡの側に偏倚した第１の基準線ＢＬ１と第２の基準線ＢＬ２とを設定し、車両の移動軌跡が第１の基準線ＢＬ１と第２の基準線ＢＬ２との間の領域を跨いだと判断した場合に、駐車エリアＰＡへの入退場を判定する。よって、１本の境界線を用いて判定する場合と比較して、検出位置のゆらぎに起因した誤検出を回避することができ、精度よく入退場を判定することができる。

【0070】

（実施の形態２）
実施の形態２では、車両の移動軌跡が延びる方向に対して車両の検出位置が振動する場合、移動軌跡の導出を停止する構成について説明する。

【0071】

図１３は車両の検出位置が振動する場合の検出例を示す模式図である。図１３の例は、時刻ｔ＝ｔｎの撮像画像（最新のフレーム）から検出されたバウンディングボックスＢＯＸの中心座標をＰｎとし、このＰｎを起点として過去のフレームを探索していった結果、Ｐｎ－１４まで探索された結果を示している。探索開始点（Ｐｎ）は、第１の基準線ＢＬ１よりも内側にあり、探索終了点（Ｐｎ－１４）は、第２の基準線ＢＬ２よりも外側にあるので、図１３の例は、実施の形態１では駐車エリアＰＡへの入場と判定されるケースを示している。

【0072】

しかしながら、図１３の例では、Ｐｎから探索を開始して、Ｐｎ－４まで進んだ所で折り返し、Ｐｎ－７で第１の基準線ＢＬ１の内側まで戻っている。この場合、Ｐｎ－７からＰｎ－１４の移動軌跡に基づき、駐車と判定されているはずであるため、Ｐｎ－７を起点とした移動軌跡と、Ｐｎを起点とした移動軌跡との両方で駐車と判定した場合、駐車台数を余分にカウントしてしまう虞がある。

【0073】

そこで、実施の形態２に係る画像処理装置１００は、探索開始点から順に撮像画像を探索していった結果、探索開始点と同じ領域に戻った場合、その時点で探索を中止する処理を行う。

【0074】

図１４は実施の形態２における入場判定の処理手順を説明するフローチャートである。画像処理装置１００の制御部１０１は、実施の形態１と同様の手順にてステップＳ２０１～Ｓ２０７の処理を実行し、設定された検索範囲内で、中心間距離が最小となる検出領域を順次選択する。その結果、制御部１０１は、探索の途中で第１の基準線ＢＬ１よりも内側に検出領域の中心座標が戻るか否かを判断する（ステップＳ２０８）。

【0075】

探索の途中で第１の基準線ＢＬ１よりも内側に戻らないと判断した場合（Ｓ２０８：ＮＯ）、制御部１０１は、実施の形態１と同様の手順にてステップＳ２０９～Ｓ２１２の手順を実行する。

【0076】

一方、探索の途中で第１の基準線ＢＬ１よりも内側に戻ると判断した場合（Ｓ２０８：ＹＥＳ）、制御部１０１は、その時点で探索を中止し、本フローチャートによる処理を終了する。このとき、ステップＳ２０５で読み出した検出領域の情報は消去される。

【0077】

図１５は実施の形態２における退場判定の処理手順を説明するフローチャートである。画像処理装置１００の制御部１０１は、実施の形態１と同様の手順にてステップＳ２２１～Ｓ２２７の処理を実行し、設定された検索範囲内で、中心間距離が最小となる検出領域を順次選択する。その結果、制御部１０１は、探索の途中で第２の基準線ＢＬ２よりも外側に検出領域の中心座標が戻るか否かを判断する（ステップＳ２２８）。

【0078】

探索の途中で第２の基準線ＢＬ２よりも外側に戻らないと判断した場合（Ｓ２２８：ＮＯ）、制御部１０１は、実施の形態１と同様の手順にてステップＳ２２９～Ｓ２３２の手順を実行する。

【0079】

一方、探索の途中で第２の基準線ＢＬ２よりも内側に戻ると判断した場合（Ｓ２２８：ＹＥＳ）、制御部１０１は、その時点で探索を中止し、本フローチャートによる処理を終了する。このとき、ステップＳ２２５で読み出した検出領域の情報は消去される。

【0080】

以上のように、実施の形態２では、探索の途中で探索開始点の位置まで戻る場合には、探索を中止するので、駐車台数の重複カウントを回避することができる。

【0081】

本実施の形態では、ごみ処理施設に設けられた駐車エリアＰＡへの入退場の判定方法について説明したが、本実施の形態の判定方法は、ゴミ処理施設の駐車エリアに限らず、平面駐車場、立体駐車場を含む任意のエリアへの入退場の判定方法に用いることができる。また、塵芥収集車及び一般車両に限らず、カーシェアリングに用いられる車両の台数や自動運転に用いられる車両の台数をカウントするために、本実施の形態の手法を用いてもよい。

【0082】

また、本実施の形態では、学習モデルＭＤを用いて車両を検出する構成としたが、学習モデルＭＤとテンプレートマッチングとを併用して車両を検出する構成としてもよい。例えば、学習モデルＭＤにより抽出されるバウンディングボックスの情報を参照して、撮像画像からバウンディングボックス内の画像を切り出すことによりテンプレート画像を生成し、このテンプレート画像を用いたテンプレートマッチングを補足的に用いて、車両検出を行ってもよい。この場合、ある特定のフレームにおいて、学習モデルＭＤによる検出漏れが発生した場合であっても、テンプレートマッチングの結果を用いることにより、検出漏れを回避することが可能となる。

【0083】

今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0084】

１ 車両追跡システム
１００ 画像処理装置
１０１ 制御部
１０２ 記憶部
１０３ 操作部
１０４ 入力部
１０５ 出力部
１０６ 通信部
１２０ 撮像装置
１４０ 表示装置
ＰＧ 車両追跡プログラム
ＭＤ 学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】