特許 7704463 物体照合システム、物体照合方法および物体照合プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-30

(45)【発行日】2025-07-08

(54)【発明の名称】物体照合システム、物体照合方法および物体照合プログラム

(51)【国際特許分類】

   G06N 10/60 20220101AFI20250701BHJP

   G06V 20/54 20220101ALI20250701BHJP

【ＦＩ】

G06N10/60

G06V20/54

【請求項の数】 10

(21)【出願番号】P 2023567657

(86)(22)【出願日】2022-11-29

(86)【国際出願番号】 JP2022043892

(87)【国際公開番号】W WO2023112658

(87)【国際公開日】2023-06-22

【審査請求日】2024-06-05

(31)【優先権主張番号】P 2021201521

(32)【優先日】2021-12-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】伊原 康行

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０２１－１３５５４０（ＪＰ，Ａ）

【文献】特開２０１８－０７８４３１（ＪＰ，Ａ）

【文献】特開２０１６－１７０６０３（ＪＰ，Ａ）

【文献】LUCAS, Andrew，Ising formulations of many NP problems，Front. Phys. REVIEW ARTICLE，February2014 Volume2 Article5，スイス，Frontiers Media [online]，2014年02月12日，第1頁-第15頁，[検索日 2023.2.8], インターネット:<URL: https://www.frontiersin.org/articles/10.3389/fphy.2014.00005/pdf>，DOI:10.3389/fphy.2014.00005

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ １０／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｖ ２０／５４

(57)【特許請求の範囲】

【請求項1】

照合の対象とする種類の物体である対象物体を撮像した複数の画像の入力を受け付ける入力手段と、
前記画像から前記対象物体を検出する物体検出手段と、
最小極大マッチングを実行する量子コンピュータに対し、検出された前記対象物体の位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された前記対象物体の位置を表わす第二ノードの情報、並びに、前記第一ノードの位置と前記第二ノードの位置との類似度を送信して、前記過去の照合結果と前記画像から検出された前記対象物体との照合処理を実行させ、前記第二ノードに対応する前記第一ノードを決定する実行指示手段とを備えた
ことを特徴とする物体照合システム。

【請求項2】

実行指示手段は、予測に用いる過去の照合結果の長さに応じて、徐々に期間を増加させた照合結果の長さごとに第二ノードの情報のパターンを作成し、量子コンピュータに対して前記パターンごとに照合処理を実行させ、パターンごとの照合処理の結果がより一致するノード同士を対応付けると決定する
請求項１記載の物体照合システム。

【請求項3】

実行指示手段は、作成した複数の第二ノードの情報を纏めて送信して一括で照合処理を実行させる
請求項２記載の物体照合システム。

【請求項4】

実行指示手段は、照合処理の結果から、第二ノードに対応する第一ノードの候補の多数決により、第二ノードに対応する第一ノードを決定する
請求項２または請求項３記載の物体照合システム。

【請求項5】

物体検出手段は、画像から、対象物体に含まれる個々の部分であるパーツを検出し、
実行指示手段は、検出された前記パーツの位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された前記パーツの位置を表わす第二ノードの情報、並びに、各パーツの位置の類似度を量子コンピュータに送信して照合処理を実行させる
請求項１または請求項２記載の物体照合システム。

【請求項6】

入力手段は、複数の撮像装置で対象物体を撮像した複数の画像の入力を受け付け、
物体検出手段は、前記複数の画像から対象物体を検出する
請求項１または請求項２記載の物体照合システム。

【請求項7】

照合の対象とする種類の物体である対象物体を撮像した複数の画像の入力を受け付け、
前記画像から前記対象物体を検出し、
最小極大マッチングを実行する量子コンピュータに対し、検出された前記対象物体の位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された前記対象物体の位置を表わす第二ノードの情報、並びに、前記第一ノードの位置と前記第二ノードの位置との類似度を送信して、前記過去の照合結果と前記画像から検出された前記対象物体との照合処理を実行させ、
前記第二ノードに対応する前記第一ノードを決定する
ことを特徴とする物体照合方法。

【請求項8】

予測に用いる過去の照合結果の長さに応じて、徐々に期間を増加させた照合結果の長さごとに第二ノードの情報のパターンを作成し、
量子コンピュータに対して前記パターンごとに照合処理を実行させ、
照合処理の結果がより一致するノード同士を対応付けると決定する
請求項７記載の物体照合方法。

【請求項9】

コンピュータに、
照合の対象とする種類の物体である対象物体を撮像した複数の画像の入力を受け付ける入力処理、
前記画像から前記対象物体を検出する物体検出処理、
最小極大マッチングを実行する量子コンピュータに対し、検出された前記対象物体の位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された前記対象物体の位置を表わす第二ノードの情報、並びに、前記第一ノードの位置と前記第二ノードの位置との類似度を送信して、前記過去の照合結果と前記画像から検出された前記対象物体との照合処理を実行させ、前記第二ノードに対応する前記第一ノードを決定する実行指示処理を実行させる
ための物体照合プログラム。

【請求項10】

コンピュータに、
実行指示処理で、予測に用いる過去の照合結果の長さに応じて、徐々に期間を増加させた照合結果の長さごとに第二ノードの情報のパターンを作成させ、量子コンピュータに対して前記パターンごとに照合処理を実行させ、照合処理の結果がより一致するノード同士を対応付けると決定させる
請求項９記載の物体照合プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画像に存在する物体を照合する物体照合システム、物体照合方法および物体照合プログラムに関する。

【背景技術】

【0002】

１台のカメラで撮像される画像から車両や人物などの多数の物体を追跡することや、複数台のカメラで撮影される画像から物体を追跡することが一般に行われている。このような物体の照合を、最大マッチングや０－１整数計画問題で解く方法が各種提案されている。

【0003】

例えば、非特許文献１には、複数のオブジェクトを追跡する方法が記載されている。具体的には、非特許文献１には、バウンディングボックス（bounding box）のオーバーラップを測定する関連付けメトリックを使用したハンガリー法により、画像空間でのカルマンフィルタリングとフレームごとのデータ関連付けを行うフレームワークである（ＳＯＲＴ：Simple online and realtime tracking ）について記載されている。

【0004】

なお、非特許文献２には、パーシステント図のワッサーシュタイン距離を量子コンピュータで計算する方法が記載されている。

【先行技術文献】

【非特許文献】

【0005】

【文献】Nicolai Wojke, Alex Bewley, Dietrich Paulus, "Simple online and realtime tracking with a deep association metric", 2017 IEEE International Conference on Image Processing (ICIP), 17-20 Sept. 2017.

【文献】Jesse J. Berwald, Joel M. Gottlie, and Elizabeth Munch, "Computing Wasserstein Distance for Persistence Diagrams on a Quantum Computer", Computer Science, Physics, 17 September 2018.

【発明の概要】

【発明が解決しようとする課題】

【0006】

一方、物体の照合を行う際の計算量は多項式時間であるため、検出する物体が増加すると計算時間も増大することも知られている。例えば、ｎ×ｎの２部グラフの最大マッチングを非特許文献１に記載されたハンガリー法で解く場合、計算コストはＯ（ｎ^３）になることが知られている。また、一般的には、計算速度と精度はトレードオフの関係にある。

【0007】

また、非特許文献１に記載されたＳＯＲＴにより、オンライン及びリアルタイム追跡を行うことは可能である。しかし、非特許文献１に記載されたような、いわゆるTracking by Detection （物体検出した結果をもとに追跡を行う方法）では、検出の精度が下がると、追跡の精度も下がってしまうという問題がある。

【0008】

ここで、計算時間の増大を抑制するために、量子コンピュータを利用することが一案として考えられる。しかし、例えば、量子アニーリングによる得られる解は不安定であり、必ずしも最適解を常に得られるわけではない。そのため、単純に量子コンピュータを適用するだけでは、精度を改善できるとは言い難い。そのため、計算速度を向上させながら、精度も維持できるような物体照合ができることが好ましい。

【0009】

そこで、本発明は、計算速度を向上させながら、精度も維持できるように物体照合を行うことができる物体照合システム、物体照合方法および物体照合プログラム提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明による物体照合システムは、照合の対象とする種類の物体である対象物体を撮像した複数の画像の入力を受け付ける入力手段と、画像から対象物体を検出する物体検出手段と、最小極大マッチングを実行する量子コンピュータに対し、検出された対象物体の位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された対象物体の位置を表わす第二ノードの情報、並びに、第一ノードの位置と第二ノードの位置との類似度を送信して、過去の照合結果と画像から検出された対象物体との照合処理を実行させ、第二ノードに対応する第一ノードを決定する実行指示手段とを備えたことを特徴とする。

【0011】

本発明による物体照合方法は、照合の対象とする種類の物体である対象物体を撮像した複数の画像の入力を受け付け、画像から対象物体を検出し、最小極大マッチングを実行する量子コンピュータに対し、検出された対象物体の位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された対象物体の位置を表わす第二ノードの情報、並びに、第一ノードの位置と第二ノードの位置との類似度を送信して、過去の照合結果と画像から検出された対象物体との照合処理を実行させ、第二ノードに対応する第一ノードを決定することを特徴とする。

【0012】

本発明による物体照合プログラムは、コンピュータに、照合の対象とする種類の物体である対象物体を撮像した複数の画像の入力を受け付ける入力処理、画像から対象物体を検出する物体検出処理、最小極大マッチングを実行する量子コンピュータに対し、検出された対象物体の位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された対象物体の位置を表わす第二ノードの情報、並びに、第一ノードの位置と第二ノードの位置との類似度を送信して、過去の照合結果と画像から検出された対象物体との照合処理を実行させ、第二ノードに対応する第一ノードを決定する実行指示処理を実行させることを特徴とする。

【発明の効果】

【0013】

本発明によれば、計算速度を向上させながら、精度も維持できるように物体照合を行うことができる。

【図面の簡単な説明】

【0014】

【図1】本発明の物体照合システムの第一の実施形態の構成例を示すブロック図である。

【図2】第一の実施形態の物体照合システムが用いられる状況の例を示す説明図である。

【図3】２部グラフの例を示す説明図である。

【図4】第二ノードの情報を複数パターン作成する処理の例を示す説明図である。

【図5】交通流状況を可視化した例を示す説明図である。

【図6】第一の実施形態の物体照合システムの動作例を示すフローチャートである。

【図7】本発明の物体照合システムの第二の実施形態の構成例を示すブロック図である。

【図8】第二の実施形態の物体照合システムが用いられる状況の例を示す説明図である。

【図9】評価結果を示す説明図である。

【図10】本発明による物体照合システムの概要を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を図面を参照して説明する。

【0016】

実施形態１．
図１は、本発明の物体照合システムの第一の実施形態の構成例を示すブロック図である。本実施形態の物体照合システム１００は、撮像装置１０と、物体照合装置２０と、量子コンピュータ３０と、閲覧用端末４０とを備えている。物体照合装置２０は、撮像装置１０、量子コンピュータ３０および閲覧用端末４０にそれぞれ接続される。

【0017】

量子コンピュータ３０は、量子力学の現象を利用して並列計算を実現するコンピュータである。例えば、量子アニーリング方式の量子コンピュータ（以下、量子アニーリングマシンと記す。）は、イジングモデルのハミルトニアンの基底状態を求める専用の装置であり、イジングモデルに基づいてアニーリングを実行する装置である。より具体的には、量子アニーリングマシンは、二値変数を引数とするイジングモデルの目的関数（すなわち、ハミルトニアン）を最小化又は最大化する二値変数の値を確率的に求める装置である。なお、二値変数は、古典ビットや量子ビットで実現されていてもよい。

【0018】

本実施形態の量子コンピュータ３０の態様は任意である。量子コンピュータ３０は、二値変数を引数とする目的関数を最小化又は最大化する二値変数の値を確率的に求めるものであればどのようなハードウェアによって構成されてもよい。量子コンピュータ３０は、は、例えば、目的関数がイジングモデルの形式でハードウェアによって実装された非ノイマン型コンピュータであってもよい。また、量子コンピュータ３０は、量子アニーリングマシンであっても、一般のアニーリングマシンであってもよい。

【0019】

撮像装置１０は、予め定めた位置に設置され、照合の対象とする種類の物体（以下、対象物体と記す。）を定期的に撮像する。そして、撮像装置１０は、撮像した画像を物体照合装置２０に送信する。撮像装置１０は、例えば、映像として撮像した各フレーム単位の画像を物体照合装置２０に送信してもよい。

【0020】

なお、本実施形態では、撮像装置１０が１台設置されている場合について説明する。撮像装置１０は、例えば、ＰｏＥ（Power over Ethernet ）機能を有するスイッチングハブに接続され、ＬＡＮ（Local Area Network）ケーブルから給電を行ってもよい。

【0021】

本実施形態では、対象物体として主に車両を例に説明する。図２は、本実施形態の物体照合システム１００が用いられる状況の例を示す説明図である。図２では、複数の車両が通行する道路上に撮像装置１０が設置され、対象物体である複数の車両を撮像している状況を例示する。そして、物体照合システム１００は、時刻ｔにおいて撮像された画像Ｔ１における車両と、時刻ｔ＋１において撮像された画像Ｔ２における車両とを照合して、同一の車両か否かを判別する。

【0022】

ただし、対象物体は移動する物体であれば車両に限定されず、例えば、人間などであってもよい。また、画像として撮像可能な対象であれば、対象物体は粒子のような人間の目に見えないような物体であってもよい。対象物体が粒子の場合、例えば、放射線治療や、加速器を用いた実験などで、粒子の軌跡を推測することも可能になる。

【0023】

本実施形態の物体照合装置２０は、１台の撮像装置１０で撮像された動画の異なる時刻のフレーム間で同一の対象物体を判別し、照合する装置である。物体照合装置２０は、記憶部２１と、入力部２２と、物体検出部２３と、実行指示部２４と、出力部２５とを含む。

【0024】

記憶部２１は、物体照合装置２０が処理に用いる各種情報を記憶する。記憶部２１は、例えば、入力された画像を記憶してもよい。記憶部２１は、例えば、磁気ディスク等により実現される。

【0025】

入力部２２は、撮像装置１０から、対象物体を撮像した複数の画像の入力を受け付ける。入力部２２は、受け付けた画像を記憶部２１に記憶してもよい。

【0026】

物体検出部２３は、画像から対象物体を検出する。なお、物体検出部２３が画像から対象物体を検出する方法は任意であり、ＹＯＬＯｖ５など、既知の方法が用いられればよい。物体検出部２３は、例えば、画像において、検出した対象物体を長方形で囲んだもの（すなわち、bounding box）の、左上の頂点の座標および右下の頂点の座標を検出結果として出力してもよい。

【0027】

実行指示部２４は、量子コンピュータ３０に対象物体の照合処理を実行させる指示を行う。ここで、マッチング問題の一つとして、最小極大マッチング問題がある。最小極大マッチングは、イジングモデルで表現できることから、量子アニーリングで解ける最適化問題として定式化可能である。そこで、本実施形態の量子コンピュータ３０は、最小極大マッチングを実行する量子コンピュータとして動作するものとする。

【0028】

以下、最小極大マッチング問題をイジングモデルで表現する方法の一例を説明する。ここでは、無向グラフＧ＝（Ｖ，Ｅ）が与えられたときの変数最小の極大マッチングを行うものとする。各辺ｅ∈Ｅに対して、その辺がマッチングＣに含まれるか否かを表わすバイナリ変数をｘ_ｅとする。また、各頂点ｖに対して、∂ｖをｖを端点にもつ辺の集合とする。そして、各頂点に対して、以下の式１で表わされる変数ｙ_ｖを定義する。

【0029】

【数1】

【0030】

Ｘ_ｅとなる辺の集合Ｄがグラフのマッチングであるとき、ｙ_ｖは、頂点ｖがマッチングの辺の端点である場合に１、そうでない場合に０をとる変数になる。また、Ａ，Ｂ，Ｃを正の定数とし、Ａ／Δ－２＞Ｂ＞Ｃを満たすとする。なお、Δはグラフの最大次数である。このとき、エネルギー関数Ｈは、以下に示す式２で表わされる。

【0031】

【数2】

【0032】

なお、エネルギー関数の表現の方法は一例であり、他にも、最小極大マッチング問題を、非特許文献２に記載された方法により定式化してもよい。

【0033】

実行指示部２４は、２部グラフ問題（ここでは、最小極大マッチング問題）を解くために必要な情報を量子コンピュータに送信して、照合処理を実行させる。

【0034】

なお、ここでの照合処理は、第二ノードに対応する尤もらしい第一ノードを決定する処理と言える。量子コンピュータによる照合処理の結果として、例えば、第二ノードに対応する第一ノードの候補が特定される。

【0035】

まず、実行指示部２４は、２部グラフの両側のノードの情報を生成する。具体的には、実行指示部２４は、画像から検出された時刻ｔにおける対象物体の位置を表わす情報を、一方のノード（以下、第一ノードと記す。）の情報として生成する。また、実行指示部２４は、過去の照合結果に基づいて予測された時刻ｔにおける対象物体の位置を表わす情報を、他方のノード（以下、第二ノードと記す。）の情報として生成する。以下、対象物体そのもののこともノードと記すことがある。

【0036】

なお、過去の照合結果とは、現時点よりも前に行われた照合処理により、対象物体を特定した結果を意味する。ここでの特定とは、個々の対象物そのものを特定する必要はなく、複数の画像間で一致すると想定される対象物体同士を関連付ける処理を意味する。

【0037】

第一ノードおよび第二ノードは、対象物体ごとにそれぞれ複数生成される。なお、第一ノードの情報および第二ノードの情報には、物体検出部２３によって検出された具体的な位置情報（例えば、座標情報）が含まれている必要はなく、対象物体ごとに識別用のインデックスが付与されているような抽象的な情報が含まれていればよい。

【0038】

図３は、２部グラフの例を示す説明図である。図３に例示する２部グラフの上側の黒丸は、時刻ｔのフレームにおいて検出された対象物体の位置を表わすノード（すなわち、第一ノード）を示す。また、下側の黒丸は、時刻ｔ－１のフレームまでの車両検出や追跡結果（すなわち、照合結果）に基づく、時刻ｔのフレームでの車両予測位置を表わすノード（すなわち、第二ノード）を示す。

【0039】

また、上下のノードを結ぶエッジには、ノード間の類似度が重み（ｗｅｉｇｈｔ）として対応付けられる。ノード間の類似度としては、検出された対象物体の画像同士の類似度や、bounding box間の重なりを示すＩｏＵ（Intersection over Union ）などが挙げられる。

【0040】

なお、実行指示部２４が過去の照合結果に基づいて時刻ｔにおける対象物体の位置を予測する方法は任意である。実行指示部２４は、例えば、直前の時刻ｔ－１から過去に遡ったフレームの画像において同一の対象物体（具体的には、同一のインデックスが付与された対象物体）が検出された位置の座標を学習データとして用いた線形回帰により、時刻ｔにおける対象物体の位置を予測してもよい。このとき、時刻が説明変数、座標が目的変数に対応する。

【0041】

また、本実施形態の実行指示部２４は、予測に用いる過去の照合結果の長さに応じて、第二ノードの情報を複数パターン作成する。なお、照合結果の長さは任意であり、管理者等により予め定められればよい。具体的には、実行指示部２４は、直近（例えば、時刻ｔ－１から時刻ｔ－１０まで）の追跡結果に基づく第二ノード情報、中期間（例えば、時刻ｔ－１から時刻ｔ－２０まで）の追跡結果に基づく第二ノード情報、長期間（例えば、時刻ｔ－１から時刻ｔ－１００まで）の追跡結果に基づく第二ノード情報など、複数のパターンの第二ノードの情報を生成する。そして、実行指示部２４は、この複数のパターンの第二ノードの情報を一括で量子コンピュータ３０に送信して、照合処理を実行させる。

【0042】

図４は、第二ノードの情報を複数パターン作成する処理の例を示す説明図である。図４に例示する第二ノードの情報は、異なる期間ごとに複数パターンの２部グラフＧ１～ＧＮが作成されたことを示す。

【0043】

図３に例示する２部グラフと同様に、２部グラフＧ１の上側の黒丸は、時刻ｔのフレームにおいて検出された対象物体の位置を表わすノードを示し、下側の黒丸は、時刻ｔ－１からｔ－１０までのフレームの照合結果に基づく、時刻ｔのフレームでの車両予測位置を表わすノードを示す。

【0044】

また、例えば、２部グラフＧ２の上側の黒丸は、時刻ｔのフレームにおいて検出された対象物体の位置を表わすノードを示し、下側の黒丸は、時刻ｔ－１からｔ－２０までのフレームの照合結果に基づく、時刻ｔのフレームでの車両予測位置を表わすノードを示す。

【0045】

実行指示部２４は、複数パターンの第二ノードの情報を纏めて量子コンピュータ３０に送信し、第二ノードの情報ごとに照合処理を実行させる。その結果、各パターンの第二ノードの情報から、複数の照合結果が得られる。

【0046】

そして、実行指示部２４は、複数の照合結果を用いて、第二ノードに対応する（すなわち一致する）第一ノードを決定する。具体的には、実行指示部２４は、照合結果が、より一致するノード同士を対応付けると決定してもよい。実行指示部２４は、例えば、照合処理の結果から、第二ノードに対応する第一ノードの候補の多数決により、第二ノードに対応する第一ノードを決定してもよい。このとき、実行指示部２４は、第二ノードに付与されているインデックスを、一致すると判断された第一ノードのインデックスとして付与してもよい。

【0047】

例えば、いわゆる古典コンピュータのような装置で、複数パターンの第二ノードの情報を纏めて照合処理（すなわち、マッチングの多重化）が実行されるとした場合、計算量が膨大になるため、複数の第二ノードの情報について一括で照合処理を行うことは現実的ではない。一方、本実施形態では、照合処理を量子コンピュータ３０に実行させる。そのため、計算コストが増大することを抑制できる。

【0048】

なお、一種類の第二ノードの情報について、複数回解き直すことで得られる解を安定させることも考えられる。しかし、例えば、対象物体が車両であった場合、他の車両や障害物の陰に隠れているような画像（不検出）だけでは、何回解き直しても精度を上げることは難しい。

【0049】

一方、本実施形態では、予測に用いる過去の照合結果の長さに応じて、第二ノードの情報を複数パターン作成する。そのため、例えば、量子アニーリングの解が不安定であっても、多数決によりその影響を緩和することが可能になる。さらに、例えば、途中で対象物体が検出できなくなることにより正確な位置予測が困難になるような状況においても、同様に、その影響を緩和することが可能になる。

【0050】

出力部２５は、照合処理の結果を出力する。本実施形態では、出力部２５は、照合処理の結果を閲覧用端末４０に送信して表示させる。なお、出力部２５は、他の装置（図示せず）等に照合処理の結果を出力してもよい。

【0051】

具体的には、出力部２５は、検出された対象物体の位置情報と、対象物体を特定する情報（例えば、インデックス）とを対応付けて閲覧用端末４０に送信してもよい。このときの位置情報は、例えば、図２に例示する平面地図上の座標に変換された情報であってもよい。また、出力部２５は、位置情報およびインデックスだけでなく、画像認識の結果得られた対象物体の属性を示す情報（例えば、大型車、小型車、オートバイなどの車種の種別など）を合わせて出力してもよい。

【0052】

入力部２２と、物体検出部２３と、実行指示部２４と、出力部２５とは、プログラム（物体照合プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

【0053】

例えば、プログラムは、物体照合装置２０の記憶部２１に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２２、物体検出部２３、実行指示部２４、および、出力部２５として動作してもよい。また、物体照合装置２０の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0054】

また、入力部２２と、物体検出部２３と、実行指示部２４と、出力部２５とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用又は専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0055】

また、物体照合装置２０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0056】

閲覧用端末４０は、物体照合装置２０（より具体的には、出力部２５）から送信された情報に基づいて、照合結果を可視化する。より具体的には、閲覧用端末４０は、対象物体の移動状況を可視化する。例えば、対象物体が車両の場合、閲覧用端末４０は、交通流状況を可視化してもよい。

【0057】

図５は、交通流状況を可視化した例を示す説明図である。図５に示す例では、図２に例示するような交差点の平面地図の適当な場所（例えば、横断歩道付近）にラインを設定し、予め指定した時間（例えば、１２時から１３時まで）に、設定したラインを越えた車両の台数を表形式で示している。より具体的には、ラインを越えて交差点に流入した車両台数のカウント、および、ラインを越えて交差点から流出した車両台数のカウントが行われる。

【0058】

次に、本実施形態の物体照合システム１００の動作を説明する。図６は、本実施形態の物体照合システム１００の動作例を示すフローチャートである。入力部２２は、撮像装置１０によって撮像された画像の入力を受け付ける（ステップＳ１１）。物体検出部２３は、画像から対象物体を検出する（ステップＳ１２）。実行指示部２４は、第一ノードの情報および第二ノードの情報、並びに、各ノード間の位置の類似度を量子コンピュータ３０に送信して照合処理を実行させ（ステップＳ１３）、第二ノードに対応する第一ノードを決定する（ステップＳ１４）。

【0059】

以上のように、本実施形態では、入力部２２が、対象物体を撮像した複数の画像の入力を受け付け、物体検出部２３が、画像から対象物体を検出する。そして、実行指示部２４が、最小極大マッチングを実行する量子コンピュータに対し、第一ノードの情報および第二ノードの情報、並びに、第一ノードの位置と第二ノードの位置との類似度を送信して照合処理を実行させ、第二ノードに対応する第一ノードを決定する。よって、計算速度を向上させながら、精度も維持できるように物体照合を行うことができる。

【0060】

次に、本実施形態の物体照合システム１００の変形例を説明する。上記実施形態では、対象物体全体に着目して照合処理が行われた。一方、対象物体が個々の部分（以下、パーツと記す。）に分割可能な場合、分割されたパーツについて照合処理が行われてもよい。

【0061】

すなわち、物体検出部２３は、対象物体が撮像された画像から、その対象物体に含まれる個々の部分（すなわち、パーツ）を検出してもよい。なお、この検出処理には、既知の方法が用いられればよい。そして、実行指示部２４は、検出されたパーツの位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測されたパーツの位置を表わす第二ノードの情報、並びに、各パーツの類似度を量子コンピュータ３０に送信して照合処理を実行させてもよい。

【0062】

例えば、対象物体が人間の場合、人体を構成する頭部、腹部、腕、足などのパーツが想定される。この場合、物体検出部２３は、人間が撮像された画像から、人間に含まれる各パーツを検出し、上記実施形態と同様に、過去の照合結果に基づいて予測されたパーツの位置と類似度とを量子コンピュータ３０に送信して照合処理を実行させてもよい。これにより、人体の動作を追跡することが可能になる。

【0063】

また、例えば、対象物体が臓器の場合、臓器を構成する細胞レベルのパーツが想定される。この場合、物体検出部２３は、臓器画像などの生体画像から、細胞レベルのパーツを検出し、上記実施形態と同様に、過去の照合結果に基づいて予測された細胞の位置と類似度とを量子コンピュータ３０に送信して照合処理を実行させてもよい。これにより、細胞分裂などの生命現象を解析することが可能になる。

【0064】

実施形態２．
次に、本発明の物体照合システムの第二の実施形態を説明する。第一の実施形態では、撮像装置１０が１台設置され、その撮像装置１０により撮像された画像が利用される場合について説明した。第二の実施形態では、対象物体を撮像する撮像装置１０が複数設置される構成について説明する。なお、撮像装置１０が撮像する範囲は重複していてもよく、重複していなくてもよい。

【0065】

図７は、本発明の物体照合システムの第二の実施形態の構成例を示すブロック図である。本実施形態の物体照合システム２００は、複数の撮像装置１０と、物体照合装置５０と、量子コンピュータ３０と、閲覧用端末４０とを備えている。物体照合装置５０は、各撮像装置１０、量子コンピュータ３０および閲覧用端末４０にそれぞれ接続される。なお、撮像装置１０、量子コンピュータ３０、および、閲覧用端末４０の内容は第一の実施形態と同様であるため、以降の説明を省略する。

【0066】

図８は、本実施形態の物体照合システム２００が用いられる状況の例を示す説明図である。図８では、複数の車両が通行する道路上に複数の撮像装置１０が設置され、対象物体である複数の車両を撮像している状況を例示する。そして、各時刻において撮像された各画像Ｔ１，Ｔ２，Ｔ３，Ｔ４における車両を照合して、同一の車両か否かを判別する。

【0067】

本実施形態の物体照合装置５０は、複数台の撮像装置１０で撮像された異なる動画のフレーム間で同一の対象物体を判別し、照合する装置である。物体照合装置５０は、記憶部２１と、入力部５２と、物体検出部２３と、実行指示部５４と、出力部２５とを含む。記憶部２１、物体検出部２３および出力部２５の内容は、第一の実施形態と同様である。

【0068】

入力部５２は、複数の撮像装置１０で対象物体を撮像した複数の画像の入力を受け付ける。なお、物体検出部２３は、第一の実施形態と同様に、受け付けた各画像から対象物体を検出する。なお、本実施形態では、物体検出部２３は、複数の撮像装置１０で対象物体を撮像した複数の画像から対象物体を検出する。

【0069】

実行指示部５４は、第一の実施形態と同様に、量子コンピュータ３０に対し、第一ノードの情報、第二ノードの情報および類似度を送信して照合処理を実行させる。なお、実行指示部５４が、第一ノードの情報、第二ノードの情報および類似度を生成する方法は、第一の実施形態と同様である。さらに、本実施形態の実行指示部５４は、例えば、撮像装置１０が撮像する範囲の距離に応じて対象物体の位置を予測して、第二ノードの情報を生成してもよい。また、実行指示部５４は、撮影する範囲の距離に応じた確度を考慮して類似度を決定してもよい。

【0070】

以降、複数パターンの第二ノードの情報を纏めて量子コンピュータ３０に送信し、第二ノードの情報ごとに照合処理を実行させる処理は、第一の実施形態と同様である。

【0071】

以上のように、本実施形態では、入力部５２が、複数の撮像装置１０で対象物体を撮像した複数の画像の入力を受け付け、物体検出部２３が、複数の画像から対象物体を検出する。よって、第一の実施形態の効果に加え、離れた位置間の対象物体の照合を行うことが可能になる。また、複数の撮像装置１０により撮像された画像を用いることができるため、オクルージョン・カメラの死角対策も可能になる。

【実施例】

【0072】

以下、具体的な実施例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。以下、一般的な追跡処理と、本発明による物体照合システムを用いた追跡処理とを単独カメラを用いた場合を例に比較する。なお、本実施例の評価では、いずれの追跡処理においても、車両検出にＹＯＬＯｖ５を共通で用いた。

【0073】

一般的な追跡処理として、２種類の追跡処理を例示する。第一の追跡処理は、非特許文献１に記載された追跡処理（DeepSort）である。第二の追跡処理は、最大重み最大マッチング（マッチング時の辺の個数が最大になる）を用いた追跡処理であり、位置予測結果と検出結果とのＩｏＵによりマッチングが行われる。なお、本実施例では、ＳｃｉＰｙパッケージに付属のＬｉｎｅａｒ Ｓｕｍ Ａｓｓｉｇｎｍｅｎｔを用いた。一方、本発明で用いる追跡処理は、最小重み極大マッチング（マッチング時の辺の個数をこれ以上増やせない）を用いた追跡処理である。

【0074】

本実施例では、ＭＯＴＡ（Multi Object Tracking Accuracy）および車両カウント数比を用いて追跡処理を評価した。ＭＯＴＡは、不検出、誤検出、および追跡ＩＤの入れ替わりの頻度を評価するものであり、以下に示す式３で算出される。

【0075】

【数3】

【0076】

式３において、ｔはフレームの番号であり、ｇ_ｔは、ｔ番目にフレームにおける正解データの数である。また、ＦＰ_ｔ、Ｍｉｓｓ_ｔ、ＩＤＳＷ_ｔは、それぞれ、ｔ番目のフレームにおける不検出、誤検出および追跡ＩＤの入れ替わりの頻度を示す。

【0077】

また、車両カウント数比は、「追跡車両数／正解車両数」で算出される値であり、１．０に近いほど評価が高いことを示す。今回は、交差点の通過台数で評価を行った。なお、本発明による物体照合システムを用いた追跡処理は、一般的なＰＣ（Personal Computer ）でも計算可能なパッケージで代用した。また、本実施例では、３種類の映像を用いて、評価した。

【0078】

図９は、評価結果を示す説明図である。図９の手法における「第一」は、上記第一の追跡処理を示し、「第二」は、上記第二の追跡処理を示し、「本件」は、本発明による物体照合システムを用いた追跡処理を示す。図９に示すように、本発明による物体照合システムを用いた追跡処理において、特にカウント数比の観点で精度を維持できることが確認できた。

【0079】

次に、本発明の概要を説明する。図１０は、本発明による物体照合システムの概要を示すブロック図である。本発明による物体照合システム８０は、照合の対象とする種類の物体（例えば、車両、人間、粒子など）である対象物体を撮像した複数の画像の入力を受け付ける入力手段８１（例えば、入力部２２）と、画像から対象物体を検出する物体検出手段８２（例えば、物体検出部２３）と、最小極大マッチングを実行する量子コンピュータ（例えば、量子コンピュータ３０）に対し、検出された（例えば、時刻ｔにおける）対象物体の位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測された（例えば、時刻ｔにおける）対象物体の位置を表わす第二ノードの情報、並びに、第一ノードの位置と第二ノードの位置との類似度（例えば、ＩｏＵ）を送信して、過去の照合結果と画像から検出された対象物体との照合処理を実行させ、第二ノードに対応する第一ノードを決定する実行指示手段８３（例えば、実行指示部２４）とを備えている。

【0080】

そのような構成により、計算速度を向上させながら、精度も維持できるように物体照合を行うことができる。

【0081】

また、実行指示手段８３は、予測に用いる過去の照合結果の長さに応じて、第二ノードの情報のパターンを複数作成し、量子コンピュータに対してパターンごとに照合処理を実行させ、パターンごとの照合処理の結果がより一致するノード同士を対応付けると決定してもよい。

【0082】

その際、実行指示手段８３は、作成した複数の第二ノードの情報を纏めて送信して一括で照合処理を実行させてもよい。そのような構成によれば、計算コストの増大を抑制できる。

【0083】

さらに、実行指示手段８３は、照合処理の結果から、第二ノードに対応する第一ノードの候補の多数決により、第二ノードに対応する第一ノードを決定してもよい。

【0084】

また、物体検出手段８２は、画像から、対象物体に含まれる個々の部分であるパーツ（例えば、頭部、細胞等）を検出してもよい。そして、実行指示手段８３は、検出されたパーツの位置を表わす第一ノードの情報、および、過去の照合結果に基づいて予測されたパーツの位置を表わす第二ノードの情報、並びに、各パーツの位置の類似度を量子コンピュータに送信して照合処理を実行させてもよい。

【0085】

また、入力手段８１は、複数の撮像装置（例えば、撮像装置１０）で対象物体を撮像した複数の画像の入力を受け付け、物体検出手段８２は、複数の画像から対象物体を検出してもよい。

【0086】

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0087】

この出願は、２０２１年１２月１３日に出願された日本特許出願２０２１－２０１５２１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【産業上の利用可能性】

【0088】

本発明は、複数の画像に存在する物体を照合する物体照合システムに好適に適用される。また、本発明は、量子コンピュータを活用して、リアルタイムの交通量を把握し、それに応じて交通制御を行うシステムに好適に適用される。

【符号の説明】

【0089】

１０ 撮像装置
２０，５０ 物体照合装置
２１ 記憶部
２２，５２ 入力部
２３ 物体検出部
２４，５４ 実行指示部
２５ 出力部
３０ 量子コンピュータ
４０ 閲覧用端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】