(58)【調査した分野】(Int.Cl.,DB名)
前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するステップは、
前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をシャム畳み込みニューラルネットワーク(Siamese−CNN)に入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることを含む、請求項3に記載の方法。
得られた画像セットから鎖状マルコフ確率場モデル(MRF)によって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すステップは、
前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得することと、
全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、少なくとも一つの機器経路を生成することであって、各機器経路が、前記起点の撮影機器および前記終点の撮影機器以外に、少なくとも一つの他の撮影機器の情報をさらに含む、ことと、
各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する1つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定することと、を含む、請求項7に記載の方法。
各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するステップは、
各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得することと、
前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算することと、
各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することと、を含む、請求項9に記載の方法。
ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するステップは、
前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することと、
取得した前記予測経路における隣接画像の時間差異、空間差異および特徴差異を長短期記憶ネットワーク(LSTM)に入力し、前記予測経路の確定待ちのターゲットの識別確率を取得することと、
前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することと、を含む、請求項11に記載の方法。
第一画像および第二画像を取得するように構成された取得モジュールであって、前記第一画像および前記第二画像がいずれも確定待ちのターゲットを含む、取得モジュールと、
前記第一画像および前記第二画像に基づき、予測経路を生成するように構成された生成モジュールであって、前記予測経路の両端がそれぞれ前記第一画像および前記第二画像に対応する、生成モジュールと、
前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュールと、を含む、ターゲット識別装置。
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体であって、前記プログラム命令がプロセッサに実行される時に請求項1から13のいずれか一項に記載のターゲット識別方法のステップを実現する、コンピュータ読み取り可能記憶媒体。
【発明の概要】
【0005】
本発明の実施例はターゲット識別の技術的解決手段を提供する。
【0006】
本発明の実施例の第一態様によれば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得することと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成することと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することと、を含むターゲット識別方法が提供される。
【0007】
一実施例では、前記確定待ちのターゲットは交通手段である。
【0008】
一実施例では、前記第一画像および前記第二画像に基づき、予測経路を生成する前記ステップの前に、前記方法はさらに、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定することを含み、前記第一画像および前記第二画像に基づき、予測経路を生成する前記ステップは、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成することを含む。
【0009】
一実施例では、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するステップは、前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をシャム畳み込みニューラルネットワーク(Siamese Convolutional Neural Network、Siamese−CNN)に入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることを含む。
【0010】
一実施例では、前記第一画像および前記第二画像に基づき、予測経路を生成する前記ステップは、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成することを含む。
【0011】
一実施例では、確率モデルによって前記確定待ちのターゲットの予測経路を生成する前記ステップは、取得した画像セットから鎖状マルコフ確率場モデル(Markov Random Field、MRF)によって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すことと、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成することと、を含む。
【0012】
一実施例では、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成する前記ステップは、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成することを含む。
【0013】
一実施例では、取得した画像セットからMRFによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出す前記ステップは、前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得することと、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成することと、各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する1つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定することと、を含む。
【0014】
一実施例では、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした予測経路を生成する前記ステップは、各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成することと、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成することと、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することと、を含む。
【0015】
一実施例では、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定する前記ステップは、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得することと、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算することと、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することと、を含む。
【0016】
一実施例では、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定するステップは、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することを含む。
【0017】
一実施例では、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するステップは、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得することと、隣接画像の空間情報に基づき、隣接画像の空間差異を取得することと、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することと、取得した前記予測経路における隣接画像の時間差異、空間差異および特徴差異を長短期記憶ネットワーク(Long Short−Term Memory、LSTM)に入力し、前記予測経路の確定待ちのターゲットの識別確率を得ることと、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することと、を含む。
【0018】
一実施例では、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するステップは、Siamese−CNNによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得することと、それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することと、を含む。
【0019】
本発明の実施例の第二態様によれば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュールと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュールと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュールと、を含むターゲット識別装置が提供される。
【0020】
一実施例では、前記確定待ちのターゲットは交通手段である。
【0021】
一実施例では、前記装置はさらに、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するように構成された第二確定モジュールを含み、前記生成モジュールは、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成するように構成された第一生成サブモジュールを含む。
【0022】
一実施例では、前記第二確定モジュールは、前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をSiamese−CNNに入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得るように構成された第一確定サブモジュールを含む。
【0023】
一実施例では、前記生成モジュールは、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成するように構成された第二生成サブモジュールを含む。
【0024】
一実施例では、前記第二生成サブモジュールは、取得した画像セットからMRFによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すように構成された第一確定ユニットと、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成するように構成された第一生成ユニットと、を含む。
【0025】
一実施例では、前記第一生成ユニットは、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成するように構成された第二生成ユニットを含む。
【0026】
一実施例では、前記第一確定ユニットは、前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得し、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成し、各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する1つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定するように構成される。
【0027】
一実施例では、前記第二生成ユニットは、各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成し、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
【0028】
一実施例では、前記第二生成ユニットはさらに、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得し、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算し、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
【0029】
一実施例では、前記第一確定モジュールは、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定サブモジュールを含む。
【0030】
一実施例では、前記第二確定サブモジュールは、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成された第一取得ユニットと、得られた前記予測経路における隣接画像の時間差異、空間差異および特徴差異をLSTMに入力し、前記予測経路の確定待ちのターゲットの識別確率を得るように構成された第二取得ユニットと、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定ユニットと、を含む。
【0031】
一実施例では、前記第一取得ユニットは、Siamese−CNNによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得し、それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成される。
【0032】
本発明の実施例の第三態様によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能記憶媒体であって、前記プログラム命令はプロセッサに実行される時に本発明の実施例の第一態様に記載のターゲット識別方法のステップを実現するコンピュータ読み取り可能記憶媒体が提供される。
【0033】
本発明の実施例の第四態様によれば、プロセッサ、メモリ、通信要素および通信バスを含み、前記プロセッサ、前記メモリおよび前記通信要素は前記通信バスによって互いに通信し、前記メモリは前記プロセッサに本発明の実施例の第一態様に記載のターゲット識別方法のステップを実行させる少なくとも一つの実行可能命令を記憶するために用いられる電子機器が提供される。
【0034】
本発明の実施例が提供する技術的解決手段によれば、第一画像および第二画像に含まれる情報に基づき、確定待ちのターゲットが通り過ぎ得る予測経路を生成し、該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
【発明を実施するための形態】
【0036】
以下に図面(複数の図面における同じ符号は同じ要素を表す)と実施例を関連付けて、本発明の実施例の具体的な実施形態をさらに詳細に説明する。以下の実施例は本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【0037】
当業者であれば、本発明の実施例における「第一」、「第二」などの用語は異なるステップ、機器またはモジュールなどを区別するためのものに過ぎず、なんらの確定の技術的意味も有さず、またそれらの間の必然的な論理的順序を表すものでもない。
【0038】
実施例1
図1は本発明の実施例1に係るターゲット識別方法のフローチャートである。
図1に示すように、本実施例のターゲット識別方法は以下のステップを含む。
【0039】
ステップS102で、第一画像および第二画像を取得する。
【0040】
具体的な実施形態では、画像に含まれる内容から言えば、前記第一画像および前記第二画像にはいずれも確定待ちのターゲットが含まれる。画像の種類から言えば、前記第一画像も前記第二画像も撮影された静的画像、または映像フレームシーケンスにおける映像画像などであってもよい。具体的には、前記確定待ちのターゲットは歩行者、無人機および交通手段などを含んでもよい。なお、本実施例はこれに限定されず、いかなる移動可能な物体も確定待ちのターゲットの範囲内に含まれることを理解すべきである。
【0041】
ステップS104で、前記第一画像および前記第二画像に基づき、予測経路を生成する。
【0042】
ここで、前記予測経路の両端はそれぞれ前記第一画像および前記第二画像に対応する。本発明の実施例では、前記第一画像および前記第二画像に含まれる確定待ちのターゲットの特徴情報、ならびに、前記第一画像および前記第二画像に含まれる時空間情報に基づいて確定待ちのターゲットの走行経路を予測し、経路予測結果によって確定待ちのターゲット識別の確実度を向上させることができる。具体的には、前記第一画像および前記第二画像に含まれる情報をもとに、さらに画像における確定待ちのターゲットの可能な走行経路を見出さなければならない。ここで、該走行経路において撮影された確定待ちのターゲットの画像はいずれも前記第一画像および前記第二画像と時空間的な関連関係を有するべきである。
【0043】
ステップS106で、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定する。
【0044】
ここで、有効性判断はある予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性、即ち前記第一画像における確定待ちのターゲットと前記第二画像における確定待ちのターゲットが同じである可能性も高くなる。具体的な実施形態では、前記有効性判断の結果は具体的に有効確率であってもよいし、「有効であるかどうか」のままであってもよい。
【0045】
本実施例が提供するターゲット識別方法によれば、第一画像および第二画像に含まれる情報に基づき、確定待ちのターゲットが通り過ぎ得る予測経路を生成し、該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
【0046】
本実施例のターゲット識別方法は画像またはデータ処理能力を有する任意の適当な機器によって実行可能であり、前記機器は、カメラ、端末、移動端末、PC、サーバ、車載機器、娯楽機器、広告機器、携帯情報端末(PDA)、タブレット、ノートパソコン、携帯型ゲーム機、スマートメガネ、スマートウォッチ、ウェアラブル機器、仮想表示装置または表示拡張機器(例えばGoogle Glass、Oculus Rift、Hololens、Gear VR)などを含むが、これらに限定されない。
【0047】
実施例2
図2を参照すると、本発明の実施例2に係るターゲット識別方法のフローチャートが示される。
【0048】
本実施例では、確定待ちのターゲットが交通手段である場合を例にし、本発明の実施例のターゲット識別方法を説明するが、当業者であれば、実際の適用では、他の確定待ちのターゲットについて本実施例を参照することで対応するターゲット識別動作を実現することができることを理解すべきである。
【0049】
本実施例のターゲット識別方法は以下のステップを含む。
【0050】
ステップS202で、第一画像および第二画像を取得する。
【0051】
具体的な実施形態では、前記第一画像および前記第二画像にはいずれも確定待ちのターゲットが含まれ、かつ前記確定待ちのターゲットは交通手段である。
【0052】
ステップS204で、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成する。
【0053】
歩行者の通行経路に比べ、交通手段の走行経路はより安定し、より規則正しく、判断および識別の正解率がより高いため、交通手段の特徴情報(交通手段の外観を特徴付け可能)と画像の時空間情報を組み合わせて交通手段の走行経路を予測し、経路予測結果によって交通手段識別の確実度を向上させることができる。
【0054】
ここで、画像の時間情報は画像を撮影する時間を示すためのものであり、確定待ちのターゲット(例えば交通手段)が撮影機器のそばを通り過ぎる時間と見なしてもよく、画像の空間情報は画像を撮影する位置を示すためのものであり、撮影機器が存在する位置と見なしてもよいし、確定待ちのターゲット例えば交通手段が撮影される時に存在する位置と見なしてもよく、画像の特徴情報は画像における確定待ちのターゲットの特徴、例えば交通手段の特徴を示すためのものであり、該特徴によって確定交通手段の外観などの情報を確定可能である。なお、本実施例に係る画像に含まれる情報は、画像の時間情報、画像の空間情報および画像の特徴情報を含むことができるが、これらに限定されないことを理解すべきである。
【0055】
具体的な実施形態では、前記確率モデルはMRFであってもよい。
【0056】
確率場は同一サンプル空間に対応する確率変数の集合と見なしてもよい。一般的には、これらの確率変数同士に依存関係が存在する場合、該確率場は実際的な意味を有するように見なされてもよい。確率場は、位置(site)および位相空間(phase space)という二つの要素を含み、各位置に何らかの分布に従って位相空間の一つの値をランダムに付与すると、その全体は確率場と呼ばれるようになる。
【0057】
MRFはMarkov性のある確率場である。Markov性とは、確率変数系列を時間の前後関係に従って順に並び替える場合、第N+1の時点の分布特性が、N時刻以前の確率変数の値に関係しないことをいう。一つのMRFは一つの無向グラフに対応し、この無向グラフにおける各ノードはそれぞれ一つの確率変数に対応し、ノード間のリンクはノードに対応する確率変数同士に確率依存関係が存在することを示す。従って、MRFの構造は実質的に事前知識、即ち、どの変数の間における依存関係を考慮する必要があるか、そしてどれを無視してもよいかを反映する。
【0058】
本実施例では、MRFによって第一画像および第二画像における確定待ちのターゲットの少なくとも一つの予測経路を生成し、続いて、該経路から前記確定待ちのターゲットの予測経路として最適経路を確定することができる。具体的には、第一画像の特徴情報、第一画像の時間情報、第一画像の空間情報、第二画像の特徴情報、第二画像の時間情報、および第二画像の空間情報に基づき、MRFによって前記確定待ちのターゲットの予測経路を生成することができる。一実施例では、取得した画像セットから鎖状MRFによって、前記確定待ちのターゲットの情報が含まれる、第一画像と第二画像のいずれもと時空間系列関係を有する全ての画像を確定し、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成することができる。
【0059】
ここで、時空間データとは同時に時間および空間次元を有するデータをいい、時間および空間の二つの次元の情報を含む。地理学では、連続的な時空間データはいずれも離散化やサンプリングによって抽出および記憶されるため、時空間データは空間的に関連関係を有する時系列集合、即ち時空間系列と見なされてもよい。該集合内のデータは時空間系列関係を有するデータと見なされてもよい。具体的には、第一画像と第二画像のいずれもと時空間系列関係を有する全ての画像とは該全ての画像に含まれる時空間データが第一画像に含まれる時空間データおよび第二画像に含まれる時空間データとそれぞれ時間的および空間的に関連することをいう。
【0060】
通常、第一画像を経路の先頭ノード画像とし、第二画像を経路の末尾ノード画像とし、鎖状MRFによって確定された全ての画像に対応する時間情報および空間情報に基づき、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成することができる。
【0061】
ここで、取得した画像セットから鎖状MRFによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出す場合、第一画像の空間情報に対応する位置を開始位置とし、第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得し、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成し、各機器経路に対して、第一画像の時間情報に対応する時間を開始時間とし、第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する1つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定することができる。
【0062】
さらに、確定し出した全ての画像に対応する時間情報および空間情報に基づき、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした予測経路を生成する場合、各機器経路に対して、確定した画像の時系列関係に基づいて互いに接続された時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成し、各機器経路に対応する画像経路から、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することができる。
【0063】
ここで、各機器経路に対応する画像経路から、第一画像を先頭ノードとしかつ第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定する場合、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得し、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算し、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定することができる。
【0064】
本実施例における確定待ちのターゲットが交通手段である場合を例にし、道路網における交通手段の走行経路は鎖状MRFであり、鎖における各ノードはカメラであり、ノードの変数空間は該カメラにより撮影された画像、画像の撮影時間および場所からなった三要素組み合わせであると仮定する。同一交通手段であるかどうかを識別する必要がある一対の画像、およびそれらの間での可能な監視カメラ(可能な監視カメラは事前情報に属し、任意の適当な方式、例えばデータ訓練セットにおいて統計することで得られ得る)を任意に指定し、隣接カメラの間での一対ずつの画像およびそれらの間の時空間差異をSiamese−CNNに入力し、道路綱における一対ずつの隣接する監視カメラが撮影した画像における交通手段が同一交通手段である確率を算出する。ここで、Siamese−CNNはMRFにおける隣接ノードのポテンシャル関数と見なしてもよく、最大部分列和(Max−Sum)アルゴリズムによって、ポテンシャル関数の積の値を最小化(最適化)し、それによって可能性が最も高い予測経路を得ることができる。該予測経路は該交通手段が通り過ぎるカメラの地理的位置、撮影される時間および撮影される画像の関連情報を含む。
【0065】
例えば、pは第一画像の情報(特徴情報、時間情報および空間情報を含む)を表し、qは第二画像の情報(特徴情報、時間情報および空間情報を含む)を表すように設定すると、鎖状MRFによって複数の可能な予測経路から最適経路を確定する一形態は下式(1)を最大化するように実現できる。
【0066】
【数1】
ここで、Pは予測経路(即ち交通手段が通り過ぎ得る予測経路)を表し、Xはカメラを表し、Nは予測経路におけるカメラの数を表し、X1からXNのようになり、x
1はX1が撮影した前記交通手段の画像の情報を表し、以降同様に、x
NはXNが撮影した前記交通手段の画像の情報を表し、φ()はポテンシャル関数(即ちSiamese−CNNの出力であって、0〜1の間の確率値であるもの)を表し、φ(x
i,x
i+1)はx
iとx
i+1との間のポテンシャル関数ペアを表し、x
iおよびx
i+1は同一交通手段の情報を含むものと想定される。x
iおよびx
i+1は実際に同一交通手段の情報を含む場合、φ(x
i,x
i+1)は大きな値になり、そうでなければ、小さな値になる。
【0067】
上式(1)を最大化する時、式(2)に記載の時間によって制限し、式(2)に式(3)を満たさせることができる。即ち、
【0069】
【数3】
ここで、tは時間を表し、k
i*およびk
i+1*はx
iに対応する画像の情報の最適選択およびx
i+1に対応する画像の情報の最適選択をそれぞれ表し、Xはカメラを表し、Nは予測経路におけるカメラの数を表し、X1からXNのようになり、x
1はX1が撮影した前記交通手段の画像の情報を表し、以降同様に、x
NはXNが撮影した前記交通手段の画像の情報を表す。
【0070】
上式(1)、(2)および(3)中、画像の情報はいずれも画像の時間情報、空間情報および特徴情報を含む。
【0071】
上式(1)、(2)および(3)に基づき、上式(1)を下式(4)として最適化し、それによって最適経路、即ち、交通手段が通り過ぎ得る確率が最大な経路を得ることができる。
【0072】
【数4】
上記プロセスによって、前記交通手段が最も通り過ぎ得る予測経路を確定できる。
【0073】
例えば、第一画像を予測経路の先頭ノードAとし、第二画像を予測経路の末尾ノードDとすると、撮影機器間の位置関係によれば、車両の可能な走行経路は、経路1:A−>B−>C−>D、経路2:A−>E−>D、経路3:A−>F−>G−>H−>Dを含む。上式(4)によって計算し、経路1の確率が85%、経路2の確率が95%、経路3の確率が70%であると確定すると、経路2を交通手段の予測経路として確定できる。
【0074】
説明すべきは、上記プロセスは鎖状MRFを例にしたが、実際の適用では、当業者は他の適当な方式で前記確定待ちのターゲットの予測経路の生成を実現できることである。例えば、深層ニューラルネットワークによって第一画像および第二画像の背景情報を検出し、それによって前記確定待ちのターゲットの予測経路を生成する。
【0075】
ステップS206で、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定する。
【0076】
ここで、前記ニューラルネットワークは特徴抽出またはターゲット識別を実現可能な任意の適当なニューラルネットワークであってもよく、畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、敵対的ニューラルネットワークのうちの生成ニューラルネットワークなどを含むが、これらに限定されない。ニューラルネットワークにおける具体的な構造は当業者によって実際の要求、例えば畳み込み層の数、畳み込みカーネルの大きさ、チャネル数などに応じて設定してもよく、本発明の実施例はこれを限定しない。
【0077】
具体的な実施形態では、前記ニューラルネットワークはLSTMであってもよい。LSTMは時間再帰ニューラルネットワークで、リカレントニューラルネットワーク(RNN)のバリエーションであり、特に系列情報の処理に役立つ。本発明の実施例では、交通手段の予測経路は系列情報と見なされてもよく、LSTMを用いてそれを処理し、それによって予測経路の有効性を確定する。
【0078】
有効性判断はある予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。
【0079】
本実施例では、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得し、得られた前記予測経路における隣接画像の時間差異、空間差異および特徴差異をLSTMに入力し、前記予測経路の確定待ちのターゲットの識別確率を得て、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定することができる。ここで、確定待ちのターゲットが同一確定待ちのターゲットであるかどうかの判断基準は具体的に当業者によって実際の要求に応じて設定してもよく、本発明の実施例はこれを限定しない。
【0080】
ここで、隣接画像の時間差異は両者の時間情報を減算することで得ることができ、隣接画像の空間差異は両者間の距離を計算することで得ることができ、隣接画像の特徴差異は両者の特徴ベクトルを減算することで得ることができる。実行可能な一形態では、隣接画像の特徴差異を取得する時、Siamese−CNNを使用し、Siamese−CNNによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得し、そしてそれぞれ取得した特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得することができる。ここで、本ステップでのSiamese−CNNはステップS204でのSiamese−CNNと同じであってもなくてもよい。
【0081】
本実施例では、MRFによって任意の二つの交通手段画像間の走行経路を得た後、該走行経路が有効であるかどうかを判断する必要、即ち有効性判断を行う必要がある。ここで、有効とは該走行経路が同一交通手段の走行し得る経路であることをいい、逆に言えば、無効経路となる。本実施例では、LSTMを用いて判断するという判断方式を採用し、該LSTMの入力は経路における隣接ノード間の時間差(即ち時間差異)、距離差(即ち空間差異)、およびそれらの外観差異(即ち特徴差異)であり、前述したように、外観差異は二つの画像をSiamese−CNNに入力した後に出力された特徴ベクトルをそのまま減算することで得ることができる。該LSTMの出力は確率値であり、該確率値によって予測経路が有効であるかどうかを判断し、さらに二つの画像における交通手段が実際に同一交通手段であるかどうかを判断することができる。
【0082】
以上からわかるように、本実施例により、第一画像および第二画像に含まれる時空間情報および特徴情報に基づき、画像における確定待ちのターゲットが通り過ぎ得る予測経路を生成し、該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
【0083】
本実施例のターゲット識別方法は画像またはデータ処理能力を有する任意の適当な機器によって実行可能であり、前記機器は、カメラ、端末、移動端末、PC、サーバ、車載機器、娯楽機器、広告機器、携帯情報端末(PDA)、タブレット、ノートパソコン、携帯型ゲーム機、スマートメガネ、スマートウォッチ、ウェアラブル機器、仮想表示装置または表示拡張機器(例えばGoogle Glass、Oculus Rift、Hololens、Gear VR)などを含むが、これらに限定されない。
【0084】
実施例3
図3を参照すると、本発明の実施例3に係るターゲット識別方法のフローチャートが示される。本実施例では、確定待ちのターゲットが交通手段である場合を例にし、本発明の実施例のターゲット識別方法を説明するが、当業者であれば、実際の適用では、他の確定待ちのターゲットについて本実施例を参照することで対応するターゲット識別動作を実現することができることを理解すべきである。
【0085】
本実施例のターゲット識別方法は以下のステップを含む。
【0086】
ステップS302で、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定する。
【0087】
ここで、第一画像も第二画像も確定待ちのターゲットの情報を含んでいる。
【0088】
本発明の実施例では、第一画像と第二画像は時空間系列関係を有し、かついずれも対応する確定待ちのターゲットの情報を含んでおり、画像の時間情報、空間情報、画像特徴情報を総合的に考慮する上で、当業者は任意の適当な方法を用いてこの二つの画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を予備的に確定することができる。
【0089】
実行可能な一解決手段では、Siamese−CNNを用いて前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることができる。
【0090】
Siamese−CNNは少なくとも二つの分岐を有するCNNであり、複数の入力を同時に受信し、該複数の入力の類似度(確率の形式で表してもよい)を出力することができる。二分岐を例にすると、二分岐によってSiamese−CNNに同時に二つの画像を入力し、Siamese−CNNにこの二つの画像間の類似度、または、二つの画像が類似するかどうかに対する判断結果を出力させることができる。本実施例におけるSiamese−CNNは三つの分岐を含み、そのうち二つは入力された画像を受信するために用いられ、残りの一つは入力された二つの画像間の時間情報の差異(時間差異)および空間情報の差異(空間差異)を受信するために用いられる。入力された画像を検出することで画像におけるターゲット(本実施例では交通手段)の特徴面での類似度(例えば外観類似度)を出力し、および、入力された時間情報の差異および空間情報の差異を検出することで画像におけるターゲットの時空間面での類似度を出力する。この二つの面での類似度に基づき、画像におけるターゲット、例えば本実施例における交通手段が同一ターゲットである初歩的同一確率値をさらに確定することができる。
【0091】
以上からわかるように、本実施例では、第一画像および第二画像、ならびに、第一画像と第二画像との間の時間情報の差異および空間情報の差異をSiamese−CNNに入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得ることができる。初歩的同一確率値を得てから、前記初歩的同一確率値によって前記第一画像および第二画像において同じ確定待ちのターゲットがあることを予備的に確定する。具体的には、前記初歩的同一確率値を所定値と比較し、前記初歩的同一確率値が所定値以下である場合、前記第一画像および第二画像において同じ確定待ちのターゲットがないと確定し、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および第二画像において同じ確定待ちのターゲットがあると予備的に確定する。ここで、前記所定値は当業者によって実際の状況に応じて適当に設定してもよく、本発明の実施例はこれを限定しない。
【0092】
Siamese−CNNは時空間情報を有する二つの画像におけるターゲット例えば交通手段の類似度を効果的に判断可能であるが、Siamese−CNNに限られず、類似機能を有するまたは同じ目的を達成可能な他の形態またはニューラルネットワークも同様に本発明の実施例の解決手段に適する。
【0093】
ステップS304で、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成する。
【0094】
歩行者の通行経路に比べ、確定待ちのターゲット例えば交通手段の走行経路はより規則正しいため、交通手段の特徴情報(交通手段の外観を特徴付け可能)および時空間情報を組み合わせて交通手段の経路を推定し、経路推定結果によって交通手段の再識別の確実度を向上させることができる。
【0095】
前述したように、第一画像および第二画像は時空間系列関係を有する画像であり、これをもとに、画像における交通手段の可能な走行経路をさらに見出さなければならない。ここで、該走行経路において撮影された交通手段の画像はいずれも第一画像および第二画像と時空間系列関係を有するべきである。
【0096】
具体的な実施形態では、第一画像の情報および第二画像の情報に基づき、MRFを用いて前記確定待ちのターゲットの予測経路を生成する。具体的な実現プロセスは上記実施3におけるステップS204に類似し、ここでは説明を省略する。
【0097】
ステップS306で、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを再識別する。
【0098】
ここで、有効性判断はある予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。
【0099】
例えば、場合によって、予備的に確定した結果そのものが誤ったこともあり、つまり、第一画像における交通手段および第二画像における交通手段は同一交通手段であり得ないが、同一交通手段として誤って識別することがある。両者が同一交通手段でないと、両者は可能な合理的時間範囲内で同じ走行経路を有する確率が低いため、第一画像の情報および第二画像の情報に基づいて有効性が低い予測経路が存在することを確定し、これにより第一画像および第二画像における交通手段が同一交通手段であるかどうかに対する再判断および識別を実現することができる。
【0100】
具体的な実施形態では、LSTMによって、前記予測経路の有効性を判断し、判断結果に基づいて前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを再識別する。具体的な実現プロセスは上記実施2におけるステップS206に類似し、ここでは説明を省略する。
【0101】
本実施例が提供するターゲット識別方法によれば、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同じであると予備的に確定した上で、該確定待ちのターゲットが通り過ぎ得る予測経路を確定し、さらに、該予測経路の有効性を判断し、予備的に確定した結果が正確であるかどうかを判定することで、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかに対する再識別を実現する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に再検出および識別可能である。
【0102】
本実施例のターゲット識別方法は画像またはデータ処理能力を有する任意の適当な機器によって実行可能であり、前記機器は、カメラ、端末、移動端末、PC、サーバ、車載機器、娯楽機器、広告機器、携帯情報端末(PDA)、タブレット、ノートパソコン、携帯型ゲーム機、スマートメガネ、スマートウォッチ、ウェアラブル機器、仮想表示装置または表示拡張機器(例えばGoogle Glass、Oculus Rift、Hololens、Gear VR)などを含むが、これらに限定されない。
【0103】
実施例4
同じ技術思想に基づき、
図4は本発明の実施例4に係るターゲット識別装置を示す構成模式図である。実施例1に記載のターゲット識別方法のフローを実行するために用いることができる。
【0104】
図4を参照すると、該ターゲット識別装置は、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュール401と、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュール402と、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュール403と、を含む。
【0105】
本実施例が提供するターゲット識別装置によって、第一画像および第二画像に含まれる情報に基づき、確定待ちのターゲットが通り過ぎ得る予測経路を生成し、そして該予測経路の有効性を判断することで、第一画像および第二画像における確定待ちのターゲットが同じであるかどうかを確定する。そのうち、有効性判断は現在の予測経路が同一確定待ちのターゲットの走行経路であるかどうかの可能性に対する判断であり、その可能性が高ければ高いほど、第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットである可能性も高くなる。これにより、異なる画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかをより正確に検出および識別可能である。
【0106】
実施例5
同じ技術思想に基づき、
図5は本発明の実施例5に係るターゲット識別装置を示す構成模式図である。実施例2に記載のターゲット識別方法のフローを実行するために用いることができる。
【0107】
図5を参照すると、該ターゲット識別装置は、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュール501と、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュール502と、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第一確定モジュール503と、を含む。
【0108】
一実施例では、前記生成モジュール502は、前記第一画像の特徴情報、前記第一画像の時間情報、前記第一画像の空間情報、前記第二画像の特徴情報、前記第二画像の時間情報、および前記第二画像の空間情報に基づき、確率モデルによって前記確定待ちのターゲットの予測経路を生成するように構成された第二生成サブモジュール5021を含む。
【0109】
一実施例では、前記第二生成サブモジュール5021は、取得した画像セットからMRFによって、前記確定待ちのターゲットの情報が含まれる、前記第一画像と前記第二画像のいずれもと時空間系列関係を有する全ての画像を確定し出すように構成された第一確定ユニット5022と、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記確定待ちのターゲットの予測経路を生成するように構成された第一生成ユニット5023と、を含む。
【0110】
一実施例では、前記第一生成ユニット5023は、確定し出した全ての画像に対応する時間情報および空間情報に基づき、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、前記先頭ノードおよび前記末尾ノードに対応する以外にさらに少なくとも一つの中間ノードに対応する予測経路を生成するように構成された第二生成ユニット5024を含む。
【0111】
一実施例では、前記第一確定ユニット5022は、前記第一画像の空間情報に対応する位置を開始位置とし、前記第二画像の空間情報に対応する位置を終了位置とし、前記開始位置から前記終了位置までの全ての撮影機器の位置情報を取得し、全ての撮影機器の位置情報が示す位置間の関係に基づき、前記開始位置に対応する撮影機器を起点とし、前記終了位置に対応する撮影機器を終点とし、いずれも前記起点の撮影機器および前記終点の撮影機器以外にさらに少なくとも一つの他の撮影機器の情報を含む少なくとも一つの機器経路を生成し、各機器経路に対して、前記第一画像の時間情報に対応する時間を開始時間とし、前記第二画像の時間情報に対応する時間を終了時間とし、現在の経路における各々の他の撮影機器が撮影した画像から、現在の撮影機器に隣接する1つ前の撮影機器が撮影した前記確定待ちのターゲットの情報を含む画像との設定時系列関係を有し、かつ前記確定待ちのターゲットの情報を含む画像を確定するように構成される。
【0112】
一実施例では、前記第二生成ユニット5024は、各機器経路に対して、確定した前記画像の時系列関係に基づいて、互いに接続された、時空間系列関係を有する複数の中間ノードを生成し、前記先頭ノード、前記末尾ノード、および前記中間ノードに基づき、現在の機器経路に対応した、時空間系列関係を有する画像経路を生成し、各機器経路に対応する画像経路から、前記第一画像を先頭ノードと、前記第二画像を末尾ノードとした、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
【0113】
一実施例では、前記第二生成ユニット5024はさらに、各機器経路に対応する画像経路に対して、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率を取得し、前記画像経路における各隣接の二つのノードの画像同士が同一確定待ちのターゲットの情報を有する確率に基づいて、前記画像経路が前記確定待ちのターゲットの予測経路とされる確率を計算し、各画像経路が前記確定待ちのターゲットの予測経路とされる確率に基づいて、確率最大画像経路を前記確定待ちのターゲットの予測経路として確定するように構成される。
【0114】
一実施例では、前記第一確定モジュール503は、ニューラルネットワークによって、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定サブモジュール5031を含む。
【0115】
一実施例では、前記第二確定サブモジュール5031は、前記予測経路における隣接画像の時間情報に基づき、隣接画像の時間差異を取得し、隣接画像の空間情報に基づき、隣接画像の空間差異を取得し、隣接画像における確定待ちのターゲットの特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成された第一取得ユニット5032と、得られた前記予測経路における隣接画像の時間差異、空間差異および特徴差異をLSTMに入力し、前記予測経路の確定待ちのターゲットの識別確率を得るように構成された第二取得ユニット5033と、前記予測経路の確定待ちのターゲットの識別確率に基づき、前記第一画像および第二画像における確定待ちのターゲットが同一確定待ちのターゲットであるかどうかを確定するように構成された第二確定ユニット5034と、を含む。
【0116】
一実施例では、前記第一取得ユニット5032は、Siamese−CNNによって隣接画像における確定待ちのターゲットの特徴情報をそれぞれ取得し、それぞれ取得した前記特徴情報に基づき、隣接画像における確定待ちのターゲットの特徴差異を取得するように構成される。
【0117】
説明すべきは、本発明の実施例が提供するターゲット識別装置がさらに関する具体的な詳細については、本発明の実施例が提供するターゲット識別方法において詳細に説明しており、ここでは説明を省略する。
【0118】
実施例6
同じ技術思想に基づき、
図6は本発明の実施例6に係るターゲット識別装置を示す構成模式図である。実施例3に記載のターゲット識別方法のフローを実行するために用いることができる。
【0119】
図6を参照すると、該ターゲット識別装置は、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得するように構成された取得モジュール601と、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成するように構成された生成モジュール603と、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定するように構成された第一確定モジュール604と、を含む。
【0120】
一実施例では、前記確定待ちのターゲットは交通手段である。
【0121】
一実施例では、前記装置はさらに、前記第一画像の時間情報、空間情報、画像特徴情報、および、前記第二画像の時間情報、空間情報、画像特徴情報に基づき、前記第一画像および前記第二画像にそれぞれ含まれる確定待ちのターゲットが同一ターゲットである初歩的同一確率値を確定するように構成された第二確定モジュール602を含み、それに対して、前記生成モジュール603は、前記初歩的同一確率値が所定値よりも大きい場合、前記第一画像および前記第二画像に基づき、前記予測経路を生成するように構成された第一生成サブモジュール6031を含む。
【0122】
一実施例では、前記第二確定モジュール602は、前記第一画像および前記第二画像、ならびに、前記第一画像と前記第二画像との間の時間情報の差異および空間情報の差異をSiamese−CNNに入力し、前記第一画像および第二画像における確定待ちのターゲットが同一ターゲットである初歩的同一確率値を得るように構成された第一確定サブモジュール6021を含む。
【0123】
説明すべきは、本発明の実施例が提供するターゲット識別装置がさらに関する具体的な詳細については、本発明の実施例が提供するターゲット識別方法において詳細に説明しており、ここでは説明を省略する。
【0124】
実施例7
本発明の実施例7は電子機器を提供し、例えば移動端末、パーソナルコンピュータ(PC)、タブレット、サーバなどであってもよい。以下に
図7を参照すると、本発明の実施例の端末機器またはサーバの実現に適する電子機器700の構成模式図が示される。
図7に示すように、電子機器700は一つ以上のプロセッサ、通信要素などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置(CPU)701、および/または一つ以上の画像処理装置(GPU)713などであり、プロセッサは読み取り専用メモリ(ROM)702に記憶されている実行可能命令または記憶部分708からランダムアクセスメモリ(RAM)703にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信要素は通信コンポーネント712および/または通信インタフェース709を含む。ここで、通信コンポーネント712はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはIB(Infiniband)ネットワークカードを含むことができるが、これに限定されず、通信インタフェース709はLANカード、モデムのネットワークインタフェースカードなどの通信インタフェースを含み、かつインターネットなどのネットワークによって通信処理を実行する。
【0125】
プロセッサは読み取り専用メモリ702および/またはランダムアクセスメモリ703と通信して実行可能命令を実行し、通信バス704を介して通信コンポーネント712と接続し、通信コンポーネント712によって他の目標機器と通信し、それにより本発明の実施例が提供するいずれか一項のターゲット識別方法に対応する動作、例えば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得することと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成することと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定することと、を完了することができる。
【0126】
また、RAM703には、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。CPU701またはGPU713、ROM702およびRAM703は通信バス704を介して互いに接続される。RAM703が存在する場合、ROM702は任意選択的なモジュールとなる。RAM703は実行可能命令を記憶するか、または動作時にROM702へ実行可能命令を書き込み、実行可能命令によってプロセッサは上記通信方法に対応する動作を実行する。入力/出力(I/O)インタフェース705も通信バス704に接続される。通信コンポーネント712は統合設置してもよいし、また複数のサブモジュール(例えば複数のIBネットワークカード)を有するように設置してもよく、かつ通信バスリンクに存在する。
【0127】
キーボード、マウスなどを含む入力部分706、陰極線管(CRT)、液晶ディスプレイ(LCD)などおよびスピーカーなどを含む出力部分707、ハードディスクなどを含む記憶部分708、およびLANカード、モデムのネットワークインタフェースカードなどを含む通信インタフェース709といった部品は、I/Oインタフェース705に接続される。ドライバ710も必要に応じてI/Oインタフェース705に接続される。取り外し可能な媒体711、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ710に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分708にインストールされる。
【0128】
説明すべきは、
図7に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記
図7の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばGPUとCPUは分離設置するかまたはGPUをCPUに統合するようにしてもよく、通信要素は分離設置してもよいし、またCPUまたはGPUに統合してもよいなどである。これらの置換可能な実施形態はいずれも本発明の保護範囲に属する。
【0129】
特に、本発明の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現可能である。例えば、本発明の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本発明の実施例により提供される方法を実行するステップに対応する命令、例えば、いずれも確定待ちのターゲットを含む第一画像および第二画像を取得することと、前記第一画像および前記第二画像に基づき、その両端がそれぞれ前記第一画像および前記第二画像に対応する予測経路を生成することと、前記予測経路の有効性を判断し、判断結果に基づき、前記第一画像および前記第二画像における確定待ちのターゲットが同じであるかどうかを確定することと、を含むことができる。このような実施例では、該コンピュータプログラムは通信要素によってネットワークからダウンロードおよびインストールでき、および/または取り外し可能な媒体711からインストールできる。該コンピュータプログラムはプロセッサに実行される時、本発明の実施例の方法に限定された上記機能を実行する。
【0130】
また、本発明の実施例の目的を達成するために、実施上の要求に応じて、本発明の実施例において説明した各部品/ステップをより多くの部品/ステップに分解してもよいし、二つ以上の部品/ステップまたは部品/ステップの一部の動作を新たな部品/ステップとして組み合わせてもよいことに留意されたい。
【0131】
本発明の実施例に係る上記方法はハードウェア、ファームウェアにおいて実現されてもよいし、または記録媒体(例えばCDROM、RAM、フロッピーディスク、ハードディスクまたは磁気光ディスク)に記憶可能なソフトウェアまたはコンピュータコードとして実現されてもよいし、またはネットワークからダウンロードされた元々遠隔記録媒体または非一時的機器可読媒体に記憶されかつローカル記憶媒体に記憶しようとされるコンピュータコードとして実現されてもよく、それによりここで記述した方法は共通コンピュータ、専用プロセッサまたはプログラマブルもしくは専用ハードウェア(例えばASICまたはFPGA)を使用する記録媒体に記憶されたようなソフトウェアによって処理可能になる。なお、コンピュータ、プロセッサ、マイクロプロセッサコントローラまたはプログラマブルハードウェアはソフトウェアまたはコンピュータコードを記憶または受信可能な記憶コンポーネント(例えば、RAM、ROM、フラッシュメモリなど)を含み、前記ソフトウェアまたはコンピュータコードはコンピュータ、プロセッサまたはハードウェアにアクセスされかつ実行される時、ここで記述した処理方法を実現する。また、共通コンピュータがここで示した処理を実現するためのコードにアクセスする時、コードの実行により共通コンピュータはここで示した処理を実行するための専用コンピュータに変換される。
【0132】
当業者によって理解されるように、本明細書に開示された実施例と関連付けて説明した各例のユニットおよび方法のステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実現可能である。これらの機能は果たしてハードウェアとソフトウェアのどちらの形で実行するかは、技術的解決手段の確定の応用および設計上の制約条件によって決められる。当業者は説明される機能を各確定の応用について異なる方法を用いて実現することができるが、このような実現は本発明の実施例の範囲を超えるものと理解すべきではない。
【0133】
以上の実施形態は本発明の実施例を説明するためのものに過ぎず、本発明の実施例を制限するものではなく、関連分野の当業者であれば、本発明の実施例の精神および範囲から逸脱することなく、さらに様々な変更および変形を行うことができるため、全ての均等の技術的解決手段も本発明の実施例の範疇に属するものとし、本発明の実施例の特許保護範囲は請求項により限定されるべきである。