IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

<>
  • 特許-画像処理装置 図1
  • 特許-画像処理装置 図2
  • 特許-画像処理装置 図3
  • 特許-画像処理装置 図4
  • 特許-画像処理装置 図5
  • 特許-画像処理装置 図6
  • 特許-画像処理装置 図7
  • 特許-画像処理装置 図8
  • 特許-画像処理装置 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20241217BHJP
【FI】
G06T7/00 350B
【請求項の数】 6
(21)【出願番号】P 2023516877
(86)(22)【出願日】2021-04-26
(86)【国際出願番号】 JP2021016647
(87)【国際公開番号】W WO2022230022
(87)【国際公開日】2022-11-03
【審査請求日】2023-10-06
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】朴 君
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開2020-052822(JP,A)
【文献】特開2010-055594(JP,A)
【文献】特開2017-117384(JP,A)
【文献】特開2012-185769(JP,A)
【文献】特開2014-067171(JP,A)
【文献】特開2009-187186(JP,A)
【文献】特開2004-265231(JP,A)
【文献】国際公開第2012/114727(WO,A1)
【文献】特開2014-044606(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00,7/00-7/90
G06V 10/00-10/98
(57)【特許請求の範囲】
【請求項1】
画像処理装置において、
物体を一意に識別する物体識別番号に関連付けて、前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部と、
未知の物体の画像である未知物体画像を取得する未知物体画像取得部と、
前記登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行う物体再特定部と、
前記物体再特定部による再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する登録物体画像更新部と、
を備え、
前記登録物体画像更新部は、前記条件が成立するか否かの判定では、所定の特徴量に基づいて1以上の前記登録物体画像をクラスタリングし、前記クラスタリングして得られたクラスタ毎に1クラス識別平面を作成し、前記作成した1クラス識別平面を用いて前記未知物体画像が前記クラスタと同じクラスであるか否かを判定し、前記未知物体画像が何れの前記クラスタとも同じクラスでないと判定された場合、前記条件が成立すると判定する画像処理装置。
【請求項2】
前記登録物体画像更新部は、前記条件が成立しないならば、前記未知物体画像に一致した前記登録物体画像を前記登録物体画像記憶部から削除するとともに、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する、
請求項1に記載の画像処理装置。
【請求項3】
前記登録物体画像更新部は、前記登録物体画像から検出した骨格情報に基づいて前記クラスタリングを行う、
請求項1に記載の画像処理装置。
【請求項4】
さらに、前記物体再特定部による再特定に成功したフレーム画像中の前記未知物体画像に係る物体の物体識別番号を前記フレーム画像の撮影時刻に関連して記憶する物体再特定情報記憶部を備え、
前記物体再特定部は、最新のフレーム画像中の前記未知物体画像の再特定を行う場合、前記物体再特定情報記憶部に記憶された直近のフレーム画像において再特定に成功した物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記最新のフレーム画像中の前記未知物体画像の再特定を行う、
請求項1乃至3の何れかに記載の画像処理装置。
【請求項5】
コンピュータによる画像処理方法において、
前記コンピュータが、未知の物体の画像である未知物体画像を取得し、
前記コンピュータが、物体を一意に識別する物体識別番号に関連付けて前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行い、
前記コンピュータが、前記再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加し、
前記コンピュータが、前記条件が成立するか否かの判定では、所定の特徴量に基づいて1以上の前記登録物体画像をクラスタリングし、
前記コンピュータが、前記クラスタリングして得られたクラスタ毎に1クラス識別平面を作成し、
前記コンピュータが、前記作成した1クラス識別平面を用いて前記未知物体画像が前記クラスタと同じクラスであるか否かを判定し、
前記コンピュータが、前記未知物体画像が何れの前記クラスタとも同じクラスでないと判定された場合、前記条件が成立すると判定する、
画像処理方法。
【請求項6】
コンピュータに、
未知の物体の画像である未知物体画像を取得する処理と、
物体を一意に識別する物体識別番号に関連付けて前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行う処理と、
前記再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する処理と、
を行わせ、
前記条件が成立するか否かの判定では、所定の特徴量に基づいて1以上の前記登録物体画像をクラスタリングし、前記クラスタリングして得られたクラスタ毎に1クラス識別平面を作成し、前記作成した1クラス識別平面を用いて前記未知物体画像が前記クラスタと同じクラスであるか否かを判定し、前記未知物体画像が何れの前記クラスタとも同じクラスでないと判定された場合、前記条件が成立すると判定するためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、および記録媒体に関する。
【背景技術】
【0002】
異なる時点に撮影された物体の複数の画像を入力として、それらの中から、同一の物体を発見する技術は、再特定技術或いは再同定技術と呼ばれる。ここで、物体は、人物または物である。物には、バックパックおよび鞄など人物の所持品、車、バイク、船、および飛行機などの移動体、犬および猫などの人物以外の動物、その他人物以外の物体が含まれる。再特定技術を記載した文献として、例えば特許文献1がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2018-506788
【発明の概要】
【発明が解決しようとする課題】
【0004】
未知の物体の再特定は、事前に登録された既知の物体の画像(登録物体画像)を使用して行われる。例えば、未知の物体の画像および既知の物体の画像の双方から特徴量を抽出して互いに比較して一致すると、未知の物体は当該既知の物体と同一物体(同一の個体)であると判定される。このとき、未知の物体には、当該既知の物体に割り当てられていた物体識別番号(物体ID)が割り当てられる。既知の物体1個あたり1個の登録物体画像だけが保存されている場合、未知の物体の画像はその唯一の登録物体画像と一致しない限り、再特定は行えない。一方、既知の物体1個につき、さまざまな登録物体画像が保存されていれば、未知の物体の画像は複数の登録物体画像の中の何れか1つに一致すればよいため、再特定の精度が向上する。しかし、既知の物体について無作為に複数の登録物体画像を保存すると、登録物体画像数が増加するわりには登録物体画像のバリエーションは増加せず、再特定の回数が増えて再特定の処理スピードが低下するわりには再特定の精度が向上しない。
【0005】
本発明は、上述した課題を解決する画像処理装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一形態に係る画像処理装置は、
画像処理装置において、
物体を一意に識別する物体識別番号に関連付けて、前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部と、
未知の物体の画像である未知物体画像を取得する未知物体画像取得部と、
前記登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行う物体再特定部と、
前記物体再特定部による再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する登録物体画像更新部と、
を備えるように構成されている。
【0007】
また本発明の一形態に係る画像処理方法は、
画像処理方法において、
未知の物体の画像である未知物体画像を取得し、
物体を一意に識別する物体識別番号に関連付けて前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行い、
前記再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する、
ように構成されている。
【0008】
また本発明の一形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
未知の物体の画像である未知物体画像を取得する処理と、
物体を一意に識別する物体識別番号に関連付けて前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行う処理と、
前記再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する処理と、
を行わせるためのプログラムを記録するように構成されている。
【発明の効果】
【0009】
本発明は、上述した構成を有することにより、登録物体画像数を無駄に増加させることなく、従って再特定の処理スピードを低下させることなく、登録物体画像のバリエーションを増やして再特定の精度を高めることができる。
【図面の簡単な説明】
【0010】
図1】本発明の第1の実施形態に係る画像処理装置のブロック図である。
図2】本発明の第1の実施形態に係る画像処理装置の動作例を示すフローチャートである。
図3】本発明の第1の実施形態に係る画像処理装置における登録物体画像記憶部に記憶されている情報のフォーマット例を示す図である。
図4】本発明の第1の実施形態に係る画像処理装置における登録物体画像更新部の処理例を示すフローチャートである。
図5】本発明の第1の実施形態に係る画像処理装置における登録物体画像記憶部に記憶されている情報の他のフォーマット例を示す図である。
図6】本発明の第1の実施形態に係る画像処理装置における登録物体画像更新部の処理例を示すフローチャートである。
図7】本発明の第1の実施形態に係る画像処理装置における物体再特定部が再特定に使用する登録物体画像を選択する方法の一例を説明するための模式図である。
図8】本発明の第1の実施形態に係る画像処理装置における登録物体画像記憶部に記憶されている登録物体画像の例を示す模式図である。
図9】本発明の第1の実施形態に係る画像処理装置のブロック図である。
【発明を実施するための形態】
【0011】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
[第1の実施の形態]
図1は、本発明の第1の実施形態に係る画像処理装置100のブロック図である。この画像処理装置100は、物体の再特定を行うように構成されている。ここで、物体は人物であってよい。物体が人物である場合、画像処理装置100は、人物の再特定を行う機能を有する。また、物体は人物以外の物であってよい。物体が人物以外の物である場合、画像処理装置100は、人物以外の物の再特定を行う機能を有する。また、物体は人物および人物以外の物の双方を含んでいてよい。物体が人物および人物以外の物の双方を含む場合、画像処理装置100は、人物の再特定を行う機能と人物以外の物の再特定を行う機能とを合わせ有する。図1を参照すると、画像処理装置100は、カメラI/F(インターフェース)部110と通信I/F部120と操作入力部130と画面表示部140と記憶部150と演算処理部160とを含んで構成されている。
【0012】
カメラI/F部110は、有線または無線により画像サーバ170に接続され、画像サーバ170と演算処理部160との間でデータの送受信を行うように構成されている。画像サーバ170は、有線または無線によりカメラ175に接続され、カメラ175で撮影されたそれぞれ撮影時刻が異なる複数の画像を過去一定期間分蓄積するように構成されている。カメラ175は、例えば、数百万画素程度の画素容量を有するCCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary MOS)イメージセンサを備えたカラーカメラであってよい。カメラ175は、防犯・監視の目的のために多くの人や物が行きかう街頭、屋内などに設置されたカメラであってよい。またカメラ175は、固定された場所から固定された撮影方向で同一或いは異なる撮影領域を撮影するカメラであってよい。或いはカメラ175は、車などの移動体に搭載されて移動しながら同一或いは異なる撮影領域を撮影するカメラであってよい。カメラ175は1台に限定されず、異なる場所から異なる撮影領域を撮影する複数台のカメラであってよい。
【0013】
通信I/F部120は、データ通信回路から構成され、有線または無線によって図示しない外部装置との間でデータ通信を行うように構成されている。操作入力部130は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部160に出力するように構成されている。画面表示部140は、LCD(Liquid Crystal Display)などの画面表示装置から構成され、演算処理部160からの指示に応じて、各種情報を画面表示するように構成されている。
【0014】
記憶部150は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部160における各種処理に必要な処理情報およびプログラム1501を記憶するように構成されている。プログラム1501は、演算処理部160に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信I/F部120などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部150に保存される。記憶部150に記憶される主な処理情報には、登録物体画像記憶部1502、および物体再特定情報1503がある。
【0015】
登録物体画像記憶部1502は、物体(個体)を一意に識別する物体識別番号に関連付けて、当該物体の画像である1以上の登録物体画像を記憶するように構成されている。
【0016】
物体再特定情報1503は、物体再特定の結果を表す情報である。物体再特定情報1503は、例えば、フレーム画像を特定する情報(例えば、カメラIDと撮影時刻)、当該フレーム画像から検出された物体毎の物体画像およびその位置情報、並びに、再特定された物体毎の物体識別番号を含んで構成されている。なお、物体再特定情報1503は、物体再特定情報記憶部とも呼ぶ。
【0017】
演算処理部160は、MPUなどのプロセッサとその周辺回路を有し、記憶部150からプログラム1501を読み込んで実行することにより、上記ハードウェアとプログラム1501とを協働させて各種処理部を実現するように構成されている。演算処理部160で実現される主な処理部には、未知物体画像取得部1601、物体再特定部1602、および、登録物体画像更新部1603がある。
【0018】
未知物体画像取得部1601は、カメラI/F部110を通じて画像サーバ170から、カメラ175で撮影された動画を構成するフレーム画像あるいはそれをダウンサンプリングしたフレーム画像を取得するように構成されている。取得されたフレーム画像には、カメラIDおよび撮影時刻が付加されている。フレーム画像の撮影時刻は、フレーム毎に相違する。さらに、未知物体画像取得部1601は、取得したフレーム画像から、未知物体画像を検出するように構成されている。未知物体画像は、例えばフレーム画像中に存在する物体全体の像の外接矩形内部の画像である。例えば、人物の場合、未知物体画像は、人物の全身の像の外接矩形内部の画像である。また、物の場合、未知物体画像は、物全体の像の外接矩形内部の画像である。
【0019】
未知物体画像取得部1601は、例えば、フレーム画像から物体像を推定するための機械学習を行った学習済みの学習モデルにフレーム画像を入力することで、フレーム画像中に存在する物体像を未知物体画像として当該学習モデルから取得するように構成されている。学習モデルは、例えば、様々なフレーム画像とそのフレーム画像中の様々な物体像とを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。但し、フレーム画像から未知物体画像を検出する方法は上記に限定されず、パターンマッチングなどの方法を使用してもよい。
【0020】
未知物体画像取得部1601は、検出した未知物体画像に、例えば、仮物体ID、カメラID、撮影時刻、および、フレーム画像上での当該未知物体画像の位置情報を付加して、物体再特定部1602へ伝達するように構成されている。未知物体画像の位置情報は、例えば、未知物体画像の外接矩形を特定する座標情報であってよい。
【0021】
物体再特定部1602は、記憶部150の登録物体画像記憶部1502に記憶された登録物体画像を使用して、未知物体画像取得部1601から伝達された未知物体画像の再特定を行うように構成されている。
【0022】
物体再特定部1602は、例えば、2つの物体画像が同一物体に係る物体画像であるか否かを推定するための機械学習を行った学習済みの第1の学習モデルに上記未知物体画像と上記登録物体画像の1つとを入力し、同一物体に係る物体画像であるか否かの確率付きの推定結果を第1の学習モデルから取得するように構成されている。第1の学習モデルは、例えば、様々な同一物体に係る物体画像ペアおよび様々な相違物体に係る物体画像ペアを教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。物体再特定部1602は、例えば、上記確率が事前に設定された閾値確率以上であれば、上記未知物体画像は上記登録物体画像と同一物体であると判定する。また、物体再特定部1602は、例えば、上記確率が事前に設定された閾値確率未満であれば、上記未知物体画像は上記登録物体画像と同一物体でないと判定する。この場合、他の登録物体画像が登録物体画像記憶部1502に記憶されていれば、他の登録物体画像を使用して、上記未知物体画像の再特定を再び繰り返す。そして、全て或いは予め定められた範囲の登録物体画像を使用して上記未知物体画像の再特定を行っても、閾値確率以上の推定結果が得られなかった場合、物体再特定部1602は、上記未知物体画像は、新規に出現した物体であると判定し、当該物体に新たな物体識別番号を採番して割り振る。また、物体再特定部1602は、上記未知物体画像を新規に出現した物体の登録物体画像として上記物体識別番号に関連付けて登録物体画像記憶部1502に保存する。
【0023】
上記では、画像を学習モデルに直接入力して物体再特定を行ったが、画像から物体再特定に適した特徴量を抽出し、その特徴量を学習モデルに入力して物体再特定を行うようにしてもよい。また、物体再特定を行う方法は上記に限定されず、2つの物体画像から抽出した特徴ベクトルの距離が所定距離以下か否かを判定する方法など、他の任意の方法を使用してもよい。また、物体再特定部1602は、物体識別番号毎に、物体識別番号に関連付けて記憶されている1以上の登録物体画像のそれぞれと未知物体画像との間の上記確率を求めて統計値(例えば、平均値、最大値)を算出し、その統計値が閾値以上であれば未知物体画像は当該登録物体画像と同一物体であると判定してよい。
【0024】
物体再特定部1602は、未知物体画像に対して行った物体再特定の結果を表す物体再特定情報1503を作成し、記憶部150に保存する。記憶部150に保存された物体再特定情報1503は、例えば、物体再特定部1602が新たなフレーム画像中の物体画像の再特定を行う際、再特定に使用する登録物体画像を選択するために使用してよい。或いは、物体再特定情報1503は、画面表示部140に表示し、または/および、通信I/F部120を通じて外部装置へ送信してよい。或いは、物体再特定情報1503は、人物および物の行動監視を行うアプリケーションプログラムの入力データとしてよい。人物および物の行動監視の例として、不審人物および不審物の監視(例えば置き去り、持ち去り、すり替え、万引き)が考えられる。
【0025】
また、物体再特定部1602は、未知物体画像の再特定に成功した場合、再特定された物体の物体識別番号と当該未知物体画像とを含む再特定成功情報を、登録物体画像更新部1603へ伝達するように構成されている。また、物体再特定部1602は、未知物体画像の再特定に失敗した場合、すなわち未知物体画像に一致する登録物体画像が1つも存在しなかった場合、再特定できなかった未知物体画像を含む再特定失敗情報を、登録物体画像更新部1603へ伝達するように構成されている。
【0026】
登録物体画像更新部1603は、物体再特定部1602から受け取った再特定失敗情報および再特定成功情報に基づいて、登録物体画像記憶部1502を更新する。具体的には、登録物体画像更新部1603は、物体再特定部1602から再特定失敗情報を受け取ると、再特定できなかった未知物体画像に係る物体に採番された物体識別番号に関連付けて、未知物体画像を登録物体画像として登録物体画像記憶部1502に登録する。
【0027】
一方、登録物体画像更新部1603は、物体再特定部1602から再特定成功情報を受け取ると、先ず、再特定に成功した未知物体画像に係る物体の物体識別番号に関連付けて登録物体画像記憶部1502に記憶された全ての登録物体画像を読み出す。次に登録物体画像更新部1603は、未知物体画像と登録物体画像のペア毎に、両者が一致するか否かを調べる。例えば、登録物体画像更新部1603は、未知物体画像と登録物体画像の類似度を算出し、算出した類似度が予め設定された閾値以下であれば、両者が一致し、それ以外は一致しないと判定する。次に登録物体画像更新部1603は、未知物体画像と登録物体画像のペアの全てで、両者が一致しないと判定した場合、未知物体画像に係る物体の物体識別番号に関連付けて当該未知物体画像を新たな1つの登録物体画像として登録物体画像記憶部1502に追加する。このとき、登録物体画像記憶部1502に既に登録されている登録物体画像は、削除せずに保存し続ける。これにより、当該物体の再特定に利用できる登録物体画像のバリエーションが1つ増えることになる。
【0028】
また、登録物体画像更新部1603は、未知物体画像と登録物体画像のペアの少なくとも1つで、両者が一致する場合、以下の(A)または(B)の処理を行う。
【0029】
(A)登録物体画像更新部1603は、未知物体画像に一致した登録物体画像の1つを登録物体画像記憶部1502から削除し、その代わりに、未知物体画像を新たな1つの登録物体画像として登録物体画像記憶部1502に追加する。これにより、物体の再特定に利用できる登録物体画像のバリエーションは変化しないが、登録物体画像がより最新のものに置き換えられることになる。
(B)登録物体画像更新部1603は、登録物体画像記憶部1502に未知物体画像を追加すること、および、登録物体画像記憶部1502から登録物体画像を削除することは、何れも行わない。これにより、無作為に未知物体画像を登録物体画像記憶部1502に追加する場合のように、登録物体画像の数が無駄に増加するのを防止することができる。
【0030】
続いて、画像処理装置100の動作を説明する。図2は、画像処理装置100の動作例を示すフローチャートである。
【0031】
図2を参照すると、先ず、未知物体画像取得部1601は、カメラI/F部110を通じて画像サーバ170から、カメラ175で撮影されたフレーム画像を取得し、そのフレーム画像から、未知物体画像を取得する(ステップS1)。
【0032】
次に、物体再特定部1602は、登録物体画像記憶部1502に記憶された1以上の登録物体画像を使用して、上記取得された未知物体画像の再特定を行う(ステップS2)。
【0033】
次に、登録物体画像更新部1603は、物体再特定部1602による未知物体画像の再特定の結果に基づいて、登録物体画像記憶部1502を更新する(ステップS3)。具体的には、登録物体画像更新部1603は、再特定に失敗した場合、再特定できなかった未知物体画像に係る物体に採番された物体識別番号に関連付けて、未知物体画像を登録物体画像として登録物体画像記憶部1502に登録する。また、登録物体画像更新部1603は、物体再特定に成功した場合、再特定に成功した未知物体画像に係る物体の物体識別番号に関連付けて登録物体画像記憶部1502に記憶された全ての登録物体画像と未知物体画像のペア毎に両者が一致するか否かを調べ、全てのペアで一致しない場合、未知物体画像に係る物体の物体識別番号に関連付けて当該未知物体画像を新たな1つの登録物体画像として登録物体画像記憶部1502に追加する。一方、登録物体画像更新部1603は、未知人物画像と登録物体画像のペアの少なくとも1つで、両者が一致する場合、上述した(A)または(B)の処理を行う。
【0034】
画像処理装置100は、ステップS3の処理を終えると、ステップS1に戻り、上述した処理と同様の処理を繰り返す。これにより、カメラ175で撮影されたフレーム画像に他の未知物体画像が存在する場合、存在する未知物体画像毎に、未知物体画像の取得(ステップS1)、未知物体画像の再特定(ステップS2)、再特定結果に基づく登録物体画像記憶部1502の更新(ステップS3)が繰り返される。また、1つのフレーム画像に存在する全ての未知物体画像についてステップS1~S3の処理が完了すると、次のフレーム画像が取得され、前回のフレーム画像と同様な処理が繰り返される。
【0035】
このように本実施形態に係る画像処理装置100によれば、登録物体画像数を無駄に増加させることなく、従って再特定の処理スピードを低下させることなく、登録物体画像のバリエーションを増やして再特定の精度を高めることができる。その理由は、登録物体画像更新部1603は、物体再特定に成功した場合、再特定に成功した未知物体画像に係る物体の物体識別番号に関連付けて登録物体画像記憶部1502に記憶された全ての登録物体画像と未知物体画像のペア毎に両者が一致するか否かを調べ、全てのペアで一致しない場合、未知物体画像に係る物体の物体識別番号に関連付けて当該未知物体画像を新たな1つの登録物体画像として登録物体画像記憶部1502に追加するためである。
【0036】
続いて、登録物体画像更新部1603について、より詳細に説明する。
【0037】
同一の物体について、互いに相違する複数の画像を登録する方法には、2通りの方法が考えられる。第1の方法は、互いに相違する複数の画像の条件を事前に決定しておき、既登録の画像が満たしていない条件の1つに新たに取得された画像が合致しているか否かを判定する方法である。第2の方法は、最初に取得した画像は無条件に登録し、2つ目以降に取得した画像は、既に登録されている1以上の画像をクラスタリングして得られる1以上のクラスタの何れにも属さない例外的な画像か否かを1クラス識別平面により判定し、その判定結果に従って登録の可否を決定する方法である。
【0038】
登録物体画像更新部1603が上記第1の方法を使用する場合の上記条件は各種考えらえる。例えば、上記条件として、物体のそれぞれ異なる複数の姿勢を使用してよい。或いは、上記条件として、物体の付属物(所持品)の有無または種類を使用してよい。例えば、人物の場合、所持品を有していない人物、所持品としてバックパックを有している人物、所持品として手提げ鞄を有している人物などをそれぞれ異なる複数の画像の条件としてよい。
【0039】
また、登録物体画像更新部1603が上記第2の方法を使用する場合、画像から事前に定められた特徴量を抽出し、その抽出された特徴量の類似度に従ってクラスタリングすることが考えられる。特徴量は各種考えられる。例えば、物体の姿勢を表す特徴量であってもよいし、物体の付属物の有無および種類を表す特徴量であってもよい。
【0040】
続いて、登録物体画像更新部1603の具体例について説明する。
【0041】
<登録物体画像更新部1603の例1>
図3は、物体を一意に識別する登録物体番号に関連付けて登録物体画像記憶部1502に記憶されている情報のフォーマット例を示す。図3を参照すると、登録物体画像記憶部1502は、物体識別番号171および登録物体画像情報172のペアを登録物体の数だけ備えている。物体識別番号171の項目には、登録物体を一意に識別する登録物体番号が設定される。登録物体画像情報172の項目には、登録物体番号171で特定される登録物体の再特定で使用する登録物体画像の情報が設定される。図3に示す例では、登録物体画像情報172は、姿勢番号1721と登録物体画像1722とプロパティ1723の組をm組備えている。
【0042】
姿勢番号1721の項目には、物体の姿勢をm種類に分類したときの1つの姿勢を定める番号が事前に設定されている。登録物体画像1722の項目には、姿勢番号1721に設定された姿勢番号で定まる姿勢に一致した登録物体画像が設定される。プロパティ1723の項目には、登録物体画像1722に設定された登録物体画像が含まれていたフレーム画像に付加されていたカメラIDおよび撮影時刻などが設定される。姿勢番号1721に該当する登録物体画像が存在しない場合、登録物体画像1722およびプロパティ1723の項目は例えばNULL値である。本例では、1つの姿勢番号あたりに登録する登録物体画像数は1である。しかし、他の実施形態として、1つの姿勢番号あたりに登録する登録物体画像数を2以上としてもよい。
【0043】
物体画像から物体の姿勢を検出する方法は各種考えられる。以下では、物体の骨格情報を用いて物体の姿勢を検出する例について説明する。この方法は、物体が人物の場合に適用できる。また、物体が人物以外の物であっても、犬や猫などの骨格を有する生物の場合に適用できる。
【0044】
先ず、登録物体画像更新部1603は、物体画像から物体の骨格情報を検出する。例えば、人の骨格情報は、人体を構成する関節の位置を表す情報を含んでいる。関節は、首や肩などの関節のみならず、目や鼻などの顔のパーツも関節に含めてよい。骨格情報は、関節の位置に加えて、関節毎の信頼度(特徴認識の尤度)を含んでいてよい。例えば、登録物体画像更新部1603は、画像中の物体の骨格情報をディープラーニングで推定するシステムを用いて実現してよい。上記システムには、例えば、OpenPose、HRNet、AlphaPoseなどがある。例えば、OpenPoseでは、鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左耳の合計18箇所の関節の位置(x、y座標)と信頼度とを抽出する。但し、物体画像から人の骨格情報を検出する方法は、上記に限定されず、任意の方法を使用することができる。
【0045】
次に、登録物体画像更新部1603は、検出した骨格情報から物体の姿勢を決定する。骨格情報から物体の姿勢を決定する方法は、例えば以下のような方法を使用してよい。
【0046】
先ず、登録物体画像更新部1603は、骨格情報から予め定められた左右対称に存在する関節のペアの位置情報を取得する。左右対称に存在する関節ペアは幾つか存在するが、人物の場合、姿勢に大きな影響を及ぼす左肩と右肩の関節ペアの位置情報を取得するのが望ましい。次に、登録物体画像更新部1603は、ペアの何れか一方(例えば左肩の関節)から他方(例えば右肩の関節)に向かうベクトルの法線の向きを算出する。ベクトルに垂直な方向は2つ存在するので、予め定めた一方を法線の向きとする。次に、登録物体画像更新部1603は、上記法線の向きが、予め定められたm種類の姿勢番号に対応する基準方向のうちの何れに一致するかを判定する。例えば、m=8の場合、m種類の姿勢番号に対応する基準方向は、0°、45°、90°、135°、180°、225°、270°、315°としてよい。また、登録物体画像更新部1603は、決定した法線の向きと各基準方向との差の角度を算出し、差の角度の絶対値が最小となる基準方向に対応する姿勢番号を、当該物体の姿勢に決定する。例えば、法線の向きが5°であれば、基準方向0°に対応する姿勢番号の姿勢と判定する。但し、骨格情報から物体の姿勢を決定する方法および姿勢の種類数は、上記に限定されない。
【0047】
図4は、登録物体画像更新部1603の処理例を示すフローチャートである。図4を参照すると、登録物体画像更新部1603は、先ず、物体再特定部1602から伝達された再特定成功情報または再特定失敗情報に含まれる未知物体画像から未知物体である物体の姿勢を決定する(ステップS11)。次に登録物体画像更新部1603は、物体再特定に成功していたか失敗していたかを判別する(ステップS12)。次に登録物体画像更新部1603は、物体再特定に失敗していた場合、今回の未知物体である物体のための新たな物体識別番号171および登録物体画像情報172の組を登録物体画像記憶部1502に作成する(ステップS13)。具体的には、登録物体画像更新部1603は、今回の物体に新たな物体識別番号を採番し、登録物体画像記憶部1502に新たに確保した物体識別番号171の項目に上記採番した物体識別番号を設定する。また、登録物体画像更新部1603は、新たに確保した登録物体画像情報172における当該物体画像から検出した姿勢に一致する姿勢番号1721と同じ組の登録物体画像1722およびプロパティ1723の項目に今回の未知物体画像およびそのプロパティを設定する。そして、登録物体画像更新部1603は、図4の処理を終了する。
【0048】
一方、登録物体画像更新部1603は、物体再特定に成功していた場合、再特定された物体識別番号に関連して登録物体画像記憶部1502に登録された登録物体画像1722の1つに注目する(ステップS14)。次に登録物体画像更新部1603は、注目中の登録物体画像1722から登録物体の姿勢を決定し(ステップS15)、ステップS11で決定した未知物体画像の姿勢と比較する(ステップS16)。次に登録物体画像更新部1603は、両者の姿勢が一致した場合(ステップS17でYES)、登録物体画像記憶部1502に記憶されている注目中の登録物体画像1722を未知物体画像で上書きする(ステップS18)。このとき、対応するプロパティ1723を未知物体画像のもので上書きする。そして、登録物体画像更新部1603は、図4の処理を終了する。
【0049】
また、登録物体画像更新部1603は、両者の姿勢が一致しない場合(ステップS17でNO)、再特定された物体識別番号に関連する登録物体画像1722の次の1つに注目を移し(ステップS19)、ステップS20を経由してステップS15へ戻り、注目を移した登録物体画像1722について前述した処理と同様の処理を繰り返す。そして、再特定された物体識別番号に関連して登録物体画像記憶部1502に記憶された全ての登録物体画像1722について処理し終えると(即ち、全ての登録物体画像と姿勢が一致しない場合)(ステップS20でYES)、ステップS21を実行する。登録物体画像更新部1603は、ステップS21においては、未知物体画像とそのプロパティの組をその姿勢に対応する姿勢番号の登録物体画像1722とプロパティ1723の組として登録物体画像記憶部1502に登録する。そして、登録物体画像更新部1603は、図4の処理を終了する。
【0050】
<登録物体画像更新部1603の例2>
【0051】
図5は、物体を一意に識別する登録物体番号に関連付けて登録物体画像記憶部1502に記憶されている情報の他のフォーマット例を示す。図5を参照すると、登録物体画像記憶部1502は、物体識別番号173および登録物体画像情報174のペアを登録物体の数だけ備えている。物体識別番号173の項目には、登録物体を一意に識別する登録物体番号が設定される。登録物体画像情報174の項目には、登録物体番号173で特定される登録物体の再特定で使用する登録物体画像の情報が設定される。図5に示す例では、登録物体画像情報174は、登録物体画像1741とプロパティ1742の組を1以上含んでいる。ここで、1つの物体識別番号あたりに登録する登録物体画像数に上限を設定してもよいし、設定しなくてもよい。
【0052】
登録物体画像1741の項目には、登録物体の物体画像が設定される。プロパティ1742の項目には、登録物体画像1741に設定された物体画像が含まれていたフレーム画像に付加されていたカメラIDおよび撮影時刻などが設定される。
【0053】
図6は、登録物体画像更新部1603の処理例を示すフローチャートである。図6を参照すると、登録物体画像更新部1603は、先ず、物体再特定部1602から伝達された再特定成功情報または再特定失敗情報に含まれる未知物体画像から未知物体である物体の骨格情報を検出する(ステップS31)。次に登録物体画像更新部1603は、物体再特定に成功していたか失敗していたかを判別する(ステップS32)。次に登録物体画像更新部1603は、物体再特定に失敗していた場合、今回の未知物体である物体のための新たな物体識別番号173および登録物体画像情報174の組を登録物体画像記憶部1502に作成する(ステップS33)。具体的には、登録物体画像更新部1603は、今回の物体に新たな物体識別番号を採番し、登録物体画像記憶部1502に新たに確保した物体識別番号173の項目に上記採番した物体識別番号を設定する。また、登録物体画像更新部1603は、新たに確保した登録物体画像情報174に今回の未知物体画像を設定した登録物体画像1741とそのプロパティ1742の組を設定する。そして、登録物体画像更新部1603は、図6の処理を終了する。
【0054】
一方、登録物体画像更新部1603は、物体再特定に成功していた場合、再特定された物体識別番号に関連して登録物体画像記憶部1502に登録された全ての登録物体画像1741を、それらから抽出した骨格情報に基づいてクラスタリングする(ステップS34)。次に登録物体画像更新部1603は、上記クラスタリングによって得られたクラスタの1つに注目し(ステップS35)、注目中のクラスタの1クラス識別平面を作成する(ステップS36)。次に登録物体画像更新部1603は、作成した1クラス識別平面を用いて、未知物体画像の骨格情報が注目中のクラスタと同じクラスか否かを判定する(ステップS37)。次に登録物体画像更新部1603は、同じクラスであると判定した場合(ステップS38でYES)、登録物体画像記憶部1502に記憶されている注目中のクラスタに属する登録物体画像1741の1つを未知物体画像で上書きする(ステップS39)。このとき、対応するプロパティ1742を未知物体画像のもので上書きする。そして、登録物体画像更新部1603は、図6の処理を終了する。
【0055】
また、登録物体画像更新部1603は、同じクラスでないと判定した場合(ステップS38でNO)、クラスタリングによって生成された他のクラスタの1つに注目を移し(ステップS40)、ステップS41を経由してステップS36へ戻り、注目を移したクラスタについて前述した処理と同様の処理を繰り返す。そして、作成されたクラスタの全てについて処理し終えると(即ち、未知物体画像の関節情報が何れのクラスタにも属さない場合)(ステップS41でYES)、ステップS42を実行する。登録物体画像更新部1603は、ステップS42においては、未知物体画像とそのプロパティの組をその再特定された物体識別番号173に対応する登録物体画像1741とプロパティ1742の組として登録物体画像記憶部1502に登録する。そして、登録物体画像更新部1603は、図6の処理を終了する。
【0056】
続いて、物体再特定部1602について、より詳細に説明する。
【0057】
図7は、物体再特定部1602が再特定に使用する登録物体画像を選択する方法の一例を説明するための模式図である。図7において、フレーム画像181は物体再特定部1602がこれから再特定を行うフレーム画像であり、未知物体画像取得部1601によって検出された3つの未知物体画像X1~X3が含まれている。一方、フレーム画像182、183、184、および、185は、フレーム画像181の1つ、2つ、3つ、および、4つ前のフレーム画像である。フレーム画像182~185には3つの物体画像が含まれ、それらは物体再特定部1602によって再特定されている。即ち、3つの物体画像のうちの1つは人物A、もう1つは人物B、残り1つは人物Cに再特定されている。これらの再特定情報は物体再特定情報1503に含まれている。図7では、人物Aのフレーム毎の画像をA1、A2、A3、A4と区別している。同様に、人物Bのフレーム毎の画像はB1、B2、B3、B4として、人物Cのフレーム毎の画像はC1、C2、C3、C4として、それぞれ区別している。
【0058】
また、図7において、各画像に付記した角度は、画像中の人物の姿勢を表している。人物Aの画像A1の姿勢は0°、画像A2、A3、A4の姿勢は同じ90°である。そのため、人物Aの物体識別番号に関連付けて登録物体画像記憶部1502には、図8に示すように画像A4、A1が登録され、画像A2、A3は登録されていない。同様にして、人物Bと人物Cの物体識別番号に関連付けて登録物体画像記憶部1502には、図8に示すように画像B4、B2、B1と画像C4、C2が登録され、画像B3、C1、C3は登録されていない。
【0059】
さて、物体再特定部1602は、最新のフレーム画像181中の未知物体画像X1の再特定を行う場合、1以上の直近のフレーム画像182~185において再特定に成功した人物A、B、Cの物体識別番号に関連付けて登録物体画像記憶部1502に記憶された図8に示す登録物体画像を使用して、未知物体画像X1の再特定を行う。即ち、物体再特定部1602は、例えば学習済みの学習モデルを使用して、未知物体画像X1が画像A4と同一人物である確率を算出し、その確率が閾値以上であれば未知物体画像X1は人物Aであると決定する。また、その確率が閾値未満であれば、物体再特定部1602は、未知物体画像X1が画像A1と同一人物である確率を算出し、その確率が閾値以上であれば未知物体画像X1は人物Aであると決定する。さらにその確率が閾値未満であれば、残りの登録画像である画像B4、B2、B1、C4、C2を順番に使用して未知物体画像X1の再特定を試行する。このように最新のフレーム画像181中の1つの未知物体画像X1について、直近の4フレームで再特定された人物の登録物体画像と再特定する場合、本実施形態では、合計7個の登録物体画像に限定することができる(A1、A4、B1、B2、B4、C2、C4)。これに対して、直近の4フレームで再特定された人物の画像をそのまま登録物体画像とする構成では、未知物体画像X1について、合計12個の登録物体画像と再特定を行うことになり、再特定の処理スピードが低下することになる。
【0060】
また、物体再特定部1602は、登録物体画像記憶部1502に記憶されている1以上の登録物体画像のうち、未知物体画像から検出した未知物体の姿勢に一致する姿勢を有する登録物体画像を優先的に使用して、未知物体画像の再特定を行うようにしてよい。即ち、上記未知物体画像X1の例では、未知物体画像X1から姿勢0°を検出し、登録物体画像記憶部1502から同じ姿勢0°の画像A1、B4、C2を選択し、先ず、これら3つの画像を順に使用して、未知物体画像X1の再特定を行ってよい。これにより、未知物体画像X1の再特定に成功するまでに要する再特定回数を削減することが期待でき、再特定の処理スピードをより高速化することができる。
【0061】
[第2の実施の形態]
次に、本発明の第2の実施の形態について図面を参照して説明する。図9は、本実施の形態における画像処理装置のブロック図である。本実施の形態では、本発明の画像処理装置の概略を説明する。
【0062】
図9を参照すると、本実施の形態に係る画像処理装置200は、登録物体画像記憶部201と未知物体画像取得部202と物体再特定部203と登録物体画像更新部204とを含んで構成される。
【0063】
登録物体画像記憶部201は、物体を一意に識別する物体識別番号に関連付けて、物体の1以上の画像を登録物体画像として記憶するように構成されている。ここで、物体は、人物であってよい。或いは、物体は人物以外の物であってよい。登録物体画像記憶部201は、例えば図1の登録物体画像記憶部1502と同様に構成することができるが、それに限定されない。
【0064】
未知物体画像取得部202は、未知の物体の画像である未知物体画像を取得するように構成されている。未知物体画像の取得元は、例えばカメラ画像であってよい。未知物体画像取得部202は、例えば図1の未知物体画像取得部1601と同様に構成することができるが、それに限定されない。
【0065】
物体再特定部203は、登録物体画像記憶部201に記憶された登録物体画像を使用して、未知物体画像取得部202によって取得された未知物体画像の再特定を行うように構成されている。物体再特定部203は、例えば図1の物体再特定部1602と同様に構成することができるが、それに限定されない。
【0066】
登録物体画像更新部204は、物体再特定部203による再特定に成功した未知物体画像に係る物体の物体識別番号に関連付けて登録物体画像記憶部201に記憶された登録物体画像の全てが上記未知物体画像と相違するという条件が成立するならば、上記物体識別番号に関連付けて上記未知物体画像を新たな1つの登録物体画像として登録物体画像記憶部201に追加するように構成されている。登録物体画像更新部204は、例えば図1の登録物体画像更新部204と同様に構成することができるが、それに限定されない。
【0067】
このように構成された画像処理装置200は、以下のように動作する。すなわち、登録物体画像記憶部201は、物体を一意に識別する物体識別番号に関連付けて、物体の1以上の画像を登録物体画像として記憶している。この状態の下で、未知物体画像取得部202は、未知の物体の画像である未知物体画像を取得する。次に物体再特定部203は、登録物体画像記憶部201に記憶された登録物体画像を使用して、未知物体画像取得部202によって取得された未知物体画像の再特定を行う。次に登録物体画像更新部204は、物体再特定部203による再特定に成功した未知物体画像に係る物体の物体識別番号に関連付けて登録物体画像記憶部201に記憶された登録物体画像の全てが上記未知物体画像と相違するという条件が成立するならば、上記物体識別番号に関連付けて上記未知物体画像を新たな1つの登録物体画像として登録物体画像記憶部201に追加する。
【0068】
以上のように構成され動作する画像処理装置200によれば、登録物体画像数を無駄に増加させることなく、従って再特定の処理スピードを低下させることなく、登録物体画像のバリエーションを増やして再特定の精度を高めることができる。その理由は、登録物体画像更新部204は、物体再特定部203による再特定に成功した未知物体画像に係る物体の物体識別番号に関連付けて登録物体画像記憶部201に記憶された登録物体画像の全てが上記未知物体画像と相違するという条件が成立するならば、上記物体識別番号に関連付けて上記未知物体画像を新たな1つの登録物体画像として登録物体画像記憶部201に追加するためである。
【0069】
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【産業上の利用可能性】
【0070】
本発明は、人物の再特定、または/および人の所持品などの物の再特定に利用できる。また、人物による所持品の置き去り、持ち去り、すり替えなどのイベントを検出する技術に利用できる。
【0071】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
画像処理装置において、
物体を一意に識別する物体識別番号に関連付けて、前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部と、
未知の物体の画像である未知物体画像を取得する未知物体画像取得部と、
前記登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行う物体再特定部と、
前記物体再特定部による再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する登録物体画像更新部と、
を備える画像処理装置。
[付記2]
前記登録物体画像更新部は、前記条件が成立しないならば、前記未知物体画像に一致した前記登録物体画像を前記登録物体画像記憶部から削除するとともに、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する、
付記1に記載の画像処理装置。
[付記3]
前記登録物体画像更新部は、前記条件が成立するか否かの判定では、1以上の前記登録物体画像のそれぞれから検出した登録物体の姿勢と、前記未知物体画像から検出した未知物体の姿勢とを比較し、前記未知物体の姿勢と一致する前記登録物体の姿勢が1つも存在しない場合、前記条件が成立すると判定する、
付記1または2に記載の画像処理装置。
[付記4]
前記登録物体画像更新部は、前記登録物体の姿勢を前記登録物体画像から検出した骨格情報に基づいて検出し、前記未知物体の姿勢を前記未知物体画像から検出した骨格情報に基づいて検出する、
付記3に記載の画像処理装置。
[付記5]
前記物体再特定部は、前記登録物体画像記憶部に記憶されている1以上の登録物体画像のうち、前記未知物体画像から検出した未知物体の姿勢に一致する姿勢を有する前記登録物体画像を優先的に使用して、前記取得された未知物体画像の再特定を行う、
付記3または4に記載の画像処理装置。
[付記6]
前記登録物体画像更新部は、前記条件が成立するか否かの判定では、所定の特徴量に基づいて1以上の前記登録物体画像をクラスタリングし、前記クラスタリングして得られたクラスタ毎に1クラス識別平面を作成し、前記作成した1クラス識別平面を用いて前記未知物体画像が前記クラスタと同じクラスであるか否かを判定し、前記未知物体画像が何れの前記クラスタとも同じクラスでないと判定された場合、前記条件が成立すると判定する、
付記1または2に記載の画像処理装置。
[付記7]
前記登録物体画像更新部は、前記登録物体画像から検出した骨格情報に基づいて前記クラスタリングを行う、
付記6に記載の画像処理装置。
[付記8]
さらに、前記物体再特定部による再特定に成功したフレーム画像中の前記未知物体画像に係る物体の物体識別番号を前記フレーム画像の撮影時刻に関連して記憶する物体再特定情報記憶部を備え、
前記物体再特定部は、最新のフレーム画像中の前記未知物体画像の再特定を行う場合、前記物体再特定情報記憶部に記憶された直近のフレーム画像において再特定に成功した物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記最新のフレーム画像中の前記未知物体画像の再特定を行う、
付記1乃至7の何れかに記載の画像処理装置。
[付記9]
画像処理方法において、
未知の物体の画像である未知物体画像を取得し、
物体を一意に識別する物体識別番号に関連付けて前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行い、
前記再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する、
画像処理方法。
[付記10]
コンピュータに、
未知の物体の画像である未知物体画像を取得する処理と、
物体を一意に識別する物体識別番号に関連付けて前記物体の1以上の画像を登録物体画像として記憶する登録物体画像記憶部に記憶された前記登録物体画像を使用して、前記取得された未知物体画像の再特定を行う処理と、
前記再特定に成功した前記未知物体画像に係る物体の物体識別番号に関連付けて前記登録物体画像記憶部に記憶された前記登録物体画像の全てが前記未知物体画像と相違するという条件が成立するならば、前記物体識別番号に関連付けて前記未知物体画像を新たな1つの登録物体画像として前記登録物体画像記憶部に追加する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【0072】
100、200 画像処理装置
110 カメラI/F部
120 通信I/F部
130 操作入力部
140 画面表示部
150 記憶部
160 演算処理部
171、173 物体識別番号
172、174 登録物体画像情報
175 カメラ
181~185 フレーム画像
201 登録物体画像記憶部
202 未知物体画像取得部
203 物体再特定部
204 登録物体画像更新部
1501 プログラム
1502 登録物体画像記憶部
1503 物体再特定情報
1601 未知物体画像取得部
1602 物体再特定部
1603 登録物体画像更新部
1721 姿勢番号
1722、1741 登録物体画像
1723、1742 プロパティ
図1
図2
図3
図4
図5
図6
図7
図8
図9