知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-07
(45)【発行日】2023-09-15
(54)【発明の名称】物体識別装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20230908BHJP
G06T 7/70 20170101ALI20230908BHJP
【ＦＩ】
G06T7/00 350C
G06T7/70 A
【請求項の数】
5
(21)【出願番号】P 2019194498
(22)【出願日】2019-10-25
(65)【公開番号】P2021068293
(43)【公開日】2021-04-30
【審査請求日】2022-09-30
(73)【特許権者】
【識別番号】000213297
【氏名又は名称】中部電力株式会社
(74)【代理人】
【識別番号】110003052
【氏名又は名称】弁理士法人勇智国際特許事務所
(74)【代理人】
【識別番号】100106725
【弁理士】
【氏名又は名称】池田 敏行
(74)【代理人】
【識別番号】100105120
【弁理士】
【氏名又は名称】岩田 哲幸
(72)【発明者】
【氏名】瀬川 修
【審査官】佐藤 実
(56)【参考文献】
【文献】特開２０１９－４９６０４（ＪＰ，Ａ）
【文献】特開２０１８－３２０７８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
対象領域に配置されている、同一形状の複数の物体を含む複数の物体を個体識別する物体識別装置であって、撮像手段と、対象領域判別手段と、物体検出手段と、物体配置情報生成手段と、物体識別手段と、記憶手段と、を備え、
前記撮像手段は、前記対象領域および前記対象領域に配置されている前記複数の物体を含む撮像領域を撮像した撮像画面を示す撮像情報を出力し、
前記対象領域判別手段は、前記撮像手段から出力された前記撮像情報に基づいて、前記撮像画面における前記対象領域を判別し、
前記物体検出手段は、前記撮像手段から出力された前記撮像情報と、前記対象領域判別手段により判別した、前記撮像画面における前記対象領域とに基づいて、前記撮像画面における前記対象領域に配置されている前記複数の物体のカテゴリおよび位置を検出し、
前記物体配置情報生成手段は、前記物体検出手段により検出した、前記撮像画面における前記対象領域に配置されている前記複数の物体のカテゴリおよび位置に基づいて、前記複数の物体の識別情報および位置を示す物体配置情報を生成して前記記憶手段に記憶し、
前記物体識別手段は、前記物体検出手段により検出した、前記撮像画面における前記対象領域に配置されている前記複数の物体のカテゴリおよび位置と、前記記憶手段に記憶されている前記物体配置情報で示される複数の物体の識別情報および位置とに基づいて、前記撮像画面における前記対象領域に配置されている前記複数の物体を個体識別し、
物体配置情報生成モードと物体識別モードに設定可能であり、
前記物体配置情報生成モードに設定されている時は、前記対象領域判別手段、前記物体検出手段および前記物体配置情報生成手段により、前記物体配置情報を生成して前記記憶手段に記憶し、
前記物体識別モードに設定されている時は、前記対象領域判別手段、前記物体検出手段および前記物体識別手段により、前記撮像画面における前記対象領域に配置されている前記複数の物体を個体識別するように構成されていることを特徴とする物体識別装置。
【請求項2】
請求項１に記載の物体識別装置であって、画角変化量判別手段を備え、
前記画角変化量判別手段は、前記記憶手段に記憶されている前記物体配置情報を生成する際に用いた撮像画面と前記撮像手段から出力された前記撮像情報で示される撮像画面との間の画角変化量が所定範囲を超えているか否かを判別し、
前記物体識別モードに設定されている時に、前記画角変化量が前記所定範囲を超えていることが前記画角変化量判別手段によって判別されると、前記対象領域判別手段、前記物体検出手段および前記物体配置情報生成手段により、前記物体配置情報を生成して前記記憶手段に記憶するように構成されていることを特徴とする物体識別装置。
【請求項3】
請求項１または２に記載の物体識別装置であって、前記物体識別手段は、前記物体検出手段により検出した、前記撮像画面における前記対象領域に配置されている物体のカテゴリおよび位置と、前記記憶手段に記憶されている前記物体配置情報で示される物体の識別情報および位置を、所定の誤差範囲を許容しながら照合することによって、前記複数の物体を個体識別することを特徴とする物体識別装置。
【請求項4】
請求項１～３のうちのいずれか一項に記載の物体識別装置であって、前記物体検出手段は、前記複数の物体のカテゴリおよび前記対象領域における相対位置を検出し、
前記物体配置情報生成手段は、前記複数の物体の識別情報および前記対象領域における相対位置を示す物体配置情報を生成することを特徴とする物体識別装置。
【請求項5】
請求項１～４のうちのいずれか一項に記載の物体識別装置であって、前記対象領域判別手段および前記物体検出手段は、多層ニューラルネットワークで構成されていることを特徴とする物体識別装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像情報に基づいて物体を識別する物体識別装置、特に、対象領域に配置されている複数の物体（同一形状の複数の物体を含む）を個体識別する物体識別装置に関する。
【背景技術】
【0002】
ディープラーニング（多層ニューラルネットワークによる機械学習手法）を用いて物体を検出する技術が研究されている。例えば、撮像情報に基づいて、対象物体の位置とカテゴリを同時に検出するSSD(Single Shot MultiBox Detector)やYOLO(You Only Look Once)といったエンド・ツー・エンド(end-to-end)の手法が多数提案されている。これらの手法は、物体の位置検出のための多層ニューラルネットワークによる学習と、物体のカテゴリ判別のための多層ニューラルネットワークによる学習を同時に行うマルチタスク学習を基本としている。
SSDによる物体検出技術は、例えば、非特許文献１に開示され、YOLOによる物体検出技術は、例えば、非特許文献２に開示されている。
SSDによる物体検出技術は、例えば、非特許文献１に開示され、YOLOによる物体検出技術は、例えば、非特許文献２に開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】“SSD: Single Shot MulitiBox Detector”, Wei Liu, Dragomir Anguelov. Domitru Erhan, Christian Szegedy, Scott reed, Cheng-Yang Fu and Alexsander C. berg (2015), https://arxiv.org/pdf/1512.02325.pdf
【文献】“You Only Look Once Unified, Real-Time Object Detection”, Joseph Redmon, Santosh Divvala, Ross Girshick and Ali Farhadi (2016), https://pjreddie,com/media/files/papers/yolo.pdf
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１および非特許文献２に開示されている物体検出技術では、対象領域に配置されている複数の物体の位置やカテゴリを検出することはできるが、対象領域に配置されている複数の物体、特に、同一形状（「略同一形状」を含む）の複数の物体を個体識別することができない。
このため、従来では、対象領域に配置されている複数の物体の配置状態を示す配置情報（複数の物体の位置とＩＤ）を２次元マップとして作成（登録）しておき、撮像手段から出力される撮像情報に基づいて検出した物体検出情報（撮像領域における対象領域に配置されている複数の物体の位置およびカテゴリ）と２次元マップで示される配置情報（複数の物体の位置とＩＤ）とを照合することによって、複数の物体を個体識別していた。
しかしながら、物体を登録する毎に２次元マップを手作業で作成する必要があり、２次元マップの作成に労力と時間を要する。
本発明は、このような点に鑑みて創案されたものであり、対象領域に配置されている、複数の物体（同一形状の複数の物体を含む）を容易に個体識別することができる技術を提供することを目的とする。
このため、従来では、対象領域に配置されている複数の物体の配置状態を示す配置情報（複数の物体の位置とＩＤ）を２次元マップとして作成（登録）しておき、撮像手段から出力される撮像情報に基づいて検出した物体検出情報（撮像領域における対象領域に配置されている複数の物体の位置およびカテゴリ）と２次元マップで示される配置情報（複数の物体の位置とＩＤ）とを照合することによって、複数の物体を個体識別していた。
しかしながら、物体を登録する毎に２次元マップを手作業で作成する必要があり、２次元マップの作成に労力と時間を要する。
本発明は、このような点に鑑みて創案されたものであり、対象領域に配置されている、複数の物体（同一形状の複数の物体を含む）を容易に個体識別することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の物体識別装置は、所定の対象領域に配置されている複数の物体、特に、同一形状（「略同一形状」を含む）の複数の物体を含む複数の物体を個体識別するために用いられる。
本発明は、撮像手段、対象領域判別手段、物体検出手段、物体配置情報生成手段、物体識別手段および記憶手段を備えている。
撮像手段は、対象領域および対象領域に配置されている複数の物体（同一形状の複数の物体を含む）を含む撮像領域を撮像した撮像画面を示す撮像情報を出力する。撮像手段としては、好適には、ＣＣＤまたはＣＭＯＳを用いたデジタルカメラが用いられる。
対象領域判別手段は、撮像手段からの撮像情報に基づいて、撮像画面における対象領域を判別する。
物体検出手段は、撮像手段からの撮像情報と、対象領域判別手段により判別した、撮像画面における対象領域とに基づいて、撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置を検出する。好適には、物体検出手段は、対象領域に配置されている複数の物体のカテゴリおよび対象領域における位置を示す物体検出情報を出力する。対象領域判別手段による対象領域を判別する手法や物体検出手段による物体のカテゴリおよび位置の検出手法としては、公知の種々の手法を用いることができる。例えば、SSDやYOLO等のディープラーニングによる検出手法を用いることができる。
物体配置情報生成手段は、物体検出手段により検出した、撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置（物体検出情報）に基づいて、対象領域における複数の物体の配置状態を示す物体配置情報を生成して記憶手段に記憶する。物体配置情報には、物体を識別する識別情報（ＩＤ）と、対象領域における物体の位置を示す位置情報が含まれている。識別情報（ＩＤ）は、適宜の方法で各物体に付与される。好適には、物体のカテゴリを示すカテゴリ情報を含む識別情報（ＩＤ）が用いられる。
物体識別手段は、物体検出手段から出力される物体検出情報（撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置）と、記憶手段に記憶されている物体配置情報（対象領域に配置されている複数の物体の識別情報と位置）とに基づいて、撮像画面における対象領域に配置されている複数の物体を個体識別する。例えば、撮像画面における対象領域に配置されている複数の物体と、物体配置情報で示される複数の物体との対応関係を判別する。
そして、本発明は、物体配置情報生成モードと物体識別モードに設定可能に構成されている。物体配置情報生成モードに設定されている時は、対象領域判別手段、物体検出手段および物体配置情報生成手段により物体配置情報を生成して記憶手段に記憶する。物体識別モードに設定されている時は、対象領域判別手段、物体検出手段および物体識別手段により、撮像画面における対象領域に配置されている複数の物体を個体識別する。物体配置情報生成モードあるいは物体識別モードに設定可能に構成する方法としては、種々の方法を用いることができる。例えば、入力手段等から物体配置情報生成モード設定情報が入力されることによって物体配置情報生成モードが設定され、入力手段等から物体識別モード設定情報が入力されることによって物体識別モードに設定されるように構成することができる。あるいは、入力手段等から物体識別開始情報が入力されることによって、先ず、物体配置情報生成モードが設定され、その後、物体識別モードに設定されるように構成することもできる。
本発明では、物体配置情報生成モードにおいて、対象領域における複数の物体の配置状態を示す物体配置情報を生成し、物体識別モードにおいて、物体配置情報を参照して対象領域に配置されている複数の物体を個体識別しているため、対象領域に配置されている複数の物体を容易に個体識別することができる。
本発明の異なる形態では、画角変化量判別手段を備えている。画角変化量判別手段は、記憶手段に記憶されている物体配置情報を生成する際に用いた撮像画面（Ｍ）と、撮像手段から出力された撮像情報で示される撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別する。撮像画面（Ｍ）と撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別する手法としては、好適には、撮像画面（Ｍ）と撮像画面（Ｐ）の類似度が低いか否かを判別する手法を用いることができる。例えば、撮像画面（Ｍ）と撮像画面（Ｐ）の特徴点を検出し、両画面の特徴点のうち、対応関係が一致する特徴点を含む特徴ベクトルの類似度（例えば、両ベクトルのコサイン距離）が所定値以上である場合には画角変化量が所定範囲を超えていないことを判別し、所定値未満である場合には画角変化量が所定範囲を超えていることを判別する。勿論、画角変化量が所定範囲を超えているか否かを判別する手法としては、これ以外の手法を用いることもできる。なお、撮像画面（Ｍ）における対象領域（Ｍ）と撮像画面（Ｐ）における対象領域（Ｐ）との間の画角変化量は、撮像画面（Ｍ）と撮像画面（Ｐ）との間の画角変化量と等価である。
そして、物体識別モードに設定されている時に、画角変化量が所定範囲を超えていることが画角変化量判別手段によって判別されると、対象領域判別手段、物体検出手段および物体配置情報生成手段により物体配置情報を生成して記憶手段に記憶するように構成されている。
撮像手段の撮影位置や撮像角度（撮像方向）を変更した場合には、撮像画面における複数の物体の配置状態と、記憶手段に記憶されている物体配置情報を生成する際に用いた撮像画面における複数の物体の配置状態とのずれ（特に、撮像画面における位置）が大きくなり、物体識別手段による、物体検出情報と物体配置情報との照合に基づく複数の物体の個体識別精度が低下するおそれがある。本形態では、記憶手段に記憶されている物体配置情報を生成する際に用いた撮像画面と、撮像手段から出力された撮像情報で示される撮像画面との間の画角変化量が所定範囲を超えた場合には、物体配置情報を再生成して記憶手段に記憶するため、撮像手段の撮影位置や撮像角度（撮像方向）が変更された場合でも、対象領域に配置されている複数の物体を確実に個体識別することができる。
本発明の異なる形態では、物体識別手段は、物体検出手段により検出した、撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置と、記憶手段に記憶されている物体配置情報で示される複数の物体の識別情報および位置を、所定の誤差範囲を許容しながら照合することによって、複数の物体を個体識別する。物体の位置を照合する方法としては、好適には、バウンディングボックス（物体検出手段により推定される物体の存在領域候補）の四隅の点の座標、あるいは、バウンディングボックスの幅と高さおよび重心位置の座標を照合する方法が用いられる。
本形態では、簡単に複数の物体の個体識別を行うことができる。
本発明の異なる形態では、物体検出手段は、複数の物体のカテゴリおよび対象領域における相対位置を検出し、物体配置情報生成手段は、複数の物体の識別情報および対象領域における相対位置を示す物体配置情報を生成する。相対位置としては、例えば、撮像画面上に設定された座標系における座標が用いられる。
物体識別手段は、物体の相対位置を用いて、物体検出情報と物体配置情報とを照合する。
本形態では、物体検出情報と物体配置情報との照合処理を容易に行うことができる。
本発明の異なる形態では、対象領域判別手段および物体検出手段は、多層ニューラルネットワークで構成されている。
本形態では、対象領域の判別処理や対象領域に配置されている複数の物体のカテゴリおよび位置の検出処理を簡単に行うことができる。
本発明は、撮像手段、対象領域判別手段、物体検出手段、物体配置情報生成手段、物体識別手段および記憶手段を備えている。
撮像手段は、対象領域および対象領域に配置されている複数の物体（同一形状の複数の物体を含む）を含む撮像領域を撮像した撮像画面を示す撮像情報を出力する。撮像手段としては、好適には、ＣＣＤまたはＣＭＯＳを用いたデジタルカメラが用いられる。
対象領域判別手段は、撮像手段からの撮像情報に基づいて、撮像画面における対象領域を判別する。
物体検出手段は、撮像手段からの撮像情報と、対象領域判別手段により判別した、撮像画面における対象領域とに基づいて、撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置を検出する。好適には、物体検出手段は、対象領域に配置されている複数の物体のカテゴリおよび対象領域における位置を示す物体検出情報を出力する。対象領域判別手段による対象領域を判別する手法や物体検出手段による物体のカテゴリおよび位置の検出手法としては、公知の種々の手法を用いることができる。例えば、SSDやYOLO等のディープラーニングによる検出手法を用いることができる。
物体配置情報生成手段は、物体検出手段により検出した、撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置（物体検出情報）に基づいて、対象領域における複数の物体の配置状態を示す物体配置情報を生成して記憶手段に記憶する。物体配置情報には、物体を識別する識別情報（ＩＤ）と、対象領域における物体の位置を示す位置情報が含まれている。識別情報（ＩＤ）は、適宜の方法で各物体に付与される。好適には、物体のカテゴリを示すカテゴリ情報を含む識別情報（ＩＤ）が用いられる。
物体識別手段は、物体検出手段から出力される物体検出情報（撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置）と、記憶手段に記憶されている物体配置情報（対象領域に配置されている複数の物体の識別情報と位置）とに基づいて、撮像画面における対象領域に配置されている複数の物体を個体識別する。例えば、撮像画面における対象領域に配置されている複数の物体と、物体配置情報で示される複数の物体との対応関係を判別する。
そして、本発明は、物体配置情報生成モードと物体識別モードに設定可能に構成されている。物体配置情報生成モードに設定されている時は、対象領域判別手段、物体検出手段および物体配置情報生成手段により物体配置情報を生成して記憶手段に記憶する。物体識別モードに設定されている時は、対象領域判別手段、物体検出手段および物体識別手段により、撮像画面における対象領域に配置されている複数の物体を個体識別する。物体配置情報生成モードあるいは物体識別モードに設定可能に構成する方法としては、種々の方法を用いることができる。例えば、入力手段等から物体配置情報生成モード設定情報が入力されることによって物体配置情報生成モードが設定され、入力手段等から物体識別モード設定情報が入力されることによって物体識別モードに設定されるように構成することができる。あるいは、入力手段等から物体識別開始情報が入力されることによって、先ず、物体配置情報生成モードが設定され、その後、物体識別モードに設定されるように構成することもできる。
本発明では、物体配置情報生成モードにおいて、対象領域における複数の物体の配置状態を示す物体配置情報を生成し、物体識別モードにおいて、物体配置情報を参照して対象領域に配置されている複数の物体を個体識別しているため、対象領域に配置されている複数の物体を容易に個体識別することができる。
本発明の異なる形態では、画角変化量判別手段を備えている。画角変化量判別手段は、記憶手段に記憶されている物体配置情報を生成する際に用いた撮像画面（Ｍ）と、撮像手段から出力された撮像情報で示される撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別する。撮像画面（Ｍ）と撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別する手法としては、好適には、撮像画面（Ｍ）と撮像画面（Ｐ）の類似度が低いか否かを判別する手法を用いることができる。例えば、撮像画面（Ｍ）と撮像画面（Ｐ）の特徴点を検出し、両画面の特徴点のうち、対応関係が一致する特徴点を含む特徴ベクトルの類似度（例えば、両ベクトルのコサイン距離）が所定値以上である場合には画角変化量が所定範囲を超えていないことを判別し、所定値未満である場合には画角変化量が所定範囲を超えていることを判別する。勿論、画角変化量が所定範囲を超えているか否かを判別する手法としては、これ以外の手法を用いることもできる。なお、撮像画面（Ｍ）における対象領域（Ｍ）と撮像画面（Ｐ）における対象領域（Ｐ）との間の画角変化量は、撮像画面（Ｍ）と撮像画面（Ｐ）との間の画角変化量と等価である。
そして、物体識別モードに設定されている時に、画角変化量が所定範囲を超えていることが画角変化量判別手段によって判別されると、対象領域判別手段、物体検出手段および物体配置情報生成手段により物体配置情報を生成して記憶手段に記憶するように構成されている。
撮像手段の撮影位置や撮像角度（撮像方向）を変更した場合には、撮像画面における複数の物体の配置状態と、記憶手段に記憶されている物体配置情報を生成する際に用いた撮像画面における複数の物体の配置状態とのずれ（特に、撮像画面における位置）が大きくなり、物体識別手段による、物体検出情報と物体配置情報との照合に基づく複数の物体の個体識別精度が低下するおそれがある。本形態では、記憶手段に記憶されている物体配置情報を生成する際に用いた撮像画面と、撮像手段から出力された撮像情報で示される撮像画面との間の画角変化量が所定範囲を超えた場合には、物体配置情報を再生成して記憶手段に記憶するため、撮像手段の撮影位置や撮像角度（撮像方向）が変更された場合でも、対象領域に配置されている複数の物体を確実に個体識別することができる。
本発明の異なる形態では、物体識別手段は、物体検出手段により検出した、撮像画面における対象領域に配置されている複数の物体のカテゴリおよび位置と、記憶手段に記憶されている物体配置情報で示される複数の物体の識別情報および位置を、所定の誤差範囲を許容しながら照合することによって、複数の物体を個体識別する。物体の位置を照合する方法としては、好適には、バウンディングボックス（物体検出手段により推定される物体の存在領域候補）の四隅の点の座標、あるいは、バウンディングボックスの幅と高さおよび重心位置の座標を照合する方法が用いられる。
本形態では、簡単に複数の物体の個体識別を行うことができる。
本発明の異なる形態では、物体検出手段は、複数の物体のカテゴリおよび対象領域における相対位置を検出し、物体配置情報生成手段は、複数の物体の識別情報および対象領域における相対位置を示す物体配置情報を生成する。相対位置としては、例えば、撮像画面上に設定された座標系における座標が用いられる。
物体識別手段は、物体の相対位置を用いて、物体検出情報と物体配置情報とを照合する。
本形態では、物体検出情報と物体配置情報との照合処理を容易に行うことができる。
本発明の異なる形態では、対象領域判別手段および物体検出手段は、多層ニューラルネットワークで構成されている。
本形態では、対象領域の判別処理や対象領域に配置されている複数の物体のカテゴリおよび位置の検出処理を簡単に行うことができる。
【発明の効果】
【0006】
本発明では、対象領域に配置されている複数の物体を容易に個体識別することができる。
【図面の簡単な説明】
【0007】
【図1】本発明の物体識別装置の一実施形態のブロック図である。
【図2】SSDのニューラルネットワーク構成を示す図である
【図3】撮像画像の一例を示す図である。
【図8】物体検出情報と物体配置情報に基づいて複数の物体を個体識別する動作を説明する図である。
【図9】物体配置情報生成モードにおける動作の一実施形態を説明するフローチャートである。
【図10】物体識別モードにおける動作の一実施形態を説明するフローチャートである。
【図11】撮像画像の特徴ベクトルによる画角変化量判別方法を示す図である。
【図12】物体識別モードにおける動作の他の実施形態を説明するフローチャートである。
【発明を実施するための形態】
【0008】
以下に、本発明の実施形態を、図面を参照して説明する。
図１は、本発明の物体識別装置の一実施形態のブロック図である。
本実施形態の物体識別装置は、撮像手段１０、処理手段２０、記憶手段３０、入力手段４０および表示手段５０等を有している。
図１は、本発明の物体識別装置の一実施形態のブロック図である。
本実施形態の物体識別装置は、撮像手段１０、処理手段２０、記憶手段３０、入力手段４０および表示手段５０等を有している。
【0009】
撮像手段１０は、好適には、ＣＣＤまたはＣＭＯＳを用いたデジタルカメラにより構成される。撮像手段１０は、対象領域と、対象領域に配置されている複数の物体を含む撮像領域を撮像可能に配置される。なお、以下の実施形態の説明では、複数の物体には、同一形状の複数の物体が少なくとも一種類含まれているものとする。
後述する物体検出処理では、「物体の形状」に基づいて物体のカテゴリ（種類）が判別される。「同一形状」という記載は、物体検出処理によって同じカテゴリの物体であると判別される「略同一形状」を含むものとして用いられている。
後述する物体検出処理では、「物体の形状」に基づいて物体のカテゴリ（種類）が判別される。「同一形状」という記載は、物体検出処理によって同じカテゴリの物体であると判別される「略同一形状」を含むものとして用いられている。
【0010】
処理手段２０は、ＣＰＵ等により構成される。処理手段２０は、管理手段２１、撮像情報入力手段２２、対象領域判別手段２３、物体検出手段２４、物体配置情報生成手段２５、画角変化量判別手段２６、物体識別手段２７を有している。本実施形態では、各手段２１～２７は、処理手段２０を構成するＣＰＵに設けられている。勿論、各手段２１～２７の少なくとも１つを、処理手段２０を構成するＣＰＵと異なるＣＰＵで構成することもできる。
【0011】
各手段２１～２７の処理を、図２～図８を参照しながら説明する。
以下では、図３に示されているように、操作盤１００の操作パネル１１０に、同一形状の３個のボリューム１２０ａ～１２０ｃ、同一形状の２個のダイヤル１３０ａ、１３０ｂ、同一形状の１１個のボタン１４０ａ～１４０ｋが配置されている場合について説明する。
操作パネル１１０は、上側縁部１１１ａ、左側縁部１１１ｂ、下側縁部１１１ｃおよび右側縁部１１１ｄにより四角形状に形成されている縁部１１１により囲まれている。
なお、１１は、操作パネル１１０とボリューム１２０ａ～１２０ｃ、ダイヤル１３０ａ、１３０ｂおよびボタン１４０ａ～１４０ｋを含む撮像領域を撮像手段１０で撮像した撮像画面を示している。
操作パネル１１０が、本発明の「対象領域」に対応し、操作パネル１１０の縁部１１１（上側縁部１１１ａ～右側縁部１１１ｄ）が、本発明の「対象領域縁部（対象領域上側縁部～対象領域右側縁部）」に対応し、ボリューム１２０ａ～１２０ｃ、ダイヤル１３０ａ、１３０ｂおよびボタン１４０ａ～１４０ｋが、本発明の「対象領域に配置されている複数の物体」に対応し、ボリューム１２０ａ～１２０ｃあるいはダイヤル１３０ａ、１３０ｂあるいはボタン１４０ａ～１４０ｋが、本発明の「同一形状の複数の物体」に対応する。また、ボリューム、ダイヤルおよびボタンが、本発明の「物体のカテゴリ」に対応する。
以下では、図３に示されているように、操作盤１００の操作パネル１１０に、同一形状の３個のボリューム１２０ａ～１２０ｃ、同一形状の２個のダイヤル１３０ａ、１３０ｂ、同一形状の１１個のボタン１４０ａ～１４０ｋが配置されている場合について説明する。
操作パネル１１０は、上側縁部１１１ａ、左側縁部１１１ｂ、下側縁部１１１ｃおよび右側縁部１１１ｄにより四角形状に形成されている縁部１１１により囲まれている。
なお、１１は、操作パネル１１０とボリューム１２０ａ～１２０ｃ、ダイヤル１３０ａ、１３０ｂおよびボタン１４０ａ～１４０ｋを含む撮像領域を撮像手段１０で撮像した撮像画面を示している。
操作パネル１１０が、本発明の「対象領域」に対応し、操作パネル１１０の縁部１１１（上側縁部１１１ａ～右側縁部１１１ｄ）が、本発明の「対象領域縁部（対象領域上側縁部～対象領域右側縁部）」に対応し、ボリューム１２０ａ～１２０ｃ、ダイヤル１３０ａ、１３０ｂおよびボタン１４０ａ～１４０ｋが、本発明の「対象領域に配置されている複数の物体」に対応し、ボリューム１２０ａ～１２０ｃあるいはダイヤル１３０ａ、１３０ｂあるいはボタン１４０ａ～１４０ｋが、本発明の「同一形状の複数の物体」に対応する。また、ボリューム、ダイヤルおよびボタンが、本発明の「物体のカテゴリ」に対応する。
【0012】
管理手段２１は、各手段２２～２７の処理を管理する。
撮像情報入力手段２２は、撮像手段１０からの撮像情報を入力する。
撮像情報入力手段２２は、撮像手段１０からの撮像情報を入力する。
【0013】
対象領域判別手段２３は、撮像情報入力手段２２により入力した、撮像手段１０からの撮像情報に基づいて、対象領域を判別する。
【0014】
対象領域判別手段２３による対象領域を判別する手法としては、種々の手法を用いることができる。例えば、非特許文献１に開示されているSSDを用いることができる。
SSDは、図２に示されているように、多層のCNN(Convolutional neural network)（畳み込みニューラルネットワーク）を基本とし、物体の存在領域候補を推定するレイヤと、存在領域候補内の物体のカテゴリを判別するレイヤとにより構成される。物体の存在領域候補を推定するレイヤでは、画像情報を、複数の所定サイズの矩形領域（デフォルトボックス）に分割し、矩形領域のずれを考慮しながら物体の存在領域候補（バウンディングボックス）を推定する。存在領域候補内の物体のカテゴリを判別するレイヤでは、別途学習済のCNNを用いて当該存在領域候補内の物体のカテゴリを判別する。
対象領域判別手段２３に用いられるSSDは、複数の物体が配置されている対象領域の存在領域候補を推定するレイヤと、存在領域候補内の対象領域を判別するレイヤとにより構成される。SSDにより構成される対象領域判別手段２３は、撮像領域を撮像した撮像画面における対象領域とその位置を判別する。
本実施形態では、図４に示されているように、縁部１１１により囲まれている操作パネル１１０が対象領域１１０として判別される。
SSDは、図２に示されているように、多層のCNN(Convolutional neural network)（畳み込みニューラルネットワーク）を基本とし、物体の存在領域候補を推定するレイヤと、存在領域候補内の物体のカテゴリを判別するレイヤとにより構成される。物体の存在領域候補を推定するレイヤでは、画像情報を、複数の所定サイズの矩形領域（デフォルトボックス）に分割し、矩形領域のずれを考慮しながら物体の存在領域候補（バウンディングボックス）を推定する。存在領域候補内の物体のカテゴリを判別するレイヤでは、別途学習済のCNNを用いて当該存在領域候補内の物体のカテゴリを判別する。
対象領域判別手段２３に用いられるSSDは、複数の物体が配置されている対象領域の存在領域候補を推定するレイヤと、存在領域候補内の対象領域を判別するレイヤとにより構成される。SSDにより構成される対象領域判別手段２３は、撮像領域を撮像した撮像画面における対象領域とその位置を判別する。
本実施形態では、図４に示されているように、縁部１１１により囲まれている操作パネル１１０が対象領域１１０として判別される。
【0015】
物体検出手段２４は、撮像情報入力手段２２により入力した、撮像手段１０からの撮像情報と、対象領域判別手段２３により判別した対象領域に基づいて、撮像画面における対象領域に配置（表示）されている複数の物体のカテゴリと位置を検出する。
物体検出手段２４による、対象領域に配置されている複数の物体のカテゴリと位置を検出する手法としては、種々の手法を用いることができる。例えは、対象領域判別手段２３と同様に、図２に示されているSSDを用いることができる。
物体検出手段２４に用いられるSSDは、対象領域における、複数の物体それぞれの存在領域候補（バウンディングボックス）を推定するレイヤと、各存在領域候補内の物体のカテゴリを検出するレイヤとにより構成される。
本実施形態では、図５に破線で示されているバウンディングボックスと、各バウンディングボックス内のボリューム１２０ａ～１２０ｃ、ダイヤル１３０ａ、１３０ｂおよびボタン１４０ａ～１４０ｋが検出される。
物体検出手段２４による、対象領域に配置されている複数の物体のカテゴリと位置を検出する手法としては、種々の手法を用いることができる。例えは、対象領域判別手段２３と同様に、図２に示されているSSDを用いることができる。
物体検出手段２４に用いられるSSDは、対象領域における、複数の物体それぞれの存在領域候補（バウンディングボックス）を推定するレイヤと、各存在領域候補内の物体のカテゴリを検出するレイヤとにより構成される。
本実施形態では、図５に破線で示されているバウンディングボックスと、各バウンディングボックス内のボリューム１２０ａ～１２０ｃ、ダイヤル１３０ａ、１３０ｂおよびボタン１４０ａ～１４０ｋが検出される。
【0016】
そして、物体検出手段２４は、対象領域に配置されている複数の物体のカテゴリと位置を示す物体検出情報を出力する。物体の位置としては、好適には、バウンディングボックスの四隅の点の座標、あるいは、バウンディングボックスの幅と高さおよび重心位置の座標が用いられる。座標としては、好適には、対象領域に設定されたｘｙ座標系におけるｘｙ座標が用いられる。「対象領域に設定されたｘｙ座標系におけるｘｙ座標」が、本発明の「対象領域における相対位置」に対応する。
本実施形態では、図６に示されているように、破線で示されているバウンディングボックスの位置に、３個のボリュームＶ、２個のダイヤルＤおよび１１個のスイッチＳが配置されていることを示す物体検出情報が出力される。
本実施形態では、図６に示されているように、破線で示されているバウンディングボックスの位置に、３個のボリュームＶ、２個のダイヤルＤおよび１１個のスイッチＳが配置されていることを示す物体検出情報が出力される。
【0017】
物体配置情報生成手段２５は、物体検出手段２４から出力される物体検出情報（対象領域に配置されている複数の物体のカテゴリと位置）に基づいて物体配置情報を作成し、記憶手段３０に記憶する。物体配置情報には、各物体を識別する識別情報（ＩＤ）と位置を示す位置情報が含まれている。各物体に識別情報（ＩＤ）を付与する方法は、適宜設定可能である。識別情報（ＩＤ）には、物体のカテゴリを示すカテゴリ情報が含まれる。好適には、同一形状の物体には、物体の種類を示すカテゴリ情報（共通情報）と番号（個別情報）を含む識別情報が付与される。番号は、例えば、物体の重心位置の分散が大きい方向に沿って順に大きくなるように付与される。
物体配置情報で示される物体の位置としては、好適には、対象領域における位置、より好適には、対象領域における相対位置が用いられる。
図７では、操作パネル１１０の上側縁部１１１ａと左側縁部１１１ｂ（対象領域上側縁部と対象領域左側縁部）をそれぞれｘ軸とｙ軸としたｘｙ座標系が設定され、ｘｙ座標系におけるｘｙ座標が相対位置として用いられる。
物体配置情報で示される物体の位置としては、好適には、対象領域における位置、より好適には、対象領域における相対位置が用いられる。
図７では、操作パネル１１０の上側縁部１１１ａと左側縁部１１１ｂ（対象領域上側縁部と対象領域左側縁部）をそれぞれｘ軸とｙ軸としたｘｙ座標系が設定され、ｘｙ座標系におけるｘｙ座標が相対位置として用いられる。
【0018】
物体配置情報生成手段２５は、例えば、図７に示されているように、３個のボリューム［Ｖ］に対して、ｘ軸に沿って左側から順に識別情報［Ｖ１］～［Ｖ３］を付与し、２個のダイヤル［Ｄ］に対して、ｘ軸に沿って左側から順に識別情報［Ｄ１］、［Ｄ２］を付与し、１１個のボタン［Ｓ］のうち上方の７個のボタン［Ｓ］に対して、ｘ軸に沿って左側から順に識別情報［Ｓ１］～［Ｓ７］を付与し、右側の４個のボタン［Ｓ］に対して、上方から順に識別情報［Ｓ８］～［Ｓ１１］を付与する。
なお、図７では、ボリューム［Ｖ１］～［Ｖ３］、ダイヤル［Ｄ１］、［Ｄ２］、ボタン［Ｓ１］～［Ｓ１１］の位置は、それぞれのバウンディングボックスの幅と高さおよび重心である点Ｇで示されている。点Ｇの位置は、ｘｙ座標系におけるｘｙ座標で表される。
「重心の位置を、撮像画面あるいは撮像画面の対象領域に設定されたｘｙ座標系におけるｘｙ座標で表す」構成は、本発明の「物体の位置を相対位置で表す」構成に含まれる。
なお、図７では、ボリューム［Ｖ１］～［Ｖ３］、ダイヤル［Ｄ１］、［Ｄ２］、ボタン［Ｓ１］～［Ｓ１１］の位置は、それぞれのバウンディングボックスの幅と高さおよび重心である点Ｇで示されている。点Ｇの位置は、ｘｙ座標系におけるｘｙ座標で表される。
「重心の位置を、撮像画面あるいは撮像画面の対象領域に設定されたｘｙ座標系におけるｘｙ座標で表す」構成は、本発明の「物体の位置を相対位置で表す」構成に含まれる。
【0019】
なお、画角変化量判別手段２６については、後述する。
【0020】
物体識別手段２７は、物体検出手段２４から出力される物体検出情報（対象領域に配置されている複数の物体のカテゴリと位置）と記憶手段３０に記憶されている物体配置情報（各物体の識別情報と位置）とに基づいて、対象領域に配置されている複数の物体を個体識別する。
物体識別手段２７による物体識別方法としては、種々の方法を用いることができる。例えば、物体検出情報および物体配置情報から、同一形状の物体の位置を抽出する。そして、物体検出情報から抽出した位置と物体配置情報から抽出した位置を照合し、両位置が一致するか否かを判断する。この時、両位置が一致するか否かの判断は、所定の誤差範囲を許容しながら行う。すなわち、両位置の差が所定の誤差範囲内である場合には、両位置が一致すると判断し、所定の誤差範囲を超えている場合には、両位置が一致していないと判断する。両位置が一致すると判断した場合には、物体検出情報から抽出した位置に配置されている物体は、物体配置情報から抽出した位置に配置されている物体に付与されている識別情報で示される物体であると識別する。
物体識別手段２７による物体識別方法としては、種々の方法を用いることができる。例えば、物体検出情報および物体配置情報から、同一形状の物体の位置を抽出する。そして、物体検出情報から抽出した位置と物体配置情報から抽出した位置を照合し、両位置が一致するか否かを判断する。この時、両位置が一致するか否かの判断は、所定の誤差範囲を許容しながら行う。すなわち、両位置の差が所定の誤差範囲内である場合には、両位置が一致すると判断し、所定の誤差範囲を超えている場合には、両位置が一致していないと判断する。両位置が一致すると判断した場合には、物体検出情報から抽出した位置に配置されている物体は、物体配置情報から抽出した位置に配置されている物体に付与されている識別情報で示される物体であると識別する。
【0021】
具体的には、物体識別手段２７は、図８に示されているように、物体検出手段２４から出力される物体検出情報と記憶手段３０に記憶されている物体配置情報を照合する。
例えば、物体検出情報に含まれている、ボリューム［Ｖ］（１）の位置（バウンディングボックスの幅と高さおよび重心位置のｘｙ座標）と、物体配置情報に含まれている、ボリューム［Ｖ］（１）と同一形状（同一カテゴリ）のボリューム［Ｖ１］～［Ｖ３］の位置（バウンディングボックスの幅と高さおよび重心位置のｘｙ座標）を照合し、両者の差が所定範囲内であるか否かを判断する。この時、ボリューム［Ｖ］（１）の位置とボリューム［Ｖ２］および［Ｖ３］の位置との差は所定範囲を超えているが、ボリューム［Ｖ］（１）の位置とボリューム［Ｖ１］の位置の差は所定範囲内である場合には、物体検出情報に含まれているボリューム［Ｖ］（１）は、物体配置情報に含まれているボリューム［Ｖ１］であると識別（個体識別）する。
例えば、物体検出情報に含まれている、ボリューム［Ｖ］（１）の位置（バウンディングボックスの幅と高さおよび重心位置のｘｙ座標）と、物体配置情報に含まれている、ボリューム［Ｖ］（１）と同一形状（同一カテゴリ）のボリューム［Ｖ１］～［Ｖ３］の位置（バウンディングボックスの幅と高さおよび重心位置のｘｙ座標）を照合し、両者の差が所定範囲内であるか否かを判断する。この時、ボリューム［Ｖ］（１）の位置とボリューム［Ｖ２］および［Ｖ３］の位置との差は所定範囲を超えているが、ボリューム［Ｖ］（１）の位置とボリューム［Ｖ１］の位置の差は所定範囲内である場合には、物体検出情報に含まれているボリューム［Ｖ］（１）は、物体配置情報に含まれているボリューム［Ｖ１］であると識別（個体識別）する。
【0022】
記憶手段３０は、ＲＯＭやＲＡＭ等により構成され、各手段２１～２７の処理を実行するプログラムや種々のデータが記憶される。物体配置情報生成手段２５によって作成された物体配置情報は、記憶手段３０の物体配置情報記憶部３１に記憶される。
入力手段４０は、キーボード等により構成され、種々の情報を入力する。
表示手段５０は、液晶表示装置や有機ＥＬ表示装置等により構成され、種々の情報を表示する。なお、表示手段５０として、表示画面に表示されている表示部をタッチすることによって情報を入力することができる表示手段が用いられる場合には、入力手段４０を省略することもできる。
入力手段４０は、キーボード等により構成され、種々の情報を入力する。
表示手段５０は、液晶表示装置や有機ＥＬ表示装置等により構成され、種々の情報を表示する。なお、表示手段５０として、表示画面に表示されている表示部をタッチすることによって情報を入力することができる表示手段が用いられる場合には、入力手段４０を省略することもできる。
【0023】
次に、本実施形態の物体識別装置の動作を説明する。本実施形態の物体識別装置は、物体配置情報生成モードあるいは物体識別モードに設定可能に構成されている。
例えば、入力手段４０から物体配置情報生成モード設定情報あるいは物体識別モード設定情報を入力することによって、物体配置情報生成モードあるいは物体識別モードに設定されるように構成される。あるいは、入力手段４０から物体識別開始情報が入力されることによって、先ず、物体配置情報生成モードが設定され、物体配置情報を生成して記憶手段３０に記憶した後、物体識別モードに設定されるように構成される。
例えば、入力手段４０から物体配置情報生成モード設定情報あるいは物体識別モード設定情報を入力することによって、物体配置情報生成モードあるいは物体識別モードに設定されるように構成される。あるいは、入力手段４０から物体識別開始情報が入力されることによって、先ず、物体配置情報生成モードが設定され、物体配置情報を生成して記憶手段３０に記憶した後、物体識別モードに設定されるように構成される。
【0024】
物体情報生成モードに設定された時の動作を、図９に示されているフローチャートを参照して説明する。
ステップＡ１では、撮像手段１０で撮像した撮像情報を入力する。ステップＡ１の処理は、撮像情報入力手段２２により実行される。
ステップＡ２では、入力された撮像情報に基づいて、対象領域を判別する。ステップＡ２の処理は、対象領域判別手段２３により実行される。
ステップＡ３では、入力された撮像情報とステップＡ２で判別した対象領域に基づいて、対象領域に配置されている複数の物体のカテゴリおよび位置を検出して物体検出情報を出力する。ステップＡ３の処理は、物体検出手段２４によって実行される。
ステップＡ４では、ステップＡ３で検出した、対象領域に配置されている物体のカテゴリおよび位置を示す物体検出情報に基づいて、各物体を識別する識別情報と各物体の位置を含む物体配置情報を生成する。ステップＡ４の処理は、物体配置情報生成手段２５によって実行される。
ステップＡ５では、ステップＡ４で生成した物体配置情報を記憶手段３０に記憶する。ステップＡ５の処理は、物体配置情報生成手段２５によって実行される。
ステップＡ１では、撮像手段１０で撮像した撮像情報を入力する。ステップＡ１の処理は、撮像情報入力手段２２により実行される。
ステップＡ２では、入力された撮像情報に基づいて、対象領域を判別する。ステップＡ２の処理は、対象領域判別手段２３により実行される。
ステップＡ３では、入力された撮像情報とステップＡ２で判別した対象領域に基づいて、対象領域に配置されている複数の物体のカテゴリおよび位置を検出して物体検出情報を出力する。ステップＡ３の処理は、物体検出手段２４によって実行される。
ステップＡ４では、ステップＡ３で検出した、対象領域に配置されている物体のカテゴリおよび位置を示す物体検出情報に基づいて、各物体を識別する識別情報と各物体の位置を含む物体配置情報を生成する。ステップＡ４の処理は、物体配置情報生成手段２５によって実行される。
ステップＡ５では、ステップＡ４で生成した物体配置情報を記憶手段３０に記憶する。ステップＡ５の処理は、物体配置情報生成手段２５によって実行される。
【0025】
物体識別モードに設定された時の動作を、図１０に示されているフローチャートを参照して説明する。
ステップＢ１では、撮像手段１０で撮像した撮像情報を入力する。ステップＢ１の処理は、撮像情報入力手段２２により実行される。
ステップＢ２では、入力された撮像情報に基づいて、対象領域を判別する。ステップＢ２の処理は、対象領域判別手段２３により実行される。
ステップＢ３では、入力された撮像情報とステップＢ２で判別した対象領域に基づいて、対象領域に配置されている複数の物体のカテゴリおよび位置を検出して物体検出情報を出力する。ステップＢ３の処理は、物体検出手段２４によって実行される。
ステップＢ４では、ステップＢ３で検出した、対象領域に配置されている物体のカテゴリおよび位置を示す物体検出情報と、記憶手段３０に記憶されている（物体配置情報生成モードのステップＡ４で生成した）物体配置情報（各物体の識別情報と位置）を照合し、ステップＢ３で検出した、対象領域に配置されている複数の物体を個体識別する。ステップＢ４の処理は、物体識別手段２７によって実行される。
ステップＢ４の処理を終了した後、ステップＢ１に戻る。なお、ステップＢ１～Ｂ４の処理は、連続的に繰り返して実行してもよいし、所定の時間間隔をおいて実行してもよい。
ステップＢ１では、撮像手段１０で撮像した撮像情報を入力する。ステップＢ１の処理は、撮像情報入力手段２２により実行される。
ステップＢ２では、入力された撮像情報に基づいて、対象領域を判別する。ステップＢ２の処理は、対象領域判別手段２３により実行される。
ステップＢ３では、入力された撮像情報とステップＢ２で判別した対象領域に基づいて、対象領域に配置されている複数の物体のカテゴリおよび位置を検出して物体検出情報を出力する。ステップＢ３の処理は、物体検出手段２４によって実行される。
ステップＢ４では、ステップＢ３で検出した、対象領域に配置されている物体のカテゴリおよび位置を示す物体検出情報と、記憶手段３０に記憶されている（物体配置情報生成モードのステップＡ４で生成した）物体配置情報（各物体の識別情報と位置）を照合し、ステップＢ３で検出した、対象領域に配置されている複数の物体を個体識別する。ステップＢ４の処理は、物体識別手段２７によって実行される。
ステップＢ４の処理を終了した後、ステップＢ１に戻る。なお、ステップＢ１～Ｂ４の処理は、連続的に繰り返して実行してもよいし、所定の時間間隔をおいて実行してもよい。
【0026】
次に、本発明の異なる実施形態を説明する。
撮像手段１０の撮像位置や撮像角度（撮像方向）が変更されると、撮像画面における、対象領域に配置されている複数の物体の位置（ｘｙ座標）が変化する。
撮像画面における対象領域に配置されている複数の物体の位置が大きく変化すると、物体検出情報と物体配置情報との照合精度、すなわち、各物体の個体識別精度が低下するおそれがある。
このため、撮像手段１０の撮像位置や撮像角度（撮像方向）が変更された場合には、物体配置情報を再生成することによって、各物体の個体識別精度の低下を防止するのが好ましい。
撮像手段１０の撮像位置や撮像角度（撮像方向）が変更されたことは、後述するように、撮像画面の画角の変化量によって判別することができる。
撮像手段１０の撮像位置や撮像角度（撮像方向）が変更されると、撮像画面における、対象領域に配置されている複数の物体の位置（ｘｙ座標）が変化する。
撮像画面における対象領域に配置されている複数の物体の位置が大きく変化すると、物体検出情報と物体配置情報との照合精度、すなわち、各物体の個体識別精度が低下するおそれがある。
このため、撮像手段１０の撮像位置や撮像角度（撮像方向）が変更された場合には、物体配置情報を再生成することによって、各物体の個体識別精度の低下を防止するのが好ましい。
撮像手段１０の撮像位置や撮像角度（撮像方向）が変更されたことは、後述するように、撮像画面の画角の変化量によって判別することができる。
【0027】
本実施形態では、図１に示されている画角変化量判別手段２６を有している。
画角変化量判別手段２６は、記憶手段３０に記憶されている物体配置情報を生成する際に用いた撮像画面（Ｍ）と、撮像手段１０から出力された撮像情報で示される撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別する。画角は、撮像手段１０の撮像位置や撮像角度（撮像方向）によって変化する。
画角変化量判別手段２６による、画角変化量が所定範囲を超えているか否かを判別する方法（画角変化量判別方法）としては、種々の方法を用いることができる。
例えば、撮像画面（Ｍ）と撮像画面（Ｐ）の類似度が所定値より低いか否かを判別する方法を用いることができる。撮像画面（Ｍ）と撮像画面（Ｐ）の類似度は、撮像画面（Ｍ）の特徴点と撮像画面（Ｐ）の特徴点の類似度によって判別することができる。ここで、像撮像画面（Ｍ）および撮像画面（Ｐ）の各特徴点は、ＳＩＦＴなどの局所特徴量に基づく手法を用いて検出することができる。後述のとおり、撮像画面（Ｍ）および撮像画面（Ｐ）の特徴点を用いることにより、撮像画面（Ｍ）と撮像画面（Ｐ）の類似度を判別することができる。
画角変化量判別手段２６は、記憶手段３０に記憶されている物体配置情報を生成する際に用いた撮像画面（Ｍ）と、撮像手段１０から出力された撮像情報で示される撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別する。画角は、撮像手段１０の撮像位置や撮像角度（撮像方向）によって変化する。
画角変化量判別手段２６による、画角変化量が所定範囲を超えているか否かを判別する方法（画角変化量判別方法）としては、種々の方法を用いることができる。
例えば、撮像画面（Ｍ）と撮像画面（Ｐ）の類似度が所定値より低いか否かを判別する方法を用いることができる。撮像画面（Ｍ）と撮像画面（Ｐ）の類似度は、撮像画面（Ｍ）の特徴点と撮像画面（Ｐ）の特徴点の類似度によって判別することができる。ここで、像撮像画面（Ｍ）および撮像画面（Ｐ）の各特徴点は、ＳＩＦＴなどの局所特徴量に基づく手法を用いて検出することができる。後述のとおり、撮像画面（Ｍ）および撮像画面（Ｐ）の特徴点を用いることにより、撮像画面（Ｍ）と撮像画面（Ｐ）の類似度を判別することができる。
【0028】
ここで、撮像画面（Ｍ）における対象領域（Ｍ）と撮像画面（Ｐ）における対象領域（Ｐ）との間の画角変化量は、撮像画面（Ｍ）と撮像画面（Ｐ）との間の画角変化量と等価である。
本実施形態では、画角変化量判別手段２６は、図１１に示されているように、記憶手段３０に記憶されている物体配置情報を生成する際に用いた撮像画面（Ｍ）における対象領域（Ｍ）の特徴点と、撮像手段１０から出力された撮像情報で示される撮像画面（Ｐ）における対象領域（Ｐ）の特徴点の類似度が所定値より低いか否かを判別することによって、撮像画面（Ｍ）と撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別している。
対象領域の特徴点としては、例えば、図１１に破線で例示されている箇所が検出される。なお、好適には、複数の特徴点が検出される。
そして、両対象領域の特徴点のうち、それぞれの特徴点同士の局所特徴量による類似度から対応関係が一致すると判別される特徴点の集合により、両対象領域の特徴ベクトルを生成する。そして、両対象領域の特徴ベクトルの類似度が所定値以上であるか否かを判別する。
特徴ベクトルの類似度は、例えば、対象領域（Ｍ）の特徴ベクトルを〈Ｍ〉、対象領域（Ｐ）の特徴ベクトルを〈Ｐ〉とした場合、以下に示す両ベクトルのコサイン距離で表される。
Ｓｉｍ（〈Ｍ〉，〈Ｐ〉）＝（〈Ｍ〉・〈Ｐ〉）／（｜〈Ｍ〉｜｜〈Ｐ〉｜）
コサイン距離が所定値以上である場合には、特徴ベクトルの類似度が高く、画角変化量が所定範囲を超えていないことを判別し、所定値未満である場合に、特徴ベクトルの類似度が低く、画角変化量が所定範囲を超えていることを判別する。
なお、特徴点検出、特徴ベクトル算出手法、類似度判定手法としては、前記手法以外の種々の手法を用いることができる。
また、画角変化量を検出する手法としては、前記手法以外にも、オプティカルフローによって画素の移動による変化量を速度ベクトルとして算出する手法等の種々の手法を用いることができる。
撮像画面（Ｍ）および撮像画面（Ｐ）の特徴点は、撮像画面（Ｍ）における対象領域（Ｍ）および撮像画面（Ｐ）における対象領域（Ｐ）の特徴点に限定されない。
本実施形態では、画角変化量判別手段２６は、図１１に示されているように、記憶手段３０に記憶されている物体配置情報を生成する際に用いた撮像画面（Ｍ）における対象領域（Ｍ）の特徴点と、撮像手段１０から出力された撮像情報で示される撮像画面（Ｐ）における対象領域（Ｐ）の特徴点の類似度が所定値より低いか否かを判別することによって、撮像画面（Ｍ）と撮像画面（Ｐ）との間の画角変化量が所定範囲を超えているか否かを判別している。
対象領域の特徴点としては、例えば、図１１に破線で例示されている箇所が検出される。なお、好適には、複数の特徴点が検出される。
そして、両対象領域の特徴点のうち、それぞれの特徴点同士の局所特徴量による類似度から対応関係が一致すると判別される特徴点の集合により、両対象領域の特徴ベクトルを生成する。そして、両対象領域の特徴ベクトルの類似度が所定値以上であるか否かを判別する。
特徴ベクトルの類似度は、例えば、対象領域（Ｍ）の特徴ベクトルを〈Ｍ〉、対象領域（Ｐ）の特徴ベクトルを〈Ｐ〉とした場合、以下に示す両ベクトルのコサイン距離で表される。
Ｓｉｍ（〈Ｍ〉，〈Ｐ〉）＝（〈Ｍ〉・〈Ｐ〉）／（｜〈Ｍ〉｜｜〈Ｐ〉｜）
コサイン距離が所定値以上である場合には、特徴ベクトルの類似度が高く、画角変化量が所定範囲を超えていないことを判別し、所定値未満である場合に、特徴ベクトルの類似度が低く、画角変化量が所定範囲を超えていることを判別する。
なお、特徴点検出、特徴ベクトル算出手法、類似度判定手法としては、前記手法以外の種々の手法を用いることができる。
また、画角変化量を検出する手法としては、前記手法以外にも、オプティカルフローによって画素の移動による変化量を速度ベクトルとして算出する手法等の種々の手法を用いることができる。
撮像画面（Ｍ）および撮像画面（Ｐ）の特徴点は、撮像画面（Ｍ）における対象領域（Ｍ）および撮像画面（Ｐ）における対象領域（Ｐ）の特徴点に限定されない。
【0029】
本実施形態の物体識別装置の動作を説明する。本実施形態の物体識別装置は、物体配置情報生成モードあるいは物体識別モードに設定可能に構成されている。
物体配置情報生成モードに設定された時の動作は、図９に示されている動作と同じであるため、説明を省略する。
物体配置情報生成モードに設定された時の動作は、図９に示されている動作と同じであるため、説明を省略する。
【0030】
物体識別モードに設定された時の動作を、図１２に示されているフローチャートを参照して説明する。
ステップＣ１およびＣ２の動作は、図１０に示されているステップＢ１およびＢ２の動作と同じである。
ステップＣ３では、画角変化量が所定範囲を超えているか否かを判断する。画角変化量が所定範囲を超えている場合には、ステップＣ４に進む。一方、画角変化量が所定範囲を超えていない場合には、ステップＣ７に進む。ステップＣ３の処理は、画角変化量判別手段２６によって実行される。
ステップＣ４～Ｃ６では、図９に示されているステップＡ３～Ａ５と同様に物体配置情報を生成（再生成）して記憶手段３０に記憶する。
ステップＣ７およびＣ８では、図１０に示されているステップＢ３およびＢ４と同様に、対象領域に配置されている複数の物体を個体識別する。
ステップＣ１およびＣ２の動作は、図１０に示されているステップＢ１およびＢ２の動作と同じである。
ステップＣ３では、画角変化量が所定範囲を超えているか否かを判断する。画角変化量が所定範囲を超えている場合には、ステップＣ４に進む。一方、画角変化量が所定範囲を超えていない場合には、ステップＣ７に進む。ステップＣ３の処理は、画角変化量判別手段２６によって実行される。
ステップＣ４～Ｃ６では、図９に示されているステップＡ３～Ａ５と同様に物体配置情報を生成（再生成）して記憶手段３０に記憶する。
ステップＣ７およびＣ８では、図１０に示されているステップＢ３およびＢ４と同様に、対象領域に配置されている複数の物体を個体識別する。
【0031】
本発明の好適な利用形態としては、操作盤の操作パネル等に配置されている複数の操作部（同一形状の複数の操作部を含む）の状態を監視する監視装置等が想定される。
このような監視装置に、非特許文献１に開示されているSSDや非特許文献２に開示されているYOLOによる物体検出手段を用いた場合、前述のとおり、対象領域内に存在する同一形状の複数の物体を個体識別することができない。
このため、従来では、対象領域に配置されている複数の物体の配置状態を示す配置情報（各物体の位置とＩＤ）を２次元マップとして作成（登録）しておき、撮像手段から出力される撮像情報に基づいて検出した物体検出情報（対象領域に配置されている複数の物体の位置およびカテゴリ）と２次元マップで示されるは物体配置情報（各物体の位置とＩＤ）とを照合することによって、各物体を個体識別していた。
しかしながら、物体を登録する毎に２次元マップを手作業で作成する必要があり、２次元マップの作成に労力と時間を要する。
一方、本発明の物体識別装置を用いた場合、物体配置情報が自動的に生成されるため、対象領域に配置されている物体の配置状態を示す２次元マップを手作業で作成する必要がない。
また、撮像情報が入力されるごとに、物体検出情報と物体配置情報を照合することによって、操作パネルに配置されている複数の操作部を個体識別するため、作業者によって操作された操作部や操作部の状態を容易に識別することができる。
このような監視装置に、非特許文献１に開示されているSSDや非特許文献２に開示されているYOLOによる物体検出手段を用いた場合、前述のとおり、対象領域内に存在する同一形状の複数の物体を個体識別することができない。
このため、従来では、対象領域に配置されている複数の物体の配置状態を示す配置情報（各物体の位置とＩＤ）を２次元マップとして作成（登録）しておき、撮像手段から出力される撮像情報に基づいて検出した物体検出情報（対象領域に配置されている複数の物体の位置およびカテゴリ）と２次元マップで示されるは物体配置情報（各物体の位置とＩＤ）とを照合することによって、各物体を個体識別していた。
しかしながら、物体を登録する毎に２次元マップを手作業で作成する必要があり、２次元マップの作成に労力と時間を要する。
一方、本発明の物体識別装置を用いた場合、物体配置情報が自動的に生成されるため、対象領域に配置されている物体の配置状態を示す２次元マップを手作業で作成する必要がない。
また、撮像情報が入力されるごとに、物体検出情報と物体配置情報を照合することによって、操作パネルに配置されている複数の操作部を個体識別するため、作業者によって操作された操作部や操作部の状態を容易に識別することができる。
【0032】
本発明は、実施形態で説明した構成に限定されず、種々の変更、追加、削除が可能である。
処理手段２０を管理手段２１～物体識別手段２７により構成したが、処理手段２０の構成は、これに限定されない。例えば、不要な手段を削除することもできるし、複数の手段を統合することもできる。
対象領域判別手段２３、物体検出手段２４、物体配置情報生成手段２５、画角変化量判別手段２６および物体識別手段２７の構成は、実施形態で説明した構成に限定されず、本発明の要旨を変更しない範囲内で種々変更可能である。
図９、図１０および図１２に示されている処理は、種々変更可能である。
処理手段２０を管理手段２１～物体識別手段２７により構成したが、処理手段２０の構成は、これに限定されない。例えば、不要な手段を削除することもできるし、複数の手段を統合することもできる。
対象領域判別手段２３、物体検出手段２４、物体配置情報生成手段２５、画角変化量判別手段２６および物体識別手段２７の構成は、実施形態で説明した構成に限定されず、本発明の要旨を変更しない範囲内で種々変更可能である。
図９、図１０および図１２に示されている処理は、種々変更可能である。
【符号の説明】
【0033】
１０ 撮像手段
１１ 撮像画面
２０ 処理手段
２１ 管理手段
２２ 撮像情報入力手段
２３ 対象領域判別手段
２４ 物体検出手段
２５ 物体配置情報作成手段
２６ 物体識別手段
２７ 画角変化判別手段
３０ 記憶手段
３１ 物体配置情報記憶部
４０ 入力手段
５０ 表示手段
１００ 操作盤
１１０ 操作パネル（対象領域）
１１１ 縁部（対象領域縁部）
１１１ａ 上側縁部（対象領域上側縁部）
１１１ｂ 左側縁部（対象領域左側縁部）
１１１ｃ 下側縁部（対象領域下側縁部）
１１１ｄ 右側縁部（対象領域右側縁部）
１２０ａ～１２０ｃ ボリューム
１３０ａ、１３０ｂ ダイヤル
１４０ａ～１４０ｋ ボタン
１１ 撮像画面
２０ 処理手段
２１ 管理手段
２２ 撮像情報入力手段
２３ 対象領域判別手段
２４ 物体検出手段
２５ 物体配置情報作成手段
２６ 物体識別手段
２７ 画角変化判別手段
３０ 記憶手段
３１ 物体配置情報記憶部
４０ 入力手段
５０ 表示手段
１００ 操作盤
１１０ 操作パネル（対象領域）
１１１ 縁部（対象領域縁部）
１１１ａ 上側縁部（対象領域上側縁部）
１１１ｂ 左側縁部（対象領域左側縁部）
１１１ｃ 下側縁部（対象領域下側縁部）
１１１ｄ 右側縁部（対象領域右側縁部）
１２０ａ～１２０ｃ ボリューム
１３０ａ、１３０ｂ ダイヤル
１４０ａ～１４０ｋ ボタン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】