知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-05
(45)【発行日】2024-09-13
(54)【発明の名称】情報処理装置、検出方法、及び検出プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240906BHJP
【ＦＩ】
G06T7/00 300F
【請求項の数】
6
(21)【出願番号】P 2024543065
(86)(22)【出願日】2022-12-14
(86)【国際出願番号】 JP2022046063
【審査請求日】2024-07-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100116964
【弁理士】
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100120477
【弁理士】
【氏名又は名称】佐藤 賢改
(74)【代理人】
【識別番号】100135921
【弁理士】
【氏名又は名称】篠原 昌彦
(74)【代理人】
【識別番号】100203677
【弁理士】
【氏名又は名称】山口 力
(72)【発明者】
【氏名】大澤 想
(72)【発明者】
【氏名】加島 隆博
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２０１３－０５８０３６（ＪＰ，Ａ）
【文献】特開２０１０－１１３４６６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－ ７／９０
Ｇ０６Ｖ １０／００－２０／９０
(57)【特許請求の範囲】
【請求項1】
参照情報に含まれる複数の第１の対象物の輪郭を示す参照輪郭抽出情報に基づいて、算出された複数の相対位置ベクトルを示す情報、及び前記複数の第１の対象物が含まれている複数の第２の対象物を含む入力画像を取得する取得部と、前記入力画像に基づいて、前記複数の第２の対象物の輪郭を示す入力輪郭抽出画像を生成する生成部と、
前記入力輪郭抽出画像に基づいて、複数の相対位置ベクトルを算出する算出部と、
前記参照輪郭抽出情報に基づく複数の相対位置ベクトルと、前記入力輪郭抽出画像に基づく複数の相対位置ベクトルとに基づいて、前記複数の第２の対象物の輪郭の中から、前記複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出する検出部と、
を有し、
前記相対位置ベクトルは、複数の輪郭のうちの１つの輪郭であるターゲット輪郭と、前記ターゲット輪郭以外の輪郭との相対位置関係を示すベクトルである、
情報処理装置。
【請求項2】
変換部をさらに有し、前記取得部は、前記参照輪郭抽出情報を取得し、
前記変換部は、前記複数の第１の対象物の輪郭を、前記複数の第２の対象物の輪郭に投影し、輪郭のサイズを合わせると共に、前記参照輪郭抽出情報に基づく複数の相対位置ベクトルのサイズを変換し、
前記検出部は、変換された前記複数の相対位置ベクトルと、前記入力輪郭抽出画像に基づく複数の相対位置ベクトルとに基づいて、前記複数の第２の対象物の輪郭の中から、前記複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出する、
請求項１に記載の情報処理装置。
【請求項3】
前記変換部は、前記参照輪郭抽出情報に基づく複数の相対位置ベクトルの向きが、前記入力輪郭抽出画像に基づく複数の相対位置ベクトルの向きに合うように、射影変換を用いて、前記参照輪郭抽出情報に基づく複数の相対位置ベクトルの向きを変換する、請求項２に記載の情報処理装置。
【請求項4】
前記対応関係に基づいて、前記入力画像の輪郭と前記参照情報の輪郭とを合わせることで、前記参照情報を前記入力画像に合わせる合わせ処理部をさらに有する、請求項１または２に記載の情報処理装置。
【請求項5】
情報処理装置が、参照情報に含まれる複数の第１の対象物の輪郭を示す参照輪郭抽出情報に基づいて、算出された複数の相対位置ベクトルを示す情報、及び前記複数の第１の対象物が含まれている複数の第２の対象物を含む入力画像を取得し、前記入力画像に基づいて、前記複数の第２の対象物の輪郭を示す入力輪郭抽出画像を生成し、前記入力輪郭抽出画像に基づいて、複数の相対位置ベクトルを算出し、
前記参照輪郭抽出情報に基づく複数の相対位置ベクトルと、前記入力輪郭抽出画像に基づく複数の相対位置ベクトルとに基づいて、前記複数の第２の対象物の輪郭の中から、前記複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出し、
前記相対位置ベクトルは、複数の輪郭のうちの１つの輪郭であるターゲット輪郭と、前記ターゲット輪郭以外の輪郭との相対位置関係を示すベクトルである、
検出方法。
【請求項6】
情報処理装置に、参照情報に含まれる複数の第１の対象物の輪郭を示す参照輪郭抽出情報に基づいて、算出された複数の相対位置ベクトルを示す情報、及び前記複数の第１の対象物が含まれている複数の第２の対象物を含む入力画像を取得し、前記入力画像に基づいて、前記複数の第２の対象物の輪郭を示す入力輪郭抽出画像を生成し、前記入力輪郭抽出画像に基づいて、複数の相対位置ベクトルを算出し、
前記参照輪郭抽出情報に基づく複数の相対位置ベクトルと、前記入力輪郭抽出画像に基づく複数の相対位置ベクトルとに基づいて、前記複数の第２の対象物の輪郭の中から、前記複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出する、
処理を実行させる検出プログラムであり、
前記相対位置ベクトルは、複数の輪郭のうちの１つの輪郭であるターゲット輪郭と、前記ターゲット輪郭以外の輪郭との相対位置関係を示すベクトルである、
検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、検出方法、及び検出プログラムに関する。
【背景技術】
【0002】
２つ情報を比較し、２つの情報の関係性を特定する技術が知られている。例えば、当該技術では、特徴量を用いて、２つの情報の関係性が、特定される。ここで、特徴量として、局所画像特徴量が紹介されている（非特許文献１を参照）。
【先行技術文献】
【非特許文献】
【0003】
【文献】庄野逸「局所画像特徴量～ＳＩＦＴ，ＨＯＧを題材に～」、２０１３年
【文献】Ｊ．Ｓａｕｖｏｌａ ｅｔ ａｌ．「Ａｄａｐｔｉｖｅ ｄｏｃｕｍｅｎｔ ｉｍａｇｅ ｂｉｎａｒｉｚａｔｉｏｎ」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ３３、ｐｐ．２２５－２３６、２０００
【文献】ＪＯＨＮ ＣＡＮＮＹ ｅｔ ａｌ．「Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｐｐｒｏａｃｈ ｔｏ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ」、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．ＰＡＭＩ－８，Ｎｏ．６，ＮＯＶＥＭＢＥＲ １９８６
【文献】ＳＡＴＯＳＨＩ ＳＵＺＵＫＩ ｅｔ ａｌ．「Ｔｏｐｏｌｏｇｉｃａｌ Ｓｔｒｕｃｔｕｒａｌ Ａｎａｌｙｓｉｓ ｏｆ Ｄｉｇｉｔｉｚｅｄ Ｂｉｎａｒｙ Ｉｍａｇｅｓ ｂｙ Ｂｏｒｄｅｒ Ｆｏｌｌｏｗｉｎｇ」、ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ，ＧＲＡＰＨＩＣＳ， ＡＮＤ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ Ｎ，３２－４６、１９８５
【文献】Ｒｏｎａｌｄ Ｌ．Ｇｒａｈａｍ ｅｔ ａｌ．「Ｆｉｎｄｉｎｇ ｔｈｅ Ｃｏｎｖｅｘ ｈｕｌｌ ｏｆ ａ Ｓｉｍｐｌｅ Ｐｏｌｙｇｏｎ」、Ｎｏｖｅｍｂｅｒ １９８１
【発明の概要】
【発明が解決しようとする課題】
【0004】
特徴量を用いた場合、２つの情報の関係性が、誤って判定される場合がある。例えば、同じような形同士が、誤って関係性を有すると判定される。このように、誤判定が行われることは、問題である。
【0005】
本開示の目的は、誤判定を防止することである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理装置が提供される。情報処理装置は、参照情報に含まれる複数の第１の対象物の輪郭を示す参照輪郭抽出情報に基づいて、算出された複数の相対位置ベクトルを示す情報、及び前記複数の第１の対象物が含まれている複数の第２の対象物を含む入力画像を取得する取得部と、前記入力画像に基づいて、前記複数の第２の対象物の輪郭を示す入力輪郭抽出画像を生成する生成部と、前記入力輪郭抽出画像に基づいて、複数の相対位置ベクトルを算出する算出部と、前記参照輪郭抽出情報に基づく複数の相対位置ベクトルと、前記入力輪郭抽出画像に基づく複数の相対位置ベクトルとに基づいて、前記複数の第２の対象物の輪郭の中から、前記複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出する検出部と、を有する。前記相対位置ベクトルは、複数の輪郭のうちの１つの輪郭であるターゲット輪郭と、前記ターゲット輪郭以外の輪郭との相対位置関係を示すベクトルである。
【発明の効果】
【0007】
本開示によれば、誤判定を防止することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態の概要を示す図である。
【図2】入力画像の取得処理の例を示す図である。
【図3】情報処理装置が有するハードウェアを示す図である。
【図4】情報処理装置の機能を示すブロック図である。
【図5】輪郭抽出画像の例を示す図である。
【図6】相関位置ベクトルの算出処理の例を示す図である。
【図7】投影処理の例を示す図である。
【図8】（Ａ）～（Ｄ）は、比較処理の例を示す図である。
【図9】（Ａ），（Ｂ）は、比較処理の具体例を示す図（その１）である。
【図10】（Ａ），（Ｂ）は、比較処理の具体例を示す図（その２）である。
【図11】（Ａ），（Ｂ）は、比較処理の具体例を示す図（その３）である。
【図12】情報処理装置が実行する処理の例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
【0010】
実施の形態．
図１は、実施の形態の概要を示す図である。実施の形態が使用される場合の例を説明する。ユーザは、ランプを含む盤をカメラで撮影する。これにより、入力画像１０が、生成される。入力画像１０は、ランプ１１～１４を含む。ここで、予め参照画像２０が、用意される。参照画像２０は、ランプ２１～２４を含む。なお、ランプ２１とランプ２２は、状態確認対象のランプである。ランプ１１～１４がランプ２１～２４のうちのどのランプに対応するのか分からないので、対応関係が判定される。例えば、ランプ１１とランプ２１～２４とが同じ形なので、ランプ１１と対応関係を有するランプが、判定される。判定により、ランプ１１～１４とランプ２１～２４とが対応関係を有することが、判定される。例えば、ランプ１１とランプ２１とが対応関係を有することが、判定される。ランプ１２とランプ２２とが対応関係を有することが、判定される。上記したように、ランプ２１，２２は、状態確認対象のランプである。そのため、ランプ１１，１２の状態情報が、取得される。ランプ１１，１２の状態情報に基づいて、ランプ１１，１２の状態が、判定される。例えば、ランプ１１が点灯していることが、判定される。例えば、ランプ１２が消灯していることが、判定される。
図１は、実施の形態の概要を示す図である。実施の形態が使用される場合の例を説明する。ユーザは、ランプを含む盤をカメラで撮影する。これにより、入力画像１０が、生成される。入力画像１０は、ランプ１１～１４を含む。ここで、予め参照画像２０が、用意される。参照画像２０は、ランプ２１～２４を含む。なお、ランプ２１とランプ２２は、状態確認対象のランプである。ランプ１１～１４がランプ２１～２４のうちのどのランプに対応するのか分からないので、対応関係が判定される。例えば、ランプ１１とランプ２１～２４とが同じ形なので、ランプ１１と対応関係を有するランプが、判定される。判定により、ランプ１１～１４とランプ２１～２４とが対応関係を有することが、判定される。例えば、ランプ１１とランプ２１とが対応関係を有することが、判定される。ランプ１２とランプ２２とが対応関係を有することが、判定される。上記したように、ランプ２１，２２は、状態確認対象のランプである。そのため、ランプ１１，１２の状態情報が、取得される。ランプ１１，１２の状態情報に基づいて、ランプ１１，１２の状態が、判定される。例えば、ランプ１１が点灯していることが、判定される。例えば、ランプ１２が消灯していることが、判定される。
【0011】
上記は、実施の形態が使用される場合の一例である。実施の形態は、上記の説明の中で、対応関係の判定に関する内容である。以下、対応関係の判定について説明する。
【0012】
図２は、入力画像の取得処理の例を示す図である。図２は、盤２００を示している。例えば、盤２００は、配電盤、分電盤、動力盤、制御盤などである。盤２００は、ランプ２０１～２０５を含む。ランプ２０１～２０５は、複数の第２の対象物とも言う。また、図２は、第２の対象物の例として、ランプを示している。しかし、第２の対象物は、スイッチ、メータなどでもよい。複数の第２の対象物のそれぞれは、異なる種類の物でもよい。
【0013】
ユーザは、カメラ３００で盤２００を撮影する。これにより、入力画像が、生成される。入力画像は、情報処理装置１００に入力される。
情報処理装置１００は、検出方法を実行する装置である。例えば、情報処理装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。また、情報処理装置１００は、スマートフォン、タブレット装置、又はサーバでもよい。
情報処理装置１００は、検出方法を実行する装置である。例えば、情報処理装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。また、情報処理装置１００は、スマートフォン、タブレット装置、又はサーバでもよい。
【0014】
次に、情報処理装置１００が有するハードウェアを説明する。
図３は、情報処理装置が有するハードウェアを示す図である。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
図３は、情報処理装置が有するハードウェアを示す図である。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
【0015】
プロセッサ１０１は、情報処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。また、情報処理装置１００は、処理回路を有してもよい。
【0016】
揮発性記憶装置１０２は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。
【0017】
次に、情報処理装置１００が有する機能を説明する。
図４は、情報処理装置の機能を示すブロック図である。情報処理装置１００は、記憶部１１０、取得部１２０、生成部１３０、算出部１４０、変換部１５０、検出部１６０、及び合わせ処理部１７０を有する。
図４は、情報処理装置の機能を示すブロック図である。情報処理装置１００は、記憶部１１０、取得部１２０、生成部１３０、算出部１４０、変換部１５０、検出部１６０、及び合わせ処理部１７０を有する。
【0018】
記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
取得部１２０、生成部１３０、算出部１４０、変換部１５０、検出部１６０、及び合わせ処理部１７０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、生成部１３０、算出部１４０、変換部１５０、検出部１６０、及び合わせ処理部１７０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、検出プログラムとも言う。例えば、検出プログラムは、記録媒体に記録されている。
取得部１２０、生成部１３０、算出部１４０、変換部１５０、検出部１６０、及び合わせ処理部１７０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、生成部１３０、算出部１４０、変換部１５０、検出部１６０、及び合わせ処理部１７０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、検出プログラムとも言う。例えば、検出プログラムは、記録媒体に記録されている。
【0019】
記憶部１１０は、様々な情報を記憶する。
取得部１２０は、参照画像を取得する。例えば、取得部１２０は、参照画像を記憶部１１０から取得する。また、例えば、取得部１２０は、参照画像を外部装置から取得する。なお、例えば、外部装置は、クラウドサーバである。また、外部装置の図は、省略されている。参照画像は、参照情報とも言う。参照画像は、複数の第１の対象物を含む。例えば、第１の対象物は、ランプ、メータ、スイッチなどである。
取得部１２０は、参照画像を取得する。例えば、取得部１２０は、参照画像を記憶部１１０から取得する。また、例えば、取得部１２０は、参照画像を外部装置から取得する。なお、例えば、外部装置は、クラウドサーバである。また、外部装置の図は、省略されている。参照画像は、参照情報とも言う。参照画像は、複数の第１の対象物を含む。例えば、第１の対象物は、ランプ、メータ、スイッチなどである。
【0020】
また、取得部１２０は、入力画像を取得する。例えば、取得部１２０は、入力画像をカメラ３００から取得する。また、例えば、情報処理装置１００がタブレット装置である場合、取得部１２０は、タブレット装置が有するカメラから入力画像を取得する。入力画像は、複数の第２の対象物を含む。また、複数の第２の対象物には、複数の第１の対象物が含まれている。つまり、複数の第２の対象物の数は、複数の第１の対象物の数よりも多い場合がある。また、複数の第１の対象物の数と複数の第２の対象物の数とが、同じ場合がある。
【0021】
生成部１３０は、入力画像に基づいて、輪郭抽出画像を生成する。輪郭抽出画像の生成の例を説明する。生成部１３０は、Ｓａｕｖｏｌａ法を用いて、入力画像内の影を除去する。なお、Ｓａｕｖｏｌａ法は、非特許文献２に記載されている。生成部１３０は、入力画像に対して、ブラー処理を実行する。生成部１３０は、処理後の入力画像とＣａｎｎｙ法とを用いて、エッジ画像を生成する。なお、Ｃａｎｎｙ法は、非特許文献３に記載されている。生成部１３０は、エッジ画像に対して、モルフォロジー処理を行う。生成部１３０は、処理後のエッジ画像とＳｕｚｕｋｉ８５アルゴリズムとを用いて、輪郭画像を生成する。なお、Ｓｕｚｕｋｉ８５アルゴリズムは、非特許文献４に記載されている。また、生成部１３０は、輪郭内を塗りつぶした画像にモルフォロジー処理を行い、再び輪郭画像を生成してもよい。輪郭画像では、輪郭内の輪郭、輪郭内のノイズなどが、除去されている。そして、輪郭画像では、各対象物の最も外側の輪郭のみが、抽出される。生成部１３０は、輪郭画像と凸包計算を用いて、凸包画像を生成する。なお、凸包計算は、非特許文献５に記載されている。生成部１３０は、各凸包のサイズが凸包画像に対して大きすぎるもの、及び小さすぎるものを削除する。生成部１３０は、各凸包の対象物の縦横比が大きすぎるものを削除する。このように、削除により、輪郭抽出画像が、生成される。輪郭抽出画像は、別の方法を用いて、生成されてもよい。輪郭抽出画像の例を示す。
【0022】
図５は、輪郭抽出画像の例を示す図である。画像３０は、入力画像に基づく輪郭抽出画像である。画像３０は、輪郭３１～３５を含む。このように、画像３０は、複数の第２の対象物の輪郭を示す。また、画像３０は、入力輪郭抽出画像とも言う。
【0023】
生成部１３０は、参照画像に基づいて、輪郭抽出画像を生成する。生成方法は、上記と同じである。画像４０は、参照画像に基づく輪郭抽出画像である。画像４０は、輪郭４１～４４を含む。取得部１２０は、参照画像に基づく輪郭抽出画像を取得する。このように、画像４０は、複数の第１の対象物の輪郭を示す。また、画像４０は、参照輪郭抽出画像又は参照輪郭抽出情報とも言う。
【0024】
ここで、取得部１２０は、参照画像に基づく輪郭抽出画像を記憶部１１０又は外部装置から取得してもよい。取得部１２０が参照画像に基づく輪郭抽出画像を記憶部１１０又は外部装置から取得する場合、生成部１３０は、参照画像に基づく輪郭抽出画像を生成しない。
【0025】
なお、画像３０は、５つの輪郭を含む。画像４０は、４つの輪郭を含む。このように、輪郭の数が、異なる。輪郭の数が異なる理由は、ユーザが遠くからカメラ３００で盤２００を撮影したからである。以下の説明では、輪郭の数が異なる場合でも、対応関係が的確に判定されることを説明する。
【0026】
算出部１４０は、画像３０に基づいて、複数の相対位置ベクトルを算出する。算出処理を、図を用いて説明する。
【0027】
図６は、相関位置ベクトルの算出処理の例を示す図である。
算出部１４０は、画像３０における複数の輪郭のそれぞれの重心を算出する。画像３０における重心の集合をＭｉとする。算出部１４０は、画像４０における複数の輪郭のそれぞれの重心を算出する。画像４０における重心の集合をＭｒとする。
算出部１４０は、画像３０における複数の輪郭のそれぞれの重心を算出する。画像３０における重心の集合をＭｉとする。算出部１４０は、画像４０における複数の輪郭のそれぞれの重心を算出する。画像４０における重心の集合をＭｒとする。
【0028】
画像３０における複数の輪郭の中から、１つの輪郭が選択される。選択された輪郭は、輪郭ｍｔｉとする。輪郭ｍｔｉは、ターゲット輪郭とも言う。複数の輪郭のうち、輪郭ｍｔｉ以外の輪郭は、ｍｋｉとする。
【0029】
ここで、相対位置ベクトルとは、輪郭ｍｔｉと輪郭ｍｋｉとの相対位置関係を示すベクトルである。算出部１４０は、相対位置ベクトルの集合ＲＰｔｉを算出する。具体的には、算出部１４０は、式（１）を用いて、相対位置ベクトルの集合ＲＰｔｉを算出する。なお、式（１）のＳｉｚｅは、輪郭の全長、縦、横などでもよい。
【0030】
【数1】
【0031】
【0032】
算出部１４０は、同様に、複数の輪郭のそれぞれが輪郭ｍｔｉになったときの相対位置ベクトルの集合を算出する。これにより、画像３０では、５つの相対位置ベクトルの集合が、算出される。このように、算出部１４０は、画像３０に基づいて、複数の相対位置ベクトルを算出する。
【0033】
画像４０における複数の輪郭の中から、１つの輪郭が選択される。選択された輪郭は、輪郭ｍｔｒとする。輪郭ｍｔｒは、ターゲット輪郭とも言う。複数の輪郭のうち、輪郭ｍｔｒ以外の輪郭は、ｍｋｒとする。
【0034】
ここで、相対位置ベクトルとは、輪郭ｍｔｒと輪郭ｍｋｒとの相対位置関係を示すベクトルである。算出部１４０は、相対位置ベクトルの集合ＲＰｔｒを算出する。具体的には、算出部１４０は、式（２）を用いて、相対位置ベクトルの集合ＲＰｔｒを算出する。なお、式（２）のサイズでは、式（１）のサイズと同じ種類のサイズが、用いられる。例えば、式（１）のサイズで輪郭の全長が用いられる場合、式（２）のサイズでは、輪郭の全長が用いられる。
【0035】
【数2】
【0036】
【0037】
算出部１４０は、同様に、複数の輪郭のそれぞれが輪郭ｍｔｒになったときの相対位置ベクトルの集合を算出する。これにより、画像４０では、４つの相対位置ベクトルの集合が、算出される。このように、算出部１４０は、画像４０に基づいて、複数の相対位置ベクトルを算出する。取得部１２０は、画像４０に基づいて、算出された複数の相対位置ベクトルを取得する。
【0038】
ここで、取得部１２０は、画像４０に基づいて、算出された複数の相対位置ベクトルを示す情報を記憶部１１０又は外部装置から取得してもよい。当該情報が取得される場合、算出部１４０は、画像４０に基づく複数の相対位置ベクトルを算出しない。
【0039】
次に行われる処理を、図を用いて説明する。
図７は、投影処理の例を示す図である。画像３０内の輪郭のサイズと、画像４０内の輪郭のサイズが、異なる場合がある。そこで、情報処理装置１００は、サイズを合わせる処理を行う。
図７は、投影処理の例を示す図である。画像３０内の輪郭のサイズと、画像４０内の輪郭のサイズが、異なる場合がある。そこで、情報処理装置１００は、サイズを合わせる処理を行う。
【0040】
変換部１５０は、複数の第１の対象物の輪郭を、複数の第２の対象物の輪郭に投影し、輪郭のサイズを合わせると共に、画像４０に基づく複数の相対位置ベクトルのサイズを変換する。以下、具体的に処理を説明する。
【0041】
変換部１５０は、画像４０における複数の輪郭の中から、１つの輪郭を選択する。選択された輪郭は、輪郭ｍｘｒとする。変換部１５０は、画像３０における複数の輪郭の中から、１つの輪郭を選択する。選択された輪郭は、輪郭ｍｙｉとする。変換部１５０は、輪郭ｍｘｒを輪郭ｍｙｉに投影する。変換部１５０は、輪郭ｍｘｒと輪郭ｍｙｉのサイズを合わせると共に、輪郭ｍｘｒの相対位置ベクトルの集合のサイズを変換する。サイズが変換された相対位置ベクトルの集合は、式（３）で表される。
【0042】
【数3】
【0043】
図７の下図は、サイズが変換された相対位置ベクトルの集合を示している。具体的には、相対位置ベクトルの集合が、小さくなる。変換部１５０は、同様に、３つの相対位置ベクトルの集合のサイズを変換する。これにより、４つの相対位置ベクトルの集合のサイズが、変換される。このように、変換部１５０は、複数の第１の対象物の輪郭を、複数の第２の対象物の輪郭に投影し、輪郭のサイズを合わせると共に、画像４０に基づく複数の相対位置ベクトルのサイズを変換する。
【0044】
また、変換部１５０は、画像４０に基づく複数の相対位置ベクトルの向きが、画像３０に基づく複数の相対位置ベクトルの向きに合うように、射影変換を用いて、画像４０に基づく複数の相対位置ベクトルの向きを変換する。例えば、輪郭ｍｘｒの相対位置ベクトルの集合が全体的に傾いている場合、変換部１５０は、輪郭ｍｘｒの相対位置ベクトルの集合の向きが輪郭ｍｙｉの相対位置ベクトルの集合の向きに合うように、射影変換を用いて、輪郭ｍｘｒの相対位置ベクトルの集合の向きを変換する。
【0045】
なお、画像３０内の輪郭のサイズと、画像４０内の輪郭のサイズが、同じ場合、情報処理装置１００は、図７の処理を行わない。図７の処理が行われない場合、検出部１６０は、画像３０に基づく複数の相対位置ベクトルと、画像４０に基づく複数の相対位置ベクトルとに基づいて、複数の第２の対象物の輪郭の中から、複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出する。
【0046】
図７の処理が行われた場合、検出部１６０は、変換された複数の相対位置ベクトルと、画像３０に基づく複数の相対位置ベクトルとに基づいて、複数の第２の対象物の輪郭の中から、複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出する。以下の説明では、サイズが変更されたものとする。
【0047】
検出処理では、比較処理が行われる。比較処理を、図を用いて説明する。
図８（Ａ）～（Ｄ）は、比較処理の例を示す図である。検出部１６０は、輪郭ｍｘｒの相対位置ベクトルの集合ＲＰＰｘｙと、輪郭ｍｙｉの相対位置ベクトルの集合ＲＰｙとを比較し、相対位置ベクトルの差を算出する。具体的に、差の算出処理を説明する。輪郭ｍｙｉの相対位置ベクトルの集合ＲＰｙは、式（４）で表される。
図８（Ａ）～（Ｄ）は、比較処理の例を示す図である。検出部１６０は、輪郭ｍｘｒの相対位置ベクトルの集合ＲＰＰｘｙと、輪郭ｍｙｉの相対位置ベクトルの集合ＲＰｙとを比較し、相対位置ベクトルの差を算出する。具体的に、差の算出処理を説明する。輪郭ｍｙｉの相対位置ベクトルの集合ＲＰｙは、式（４）で表される。
【0048】
【数4】
【0049】
図８（Ａ）は、相対位置ベクトルの集合ＲＰＰｘｙの下方向のベクトルに着目した例である。当該ベクトルを矢印ｋｒで表す。検出部１６０は、相対位置ベクトルｋｒと、相対位置ベクトルの集合ＲＰｙの下方向の相対位置ベクトルとの差Ｄｘｙｋｍｉｎを算出する。すなわち、検出部１６０は、相対位置ベクトルｋｒと、相対位置ベクトルの集合ＲＰｙの中で相対位置ベクトルｋｒに一番近い相対位置ベクトルとの差Ｄｘｙｋｍｉｎを算出する。このとき、一番近いと判断された輪郭ｍｋｉを輪郭ｍｋｉｍｉｎとする。また、差Ｄｘｙｋｍｉｎは、式（５）で表される。
【0050】
【数5】
【0051】
検出部１６０は、差Ｄｘｙｋｍｉｎが予め定められた閾値以下であるため、カウントＮｘｙに１を加算する。なお、カウントＮｘｙの初期値は、０である。
【0052】
図８（Ｂ）は、相対位置ベクトルの集合ＲＰＰｘｙの右下方向のベクトルに着目した例である。当該ベクトルを矢印ｋｒで表す。検出部１６０は、相対位置ベクトルｋｒと、相対位置ベクトルの集合ＲＰｙの中で相対位置ベクトルｋｒに一番近い相対位置ベクトルとの差Ｄｘｙｋｍｉｎを算出する。このとき、一番近いと判断された輪郭ｍｋｉを輪郭ｍｋｉｍｉｎとする。検出部１６０は、差Ｄｘｙｋｍｉｎが予め定められた閾値以下であるため、カウントＮｘｙに１を加算する。
【0053】
図８（Ｃ）は、相対位置ベクトルの集合ＲＰＰｘｙの右方向のベクトルに着目した例である。当該ベクトルを矢印ｋｒで表す。検出部１６０は、相対位置ベクトルｋｒと、相対位置ベクトルの集合ＲＰｙの中で相対位置ベクトルｋｒに一番近い相対位置ベクトルとの差Ｄｘｙｋｍｉｎを算出する。このとき、一番近いと判断された輪郭ｍｋｉを輪郭ｍｋｉｍｉｎとする。検出部１６０は、差Ｄｘｙｋｍｉｎが予め定められた閾値以下であるため、カウントＮｘｙに１を加算する。
【0054】
ここまでは、相対位置ベクトルの集合ＲＰＰｘｙの相対位置ベクトルを着目し、相対位置ベクトルの集合ＲＰｙの中で、着目された相対位置ベクトルに一番近い相対位置ベクトルが、割り当てられた。参照画像のベクトルの要素数が入力画像のベクトルの要素数より少ない場合、相対位置ベクトルの集合ＲＰｙの中で一度も一番近いと判断されなかった相対位置ベクトルが存在する。図８（Ｄ）は、相対位置ベクトルの集合ＲＰｙの中で一度も一番近いと判断されなかったベクトルに着目した例である。当該ベクトルを矢印ｋiで表す。検出部１６０は、相対位置ベクトルｋiと、相対位置ベクトルの集合ＲＰＰｘｙの中で相対位置ベクトルｋｉに一番近い相対位置ベクトルとの差Ｄｘｙｋｍｉｎを算出する。このとき、一番近いと判断された輪郭ｍｋｉを輪郭ｍｋrｍｉｎとする。検出部１６０は、差Ｄｘｙｋｍｉｎが予め定められた閾値よりも大きいため、カウントＮｘｙに１を加算しない。
これにより、カウントＮｘｙは、３になる。
これにより、カウントＮｘｙは、３になる。
【0055】
また、検出部１６０は、閾値以下であるときの差Ｄｘｙｋｍｉｎの平均値Ｄｘｙを算出する。具体的には、検出部１６０は、図８（Ａ）～（Ｃ）の差Ｄｘｙｋｍｉｎの平均値Ｄｘｙを算出する。
【0056】
検出部１６０は、同様に、全ての組み合わせに対して、入力画像の相対位置ベクトルと参照画像の相対位置ベクトルとの差の算出を行い、カウントＮｘｙを検出する。
【0057】
図９（Ａ），（Ｂ）は、比較処理の具体例を示す図（その１）である。図９（Ａ）は、図８の比較処理を示している。図８では、画像４０の左上の輪郭ｍ１が画像３０の左上の輪郭ｍ１に投影される場合を説明した。このように投影されるため、カウントＮｘｙは、カウントＮ１１と表現する。図８で説明したように、カウントＮ１１は、３である。
【0058】
図９（Ｂ）では、画像４０の輪郭ｍ１が画像３０の輪郭ｍ２に投影される。そして、画像４０の輪郭ｍ１の相対位置ベクトルの集合と、画像３０の輪郭ｍ２の相対位置ベクトルの集合とが、比較される。画像４０の輪郭ｍ１が画像３０の輪郭ｍ２に投影された場合、カウントＮ１２は、２である。
【0059】
図１０（Ａ），（Ｂ）は、比較処理の具体例を示す図（その２）である。図１０（Ａ）では、画像４０の輪郭ｍ１が画像３０の輪郭ｍ３に投影される。そして、画像４０の輪郭ｍ１の相対位置ベクトルの集合と、画像３０の輪郭ｍ３の相対位置ベクトルの集合とが、比較される。画像４０の輪郭ｍ１が画像３０の輪郭ｍ３に投影された場合、カウントＮ１３は、１である。
【0060】
図１０（Ｂ）では、画像４０の輪郭ｍ１が画像３０の輪郭ｍ４に投影される。そして、画像４０の輪郭ｍ１の相対位置ベクトルの集合と、画像３０の輪郭ｍ４の相対位置ベクトルの集合とが、比較される。画像４０の輪郭ｍ１が画像３０の輪郭ｍ４に投影された場合、カウントＮ１４は、０である。
【0061】
図１１（Ａ），（Ｂ）は、比較処理の具体例を示す図（その３）である。図１１（Ａ）では、画像４０の輪郭ｍ１が画像３０の輪郭ｍ５に投影される。そして、画像４０の輪郭ｍ１の相対位置ベクトルの集合と、画像３０の輪郭ｍ５の相対位置ベクトルの集合とが、比較される。画像４０の輪郭ｍ１が画像３０の輪郭ｍ５に投影された場合、カウントＮ１５は、１である。
【0062】
図１１（Ｂ）では、画像４０の輪郭ｍ２が画像３０の輪郭ｍ１に投影される。そして、画像４０の輪郭ｍ２の相対位置ベクトルの集合と、画像３０の輪郭ｍ１の相対位置ベクトルの集合とが、比較される。画像４０の輪郭ｍ２が画像３０の輪郭ｍ２に投影された場合、カウントＮ２１は、１である。
カウントＮ４５まで、同様の処理が、実行される。
カウントＮ４５まで、同様の処理が、実行される。
【0063】
このように、検出部１６０は、全ての組み合わせに対して、入力画像の相対位置ベクトルと参照画像の相対位置ベクトルとの差の算出を行い、カウントＮｘｙを検出する。
【0064】
検出部１６０は、カウントＮｘｙが最大の組合せを検出する。最大の組合せは、Ｎ１１、Ｎ２２、Ｎ３３、Ｎ４５である。検出部１６０は、最大の組合せに基づいて、対応関係を検出する。具体的には、検出部１６０は、Ｎ１１に基づいて、画像４０の輪郭ｍ１と画像３０の輪郭ｍ１とが対応関係を有することを検出する。検出部１６０は、Ｎ２２に基づいて、画像４０の輪郭ｍ２と画像３０の輪郭ｍ２とが対応関係を有することを検出する。検出部１６０は、Ｎ３３に基づいて、画像４０の輪郭ｍ３と画像３０の輪郭ｍ３とが対応関係を有することを検出する。検出部１６０は、Ｎ４５に基づいて、画像４０の輪郭ｍ４と画像３０の輪郭ｍ５とが対応関係を有することを検出する。
【0065】
また、検出部１６０は、参照画像の１つの輪郭と、入力画像の複数の輪郭とが対応関係を有する場合、平均値Ｄｘｙが最も小さい組合せを、対応関係が有すると判定する。例えば、画像４０の輪郭ｍ２と、画像３０の輪郭ｍ１、輪郭ｍ２とが対応関係を有する場合、検出部１６０は、平均値Ｄ２１と平均値Ｄ２２とのうちの最小値の組合せを対応関係が有すると判定する。検出部１６０は、入力画像の１つの輪郭と、参照画像の複数の輪郭とが対応関係を有する場合にも同様の処理を行う。
【0066】
さらに、参照画像の１つの輪郭と、入力画像の複数の輪郭とが対応関係を有する場合、検出部１６０は、式（６）を用いて、輪郭サイズの比率が１に近い組合せを対応関係が有すると判定してもよい。なお、式（６）のＳｉｚｅ（ｍｘｒ）は、変換前の参照画像の輪郭のサイズを示す。検出部１６０は、入力画像の１つの輪郭と、参照画像の複数の輪郭とが対応関係を有する場合にも同様の処理を行う。
【0067】
【数6】
【0068】
このように、検出部１６０は、輪郭３１～３５の中から、輪郭４１～４４と対応関係を有する輪郭３１～３４を検出する。
【0069】
次に、情報処理装置１００が実行する処理を、フローチャートを用いて、説明する。
図１２は、情報処理装置が実行する処理の例を示すフローチャートである。
（ステップＳ１１）取得部１２０は、入力画像を取得する。
（ステップＳ１２）取得部１２０は、参照画像を取得する。
（ステップＳ１３）生成部１３０は、入力画像に基づいて、画像３０を生成する。
（ステップＳ１４）生成部１３０は、参照画像に基づいて、画像４０を生成する。
（ステップＳ１５）算出部１４０は、画像３０に基づく複数の相対位置ベクトルを算出する。
（ステップＳ１６）算出部１４０は、画像４０に基づく複数の相対位置ベクトルを算出する。
（ステップＳ１７）変換部１５０は、画像４０に基づく複数の相対位置ベクトルのサイズを変換する。
（ステップＳ１８）検出部１６０は、輪郭３１～３５の中から、輪郭４１～４４と対応関係を有する複数の輪郭を検出する。
図１２は、情報処理装置が実行する処理の例を示すフローチャートである。
（ステップＳ１１）取得部１２０は、入力画像を取得する。
（ステップＳ１２）取得部１２０は、参照画像を取得する。
（ステップＳ１３）生成部１３０は、入力画像に基づいて、画像３０を生成する。
（ステップＳ１４）生成部１３０は、参照画像に基づいて、画像４０を生成する。
（ステップＳ１５）算出部１４０は、画像３０に基づく複数の相対位置ベクトルを算出する。
（ステップＳ１６）算出部１４０は、画像４０に基づく複数の相対位置ベクトルを算出する。
（ステップＳ１７）変換部１５０は、画像４０に基づく複数の相対位置ベクトルのサイズを変換する。
（ステップＳ１８）検出部１６０は、輪郭３１～３５の中から、輪郭４１～４４と対応関係を有する複数の輪郭を検出する。
【0070】
対応関係が検出された後、情報処理装置１００は、次の処理を実行してもよい。対応関係が検出されたことにより、例えば、画像３０の輪郭３１が画像４０の輪郭４１に対応することが、特定される。輪郭４１に対応する参照画像の対象物が、状態確認対象である場合、情報処理装置１００は、輪郭３１に対応する入力画像の対象物の状態情報を取得する。情報処理装置１００は、状態情報に基づいて、対象物の状態を判定する。
【0071】
ここで、特徴量を用いて、２つの輪郭の関係性を判定する場合、２つの輪郭の関係性が、誤って判定される場合がある。例えば、画像３０の輪郭３１と、画像４０の輪郭４１～４４とは、同じような形をしている。そのため、例えば、輪郭３１と輪郭４２とが対応関係を有すると、誤って判定される。このように、特徴量を用いた場合、誤判定が起こる可能性がある。
【0072】
実施の形態によれば、情報処理装置１００は、相対位置ベクトルを用いて、対応関係を検出する。そのため、情報処理装置１００は、誤判定を防止することができる。
【0073】
上記したように、情報処理装置１００は、参照画像の輪郭と、入力画像の輪郭との対応関係を検出する。情報処理装置１００は、対応関係に基づいて、参照画像を入力画像に合わせてもよい。例えば、合わせ処理部１７０は、対応関係に基づいて、入力画像の輪郭と参照画像の輪郭とを合わせることで、参照画像を入力画像に合わせる。また、例えば、合わせ処理部１７０は、対応関係に基づいて、入力画像の輪郭の重心と参照画像の輪郭の重心とを合わせることで、参照画像を入力画像に合わせる。合わせ処理部１７０は、さらに、輪郭以外の特徴点を用いて、参照画像を入力画像に合わせてもよい。例えば、合わせ処理部１７０は、輪郭を矩形で囲ったときの４つの頂点に基づいて、参照画像を入力画像に合わせてもよい。合わせ処理部１７０は、対応関係と、ホモグラフィ変換とを用いて、参照画像を入力画像に合わせてもよい。また、情報処理装置１００は、参照画像と入力画像と合わせて、２つの輪郭が重なる場合、入力画像の輪郭内の情報を取得してもよい。
【0074】
上記では、入力画像内の対象物と、参照画像内の対象物との対応関係を検出する場合を説明した。実施の形態は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）で行われる対応関係の検出処理に適応してもよい。例えば、入力画像内の対象物と、参照情報に含まれるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などで表された対象物との対応関係を検出する場合、実施の形態が用いられてもよい。
【符号の説明】
【0075】
１０ 入力画像、 １１～１４ ランプ、 ２０ 参照画像、 ２１～２４ ランプ、 ２２ ランプ、 ３０ 画像、 ３１～３５ 輪郭、 ４０ 画像、 ４１～４４ 輪郭、 １００ 情報処理装置、 １０１ プロセッサ、 １０２ 揮発性記憶装置、 １０３ 不揮発性記憶装置、 １１０ 記憶部、 １２０ 取得部、 １３０ 生成部、 １４０ 算出部、 １５０ 変換部、 １６０ 検出部、 １７０ 合わせ処理部、 ２００ 盤、 ２０１～２０５ ランプ、 ３００ カメラ。
【要約】
情報処理装置（１００）は、参照情報に含まれる複数の第１の対象物の輪郭を示す参照輪郭抽出情報に基づいて、算出された複数の相対位置ベクトルを示す情報、及び複数の第１の対象物が含まれている複数の第２の対象物を含む入力画像を取得する取得部（１２０）と、入力画像に基づいて、複数の第２の対象物の輪郭を示す入力輪郭抽出画像を生成する生成部（１３０）と、入力輪郭抽出画像に基づいて、複数の相対位置ベクトルを算出する算出部（１４０）と、参照輪郭抽出情報に基づく複数の相対位置ベクトルと、入力輪郭抽出画像に基づく複数の相対位置ベクトルとに基づいて、複数の第２の対象物の輪郭の中から、複数の第１の対象物の輪郭と対応関係を有する複数の輪郭を検出する検出部（１６０）と、を有する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】