特許 7586332 撮影ガイド装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】撮影ガイド装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241112BHJP

   H04N 23/63 20230101ALI20241112BHJP

   G03B 15/00 20210101ALI20241112BHJP

【ＦＩ】

H04N23/60 100

H04N23/63 100

G03B15/00 T

G03B15/00 P

【請求項の数】 9

(21)【出願番号】P 2023542138

(86)(22)【出願日】2021-08-19

(86)【国際出願番号】 JP2021030462

(87)【国際公開番号】W WO2023021668

(87)【国際公開日】2023-02-23

【審査請求日】2024-02-01

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】渡邉 和寛

(72)【発明者】

【氏名】石山 塁

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１２－１９３９８０（ＪＰ，Ａ）

【文献】特開２０１５－８２８３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する算出手段と、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する取得手段と、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する生成手段と、
前記表示アイテムを前記第２の画像に重畳して表示する表示制御手段と、
を含む撮影ガイド装置。

【請求項2】

前記算出手段は、前記第１の画像と前記第２の画像の剛体変換行列を算出し、前記第１の画像と前記第２の画像を前記剛体変換行列に基づいて変換して得られる画像の平面射影変換行列を算出する、
請求項１に記載の撮影ガイド装置。

【請求項3】

前記生成手段は、前記第２の図形の射影歪みを誇張して得られる図形を前記傾斜指標として生成する、
請求項１または２に記載の撮影ガイド装置。

【請求項4】

前記第１の図形は正方形であり、
前記生成手段は、前記第２の図形の４辺のそれぞれについて、辺の長さを対向する辺の長さと比較し、対向する辺と同じ長さの辺を第１の色で着色し、対向する辺より短い長さの辺を第２の色で着色し、対向する辺より長い長さの辺を第３の色で着色して得られる図形を前記傾斜指標として生成する、
請求項１乃至３の何れかに記載の撮影ガイド装置。

【請求項5】

前記取得手段は、前記第１の図形を前記剛体変換行列に基づいて変換して得られる第３の図形をさらに取得し、
前記生成手段は、前記第３の図形を無傾斜指標としてさらに含む前記表示アイテムを生成する、
請求項２に記載の撮影ガイド装置。

【請求項6】

前記取得手段は、前記第１の図形に対する前記第３の図形の回転および位置のずれ量をさらに取得し、
前記生成手段は、前記回転および位置のずれ量を矢印の向きおよび長さで表す矢印指標をさらに含む前記表示アイテムを生成する、
請求項５に記載の撮影ガイド装置。

【請求項7】

前記生成手段は、前記回転および位置のずれ量をテキストで表すテキスト指標をさらに含む前記表示アイテムを生成する、
請求項６に記載の撮影ガイド装置。

【請求項8】

対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出し、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得し、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成し、
前記表示アイテムを前記第２の画像に重畳して表示する、
撮影ガイド方法。

【請求項9】

コンピュータに、
対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する処理と、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する処理と、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する処理と、
前記表示アイテムを前記第２の画像に重畳して表示する処理と、
を行わせるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影ガイド装置、撮影ガイド方法、および、記録媒体に関する。

【背景技術】

【0002】

物体をカメラによって撮影して得られた画像の個体差を個体認証や照合に利用する試みが行われている（例えば特許文献１参照）。

【0003】

このように物体をカメラによって撮影して得られた画像の個体差を個体認証などに利用する場合、登録対象物体を撮影したときのカメラの向きと照合対象物体を撮影したときのカメラの向きとが相違すると、射影歪み（台形歪みとも称する）の影響により認証性能が劣化する。そのため、登録時と照合時とでカメラの向きを合わせることが重要である。

【0004】

本発明に関連する技術を記載した文献として、特許文献２および特許文献３がある。

【0005】

特許文献２に記載された技術（以下、第１の関連技術と記す）では、照合時にカメラによって照合対象物体の照合領域を撮影する際に、所定の向き及び位置に設定したカメラで照合領域を事前に撮影した登録画像あるいはその輪郭線（以下、単に登録画像と記す）を、スルー画像（プレビュー画像やライブビュー画像とも呼ばれる）に重畳表示する。

【0006】

特許文献３に記載された技術（以下、第２の関連技術と記す）は、橋梁などの構造物の点検個所をカメラによって毎回同じ位置と向きで撮影する定点観測を支援する技術である。第２の関連技術では、カメラによって構造物を撮影した候補画像と同じ構造物を所定の向き及び位置に設定されたカメラで過去に撮影した登録画像の平面射影変換行列（ホモグラフィ行列とも称する）を推定する。そして、第２の関連技術では、推定した平面射影変換行列に基づき登録画像を変換した後の画像と上記候補画像とを合成した合成画像を表示装置に表示する。

【先行技術文献】

【特許文献】

【0007】

【文献】特許第６２１７８８６号

【文献】特許第６２０６６４５号

【文献】ＷＯ／２０２０／１４５００４

【発明の概要】

【発明が解決しようとする課題】

【0008】

第１の関連技術によれば、利用者は、スルー画像の照合領域と登録画像とが一致するように、カメラの向きを調整することにより、登録時と照合時とでカメラの向きを合わせることができる。しかし、利用者は、カメラをどの向きに調整すればスルー画像の照合領域と登録画像とが一致するようになるのかを、スルー画像の照合領域と登録画像とを一見しただけでは容易に判断できない。勿論、照合領域の本来の形状が分かっていれば、スルー画像の照合領域の形状の射影歪みの向きとスルー画像に重畳表示された登録画像の形状の射影歪みの向きとからカメラの向きの調整方向を推定することは理論的に可能である。しかし、照合領域の本来の形状が分からない場合がある。また、分かっている場合でも矩形などの単純な形状ではなく台形、ひし形、星形など、射影歪みの向きからカメラの向きの調整方向を推定するのが難しい形状もある。そのような理由により、第１の関連技術では、照合時にカメラの向きを登録時の向きと一致するように調整するのは容易でない。

【0009】

一方、定点観測の分野における第２の関連技術を個体認証における撮影に適用することを考える。その場合、照合時にカメラによって照合対象物体の照合領域を撮影した画像と所定の向き及び位置に設定したカメラで照合領域を事前に撮影した登録画像の平面射影変換行列を推定し、その平面射影変換行列に基づき登録画像を変換した後の画像と上記照合対象物体の照合領域を撮影した画像とを合成した合成画像を表示装置に表示する構成となる。このような構成によれば、利用者は、平面射影変換行列に基づき登録画像を変換した後の画像の形状と照合領域の本来の形状などに基づいて、カメラの向きを調整する方向を判断することになる。しかし、前述したように、照合領域の本来の形状が分からない場合がある。また、分かっている場合でも矩形などの単純な形状ではなく台形、ひし形、星形など、射影歪みの向きからカメラの向きの調整方向を推定するのが難しい形状もある。そのような理由により、第２の関連技術を個体認証における撮影に適用した場合、照合時にカメラの向きを登録時の向きと一致するように調整するのは容易でない。

【0010】

本発明は、上述した課題を解決する撮影ガイド装置を提供することにある。

【課題を解決するための手段】

【0011】

本発明の一形態に係る撮影ガイド装置は、
対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する算出手段と、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する取得手段と、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する生成手段と、
前記表示アイテムを前記第２の画像に重畳して表示する表示制御手段と、
を含むように構成されている。

【0012】

本発明の他の形態に係る撮影ガイド方法は、
対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出し、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得し、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成し、
前記表示アイテムを前記第２の画像に重畳して表示する、
ように構成されている。

【0013】

本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する処理と、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する処理と、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する処理と、
前記表示アイテムを前記第２の画像に重畳して表示する処理と、
を行わせるためのプログラムを記録するように構成されている。

【発明の効果】

【0014】

本発明は、上述したような構成を有することにより、利用者は、所定形状の図形の射影歪みの向きから、カメラをどの向きに調整すれば照合時のカメラの向きを登録時の向きに合わせることができるかを容易に判断することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の第１の実施形態に係る個体識別システムのブロック図である。

【図2】本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第１工程処理装置における製品撮影時のカメラと製品の相対位置関係の一例を示す模式図である。

【図3】本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第１工程処理装置において撮影された登録画像の一例を示す図である。

【図4】本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第２工程処理装置における製品撮影時のカメラと製品の相対位置関係の一例を示す模式図である。

【図5】本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第２工程処理装置において撮影された照合画像の一例を示す図である。

【図6】本発明の第１の実施形態に係る個体識別システムを構成する生産ラインの第２工程処理装置において撮影された照合画像の他の例を示す図である。

【図7】本発明の第１の実施形態に係る個体識別装置のブロック図である。

【図8】本発明の第１の実施形態に係る個体識別装置が利用者に提示するガイド画像の一例を示す図である。

【図9】本発明の第１の実施形態に係る個体識別装置における製品ＤＢの構成例を示す図である。

【図10】本発明の第１の実施形態に係る個体識別装置における撮影ガイド部の動作の一例を示すフローチャートである。

【図11】ステップＳ５の詳細な処理の一例を示すフローチャートである。

【図12】基準図形を描画した基準画像の例を示す図である。

【図13】第４の指標を算出する処理の一例を示すフローチャートである。

【図14】基準図形とそれを射影変換した図形、その射影歪みを誇張した図形、それを回転させた図形の例を示す図である。

【図15】図形の各辺に射影歪みに応じた着色を行う処理の一例を示すフローチャートである。

【図16】本発明の第１の実施形態に係る個体識別装置の登録部の動作の一例を示すフローチャートである。

【図17】本発明の第１の実施形態に係る個体識別装置の照合部の動作の一例を示すフローチャートである。

【図18】本発明の第１の実施形態に係る個体識別装置の照合部が照合画像と登録画像とを照合する処理の一例を示すフローチャートである。

【図19】本発明の第２の実施形態に係る撮影ガイド装置のブロック図である。

【発明を実施するための形態】

【0016】

次に、本発明の実施の形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る撮影ガイド装置を適用した個体識別システム１０のブロック図である。この個体識別システム１０は、個体識別装置１００と生産ライン２００とから構成される。

【0017】

生産ライン２００は、工業製品を生産するラインである。生産する工業製品は特に限定されない。例えば、工業製品は、プリント配線基板などの電気製品、ネジやワッシャなどの金属製品、缶ビールなどの食料品、薬などの医薬品などであってよい。生産ライン２００は、少なくとも２つの工程処理装置、すなわち第１工程処理装置２０１および第２工程処理装置２０２と、コンベアなどの搬送機２０３～２０５とを含んで構成されている。例えば、プリント配線基板のＳＭＴ（Ｓｕｒｆａｃｅ Ｍｏｕｎｔ Ｔｅｃｈｎｏｌｏｇｙ）ラインの場合、第１工程処理装置２０１は、例えば基板上にはんだを塗布するはんだ印刷機であり、第２工程処理装置２０２は、はんだ印刷後の基板の所定の場所に複数の電子部品を搭載する部品搭載機である。或いは、第１工程処理装置２０１が部品搭載機であり、第２工程処理装置２０２が、搭載された部品を基板に固定するため、恒温槽の中を、基板を流してはんだを溶解し固めるリフロー機であってもよい。搬送機２０３～２０５は、第１工程処理装置２０１、第２工程処理装置２０２の順に１製品ずつ上流側から下流側へ製品を搬送する手段である。

【0018】

生産ライン２００は、調整フェーズと運用フェーズとの２つのフェーズを少なくとも有する。調整フェーズは、運用フェーズに先だって実施され、後述するカメラ位置・姿勢の調整などの処理が実施される。運用フェーズは、大量の製品を流れ作業方式で生産する処理が実施される。この運用フェーズでは、第１工程処理装置２０１を通過した複数の製品は、次に第２工程処理装置２０２に搬入される。しかし、第１工程処理装置２０１と第２工程処理装置２０２との間に、複数の製品を順不同に一時的に蓄積するバッファ部が設けられることがある。そのため、第１工程処理装置２０１を通過した複数の製品は、その通過順序を保ちながら第２工程処理装置２０２を通過するとは限られない。そのため、第２工程処理装置２０２に搬入された製品が、第１工程処理装置２０１を通過したどの製品と同一であるかを識別する個体識別が行われる。

【0019】

個体識別装置１００は、製造工程管理、品質管理、出荷管理、販売管理などのために、生産ライン２００で生産される製品の個体を管理する情報処理装置である。個体識別装置１００と第１工程処理装置２０１および第２工程処理装置２０２との間は、有線または無線により相互に通信可能に接続されている。第１工程処理装置２０１および第２工程処理装置２０２には、個体識別のために第１工程処理装置２０１および第２工程処理装置２０２に搬入された製品２４１、２４２を撮影するためのカメラ２１１、２１２と、カメラ２１１、２１２の位置・姿勢を調整するためのカメラ位置・姿勢調整器２２１、２２２と、撮影のための照明を製品に照射する照明器２３１、２３２とが設けられている。カメラ２１１、２１２は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備えた可視光かつカラーカメラ或いは白黒カメラであってよい。カメラ位置・姿勢調整器２２１、２２２は、例えば、パンチルト雲台や６軸ロボットアームなどであってよい。照明器２３１、２３２は、例えばリング照明やドーム照明などであってよい。

【0020】

図２は、第１工程処理装置２０１における製品撮影時のカメラ２１１と製品２４１の相対位置関係の一例を示す模式図である。カメラ２１１は、製品２４１の上面を上方から撮影できる位置に置かれている。カメラ２１１の位置は、カメラ位置・姿勢調整器２２１によって、紙面の左右方向、紙面の手前と奥方向、および紙面の上下方向に調整できる。また、カメラ２１１の姿勢は、カメラ位置・姿勢調整器２２１によって、左右方向（パン方向）、上下方向（チルト方向）、およびカメラ回転方向（ロール方向）に調整できる。製品２４１は、搬送機２０３によって第１工程処理装置２０１に搬入されると、製品２４１の先端が所定位置に到達した時点で、一時的に搬送が停止され、静止した状態とされる。利用者は、静止した状態の製品２４１の上面に形成されたランダムパターンを明暗パターンとして撮影できるように、カメラ位置・姿勢調整器２２１によってカメラ２１１の位置・姿勢を調整する。このとき、必要に応じて水準器やセンサ等の器具を使用してカメラ２１１の最適な位置・姿勢を決定してよい。そして、利用者は、カメラ位置・姿勢調整器２２１による調整を完了すると、その位置・姿勢でカメラ２１１を固定する。カメラ２１１は、固定された位置・姿勢の状態で、静止した状態の製品２４１の照合領域を撮影した画像である登録画像を取得する。

【0021】

図３は、カメラ２１１によって製品２４１の照合領域を撮影して得られた登録画像の一例を示す。この例の製品２４１は、平面視リング状を成す金属性のワッシャである。また、照合領域は製品２４１の上面全体である。製品２４１の上面は、略同一平面を形成している。一般に同一の製造過程を経て製造される複数の製品２４１の表面には、個々の製品２４１固有の微細パターンおよび複数の製品２４１に共通な微細パターンや非微細パターンが存在している。

【0022】

一方、図４は、第２工程処理装置２０２における製品撮影時のカメラ２１２と製品２４２の相対位置関係の一例を示す模式図である。カメラ２１２は、製品２４２の上面を上方から撮影できる位置に置かれている。カメラ２１２の位置は、カメラ位置・姿勢調整器２２２によって、紙面の左右方向、紙面の手前と奥方向、および紙面の上下方向に調整できる。また、カメラ２１２の姿勢は、カメラ位置・姿勢調整器２２２によって、左右方向（パン方向）、上下方向（チルト方向）、およびカメラ回転方向（ロール方向）に調整できる。製品２４２は、搬送機２０４によって第２工程処理装置２０２に搬入されると、製品２４２の先端が所定位置に到達した時点で、一時的に搬送が停止され、静止した状態とされる。カメラ２１２は、静止した状態の製品２４２の上面を上方から撮影する。このとき、利用者は、製品２４２に対するカメラ２１２の位置・姿勢が、製品２４１に対するカメラ２１１の位置・姿勢と同じになるように、カメラ位置・姿勢調整器２２２によってカメラ２１２の位置・姿勢を初期設定する。

【0023】

しかしながら、人手によるカメラ位置の設定誤りやカメラ位置・姿勢調節器の個体差などの種々の要因によって、第２工程処理装置２０２における製品２４２に対するカメラ２１２の初期設定された位置・姿勢が、第１工程処理装置２０１における製品２４１に対するカメラ２１１の位置・姿勢と相違することがある。例えば、カメラ２１２の位置をカメラ２１１と同じ位置に設定するために、カメラ位置・姿勢調整器２２２に対してカメラ位置・姿勢調整器２２１に与えた移動量と同一の移動量を与えたとしても、カメラ位置・姿勢調整器２２１、２２２の個体差により、実際には同じ位置に設定されないことがある。また、カメラ２１２の姿勢をカメラ２１１と同じ姿勢に設定するために、カメラ位置・姿勢調整器２２２に対してカメラ位置・姿勢調整器２２１に与えた回転量と同一の回転量を与えたとしても、カメラ位置・姿勢調整器２２１、２２２の個体差により、実際には同じ回転量に設定されないことがある。

【0024】

そして、カメラ２１２の位置・姿勢がカメラ２１１と相違していると、カメラ２１１では製品２４１の上面全体が画像内におさまっているのに対して、例えば図５に示すように、カメラ２１２では製品２４２の上面全体が画像内におさまらず一部が切れることがある。また、カメラ２１２の位置・姿勢がカメラ２１１と相違していると、カメラ２１１では製品２４１の上面の像に射影歪みが発生していないのに対して、例えば図６に示すように、カメラ２１２では製品２４２の上面の像に射影歪みが発生することがある。図５に示したような照合領域全体が画像内に収まらないような位置ずれは、製品の画像上の位置によって視認できるため、利用者は比較的容易に対処することができる。しかし、図６に示したようなカメラ姿勢の相違は、１０度以下の姿勢差では視認で確認することは難しい。また、数ピクセル程度の画像の差を招く僅かな射影歪みでも照合性能の劣化要因となる。そのため、特に射影歪みを引き起こすカメラ姿勢の相違がないようにカメラ２１２の位置・姿勢を調整できるように利用者を支援することが重要である。そこで、個体識別装置１００は、カメラ２１１の位置・姿勢に対するカメラ２１２の位置・姿勢の差を示す情報を利用者に提示するように構成されている。以下、個体識別装置１００について詳細に説明する。

【0025】

図７は、個体識別装置１００のブロック図である。図７を参照すると、個体識別装置１００は、第１工程処理装置２０１および第２工程処理装置２０２と通信可能に接続されている。また、個体識別装置１００は、通信Ｉ／Ｆ（インターフェース）部１１０と、操作入力部１２０と、画面表示部１３０と、記憶部１４０と、演算処理部１５０とを含んで構成されている。

【0026】

通信Ｉ／Ｆ部１１０は、データ通信回路から構成され、無線または有線によって外部装置との間でデータ通信を行うように構成されている。操作入力部１２０は、キーボードやマウスなどの装置から構成され、オペレータの操作を検出して演算処理部１５０に出力するように構成されている。画面表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの装置から構成され、演算処理部１５０からの指示に応じて、各種情報を画面表示するように構成されている。

【0027】

記憶部１４０は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１５０における各種処理に必要な処理情報およびプログラム１４１を記憶するように構成されている。プログラム１４１は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部１４０に保存される。記憶部１４０に記憶される主な処理情報には、基準画像１４２、ガイド画像１４３、および製品ＤＢ（データベース）１４４がある。

【0028】

基準画像１４２は、第１工程処理装置２０１に搬入された位置・姿勢調整のための製品（以下、基準製品と記す）の照合領域を、位置・姿勢を調整済みのカメラ２１１によって撮影した画像である。基準製品は、生産ライン２００で生産する複数の製品のうちの１つである。基準製品は、生産ライン２００で生産する他の製品と同様に第１工程処理装置２０１および第２工程処理装置２０２において所定の工程が施されてもよいし、それらの工程が省略されてもよい。例えば、基準製品が平面視リング状を成す金属製のワッシャの場合、基準画像１４２の一例は、図３に示した登録画像の一例と同じ画像になる。

【0029】

ガイド画像１４３は、第２工程処理装置２０２に搬入された基準製品の照合領域をカメラ２１２によって撮影した画像に、カメラ２１１に対するカメラ２１２の位置・姿勢のずれの程度を表す表示アイテムを重畳した画像である。

【0030】

図８はガイド画像１４３の一例を示す。この例のガイド画像１４３は、第１の指標１４３１と第２の指標１４３２と第３の指標１４３３と第４の指標１４３４とを含む表示アイテムを、カメラ２１２によって撮影した画像に重畳している。第１の指標１４３１は無傾斜指標とも称する。第２の指標１４３２は矢印指標とも称する。第３の指標１４３３はテキスト指標とも称する。第４の指標１４３４は傾斜指標とも称する。

【0031】

第１の指標１４３１は、正方形の図形から成り、正方形の位置及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを表している。例えば、カメラ２１２に回転ずれがない場合、上記正方形は正立した状態で描画される。一方、カメラ２１２に回転ずれがある場合、上記正方形は回転ずれ量に応じて正立した状態から回転した状態で描画される。第２の指標１４３２は、１本の矢印から成り、矢印の長さ及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを表している。例えば、カメラ２１２に位置ずれがない場合、矢印の長さはゼロになり、矢印は実質的に描画されない。一方、カメラ２１２に位置ずれがある場合、位置ずれ量に応じた長さの矢印が描画される。このとき、矢印の先端は、第１の指標１４３１を構成する正方形の中心と同じ個所に描画される。従って、第１の指標１４３１を構成する正方形は、カメラ２１２に位置ずれがある場合、矢印の長さおよび向きだけシフトして描画されることになる。第３の指標１４３３は、３行のテキストから成り、１行目および２行目は、カメラ２１１に対するカメラ２１２のＸ軸方向およびＹ軸方向の位置ずれ量を表し、３行目は、カメラ２１１に対するカメラ２１２の回転ずれ角を表している。このように、第１の指標１４３１と第２の指標１４３２と第３の指標１４３３は、何れも、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを表している。

【0032】

第４の指標１４３４は、四角形の図形から成り、カメラ２１１に対するカメラ２１２の撮影方向の傾きを表している。第４の指標１４３４を構成する四角形は、カメラ２１１に対してカメラ２１２に撮影方向の傾きのずれがない場合、各辺が第１の色（例えば緑色）で着色された正方形で描画される。一方、カメラ２１１に対してカメラ２１２に撮影方向の傾きのずれがある場合、上記四角形は、傾きのずれ方向に応じた向きの射影歪みを有する台形で描画される。さらに、上記台形の４つの辺のうち、対向する辺と同じ長さの辺は第１の色（例えば緑色）で着色され、対向する辺より短い長さの辺は第２の色（例えば赤色）で着色され、対向する辺より長い長さの辺は第３の色（例えば青色）で着色される。

【0033】

但し、ガイド画像１４３の表示アイテムを構成する指標は、上記に限定されない。例えば、表示アイテムは、第４の指標１４３４のみを含んでいてもよい。或いは、表示アイテムは、第４の指標１４３４と、第１乃至第３の指標のうちの何れか１つまたは２つを含んでいてもよい。或いは、表示アイテムは、第１乃至第４の指標とは異なる他の指標を含んでいてよい。他の指標の例として、第４の指標１４３４の射影歪みの向きを示す矢印で構成される指標が考えられる。

【0034】

製品ＤＢ１４４は、生産ライン２００で大量生産される個々の製品の画像などの情報を保存するデータベースである。図９は、製品ＤＢ１４４の構成例を示す。この例の製品ＤＢ１４４は、複数のエントリから構成され、１つのエントリは、製品ＩＤ、第１工程の製造情報および登録画像、および第２工程の製造情報および照合画像の各項目から構成される。製品ＩＤの項目には、製品に割り振られた通し番号などのＩＤが設定される。第１工程の製造情報および登録画像の項目には、製品に対する第１工程の作業履歴、使用する部品の形式、ロット番号などから構成される製造情報、および当該製品をカメラ２１１で撮影した画像である登録画像が設定される。第２工程の製造情報および照合画像の項目には、製品に対する第２工程の作業履歴、使用する部品の形式、ロット番号などから構成される製造情報、および当該製品をカメラ２１２で撮影した画像である照合画像が設定される。

【0035】

演算処理部１５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１４０からプログラム１４１を読み込んで実行することにより、上記ハードウェアとプログラム１４１とを協働させて各種処理部を実現するように構成されている。演算処理部１５０で実現される主な処理部は、撮影ガイド部１５１、登録部１５２、および照合部１５３である。

【0036】

撮影ガイド部１５１は、生産ライン２００の調整フェーズにおいて、利用者がカメラ２１１、２１２の位置・姿勢を調整する作業を支援するように構成されている。例えば、撮影ガイド部１５１は、カメラ２１１の位置・姿勢に対するカメラ２１２の位置・姿勢の差を示す情報を、画面表示部１３０を通じて利用者に提示するように構成されている。

【0037】

登録部１５２は、生産ライン２００の運用フェーズにおいて、第１工程処理装置２０１に搬入された製品の画像を取得し、登録画像などを製品ＤＢ１４４に保存するように構成されている。

【0038】

照合部１５３は、生産ライン２００の運用フェーズにおいて、第２工程処理装置２０２に搬入された製品の画像を取得し、製品ＤＢ１４４に記録されている第１工程処理装置２０１を通過した製品の登録画像と照合することにより、第２工程処理装置２０２に搬入された製品が第１工程処理装置２０１を通過した何れの製品であるかを識別する個体識別を行うように構成されている。

【0039】

続いて、個体識別装置１００の動作を説明する。最初に、個体識別装置１００の調整フェーズの動作を説明する。

【0040】

図１０は、撮影ガイド部１５１が調整フェーズにおいて実行する処理の一例を示すフローチャートである。図１０を参照すると、先ず、撮影ガイド部１５１は、操作入力部１２０を通じて利用者から入力される指示に従って、カメラ位置・姿勢調整器２２１によってカメラ２１１の位置・姿勢を調整する（ステップＳ１）。製品の最適な照合領域は製品の種類によって異なるため、利用者は、製造する製品の種類に応じたカメラ２１１の位置・姿勢情報を操作入力部１２０から入力することで調整を行う。ここでは、利用者から入力された位置・姿勢情報に従って、カメラ２１１は、図３を参照して説明したように、製品２４１のほぼ真上から上面全体が画像内に収まるような位置・姿勢で調整され、固定されたものとする。

【0041】

カメラ２１１の位置・姿勢の調整が完了すると、利用者は基準製品を搬送機２０３に載置し、第１工程処理装置２０１に向かって搬送させる。基準製品が第１工程処理装置２０１に搬入されると、第１工程処理装置２０１内に設置された図示しないセンサによって検知され、基準製品が所定の位置に到達した時点で、一時的に搬送が停止され、基準製品は静止した状態とされる。また、製品が第１工程処理装置２０１に搬入されたことが第１工程処理装置２０１から個体識別装置１００へ通信によって通知される。撮影ガイド部１５１は、この通信によって基準製品の搬入を検知すると、カメラ２１１により基準製品の画像を基準画像１４２として取得し、記憶部１４０に保存する（ステップＳ２）。このとき、撮影ガイド部１５１は、基準画像１４２を利用者に確認させるために画面表示部１３０に表示してよい。

【0042】

このように撮影ガイド部１５１の動作により、生産ライン２００の第１工程処理装置２０１のカメラ２１１の位置・姿勢が調整され、その調整された位置・姿勢のカメラ２１１で撮影された基準製品の画像である基準画像１４２が記憶部１４０に保存される。

【0043】

次に、撮影ガイド部１５１は、操作入力部１２０を通じて利用者から入力される指示に従って、カメラ位置・姿勢調整器２２２によってカメラ２１２の位置・姿勢を調整する（ステップＳ３）。利用者は、カメラ２１２の最初の位置・姿勢調整時には、例えば、調整済みのカメラ２１１の位置・姿勢と同一の位置・姿勢となるような位置・姿勢情報を操作入力部１２０から入力して調整を行うことが考えられる。

【0044】

利用者は、カメラ２１２の位置・姿勢を調整した後、第１工程処理装置２０１に搬入された基準製品を第１工程処理装置２０１から取り出し、搬送機２０４に載置して第２工程処理装置２０２に向かって搬送させる。搬送機２０４によって基準製品が第２工程処理装置２０２に搬入されると、第２工程処理装置２０２内に設置された図示しないセンサによって検知され、基準製品が所定位置に到達した時点で、一時的に搬送が停止され、基準製品は静止した状態とされる。また、基準製品が第２工程処理装置２０２に搬入されたことが第２工程処理装置２０２から個体識別装置１００へ通信によって通知される。撮影ガイド部１５１は、この基準製品の搬入を検知すると、カメラ２１２により基準製品の画像を撮影し、撮影された画像を取得する（ステップＳ４）。

【0045】

次に、撮影ガイド部１５１は、ステップＳ２で取得した基準画像１４２と直前のステップＳ４で取得した撮影画像（以下、撮影画像ＳＧと記す）とから、図８に例示したようなガイド画像１４３を生成し、画面表示部１３０に表示する（ステップＳ５）。利用者は、表示されたガイド画像１４３を目視で確認し、カメラ２１１に対してカメラ２１２の位置・姿勢がずれていないかどうかを確認する。そして、利用者は、カメラ２１２の位置・姿勢を再調整する必要がなければ、例えば操作入力部１２０からＯＫを示す指示を入力し、そうでなければＮＧを示す指示を入力する。撮影ガイド部１５１は、ＯＫの指示が入力されると、図１０に示す処理を終了する。一方、ＮＧの指示が入力されると、撮影ガイド部１５１は、ステップＳ３の処理に戻り、上述した処理と同様の処理を再び繰り返す。

【0046】

続いて、ガイド画像１４３を生成するステップＳ５の詳細について説明する。図１１は、ステップＳ５の詳細な処理の一例を示すフローチャートである。

【0047】

先ず、撮影ガイド部１５１は、ステップＳ２で取得した基準画像１４２と直前のステップＳ４で取得した撮影画像ＳＧの平面射影変換行列Ｍｈを算出する（ステップＳ１１～Ｓ１２）。具体的には、先ず、撮影ガイド部１５１は、基準画像１４２と撮影画像ＳＧの剛体変換行列Ｍｒを算出する（ステップＳ１１）。基準画像１４２と撮影画像ＳＧは同じ基準製品を撮影した画像である。基準製品の表面には、製品個体に固有の微細パターンが存在していると共に、製品金型に起因する複数の製品に共通な微細パターンおよび非微細パターンが存在している。そのため、基準画像１４２と撮影画像ＳＧには、同一の微細パターンおよび非微細パターンによる、同一の明暗パターンが存在している。撮影ガイド部１５１は、このような同一の明暗パターンに基づいて、基準画像１４２と撮影画像ＳＧの剛体変換行列Ｍｒを算出する。例えば、撮影ガイド部１５１は、位相限定相関法を用いて剛体変換行列Ｍｒを算出する。具体的には、撮影ガイド部１５１は、先ず、基準画像１４２および撮影画像ＳＧのそれぞれをＦＦＴ変換した後に更に対数極座標変換する。次に、撮影ガイド部１５１は、対数極座標変換後の基準画像１４２および撮影画像ＳＧの周波数スペクトル画像から、位相限定相関を用いて、基準画像１４２と撮影画像ＳＧ間の回転角度および拡大縮小量を算出する。次に、上記算出した回転角度および拡大縮小量を用いて基準画像１４２と撮影画像ＳＧの回転ずれおよび拡大縮小ずれを補正し、補正後の基準画像１４２と撮影画像ＳＧの周波数スペクトル画像から、位相限定相関を用いて、基準画像１４２と撮影画像ＳＧ間の位置ずれ量（平行移動量）を算出する。上記算出した位置ずれ量、回転角度、および拡大縮小量から剛体変換行列Ｍｒは一意に定められる。

【0048】

次に、撮影ガイド部１５１は、上記算出した剛体変換行列Ｍｒを用いて撮影画像ＳＧを剛体変換して得られる画像（以下、撮影画像ＳＧ’と記す）を取得する（ステップＳ１２）。撮影画像ＳＧ’は、基準画像１４２とほぼ重なる画像となる。次に、撮影ガイド部１５１は、基準画像１４２と撮影画像ＳＧ’から２つの画像間の平面射影変換行列Ｍｈ’を算出する（ステップＳ１３）。具体的には、先ず、撮影ガイド部１５１は、基準画像１４２と撮影画像ＳＧ’のそれぞれからＳＩＦＴ、Ｒａｎｄｏｍ等の任意の手法を用いて複数の特徴点を抽出する。次に、撮影ガイド部１５１は、Ｌｕｃａｓ－Ｋａｎａｄｅ法を用いて、基準画像１４２と撮影画像ＳＧ’間で複数の特徴点を対応付ける。次に、撮影ガイド部１５１は、対応付けられた特徴点群の座標を用いて基準画像１４２と撮影画像ＳＧ’の平面射影変換行列Ｍｈ’を算出する。

【0049】

基準画像１４２と撮影画像ＳＧの平面射影変換行列Ｍｈは、上記剛体変換行列Ｍｒと上記平面射影変換行列Ｍｈ’の積で与えられる。なお、平面射影変換行列Ｍｈは、相似変換行列とアフィン変換行列と射影変換行列とに分解できる。そのため、剛体変換行列Ｍｒを用いた平行移動、回転、拡大縮小の変換は、平面射影変換行列Ｍｈを分解して得られる相似変換行列およびアフィン変換行列を用いた平行移動、回転、拡大縮小の変換と同じである。また、平面射影変換行列Ｍｈ’を用いた変換は、平面射影変換行列Ｍｈを分解して得られる射影変換行列を用いた変換と同じである。

【0050】

上記では、基準画像１４２と撮影画像ＳＧの平面射影変換行列Ｍｈを、基準画像１４２と撮影画像ＳＧの剛体変換行列Ｍｒと、基準画像１４２と剛体変換行列Ｍｒによる変換後の撮影画像ＳＧ’の平面射影変換行列Ｍｈ’とに分割して算出した。しかし、平面射影変換行列Ｍｈを算出する方法は、上記に限定されない。例えば、基準画像１４２と撮影画像ＳＧとの回転ずれ、位置ずれ、および拡大縮小ずれが小さいことが保証されている環境では、基準画像１４２と撮影画像ＳＧとから直接に平面射影変換行列Ｍｈを算出してよい。すなわち、撮影ガイド部１５１は、先ず、基準画像１４２と撮影画像ＳＧのそれぞれからＳＩＦＴ、Ｒａｎｄｏｍ等の任意の手法を用いて複数の特徴点を抽出する。次に、撮影ガイド部１５１は、Ｌｕｃａｓ－Ｋａｎａｄｅ法を用いて、基準画像１４２と撮影画像ＳＧ間で複数の特徴点を対応付ける。次に、撮影ガイド部１５１は、対応付けられた特徴点群の座標を用いて基準画像１４２と撮影画像ＳＧの平面射影変換行列Ｍｈを算出する。

【0051】

次に、撮影ガイド部１５１は、基準画像１４２中の基準製品の平面上に所定の向き且つ所定の形状の基準図形１４２１を仮想的に描画する（ステップＳ１４）。図１２は、基準図形１４２１を描画した基準画像１４２の例を示す。この例の基準図形１４２１は正方形である。また、この例では、中心が基準製品の中心に一致するように、基準図形１４２１を正立した向きで描画している。正立した向きとは、基準図形１４２１の各辺が基準画像１４２の横方向（Ｘ軸）または縦方向（Ｙ軸）に平行になる向きである。基準図形１４２１の各頂点の位置は、基準画像１４２のＸＹ座標値で特定される。但し、基準図形１４２１は正方形に限定されず、長方形など他の形状を有する図形であってよい。また、基準図形１４２１の成立した向きは上記に限定されない。

【0052】

次に、撮影ガイド部１５１は、基準図形１４２１に対してステップＳ１１で算出した剛体変換行列Ｍｒによる剛体変換を適用することにより、位置および向きにより位置ずれおよび回転ずれを表す正方形からなる第１の指標１４３１を算出する（ステップＳ１５）。また、第１の指標１４３１を構成する正方形のサイズは、基準図形１４２１のサイズと剛体変換行列Ｍｒの拡大縮小成分により決定される。なお、カメラ２１２の拡大縮小のずれ量を可視化するため、拡大縮小のずれ量のない正方形を１つの指標として作成し表示アイテムに含めるようにしてもよい。

【0053】

次に、撮影ガイド部１５１は、ステップＳ１１において算出した剛体変換行列Ｍｒの成分である位置ずれ量および回転角度から、矢印の長さおよび向きにより位置ずれおよび回転ずれを表す第２の指標１４３２を算出する（ステップＳ１６）。

【0054】

次に、撮影ガイド部１５１は、ステップＳ１１において算出した剛体変換行列Ｍｒの成分である位置ずれ量および回転角度から、テキストにより位置ずれおよび回転ずれを表す第３の指標１４３３を算出する（ステップＳ１７）。

【0055】

次に、撮影ガイド部１５１は、第４の指標１４３４を算出する（ステップＳ１８）。このステップＳ１８の詳細は後述する。次に、撮影ガイド部１５１は、撮影画像ＳＧに第１乃至第４の指標を含む表示アイテムを重畳して得られるガイド画像１４３を取得する（ステップＳ１９）。次に、撮影ガイド部１５１は、ガイド画像１４３を画面表示部１３０に表示する（ステップＳ２０）。

【0056】

図１３は、第４の指標１４３４を算出する処理の一例を示すフローチャートである。図１３を参照すると、撮影ガイド部１５１は、先ず、基準図形１４２１をステップＳ１３で算出された平面射影変換行列Ｍｈ’を用いて射影変換して得られる図形を算出する（ステップＳ３１）。図１４は、基準図形１４２１とそれを射影変換した図形１４２２の一例を示す。基準図形１４２１は、頂点ａ₁，ａ₂，ａ₃，ａ₄を持つ正方形である。射影変換後の図形１４２２は、頂点ｂ₁，ｂ₂，ｂ₃，ｂ₄を持つ台形である。

【0057】

次に、撮影ガイド部１５１は、ステップＳ３１で算出した射影変換後の図形１４２２の射影歪みを誇張した図形を算出する（ステップＳ３２）。図１４に示す図形１４２３は、図形１４２２の射影歪みを誇張した図形の例である。撮影ガイド部１５１は、例えば以下のような方法を用いて、射影歪みを誇張した図形を算出する。

【0058】

先ず、撮影ガイド部１５１は、図形１４２２の頂点ｂ_n毎に、基準図形１４２１の対応する頂点ａ_nとの間のＸ座標値の差（ｂ_nX－ａ_nＸ）、およびＹ座標値の差（ｂ_nＹ－ａ_nＹ）を算出する。次に、撮影ガイド部１５１は、上記の差をｅ倍する。ここで、ｅは事前に定められた誇張係数である。次に、撮影ガイド部１５１は、上記ｅ倍した差を基準図形１４２１の対応する頂点ａ_nの座標値に足し合わせて、誇張された射影歪みの図形１４２３の頂点ｃ₁，ｃ₂，ｃ₃，ｃ₄の座標値を算出する。頂点ｃ_nのＸ座標値およびＹ座標値は次式で与えられる。
ｃ_nＸ＝（ｂ_nＸ－ａ_nＸ）×ｅ＋ａ_nＸ ・・・（１）
ｃ_nＹ＝（ｂ_nＹ－ａ_nＹ）×ｅ＋ａ_nＹ ・・・（２）

【0059】

再び図１３を参照すると、撮影ガイド部１５１は、ステップＳ３２で算出した射影歪みを誇張した図形１４２３にステップＳ１１で算出した剛体変換行列Ｍｒに基づく変換を適用して得られる図形を算出する（ステップＳ３３）。図１４に示す図形１４２４は、図形１４２３に上記変換を適用して得られる図形の一例である。なお、撮影ガイド部１５１は、ステップＳ３３において、図形１４２３に剛体変換行列Ｍｒの回転成分だけを適用して得られる図形１４２４を算出するようにしてもよい。

【0060】

次に、撮影ガイド部１５１は、ステップＳ３３で算出した図形１４２４の各辺に射影歪みに応じた着色を行って得られる図形を第４の指標１４３４として算出する（ステップＳ３４）。

【0061】

図１５は、図形の各辺に射影歪みに応じた着色を行う処理の一例を示すフローチャートである。図１５を参照すると、撮影ガイド部１５１は、先ず、次式を用いて、基準図形１４２１を射影変換した図形１４２２の各辺ｈ₁，ｈ₂，ｈ₃，ｈ₄の長さを算出する（ステップＳ４１）。
ｈ_n＝ＳＱＲＴ((ｂ_nＸ－ｂ_n+1Ｘ)²＋(ｂ_nＹ－ｂ_n+1Ｙ)²) ・・・（３）

【0062】

次に、撮影ガイド部１５１は、次式を用いて、各々の辺ｈ₁，ｈ₂，ｈ₃，ｈ₄について、対辺との長さの差に予め定められた誇張係数ｆを乗算し、ガンマ補正した値ｇ_nを求める（ステップＳ４２）。
ｇ_n＝((ｈ_n－ｈ_n+2)×ｆ／２５５）^1/gamma×２５５ （４）

【0063】

次に、撮影ガイド部１５１は、図形１４２２の各々の辺に１対１に対応する図形１４２４の辺について、ＨＬＳ色空間において、色相：ｇ_n＋７５、輝度：１２８、彩度：２５５に対応する色で辺を着色する（ステップＳ４３）。ここで、色相と輝度と彩度の値域は０～２５５である。色相が７５の色は緑である。７５より色相が小さくなると赤色になり、大きくなると青色になる。上記式から、対辺と同じ長さの辺は緑色で着色され、対辺より短い辺は赤色で着色され、対辺より長い辺は青色で着色される。

【0064】

以上が、個体識別装置１００の調整フェーズの動作である。

【0065】

続いて、個体識別装置１００の運用フェーズの動作を説明する。図１６は、個体識別装置１００の運用フェーズにおける登録部１５２の動作の一例を示すフローチャートである。また、図１７は、個体識別装置１００の運用フェーズにおける照合部１５３の動作の一例を示すフローチャートである。

【0066】

先ず、個体識別装置１００の運用フェーズにおける登録部１５２の動作について図１６を参照して説明する。運用フェーズにおいて、製品が第１工程処理装置２０１に搬入されると、第１工程処理装置２０１内に設置された図示しないセンサによって検知され、製品が所定位置に到達した時点で、一時的に搬送が停止され、製品は静止した状態とされる。また、製品が第１工程処理装置２０１に搬入されたことが第１工程処理装置２０１から個体識別装置１００へ通信によって通知される。登録部１５２は、この通信によって製品の搬入を検知すると（ステップＳ５１でＹＥＳ）、製品の画像を登録画像として取得する（ステップＳ５２）。次に、登録部１５２は、上記登録画像と第１工程処理装置２０１から取得された製品の製造情報とを記憶部１４０の製品ＤＢ１４４に保存する（ステップＳ５３）。上記動作は、製品が第１工程処理装置２０１に搬入される毎に繰り返される。

【0067】

続いて、運用フェーズの照合部１５３の動作を説明する。搬送機２０４によって製品が第２工程処理装置２０２に搬入されると、第２工程処理装置２０２内に設置された図示しないセンサによって検知され、製品が所定位置に到達した時点で、一時的に搬送が停止され、製品は静止した状態とされる。また、製品が第２工程処理装置２０２に搬入されたことが第２工程処理装置２０２から個体識別装置１００へ通信によって通知される。照合部１５３は、製品の搬入を検知すると（ステップＳ６１）、製品の画像を照合画像として取得する（ステップＳ５２）。次に、照合部１５３は、上記照合画像と製品ＤＢ１４４に保存されている１以上の登録画像とを照合し、照合スコアを算出する（ステップＳ６３）。ここで、照合部１５３は、上記照合画像と照合する１以上の登録画像として、製品ＤＢ１４４に登録されている登録画像のうち未だ第２工程処理装置の照合画像と照合に成功していない登録画像を使用する。例えば、上記照合画像の照合時点で製品ＤＢ１４４が図９に示した状態にある場合、登録画像Ｇ１０１は照合画像Ｇ２０１と照合成功しているため、照合成功していない登録画像Ｇ１０２～Ｇ１０８と順に照合する。

【0068】

照合部１５３は、照合画像との照合スコアが閾値より大きい登録画像が存在した場合（ステップＳ６４でＹＥＳ）、照合画像に係る製品は照合スコアが閾値より大きい登録画像に係る製品と同一であると判定する（ステップＳ６５）。この場合、照合部１５３は、上記照合画像と第２工程処理装置２０２から取得された製造情報とを、照合一致した登録画像に対応付けて製品ＤＢ１４４に保存する（ステップＳ６６）。そして、ステップＳ６１に戻って、上述した処理と同様の処理を繰り返す。

【0069】

一方、照合部１５３は、照合画像との照合スコアが閾値より大きい登録画像が製品ＤＢ１４４に存在しなかった場合（ステップＳ６４でＮＯ）、エラー処理を行い（ステップＳ６７）、その後、ステップＳ６１に戻って、上述した処理と同様の処理を繰り返す。

【0070】

次に、照合部１５３のステップＳ６３の詳細を説明する。

【0071】

照合部１５３が照合画像と登録画像との２つの画像を照合する具体的な手法は各種考えられる。例えば、照合部１５３は、２つの画像そのものを比較してもよいし、２つの画像に対して何らかの変換を施して得られた特徴量どうしを比較してもよい。例えば、照合部１５３は、２つの画像のそれぞれを、フーリエ変換等の周波数変換を施して得られる周波数スペクトル画像どうしを比較してよい。或いは、照合部１５３は、２つの画像のそれぞれを、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施して得られる極座標画像（フーリエ・メリン特徴画像）どうしを比較してよい。或いは、照合部１５３は、２つの画像のそれぞれを、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施してフーリエ・メリン特徴に変換し、更に、そのフーリエ・メリン特徴に対してフーリエ変換等の周波数変換を施して得られる位相画像どうしを比較してよい。以下では、照合部１５３が実施する照合方法の一例を説明する。

【0072】

図１８は、照合部１５３が照合画像と登録画像とを照合する処理の一例を示すフローチャートである。図１８を参照すると、照合部１５３は、まず、照合画像および登録画像に対して離散フーリエ変換を施すことにより、照合画像の周波数スペクトル画像と登録画像の周波数スペクトル画像とを取得する（ステップＳ７１）。登録画像が複数存在する場合、照合部１５３は、その各々の登録画像から周波数スペクトル画像を取得する。次に、照合部１５３は、登録画像毎に、照合画像の周波数スペクトル画像と登録画像の周波数スペクトル画像との正規化クロスパワースペクトルを算出する（ステップＳ７２）。次に、照合部１５３は、登録画像毎に、正規化クロスパワースペクトルを逆フーリエ変換して相関係数マップを算出する（ステップＳ７３）。次に、照合部１５３は、登録画像毎に、相関係数マップから照合画像と登録画像の類似度を示す照合スコアを算出する（ステップＳ７４）。次に、照合部１５３は、登録画像毎に算出した照合スコアに基づいて、照合画像と登録画像との照合を行う（ステップＳ７５）。例えば、照合部１５３は、登録画像毎に算出した複数の照合スコアのうちの最良のスコアが予め定められた閾値以上であれば、照合画像は上記最良の照合スコアとなった登録画像と一致する（同一である）と判定する。他方、照合部１５３は、上記最良の照合スコアが上記閾値未満であれば、照合画像は何れの登録画像とも一致しない（同一でない）と判定する。

【0073】

このように運用フェーズにおいては、調整フェーズにおいて位置・姿勢が調整されたカメラ２１１、２１２の下で、第１工程処理装置２０１に搬入された製品の登録画像と第２工程処理装置２０２に搬入された製品の照合画像とが取得されて照合され、製品個体の識別が行われる。

【0074】

以上説明したように、本実施形態によれば、利用者は、ガイド画像１４３に表示される第４の指標１４３４を構成する図形の射影歪みの向きから、カメラ２１２をどの向きに調整すれば登録用のカメラ２１１の向きに合わせることができるかを容易に判断することができる。

【0075】

また、本実施形態では、第４の指標１４３４を構成する図形の射影歪みを誇張しているため、利用者は、射影歪みを肉眼では確認し難い姿勢差１０度以下の場合であっても、図形の射影歪みの向きを肉眼で容易に確認することができる。その結果、カメラ２１２の向きの調整方向を肉眼で容易に認識することができる。

【0076】

また、本実施形態では、第４の指標１４３４を構成する図形の各辺を射影歪みの向きに応じて着色しているため、利用者は、図形の射影歪みの向きを視覚的に容易に確認することができる。その結果、カメラ２１２の向きの調整方法を視覚的に容易に認識することができる。

【0077】

２つの画像の差の視認性を向上させるために画像間のずれを誇張するとしても、単純にずれ全体を誇張すると、射影歪みだけでなく回転歪みも誇張することになる。しかし、回転歪みを誇張すると、カメラを修正すべき方向が分かり難くなる。そこで、本実施形態では、第４の指標１４３４を構成する図形の射影歪みは誇張するが、当該図形の回転歪みは誇張しないようにしている。

【0078】

また、本実施形態によれば、利用者は、ガイド画像１４３に表示される第１の指標１４３１を構成する正方形の位置及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを認識することができる。

【0079】

また、本実施形態によれば、利用者は、ガイド画像１４３に表示される第２の指標１４３２を構成する矢印の長さ及び向きにより、カメラ２１１に対するカメラ２１２の位置ずれおよび回転ずれを認識することができる。

【0080】

また、本実施形態によれば、利用者は、ガイド画像１４３に表示される第３の指標１４３３を構成するテキストにより、カメラ２１１に対するカメラ２１２のＸ軸方向およびＹ軸方向の位置ずれ量、および、カメラ２１１に対するカメラ２１２の回転角度を認識することができる。

【0081】

［第２の実施の形態］
次に、本発明の第２の実施形態に係る撮影ガイド装置について図１９を参照して説明する。図１９は、本実施の形態における撮影ガイド装置のブロック図である。

【0082】

図１９を参照すると、本実施形態に係る撮影ガイド装置３００は、算出手段３０１と取得手段３０２と生成手段３０３と表示制御手段３０４とを含んで構成されている。

【0083】

算出手段３０１は、対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と上記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出するように構成されている。

【0084】

取得手段３０２は、上記第１の画像中に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を上記平面射影変換行列に基づいて変換して得られる第２の図形を取得するように構成されている。

【0085】

生成手段３０３は、上記第２の図形に基づいて、第１の撮影装置に対する第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、上記傾斜指標を含む表示アイテムを生成するように構成されている。

【0086】

表示制御手段３０４は、上記表示アイテムを上記第２の画像に重畳して表示するように構成されている。

【0087】

このように構成された撮影ガイド装置３００は、以下のように動作する。すなわち、先ず、算出手段３０１は、対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と上記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する。次に、取得手段３０２は、上記第１の画像中に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を上記平面射影変換行列に基づいて変換して得られる第２の図形を取得する。次に、生成手段３０３は、上記第２の図形に基づいて、第１の撮影装置に対する第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、上記傾斜指標を含む表示アイテムを生成する。次に、表示制御手段３０４は、上記表示アイテムを上記第２の画像に重畳して表示する。

【0088】

以上のように構成され動作する撮影ガイド装置３００によれば、利用者は、傾斜指標を構成する図形の射影歪みの向きから、第２の撮影装置をどの向きに調整すれば第１の撮影装置の向きに合わせることができるかを容易に判断することができる。

【0089】

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【0090】

例えば、上記第１の実施形態では、生産ラインに設定されたカメラ２１２の位置・姿勢をカメラ２１１の位置・姿勢に合わせる作業を支援するための撮影ガイド装置に本発明を適用した。しかし、利用者がカメラで撮影した製品の画像を予め撮影され登録された製品の画像と照合して個体識別や真贋判定を行う際のカメラの位置・姿勢の撮影ガイド装置に本発明を適用してもよい。

【産業上の利用可能性】

【0091】

本発明は、個体を識別する分野に利用でき、例えば、生産ラインを流れる製品の個体を識別する分野に利用できる。

【0092】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する算出手段と、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する取得手段と、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する生成手段と、
前記表示アイテムを前記第２の画像に重畳して表示する表示制御手段と、
を含む撮影ガイド装置。
［付記２］
前記算出手段は、前記第１の画像と前記第２の画像の剛体変換行列を算出し、前記第１の画像と前記第２の画像を前記剛体変換行列に基づいて変換して得られる画像の平面射影変換行列を算出する、
付記１に記載の撮影ガイド装置。
［付記３］
前記生成手段は、前記第２の図形の射影歪みを誇張して得られる図形を前記傾斜指標として生成する、
付記１または２に記載の撮影ガイド装置。
［付記４］
前記第１の図形は正方形であり、
前記生成手段は、前記第２の図形の４辺のそれぞれについて、辺の長さを対向する辺の長さと比較し、対向する辺と同じ長さの辺を第１の色で着色し、対向する辺より短い長さの辺を第２の色で着色し、対向する辺より長い長さの辺を第３の色で着色して得られる図形を前記傾斜指標として生成する、
付記１乃至３の何れかに記載の撮影ガイド装置。
［付記５］
前記取得手段は、前記第１の図形を前記剛体変換行列に基づいて変換して得られる第３の図形をさらに取得し、
前記生成手段は、前記第３の図形を無傾斜指標としてさらに含む前記表示アイテムを生成する、
付記２に記載の撮影ガイド装置。
［付記６］
前記取得手段は、前記第１の図形に対する前記第３の図形の回転および位置のずれ量をさらに取得し、
前記生成手段は、前記回転および位置のずれ量を矢印の向きおよび長さで表す矢印指標をさらに含む前記表示アイテムを生成する、
付記５に記載の撮影ガイド装置。
［付記７］
前記生成手段は、前記回転および位置のずれ量をテキストで表すテキスト指標をさらに含む前記表示アイテムを生成する、
付記６に記載の撮影ガイド装置。
［付記８］
対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出し、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得し、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成し、
前記表示アイテムを前記第２の画像に重畳して表示する、
撮影ガイド方法。
［付記９］
コンピュータに、
対象物の平面を第１の撮影装置によって撮影して得られた第１の画像と前記平面を第２の撮影装置によって撮影して得られた第２の画像の平面射影変換行列を算出する処理と、
前記第１の画像に所定の向き且つ所定の形状で仮想的に描かれた第１の図形を、前記平面射影変換行列に基づいて変換して得られる第２の図形を取得する処理と、
前記第２の図形に基づいて、前記第１の撮影装置に対する前記第２の撮影装置の撮影方向の傾きを表す傾斜指標を生成し、前記傾斜指標を含む表示アイテムを生成する処理と、
前記表示アイテムを前記第２の画像に重畳して表示する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【符号の説明】

【0093】

１０ 個体識別システム
１００ 個体識別装置
１１０ 通信Ｉ／Ｆ部
１２０ 操作入力部
１３０ 画面表示部
１４０ 記憶部
１４１ プログラム
１４２ 基準画像
１４３ ガイド画像
１４４ 製品ＤＢ
１５０ 演算処理部
１５１ 撮影ガイド部
１５２ 登録部
１５３ 照合部
２０１ 第１工程処理装置
２０２ 第２工程処理装置
２０３～２０５ 搬送機
２１１、２１２ カメラ
２２１、２２２ カメラ位置・姿勢調整器
２３１、２３２ 照明器
２４１、２４２ 製品

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】