(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023179047
(43)【公開日】2023-12-19
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231212BHJP
G06T 19/00 20110101ALI20231212BHJP
G06F 3/048 20130101ALI20231212BHJP
【FI】
G06F3/01 510
G06T19/00 600
G06F3/048
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022092091
(22)【出願日】2022-06-07
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】佐藤 賢
(72)【発明者】
【氏名】京嶋 仁樹
(72)【発明者】
【氏名】本杉 友佳里
(72)【発明者】
【氏名】大島 穣
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050BA20
5B050CA07
5B050DA04
5B050EA19
5B050FA02
5B050FA10
5B050FA14
5E555AA06
5E555AA33
5E555AA63
5E555BA02
5E555BA04
5E555BB02
5E555BB04
5E555BC13
5E555CA10
5E555CA42
5E555CA44
5E555CB21
5E555CC01
5E555DA01
5E555DA23
5E555DB03
5E555DB06
5E555DC09
5E555DC84
5E555DD06
5E555EA07
5E555EA22
5E555FA00
(57)【要約】
【課題】対象物と撮影装置との間の位置関係が特定の位置関係に保持されるように撮影装置に対するユーザの操作を補助する機能と、対象物と撮影装置との間の角度が特定の角度に保持されるように撮影装置に対するユーザの操作を補助する機能と、を順番に実行する場合と比べて、ユーザが対象物に対する撮影装置の姿勢を特定の姿勢に容易に合わせるための補助を提供することを目的とする。
【解決手段】プロセッサは、撮影装置によって撮影される対象物と撮影装置との間の位置関係が特定の位置関係に保持されるように撮影装置に対するユーザの第1操作を補助する第1機能と、対象物と撮影装置との間の角度が特定の角度に保持されるように撮影装置に対するユーザの第2操作を補助する第2機能と、を同時に実行する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
プロセッサを有し、
前記プロセッサは、
撮影装置によって撮影される対象物と前記撮影装置との間の位置関係が特定の位置関係に保持されるように前記撮影装置に対するユーザの第1操作を補助する第1機能と、
前記対象物と前記撮影装置との間の角度が特定の角度に保持されるように前記撮影装置に対する前記ユーザの第2操作を補助する第2機能と、
を同時に実行する、
情報処理装置。
【請求項2】
前記第1機能は、前記対象物と前記撮影装置との間の位置関係が前記特定の位置関係に保持されるように前記第1操作を静的又は動的に誘導する機能を含み、
前記第2機能は、前記対象物と前記撮影装置との間の角度が前記特定の角度に保持されるように前記第2操作を静的又は動的に誘導する機能を含む、
請求項1に記載の情報処理装置。
【請求項3】
前記第1機能は、前記第1操作を補助するための第1ガイドを図形、文字列又は音声として出力する機能を含み、
前記第2機能は、前記第2操作を補助するための第2ガイドを図形、文字列又は音声として出力する機能を含む、
請求項2に記載の情報処理装置。
【請求項4】
前記第1機能は、前記第1ガイドをディスプレイに表示させる機能であり、
前記第2機能は、前記第2ガイドを前記ディスプレイに表示させる機能であり、
前記プロセッサは、
前記第1ガイドと前記第2ガイドとを前記ディスプレイに同時に表示させる、
請求項3に記載の情報処理装置。
【請求項5】
前記第2ガイドは、センサによって取得された情報を用いて前記撮影装置の状態を動的に表すガイドを含む、
請求項4に記載の情報処理装置。
【請求項6】
前記プロセッサは、
前記第1ガイドの表示位置を基準として予め定められた範囲内に前記第2ガイドを表示する、
請求項4に記載の情報処理装置。
【請求項7】
前記プロセッサは、
前記第1ガイド内に前記第2ガイドを表示する、
請求項4に記載の情報処理装置。
【請求項8】
前記第1機能は、前記第1ガイドをディスプレイに表示させる機能であり、
前記第2機能は、前記第2ガイドを音声によって出力する機能であり、
前記プロセッサは、
前記第1機能によって前記第1ガイドを前記ディスプレイに表示させつつ、前記第2機能によって前記第2ガイドを音声によって出力する、
請求項3に記載の情報処理装置。
【請求項9】
前記プロセッサは、
前記対象物と前記撮影装置との間の位置関係が前記特定の位置関係になった場合、そのことを表す第1強調処理を実行する、
請求項1に記載の情報処理装置。
【請求項10】
前記プロセッサは、
前記対象物と前記撮影装置との間の角度が前記特定の角度になった場合、そのことを表す第2強調処理を実行する、
請求項9に記載の情報処理装置。
【請求項11】
前記第2強調処理は、前記第1強調処理とは異なる強調処理である、
請求項10に記載の情報処理装置。
【請求項12】
前記第1操作及び前記第2操作が前記ユーザによって行われているときに前記撮影装置による撮影によって複数の照合画像が取得され、
前記撮影装置によって前記複数の照合画像が取得された後に、前記複数の照合画像と、前記対象物を識別するための登録画像と、が照合される、
請求項1から請求項11のいずれか一項に記載の情報処理装置。
【請求項13】
前記第1操作及び前記第2操作が前記ユーザによって行われているときに前記撮影装置による撮影によって照合画像が取得され、
前記撮影装置によって前記照合画像が取得される度に、前記照合画像と、前記対象物を識別するための登録画像と、が照合される、
請求項1から請求項11のいずれか一項に記載の情報処理装置。
【請求項14】
コンピュータが、
撮影装置によって撮影される対象物と前記撮影装置との間の位置関係が特定の位置関係に保持されるように前記撮影装置に対するユーザの第1操作を補助する第1機能と、
前記対象物と前記撮影装置との間の角度が特定の角度に保持されるように前記撮影装置に対する前記ユーザの第2操作を補助する第2機能と、
を同時に実行する、
ように動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、偽造防止媒体を観察角度で観察した際の当該偽造防止媒体の形状を示す観察対象形状画像を表示画面に表示し、観察対象形状画像と表示画面における撮像対象の偽造防止媒体の外径形状との形状類似度を算出し、形状類似度が形状閾値以上であるか否かによって、画像撮像装置の観察角度及び観察位置が正しいか否かの判定を行う識別装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、対象物を撮影装置によって撮影する場合、対象物に対する撮影装置の姿勢を特定の姿勢に合わせる操作が行われることがある。例えば、対象物と撮影装置との間の位置関係が特定の位置関係に保持されるように撮影装置に対するユーザの第1操作を補助するガイドと、対象物と撮影装置との間の角度が特定の角度に保持されるように撮影装置に対するユーザの第2操作を補助するガイドとを、順番に出力することが考えられる。例えば、ガイドを表示したり、ガイドを音声として出力したり、ガイドを文字列として表示したりすることが考えられる。具体的には、第1操作を補助するためのガイドを表示し、その第1操作が完了した後に、第2操作を補助するためのガイドを表示したり、それとは逆に、第2操作を補助するためのガイドを表示し、その第2操作が完了した後に、第1操作を補助するためのガイドを表示したりすることが考えられる。このような場合、例えば、第1操作が完了した後、対象物と撮影装置との間の位置関係を特定の位置関係に保持しつつ、第2操作を行うことは困難である。同様に、第2操作が完了した後、対象物と撮影装置との間の角度を特定の角度に保持しつつ、第1操作を行うことは困難である。
【0005】
本発明の目的は、対象物と撮影装置との間の位置関係が特定の位置関係に保持されるように撮影装置に対するユーザの操作を補助する機能と、対象物と撮影装置との間の角度が特定の角度に保持されるように撮影装置に対するユーザの操作を補助する機能と、を順番に実行する場合と比べて、ユーザが対象物に対する撮影装置の姿勢を特定の姿勢に容易に保持するための補助を提供することにある。
【課題を解決するための手段】
【0006】
請求項1に係る発明は、プロセッサを有し、前記プロセッサは、撮影装置によって撮影される対象物と前記撮影装置との間の位置関係が特定の位置関係に保持されるように前記撮影装置に対するユーザの第1操作を補助する第1機能と、前記対象物と前記撮影装置との間の角度が特定の角度に保持されるように前記撮影装置に対する前記ユーザの第2操作を補助する第2機能と、を同時に実行する、情報処理装置である。
【0007】
請求項2に係る発明は、前記第1機能は、前記対象物と前記撮影装置との間の位置関係が前記特定の位置関係に保持されるように前記第1操作を静的又は動的に誘導する機能を含み、前記第2機能は、前記対象物と前記撮影装置との間の角度が前記特定の角度に保持されるように前記第2操作を静的又は動的に誘導する機能を含む、請求項1に記載の情報処理装置である。
【0008】
請求項3に係る発明は、前記第1機能は、前記第1操作を補助するための第1ガイドを図形、文字列又は音声として出力する機能を含み、前記第2機能は、前記第2操作を補助するための第2ガイドを図形、文字列又は音声として出力する機能を含む、請求項2に記載の情報処理装置である。
【0009】
請求項4に係る発明は、前記第1機能は、前記第1ガイドをディスプレイに表示させる機能であり、前記第2機能は、前記第2ガイドを前記ディスプレイに表示させる機能であり、前記プロセッサは、前記第1ガイドと前記第2ガイドとを前記ディスプレイに同時に表示させる、請求項3に記載の情報処理装置である。
【0010】
請求項5に係る発明は、前記第2ガイドは、センサによって取得された情報を用いて前記撮影装置の状態を動的に表すガイドを含む、請求項4に記載の情報処理装置である。
【0011】
請求項6に係る発明は、前記プロセッサは、前記第1ガイドの表示位置を基準として予め定められた範囲内に前記第2ガイドを表示する、請求項4に記載の情報処理装置である。
【0012】
請求項7に係る発明は、前記プロセッサは、前記第1ガイド内に前記第2ガイドを表示する、請求項4に記載の情報処理装置である。
【0013】
請求項8に係る発明は、前記第1機能は、前記第1ガイドをディスプレイに表示させる機能であり、前記第2機能は、前記第2ガイドを音声によって出力する機能であり、前記プロセッサは、前記第1機能によって前記第1ガイドを前記ディスプレイに表示させつつ、前記第2機能によって前記第2ガイドを音声によって出力する、請求項3に記載の情報処理装置である。
【0014】
請求項9に係る発明は、前記プロセッサは、前記対象物と前記撮影装置との間の位置関係が前記特定の位置関係になった場合、そのことを表す第1強調処理を実行する、請求項1に記載の情報処理装置である。
【0015】
請求項10に係る発明は、前記プロセッサは、前記対象物と前記撮影装置との間の角度が前記特定の角度になった場合、そのことを表す第2強調処理を実行する、請求項9に記載の情報処理装置である。
【0016】
請求項11に係る発明は、前記第2強調処理は、前記第1強調処理とは異なる強調処理である、請求項10に記載の情報処理装置である。
【0017】
請求項12に係る発明は、前記第1操作及び前記第2操作が前記ユーザによって行われているときに前記撮影装置による撮影によって複数の照合画像が取得され、前記撮影装置によって前記複数の照合画像が取得された後に、前記複数の照合画像と、前記対象物を識別するための登録画像と、が照合される、請求項1から請求項11のいずれか一項に記載の情報処理装置である。
【0018】
請求項13に係る発明は、前記第1操作及び前記第2操作が前記ユーザによって行われているときに前記撮影装置による撮影によって照合画像が取得され、前記撮影装置によって前記照合画像が取得される度に、前記照合画像と、前記対象物を識別するための登録画像と、が照合される、請求項1から請求項11のいずれか一項に記載の情報処理装置である。
【0019】
請求項14に係る発明は、コンピュータが、撮影装置によって撮影される対象物と前記撮影装置との間の位置関係が特定の位置関係に保持されるように前記撮影装置に対するユーザの第1操作を補助する第1機能と、前記対象物と前記撮影装置との間の角度が特定の角度に保持されるように前記撮影装置に対する前記ユーザの第2操作を補助する第2機能と、を同時に実行する、ように動作させるプログラムである。
【発明の効果】
【0020】
請求項1-5,14に係る発明によれば、対象物と撮影装置との間の位置関係が特定の位置関係に保持されるように撮影装置に対するユーザの操作を補助する機能と、対象物と撮影装置との間の角度が特定の角度に保持されるように撮影装置に対するユーザの操作を補助する機能と、を順番に実行する場合と比べて、ユーザが対象物に対する撮影装置の姿勢を特定の姿勢に容易に保持することができる。
【0021】
請求項6に係る発明によれば、第1ガイドの表示位置を基準として予め定められた範囲の外側に第2ガイドを表示する場合と比べて、対象物に対する撮影装置の姿勢を特定の姿勢に保持するときのユーザの視線の移動量が少なくなる。
【0022】
請求項7に係る発明によれば、第1ガイドの外側に第2ガイドを表示する場合と比べて、対象物に対する撮影装置の姿勢を特定の姿勢に保持するときのユーザの視線の移動量が少なくなる。
【0023】
請求項8に係る発明によれば、ディスプレイに表示された第1ガイドに従って第1操作を行いつつ、音声による第2ガイドに従って第2操作を行うことができる。
【0024】
請求項9に係る発明によれば、対象物と撮影装置との間の位置関係が特定の位置関係になったことをユーザに伝えることができる。
【0025】
請求項10に係る発明によれば、対象物と撮影装置との間の角度が特定の角度になったことをユーザに伝えることができる。
【0026】
請求項11に係る発明によれば、第1操作又は第2操作のいずれが終了したのかをユーザに伝えることができる。
【0027】
請求項12に係る発明によれば、照合を誤判定する確率が低下する。
【0028】
請求項13に係る発明によれば、照合に要する時間が短縮する。
【図面の簡単な説明】
【0029】
【
図1】実施形態に係る個体識別システムの構成を示す図である。
【
図2】登録用撮影装置側から見たときの照合領域を示す図である。
【
図3】照合用撮影装置側から見たときの照合領域を示す図である。
【
図4】照合用撮影装置の構成を示すブロック図である。
【
図5】3次元空間上の照合用撮影装置と対象物とを示す図である。
【
図6】3次元空間上の照合用撮影装置と対象物とを示す図である。
【
図8】第1ガイドと第2ガイドの具体例を示す図である。
【
図14】登録画像を取得するときの対象物に対する光の照射方向を示す図である。
【発明を実施するための形態】
【0030】
以下、対象物を撮影装置によって撮影する場合に、対象物に対する撮影装置の姿勢を特定の姿勢に保持する技術について説明する。
【0031】
ここでは一例として、個体識別システムを例に挙げて説明するが、実施形態は個体識別システムに限定されるものではなく、対象物に対する撮影装置の姿勢を特定の姿勢に保持する場合であれば、実施形態が適用されてもよい。
【0032】
個体識別システムは、登録画像と照合画像とを照合することで、対象物を一意に識別するシステムである。登録画像は、対象物を予め撮影することで取得される画像である。照合画像は、登録画像と照合するために対象物を撮影することで取得される画像である。
【0033】
例えば、対象物の表面の一部又は全部を表す画像が、その対象物の固有の情報として予め登録される。個体識別システムは、照合される対象物が登録されている対象物と同じであること、つまり照合される対象物が本物であることを一意に識別するシステムである。
【0034】
対象物の固有の情報は、例えば、微細な模様を有するランダムパターンである。ランダムパターンの具体例は、すりガラス状のような模様、金属や合成樹脂(例えばプラスチック等)に対する加工によって施された模様、シボ加工によって得られた皺模様、ランダムに編み込まれた模様、ランダムな微細ドットパターン、光輝体粒子を含むインクを用いた印刷によって形成されるパターン(例えばランダムな粒子分布を有するパターン)、又は、ホログラム等である。ランダムパターンは、意図せずに偶然に形成されたパターンであってもよいし、照合のために意図的に形成されたパターンであってもよい。ランダムパターンを光学的に読み取って情報として利用する技術は、人工物メトリクスの一例であるといえる。
【0035】
図1には、実施形態に係る個体識別システムの構成が示されている。個体識別システムは、実施形態に係る情報処理システムの一例である。
【0036】
実施形態に係る個体識別システムは、登録用撮影装置10と照合用撮影装置12と照合装置14とを含む。登録用撮影装置10は、対象物を表す登録画像を撮影する装置(例えば登録用の専用のカメラ)である。照合用撮影装置12は、登録画像と照合するための照合画像を撮影する装置(例えばカメラと光源とを含む装置)である。照合装置14は、登録画像と照合画像とを照合することで対象物を識別する装置である。
図1には、側面側から見たときの登録用撮影装置10と照合用撮影装置12とが示されている。
【0037】
例えば、登録用撮影装置10と照合装置14は、インターネットやLAN(Local Area Network)等の通信経路を介して通信する。同様に、照合用撮影装置12と照合装置14は、インターネットやLAN等の通信経路を介して通信する。もちろん、登録用撮影装置10と照合装置14は、通信経路を介さずに、可搬性の記録媒体等の記憶装置(例えばハードディスクドライブやUSBメモリ等)を介してデータを出力したり受け付けたりしてもよい。同様に、照合用撮影装置12と照合装置14は、通信経路を介さずに、可搬性の記録媒体等の記憶装置(例えばハードディスクドライブやUSBメモリ等)を介してデータを出力したり受け付けたりしてもよい。
【0038】
LED(Light Emitting Diode)等の光源16から対象物18に対して光(以下、「入射光16a」と称する)が照射され、対象物18から反射した光(以下、「反射光16b」と称する)が登録用撮影装置10によって撮影される。これにより、対象物18を表す登録画像が取得される。例えば、登録用撮影装置10と光源16は、登録用の専用機材によって構成される。対象物18の表面には照合領域20が形成されており、対象物18を撮影することで照合領域20も撮影される。照合領域20は、上述したランダムパターンが形成された領域である。
【0039】
角度φは、入射光16aの入射角(つまり、対象物18の表面に垂直な直線と入射光16aとがなす角度)と、反射光16bの反射角(つまり、対象物18の表面に垂直な直線と反射光16bとがなす角度)と、の和である。登録画像を取得するときの距離WDは、登録用撮影装置10と対象物18との間の距離である。
【0040】
図2には、登録用撮影装置10側から見たときの照合領域20が示されている。
図2には、照合領域20を登録用撮影装置10側から見たときの登録用撮影装置10、光源16及び照合領域20の角度関係が示されている。
【0041】
ここで、互いに直交するX軸、Y軸及びZ軸からなる3次元直交座標系を定義する。一例として、Z軸は、対象物18の表面に垂直な軸であり、対象物18の表面は、X軸とY軸とによって規定される平面(XY面)に平行な面である。また、照合領域20の中心が3次元直交座標系の原点として定められている。3次元直交座標系は、登録用撮影装置10に設定される。
【0042】
角度θsigは、上記の平面(XY面)上の角度であり、照合領域20上の位置(例えば中心)を頂点として、XY面上に投影された入射光16aと反射光16bとがなす角度である。つまり、角度θsigは、照合領域20上の位置を頂点として、XY面上に投影された光源16の位置と照合領域20上の位置とを結ぶ線分と、XY面上に投影された登録用撮影装置10の中心10aと照合領域20上の位置とを結ぶ線分と、がなす角度である。
【0043】
角度θlumiは、上記の平面(XY面)上の角度であり、照合領域20上の位置(例えば中心)を頂点として、XY面上に投影された入射光16aとX軸とがなす角度である。つまり、角度θlumiは、照合領域20上の位置を頂点として、XY面上に投影された光源16の位置と照合領域20上の位置とを結ぶ線分と、X軸と、がなす角度である。
【0044】
取得された登録画像は、照合装置14に出力され、照合装置14のメモリに記憶される。これにより、登録画像は、登録画像DB(データベース)に登録される。
【0045】
照合用撮影装置12は、例えば、スマートフォン、タブレットPC又は携帯電話等であり、LED等の光源22とカメラ24とを含む。光源22から対象物18に対して光(以下、「入射光22a」と称する)が照射され、対象物18から反射した光(以下、「反射光22b」と称する)がカメラ24によって撮影される。これにより、対象物18を表す照合画像が取得される。例えば、ユーザが照合用撮影装置12を操作して対象物18を撮影する。
【0046】
照合画像を取得するときの角度φは、入射光22aの入射角(つまり、対象物18の表面に垂直な直線と入射光22aとがなす角度)と、反射光22bの反射角(つまり、対象物18の表面に垂直な直線と反射光22bとがなす角度)との和であり、登録画像を取得するときの角度φと実質的に同一に設定される。その理由は、照合領域20に形成されたランダムパターンは光の照射方向によって変化するので、光源22、カメラ24及び対象物18の位置関係を、登録画像を取得するときの位置関係と実質的に同一に設定する必要があるからである。実質的に同一という概念の範疇には、照合画像を取得するときの角度φと登録画像を取得するときの角度φが同一であること、及び、照合画像を取得するときの角度φと登録画像を取得するときの角度φとの差が許容範囲(例えば、登録画像と照合画像とを用いた照合の精度を目的の精度以上に確保することが可能な範囲)内に含まれることが含まれる。
【0047】
照合画像を取得するときの距離WDは、照合用撮影装置12と対象物18との間の距離であり、登録画像を取得するときの距離WDと実質的に同一に設定される。実質的に同一という概念の範疇には、照合画像を取得するときの距離WDと登録画像を取得するときの距離WDとが同一であること、及び、照合画像を取得するときの距離WDと登録画像を取得するときの距離WDとの差が許容範囲(例えば、登録画像と照合画像とを用いた照合の精度を目的の精度以上に確保することが可能な範囲)内に含まれることが含まれる。
【0048】
図3には、照合用撮影装置12側から見たときの照合領域20が示されている。
図3には、照合領域20を照合用撮影装置12側から見たときの光源22、カメラ24及び照合領域20の角度関係が示されている。
【0049】
ここで、互いに直交するX軸、Y軸及びZ軸からなる3次元直交座標系を定義する。一例として、Z軸は、対象物18の表面に垂直な軸であり、対象物18の表面は、X軸とY軸とによって規定される平面(XY面)に平行な面である。また、照合領域20の中心が3次元直交座標系の原点として定められている。3次元直交座標系は、照合用撮影装置12に設定される。
【0050】
角度θsigは、上記の平面(XY面)上の角度であり、照合領域20上の位置(例えば中心)を頂点として、XY面上に投影された入射光22aと反射光22bとがなす角度である。つまり、角度θsigは、照合領域20上の位置を頂点として、XY面上に投影された光源22の位置と照合領域20上の位置とを結ぶ線分と、XY面上に投影されたカメラ24の中心24aと照合領域20上の位置とを結ぶ線分と、がなす角度である。
【0051】
角度θlumiは、上記の平面(XY面)上の角度であり、照合領域20上の位置(例えば中心)を頂点として、XY面上に投影された入射光22aとX軸とがなす角度である。つまり、角度θlumiは、照合領域20上の位置を頂点として、XY面上に投影された光源22の位置と照合領域20上の位置とを結ぶ線分と、X軸と、がなす角度である。
【0052】
照合画像を取得するときの角度θsigは、登録画像を取得するときの角度θsigと実質的に同一に設定される。実質的に同一という概念の範疇には、照合画像を取得するときの角度θsigと登録画像を取得するときの角度θsigとが同一であること、及び、照合画像を取得するときの角度θsigと登録画像を取得するときの角度θsigとの差が許容範囲(例えば、登録画像と照合画像とを用いた照合の精度を目的の精度以上に確保することが可能な範囲)内に含まれることが含まれる。
【0053】
照合画像を取得するときの角度θlumiは、登録画像を取得するときの角度θlumiと実質的に同一に設定される。実質的に同一という概念の範疇には、照合画像を取得するときの角度θlumiと登録画像を取得するときの角度θlumiとが同一であること、及び、照合画像を取得するときの角度θlumiと登録画像を取得するときの角度θlumiとの差が許容範囲(例えば、登録画像と照合画像とを用いた照合の精度を目的の精度以上に確保することが可能な範囲)内に含まれることが含まれる。
【0054】
照合用撮影装置12はディスプレイ26を有する。ディスプレイ26には、カメラ24によって撮影された画像(例えば照合領域20を表す画像等)が表示される。
図3に示す例では、角度関係を説明するために便宜上、ディスプレイ26に光源22と中心24aとが示されているが、光源22と中心24aはディスプレイ26に表示されているわけではない。なお、光源22とカメラ24は、ディスプレイ26の反対側(つまり照合用撮影装置12の背面側)に設けられている。
【0055】
取得された照合画像は、照合装置14に出力される。照合用撮影装置12によって、照合画像から照合領域20を表す画像が抽出され、その抽出された画像が照合装置14に出力されてもよい。照合装置14は、登録画像と照合画像とを照合することで、照合画像に表されている対象物が、登録されている対象物と同じであるか否かを判定する。
【0056】
図4を参照して、照合用撮影装置12の構成について説明する。
図4は、照合用撮影装置12の構成を示すブロック図である。
【0057】
照合用撮影装置12は、光源22と、カメラ24と、センサ28と、通信装置30と、UI32と、メモリ34と、プロセッサ36とを含む。
【0058】
上述したように、光源22とカメラ24によって撮影が行われることで、照合画像が取得される。
【0059】
センサ28は、ジャイロセンサであり、角速度を検出する。センサ28によって、照合用撮影装置12の回転が検出される。センサ28は、加速度センサやGPS(Global Positioning System)モジュール等を含んでもよい。
【0060】
通信装置30は、通信チップや通信回路等を有する1又は複数の通信インターフェースを含み、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信装置30は、近距離無線通信やWi-Fi(登録商標)等の無線通信機能を有してもよいし、有線通信機能を有してもよい。
【0061】
UI32はユーザインターフェースであり、ディスプレイ26と入力装置とを含む。ディスプレイ26は、液晶ディスプレイ又はELディスプレイ等である。入力装置は、キーボード、マウス、入力キー又は操作パネル等である。UI32は、ディスプレイ26と入力装置とを兼ね備えたタッチパネル等のUIであってもよい。また、UI32は、スピーカ及びマイクを含んでもよい。
【0062】
メモリ34は、データを記憶する1又は複数の記憶領域を構成する装置である。メモリ34は、例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、各種のメモリ(例えばRAM、DRAM、NVRAM、ROM、等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。
【0063】
プロセッサ36は、照合用撮影装置12の各部の動作を制御する。
【0064】
また、プロセッサ36は、対象物18に対する照合用撮影装置12の姿勢が特定の姿勢に保持されるように照合用撮影装置12に対するユーザの操作を補助する機能を実行する。特定の姿勢は、登録画像を取得したときの対象物18に対する登録用撮影装置10及び光源16の姿勢である。例えば、プロセッサ36は、対象物18に対する照合用撮影装置12の姿勢が特定の姿勢と実質的に同一となるように、照合用撮影装置12に対するユーザの操作を補助する機能を実行する。姿勢が実質的に同一という概念の範疇には、登録画像を取得したときの対象物18に対する登録用撮影装置10及び光源16の姿勢と照合画像を取得したときの対象物18に対する照合用撮影装置12の姿勢とが同一であること、及び、登録画像を取得したときの対象物18に対する登録用撮影装置10及び光源16の姿勢と照合画像を取得したときの対象物18に対する照合用撮影装置12の姿勢との差が許容範囲(例えば、登録画像と照合画像とを用いた照合の精度を目的の精度以上に確保することが可能な範囲)内に含まれることが含まれる。
【0065】
プロセッサ36は、ユーザの操作を補助する機能として第1機能と第2機能とを同時に実行する。第1機能と第2機能とを同時に実行するという概念の範疇には、第1機能が実行されている期間と第2機能が実行されている期間とが部分的に一致することを含む。
【0066】
第1機能は、対象物18と照合用撮影装置12との間の位置関係が特定の位置関係に保持されるように照合用撮影装置12に対するユーザの第1操作を補助する機能である。特定の位置関係は、以下に説明する第1関係のみであってもよいし、第1関係と第2関係の組み合わせであってもよい。
【0067】
第1関係は、対象物18が理想の撮影位置にて照合用撮影装置12によって撮影されるときの対象物18の位置とカメラ24の位置との関係であり、登録画像を取得したときの対象物18と登録用撮影装置10との位置関係に基づいて定められる。例えば、X軸、Y軸及びZ軸で構成される3次元直交座標系が定義される。対象物18の位置とカメラ24の位置はそれぞれ、その3次元直交座標系で表される3次元空間上での座標(x,y,z)である。
【0068】
第2関係は、対象物18の表面に垂直な軸としてZ軸が定められた場合において、対象物18が理想の撮影位置にて照合用撮影装置12によって撮影されるときの、Z軸を回転軸とする照合用撮影装置12の回転角度(つまりZ軸回りの回転角度)の関係である。このときの回転角度は、正確には光源22とカメラ24の回転角度であり、登録画像を取得したときの角度θsig,θlumiに基づいて定められる。
【0069】
つまり、特定の位置関係は、3次元空間上での座標(x,y,z)によって定められる、対象物18とカメラ24との間の位置関係であってもよいし(第1関係)、その第1関係とZ軸回りの回転角度(第2関係)との組み合わせであってもよい。
【0070】
特定の位置関係が第1関係のみである場合、第1操作は、X軸、Y軸又はZ軸に沿って照合用撮影装置12を移動させる操作である。特定の位置関係が第1関係と第2関係の組み合わせである場合、第1操作は、X軸、Y軸又はZ軸に沿って照合用撮影装置12を移動させる操作と、Z軸を回転軸として照合用撮影装置12を回転させる操作と、を含む。
【0071】
第2機能は、対象物18と照合用撮影装置12との間の角度が特定の角度に保持されるように照合用撮影装置12に対するユーザの第2操作を補助する機能である。特定の角度は、照合用撮影装置12によって対象物18を撮影するときの理想の角度であり、登録画像を取得したときの角度φに基づいて定められる。具体的には、特定の角度は、登録画像を取得したときの対象物18に対する登録用撮影装置10及び光源16の回転角度(具体的には、X軸を回転軸とした回転角度と、Y軸を回転軸とした回転角度)によって定められる。
【0072】
第2操作は、X軸を回転軸として照合用撮影装置12を回転させる操作と、Y軸を回転軸として照合用撮影装置12を回転させる操作と、を含む。
【0073】
図5を参照して、理想の撮影位置について説明する。
図5には、3次元空間上の照合用撮影装置12と対象物18とが示されている。また、3次元直交座標系を構成するX軸、Y軸及びZ軸が示されている。3次元空間上の理想の撮影位置は、照合用撮影装置12と対象物18との間の角度を一定の角度に保った状態での照合用撮影装置12の座標(x,y,z)である。登録画像を取得したときの登録用撮影装置10と対象物18との間の角度が0°であれば、その一定の角度は0°である。例えば、XY平面上で照合用撮影装置12を移動させると、ディスプレイ26上で対象物18が移動して表示され、Z軸に沿って照合用撮影装置12を移動させると、ディスプレイ26に表示されている対象物18の大きさが変わる。
【0074】
図6を参照して、理想の角度について説明する。
図6には、3次元空間上の照合用撮影装置12と対象物18とが示されている。また、3次元直交座標系を構成するX軸、Y軸及びZ軸が示されている。3次元空間上の理想の角度は、照合用撮影装置12と対象物18との間の距離を一定の距離(例えば登録画像を取得したときの距離WD)に保った状態での回転角度(X軸を回転軸とする照合用撮影装置12の回転角度と、Y軸を回転軸とする照合用撮影装置12の回転角度)である。Z軸を回転軸とする照合用撮影装置12の回転角度は、上述した第2関係の回転角度である。
【0075】
なお、
図5に示されている3次元直交座標系と、
図6に示されている3次元直交座標系は、同一の座標系であってもよいし、異なる座標系であってもよい。各3次元直交座標系は、照合用撮影装置12毎に設定されてもよい。
【0076】
第1機能は、対象物18と照合用撮影装置12との間の位置関係が特定の位置関係に保持されるようにユーザによる第1操作を静的又は動的に誘導する機能を含んでもよい。同様に、第2機能は、対象物18と照合用撮影装置12との間の角度が特定の角度に保持されるようにユーザによる第2操作を静的又は動的に誘導する機能を含んでもよい。
【0077】
第1機能は、対象物18と照合用撮影装置12との間の位置関係が特定の位置関係に保持されるように、対象物18の全体、対象物18の一部又は理想の撮影位置を表す情報(例えば、領域、座標又はサイズ等の情報)を出力する機能を含む。例えば、第1機能は、第1操作を補助するための第1ガイドを図形、文字列又は音声として出力する機能を含む。図形は、対象物18の外形の全体又は一部を模した枠、線、シンボルマーク又はその他の図形である。文字列は、ロゴ等であってもよい。第1機能は、理想の撮影位置を色、明暗差又はコントラスト差等によって強調して表示する機能を含んでもよい。具体的には、プロセッサ36は、第1ガイドを表す図形や文字列をディスプレイ26に表示させてもよいし、第1ガイドを表す音声をスピーカから発生させてもよい。プロセッサ36は、第1ガイドを表す図形や文字列をディスプレイ26に表示させると共に、第1ガイドを表す音声をスピーカから発生させてもよい。
【0078】
第2機能は、対象物18と照合用撮影装置12との間の角度が特定の角度に保持されるように、理想の角度を、対象物18の全体、対象物18の一部又は別の指標によって表現する機能を含む。例えば、第2機能は、第2操作を補助するための第2ガイドを図形、文字列又は音声として出力する機能を含む。図形は、対象物18の外形の全体又は一部を模した枠、線、シンボルマーク又はその他の図形である。文字列は、ロゴ等であってもよい。第2機能は、照合用撮影装置12の回転状態を表す指標を図形(例えばシンボルマーク等)、文字列又は音声として出力する機能を含んでもよい。具体的には、プロセッサ36は、第2ガイドを表す図形や文字列をディスプレイ26に表示させてもよいし、第2ガイドを表す音声をスピーカから発生させてもよい。プロセッサ36は、第2ガイドを表す図形や文字列をディスプレイ26に表示させると共に、第2ガイドを表す音声をスピーカから発生させてもよい。
【0079】
第1機能と第2機能とを同時に実行することの一例は、第1ガイドの出力と第2ガイドの出力とを同時に実行することである。以下に、第1ガイドの出力と第2ガイドの出力とを同時に実行することの一例を挙げる。
・プロセッサ36は、第1ガイドを表す図形と第2ガイドを表す図形とを同時にディスプレイ26に表示させる。
・プロセッサ36は、第1ガイド又は第2ガイドの一方を表す図形をディスプレイ26に表示させつつ、他方を表す音声をスピーカから発生させる。例えば、プロセッサ36は、第1ガイドを表す図形をディスプレイ26に表示させつつ、第2ガイドを表す音声をスピーカから発生させる。その逆であってもよい。
・プロセッサ36は、第1ガイドを表す文字列と第2ガイドを表す文字列とを同時にディスプレイ26に表示させる。
これらは一例であり、図形、文字列及び音声の中から選択された1又は複数の手法を用いて、第1ガイドと第2ガイドとが出力されてもよい。その他、第1ガイドと第2ガイドが、振動によって表現されてもよい。
【0080】
第1操作を静的に誘導することは、例えば、静止した状態の図形や文字列を表示することである。第1操作を動的に誘導することは、例えば、照合用撮影装置12の動き(例えば、X軸、Y軸又はZ軸に沿った移動や、Z軸回りの回転)に合わせて音声によって第1ガイドを出力することである。
【0081】
第2操作を静的に誘導することは、例えば、静止した状態の図形や文字列を表示することである。第2操作を動的に誘導することは、例えば、照合用撮影装置12の回転量(例えば、X軸回りの回転量やY軸回りの回転量)を表す図形や文字列を表示することや、その回転量を表す音声を出力することである。例えば、第2ガイドは、センサ28によって取得された情報を用いて照合用撮影装置12の状態を動的に表すガイドを含み、そのガイドを表示することが、第2操作を動的に誘導することの一例に相当する。
【0082】
第1ガイドと第2ガイドがディスプレイ26に表示される場合、プロセッサ36は、第1ガイドの表示位置を基準として予め定められた範囲内に第2ガイドを表示してもよいし、第1ガイド内に第2ガイドを表示してもよい。別の例として、プロセッサ36は、第2ガイド内に第1ガイドを表示してもよい。もちろん、プロセッサ36は、第1ガイドの外側に第2ガイドを表示してもよいし、第2ガイドの外側に第1ガイドを表示してもよい。
【0083】
対象物と照合用撮影装置12との間の位置関係が特定の位置関係になった場合、プロセッサ36は、そのことを表す第1強調処理を実行してもよい。第1強調処理は、例えば、第1ガイドの表示色を変える処理、位置関係が特定の位置関係になったことを表す音や文字列を出力する処理、位置関係が特定の位置関係になったことを表す画像(例えばシンボルマーク等)を表示する処理、照合用撮影装置12を振動させる処理、照合用撮影装置12の照明を点滅させる処理(例えばディスプレイ26を点滅させる処理)、又は、これらの中の複数の処理の組み合わせである。
【0084】
対象物と照合用撮影装置12との間の角度が特定の角度になった場合、プロセッサ36は、そのことを表す第2強調処理を実行してもよい。第2強調処理は、例えば、第2ガイドの表示色を変える処理、角度が特定の角度になったことを表す音や文字列を出力する処理、角度が特定の角度になったことを表す画像(例えばシンボルマーク等)を表示する処理、照合用撮影装置12を振動させる処理、照合用撮影装置12の照明を点滅させる処理(例えばディスプレイ26を点滅させる処理)、又は、これらの中の複数の処理の組み合わせである。
【0085】
第1強調処理と第2強調処理は、同じ処理であってもよいし、異なる処理であってもよい。例えば、第1強調処理が第1ガイドの表示色を変える処理であり、第2強調処理が照合用撮影装置12を振動させる処理である。もちろん、これは一例に過ぎず、他の組み合わせであってもよい。第1強調処理と第2強調処理が異なる場合、第1強調処理と第2強調処理とが同じ場合と比べて、ユーザは、位置関係が特定の位置関係になったのか、又は、角度が特定の角度になったのかを、容易に認識することができる。
【0086】
プロセッサ36は、対象物と照合用撮影装置12との位置関係が特定の位置関係になり、かつ、対象物と照合用撮影装置12との間の角度が特定の角度になった場合、強調処理を実行してもよい。
【0087】
以下、
図7を参照して、照合装置14の構成について説明する。
図7は、照合装置14の構成を示すブロック図である。
【0088】
照合装置14は、通信装置38と、UI40と、メモリ42と、プロセッサ44とを含む。照合装置14は、例えば、パーソナルコンピュータ又はサーバ等の装置である。
【0089】
通信装置38は、通信チップや通信回路等を有する1又は複数の通信インターフェースを含み、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信装置38は、近距離無線通信やWi-Fi(登録商標)等の無線通信機能を有してもよいし、有線通信機能を有してもよい。
【0090】
UI40はユーザインターフェースであり、ディスプレイと入力装置とを含む。ディスプレイは、液晶ディスプレイ又はELディスプレイ等である。入力装置は、キーボード、マウス、入力キー又は操作パネル等である。UI40は、ディスプレイと入力装置とを兼ね備えたタッチパネル等のUIであってもよい。
【0091】
メモリ42は、データを記憶する1又は複数の記憶領域を構成する装置である。メモリ42は、例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、各種のメモリ(例えばRAM、DRAM、NVRAM、ROM、等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。
【0092】
登録画像は、メモリ42に記憶される。例えば、登録画像DBがメモリ42によって構築され、対象物18を一意に特定するための識別情報(例えば識別ID等)と登録画像とが対応付けられて登録画像DBに登録される。
【0093】
プロセッサ44は、照合装置14の各部の動作を制御する。
【0094】
また、プロセッサ44は、登録用撮影装置10によって取得された登録画像を受けて、その登録画像と対象物18の識別情報とを対応付けて登録画像DBに登録する。また、プロセッサ44は、照合用撮影装置12によって取得された照合画像を受けて、その照合画像と登録画像DBに登録されている登録画像とを照合し、その照合の結果を示す情報を出力する。例えば、照合の結果を示す情報は、照合用撮影装置12に出力される。
【0095】
具体的には、プロセッサ44は、登録画像を登録画像DBから読み出して、読み出した登録画像と照合画像との間の類似度を算出する。類似度は、公知のアルゴリズムを用いて
算出される。算出された類似度が閾値を超えている場合、プロセッサ44は、登録画像と照合画像は一致すると判定する。算出された類似度が閾値を超えない場合、プロセッサ44は、登録画像と照合画像は一致しないと判定する。プロセッサ44は、その判定の結果を照合の結果として出力する。
【0096】
画像の照合には、撮影に用いられたカメラの入力における変動や量子化誤差等に起因する誤り率が存在する。誤り率は、真であるにも関わらず偽と判定しまう確率である誤拒否率と、偽であるにも関わらず真と判定しまう確率である誤受理率とによって構成される。両者はトレードオフの関係にあり、一方が減少すれば他方は増大する。したがって、照合の適用対象における損失が最も小さくなるように閾値が設定される。
【0097】
以下、
図8を参照して、第1ガイドと第2ガイドの具体例について説明する。
図8には、照合用撮影装置12のディスプレイ26が示されている。また、互いに直交するX軸、Y軸及びZ軸からなる3次元直交座標系が照合用撮影装置12に設定されている。対象物46の表面に垂直な軸がZ軸として定義される。
【0098】
ここでは一例として、文字列「AB」(例えばロゴ等)が描かれている対象物46が、照合用撮影装置12のカメラ24によって撮影され、対象物46を表す画像がディスプレイ26に表示されている。
【0099】
プロセッサ36は、ガイド48と座標軸図形50とマーク52とをディスプレイ26に表示させる。
【0100】
ガイド48は、第1ガイドの一例であり、枠48aと文字列48bとを含む。枠48aは、対象物46の外形を模した図形である。ここでは一例として、対象物46の外形は円形であるため、枠48aは、円形の形状を有する。また、枠48a内には、対象物46に描かれている文字列「AB」と同じ文字列48bが表示されている。ディスプレイ26上においてガイド48が表示される位置は、3次元空間上の理想の撮影位置に対応しており、理想の撮影位置にて登録用撮影装置10が対象物46を撮影したときの登録用撮影装置10の位置(x,y,z)に基づいて定められる。XY平面内での文字列48bの向き(つまりZ軸回りの回転角度)は、理想の撮影位置にて登録用撮影装置10が対象物46を撮影したときの、登録用撮影装置10のZ軸回りの回転角度に基づいて定められる。ガイド48のサイズ(つまり枠48aと文字列48bのサイズ)は、登録用撮影装置10が対象物46を撮影したときの距離WDに基づいて定められる。なお、ガイド48を表すデータは、登録用撮影装置10、照合用撮影装置12、照合装置14又は他の装置によって生成され、照合用撮影装置12のメモリ34に記憶される。
【0101】
ガイド48は、上述した第1機能を実行することで表示される。ここでは一例として、特定の位置関係は第1関係と第2関係の組み合わせであり、ガイド48は、3次元空間上にてカメラ24の位置を対象物46の位置に合わせるためのガイドと、照合用撮影装置12のZ軸回りの回転角度を対象物46のZ軸回りの回転角度に合わせるためのガイドと、を兼ねる。具体的には、枠48aは、3次元空間上にてカメラ24の位置を対象物46の位置に合わせるためのガイドとして機能する。枠48aは、その位置合わせを静的に誘導するガイドである。枠48a内に表示された文字列48bは、照合用撮影装置12のZ軸回りの回転角度を対象物46のZ軸回りの回転角度に合わせるためのガイドとして機能する。また、文字列48bの表示位置は、理想の撮影位置に基づいて定められるため、文字列48bは、3次元空間上にてカメラ24の位置を対象物46の位置に合わせるガイドとして機能してもよい。文字列48bは、その回転合わせ及び位置合わせを静的に誘導するガイドである。以上のように、ガイド48は、対象物46が理想の撮影位置にて照合用撮影装置12によって撮影されるようにユーザを誘導するガイドとして機能する。また、ガイド48は、照合用撮影装置12のZ軸回りの回転角度を対象物46のZ軸回りの回転角度に合わせるようにユーザを誘導するガイドとして機能する。
【0102】
座標軸図形50は、X軸を表すガイド50XとY軸を表すガイド50Yとを含む図形である。ガイド50Xとガイド50Yの交点50Cは、3次元直交座標系の原点である。ディスプレイ26上において交点50Cが表示される位置は、3次元空間上の理想の角度に基づいて定められる位置であり、具体的には、登録画像を取得したときの角度φに基づいて定められる。
【0103】
マーク52は、センサ28に含まれるジャイロセンサによって取得された照合用撮影装置12の回転角度(具体的には、X軸回りの回転角度とY軸回りの回転角度)を表す図形である。プロセッサ36は、ディスプレイ26上において、ジャイロセンサによって取得された回転角度に対応する位置にマーク52を表示する。照合用撮影装置12の向きが変えられると、その変化がジャイロセンサによって検出され、プロセッサ36は、その変化に応じてマーク52の表示位置を変える。
【0104】
座標軸図形50とマーク52は、第2ガイドの一例であり、第2機能を実行することで表示される。マーク52の表示位置は、照合用撮影装置12の向きに応じて変わるため、マーク52は、X軸回り及びY軸回りにおける回転角度の合わせを動的に誘導するガイドである。座標軸図形50は、動的ガイドとして機能するマーク52に対する座標軸を表す静的なガイドである。以上のように、座標軸図形50とマーク52は、対象物46が理想の角度で照合用撮影装置12によって撮影されるようにユーザを誘導するガイドとして機能する。なお、座標軸図形50とマーク52を表すデータは、登録用撮影装置10、照合用撮影装置12、照合装置14又は他の装置によって生成され、照合用撮影装置12のメモリ34に記憶される。
【0105】
プロセッサ36は、第1機能と第2機能とを同時に実行することで、ガイド48、座標軸図形50及びマーク52を同時にディスプレイ26に表示させる。
【0106】
ユーザは、ディスプレイ26上の対象物46の表示位置と枠48aの表示位置とが実質的に一致するように、照合用撮影装置12の位置(つまり3次元空間上の座標(x,y,z))を変える。また、ユーザは、文字列48bの向きと対象物46に描かれている文字列の向きとが実質的に一致するように、照合用撮影装置12のZ軸回りの回転角度を変える。また、ユーザは、マーク52の表示位置と交点50Cの表示位置とが実質的に一致するように、照合用撮影装置12のX軸回り及びY軸回りのそれぞれの回転角度を変える。表示位置が実質的に一致という概念の範疇には、表示位置が一致すること、及び、表示位置の差が許容範囲(例えば、登録画像と照合画像とを用いた照合の精度を目的の精度以上に確保することが可能な範囲)内に含まれることが含まれる。なお、対象物46の表示位置と枠48aの表示位置とが既に実質的に一致している場合には、照合用撮影装置12の位置を変える必要はない。X軸回り、Y軸回り及びZ軸回りの回転角度についても同様のことがいえる。
【0107】
別の例として、プロセッサ36は、ガイド48、座標軸図形50及びマーク52をディスプレイ26に表示させつつ、第1ガイド及び第2ガイドを音声によって出力してもよい。例えば、プロセッサ36は、対象物46の表示位置を枠48aの表示位置に合わせるために照合用撮影装置12を移動させる方向及び量を音声として出力したり、対象物46に描かれている文字列の向きを文字列48bの向きに合わせるためのZ軸回りの回転角度を音声として出力したり、マーク52の表示位置を交点50Cに合わせるためのX軸回り及びY軸回りのそれぞれの回転角度を音声として出力したりする。
【0108】
更に別の例として、プロセッサ36は、ガイド48をディスプレイ26に表示させつつ、第2ガイドを音声として出力してもよい。
【0109】
以下、具体的な実施例について説明する。
【0110】
(実施例1)
図9から
図12を参照して、実施例1について説明する。
図9から
図12は、実施例1に係るガイドを示す図である。
図9から
図12には、照合用撮影装置12のディスプレイ26が示されている。また、互いに直交するX軸、Y軸及びZ軸からなる3次元直交座標系が照合用撮影装置12に設定されている。対象物54の表面に垂直な軸がZ軸として定義される。
【0111】
ここでは一例として、文字列「ABCDE」(例えばロゴ等)が描かれている対象物54が、照合用撮影装置12のカメラ24によって撮影され、対象物54を表す画像がディスプレイ26に表示されている。
【0112】
プロセッサ36は、ガイド56と座標軸図形58とマーク60とをディスプレイ26に表示させる。
【0113】
ガイド56は、第1ガイドの一例であり、枠56aと文字列56bとを含む。枠56aは、対象物54の外形を模した図形である。ここでは一例として、対象物54の外形は矩形であるため、枠56aは、矩形の形状を有する。また、枠56a内には、対象物54に描かれている文字列「ABCDE」と同じ文字列56bが表示されている。ディスプレイ26上において座標軸図形58が表示される位置は、3次元空間上の理想の撮影位置に対応しており、理想の撮影位置にて登録用撮影装置10が対象物54を撮影したときの登録用撮影装置10の位置(x,y,z)に基づいて定められる。XY平面内での文字列56bの向き(つまりZ軸回りの回転角度)は、理想の撮影位置にて登録用撮影装置10が対象物54を撮影したときの、登録用撮影装置10のZ軸回りの回転角度に基づいて定められる。ガイド56のサイズ(つまり枠56aと文字列56bのサイズ)は、登録用撮影装置10が対象物54を撮影したときの距離WDに基づいて定められる。なお、ガイド56を表すデータは、登録用撮影装置10、照合用撮影装置12、照合装置14又は他の装置によって生成される。
【0114】
ガイド56は、上述した第1機能を実行することで表示される。ここでは一例として、特定の位置関係は第1関係と第2関係の組み合わせである。枠56aは、3次元空間上にてカメラ24の位置を対象物54の位置に合わせるためのガイドとして機能する。枠56aは、その位置合わせを静的に誘導するガイドである。文字列56bは、照合用撮影装置12のZ軸回りの回転角度を対象物54のZ軸回りの回転角度に合わせるためのガイドとして機能する。また、文字列56bは、3次元空間上にてカメラ24の位置を対象物54の位置に合わせるガイドとして機能してもよい。文字列56bは、その回転合わせ及び位置合わせを静的に誘導するガイドである。
【0115】
座標軸図形58は、X軸を表すガイド58XとY軸を表すガイド58Yとを含む図形である。ガイド58Xとガイド58Yの交点58Cは、3次元直交座標系の原点である。ディスプレイ26上において交点58Cが表示される位置は、3次元空間上の理想の角度に基づいて定められる位置であり、具体的には、登録画像を取得したときの角度φに基づいて定められる。
【0116】
マーク60は、センサ28に含まれるジャイロセンサによって取得された照合用撮影装置12の回転角度(具体的には、X軸回りの回転角度とY軸回りの回転角度)を表す図形である。
図9に示す例では、マーク60は十字状の形状を有するが、この形状は一例に過ぎず、マーク60の形状は、円形、矩形又はその他の形状であってもよい。プロセッサ36は、ディスプレイ26上において、ジャイロセンサによって取得された回転角度に対応する位置にマーク60を表示する。照合用撮影装置12の向きが変えられると、その変化がジャイロセンサによって検出され、プロセッサ36は、その変化に応じてマーク52の表示位置を変える。
【0117】
座標軸図形58とマーク60は、第2ガイドの一例であり、第2機能を実行することで表示される。マーク60の表示位置は、照合用撮影装置12の向きに応じて変わるため、マーク60は、X軸及びY軸回りにおける回転角度の合わせを動的に誘導するガイドである。座標軸図形58は、動的ガイドとして機能するマーク60に対する座標軸を表す静的なガイドである。なお、座標軸図形58とマーク60を表すデータは、登録用撮影装置10、照合用撮影装置12、照合装置14又は他の装置によって生成され、照合用撮影装置12のメモリ34に記憶される。
【0118】
プロセッサ36は、第1機能と第2機能とを同時に実行することで、ガイド56、座標軸図形58及びマーク60を同時にディスプレイ26に表示させる。
【0119】
図9に示す例では、プロセッサ36は、第2ガイドとして機能するマーク60を、第1ガイドとして機能するガイド56の枠56a内に表示する。これにより、第2ガイドは第1ガイド内に表示される。このように、第2ガイドを第1ガイド内に表示することで、第2ガイドを第1ガイドの外側に表示する場合と比べて、第1ガイド及び第2ガイドを見るときのユーザの視線の動きが少なくなる。
【0120】
ユーザは、ディスプレイ26上の対象物54の表示位置と枠56aの表示位置とが実質的に一致するように、照合用撮影装置12の位置(つまり3次元空間上の座標(x,y,z))を変える。また、ユーザは、文字列56bの向きと対象物54に描かれている文字列の向きとが実質的に一致するように、照合用撮影装置12のZ軸回りの回転角度を変える。また、ユーザは、マーク60の表示位置と交点58Cの表示位置とが実質的に一致するように、照合用撮影装置12のX軸回り及びY軸回りのそれぞれの回転角度を変える。表示位置が実質的に一致することの技術的意義は、
図8を参照して説明した通りである。
【0121】
図10及び
図11には、これらの操作の一例が示されている。
図10に示す例では、ユーザは、XY面内にて照合用撮影装置12を移動させ、更に、Z軸を回転軸として照合用撮影装置12を回転させている。
図10に示されている状態では、対象物54の表示位置と枠56aの表示位置とは実質的に一致しておらず、マーク60の表示位置と交点58Cの表示位置も実質的に一致していない。
図11に示されている状態では、対象物54の表示位置と枠56aの表示位置とが実質的に一致しており、文字列56bの向きと対象物54に描かれている文字列の向きとが実質的に一致しており、マーク60の表示位置と交点58Cの表示位置とが実質的に一致している。この状態においては、対象物54と照合用撮影装置12との間の位置関係は特定の位置関係であり、対象物54と照合用撮影装置12との間の角度は特定の角度であるといえる。つまり、照合用撮影装置12は理想の撮影位置に設置され、対象物54に対する照合用撮影装置12の角度が理想の角度に設定されたといえる。
【0122】
第1機能と第2機能とを同時に実行することで、ユーザは、第1操作と第2操作を同時に実行して、対象物に対する照合用撮影装置12の姿勢を理想の姿勢に合わせることができる。これにより、第1操作が完了した後に第2機能を実行して第2操作を行う場合、又は、第2操作が完了した後に第1機能を実行して第1操作を行う場合と比べて、対象物に対する照合用撮影装置12の姿勢を理想の姿勢に容易に合わせることができる。
【0123】
プロセッサ36は、対象物54と照合用撮影装置12との間の位置関係が特定の位置関係になった場合、そのことを表す第1強調処理を実行してもよい。同様に、プロセッサ36は、対象物54と照合用撮影装置12との間の角度が特定の角度になった場合、そのことを表す第2強調処理を実行してもよい。
図12には、強調処理が適用された状態のガイドが示されている。例えば、対象物54の表示位置と枠56aの表示位置とが実質的に一致した場合、プロセッサ36は、第1強調処理として、枠56aや文字列56bの色を変える。また、対象物54に描かれている文字列の向きと文字列56bの向きとが実質的に一致した場合、プロセッサ36は、第1強調処理として、枠56aや文字列56bの色を変える。また、マーク60の表示位置と交点58Cの表示位置とが実質的に一致した場合、プロセッサ36は、第2強調処理として、枠56aや文字列56bの色を変える。
図12に示す例では、強調処理として枠56aの色を変えているが、上述したように、表示位置が実質的に一致したことを表す音や文字列を出力したり、振動を発生させたりしてもよい。
【0124】
例えば、対象物54の表示位置と枠56aの表示位置とが実質的に一致し、かつ、対象物54に描かれている文字列の向きと文字列56bの向きとが実質的に一致した場合、プロセッサ36は、枠56aの表示色を変える。また、マーク60の表示位置と交点58Cの表示位置とが実質的に一致した場合、プロセッサ36は、照合用撮影装置12を振動させる。このように、プロセッサ36は、第1強調処理と第2強調処理とを異ならせてもよい。
【0125】
(実施例2)
以下、
図13を参照して実施例2について説明する。
図13は、実施例2に係るガイドを示す図である。
【0126】
実施例2では、実施例1に係るマーク60に替えて、枠62が第2ガイドとしてディスプレイ26に表示される。実施例2に係る第1ガイドは、実施例1に係る第1ガイドと同じである。
【0127】
枠62は、対象物54の外形を模した図形である。プロセッサ36は、第1ガイドを構成する枠56aの表示位置を基準として予め定められた範囲内に枠62を表示する。例えば、プロセッサ36は、枠56aの近傍に枠62を表示する。第1ガイドの近傍に第2ガイドを表示することで、実施例1と同様に、第1ガイド及び第2ガイドを見るときのユーザの視線の動きが少なくなる。
【0128】
プロセッサ36は、ジャイロセンサによって取得されたX軸回り及びY軸回りの回転角度に応じて、枠62の形状を変える。枠62の形状が枠56aの形状と実質的に同一となった状態が、対象物54と照合用撮影装置12との間の角度が特定の角度になった状態である。
【0129】
プロセッサ36は、枠62をディスプレイ26に表示させると共に、第2ガイドを文字列や音声によって表現してもよい。また、実施例1と同様に、プロセッサ36は、第1強調処理及び第2強調処理を実行してもよい。
【0130】
(実施例3)
以下、
図14から
図17を参照して実施例3について説明する。
図14は、対象物64をZ方向から見たときの図である。
図15及び
図16は、実施例3に係るガイドを示す図である。
図17は、登録画像と照合画像とを示す図である。
【0131】
実施例3に係る特定の位置関係は、上述した第1関係のみであり、特定の位置関係は、Z軸回りの回転角度の関係を含まない。
【0132】
実施例3に係る対象物64は、ロゴ等の文字列が描かれていない物体である。ここでは一例として、対象物64は、円形の形状を有する物体である。
【0133】
このような対象物64の登録画像を取得する場合、複数の異なる照射方向から対象物64に対して光を照射して対象物64を撮影することで、光の照射方向が異なる複数の登録画像を取得する。
【0134】
例えば、対象物64の表面に垂直な軸をZ軸として定義し、Z軸回りの回転角度を角度θと定義する。
図14に示されているθ1~θ12は、登録画像を取得するときの光源16のZ軸回りの角度を示している。
図14に示す例では、対象物64の登録画像を取得するときに、対象物64を12回撮影することで、光の照射方向が異なる12個の登録画像を取得する。具体的には、角度θ1は、1回目の撮影を行うときに光源16が配置される角度であり、角度θ2は、2回目の撮影を行うときに光源16が配置される角度である。角度θ3~θ12についても同様である。12個の登録画像は、照合装置14に出力されて照合装置14のメモリ42に記憶される。これにより、12個の登録画像が登録画像DBに登録される。なお、角度θ1~θ12は一例に過ぎず、登録画像を取得するときの撮影の回数は、12回に限定されるものではない。対象物64の形状、サイズ又はランダムパターンの種類等に応じて、撮影の回数が定められてもよい。
【0135】
図15には、実施例3に係る第1ガイドと第2ガイドとが示されている。枠66は、第1ガイドの一例であり、対象物64の外形を模した形状を有する。また、枠66のサイズは、対象物64の登録画像を取得したときの距離WDに基づいて定められる。対象物64にロゴ等の文字列が描かれていないため、枠66内にも文字列は表示されていない。枠66は、3次元空間上にてカメラ24の位置を対象物64の位置に合わせるためのガイドとして機能する。
【0136】
座標軸図形68とマーク70は、第2ガイドの一例である。座標軸図形68は、X軸を表すガイド68XとY軸を表すガイド68Yとを含む図形である。ガイド68Xとガイド68Yの交点68Cは、3次元直交座標系の原点である。マーク70は、センサ28に含まれるジャイロセンサによって取得された照合用撮影装置12の回転角度(具体的には、X軸回りの回転角度とY軸回りの回転角度)を表す図形である。マーク70は、回転角度の合わせを動的に誘導するガイドである。座標軸図形68は、動的ガイドとして機能するマーク70に対する座標軸を表す静的なガイドである。
【0137】
ユーザは、ディスプレイ26上の対象物64の表示位置と枠66の表示位置とが実質的に一致するように、照合用撮影装置12の位置(つまり3次元空間上の座標(x,y,z))を変える。また、ユーザは、マーク70の表示位置と交点68Cの表示位置とが実質的に一致するように、照合用撮影装置12のX軸回り及びY軸回りのそれぞれの回転角度を変える。
【0138】
図16には、対象物64の表示位置と枠66の表示位置とが実質的に一致しており、かつ、マーク70の表示位置と交点68Cの表示位置とが実質的に一致している。例えば、この状態で、カメラ24によって対象物64の照合画像が取得される。
【0139】
照合画像は、照合用撮影装置12から照合装置14に出力される。照合装置14のプロセッサ44は、様々な角度θから撮影した複数の登録画像と照合画像とを照合する。
【0140】
図17には、その照合の一例が示されている。上述した例では、対象物64の登録時に12個の登録画像が取得されているため、プロセッサ44は、12個の登録画像と照合画像とを照合する。
【0141】
なお、プロセッサ44は、照合画像から検出された輝点又は照合画像の輝度分布から、光の照射方向を特定し、複数の登録画像のうちその特定した照射方向と同じ照射方向で撮影された登録画像を特定し、その特定した登録画像と照合画像とを照合してもよい。
【0142】
(照合の方法)
以下、
図18及び
図19を参照して、登録画像と照合画像とを照合する方法の具体例について説明する。
図18及び
図19には、登録画像と照合画像とが示されている。
図18は、照合方法1を説明するための図である。
図19は、照合方法2を説明するための図である。
【0143】
照合方法1では、照合用撮影装置12によって複数の照合画像が取得された後に、当該複数の照合画像のそれぞれと登録画像とが照合される。例えば、第1操作及び第2操作が行われているときに、照合用撮影装置12のカメラ24は、常時又は一定の時間間隔で、対象物を撮影することで、複数の照合画像を取得する。取得された複数の照合画像は、照合用撮影装置12のメモリ34に記憶される。なお、ユーザの指示によって、撮影が一時的に停止されてもよい。取得された複数の照合画像は、まとめて照合用撮影装置12から照合装置14に送信される。例えば、第1機能及び第2機能の実行が終了した場合、ユーザが照合画像の送信を指示した場合、又は、対象物と照合用撮影装置12との間の位置関係が特定の位置関係になり、かつ、対象物に対する照合用撮影装置12の角度が特定の角度になった場合、プロセッサ36は、メモリ34に記憶されている複数の照合画像を照合装置14に送信する。このように、照合用撮影装置12は、照合画像を撮り溜めし、撮り溜めした複数の照合画像を照合装置14に送信する。照合装置14のプロセッサ44は、当該複数の照合画像のそれぞれと登録画像とを照合し、照合の結果を照合用撮影装置12に送信する。これにより、撮り溜めされた複数の照合画像を用いた照合の結果が、照合用撮影装置12に出力される。撮り溜めされた複数の照合画像を用いて照合することで、誤判定の確率が低下する。この場合、プロセッサ44は、登録画像と一致した照合画像を示す情報を、照合の結果として、照合用撮影装置12に送信してもよい。
【0144】
照合方法2では、照合用撮影装置12によって照合画像が取得される度に、その取得された照合画像と登録画像とが照合される。例えば、ユーザが第1操作及び第2操作を行っているときに、照合用撮影装置12のカメラ24は、常時又は一定の時間間隔で、対象物を撮影することで照合画像を取得し、プロセッサ36は、照合画像が取得される度に、その照合画像を照合装置14に送信する。なお、ユーザの指示によって、撮影が一時的に停止されてもよい。照合装置14のプロセッサ44は、照合用撮影装置12から送信される照合画像を受ける度に、その受けた照合画像と登録画像とを照合し、その照合の結果を照合用撮影装置12に送信する。これにより、第1操作及び第2操作が行われている最中に、照合の結果がユーザに提供されるので、照合に要する時間が短縮される。
【0145】
別の照合方法として、第1操作及び第2操作が行われているときに、ユーザが照合用撮影装置12を用いて照合を指示した場合、プロセッサ36は、その指示が与えられるまでに取得された1又は複数の照合画像を照合装置14に送信してもよい。このとき、ユーザは、照合の対象となる照合画像を選択してもよい。照合装置14のプロセッサ44は、照合用撮影装置12から送信された1又は複数の照合画像と登録画像とを照合し、その照合の結果を照合用撮影装置12に送信する。
【0146】
更に別の照合方法として、対象物と照合用撮影装置12との間の位置関係が特定の位置関係になり、かつ、対象物に対する照合用撮影装置12の角度が特定の角度になった場合、プロセッサ36は、カメラ24を制御することで、カメラ24に対象物を撮影させてもよい。プロセッサ36は、その撮影によって取得された照合画像を照合装置14に送信する。照合装置14は、照合用撮影装置12から送信された照合画像と登録画像とを照合し、その照合の結果を照合用撮影装置12に送信する。理想の撮影位置及び理想の角度で対象物を撮影することで取得された照合画像を用いて照合することで、それ以外の条件で取得された照合画像を用いて照合する場合と比べて、照合の精度が向上する。つまり、照合の精度を向上させることができる照合画像が取得される。
【0147】
なお、照合用撮影装置12のプロセッサ36が、登録画像と照合画像とを照合してもよい。例えば、プロセッサ36は、照合画像が取得されると、登録画像を照合装置14から取得し、登録画像と照合画像とを照合する。なお、登録画像は、照合装置14に記憶されずに、他の装置(例えば画像サーバ等)に記憶され、照合用撮影装置12は、当該他の装置から登録画像を取得してもよい。
【0148】
上記の照合用撮影装置12及び照合装置14のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。例えば、各装置のプロセッサが、各装置のメモリに記憶されているプログラムを読み出して実行することで、各装置の機能が実現される。プログラムは、CD又はDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、メモリに記憶される。
【0149】
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0150】
(付記)
(((1)))
プロセッサを有し、
前記プロセッサは、
撮影装置によって撮影される対象物と前記撮影装置との間の位置関係が特定の位置関係に保持されるように前記撮影装置に対するユーザの第1操作を補助する第1機能と、
前記対象物と前記撮影装置との間の角度が特定の角度に保持されるように前記撮影装置に対する前記ユーザの第2操作を補助する第2機能と、
を同時に実行する、
情報処理装置。
(((2)))
前記第1機能は、前記対象物と前記撮影装置との間の位置関係が前記特定の位置関係に保持されるように前記第1操作を静的又は動的に誘導する機能を含み、
前記第2機能は、前記対象物と前記撮影装置との間の角度が前記特定の角度に保持されるように前記第2操作を静的又は動的に誘導する機能を含む、
(((1)))に記載の情報処理装置。
(((3)))
前記第1機能は、前記第1操作を補助するための第1ガイドを図形、文字列又は音声として出力する機能を含み、
前記第2機能は、前記第2操作を補助するための第2ガイドを図形、文字列又は音声として出力する機能を含む、
(((1)))又は(((2)))に記載の情報処理装置。
(((4)))
前記第1機能は、前記第1ガイドをディスプレイに表示させる機能であり、
前記第2機能は、前記第2ガイドを前記ディスプレイに表示させる機能であり、
前記プロセッサは、
前記第1ガイドと前記第2ガイドとを前記ディスプレイに同時に表示させる、
(((3)))に記載の情報処理装置。
(((5)))
前記第2ガイドは、センサによって取得された情報を用いて前記撮影装置の状態を動的に表すガイドを含む、
(((3)))又は(((4)))に記載の情報処理装置。
(((6)))
前記プロセッサは、
前記第1ガイドの表示位置を基準として予め定められた範囲内に前記第2ガイドを表示する、
(((3)))から(((5)))のいずれか一項に記載の情報処理装置。
(((7)))
前記プロセッサは、
前記第1ガイド内に前記第2ガイドを表示する、
(((3)))から(((5)))のいずれか一項に記載の情報処理装置。
(((8)))
前記第1機能は、前記第1ガイドをディスプレイに表示させる機能であり、
前記第2機能は、前記第2ガイドを音声によって出力する機能であり、
前記プロセッサは、
前記第1機能によって前記第1ガイドを前記ディスプレイに表示させつつ、前記第2機能によって前記第2ガイドを音声によって出力する、
(((3)))から(((7)))のいずれか一項に記載の情報処理装置。
(((9)))
前記プロセッサは、
前記対象物と前記撮影装置との間の位置関係が前記特定の位置関係になった場合、そのことを表す第1強調処理を実行する、
(((1)))から(((8)))のいずれか一項に記載の情報処理装置。
(((10)))
前記プロセッサは、
前記対象物と前記撮影装置との間の角度が前記特定の角度になった場合、そのことを表す第2強調処理を実行する、
(((1)))から(((9)))のいずれか一項に記載の情報処理装置。
(((11)))
前記第2強調処理は、前記第1強調処理とは異なる強調処理である、
(((10)))に記載の情報処理装置。
(((12)))
前記第1操作及び前記第2操作が前記ユーザによって行われているときに前記撮影装置による撮影によって複数の照合画像が取得され、
前記撮影装置によって前記複数の照合画像が取得された後に、前記複数の照合画像と、前記対象物を識別するための登録画像と、が照合される、
(((1)))から(((11)))のいずれか一項に記載の情報処理装置。
(((13)))
前記第1操作及び前記第2操作が前記ユーザによって行われているときに前記撮影装置による撮影によって照合画像が取得され、
前記撮影装置によって前記照合画像が取得される度に、前記照合画像と、前記対象物を識別するための登録画像と、が照合される、
(((1)))から(((11)))のいずれか一項に記載の情報処理装置。
(((14)))
コンピュータが、
撮影装置によって撮影される対象物と前記撮影装置との間の位置関係が特定の位置関係に保持されるように前記撮影装置に対するユーザの第1操作を補助する第1機能と、
前記対象物と前記撮影装置との間の角度が特定の角度に保持されるように前記撮影装置に対する前記ユーザの第2操作を補助する第2機能と、
を同時に実行する、
ように動作させるプログラム。
【0151】
(((1)))-(((5))),(((14)))に係る発明によれば、対象物と撮影装置との間の位置関係が特定の位置関係に保持されるように撮影装置に対するユーザの操作を補助する機能と、対象物と撮影装置との間の角度が特定の角度に保持されるように撮影装置に対するユーザの操作を補助する機能と、を順番に実行する場合と比べて、ユーザが対象物に対する撮影装置の姿勢を特定の姿勢に容易に保持することができる。
(((6)))に係る発明によれば、第1ガイドの表示位置を基準として予め定められた範囲の外側に第2ガイドを表示する場合と比べて、対象物に対する撮影装置の姿勢を特定の姿勢に保持するときのユーザの視線の移動量が少なくなる。
(((7)))に係る発明によれば、第1ガイドの外側に第2ガイドを表示する場合と比べて、対象物に対する撮影装置の姿勢を特定の姿勢に保持するときのユーザの視線の移動量が少なくなる。
(((8)))に係る発明によれば、ディスプレイに表示された第1ガイドに従って第1操作を行いつつ、音声による第2ガイドに従って第2操作を行うことができる。
(((9)))に係る発明によれば、対象物と撮影装置との間の位置関係が特定の位置関係になったことをユーザに伝えることができる。
(((10)))に係る発明によれば、対象物と撮影装置との間の角度が特定の角度になったことをユーザに伝えることができる。
(((11)))に係る発明によれば、第1操作又は第2操作のいずれが終了したのかをユーザに伝えることができる。
(((12)))に係る発明によれば、照合を誤判定する確率が低下する。
(((13)))に係る発明によれば、照合に要する時間が短縮する。
【符号の説明】
【0152】
10 登録用撮影装置、12 照合用撮影装置、14 照合装置、36 プロセッサ。