技術分野
カメラの位置と姿勢を、このカメラが撮像した画像を用いて求める技術に関するものである。
発明が解決しようとする課題[発明の詳細な説明]から抜粋
特許文献1に記載されている技術では、プラント保守などのように屋内においてARを実現する場合に、作業場所が屋内であるためGPSによる位置把握ができないという課題がある。屋内GPSも実用化されているが、施設の条件によっては設置が困難な場合がある。また、磁場の変化に対して敏感な電子コンパスや磁界センサは、プラント内部で使用できない場合がある。さらに、GPSおよび電子コンパスを使用する方法では、位置合わせの精度が画像ベースの位置合わせを実施できるほど高くない。
非特許文献1、特許文献2、特許文献3のように、2次元コードを作業場所にあらかじめ配置する技術では、2次元コードを設置する手間がかかり、場所によっては設置自体が困難なこともある。例えば、プラント内は配管等が複雑に入り組んでいるため2次元コードが隠れて撮影されない場合や、2次元コードを設置した位置にしか情報が提示できないため情報定時が離散的になるという課題がある。また、稼働中の機器に関しては2次元コードを設置することが困難である。
非特許文献2、特許文献4、特許文献5に記載されているモデルベースの方法は、CG画像とカメラ画像との照合によってカメラ位置と姿勢を推定することができるので、2次元コードやGPSなどを利用する必要がない。しかし、現実物体の3次元CADデータなどの3次元形状データをあらかじめ準備しておくことが必要となる。実際には、現実物体の3次元CADデータが存在しない場合や、例えば現場作業の仮定で設備を操作した結果として3次元CADデータが実際の形状と適合していない場合がある。このような場合には、3次元形状データを新規に作成する必要があるが、これには膨大な手間がかかる。この理由について以下に説明する。
3次元形状データを作成するために、レーザレンジファインダなどによって実際の形状を3次元計測する方法がある。レーザレンジファインダによって現実物体の形状と色を精密に計測することができる。レーザレンジファインダによる計測データは、点群である場合が多い。すなわち、大量の点群の3次元座標と各点における色が計測される。モデルベースの方法において計測データを適用する場合には、点群データなどの3次元計測データからポリゴンなどの面データを生成する必要がある。しかし、点群データから面データへの変換には多大な工数が必要である。
本発明は、のような課題に鑑みてなされたものであり、カメラが撮像した画像に基づきカメラの位置や姿勢を推定する場合において、事前に必要な作業量を削減することを目的とする。
課題を解決するための手段[発明の詳細な説明]から抜粋
本発明に係る画像処理装置は、対象物上の点の位置と色を記述した点群データとカメラが撮像した画像を比較することにより、カメラの位置と姿勢を推定する。
【発明の効果】
本発明に係る画像処理装置によれば、対象物を3次元計測することによって得られる点群データを準備しておくのみでカメラの位置や姿勢を特定できるため、GPSや電子コンパスのようなセンサが不要となり、かつ2次元コードをあらかじめ作業場所に設置する必要がなく、さらには対象物の3次元形状データ(面データ)をあらかじめ作成しておく必要がない。これにより、カメラの位置や姿勢を推定するために必要な事前の作業量を削減することができる。
この発明についての権利主張の範囲[特許請求の範囲]
知財ポータルサイト IP Force にログインして確認する (無料)
この特許公報に記載されている図面[図面の簡単な説明]から抜粋
【図1】実施形態1に係る画像ネットワークシステム1000の構成を示す図である。
【図2】カメラ付端末10の機能ブロック図である。
【図3】画像処理サーバ30の機能ブロック図である。
【図4】カメラ画像11のデータフォーマットを示す図である。
【図5】カメラ情報データ13のデータフォーマットを示す図である。
【図6】点群DB31の構成を示す図である。
【図7】メッセージDB32の構成を示す図である。
【図8】画像処理サーバ30がカメラ14の位置と姿勢を推定する方法を示す模式図である。
【図9】カメラ付端末10がカメラ14の位置と姿勢を取得する手順を示すシーケンス図である。
【図10】画像処理サーバ30がカメラ14の位置と姿勢を推定する手法の詳細を示すフローチャートである。
【図11】カメラ付端末10がメッセージを表示部16に画面表示する方法を示した模式図である。
【図12】カメラ付端末10がカメラ14の撮像範囲に付随するメッセージを取得する手順を示すシーケンス図である。
【図13】点群DB31が格納している点群データをカメラ14から見た座標に変換した2次元点群データ1300のデータフォーマットを示す図である。
【図14】実施形態2において画像処理サーバ30がカメラ14の位置と姿勢を推定する手法の詳細を示すフローチャートである。
【図15】実施形態3において画像処理サーバ30がカメラ14の位置と姿勢を推定する手法の詳細を示すフローチャートである。
【図16】実施形態4に係るカメラ付端末10の機能ブロック図である。
10:カメラ付端末、11:カメラ画像、12:メッセージデータ、13:カメラ情報データ、14:カメラ、15:通信部、16:表示部、17:制御部、30:画像処理サーバ、31:点群データベース、32:メッセージデータベース、33:データベース管理部、34:通信部、35:カメラ位置姿勢推定部、36:制御部、40:基地局、50:ユーザ、1000:画像ネットワークシステム。
全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録