特許 6262610 情報登録装置及び情報継続登録装置並びに方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6262610

(24)【登録日】2017年12月22日

(45)【発行日】2018年1月17日

(54)【発明の名称】情報登録装置及び情報継続登録装置並びに方法及びプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20180104BHJP

   G06T 19/00 20110101ALI20180104BHJP

【ＦＩ】

   G01B11/00 H

   G06T19/00 600

【請求項の数】11

【全頁数】21

(21)【出願番号】特願2014-138627(P2014-138627)

(22)【出願日】2014年7月4日

(65)【公開番号】特開2016-17757(P2016-17757A)

(43)【公開日】2016年2月1日

【審査請求日】2017年1月30日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】上野 智史

(72)【発明者】

【氏名】内藤 整

【審査官】 梶田 真也

(56)【参考文献】

【文献】 特開２０１４−１２３１９３（ＪＰ，Ａ）

【文献】 特開２００１−０９９６５０（ＪＰ，Ａ）

【文献】 特開２００５−３２７２０４（ＪＰ，Ａ）

【文献】 特開２０１０−１８１９１９（ＪＰ，Ａ）

【文献】 特開２０１３−２５８７０３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／０３０２６５０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − １１／３０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｇ０６Ｔ １１／６０ − １３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ − １９／２０

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

対象設備における作業部位が対象設備の面から乖離しており、且つ、作業部位を部分的に隠す構造が存在しうる対象設備に関して、拡張現実表示のために作業部位の位置を登録する情報登録装置であって、
マーカ付与された対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影部と、
前記画像より前記マーカの位置を認識するマーカ認識部と、
前記画像における作業部位の範囲の入力をユーザより受け付ける指示入力部と、
前記入力された範囲の各点を、その空間座標に基づいて分類する三次元位置算出部と、
前記分類された結果の中より、ユーザに対して作業部位に該当するものを選択させることで、前記入力された画像における作業部位の範囲の空間座標が当該選択された箇所に存在するものとして、前記認識されたマーカを基準とした作業部位の位置として登録する相対位置決定部と、を備えることを特徴とする情報登録装置。

【請求項2】

前記三次元位置算出部はさらに、前記認識されたマーカの位置よりマーカ平面を算出し、当該マーカ平面に平行と判定できる平面群を形成するように、前記入力された範囲の各点を分類することを特徴とする請求項１に記載の情報登録装置。

【請求項3】

前記三次元位置算出部は、前記入力された範囲の各点を、前記カメラ基準の空間座標の成分のうちのカメラ平面に対する奥行方向の成分に基づいて分類することを特徴とする請求項２に記載の情報登録装置。

【請求項4】

ユーザより、前記画像における対象設備の面の範囲の入力を受け付ける機器範囲入力部をさらに備え、
前記三次元位置算出部は、前記画像において範囲を入力された対象設備の面を空間座標内において算出して、前記算出するマーカ平面に代えることを特徴とする請求項２または３に記載の情報登録装置。

【請求項5】

マーカ付与された第一対象設備に関して請求項１ないし４のいずれかに記載の情報登録装置により既に登録された作業部位の情報を、当該第一対象設備と同種の第二対象設備に対して流用して拡張現実表示のために登録する情報継続登録装置であって、
前記既に登録された作業部位の情報を保存する登録情報保存部と、
マーカ付与された第二対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影部と、
前記画像より前記マーカの位置を認識するマーカ認識部と、
前記認識されたマーカの平面を基準として、前記画像上に、前記既に登録された作業部位の範囲を表示する登録情報表示部と、
前記登録情報表示部により表示された前記既に登録された作業部位の範囲を、前記画像における作業部位の範囲へと修正する情報をユーザから受け付ける指示入力部と、
前記修正する情報として入力された範囲の各点に対し、その空間座標に基づいて、前記画像の空間座標と合致していると判定される範囲を特定することにより、登録する作業部位を特定する三次元位置調整部と、を備えることを特徴とする情報継続登録装置。

【請求項6】

マーカ付与された第一対象設備に関して請求項４に記載の情報登録装置により既に登録された作業部位の情報を、当該第一対象設備と同種の第二対象設備に対して流用して拡張現実表示のために登録する情報継続登録装置であって、
前記既に登録された作業部位の情報を保存する登録情報保存部と、
マーカ付与された第二対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影部と、
前記画像より前記マーカの位置を認識するマーカ認識部と、
ユーザより、前記画像における対象設備の面の範囲の入力を受け付け、当該入力された面の範囲と、前記情報登録装置が備える前記機器範囲入力部に入力された範囲との空間配置の相違を求める機器範囲比較部と、
前記画像における作業部位の範囲の設定を、前記認識されたマーカの平面を基準として、前記既に登録された作業部位の情報に対する修正として、前記求められた空間配置の相違を適用する形で設定し、当該修正の形で設定された範囲の各点に対し、その空間座標に基づいて、前記画像の空間座標と合致していると判定される範囲を特定することにより、登録する作業部位を特定する三次元位置調整部と、を備えることを特徴とする情報継続登録装置。

【請求項7】

前記三次元位置調整部は、前記既に登録された作業部位の情報におけるマーカ平面と当該作業部位との基準距離に基づき、前記画像の空間座標のうち、そのマーカ平面との距離と前記基準距離との相違が所定閾値基準内に収まるもののみを対象として、前記合致していると判定される範囲を特定することを特徴とする請求項５または６に記載の情報継続登録装置。

【請求項8】

対象設備における作業部位が対象設備の面から乖離しており、且つ、作業部位を部分的に隠す構造が存在しうる対象設備に関して、拡張現実表示のために作業部位の位置を登録する情報登録方法であって、
マーカ付与された対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影段階と、
前記画像より前記マーカの位置を認識するマーカ認識段階と、
前記画像における作業部位の範囲の入力をユーザより受け付ける指示入力段階と、
前記入力された範囲の各点を、その空間座標に基づいて分類する三次元位置算出段階と、
前記分類された結果の中より、ユーザに対して作業部位に該当するものを選択させることで、前記入力された画像における作業部位の範囲の空間座標が当該選択された箇所に存在するものとして、前記認識されたマーカを基準とした作業部位の位置として登録する相対位置決定段階と、を備えることを特徴とする情報登録方法。

【請求項9】

マーカ付与された第一対象設備に関して請求項８に記載の情報登録方法により既に登録された作業部位の情報を、当該第一対象設備と同種の第二対象設備に対して流用して拡張現実表示のために登録する情報継続登録方法であって、
前記既に登録された作業部位の情報を保存する登録情報保存段階と、
マーカ付与された第二対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影段階と、
前記画像より前記マーカの位置を認識するマーカ認識段階と、
前記認識されたマーカの平面を基準として、前記画像上に、前記既に登録された作業部位の範囲を表示する登録情報表示段階と、
前記登録情報表示段階により表示された前記既に登録された作業部位の範囲を、前記画像における作業部位の範囲へと修正する情報をユーザから受け付ける指示入力段階と、
前記修正する情報として入力された範囲の各点に対し、その空間座標に基づいて、前記画像の空間座標と合致していると判定される範囲を特定することにより、登録する作業部位を特定する三次元位置調整段階と、を備えることを特徴とする情報継続登録方法。

【請求項10】

対象設備における作業部位が対象設備の面から乖離しており、且つ、作業部位を部分的に隠す構造が存在しうる対象設備に関して、拡張現実表示のために作業部位の位置を登録する情報登録方法をコンピュータに実行させるプログラムであって、
マーカ付与された対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影段階と、
前記画像より前記マーカの位置を認識するマーカ認識段階と、
前記画像における作業部位の範囲の入力をユーザより受け付ける指示入力段階と、
前記入力された範囲の各点を、その空間座標に基づいて分類する三次元位置算出段階と、
前記分類された結果の中より、ユーザに対して作業部位に該当するものを選択させることで、前記入力された画像における作業部位の範囲の空間座標が当該選択された箇所に存在するものとして、前記認識されたマーカを基準とした作業部位の位置として登録する相対位置決定段階と、をコンピュータに実行させることを特徴とするプログラム。

【請求項11】

マーカ付与された第一対象設備に関して請求項１０に記載のプログラムをコンピュータに実行させることにより既に登録された作業部位の情報を、当該第一対象設備と同種の第二対象設備に対して流用して拡張現実表示のために登録する情報継続登録方法をコンピュータに実行させるプログラムであって、
前記既に登録された作業部位の情報を保存する登録情報保存段階と、
マーカ付与された第二対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影段階と、
前記画像より前記マーカの位置を認識するマーカ認識段階と、
前記認識されたマーカの平面を基準として、前記画像上に、前記既に登録された作業部位の範囲を表示する登録情報表示段階と、
前記登録情報表示段階により表示された前記既に登録された作業部位の範囲を、前記画像における作業部位の範囲へと修正する情報をユーザから受け付ける指示入力段階と、
前記修正する情報として入力された範囲の各点に対し、その空間座標に基づいて、前記画像の空間座標と合致していると判定される範囲を特定することにより、登録する作業部位を特定する三次元位置調整段階と、をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象機器の操作・点検・修理方法をディスプレイと拡張現実技術を利用して作業者に提示するために、操作・点検・修理方法に関する情報を対象機器と紐付けて登録する等に好適な、情報登録装置及び情報継続登録装置並びに方法及びプログラムに関する。

【背景技術】

【0002】

作業者が機器の操作・点検・修理を行う際に、対象機器に関する情報(マニュアル等)を確認しながら作業をしたいニーズがある。これに対して、対象機器に関連する紙ベースのマニュアルを逐次参照しながら完全に人手のみに頼って作業を行う従来の方法がある。一方、当該方法では人手に依存する部分が過大であるため、対象機器の情報を電子データとして保持して、対象機器とは別の機器(例えばディスプレイ)を利用して、ディスプレイ上の対象機器の作業部位の画像に重畳して情報を提供する作業支援システムが提案されている。

【0003】

特に、ルータなどの通信機器を対象とした場合は、類似の形状のポートが機器に複数存在することが多く、作業者はマニュアルで参照する以外に、視覚的に操作・点検・修理のための作業部位を確認できることが望まれる。

【0004】

特許文献1には、対象機器とは別の、カメラとディスプレイを有する機器を利用して、事前に貼り付けたマーカをカメラで読み取ることにより対象機器の特定、および作業部位を特定し、さらにディスプレイに対象機器の作業部位に対する事前に登録した拡張現実表示データ（操作方法等)を、現実の映像を重畳させて表現する方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2013-258703号公報（情報提供システム）

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の従来技術は、画像認識技術により対象機器の作業部位の認識を実現し、対象機器の操作に対する機器の動きの遷移を視覚的に表示する。しかしながら、対象機器の操作方法などを提示する拡張現実表示データ等を、対象機器と紐付けて登録する、登録手法に関しての具体的な手法の提示がなかった。

【0007】

当該登録方法に関しては、次のような課題となる種々の状況がある。

【0008】

まず、前提として、対象機器は基本的には、すでに運用されているものと想定する。さらに、対象機器に対して提示する拡張現実表示データ等の相対位置を計算するための基準点を決定するために、QRコード（登録商標）などのマーカを後から貼り付ける場合を想定する。

【0009】

この場合に、作業部位に対して拡張現実による提示をするためには、マーカに対する拡張現実情報の相対位置を算出して保存する必要がある。そして、マーカと機器の相対位置を正確に算出する方法の一つとして、マーカを装置に実際に貼り付け、そのマーカと作業部位を撮影して画像から幾何学的に算出する方法がある。この時、以下の課題（１）（２）が生じる。

【0010】

（１）対象機器が現用であるため、すでに機器には複数の別の機器が接続されている場合がある。この場合、拡張現実情報を表示する作業部位の一部が隠れている等のために、画像から幾何学的に算出する手法では、作業部位の特定が難しい場合がある。

【0011】

（２）上記のようなケースにおいて、単純にマーカと作業部位の２次元上の位置を保存すると、保存した撮影位置以外からの視点から観察した場合に、マーカと作業部位の相対位置に乖離が生じ、作業部位に正しく拡張現実情報が重畳されない場合がある。

【0012】

図１は、当該課題（１）（２）を生じさせる対象機器の写真例（説明付き）である。対象機器は一例として通信機器であり、その筐体面に(a)に示すようにマーカが貼りつけられている。そして、既に運用されているため、(b)に示すようにポートにおける配線の切り替え等の作業対象となる領域においては、当該作業対象となりうるポートの中に、既に配線が施されることで一部隠れているポートや、それ自身には配線は施されていないものの別箇所の配線が横切ることで見えている部分の一部が遮られているポート等がある。

【0013】

このように、既に運用され配線等が施されて隠れる部分が現れることから、上記（１）の課題が生ずる。

【0014】

さらに、図２及び図３は、課題（２）を模式的に説明するための図である。図２は、図１のような通信機器を正面から見た際の模式的な図であり、筐体の面P1上にマーカM1が貼りつけられ、作業対象となるポート領域W1, W2, W3が示されている。なお、図２（及び図３）では、ポート領域を遮る配線は描くのを省略している。

【0015】

ここで、作業対象となるポート領域W1, W2, W3は、図２のように正面から見た場合は、2次元上の領域として扱うことが可能であるが、実際には面P1から突出した立体的な形状である。これを図３に示す。図３は、正面から見ていた図２に対して、斜めから見た際の図である。

【0016】

図３に示すように、ポート領域W1, W2, W3は例えば直方体であり、作業領域としてはマーカM1が乗っている面P1から突出した上面部分を特定する必要がある。しかし、図２のように面P1内の2次元的な位置情報の形で登録してしまうと、このように斜めから見る場合などに、当該登録した２次元的な位置情報から幾何学的に算出しても、正しい位置に拡張現実表示を提示できない。例えば、図３のように見えている場合であれば、2次元的に登録した位置情報で拡張現実表示を行うと、ポート領域W1, W2, W3の上面部分ではなく、それらの下面で平面P1と接している部分を対象として表示が行われてしまう。

【0017】

すなわち、従来技術の枠組みではマーカM1の平面P1内に作業領域が存在することを前提として位置情報を登録しているが、実際の作業対象は当該ポートW1, W2, W3のように立体であるために当該前提が使えず、平面P1に対して立体となるような角度から見た場合には当該平面P1上に存在することを前提に登録した位置情報による拡張現実表示は不適切な表示となってしまう。

【0018】

以上、課題（２）では、当該ポートW1, W2, W3等の上面部分を平面P1から離れた平面上にあるものとして位置情報を登録することが望まれるが、従来技術では平面P1上の2次元座標としての登録が前提であり、このような登録の枠組みが提供されていない。また、前述の課題（１）は、当該課題（２）を解決しようとする際に、さらなる課題として生じうるものである。

【0019】

以上、課題（１）（２）に対してさらに、別の課題（３）もある。

【0020】

すなわち、同じ（同種類の）対象機器が複数存在するケースを考える。この場合、マーカはそれぞれの対象機器を識別するために別のマーカにすることが望ましいが、一方で機器の操作方法などの提示情報は同じである場合があるために、同操作方法の登録情報を流用できることが望ましい。このことより、以下の課題（３）が生ずる。

【0021】

（３）複数の機器に対して後からマーカを貼り付ける場合、そのマーカを装置に対して特定の位置に正確に貼り付けることが難しいことに起因して、拡張現実表示データが実際の作業部位にうまく重畳されない場合がある。

【0022】

すなわち、同種類の対象機器について既に登録した位置情報を新たな対象機器に対してそのまま流用して拡張現実データ等の表示を行う場合は、当該流用しようとしている新たな対象機器に関して、既に登録した対象機器において貼りつけられているマーカの位置と全く同じ位置にマーカを張り付ける必要がある。しかしながら、マーカを手作業で張り付ける場合等特に、精度には限度があって正確な貼り付けは不可能であり、貼り付け位置はある程度ずれてしまうこととなる。この結果、流用した新たな対象機器において提示される拡張現実データ等は、貼り付けのずれの影響を受けることで、本来の位置に提示されないこととなってしまう。

【0023】

図４は、当該課題（３）を模式的に説明するための図であり、図２のマーカM1に対してポート領域W1, W2, W3の位置情報を登録した結果を、同種類の別の機器に流用する場合に生ずるずれを示している。マーカは位置M1に貼るべきであるが、右上側への平行移動及び反時計回りの回転を伴う形でずれて位置M10に貼ってしまった結果、本来のポート領域W1, W2, W3からずれた位置としてそれぞれポート領域W11, W12, W13が認識されてしまう。作業領域もP1からずれてP10となっている。この結果を用いて拡張現実データ等の表示を行おうとしても、ずれた位置に表示がなされてしまう。

【0024】

本発明は、上記課題（１）（２）に関連して、拡張現実データ等を表示させるために対象設備の作業部位の位置の登録を行う際に、作業部位が対象設備の面から乖離しており、且つ、作業部位を部分的に隠す構造が存在しうる状況であっても、作業部位の位置の登録が可能な情報登録装置並びに方法及びプログラムを提供することを第一の目的とする。

【0025】

また、本発明は、上記課題（３）に関連して、前記情報登録装置又は方法にて既に登録した結果を、同種の別の対象設備の登録において流用できるようにする情報継続登録装置並びに方法及びプログラムを提供することを第二の目的とする。

【課題を解決するための手段】

【0026】

上記第一の目的を達成するため、本発明は、対象設備における作業部位が対象設備の面から乖離しており、且つ、作業部位を部分的に隠す構造が存在しうる対象設備に関して、拡張現実表示のために作業部位の位置を登録する情報登録装置であって、マーカ付与された対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影部と、前記画像より前記マーカの位置を認識するマーカ認識部と、前記画像における作業部位の範囲の入力をユーザより受け付ける指示入力部と、前記入力された範囲の各点を、その空間座標に基づいて分類する三次元位置算出部と、前記分類された結果の中より、ユーザに対して作業部位に該当するものを選択させることで、前記入力された画像における作業部位の範囲の空間座標が当該選択された箇所に存在するものとして、前記認識されたマーカを基準とした作業部位の位置として登録する相対位置決定部と、を備えることを特徴とする。

【0027】

また、本発明は、対象設備における作業部位が対象設備の面から乖離しており、且つ、作業部位を部分的に隠す構造が存在しうる対象設備に関して、拡張現実表示のために作業部位の位置を登録する情報登録方法であって、マーカ付与された対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影段階と、前記画像より前記マーカの位置を認識するマーカ認識段階と、前記画像における作業部位の範囲の入力をユーザより受け付ける指示入力段階と、前記入力された範囲の各点を、その空間座標に基づいて分類する三次元位置算出段階と、前記分類された結果の中より、ユーザに対して作業部位に該当するものを選択させることで、前記入力された画像における作業部位の範囲の空間座標が当該選択された箇所に存在するものとして、前記認識されたマーカを基準とした作業部位の位置として登録する相対位置決定段階と、を備えることを特徴とする。

【0028】

また、本発明は、コンピュータに前記情報登録方法を実行させるプログラムであることを特徴とする。

【0029】

また、上記第二の目的を達成するため、本発明は、マーカ付与された第一対象設備に関して前記情報登録装置により既に登録された作業部位の情報を、当該第一対象設備と同種の第二対象設備に対して流用して拡張現実表示のために登録する情報継続登録装置であって、前記既に登録された作業部位の情報を保存する登録情報保存部と、マーカ付与された第二対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影部と、前記画像より前記マーカの位置を認識するマーカ認識部と、前記認識されたマーカの平面を基準として、前記画像上に、前記既に登録された作業部位の範囲を表示する登録情報表示部と、前記登録情報表示部により表示された前記既に登録された作業部位の範囲を、前記画像における作業部位の範囲へと修正する情報をユーザから受け付ける指示入力部と、前記修正する情報として入力された範囲の各点に対し、その空間座標に基づいて、前記画像の空間座標と合致していると判定される範囲を特定することにより、登録する作業部位を特定する三次元位置調整部と、を備えることを特徴とする。

【0030】

また、本発明は、マーカ付与された第一対象設備に関して前記情報登録方法により既に登録された作業部位の情報を、当該第一対象設備と同種の第二対象設備に対して流用して拡張現実表示のために登録する情報継続登録方法であって、前記既に登録された作業部位の情報を保存する登録情報保存段階と、マーカ付与された第二対象設備を撮影した画像を奥行マップと紐付けて取得し、当該画像において各画素位置に対応するカメラ基準の空間座標を紐付ける撮影段階と、前記画像より前記マーカの位置を認識するマーカ認識段階と、前記認識されたマーカの平面を基準として、前記画像上に、前記既に登録された作業部位の範囲を表示する登録情報表示段階と、前記登録情報表示段階により表示された前記既に登録された作業部位の範囲を、前記画像における作業部位の範囲へと修正する情報をユーザから受け付ける指示入力段階と、前記修正する情報として入力された範囲の各点に対し、その空間座標に基づいて、前記画像の空間座標と合致していると判定される範囲を特定することにより、登録する作業部位を特定する三次元位置調整段階と、を備えることを特徴とする。

【0031】

さらに、本発明は、コンピュータに前記情報継続登録方法を実行させるプログラムであることを特徴とする。

【発明の効果】

【0032】

本発明の情報登録装置又は方法若しくはプログラムによれば、マーカ付与された対象設備の画像を奥行マップと紐付けて取得することで各画素位置に対応するカメラ基準の空間座標を取得し、マーカ位置を認識すると共に、ユーザ入力を受けて画像上において作業部位の範囲を設定し、当該設定された範囲内の各点を、その空間座標に基づいて分類するので、ユーザ入力された範囲において、作業部位が対象設備の面から乖離する場合や、作業部位を部分的に隠す構造がある場合であっても、当該分類によって本来の作業部位の箇所を切り出すことができ、ユーザに当該切り出された本来の作業部位の箇所を選択させることができ、当該選択されマーカ基準で特定される箇所を対象として拡張現実データ等の登録が可能となる。

【0033】

本発明の情報継続登録装置又は方法若しくはプログラムによれば、前記情報登録装置又は方法により既に登録された作業部位の情報を、同種の対象設備に対して登録するに際して、当該登録対象となる対象設備の画像においてマーカ平面を基準として、既に登録された作業部位を表示し、当該表示に対してユーザより修正させる形で画像における作業部位の範囲を受け付け、当該修正させる形で入力された範囲の空間座標に対して、当該対象設備における画像の空間座標の中で合致していると判定される範囲を特定することで、空間座標に反映された作業部位の形状の一致に基づいて、当該対象設備における作業部位を特定することができる。従って、ユーザの立場では微調整のための修正入力のみで、作業部位の情報を別の対象設備においても流用することができるようになる。

【図面の簡単な説明】

【0034】

【図1】課題（１）（２）を生じさせる対象機器の写真例（説明付き）である。

【図2】課題（２）を模式的に説明する図であり、対象機器を正面から見た際の模式的な図である。

【図3】課題（２）を模式的に説明する図であり、対象機器を斜めから見た際の、作業領域における立体的な効果を示す模式的な図である。

【図4】課題（３）を模式的に説明する図である。

【図5】第一実施形態に係る情報登録装置の機能ブロック図である。

【図6】図１の画像の例に対して検出されたマーカを示す図である。

【図7】機器範囲入力部において、ユーザが指定する４隅の書き込みの例を示す図である。

【図8】指示入力部により、ユーザが作業部位の領域を書き込んで指定する例を示す図である。

【図9】図８にて指定した作業部位の近辺を拡大したものである。

【図10】図６（及び図７、図８）を機器の立面図（に対応する写真）とみたてた時の、平面図(上から見た図)の概念図であり、クラスタリング結果を模式的に説明するための図である。

【図11】ユーザが設定する任意視点により平面候補を選択させる際の画面の例を示す図である。

【図12】第二実施形態に係る情報継続登録装置の機能ブロック図である。

【発明を実施するための形態】

【0035】

以下、本発明の各実施形態について、図面を用いて詳細に説明する。まず、課題（１）、（２）に関連する第一実施形態を説明する。

【0036】

図５は、第一実施形態に係る情報登録装置の機能ブロック図である。情報登録装置10は、撮影部11、マーカ認識部12、機器範囲入力部13、指示入力部14、三次元位置算出部15、相対位置決定部16及び情報登録部17を備える。図５にて、機能部間の矢印の上流側の機能部で取得された情報は、任意の下流側の機能部で利用可能となる。

【0037】

当該各部の詳細は以下の通りである。

【0038】

撮影部11では、マーカが付与されその作業部位が含まれた対象設備を撮影してその画像データを取得する。この際、同時に奥行きマップも取得する。当該撮影される対象設備は、図１の(a)に例を示したように、予め適切な位置にマーカが貼りつけられている。

【0039】

ここで、奥行きマップは、例えば既存の赤外線センサの計測に基づく手法や、可視光カメラを２つ以上並列に並べたステレオカメラの対応点検出に基づく手法等の周知手法により取得できる。当該奥行きマップを取得可能な具体的なデバイスとして例えば、カメラとデプスセンサとが備わる以下のURLに開示のタブレット等を利用することができる。
http://techcrunch.com/2014/06/05/googles-project-tango-tablet-is-a-1024-7-inch-tegra-k1-powered-device-with-depth-sensing/

【0040】

また、撮影部11にて取得の際に、可視光カメラによる画像と奥行きマップのピクセル上の位置(u,v)の対応を取っておく。すなわち、任意の画素(u,v)(ピクセル)に対して、色の画素値(RGB)に加えて、奥行マップd(u, v)を変換することにより、カメラ中心を基準値とした実空間の座標上の位置(x,y,z)(mm)が利用できる。例えば、xはカメラ平面に対して右向き、yはカメラ平面に対して上向き、zはカメラ平面に対して奥行に関する座標情報となる。可視光カメラを基準とした座標(x, y, z)と奥行マップd(u, v)の対応付けは、例えば以下の非特許文献１に記載のRGBDemoによる手法を利用できる。なお、z=d(u, v)である。

【0041】

[非特許文献1] ： RGBDemo
http://labs.manctl.com/rgbdemo/index.php/Documentation/KinectCalibrationTheory

【0042】

続いてマーカ認識部12では、撮影部11で取得した画像からマーカを検出する。マーカ検出法は、例えば、以下の非特許文献2に記載のARToolKitによる手法を利用できる。
[非特許文献2]：ARToolKit: http://www.hitl.washington.edu/artoolkit/

【0043】

図６に、図１の画像の例に対して検出されたマーカを示す。当該検出されたマーカに関して、例えば４隅の位置情報(ui,vi,xi,yi,zi；i=1, 2, 3, 4；２次元画像上の位置およびカメラからの３次元位置)を保存する。なお、マーカ検出は画素(u,v)の値のみで可能であり、当該画素(u, v)の位置として検出されたマーカの4隅の位置に、予め撮影部11で紐付られているカメラ基準の3次元位置(x, y, z)を加えることで、上記情報(ui,vi,xi,yi,zi)が得られる。

【0044】

機器範囲入力部13では、マーカ認識部12でマーカ認識された画像を対象として、マーカに対する機器(対象設備)の全体の位置をユーザに入力させて、その画素上の2次元位置(u, v)および対応する３次元位置(x, y, z)を保存する。ここで、入力は画素(u, v)を介してユーザに行わせることで、予め撮影部11で紐付けられている対応する３次元位置(x, y, z)が自動取得される。

【0045】

具体的には例えば、画像をディスプレイに表示し、タッチパネルやマウスを利用することでユーザに対して機器の4隅を指定させる。当該ユーザが指定する４隅の書き込みの例を図７に示す。図７では、図６で示した[0]に示すマーカ検出された画像において、[1]〜[4]で示すようなユーザが書き込みをしたカギ型により４隅が指定されている。なお、機器範囲入力部13は省略されてもよい。

【0046】

指示入力部14では、拡張現実表示等をするための部位としてユーザが所望する（あるいは作業マニュアル等に予め設定されている）作業部位を指定するために、撮影部11で得た後にマーカ認識部12等の処理を経た画像に対して、マーカとの相対位置の入力をユーザより受け付ける。

【0047】

具体的には画像をディスプレイに表示し、ユーザはタッチパネルやマウスを利用して、作業部位に相当する一連の画素(u, v)を指定することにより、位置情報の書き込みができる。マーカ位置は既に認識されているので、当該指定によりマーカとの相対位置も自動で取得されることとなる。

【0048】

作業部位を指定するためには、長方形、円形、楕円形その他の所定の幾何形状モデルが利用可能となっており、ユーザは所望の幾何形状モデルを選択して、種々の編集を加えることにより、一連の領域としての作業部位を画素(u, v)上に指定する。編集としては、平行移動、回転、拡大、射影変換等が利用可能であり、それらのパラメータはスライドバー等でユーザが調整可能となっている。また、既に指定した領域の中から、削除（指定対象から解除）するような編集も可能である。なお、作業部位の形状が予め決まっていれば、当該形状をパラメータ調整可能な幾何モデルとして用意しておくことが好ましい。

【0049】

指示入力部14により、ユーザが作業部位の領域を書き込んで指定する例（図６以降の一連の例に対応する例）を、図８に示す。[5]に示すように、ここでは矩形枠組みの形で、作業部位が指定されている。なお、当該矩形枠組みは幾何モデルとして予め用意しておいて入力するようにしてもよいし、大きな長方形の全体を指定したうえで、その内部から小さな長方形を指定解除することによって入力するようにしてもよいし、枠組みの４辺をそれぞれ長細い矩形として入力したものを組み合わせるようにしてもよい。

【0050】

なお、図８の例では、作業部位のポートは、外形が長方形であり、内部に長方形の凹部があることで、当該矩形形状の枠組みの縁が形成されている、という形状であることを前提に、中空の矩形枠組みで作業部位の指定がなされている。そのような中空の構造を取らない作業部位であれば、例えば穴のない長方形として作業部位を指定してもよく、それぞれの個別具体的な作業部位の形状に応じて、指定をすればよい。

【0051】

図９は、図８にて指定した作業部位の近辺を拡大したものである。図９より見て取れるように、前述の課題（１）が生じている。すなわち、指定範囲内のポートの前面にケーブルが存在することによりポートの一部が隠れてしまい、ポート全面が撮影されていない。また、このようなポートは、図９では正面から撮影されているので見て取れないものの立体形状であるため、前述の課題（２）も生じさせる。

【0052】

このように一部分が隠れている場合があり、立体構造となっている作業部位としてのポートの領域を適切に見つけ出すために、三次元位置算出部15では、指示入力部14で取得したユーザ書き込み領域(u, v)が表している一連の３次元の点(x,y,z)を対象として、クラスタ分類を行う。空間座標(x, y, z)を対象としたクラスタ分類により、ユーザ書き込み領域(u, v)において立体構造で分かれている各部分を分離することが可能となる。

【0053】

クラスタ分類手法としては、しきい値による分類や、一般的な教師なしクラスタ分類手法のK-means法を利用して自動的に分類することができる。分類の数Kは固定(例えばK=4)でもよいし、ユーザに選択させても良い。また複数のKを試し、各クラスタのクラス間分散の総和を各クラスタのクラス内分散の総和で除した値が最大値を取るKなど、統計的に算出した値を利用してもよい。

【0054】

また、図８、図９の例のように、ポートがオス型メス型等の凹凸がある型である場合に、当該型にフィットする矩形枠組み領域上の点を利用することで、正確に対象部位の3次元位置を登録できる。その他の形状である場合も、適切にフィットする形状を用いることで、正確に対象部位の3次元位置を登録できる。

【0055】

当該クラスタリングの際、一実施形態では、マーカ認識部12にて先に検出したマーカ位置の3次元位置から、三次元位置算出部15においてマーカ平面を算出しマーカ平面と平行な平面群（平行と判定できる平面群）として分類することができる。すなわち、分類された３次元位置の一連の点を平面フィッティングすると、所定基準でマーカ平面と平行になっていると判定できるような形で、分類を行う。

【0056】

なお、当該実施形態では、その位置情報を登録しようとしている作業部位は、マーカが貼られた対象設備の面とは乖離した、当該面と平行な面（所定基準で平行と判定できる面）上にあることを前提としている。また、貼りつけられていることによりマーカ平面は対象設備の面と一致（所定基準で一致と判定できる）していることを前提としている。

【0057】

マーカ平面に平行な平面群に分類する一実施形態として、例えば、３次元座標(x, y, z)の値ではなく、奥行値zを各点を表す値としてクラスタリングする（奥行値zのみに基づいてクラスタリングする）ことで、マーカ平面と平行な平面群に分類することができる。なお、ここで前提として、撮影部11においては対象設備の前面にマーカを張り付け、概ね正面から撮影しているものとする。

【0058】

また、マーカ平面に平行な平面群に分類する一実施形態として、マーカ平面に垂直な軸の方向における位置によってクラスタリングを行うようにしてもよい。すなわち、各点の３次元座標(x, y, z)を、マーカ平面に垂直なある軸に投影（マーカ平面に水平な向きに移動することで投影）し、当該軸上の位置に基づいて各点をクラスタリングしてもよい。なお、マーカ平面を撮影部11が真正面から撮影している場合は、当該実施形態は上記の奥行値zでクラスタリングする実施形態に一致する。

【0059】

以上、マーカ平面に平行な平面群に分類する各実施形態において、平面の検出方法は例えば、マーカの4隅の3次元位置から最小二乗法等を利用して統計的に平面を推定してもよいし、マーカ領域内の一連の３次元位置を利用して最小二乗法等を利用して統計的に平面を推定してもよい。

【0060】

また、機器範囲入力部13を利用したことにより装置領域の入力がある場合は、その4隅の３次元位置により、あるいは当該4隅内全体より、上記同様に最小二乗法等を利用して統計的に平面を推定した結果をマーカ平面と見なして利用してもよい。

【0061】

また、特にマーカ平面は利用しないが、３次元座標(x, y, z)の各点の空間分布を考慮してクラスタリングする実施形態として、次が可能である。

【0062】

一実施形態では、3次元座標(x, y, z)の点群に対して主成分分析(PCA)を行い、主成分となる2次元軸を算出し、そのうちの第一軸を基準にして3次元座標の点群をクラスタリングするようにしてよい。当該所定の軸方向のクラスタリングは、当該方向を対象として、前述のマーカ平面に垂直な軸の方向のクラスタリングで説明したのと同様に行えばよい。なお、PCAにより第一軸と第二軸はそれぞれ垂直になる。

【0063】

一実施形態では、ユーザがマニュアル作業によって平面図等を参照してクラスタリングの角度を指定したうえで、当該指定された角度の軸方向でクラスタリングを行ってもよい。当該所定の軸方向のクラスタリングは、当該方向を対象として、前述のマーカ平面に垂直な軸の方向のクラスタリングで説明したのと同様に行えばよい。平面図に関しては、次に説明する図１０のようなものと同様のものをユーザに提示すればよい。あるいは、平面図ではなく後述の図１１のような任意視点の図をユーザに提示してもよい。ユーザは当該提示された３次元的な図を参照して直接、所望の方向を指定することができる。

【0064】

図１０は、図６（及び図７、図８）を機器の立面図（に対応する写真）とみたてた時の、平面図(上から見た図)の概念図である。すなわち、図６等では機器をその作業対象となる前面から真っすぐ見ている状態に対応するのに対し、図１０は当該機器を真上から見ることで、機器の前面に平行な方向で見ている状態の概念図であり、クラスタリング結果を模式的に説明するための図である。ここでは、マーカ平面に平行な平面群に分類した場合を例としている。

【0065】

図１０では、[1]にマーカ平面が示され、[2]〜[4]の点線の丸で囲まれた部分がクラスタリング対象となる一連の３次元座標の各々の帰属を表し、[5]がクラスタリング結果の説明を示している。[3]に示すユーザが入力した矩形枠組みに対応する3次元座標点は、実際にはそれぞれ[2]の装置平面（マーカを貼りつけるのでマーカ平面と一致）と、[3]の本来のポート部分と、[4]の本来のポート部分が見えるのを邪魔しているケーブル部分と、に対応するものであり、[5]に示すように、平面の向きを考慮したクラスタリングによってそのような実際の立体構造を反映した本来の各部分に(クラスタリング結果の平面C1, C2, C3)適切に分類されている。

【0066】

すなわち、[5]のようにマーカ平面を基準に、マーカ平面と平行に3平面(クラスタリング結果の平面C1, C2,C3)に分類され、その結果が出力される。なお、出力の標準値(初期値)はマーカ平面と最も距離が小さい平面(ここでは実際にマーカ平面P1に一致している平面C1)とすればよい。

【0067】

なお、抽出したい本来の作業領域に対して、画素(u, v)上においてある程度広い領域を指示入力部14においてユーザ入力で指定しておくことにより、図１０に模式的に示すような分類結果が得られることとなる。

【0068】

相対位置決定部16では、三次元位置算出部15で出力された複数の作業部位の平面候補をユーザに提示し、ユーザに対して作業部位の平面を選択させることで、複数の中から本来の作業部位となる平面を決定する。なお、ユーザによる選択が省略された場合は、前述の三次元位置算出部15による出力の標準値(初期値)、すなわちマーカ平面と最も距離が小さい平面を選択結果とすればよい。

【0069】

ユーザが平面を選択すると、相対位置決定部16では、指示入力部14においてユーザが画像(u, v)上の範囲として入力した作業部位の範囲が、従来技術における登録のようにマーカ平面上にあるのではなく、当該ユーザが選択した平面上にあるものとして、当該作業部位の範囲の空間座標(x, y, z)を決定する。当該決定された空間座標(x, y, z)は情報登録部17に登録され、その位置情報に基づいて拡張現実表示等が可能となる。

【0070】

ここで、当該決定された作業部位の範囲の空間座標(x, y, z)は、マーカ平面を基準として設定されるが、マーカ平面上には乗っていない範囲となる。例えば、図３の例であれば、平面P1から突出しているポートW1の前面を作業部位の範囲として登録する場合、マーカM1を基準として定まる平面P1（が定める空間座標）を基準として、その位置情報が設定されることとなる。なお、ユーザ選択した平面がマーカ平面と一致していた場合には、結果的に、従来技術と同様にマーカ平面上に作業部位がある（マーカ平面上に作業部位が乗っている）ものとして登録されることとなる。

【0071】

なお、マーカ平面及びマーカ位置（その四隅など）は三次元位置算出部15等においてカメラ基準の空間座標(x, y, z)内のものとして算出されている、ユーザの選択した平面も同様にして、カメラ基準の空間座標(x, y, z)内のものとして相対位置決定部16が算出すればよい。当該両平面の情報を用いて、指示入力部14において画素(u,v)上の領域として入力したものに対応する作業部位の範囲の空間座標(x, y, z)を、マーカ平面を基準に、また、拡張現実表示を可能とすべくマーカを基準に、ユーザ選択した平面上にあるものとして設定することができる。

【0072】

ユーザに当該選択させる際には、種々の表示形式を利用することができる。例えば、前述の図１０に示すような平面図の形式で、[5]に示すように平面C1, C2, C3の中からユーザに選択させることができる。この場合、平面C1はマーカ平面と一致している旨も、図１０に示すように表示することでユーザに把握可能とさせることができる。なお、図１０のような平面図は、撮影部11で取得済みのカメラ基準座標値(x, y, z)から作成することができる。

【0073】

例えば、図８及び図９のように矩形枠組みの領域(u, v)として入力したポート（作業部位）に対して、図１０の平面C2を選択した場合、当該矩形枠組みの領域(u, v)が全て平面C2上にあるものとしてその３次元座標(x, y, z)が登録される。作業部位としてその他の形状(u, v)を入力した場合も全く同様である。当該登録された作業部位の3次元座標(x, y, z)は、マーカ基準の座標によって、マーカ平面と平行な何らかの平面上にあるものとして与えられることで、当該登録された作業部位の領域において拡張現実表示等が可能となる。

【0074】

なお、マーカ平面と作業部位の平面が平行でない場合は、上記平面図で確認できるクラスタ分類結果を元に、ユーザが任意に作業部位の3次元位置を指定しても良い。マーカ平面と作業部位の相対位置は、例えば、マーカ平面の左上を原点として3次元空間を設定し、3次元空間上の位置として保存する。

【0075】

また、クラスタリング結果の選択は、図１０のような平面図の形式の他にも、分類された複数の平面候補を、その３次元座標の値によって実際に空間に配置して、ユーザが選択できるようにしてもよい。すなわち、平面図はある特定の視点として、対象設備前面を真上から見た状態に相当するが、ユーザが設定可能な任意視点で見た状態により、平面候補をユーザに選択させるようにしてもよい。なお、当該任意視点で見た状態による表示は、3次元CAD等の分野において周知であり、当該任意視点をユーザが自由に動かして空間内の各平面候補を把握可能とすることができる。

【0076】

図１１に、ユーザが設定する当該任意視点により平面候補を選択させる際の画面の例を示す。当該図１１の例は、図１０の例と対応している。図１１では、クラスタリング結果の平面C1, C2, C3がそれぞれ空間的に表示されている。平面C1については、マーカ平面P1と共通である（マーカ平面P1内に平面C1がある）ことが空間的に表示されている。

【0077】

また、当該図１１に示すような任意視点で表示された平面C1, C2, C3を提示するに際して、その表面に、対応する撮影部11で取得した画素(RGB値等としての画素)を張り付けることで、各平面が実際の写真上では何に対応しているのかを、ユーザが把握可能となるようにしてもよい。こうして、ユーザは立体表示された平面C1上に対象設備の前面部分の写真を、平面C2上にポート部分の写真を、平面C3上にケーブル部分の写真を、それぞれ実際に確認することで、より確実に平面C2を選択することができる。より確実に確認できるようさらに、マーカ平面P1上に対象設備の前面部分の写真を張り付けるようにしてもよい。

【0078】

なお、表面に対応する写真の部分を当該張り付ける手法としては、以下の非特許文献3に開示の手法等を利用すればよい。
[非特許文献３]：PCL - Point Cloud Library (PCL) [URL; pointcloud.org]

【0079】

情報登録部17は、相対位置決定部16にて選択されることで、マーカを基準としてその空間的な相対位置（及び範囲）が決定した当該作業部位に対して、ユーザ入力により、当該作業部位に関する作業指示その他の、作業に関連する情報を紐付けて登録する。当該登録に際しては、拡張現実表示等が可能な形で、表示する情報を登録してもよい。なお、作業に関連する情報は、ユーザがマニュアル入力するのに代えて、作業IDのみ等を入力することで、別途のサーバ等から作業に関連する情報が自動で取得されるようにしていてもよい。

【0080】

以上、図５の各部を説明した。ユーザが実際にある１つの対象設備の各作業部位に関して登録を行う場合には、次のようにすればよい。すなわち、当該対象設備について撮影部11により1枚の奥行マップ付きの画像を取得してマーカ認識部12によりマーカ認識したうえで、当該マーカ認識された1画像を対象として、登録する作業部位ごとに指示入力部14、三次元位置算出部15、相対位置決定部16及び情報登録部17を実行すればよい。機器範囲入力部13については、当該マーカ認識された1画像を対象として1回実行すれば、その情報を登録する作業部位の各々において共通して利用することができる。

【0081】

なお、情報登録装置10においては、（制約１）対象設備における作業部位が対象設備の面から乖離する場合、且つ、（制約２）作業部位を部分的に隠す構造がある場合、に対処して作業部位の情報を登録することが可能であるが、当該制約１，２の片方のみのが課された場合、あるいは当該制約１，２のいずれも課されていない場合、であっても、全く同様の動作により作業部位の情報を登録することが可能である。

【0082】

なお、制約１，２の片方のみが課されている場合、両者が課された場合よりもクラスタリング結果の数が減ることとなる。制約１，２のいずれも課されていない場合、さらにクラスタリング結果の数が減ることとなる。

【0083】

次に、課題（３）に関連する第二実施形態を説明する。課題（３）に関して図４で説明したように、第二実施形態では、次を前提とする。すなわち、第一実施形態の情報登録装置10によって、既にある対象設備E1の１箇所以上の作業部位Ri(i=1, 2, … , n)に対して、張り付けたマーカM1に対する相対位置がRM1i(i=1, 2, … , n)決定され、当該決定された位置において作業等に関連する情報が登録されている。

【0084】

そして、第二実施形態においては、次の実現を目指す。すなわち、当該登録済みの対象設備E1と同種類（メーカー型番等が同一で、同一形状であるもの）の対象設備E2において、ユーザがマニュアルで対象設備E1にマーカM1を貼りつけたのと概ね同じ位置に同一種類のマーカM2を張り付けた場合に、既に決定されている相対位置RM1i(i=1, 2, … , n)の情報を流用することを目指す。

【0085】

この際、相対位置RM1i(i=1, 2, … , n)の情報をそのまま流用すると、図４で説明したように、マーカM2を設備E2にマニュアルで張り付けた際の誤差（マーカM1を設備E2に貼りつけた位置との誤差）がそのまま反映されて拡張現実表示等を行うための位置がずれてしまう。そこで、相対位置RM1i(i=1, 2, … , n)の情報を流用して既に登録済みの作業の内容を活かすようにして、当該流用に伴う誤差（位置ずれ）を解消するようにするのが、第二実施形態である。

【0086】

図１２は、第二実施形態に係る情報継続登録装置の機能ブロック図である。情報継続登録装置20は、撮影部21、マーカ認識部22、登録情報表示部29、機器範囲比較部23、指示入力部24、三次元位置調整部25、相対位置決定部26、情報登録部27及び登録情報保存部28を備える。図１２にて、機能部間の矢印の上流側の機能部で取得された情報は、任意の下流側の機能部で利用可能となる。

【0087】

図１２の情報継続登録装置20は、図５の情報登録装置10により上記説明したように、既にある対象設備E1の１箇所以上の作業部位Ri(i=1, 2, … , n)に対して、張り付けたマーカM1に対する相対位置がRM1i(i=1, 2, … , n)決定され、当該決定された位置において作業等に関連する情報が登録されたことを前提に利用される。当該既に登録された相対位置RM1i(i=1, 2, … , n)や、対応して情報登録部17に登録された情報を、設備E1と同一種類の別設備E2にマーカM2を貼る際にも流用して活用すべく、登録情報保存部28が保存している。

【0088】

図１２の情報継続登録装置20と、図５の情報登録装置10とのそれぞれの機能ブロックにおいて、互いに対応する参照番号（下1桁が共通）を付しているものは、同一あるいは対応する機能を担う。なお、同一の装置（コンピュータ等）が、情報登録装置10と情報継続登録装置20との両者の機能を兼ねることも可能である。

【0089】

情報継続登録装置20の各部の詳細は以下の通りである。

【0090】

撮影部21は、その機能に関しては撮影部11と同一であり、画像の取得対象として、マーカM2が貼りつけられた対象設備E2において作業部位を含んだ画像データを取得する。同様に、同時に奥行きマップd(u,v)も取得し、カメラ基準の空間座標(x, y, z)となす。

【0091】

続いて、マーカ認識部22はマーカ認識部12と同一の機能により、撮影部21で得た可視光画像中からマーカ領域を検出する。

【0092】

さらに、機器範囲比較部23では、対応する情報登録装置10の機器範囲入力部13で機器範囲が入力されている場合に、ユーザに指示入力画面を提示し、本設備E2に対しても情報登録装置10での処理と同様に対象機器範囲の入力を受け付ける。機器範囲入力部13で機器範囲が設定されていない場合は、本動作は省略される。

【0093】

登録情報表示部29では、設備E1を対象として情報登録装置10において先に登録した位置情報(x, y, z)（マーカM1平面を基準とした空間座標としての位置情報）を、当該情報を保存している登録情報保存部28から読み込んで、マーカM2平面を基準として作業部位ごとに、撮影部21の取得した対象設備E2の画像上に、その画素(u, v)上に当該作業部位の領域を表示することでユーザに対して表示する。当該表示は、次に説明する指示入力部24におけるユーザ入力のためのものである。

【0094】

ここで、登録情報保持部28ではマーカM1平面を基準点として作業部位の3次元位置が保存されているため、周知の透視投影変換を適用することにより、マーカM2平面を基準として、作業部位ごとに画面（撮像部21の取得した対象設備E2の画像が写った、ユーザに表示するための画面）上に画素(u, v)が占めている領域として当該保存されている3次元位置を表示できる。すなわち、登録情報保存部28に保存された設備E1のマーカM1基準の作業部位が、仮にマーカM1が当該対象設備E2におけるマーカM2の位置姿勢を取っていた場合には、連動して位置姿勢が変化することによりこのように見えることとなる、という変換関係が透視投影変換で与えられるので、上記のような表示が可能となる。

【0095】

なお、新たにマーカM2が付与された対象設備E2を撮影部21で撮影する場合と、登録情報保存部28に保存されたマーカM1が付与された対象設備E1を撮影部11で撮影した場合と、を比べると、各設備E1,E2に付与したマーカM1, M2の位置の違いの他に、撮影の際のカメラ位置姿勢の違いが存在している。登録情報表示部29における当該透視投影変換を利用した表示により、当該カメラ位置姿勢の違いが自ずと吸収されることとなり、カメラ位置姿勢の違いが問題となることはない。一方、以下の指示入力部24以降の処理により、マーカM1,M2の位置の違いによる問題が解消されることとなる。

【0096】

指示入力部24では、上記の登録情報表示部29で表示した作業部位の表示位置を、当該対象設備E2が撮影された画像内において、ユーザがその表示位置の修正を行えるようにする。

【0097】

なお、前述の図４は、指示入力部24によってユーザが当該修正する際に、登録情報表示部29に当該表示される画面の模式的な例を示す図でもある。図４にて、例えば登録情報保存部28にマーカM1を基準に作業部位W1が既に保存されていた場合、登録情報表示部29では新たに貼ったマーカM10（以上の説明におけるマーカM2に該当）を基準とした作業部位として領域W11を表示することとなる。この場合、ユーザは表示された領域W11を、実際の作業部位の領域である領域W1に可能な限り一致するように修正するための入力を、指示入力部24を介して行うこととなる。

【0098】

指示入力部24にてユーザ入力として受け付ける表示位置の修正は主にマーカ平面上の平行移動と回転に基づくもので、ユーザが自身で調整が可能である。こうして、登録情報保存部28から読み込まれ、マーカM2を基準として表示された位置情報（ずれている）を、ユーザが調整することで、設備E2の画像上の作業部位に重なるようにすることで、ユーザは当該作業部位に関しての修正を終える。

【0099】

当該修正により、指示入力部24では、3次元座標(x, y, z)ではなく画素(u, v)上の位置関係として、マーカM2を基準とした修正された作業部位の領域の情報を受け取ることとなる。なお、最終的に必要な情報としての、マーカM2を基準とした作業部位の3次元座標(x, y, z)の位置の調整及び決定は、後述する三次元位置調整部25以降において行われる。

【0100】

なお、図４は、マーカを対象設備の面上に付与する際の、平面上における位置及び平面上の回転によるずれを模式的に示すものとなっている。マーカM1,M2は同種類の対象設備E1,E2にて互いに対応する面の概ね同じ箇所に手作業で貼られることとなるが、両者の間で、平面上の位置及び回転によるずれが発生することとなる。指示入力部24により、このようなずれが（ユーザ入力で可能な精度において）修正されることとなる。

【0101】

また、機器範囲比較部23で機器範囲が設定されている場合は、それぞれの装置E1,E2のそれぞれのマーカM1,M2を基準とした3次元位置情報を元に、例えば最小二乗法を利用して機器E1,E2の3次元位置情報間のフィッティングを行い、指示入力部24によるユーザによるマニュアル作業による修正に代えるようにしてもよい。同一のマーカM1,M2を同一形状の面（機器範囲の面）に貼っていることから明らかなように、当該機器E1,E2間の3次元位置情報のフィッティングは、マーカM1,M2間における3次元位置情報のフィッティングと一致し、マーカM1,M2を貼った位置・向きの違いと、これを撮影した撮影部11,21での撮影位置姿勢の違いとが反映された情報となっている。

【0102】

なお、指示入力部24では画素(u, v)上にてユーザ入力に基づく修正情報を取得したが、これに代えて機器範囲比較部23で修正情報を取得する場合は、上記のように、画素(u, v)上ではなく3次元座標(x, y, z)上で直接、修正情報が取得されることとなる。当該マーカM1,M2間における位置のフィッティングの情報は、透視投影変換の形で得られることとなる。

【0103】

三次元位置調整部25では、指示入力部24により2次元上（画素位置(u, v)上）の位置合わせが行われた拡張現実情報位置に対して、対象設備E2の対象部位の3次元位置(x, y, z)の調整を行う。

【0104】

流用により登録する対象機器E2に関して撮影部21で取得済みのデプスマップデータ(すなわちカメラ基準の座標(x, y, z)のデータ)から、機器E1に関して事前に登録され登録情報保存部28に保存されたマーカM1を基準とした作業部位の位置情報（主にマーカM1の平面と作業部位の位置情報との3次元位置の距離）を利用して、前記デプスマップに対してフィルタ処理を行う。例えば先に登録した作業部位の位置情報が、マーカM1平面に対してdの距離(分布がある場合、平均値を取ればよい)に存在する場合、登録する対象機器E2のデプスマップデータからマーカM2平面を基準にしてd±εの距離のデプス情報のみをフィルタ処理により選別して利用する。εは任意の小さな値である。

【0105】

当該フィルタ処理後に値が存在するデプスマップ情報と、指示入力部24で調整した位置情報(u, v)に対応する一連の空間座標(x, y, z)とのフィッティングを行う。そして、当該フィルタ処理後に値が存在するデプスマップ情報のうち、当該フィッティングした部分における3次元座標(x, y, z)の占める範囲が、最終的に求める機器E2におけるマーカM2基準の作業部位の範囲となる。

【0106】

なお、当初の機器E1（機器E2が流用した機器）を対象とした情報登録装置10の指示入力部14において作業部位の所定形状（例えば図９等）を入力しているので、当該所定形状を登録情報保存部28に記憶しておき、上記フィッティングで求まった3次元座標(x, y, z)の占める範囲に、当該保存された所定形状をさらにフィッティングして割り当てるようにすることで、拡張現実表示等の際の表示領域を定めるようにすればよい。

【0107】

上記のデプスマップ情報と一連の空間座標(x, y, z)とのフィッティングには例えばICP(iterative closest point)アルゴリズムを利用する。これによりマーカM1,M2を貼り付ける平面が装置E1,E2間で同一の場合は、マーカの貼り付け位置に多少位置ずれ（マーカ平面と水平な方向の位置ずれ）がある場合においても容易に位置情報の位置を修正でき、情報登録作業を容易にさせる。

【0108】

なお、指示入力部24に代えて機器範囲比較部23を利用した場合、上記のフィルタ処理までは同様であり、フィッティング対象を以下の（A）に代えて（B）とすればよい。
（A）「指示入力部24で調整した位置情報(u, v)に対応する一連の空間座標(x, y, z)」
（B）「機器E1について登録情報保存部28に保存された作業部位のマーカM1基準の位置情報(x, y ,z)に対して、機器範囲比較部23で得たマーカM1,M2間のフィッティング情報を適用することで得られる、機器E2の作業部位のマーカM2基準の位置情報(x, y, z)」

【0109】

当該処理はすなわち、距離d（基準距離）によって本来の作業部位に該当する部分を絞り込んだうえで、デプスマップデータすなわちカメラ基準の座標(x, y, z)データであり、その分布には作業部位の形状が反映されているデータ、を対象としてICPアルゴリズムを適用することにより、形状が一致する部分へと位置を修正することで、本来の作業部位の位置情報を取得する、というものである。

【0110】

ここで特に、予め指示入力部24（あるいは機器範囲比較部23）によってその他の作業部位とは重ならないような位置に粗動調整しておくことにより、当該微動調整としての三次元位置調整部25が正常に機能することとなる。従って、機器E1,E2にてそれぞれ貼りつけられたマーカM1,M2のずれが十分に小さければ、粗動調整としての指示入力部24（あるいは機器範囲比較部23）を省略して、最初から三次元位置調整部25を機能させても、位置情報を調整することは可能である。

【0111】

相対位置決定部26では、三次元位置調整部25までで調整した位置に対して、ユーザに対して最終確認を行い、位置合わせが完了している旨の確認が得られた場合、当該作業部位についての位置情報の登録は終了する。なお、ユーザ確認の結果、間違った位置である旨が確認された場合、当該作業部位に関しては、その登録を指示入力部24の処理からやり直すようにすればよい。あるいは、ユーザ判断により修正により登録することが困難と判断された場合は、情報継続登録装置20ではなく、改めて情報登録装置10を用いて最初から登録するようにしてもよい。あるいは、張り付けたマーカM2を位置調整して貼り直してから、再度、情報継続登録装置20を利用するようにしてもよい。

【0112】

情報登録部27は、情報登録部17と同様に、当該作業部位に関する作業指示その他の、作業に関連する情報を紐付けて登録する。なお、機器E1について既に登録された当該作業部位についての作業指示その他の情報は、登録情報保存部28に保存しておき、機器E2への登録の際には、ユーザ入力を受けることなく自動で情報登録部27が登録を実施することができる。新たな情報を登録したい場合や既に登録された情報を修正したい場合には、情報登録部27ではユーザ入力を受け付けて、対応する情報を登録することができる。

【0113】

なお、機器E2についても、情報継続登録装置20により、作業部位ごとに位置情報等の登録が可能となるが、この際、次のような各実施形態が可能である。一実施形態では、ある1つの作業部位について、機器E1に関して登録された位置情報から修正された位置情報を登録して、その他の作業部位については、当該既に登録された１つの作業部位における機器E1の位置情報からの修正部分の情報を、そのまま利用して、同様に位置情報を修正することによって登録してよい。

【0114】

別の一実施形態では、機器E2の各作業部位についてそれぞれ、情報継続登録装置20によって、既に登録された機器E1から位置情報を修正する形で登録を行った後に、各作業部位における位置情報の修正を平均したものを、機器E2の各作業部位について登録する最終的な位置情報として採用してもよい。この場合、平均することにより、各作業部位それぞれにおける個別の修正された位置情報における誤差が吸収されることで、ロバストに位置情報を登録することができる。

【0115】

本発明はコンピュータを情報登録装置10又は情報継続登録装置20として機能させるプログラムとしても提供可能である。当該コンピュータは、CPU(中央演算装置)、メモリ及び各種I/Fを備えた通常のハードウェア構成とすることができ、CPUが情報登録装置10又は情報継続登録装置20の各部の機能を実行することができる。

【符号の説明】

【0116】

10…情報登録装置、11…撮影部、12…マーカ認識部、13…機器範囲入力部、14…指示入力部、15…三次元位置算出部、16…相対位置決定部、17…情報登録部、20…情報継続登録装置、21…撮影部、22…マーカ認識部、23…機器範囲比較部、24…指示入力部、25…三次元位置調整部、26…相対位置決定部、27…情報登録部、28…登録情報保存部、29…登録情報表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】