特許 6245837 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6245837

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20171204BHJP

【ＦＩ】

   G06F3/0484 120

【請求項の数】18

【全頁数】18

(21)【出願番号】特願2013-95625(P2013-95625)

(22)【出願日】2013年4月30日

(65)【公開番号】特開2014-215977(P2014-215977A)

(43)【公開日】2014年11月17日

【審査請求日】2016年4月22日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】大藤 洋

【審査官】 梅岡 信幸

(56)【参考文献】

【文献】 特開２０１４−２０３１６４（ＪＰ，Ａ）

【文献】 特開平０７−１７５５８７（ＪＰ，Ａ）

【文献】 特開平０９−３１９５５６（ＪＰ，Ａ）

【文献】 特開平０６−２６６４９８（ＪＰ，Ａ）

【文献】 特開平０７−１６８９４９（ＪＰ，Ａ）

【文献】 特開２００４−１０２５６２（ＪＰ，Ａ）

【文献】 特開２００６−０５９０２０（ＪＰ，Ａ）

【文献】 特開２０１２−１４１７７９（ＪＰ，Ａ）

【文献】 特開２００４−２１３５１８（ＪＰ，Ａ）

【文献】 特開２００４−１６４０６９（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０７４５２８（ＷＯ，Ａ１）

【文献】 特許第４３３２９６４（ＪＰ，Ｂ２）

【文献】 特開２０１２−１７８０６９（ＪＰ，Ａ）

【文献】 特開２０１２−１６８７９８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００３８６６８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０１０５７０３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／００３８６６９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１，３／０４８−３／０４８９

(57)【特許請求の範囲】

【請求項1】

画像処理装置であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報に対して予め定められた一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、を備えることを特徴とする画像処理装置。

【請求項2】

画像処理装置であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、を備え、
前記抽出手段で抽出された前記第２の特徴情報には、拡張情報が対応付けられていないことを特徴とする画像処理装置。

【請求項3】

画像処理装置であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、を備え、
前記抽出手段で抽出された前記第２の特徴情報には、既に拡張情報が対応付けられており、前記対応付け手段の対応付けにより新たな拡張情報が上書きされることを特徴とする画像処理装置。

【請求項4】

画像処理装置であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、を備え、
前記対応付け手段では、権限を有するユーザーの操作または権限を有する画像処理装置での操作の場合に、前記対応付けを行うことを特徴とする画像処理装置。

【請求項5】

前記対応付け手段では、前記取得手段で取得した拡張情報に対して予め定められている複製可能回数を参照し、
複製可能回数が残っている場合に対応付けを行うことを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。

【請求項6】

前記生成手段では、拡張情報の管理者が予め設定した編集操作により、新たな拡張情報を生成することを特徴とする請求項１乃至５何れか１項に記載の画像処理装置。

【請求項7】

前記対応付け手段では、前記第２の特徴情報の３次元の表示角度を決定し、前記第２の特徴情報に対応付ける前記新たな拡張情報の表示角度を指定することを特徴とする請求項１乃至６何れか１項に記載の画像処理装置。

【請求項8】

画像処理装置であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、を備え、
前記特徴情報は、ＱＲコード（登録商標）またはＳＩＦＴ特徴量またはＳＵＲＦ特徴量であることを特徴とする画像処理装置。

【請求項9】

画像処理方法であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出工程と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得工程と、
前記拡張情報に対して予め定められた一部の選択を受け付ける選択工程と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成工程と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け工程と、を備えることを特徴とする画像処理方法。

【請求項10】

画像処理方法であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出工程と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得工程と、
前記拡張情報の一部の選択を受け付ける選択工程と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成工程と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け工程と、を備え、
前記抽出工程で抽出された前記第２の特徴情報には、拡張情報が対応付けられていないことを特徴とする画像処理方法。

【請求項11】

画像処理方法であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出工程と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得工程と、
前記拡張情報の一部の選択を受け付ける選択工程と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成工程と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け工程と、を備え、
前記抽出工程で抽出された前記第２の特徴情報には、既に拡張情報が対応付けられており、前記対応付け工程の対応付けにより新たな拡張情報が上書きされることを特徴とする画像処理方法。

【請求項12】

画像処理方法であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出工程と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得工程と、
前記拡張情報の一部の選択を受け付ける選択工程と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成工程と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け工程と、を備え、
前記対応付け工程では、権限を有するユーザーの操作または権限を有する画像処理装置での操作の場合に、前記対応付けを行うことを特徴とする画像処理方法。

【請求項13】

画像処理方法であって、
第１の特徴情報と第２の特徴情報とを抽出する抽出工程と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得工程と、
前記拡張情報の一部の選択を受け付ける選択工程と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成工程と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け工程と、を備え、
前記特徴情報は、ＱＲコード（登録商標）またはＳＩＦＴ特徴量またはＳＵＲＦ特徴量であることを特徴とする画像処理方法。

【請求項14】

コンピュータを、
第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報に対して予め定められた一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、
として機能させるためのプログラム。

【請求項15】

コンピュータを、
第１の特徴情報と、拡張情報が対応付けられていない第２の特徴情報と、を抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、として機能させるためのプログラム。

【請求項16】

コンピュータを、
第１の特徴情報と、既に拡張情報が対応付けられている第２の特徴情報と、を抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を上書きして対応付ける対応付け手段、として機能させるためのプログラム。

【請求項17】

コンピュータを、
第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
権限を有するユーザーの操作または権限を有する画像処理装置での操作の場合に、前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、として機能させるためのプログラム。

【請求項18】

コンピュータを、
第１の特徴情報と第２の特徴情報ととして、ＱＲコード（登録商標）またはＳＩＦＴ特徴量またはＳＵＲＦ特徴量の少なくとも何れか１つを抽出する抽出手段と、
前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、
前記拡張情報の一部の選択を受け付ける選択手段と、
前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、
前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段と、として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に仮想的な画像を重畳して表示させる表示技術に関するものである。

【背景技術】

【0002】

近年、撮像装置により得られる画像に対し、仮想的な拡張情報を重畳して表示させることで現実を拡張する、拡張現実（ＡＲ： Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が開発されてきている。

【0003】

例えば、撮影された画像中における特定の物理オブジェクトについて、予め対応付けておいた動画などの拡張情報（ＡＲコンテンツ）を該対象の位置に合わせて重畳表示させる技術が存在している。

【0004】

特許文献１では、実写画像から特定画像の領域を示す領域情報を検出し、検出した領域情報を用いて、実写画像における特定画像の領域以外の領域に対してはコンピュータグラフィックス画像を合成する。これにより実写風景を背景としてＣＧ物体をその上に重畳し、さらにその手前に実写の被写体の画像を合成させるときに、実写の背景と被写体とを別々に撮影することなく同時に撮影した画像を用いてＣＧと合成することが可能となる。

【0005】

さらに、ＡＲコンテンツと物理オブジェクトを簡易に対応付ける技術もある。

【0006】

例えば特許文献２では、プロジェクタとカメラにより拡張されたデジタル作業空間において、ポインタにより操作されるデジタルオブジェクトを、マーカーが付された物理オブジェクトにドラッグアンドドロップしている。そして、マーカーにデジタルオブジェクトをリンク付けする技術を開示している。

【0007】

特許文献３では、基本マーカーに対応付けられているＡＲ情報を意味単位に分解し、また物理オブジェクトを撮影した画像から要素を抽出し、ＡＲ情報の各意味を画像の各要素に対応付けることで、画像の各要素を代替マーカーとする技術を開示している。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特許０４１３６４２０

【特許文献2】特許０４３３２９６４

【特許文献3】特開２０１２−４８７２０

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献２に記載されている技術においては、元々のデジタルオブジェクトはマーカーなどの特徴情報に関連付いた拡張情報ではない。デジタルオブジェクトを表示するのにプロジェクタとカメラにより拡張されたデジタル作業空間を要するため、操作・編集対象のデジタルオブジェクト（拡張情報）を取得することに大規模な準備が必要となり簡単に利用することが難しい。

【0010】

また、特許文献３に記載されている技術においては、基本マーカーの情報を意味単位で物理オブジェクトの要素にそのまま対応付けるため、基本マーカーに対応付けられた拡張情報（ＡＲコンテンツ）をそのまま複製することしかできない。

【0011】

本発明は上記の課題に鑑みて成されたものであり、ある特徴情報に対応付けられた拡張情報（ＡＲコンテンツ）を簡易に意図通りに別の特徴情報に対応付けることを可能とするための画像処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

発明の画像処理装置は、以下の構成を備える。即ち、第１の特徴情報と第２の特徴情報とを抽出する抽出手段と、前記第１の特徴情報に対応付けられた拡張情報を取得する取得手段と、前記拡張情報に対して予め定められた一部の選択を受け付ける選択手段と、前記選択された拡張情報の一部を複製して新たな拡張情報を生成する生成手段と、前記第２の特徴情報に前記新たな拡張情報を対応付ける対応付け手段。

【発明の効果】

【0013】

本発明によれば、ある特徴情報に対応付けられている拡張情報を別の特徴情報に、簡易に対応付けることができる。

【図面の簡単な説明】

【0014】

【図1】実施形態における画像処理装置の機能構成図である。

【図2】実施形態における画像処理装置の概観の概念図である。

【図3】実施形態１における画像処理装置のメイン処理を示すフローチャートである。

【図4】実施形態１におけるＡＲコンテンツ取得処理フローを示す図である。

【図5】実施形態１におけるマーカーを示す図である。

【図6】実施形態１におけるＡＲコンテンツ情報を概念的に示す図である。

【図7】実施形態１におけるＡＲコンテンツとマーカーの対応の記録内容を概念的に示す図である。

【図8】実施形態１における画像処理装置の表示処理フローを示す図である。

【図9】実施形態１における画像処理装置の表示例である。

【図10】実施形態１におけるＡＲコンテンツの選択方法を例示する図である。

【図11】実施形態２におけるＡＲコンテンツの編集を行うＵＩを例示する図である。

【図12】実施形態２におけるＡＲコンテンツの編集を行うＵＩを例示する図である。

【図13】実施形態３におけるＡＲコンテンツとマーカーの対応の記録内容を概念的に示す図である。

【図14】実施形態３におけるＡＲコンテンツ情報を概念的に示す図である。

【図15】実施形態３における画像処理装置の表示処理フローを示す図である。

【図16】画像処理装置のハードウェア構成図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の一つである。

【0016】

＜実施形態１＞
まず図１を用いて、本実施形態に係る機能構成例について説明する。図１に示す如く、本実施形態では、ＡＲコンテンツの取得・編集・リンク付けなどの処理をする画像処理装置１０、ＡＲコンテンツを管理しているＡＲコンテンツ管理装置２０を有している。

【0017】

また画像処理装置１０は、撮影部１１、制御部１２、通信部１３、表示部１４、指示部１５、を有している。

【0018】

またＡＲコンテンツ管理装置２０は制御部２１、通信部２２、記録部２３を有している。

【0019】

本実施形態における前提として画像処理装置１０は、例えば図２のような形状を成す。すなわち、一方の面に撮影部、他方の面に表示・指示部が搭載されている。この表示・指示部は例えばタッチパネルを用いることで実現できる。

【0020】

また図１の画像処理装置のハードウェア構成例について、図１６のブロック図を参照して説明する。同図において、３は装置全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。４は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。５は外部装置等から供給されるプログラムやデータを一時記録するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。１２はメモリカードに代表されるデータの読み書き可能な外部記録媒体である。また１４はハードディスク、ＳＳＤに代表される大容量の記録装置として機能し、一般的には外部記録媒体１２の記録容量よりも大きい。また、１１，１３はこれら外部記録媒体１２、記録装置１４をコンピュータ装置と接続するＩ／Ｏである。９は画像を取得する撮像装置１０とのＩ／Ｏである。７はユーザーの操作を受けるタッチパネルとのＩ／Ｏである。２は画像処理装置の保持するデータや供給されたデータを表示するためのディスプレイモニタ１との映像Ｉ／Ｏである。１５はインターネット等のネットワーク回線に接続するための通信Ｉ／Ｆである。６は１〜１５の各ユニットを通信可能に接続するシステムバスである。

【0021】

以下から各装置の制御部１２、２１における処理について、図３のフローチャートを使いながら説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

【0022】

まず画像処理装置１０の画像取得処理１０１では、撮影部１１に命令を出し物理オブジェクトの撮影を行って画像を取得する。

【0023】

次に、画像処理装置１０の特徴抽出処理１０２では、ＡＲコンテンツを重畳させる候補となる特徴情報を物理オブジェクトの画像から複数抽出する。

【0024】

尚、ＡＲコンテンツを実写画像に重畳させる対象の特徴情報にはマーカー型と非マーカー型がある。マーカー型は予め定めたフォーマットで描かれた特定のパターンを文書等に印刷しておき、それを読み取ることで重畳させる手法である。例えば、ＱＲコード（登録商標）などである。非マーカー型はマーカーのような特定のパターンは必要とせず、代わりに画像の特徴量（ＳＩＦＴ特徴量、ＳＵＲＦ特徴量）を用いて重畳させる手法である。本実施形態においては、マーカー型でのＡＲコンテンツ重畳手法を用いて説明するが、本実施形態に非マーカー型を適用することも可能である。

【0025】

本実施形態では説明のため、ＡＲコンテンツを重畳させることができる特徴情報を図４（ａ）に示すような黒斑の四角で囲ったマーカーであるとし、以下の説明ではマーカーと呼称する。

【0026】

例えば図４（ａ）に示すように物理オブジェクトとして紙文書と付箋紙が写っている画像を取得した場合、特徴抽出処理１０２では図４（ｂ）に示すように、二つのマーカーを取得することとなる。

【0027】

次に、画像処理装置１０のＡＲコンテンツ情報取得処理１０３では、ＡＲコンテンツ管理装置からＡＲコンテンツ情報を取得する。この処理は特徴抽出処理１０２で得られた複数のマーカー（特徴情報）を、通信部１３を介してＡＲコンテンツ管理装置に送信し、それぞれに対応したＡＲコンテンツ情報を受け取る。ここで言うＡＲコンテンツ情報とは、図６の概念図で示したように各マーカーがＡＲコンテンツ（拡張情報）と対応関係があったか否かを示すＡＲコンテンツ対応フラグと、対応関係があった場合はＡＲコンテンツの３Ｄモデル情報や、マーカーに対する表示位置などの情報を含む。尚、このＡＲコンテンツの表示位置は図５（ｂ）に示すようにマーカーを基準とした座標系で受け取ればよい。

【0028】

次に、ＡＲコンテンツ管理装置２０側のＡＲコンテンツ情報生成処理２０１について説明する。ここで前提条件として、ＡＲコンテンツ管理装置２０ではＡＲコンテンツとマーカーの対応関係を予め記録部２３に記録している。この対応関係は例えば図７の概念図に示すようなものである。

【0029】

ＡＲコンテンツ情報生成処理２０１では、通信部２２を介して受信した各マーカー（特徴情報）に対し、対応するＡＲコンテンツ（拡張情報）があるか否かを判別し、ＡＲコンテンツ情報を生成する。このＡＲコンテンツ情報は先に述べたとおり、図６の表で示したような対応するＡＲコンテンツがあるか否かを示すＡＲコンテンツ対応フラグと、対応ＡＲコンテンツがある場合ＡＲコンテンツの３Ｄモデル情報、ＡＲコンテンツ表示座標等を含む。尚、ＡＲコンテンツの３Ｄモデル情報は通常の３Ｄコンテンツ作成時と同様、ＣＡＤ等を用いて作成すればよい。またＡＲコンテンツ表示座標は、オーサリングツールなどを用いてＡＲマーカーを基準とした座標系における３Ｄコンテンツの表示座標を指定すればよい。また受信したマーカーがＡＲコンテンツと対応しているか否かの判定は、記録部２３上のマーカーと受信したマーカーとをパターンマッチングして行えばよい。

【0030】

次にＡＲコンテンツ情報送信処理２０２について説明する。本処理ではＡＲコンテンツ情報生成処理２０１により得られたＡＲコンテンツ情報を、通信部２２を介して受信元の画像処理装置１０に送信する。

【0031】

次に、画像処理装置１０の表示処理１０４では、受信したＡＲコンテンツ情報を用いて図１の表示部１４に表示する画像を生成し、表示させる。この処理を図８のフローチャートと図９の例を用いて説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。

【0032】

まず図８のステップＳ１０４１は、処理中のマーカーが何番目であるかを示す変数ｎを０で初期化し、ステップＳ１０４２に移る。

【0033】

次にステップＳ１０４１は、まず処理中のマーカーＭｎに対応するＡＲコンテンツ情報における、ＡＲコンテンツ対応フラグを参照する。そしてフラグがＴＲＵＥ、すなわち対応するＡＲコンテンツが存在する場合、ステップＳ１０４３に移る。フラグがＦＡＬＳＥ、すなわち対応するＡＲコンテンツが存在しない場合、ステップＳ１０４４に移る。

【0034】

次にステップＳ１０４３は、処理中のマーカーＭｎに対し、ＡＲコンテンツ情報を用いてＡＲコンテンツを重畳描画する。マーカーに対しＡＲコンテンツを重畳描画させる技術は公知であるため、説明は省略する。ＡＲコンテンツを重畳描画したら、ステップＳ１０４５に移る。

【0035】

次にステップＳ１０４４は、処理中のマーカーＭｎに対し、対応するＡＲコンテンツがない旨をメッセージとして表示し、ステップＳ１０４５に移る。

【0036】

次にステップＳ１０４５は、画像取得処理で取得した画像中のマーカーの個数Ｎｍａｘが、処理中のマーカーが何番目であるかを示す変数ｎより大きいか否かを判定する。大きい場合はステップＳ１０４６に移る。そうでない場合は処理を終える。

【0037】

次にステップＳ１０４６は、処理中のマーカーが何番目であるかを示す変数ｎに１加算しステップＳ１０４２に移る。

【0038】

以上の処理により、画像処理装置１０は例えば、図９のようにマーカーに対応付けられたＡＲコンテンツを表示部１４で表示することができる。ＡＲコンテンツが対応付けられていないマーカーに対しては、ＡＲコンテンツが対応付けられていないことを示すメッセージを表示する。

【0039】

尚、ＡＲコンテンツ、メッセージの表示位置やマーカーの撮影角度によっては、画面上でＡＲコンテンツ、マーカー、メッセージの何れかが重複することがあり得る。この場合はＡＲコンテンツ、メッセージを半透明にする、メッセージを移動する、大きさを変える、もしくはマーカーだけは別枠で表示するなどすれば、この後の選択処理が行いやすくなる。

【0040】

次に、画像処理装置１０のＡＲコンテンツ選択処理１０５は、ユーザーに操作を促し、マーカーに重畳表示されているＡＲコンテンツの一部を選択させる。この選択方法は表示するＡＲコンテンツの種別に応じて変化させることが望ましい。

【0041】

例えば、図１０（ａ）はマーカーに多数の画像が対応付けられているようなケースである。この場合は所望の画像を一つまたは複数を、指示部１５を介して選択すればよい。画像処理装置１０が図２に示すような形状であるとすると、ＡＲコンテンツ表示部に表示された多数の画像中の所望の画像部分を図１０（ａ）のように手指でタッチして指定することにより実現できる。

【0042】

図１０（ｂ）はマーカーにＡＲコンテンツとして電子文書が対応付けられているようなケースである。この場合は電子文書中の所望の部分を、指示部１５を介して選択すればよい。画像処理装置１０が図２に示すような形状であるとすると、ＡＲコンテンツ表示部に表示された電子文書の所望の部分を、図１０（ｂ）のように手指でスワイプして矩形指定することにより実現できる。

【0043】

図１０（ｃ）はマーカーに３Ｄオブジェクトが対応付けられているようなケースである。この場合は３Ｄオブジェクト中の所望のパーツを、指示部１５を介して選択すればよい。画像処理装置１０が図２に示すような形状であるとすると、ＡＲコンテンツ表示部に表示された３Ｄオブジェクトの所望のパーツ部分を、図１０（ｃ）のように手指でタッチして指定することにより実現できる。

【0044】

次に画像処理装置１０の選択ＡＲコンテンツリンク指示処理１０６は、ユーザーに操作を促し、対応するＡＲコンテンツが存在しないマーカーに対し、ＡＲコンテンツの対応付け指示を行わせる。

【0045】

ここで対応付けるＡＲコンテンツとは、前の処理であるＡＲコンテンツ選択処理１０５で選択された、部分ＡＲコンテンツである。対応付ける指示としては例えば、図９の例で言うと、部分ＡＲコンテンツをドラッグし、メッセージを表示していたドロップ領域にドロップすることで実現できる。他にも、対応するＡＲコンテンツが存在しないマーカーにタッチするなどの操作でも当処理は実現可能である。

【0046】

以上の処理により、ユーザーが所望の部分ＡＲコンテンツと、部分ＡＲコンテンツを対応付けるリンク先マーカーとの指定が行われる。当処理は最後に通信部１３を介してこの部分ＡＲコンテンツ情報と、リンク先マーカー情報とをＡＲコンテンツ管理装置２０に送信し、処理を終える。

【0047】

最後にＡＲコンテンツ管理装置２０では、通信部２２を介して画像処理装置１０から受信した部分ＡＲコンテンツ情報とリンク先マーカー情報を対応付けし、保存する。

【0048】

以上の処理を行うことで、ＡＲコンテンツに対応付けられていない物理オブジェクトの特徴情報（マーカー）に対して、既存のＡＲコンテンツを編集した新たなＡＲコンテンツを対応付けることができる。

【0049】

＜実施形態２＞
実施形態１においては、ＡＲコンテンツ選択処理１０５でＡＲコンテンツ情報の編集操作の一例として選択操作を挙げたが、他の編集操作を実施してもよい。本実施形態では、他の編集操作について述べる。

【0050】

一例として、リンク先マーカーに対するＡＲコンテンツの表示形態の変更方法を述べる。図１１はその編集操作を実施するためのＵＩ画面の例である。

【0051】

まず図１１におけるＵＩ１は実写画像表示部兼ＡＲコンテンツ表示位置指定部である。ユーザーは当画面のＡＲコンテンツ部分をタッチ、スライドし、リンク先マーカーに対する表示位置を決定する。

【0052】

次に図１１におけるＵＩ２はＡＲコンテンツ表示角度指定部である。ユーザーはこの部分のスライドバーを上下することで、リンク先マーカーの表示角度を決定する。この表示角度はｘ軸方向、ｙ軸方向、ｚ軸方向それぞれについて指定できる。尚、ｘｙｚ座標系は図１１のＵＩ１画面で示したように、リンク先マーカーを基点としたものを用いればよい。

【0053】

最後に図１１におけるＵＩ３はＡＲコンテンツの表示サイズ指定部である。この表示されているリング上のバーを回転させることで、リンク先マーカーに対するＡＲコンテンツの表示サイズを指定することができる。この他にも、ＡＲコンテンツの形状や色の変更など、より詳細な指定を行ってもよい。

【0054】

また、一例としてリンク先マーカーに対し、複数の部分ＡＲコンテンツを選択し、レイアウトする方法について述べる。図１２は複数のＡＲコンテンツを対応付ける操作を実施するためのＵＩ画面の例である。図１２のＵＩ４は、これまで選択してきたＡＲコンテンツの履歴を一覧したものである。ユーザーはこの中から所望のＡＲコンテンツを手指でドラッグ＆ドロップすることで、リンク先マーカーに対しＡＲコンテンツをリンク指示することができる。またこの時マーカーが複数画面上に写りこんでいる場合があり得るので、図１２に示したように処理中のリンク先マーカーがどれに当たるかを示すような効果を画面中に設けるのが望ましい。また、各ＡＲコンテンツのレイアウトに関しては、先に述べた編集操作を実施するためのＵＩを用いればよい。

【0055】

以上のような編集操作を実施することで、ユーザーはより詳細なＡＲコンテンツ形態の指示を行うことができる。

【0056】

＜実施形態３＞
実施形態１ではＡＲコンテンツの一部を選択し、リンク先のマーカーに対応付ける手法を述べた。しかしこの手法は対応付けを行うユーザー権限については加味されていない。実施形態１の手法を全てのユーザーに対して許容すると、機密を伴うＡＲコンテンツの場合セキュリティ面で不都合がある場合がある。本実施形態ではこうした事情を鑑み、ユーザーの権限によって処理を制限する手法について以下に述べる。なお下記に述べる以外の処理は実施形態１と同様でよい。

【0057】

まず前提条件として、ＡＲコンテンツ管理装置２０は記録部２３に、図１３で示したような情報を記録しているものとする。すなわちマーカーとＡＲコンテンツの対応関係、表示位置などに加え、ＡＲコンテンツの表示権限、複製権限のあるユーザーＩＤを記録している。この記録の作業自体はＡＲコンテンツの管理者が予め行っておく。

【0058】

そして画像処理装置１０におけるＡＲコンテンツ情報取得処理３１０３ではＡＲコンテンツ管理装置２０に対し、抽出したマーカーに加え、自分のデバイスからユーザーＩＤも送信し、図１４の概念図で示すようなＡＲコンテンツ情報を受け取る。このＡＲコンテンツ情報は各マーカーのＡＲコンテンツとの対応フラグ、ＡＲコンテンツ、表示位置などに加え、ＡＲコンテンツの表示、複製権限フラグを含んでいる。

【0059】

ＡＲコンテンツ管理装置２０のＡＲコンテンツ情報生成処理３２０１では各マーカーに対し、対応するＡＲコンテンツがあるか否か、受信したデバイスのＩＤに表示、複製する権限があるか否かを判別し、図１４の概念図で示すようなＡＲコンテンツ情報を生成する。

【0060】

そして生成したＡＲコンテンツ情報を、ＡＲコンテンツ管理装置２０はＡＲコンテンツ情報送信処理３２０２にて画像処理装置１０に送信する。

【0061】

そして画像処理装置１０では表示処理３１０４にて受け取ったＡＲコンテンツ情報を用いて表示部１４に画像を表示する。この表示処理３１０４の詳細を、図１５の処理フローを用いて説明する。

【0062】

まず図１５のステップＳ３１０４１は、処理中のマーカーが何番目であるかを示す変数ｎを０で初期化し、ステップＳ３１０４２に移る。

【0063】

次にステップＳ３１０４１は、まず処理中のマーカーＭｎに対応するＡＲコンテンツ情報における、ＡＲコンテンツ対応フラグを参照する。そしてフラグがＴＲＵＥ、すなわち対応するＡＲコンテンツが存在する場合、ステップＳ３１０４３に移る。フラグがＦＡＬＳＥ、すなわち対応するＡＲコンテンツが存在しない場合、ステップＳ３１０４４に移る。

【0064】

次にステップＳ３１０４３は、処理中のマーカーＭｎに対し、対応するＡＲコンテンツの表示権限フラグを参照する。表示権限フラグがＯＫの場合はステップＳ３１０４５に、そうでない場合はステップＳ３１０４６に移る。

【0065】

次にステップＳ３１０４４は、処理中のマーカーＭｎに対し、対応するＡＲコンテンツがない旨をメッセージとして表示し、ステップＳ３１０４７に移る。

【0066】

次にステップＳ３１０４５は、処理中のマーカーＭｎに対し、ＡＲコンテンツ情報を用いてＡＲコンテンツを重畳描画する。ＡＲコンテンツを重畳描画したら、ステップＳ３１０４７に移る。

【0067】

次にステップＳ３１０４６は、処理中のマーカーＭｎに対し、対応するＡＲコンテンツの表示権限がない旨をメッセージとして表示し、ステップＳ３１０４７に移る。

【0068】

次にステップＳ３１０４７では画像取得処理で取得した画像中のマーカーの個数Ｎｍａｘが、処理中のマーカーが何番目であるかを示す変数ｎより大きいか否かを判定する。大きい場合はステップＳ３１０４８に移る。そうでない場合は処理を終える。

【0069】

次にステップＳ３１０４８は、処理中のマーカーが何番目であるかを示す変数ｎに１加算しステップＳ３１０４２に移る。

【0070】

ここまでの処理で、表示権限のないユーザーにはＡＲコンテンツを表示させず、表示権限のあるユーザーにはＡＲコンテンツを表示させる事ができる。

【0071】

そして、次に画像処理装置１０におけるＡＲコンテンツ編集処理３１０５では、表示しているＡＲコンテンツのうち、複製権限フラグがＯＫのもののみ、編集対象とする。図１４の例で言うと二つのマーカーどちらも複製権限がＮＧとなっているので、操作中のデバイスでは編集ができない。なお編集処理そのものは実施形態１や２と同様でよい。

【0072】

そしてＡＲコンテンツリンク指示処理３１０６では、複製権限フラグがＯＫのもののみ、リンク指示が可能な対象とする。指示処理そのものは実施形態１や２と同様でよい。

【0073】

以上のような処理を行うことで、ＡＲコンテンツに対する表示や、既存のＡＲコンテンツの複製を制限することができる。

【0074】

＜実施形態４＞
実施形態１、２ではユーザーの操作を介し、ＡＲコンテンツの選択や編集を行った。これにより、ユーザーは所望の形態でＡＲコンテンツをマーカーに対応付けることができる。しかし逆にＡＲコンテンツの重要な部分の複製ができればよく、形態など詳細は気にしないユーザーの場合、実施形態１，２で述べたような操作は負担となる。

【0075】

そうした要求に対応するために、本実施形態ではユーザーの操作負荷を軽減する方法について説明する。

【0076】

まず前提条件として、ＡＲコンテンツの管理者は複製を行うであろうＡＲコンテンツの重要な一部分、形態を予めデフォルトで指定しＡＲコンテンツ管理装置２０に記録しておく。そして画像処理装置１０における処理は、画像取得処理、特徴抽出処理、ＡＲコンテンツ情報取得処理、表示処理までは実施形態１と同様でよい。次にＡＲコンテンツ選択処理では、複製元とするＡＲマーカーと、複製先とするＡＲマーカーを指定する。これはＵＩで画面上のＡＲマーカーをタップするなどして指示してもよいし、カメラをＡＲコンテンツ複製モードにして二つのマーカーを同時に撮る、二回に分けて撮るなどで実現してもよい。そして複製先のＡＲマーカーに対応付けるＡＲコンテンツはあらかじめＡＲコンテンツの管理者によりデフォルトで指定されたＡＲコンテンツの一部と形態をそのまま用いてマーカーに対応付ければよい。

【0077】

以上のような処理を行うことで、ユーザーはマーカーを撮影するだけで簡易にＡＲコンテンツの一部の複写を実施することができる。

【0078】

＜その他の実施形態＞
実施形態１ではＡＲコンテンツの一部を選択し、リンク先のマーカーに対応付ける手法を述べた。それに加え、選択されたＡＲコンテンツの部分をＡＲコンテンツのリンク元から削除することで、ＰＣの操作で言うカット＆ペーストのような効果を実現することもできる。

【0079】

また実施形態１では選択ＡＲコンテンツリンク指示処理１０６においてＡＲコンテンツが存在しないマーカーに対し、ＡＲコンテンツの対応付け指示を行わせた。しかしその他にも、すでに対応するＡＲコンテンツが存在するマーカーに対しても、実施形態１と同様の操作によりＡＲコンテンツを対応付けることもできる。この場合はすでに存在するＡＲコンテンツを上書きすることになる。

【0080】

また実施形態３では権限があるか否かで複製の制限を行ったが、予めＡＲコンテンツ管理者がＡＲコンテンツの複製可能回数を設定することで、ＡＲコンテンツの無秩序な拡散を制限することもできる。この場合は画像処理装置からリンク指示が出される度に、ＡＲコンテンツの複製可能回数を減算していき、０となった時点で複製不可とすればよい。複製要求回数をカウントし、複製可能回数を超えれば、複製不可としても良い。

【0081】

以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。

【0082】

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0083】

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【符号の説明】

【0084】

１ ディスプレイ
２ 映像Ｉ／Ｏ
３ ＣＰＵ
４ ＲＯＭ
５ ＲＡＭ
６ システムバス
７ Ｉ／Ｏ
８ タッチパネル
９ Ｉ／Ｏ
１０ 撮像装置
１１ Ｉ／Ｏ
１２ 外部記録媒体
１３ Ｉ／Ｏ
１４ 記録装置
１５ 通信Ｉ／Ｆ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】