特許 6283329 拡張現実対象認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6283329

(24)【登録日】2018年2月2日

(45)【発行日】2018年2月21日

(54)【発明の名称】拡張現実対象認識装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180208BHJP

   G06T 19/00 20110101ALI20180208BHJP

   H04N 5/225 20060101ALI20180208BHJP

   G03B 19/07 20060101ALI20180208BHJP

   G03B 15/00 20060101ALI20180208BHJP

   G06T 7/10 20170101ALI20180208BHJP

【ＦＩ】

   H04N5/232 290

   G06T19/00 600

   H04N5/225 400

   G03B19/07

   G03B15/00 Q

   G06T7/10

【請求項の数】3

【全頁数】14

(21)【出願番号】特願2015-106554(P2015-106554)

(22)【出願日】2015年5月26日

(65)【公開番号】特開2016-220171(P2016-220171A)

(43)【公開日】2016年12月22日

【審査請求日】2016年3月25日

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１５−０８０１６８（ＪＰ，Ａ）

【文献】 特開２０１２−２１６０７３（ＪＰ，Ａ）

【文献】 特表２００４−５１４９５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６ −１５／１６

Ｇ０３Ｂ １９／００ −１９／１６

Ｇ０６Ｔ １／００ − ９／４０

Ｇ０６Ｔ １１／６０ −１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ −１９／２０

(57)【特許請求の範囲】

【請求項1】

焦点距離が異なる複数のカメラレンズを撮影対象方向に対して縦横、または、球体の表面に一様に配置したレンズ部と、
撮影対象となる撮影物体に対して、前記複数のカメラレンズの各々の焦点距離で、複数の画像を撮影する画像撮影部と、
撮影した複数の画像の各々に対して、拡張現実を行う際の対象物体を認識する認識処理を行う対象物体認識部と、を備える拡張現実対象認識装置。

【請求項2】

前記撮影した画像をサーバに送信し、前記対象物体認識処理をサーバで行うことを特徴とする請求項１に記載の拡張現実対象認識装置。

【請求項3】

前記拡張現実を行うＡＲ画像処理を、サーバで行うことを特徴とする請求項１または請求項２に記載の拡張現実対象認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体を撮影し、拡張現実の対象として認識させる拡張現実対象認識装置に関する。

【背景技術】

【0002】

近年、人が知覚する現実環境をコンピュータにより拡張する技術である、拡張現実（ＡＲ）の普及がみられる。コンピュータが現実を拡張する手段としては、視覚・聴覚・触覚などさまざまなものがあるが、場所や物の説明を文字や音声で行うサービス等が実現されている。

【0003】

ＡＲには、マーカ（指標）を用いるものと、マーカを用いないもの（マーカレス）とがある。マーカを用いるＡＲでは、一般的に四角形の角等のマーカの特徴点をもとに現実環境を認識するが、マーカレスＡＲでは、画面全体に対してコーナー点や局所特徴量をもとに特徴点の座標を計算する処理が必要となる。そのため、撮影された画像から対象物体を適切に認識することが重要である。

【0004】

マーカレスＡＲを実現するための方法として、現実環境におけるマーカ（指標）を必要としない拡張現実のための装置および方法を提供することが開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０１３−５２８８７０号

【発明の概要】

【発明が解決しようとする課題】

【0006】

マーカレスＡＲにおいては、特に撮影されたＡＲに特化していない一般の対象物を適切に認識することがキーポイントであり、そのために、撮影された現実環境内の物体の画像が重要である。撮影された画像内の対象物が、焦点ずれや手ブレなどによりボケしていたり、近寄りすぎて全体が入っていなかったりするとうまく処理できないため、カメラの精度と撮影者の腕が問題となる。

【0007】

しかしながら、特許文献１の方法のみでは、カメラの精度や撮影者の腕の問題で、適切な画像が得られない場合に対応することはできないと言わざるを得ない。しかし、老若男女を問わず携帯端末が普及した昨今、端末使用者のカメラ撮影の腕を問わず、装置側の機能によって、拡張現実の対象物の認識率を向上させることが必要である。

【0008】

以上の課題を鑑み、本発明では、焦点距離が異なる複数のカメラレンズを配置し、焦点距離の異なる複数の画像を撮影することで、対象物の認識率を向上させる拡張現実対象認識装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明では、以下のような解決手段を提供する。

【0010】

第１の特徴に係る発明は、焦点距離が異なる複数のカメラレンズを撮影対象方向に対して縦横、または、球体の表面に一様に配置したレンズ部と、
撮影対象となる撮影物体に対して、前記複数のカメラレンズの各々の焦点距離で、複数の画像を撮影する画像撮影部と、
撮影した複数の画像の各々に対して、拡張現実を行う際の対象物体を認識する認識処理を行う対象物体認識部と、を備えることを特徴とする拡張現実対象認識装置を提供する。

【0011】

第１の特徴に係る発明によれば、拡張現実対象認識装置は、焦点距離が異なる複数のカメラレンズを撮影対象方向に対して縦横、または、球体の表面に一様に配置したレンズ部と、
撮影対象となる撮影物体に対して、前記複数のカメラレンズの各々の焦点距離で、複数の画像を撮影する画像撮影部と、
撮影した複数の画像の各々に対して、拡張現実を行う際の対象物体を認識する認識処理を行う対象物体認識部と、を備える。

【0012】

第２の特徴に係る発明は、前記撮影した画像をサーバに送信し、前記対象物体認識処理をサーバで行うことを特徴とする第１の特徴に係る発明である拡張現実対象認識装置を提供する。

【0013】

第２の特徴に係る発明によれば、第１の特徴に係る発明である拡張現実対象認識装置は、前記撮影した画像をサーバに送信し、前記対象物体認識処理をサーバで行う。

【0014】

第３の特徴に係る発明は、前記拡張現実を行うＡＲ画像処理を、サーバで行うことを特徴とする第１の特徴または第２の特徴に係る発明である拡張現実対象認識装置を提供する。

【0015】

第３の特徴に係る発明によれば、第１の特徴または第２の特徴に係る発明である拡張現実対象認識装置は、前記拡張現実を行うＡＲ画像処理を、サーバで行う。

【発明の効果】

【0016】

本発明によれば、焦点距離が異なる複数のカメラレンズを配置したレンズ部と、撮影対象となる撮影物体に対して、前記複数のカメラレンズの各々の焦点距離で、複数の画像を撮影する画像撮影部と、撮影した複数の画像の各々に対して、拡張現実を行う際の対象物体を認識する対象物体認識部と、を備えることで、対象物の認識率を向上させる拡張現実対象認識装置を提供することが可能となる。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の好適な実施形態である拡張現実対象認識装置の概要図である。

【図2】図２は、本発明の拡張現実対象認識装置１００の機能ブロックと各機能の関係を示す図である。

【図3】図３は、本発明の拡張現実対象認識装置１００の実行する対象物体認識処理のフローチャート図である。

【図4】図４は、カメラ部１２０の一部であるひとつのカメラレンズ１２１とひとつの画像撮影部１２２の模式図である。

【図5】図５は、本発明のカメラ部１２０の一例である。

【図6】図６は、本発明のカメラ部１２０の別の一例である。

【図7】図７は、本発明のカメラ部１２０が球体の表面に配置された場合の一例である。

【図8】図８は、本発明の対象物体認識処理をサーバ２０００で実施する場合の、拡張現実対象認識装置１０００とサーバ２０００の機能ブロックと各機能の関係を示す図である。

【図9】図９は、本発明の対象物体認識処理をサーバ２０００で実施する場合に、拡張現実対象認識装置１０００の実行する処理のフローチャート図である。

【図10】図１０は、本発明の対象物体認識処理をサーバ２０００で実施する場合に、サーバ２０００の実行する処理のフローチャート図である。

【図11】図１１は、本発明の対象物体認識処理とＡＲ画像処理をサーバ２０００で実施する場合に、拡張現実対象認識装置１０００の実行する処理のフローチャート図である。

【図12】図１２は、本発明の対象物体認識処理とＡＲ画像処理をサーバ２０００で実施する場合に、サーバ２０００の実行する処理のフローチャート図である。

【発明を実施するための形態】

【0018】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0019】

本発明の概要について説明する。拡張現実対象認識装置１００は、カメラ部１２０に焦点距離が異なる複数のカメラレンズ１２１と前記複数のカメラレンズの各々の焦点距離で複数の画像を撮影する画像撮影部１２２とを備える。画像撮影部で得られた画像の各々に対して、対象物体認識モジュール１１１で拡張現実を行う際の対象物体を認識する認識処理を行う。

【0020】

［拡張現実対象認識装置１００の概要］
図１は、本発明の好適な実施形態である拡張現実対象認識装置１００の概要図である。この図１に基づいて、拡張現実対象認識装置１００の概要を説明する。

【0021】

拡張現実対象認識装置１００は、制御部１１０と、カメラ部１２０と、記憶部１３０と入出力部１５０から構成される。カメラ部１２０は、複数のカメラレンズを配置したレンズ部１２１と、撮影対象となる撮影物体に対して、前記複数のカメラレンズの各々の焦点距離で、複数の画像を撮影する画像撮影部１２２とで構成される。

【0022】

拡張現実対象認識装置１００は、スマートフォンやタブレットＰＣ、デジタルカメラ、ウェアラブルデバイス、防犯カメラ、またはカメラ機能をそなえたＰＣ等の一般的な情報家電であってよく、拡張現実対象認識装置１００として図示しているスマートフォンはその一例にすぎない。

【0023】

はじめに、ユーザは、拡張現実対象認識装置１００の入出力部１５０をもちいて、対象物体５０に対するＡＲ機能を実行するために、カメラで画像を撮影する指示を行う（ステップＳ１１）。この時、拡張現実対象認識装置１００では、ＡＲ機能を実行するためのアプリケーション・プログラム（以下、アプリ）が実行されているものとする。

【0024】

入出力部１５０は、図１に示すように、ＡＲ機能を実行するために、カメラ撮影をおこなうかどうかをユーザに選択させるメッセージを表示したり、選択を行うためのボタン機能をそなえるものとする。ボタン機能に関しては、液晶ディスプレイに表示を行いタッチパネルで選択させてもよしいし、装置上のハードウェアボタンやキーボードによる入力を受け付けてもよい。入出力部１５０から実行の指示を受けた制御部１１０は、カメラ部１２０に対して、画像撮影の指示を行う（ステップＳ１２）。

【0025】

この指示を受け、カメラ部１２０では、焦点距離が異なる複数のカメラレンズを配置したレンズ部１２１と画像撮影部１２２により、撮影対象である撮影物体５０に対して、複数のカメラレンズの各々の焦点距離で複数の画像を撮影する（ステップＳ１３）。

【0026】

カメラ部１２０は、図４に示すように、レンズ部１２１を通して、撮影物体５０を画像撮影部１２２に投影する。画像撮影部１２２はＣＣＤなどのイメージセンサから構成される。レンズ部１２１と画像撮影部１２２との間の焦点距離は、カメラレンズによってことなるため、各カメラレンズに対して適切な距離で構成するものとする。

【0027】

図１および図５には、カメラ部１２０に、１４ｍｍ、３５ｍｍ、３００ｍｍと異なる焦点距離（３５ｍｍ換算）のレンズを縦ｘ横が３ｘ３列の合計９つ備えた例を図示している。ただし、複数のカメラレンズの配置と焦点距離の選択方法については、これに制限されるものではなく、撮影対象の物体の大きさや、カメラからの距離、または撮影したい範囲に応じて変更可能であるものとする。また、ここでは焦点距離が異なる場合を例としているが、それだけではなく、絞りや露光時間、ＩＳＯ感度等の設定も、変更可能とする。

【0028】

例えば、図６に示すように、カメラ部を２ヶ所に分けて、横長に配置することで、水平方向により広範囲の画像を取得することができる。

【0029】

また、図７に示すように、カメラレンズをミラーボールのように球体の表面に一様に配置することで、３６０度全方位の画像を取得することができる。

【0030】

次に、記憶部１３０では、ステップ１３で撮影した複数の画像を保持する（ステップＳ１４）。また、記憶部１３０には、後述する対象物体認識処理（ステップＳ１５）のために必要なデータベースや、同じく後述するＡＲ画像処理（ステップＳ１６）のために必要なデータベースを備えてもよい。

【0031】

制御部１１０は、記憶部１３０に保持された複数の撮影画像を使用して、対象物体認識処理を行う（ステップＳ１５）。ここでの処理は、複数の画像の各々に対して、撮影物体５０が撮影範囲からはみ出しているよりすぎのＮＧ画像や、ボケや撮影物体が小さすぎることが原因でコーナー点や局所特徴量を求めることができないＮＧ画像、その他ＮＧ画像を除去する。そして、残りのＯＫ画像を使用して、対象物体の認識を行う。ここでの認識処理はアルゴリズムを問わない。また、今回は複数の静止画像を得ることになるが、これに対して動画から複数画像を抽出して対象物体の認識を行う場合のアルゴリズムを適用してもよい。

【0032】

対象物体認識処理（ステップＳ１５）のために必要なデータベースを記憶部１３０に備える場合には、制御部１１０は対象物体認識処理中に必要に応じて、逐次記憶部１３０にアクセスしてデータを取得する。また、対象物体認識処理後のデータを、次回の処理に使用するために、記憶部１３０に蓄積してもよい。

【0033】

対象物体認識処理の実行後、同じく制御部１１０で、ＡＲ画像処理を実行する（ステップＳ１６）。この処理は、ＡＲ機能を実行するためのアプリの機能に応じるものとする。たとえば、図１では、撮影物体５０の幅が２０ｃｍであることを表示するための画像データを作成している。

【0034】

また、ＡＲ画像処理（ステップＳ１６）のために必要なデータベースを記憶部１３０に備える場合には、制御部１１０はＡＲ画像処理中に必要に応じて、逐次記憶部１３０にアクセスしてデータを取得する。さらに、ＡＲ画像処理後のデータを、記憶部１３０に蓄積してもよい。

【0035】

最後に、作成したＡＲ画像を入出力部１５０に表示して、一連の処理を終了する（ステップＳ１７）。ＡＲ画像の表示は、スマートフォンやタブレットＰＣ、デジタルカメラ、ウェアラブルデバイスの液晶ディスプレイ、ＰＣのディスプレイ、プロジェクタを用いた外部スクリーンへの投影など、様々な形態が可能である。

【0036】

［各機能の説明］
図２は、拡張現実対象認識装置１００の機能ブロックと各機能の関係を示す図である。

【0037】

拡張現実対象認識装置１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

【0038】

拡張現実対象認識装置１００において、制御部１１０が所定のプログラムを読み込むことで、記憶部１３０と協働して、対象物体認識モジュール１１１を実現する。

【0039】

拡張現実対象認識装置１００は、カメラ部１２０のレンズ部１２１として焦点距離が異なる複数のカメラレンズを備え、かつ、例えば、ＣＣＤなどのイメージセンサから構成され複数のカメラレンズの各々の焦点距離で複数の画像を撮影する画像撮影部１２２を備える。

【0040】

また、入出力部１５０としては、入力部としてタッチパネル機能を実現する液晶ディスプレイや装置上のハードウェアボタンやキーボード、さらに音声認識を行うためのマイク等を備えて良い。出力部としても、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクタを用いた外部スクリーンへの投影など様々な形態をとることが可能である。入出力方法により、本発明は特に機能を限定されるものではない。

【0041】

［対象物体認識処理］
図３は、拡張現実対象認識装置１００が実行する対象物体認識処理のフローチャートである。上述した装置の各部とモジュールが行う処理について、本処理にて併せて説明する。

【0042】

初めに、拡張現実対象認識装置１００の入出力部１５０は、ＡＲ画像の撮影指示入力を受け付け、制御部１１０に撮影指示を行う（ステップＳ１１）。

【0043】

制御部１１０はこの指示を受け、カメラ部１２０に撮影指示を行う（ステップＳ１２）。

【0044】

カメラ部１２０では、複数のカメラレンズを配置したレンズ部１２１と、前記複数のカメラレンズの各々の焦点距離で複数の画像を撮影する画像撮影部１２２により、複数画像を撮影する（ステップＳ１３）。

【0045】

カメラ部１２０で撮影した複数画像は、記憶部１３０で保持し（ステップＳ１４）、その後、制御部１１０で対象物体認識処理を行う（ステップＳ１５）。

【0046】

対象物認識処理は複数の画像の各々に対して行い、ＮＧ画像を除去し、ＯＫ画像を使用する。ＮＧ画像とは、焦点ずれや手ぶれ等のボケの画像や撮影物体が小さすぎてコーナー点や局所特徴量を求めることができない画像である。ここで、拡張現実対象認識装置１００では、焦点距離が異なるカメラレンズを使用し、また、複数のカメラにより広範囲を取得する構成であるため、必ずＯＫ画像が得られることが期待できる。

【0047】

対象物認識処理で複数のＯＫ画像が得られた場合には、それらを利用して、更に精度のよい対象物の認識を行うことも可能となる。ここでの対象物認識処理は、アルゴリズムを問わず、本発明を限定するものではない。

【0048】

また、対象物認識処理を行う際に、データベースを参照する必要がある場合には、記憶部１３０にデータベースを設けて、それを参照してもよいものとする。さらに、対象物体認識処理後のデータを、記憶部１３０に蓄積してもよい。

【0049】

次に、制御部１１０では対象物体認識処理で得られた画像データに対して、ＡＲ画像処理を行う（ステップＳ１６）。

【0050】

ＡＲでは、見えている物の説明を文字や音声で行うサービスなど様々なものがあるので、表示用の画像処理だけではなく、音声出力用のデータを作成する処理も、ここで同時に行ってもよい。また、図１では撮影物体５０の幅が２０ｃｍであることを表示するための画像データを作成し、表示する例を英眼しているが、拡張現実対象認識装置の機能やＡＲ機能を実行するためのアプリやサービスの内容に応じ、適切な処理を行うものとする。

【0051】

また、ＡＲ画像処理を行う際に、データベースを参照する必要がある場合には、記憶部１３０にデータベースを設けて、それを参照してもよいものとする。さらに、ＡＲ画像処理後のデータを、記憶部１３０に蓄積してもよい。

【0052】

最後に、入出力部１５０では、作成したＡＲ画像の表示を行う（ステップＳ１７）。ここでの表示は、表示部であるディスプレイや外部スクリーンなど、出力部の機能にあわせて行うものとする。また、もし音声出力用のデータがある場合には、同時に出力を行ってもよい。

【0053】

[対象物体認識処理をサーバ２０００で実施する場合の各機能の説明]
図８は、本発明の対象物体認識処理をサーバ２０００で実施する場合の、拡張現実対象認識装置１０００とサーバ２０００の機能ブロックと各機能の関係を示す図である。

【0054】

拡張現実対象認識装置１０００とサーバ２０００とは、インターネット網などの公衆回線網３０００を介して、通信可能に接続されているものとする。

【0055】

ここで、拡張現実対象認識装置１０００は、スマートフォンやタブレットＰＣ、通信機能を備えたデジタルカメラ、ウェアラブルデバイス、防犯カメラ、またはカメラ機能をそなえたＰＣ等の一般的な情報家電であってよく、拡張現実対象認識装置１０００として図示しているスマートフォンはその一例にすぎない。

【0056】

また、サーバ２０００は、後述の対象物認識機能を備える、一般的なサーバであってよい。

【0057】

拡張現実対象認識装置１０００は、制御部１１００として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。

【0058】

拡張現実対象認識装置１０００において、制御部１１００は、サーバ２０００で対象物体認識処理、またはさらに対象物認識処理に加えてＡＲ画像処理を行うように指示を出す。

【0059】

拡張現実対象認識装置１０００は、カメラ部１２００のレンズ部１２１０として焦点距離が異なる複数のカメラレンズを備え、かつ、例えば、ＣＣＤなどのイメージセンサから構成され複数のカメラレンズの各々の焦点距離で複数の画像を撮影する画像撮影部１２２０を備える。

【0060】

さらに、拡張現実対象認識装置１０００は、通信部１４００を備え、サーバ２０００への撮影画像の送信や、サーバ２０００からの対象物体認識画像またはＡＲ画像の受信を行う。

【0061】

また、拡張現実対象認識装置１０００の入出力部１５００としては、入力部としてタッチパネル機能を実現する液晶ディスプレイや装置上のハードウェアボタンやキーボード、さらに音声認識を行うためのマイク等を備えて良い。出力部としても、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクタを用いた外部スクリーンへの投影など様々な形態をとることが可能である。入出力方法により、本発明は特に機能を限定されるものではない。

【0062】

[対象物体認識処理をサーバ２０００で実施する場合の処理]
図９は、対象物体認識処理をサーバ２０００で実施する場合に、拡張現実対象認識装置１０００の実行する処理のフローチャート図である。また、図１０は、対象物体認識処理をサーバ２０００で実施する場合に、サーバ２０００の実行する処理のフローチャート図である。上述した装置の各部とモジュールが行う処理について、本処理にて併せて説明する。

【0063】

図９に示す通り、初めに、拡張現実対象認識装置１０００の入出力部１５００は、ＡＲ画像の撮影指示入力を受け付け、制御部１１００に撮影指示を行う（ステップＳ２１）。

【0064】

制御部１１００はこの指示を受け、カメラ部１２００に撮影指示を行う（ステップＳ２２）。

【0065】

カメラ部１２００では、複数のカメラレンズを配置したレンズ部１２１０と、前記複数のカメラレンズの各々の焦点距離で複数の画像を撮影する画像撮影部１２２０により、複数画像を撮影する（ステップＳ２３）。

【0066】

カメラ部１２００で撮影した複数画像は、記憶部１３００で保持し（ステップＳ２４）、その後、制御部１１００が、サーバでの対象物体認識処理を指示する（ステップＳ２５）。

【0067】

通信部１４００は、制御部１１００からの指示を受けて、サーバ２０００に対して、公衆通信網３０００を介して、対象物体認識処理の指示とともに撮影画像を送信する（ステップＳ１６）。

【0068】

ここで、図１０のサーバ２０００側の処理に移る。

【0069】

サーバ２０００の通信部２４００では、拡張現実対象認識装置１０００から、対象物体認識処理の指示とともに撮影画像を受信する（ステップＳ２７）。

【0070】

その後、記憶部２３００に受信した複数画像を保持し（ステップＳ２８）、制御部２１００で実行される対象物認識モジュール２２１０で対象物認識処理を行う（ステップＳ２９）。

【0071】

対象物認識処理は複数の画像の各々に対して行い、ＮＧ画像を除去し、ＯＫ画像を使用する。ＮＧ画像とは、焦点ずれや手ぶれ等のボケの画像や撮影物体が小さすぎてコーナー点や局所特徴量を求めることができない画像である。ここで、拡張現実対象認識装置１０００では、焦点距離が異なるカメラレンズを使用し、また、複数のカメラにより広範囲を取得する構成であるため、必ずＯＫ画像が得られることが期待できる。

【0072】

対象物認識処理で複数のＯＫ画像が得られた場合には、それらを利用して、更に精度のよい対象物の認識を行うことも可能となる。ここでの対象物認識処理は、アルゴリズムを問わず、本発明を限定するものではない。

【0073】

また、対象物認識処理を行う際に、データベースを参照する必要がある場合には、サーバ２０００の記憶部２３００にデータベースを設けて、それを参照してもよいものとする。さらに、対象物体認識処理後のデータを、記憶部２３００に蓄積してもよい。

【0074】

次に、通信部２４００は、対象物体認識処理で得られた対象物体認識画像を、拡張現実対象認識装置１０００に送信する（ステップＳ３０）。

【0075】

ここで、図９の拡張現実対象認識装置１０００側の処理に戻る。

【0076】

通信部１４００は、サーバ２０００により送信された対象物体認識画像を受信する（ステップＳ３１）。ここで、受信する画像は、最終的に選択された一枚の像でも良いし、対象物認識モジュールによって、対象物の認識が可能であった複数枚のＯＫ画像であってもよい。

【0077】

受信した対象物体認識画像に対して、制御部１１００でＡＲ画像処理を行う（ステップＳ３２）。

【0078】

ここでは、表示用の画像処理だけではなく、音声出力用のデータを作成する処理も、同時に行ってもよい。また、拡張現実対象認識装置の機能やＡＲ機能を実行するためのアプリやサービスの内容に応じ、適切な処理を行うものとする。

【0079】

また、ＡＲ画像処理を行う際に、データベースを参照する必要がある場合には、拡張現実対象認識装置１０００の記憶部１３００にデータベースを設けて、それを参照してもよいものとする。さらに、ＡＲ画像処理後のデータを、記憶部１３００に蓄積してもよい。

【0080】

最後に、入出力部１５００で、作成したＡＲ画像の表示を行う（ステップＳ３３）。ここでの表示は、表示部であるディスプレイや外部スクリーンなど、出力部の機能にあわせて行うものとする。また、もし音声出力用のデータがある場合には、同時に出力を行ってもよい。

【0081】

[対象物体認識処理とＡＲ画像処理をサーバ２０００で実施する場合の処理]
図１１は、本発明の対象物体認識処理とＡＲ画像処理をサーバ２０００で実施する場合に、拡張現実対象認識装置１０００の実行する処理のフローチャート図である。また、図１２は、本発明の対象物体認識処理とＡＲ画像処理をサーバ２０００で実施する場合に、サーバ２０００の実行する処理のフローチャート図である。上述した装置の各部とモジュールが行う処理について、本処理にて併せて説明する。

【0082】

図１１に示す通り、初めに、拡張現実対象認識装置１０００の入出力部１５００は、ＡＲ画像の撮影指示入力を受け付け、制御部１１００に撮影指示を行う（ステップＳ５１）。

【0083】

制御部１１００はこの指示を受け、カメラ部１２００に撮影指示を行う（ステップＳ５２）。

【0084】

カメラ部１２００では、複数のカメラレンズを配置したレンズ部１２１０と、前記複数のカメラレンズの各々の焦点距離で複数の画像を撮影する画像撮影部１２２０により、複数画像を撮影する（ステップＳ５３）。

【0085】

カメラ部１２００で撮影した複数画像は、記憶部１３００で保持し（ステップＳ５４）、その後、制御部１１００が、サーバでの対象物体認識処理を指示する（ステップＳ５５）。

【0086】

通信部１４００は、制御部１１００からの指示を受けて、サーバ２０００に対して、公衆通信網３０００を介して、対象物体認識処理の指示とともに撮影画像を送信する（ステップＳ５６）。

【0087】

ここで、図１２のサーバ２０００側の処理に移る。

【0088】

サーバ２０００の通信部２４００では、拡張現実対象認識装置１０００から、対象物体認識処理の指示とともに撮影画像を受信する（ステップＳ５７）。

【0089】

その後、記憶部２３００に受信した複数画像を保持し（ステップＳ５８）、制御部２１００で実行される対象物認識モジュール２２１０で対象物認識処理を行う（ステップＳ５９）。

【0090】

対象物認識処理は複数の画像の各々に対して行い、ＮＧ画像を除去し、ＯＫ画像を使用する。ＮＧ画像とは、焦点ずれや手ぶれ等のボケの画像や撮影物体が小さすぎてコーナー点や局所特徴量を求めることができない画像である。ここで、拡張現実対象認識装置１０００では、焦点距離が異なるカメラレンズを使用し、また、複数のカメラにより広範囲を取得する構成であるため、必ずＯＫ画像が得られることが期待できる。

【0091】

対象物認識処理で複数のＯＫ画像が得られた場合には、それらを利用して、更に精度のよい対象物の認識を行うことも可能となる。ここでの対象物認識処理は、アルゴリズムを問わず、本発明を限定するものではない。

【0092】

また、対象物認識処理を行う際に、データベースを参照する必要がある場合には、サーバ２０００の記憶部２３００にデータベースを設けて、それを参照してもよいものとする。さらに、対象物体認識処理後のデータを、記憶部２３００に蓄積してもよい。

【0093】

次に制御部２１００でＡＲ画像処理を行う（ステップＳ６０）。

【0094】

ここでは、表示用の画像処理だけではなく、音声出力用のデータを作成する処理も、同時に行ってもよい。また、拡張現実対象認識装置の機能やＡＲ機能を実行するためのアプリやサービスの内容に応じ、適切な処理を行うものとする。

【0095】

また、ＡＲ画像処理を行う際に、データベースを参照する必要がある場合には、サーバ２０００の記憶部２３００にデータベースを設けて、それを参照してもよいものとする。さらに、ＡＲ画像処理後のデータを、記憶部２３００に蓄積してもよい。

【0096】

その後、通信部２４００は、ＡＲ画像処理で得られたＡＲ画像やその他の出力用データを、拡張現実対象認識装置１０００に送信する（ステップＳ６１）。

【0097】

ここで、図１１の拡張現実対象認識装置１０００側の処理に戻る。

【0098】

通信部１４００は、サーバ２０００により送信されたＡＲ画像やその他の出力データを受信する（ステップＳ６２）。

【0099】

最後に、入出力部１５００で、受信したＡＲ画像の表示を行うとともに、必要に応じてその他の出力データを出力する（ステップＳ６３）。ここでのデータの表示や出力は、出力部の機能にあわせて行うものとする。

【0100】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0101】

５０ 対象物体、１００ 拡張現実対象認識装置、１０００ 拡張現実対象認識装置、２０００ サーバ、３０００ 公衆回線網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】