ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】画像処理装置、および画像処理方法、並びにプログラム
(51)【国際特許分類】
G06V 10/70 20220101AFI20240925BHJP
G06F 3/04815 20220101ALI20240925BHJP
G06F 3/01 20060101ALI20240925BHJP
G06T 19/00 20110101ALI20240925BHJP
G06V 20/20 20220101ALI20240925BHJP
【ＦＩ】
G06V10/70
G06F3/04815
G06F3/01 510
G06T19/00 600
G06V20/20
【請求項の数】
14
(21)【出願番号】P 2021539168
(86)(22)【出願日】2020-07-07
(86)【国際出願番号】 JP2020026611
(87)【国際公開番号】W WO2021029164
(87)【国際公開日】2021-02-18
【審査請求日】2023-05-12
(31)【優先権主張番号】P 2019147046
(32)【優先日】2019-08-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】後藤 智彦
(72)【発明者】
【氏名】青木 秀憲
(72)【発明者】
【氏名】荒井 富士夫
(72)【発明者】
【氏名】永野 京二郎
(72)【発明者】
【氏名】深澤 遼
(72)【発明者】
【氏名】藤澤 春香
【審査官】菊池 伸郎
(56)【参考文献】
【文献】特開２０１５－０６０５７９（ＪＰ，Ａ）
【文献】国際公開第２０１９／０１６８７０（ＷＯ，Ａ１）
【文献】特開２０１９－０１２５３７（ＪＰ，Ａ）
【文献】国際公開第２０１８／１０６５４２（ＷＯ，Ａ１）
【文献】特開２０１７－０９１４３３（ＪＰ，Ａ）
【文献】特開２０１７－０４９６５８（ＪＰ，Ａ）
【文献】特開２０１４－２０６９０４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／００－４０／７０
Ｇ０６Ｔ １／００－７／９０
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０４８１５
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御部を有し、
前記オブジェクト識別部は、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行し、
前記コンテンツ表示制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択する処理を実行し、
前記オブジェクト識別部は、
オブジェクト種類に応じて予め規定された時間間隔でオブジェクト識別処理を繰り返し実行する画像処理装置。
【請求項2】
前記オブジェクト識別部は、画像認識処理によりオブジェクト識別処理を実行する請求項１に記載の画像処理装置。
【請求項3】
前記オブジェクト識別部は、セマンティック・セグメンテーション処理を適用してオブジェクト識別処理を実行する請求項２に記載の画像処理装置。
【請求項4】
前記オブジェクト識別部は、前記仮想オブジェクトの表示領域とするターゲット領域を決定し、決定したターゲット領域の実オブジェクトの識別処理を実行する請求項１に記載の画像処理装置。
【請求項5】
前記オブジェクト識別部は、前記ターゲット領域をユーザ動作、ユーザ視線、ユーザ操作、ユーザ位置、またはユーザ姿勢の少なくともいずれかに基づいて決定する請求項４に記載の画像処理装置。
【請求項6】
前記オブジェクト識別部は、前記ターゲット領域を水平面領域から選択して決定する請求項４に記載の画像処理装置。
【請求項7】
前記コンテンツ表示制御部は、前記仮想オブジェクトを前記水平面領域に接するように表示する請求項６に記載の画像処理装置。
【請求項8】
前記オブジェクト識別部は、前記オブジェクト識別処理をリアルタイム処理として実行する請求項４に記載の画像処理装置。
【請求項9】
前記画像処理装置は、カメラ撮影画像に基づく実世界の３次元マップを生成する３次元マップ生成部を有し、
前記オブジェクト識別部は、
前記３次元マップを利用して前記仮想オブジェクトの表示領域とするターゲット領域を決定する請求項１に記載の画像処理装置。
【請求項10】
前記３次元マップ生成部は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理により、実世界の３次元マップを生成する請求項９に記載の画像処理装置。
【請求項11】
前記コンテンツ表示制御部は、前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するとともに、
前記オブジェクト識別結果に応じて、表示する仮想オブジェクトの表示態様も制御する請求項１に記載の画像処理装置。
【請求項12】
前記画像処理装置は、さらに、音声出力制御を実行するコンテンツ音声制御部を有し、
前記コンテンツ音声制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて出力する音声を決定して出力する請求項１に記載の画像処理装置。
【請求項13】
画像処理装置において実行する画像処理方法であり、オブジェクト識別部が、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行し、
コンテンツ表示制御部が、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行し、
前記オブジェクト識別処理ステップは、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行するステップであり、
前記コンテンツ表示制御ステップは、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行し、
前記オブジェクト識別処理ステップは、
オブジェクト種類に応じて予め規定された時間間隔でオブジェクト識別処理を繰り返し実行するステップである画像処理方法。
【請求項14】
画像処理装置において画像処理を実行させるプログラムであり、オブジェクト識別部に、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行させ、
コンテンツ表示制御部に、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行させ、
前記オブジェクト識別処理ステップにおいては、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行させ、
前記コンテンツ表示制御ステップにおいては、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行させ、
前記オブジェクト識別処理ステップにおいては、
オブジェクト種類に応じて予め規定された時間間隔でオブジェクト識別処理を繰り返し実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、現実に観察可能な実オブジェクトにキャラクタ画像等の仮想コンテンツを重畳して表示する拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成して出力する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【0002】
実空間で観察可能な実オブジェクトや、実オブジェクトと画像に仮想オブジェクトを重畳して表示した画像を拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像と呼ぶ。
【0003】
ＡＲ画像を利用したコンテンツやゲームで利用される仮想オブシェクトには様々な種類があるが、例えば人間と同じような動きをする仮想オブジェクト、すなわちキャラクタが利用されることが多い。
【0004】
ＡＲ画像は、例えばユーザの目に装着するヘッド・マウント・ディスプレイ（ＨＭＤ）や、スマホ（スマートフォン）等の携帯端末等を利用して表示される。
ユーザは、ＡＲ画像を視聴することで、例えばＡＲ画像中の表示キャラクタが実世界に存在するような感覚を楽しむことができる。
ユーザは、ＡＲ画像を視聴することで、例えばＡＲ画像中の表示キャラクタが実世界に存在するような感覚を楽しむことができる。
【0005】
ＡＲ画像中にキャラクタを表示させる場合、例えばゲームプログラム等、コンテンツ再生プログラムに従った表示処理がなされる。
具体的には、プログラムに記録されているキャラクタ出力条件を満たす場合にプログラムに規定された手順でキャラクタが表示される。
しかし、このようなプログラムに規定されたキャラクタ表示を行うと、常に同じような処理が繰り返されることになり、面白みが薄れてしまう。
具体的には、プログラムに記録されているキャラクタ出力条件を満たす場合にプログラムに規定された手順でキャラクタが表示される。
しかし、このようなプログラムに規定されたキャラクタ表示を行うと、常に同じような処理が繰り返されることになり、面白みが薄れてしまう。
【0006】
一方、近年、画像内のオブジェクトを識別する技術としてセマンティック・セグメンテーションについての研究や利用が進んでいる。セマンティック・セグメンテーションは、例えばカメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木等、オブジェクトの種類を識別する技術である。
【0007】
なお、このセマンティック・セグメンテーションについて開示した文献として、例えば特許文献１（特開２０１５－２０７２９１号公報）がある。
【先行技術文献】
【特許文献】
【0008】
【文献】特開２０１５－２０７２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本開示は、実オブジェクトの種類に応じて表示するキャラクタの制御を行う画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【0010】
本開示の一実施例においては、上述したセマンティック・セグメンテーション等のオブジェクト識別処理によって画像の背景オブジェクトを識別し、識別結果に応じて表示するキャラクタを制御する画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【課題を解決するための手段】
【0011】
本開示の第１の側面は、
実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、
実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御部を有し、
前記オブジェクト識別部は、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行し、
前記コンテンツ表示制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択する画像処理装置にある。
実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、
実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御部を有し、
前記オブジェクト識別部は、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行し、
前記コンテンツ表示制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択する画像処理装置にある。
【0012】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
オブジェクト識別部が、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行し、
コンテンツ表示制御部が、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行し、
前記オブジェクト識別処理ステップは、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行するステップであり、
前記コンテンツ表示制御ステップは、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行する画像処理方法にある。
画像処理装置において実行する画像処理方法であり、
オブジェクト識別部が、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行し、
コンテンツ表示制御部が、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行し、
前記オブジェクト識別処理ステップは、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行するステップであり、
前記コンテンツ表示制御ステップは、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行する画像処理方法にある。
【0013】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
オブジェクト識別部に、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行させ、
コンテンツ表示制御部に、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行させ、
前記オブジェクト識別処理ステップにおいては、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行させ、
前記コンテンツ表示制御ステップにおいては、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行させるプログラムにある。
画像処理装置において画像処理を実行させるプログラムであり、
オブジェクト識別部に、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行させ、
コンテンツ表示制御部に、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行させ、
前記オブジェクト識別処理ステップにおいては、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行させ、
前記コンテンツ表示制御ステップにおいては、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行させるプログラムにある。
【0014】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0015】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0016】
本開示の一実施例の構成によれば、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクト種類に応じて表示する仮想オブジェクトの選択や表示態様変更を行う装置、方法が実現される。
具体的には、例えば、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ画像を生成するコンテンツ表示制御部を有する。オブジェクト識別部は、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクトを識別し、コンテンツ表示制御部は、オブジェクト識別結果に応じて表示する仮想オブジェクトを選択する処理や表示態様の変更処理を行う。
本構成により、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクト種類に応じて表示する仮想オブジェクトの選択や表示態様変更を行う装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ画像を生成するコンテンツ表示制御部を有する。オブジェクト識別部は、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクトを識別し、コンテンツ表示制御部は、オブジェクト識別結果に応じて表示する仮想オブジェクトを選択する処理や表示態様の変更処理を行う。
本構成により、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクト種類に応じて表示する仮想オブジェクトの選択や表示態様変更を行う装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0017】
【図1】本開示の画像処理装置の構成例と実行する処理について説明する図である。
【図2】本開示の画像処理装置の実行する処理について説明する図である。
【図3】本開示の画像処理装置の実行する処理について説明する図である。
【図4】本開示の画像処理装置の実行する処理について説明する図である。
【図5】本開示の画像処理装置の構成例と実行する処理について説明する図である。
【図6】本開示の画像処理装置の構成例と実行する処理について説明する図である。
【図7】本開示の画像処理装置の実行する処理について説明する図である。
【図8】本開示の画像処理装置の実行する処理について説明する図である。
【図9】本開示の画像処理装置の一構成例について説明する図である。
【図10】空間マップデータのデータ構成例について説明する図である。
【図11】クラス対応更新時間データのデータ構成例について説明する図である。
【図12】クラス対応仮想オブジェクトデータのデータ構成例について説明する図である。
【図13】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図14】本開示の画像処理装置の実行するターゲット領域決定処理のシーケンスについて説明するフローチャートを示す図である。
【図15】本開示の画像処理装置の実行するターゲット領域決定処理のシーケンスについて説明するフローチャートを示す図である。
【図16】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図17】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図18】本開示の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0018】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の画像処理装置の実行する処理の概要について
２．本開示の画像処理装置の構成例について
３．本開示の画像処理装置の実行する処理のシーケンスについて
３－（１）画像処理装置の実行する基本処理シーケンス
３－（２）ターゲット領域の設定領域をほぼ水平な面に設定する処理のシーケンス
３－（３）実オブジェクト識別処理の更新シーケンス
４．画像処理装置のハードウェア構成例について
５．本開示の構成のまとめ
１．本開示の画像処理装置の実行する処理の概要について
２．本開示の画像処理装置の構成例について
３．本開示の画像処理装置の実行する処理のシーケンスについて
３－（１）画像処理装置の実行する基本処理シーケンス
３－（２）ターゲット領域の設定領域をほぼ水平な面に設定する処理のシーケンス
３－（３）実オブジェクト識別処理の更新シーケンス
４．画像処理装置のハードウェア構成例について
５．本開示の構成のまとめ
【0019】
［１．本開示の画像処理装置の実行する処理の概要について］
まず、図１以下を参照して、本開示の画像処理装置の実行する処理の概要について説明する。
まず、図１以下を参照して、本開示の画像処理装置の実行する処理の概要について説明する。
【0020】
図１には、本開示の画像処理装置の一例として、ヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型ＡＲ画像表示デバイス１０を示している。
ユーザは、ユーザの目を覆うようにヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型ＡＲ画像表示デバイス１０を装着する。
ユーザは、ユーザの目を覆うようにヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型ＡＲ画像表示デバイス１０を装着する。
【0021】
光透過型ＡＲ画像表示デバイス１０は光透過型の表示部（ディスプレイ）を有する。光透過型の表示部（ディスプレイ）をユーザの目の前の位置に設定するようにユーザに装着される。
【0022】
ユーザは、光透過型ＡＲ画像表示デバイス１０の光透過型の表示部（ディスプレイ）を介して外部の実オブジェクトをそのまま観察することができる。
さらに、光透過型の表示部（ディスプレイ）に、仮想オブジェクト、例えばキャラクタ画像等の仮想オブジェクト画像が表示される。
さらに、光透過型の表示部（ディスプレイ）に、仮想オブジェクト、例えばキャラクタ画像等の仮想オブジェクト画像が表示される。
【0023】
ユーザは、光透過型ＡＲ画像表示デバイス１０を介して外部の実オブジェクトとキャラクタ等の仮想オブジェクト画像を併せて観察することが可能となり、あたかもキャラクタ等の仮想オブジェクトが実世界状に存在するかのような感覚を体感することができる。
【0024】
図１の右側には、ユーザが、光透過型ＡＲ画像表示デバイス１０を介して観察可能な画像の例を示している。
【0025】
（ａ）観察画像例１は、光透過型ＡＲ画像表示デバイス１０を介して観察される外部の実オブジェクトからなる透過観察画像２１によって構成されている。この画像例１には、仮想オブジェクトは表示されていない。
【0026】
一方、（ｂ）観察画像例２は、光透過型ＡＲ画像表示デバイス１０を介して観察される外部の実オブジェクトからなる透過観察画像２１に併せて、キャラクタ画像等の仮想オブジェクト画像２２を表示した画像例である。この画像例２は、ユーザが実オブジェクトと仮想オブジェクトを併せて観察可能な画像である。
【0027】
前述したように、実空間で観察可能な実オブジェクトや、実オブジェクトと画像に仮想オブジェクトを重畳して表示した画像を拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像と呼ぶ。
本開示の画像処理装置は、このＡＲ画像の表示処理を行う装置である。
本開示の画像処理装置は、このＡＲ画像の表示処理を行う装置である。
【0028】
本開示の画像処理装置、例えば図１に示す光透過型ＡＲ画像表示デバイス１０は、ＡＲ画像表示における仮想オブジェクトの表示制御を実行する。
【0029】
本開示の画像処理装置、例えば図１に示す光透過型ＡＲ画像表示デバイス１０の実行する具体的な処理は、例えば以下の処理である。
（ａ）自己位置推定と環境３次元マップ生成を行うＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理等を適用して、ユーザが光透過型ＡＲ画像表示デバイス１０を介して観察している実世界の３次元マップを生成する処理。
（ｂ）セマンティック・セグメンテーション等のオブジェクト識別処理によって実世界に含まれるオブジェクトを識別する処理。
（ｃ）実世界のオブジェクト識別結果に応じて、表示する仮想オブジェクト（キャラクタ等）を選択し、また仮想オブジェクトの表示態様を制御する処理。
本開示の画像処理装置は、例えばこれらの処理を実行する。
（ａ）自己位置推定と環境３次元マップ生成を行うＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理等を適用して、ユーザが光透過型ＡＲ画像表示デバイス１０を介して観察している実世界の３次元マップを生成する処理。
（ｂ）セマンティック・セグメンテーション等のオブジェクト識別処理によって実世界に含まれるオブジェクトを識別する処理。
（ｃ）実世界のオブジェクト識別結果に応じて、表示する仮想オブジェクト（キャラクタ等）を選択し、また仮想オブジェクトの表示態様を制御する処理。
本開示の画像処理装置は、例えばこれらの処理を実行する。
【0030】
図２以下を参照して、本開示の画像処理装置が実行する仮想オブジェクトの表示制御例について説明する。
【0031】
図２の左に示す図は、光透過型ＡＲ画像表示デバイス１０を装着したユーザが公園を歩き回り、池の近くで、池の水面を見ながら、池の水面方向に「指さし」を行った状態を示している。
【0032】
光透過型ＡＲ画像表示デバイス１０は、カメラを有しており、ユーザが指さしを行った画像を撮影し、撮影画像がデバイス内部の画像解析部を介して３次元マップ生成部に入力される。
画像解析部は撮影画像から特徴点を抽出し、３次元マップ生成部は、画像から抽出された特徴点を利用して実世界の３次元マップを生成する。
この３次元マップ生成処理は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理によってリアルタイムで実行される。
画像解析部は撮影画像から特徴点を抽出し、３次元マップ生成部は、画像から抽出された特徴点を利用して実世界の３次元マップを生成する。
この３次元マップ生成処理は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理によってリアルタイムで実行される。
【0033】
ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理は、自己位置推定と環境３次元マップの生成を同時に並列して実行することを可能とした処理である。
【0034】
さらに、３次元マップ生成部が生成した３次元マップは、画像処理装置のオブジェクト識別部に入力される。
オブジェクト識別部は、３次元マップ生成部が生成した３次元マップを用いて、ユーザの指さし方向にある実オブジェクト領域をターゲット領域１１として決定する。さらに、このターゲット領域１１のオブジェクトを識別する。
オブジェクト識別部は、３次元マップ生成部が生成した３次元マップを用いて、ユーザの指さし方向にある実オブジェクト領域をターゲット領域１１として決定する。さらに、このターゲット領域１１のオブジェクトを識別する。
【0035】
オブジェクト識別部は、例えば、セマンティック・セグメンテーション処理を適用して実世界のオブジェクトの識別処理を行う。
【0036】
セマンティック・セグメンテーションは、画像認識処理の一種であり、ディープラーニングを用いて画像中の物体が画素レベルで何かを認識するタスクを行う手法である。例えば様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ（学習済みデータ）と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木、池、芝生等、オブジェクトの種類を識別することができる。
このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木、池、芝生等、オブジェクトの種類を識別することができる。
【0037】
図２に示す例では、光透過型ＡＲ画像表示デバイス１０の画像解析部は、カメラ撮影画像に基づいて、ユーザの指さし方向のターゲット領域１１のオブジェクトが「池」であると判定する。
【0038】
さらに、光透過型ＡＲ画像表示デバイス１０の仮想オブジェクト表示制御を実行するコンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果を入力し、オブジェクト識別結果に従って表示すべき仮想オブジェクト（キャラクタ等）の選択処理や表示態様を決定して表示する。
【0039】
図２に示す例では、図２右側の（ｂ）観察画像例２に示すように、仮想オブジェクト画像２２として、「水の妖精キャラクタ」の画像を表示する制御を行う。
これは、ユーザの指さし方向の実オブジェクトが、「池」であるとの解析結果に基づく表示制御である。
すなわち、コンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果＝「池」に応じた最適な仮想オブジェクトとして、「水の妖精キャラクタ」を選択して表示する処理を行う。
なお、仮想オブジェクト画像２２は、例えば３Ｄコンテンツ画像として表示する。
これは、ユーザの指さし方向の実オブジェクトが、「池」であるとの解析結果に基づく表示制御である。
すなわち、コンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果＝「池」に応じた最適な仮想オブジェクトとして、「水の妖精キャラクタ」を選択して表示する処理を行う。
なお、仮想オブジェクト画像２２は、例えば３Ｄコンテンツ画像として表示する。
【0040】
図３は、本開示の画像処理装置が実行する異なる仮想オブジェクトの表示制御例を説明する図である。
図３の左に示す図も、図２と同様、光透過型ＡＲ画像表示デバイス１０を装着したユーザが公園を歩き回っている図である。ユーザは、公園の芝生を見ながら、芝生方向に指さしを行っている。
図３の左に示す図も、図２と同様、光透過型ＡＲ画像表示デバイス１０を装着したユーザが公園を歩き回っている図である。ユーザは、公園の芝生を見ながら、芝生方向に指さしを行っている。
【0041】
この場合、光透過型ＡＲ画像表示デバイス１０のオブジェクト識別部は、カメラ撮影画像の解析により、ユーザの指さし方向であるターゲット領域１１のオブジェクトが「芝生」であるとの解析結果を出力する。
【0042】
さらに、光透過型ＡＲ画像表示デバイス１０のコンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果を入力し、オブジェクト識別結果に従って表示すべき仮想オブジェクト（キャラクタ等）の選択処理や表示態様を決定して表示する。
【0043】
図３に示す例では、図３右側の（ｂ）観察画像例２に示すように、仮想オブジェクト画像２３として、「草原の妖精キャラクタ」の画像を表示する制御を行う。
これは、ユーザの指さし方向の実オブジェクトが、「芝生」であるとの解析結果に基づく表示制御である。
すなわち、コンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果＝「芝生」に応じた最適な仮想オブジェクトとして、「芝生の妖精キャラクタ」を選択して表示する処理を行う。
これは、ユーザの指さし方向の実オブジェクトが、「芝生」であるとの解析結果に基づく表示制御である。
すなわち、コンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果＝「芝生」に応じた最適な仮想オブジェクトとして、「芝生の妖精キャラクタ」を選択して表示する処理を行う。
【0044】
図４は、本開示の画像処理装置が実行する異なる仮想オブジェクトの表示制御例を説明する図である。
図４の左に示す図も、図２、図３と同様、光透過型ＡＲ画像表示デバイス１０を装着したユーザが公園を歩き回っている図である。ユーザは、公園の木を見ながら、木の方向に指さしを行っている。
図４の左に示す図も、図２、図３と同様、光透過型ＡＲ画像表示デバイス１０を装着したユーザが公園を歩き回っている図である。ユーザは、公園の木を見ながら、木の方向に指さしを行っている。
【0045】
この場合、光透過型ＡＲ画像表示デバイス１０のオブジェクト識別部は、カメラ撮影画像の解析により、ユーザの指さし方向であるターゲット領域１１のオブジェクトが「木」であるとの解析結果を出力する。
【0046】
さらに、光透過型ＡＲ画像表示デバイス１０のコンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果を入力し、オブジェクト識別結果に従って表示すべき仮想オブジェクト（キャラクタ等）の選択処理や表示態様を決定して表示する。
【0047】
図４に示す例では、図４右側の（ｂ）観察画像例２に示すように、仮想オブジェクト画像２３として、「木の妖精キャラクタ」の画像を表示する制御を行う。
これは、ユーザの指さし方向の実オブジェクトが、「木」であるとの解析結果に基づく表示制御である。
すなわち、コンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果＝「木」に応じた最適な仮想オブジェクトとして、「木の妖精キャラクタ」を選択して表示する処理を行う。
これは、ユーザの指さし方向の実オブジェクトが、「木」であるとの解析結果に基づく表示制御である。
すなわち、コンテンツ表示制御部は、ターゲット領域１１のオブジェクト識別結果＝「木」に応じた最適な仮想オブジェクトとして、「木の妖精キャラクタ」を選択して表示する処理を行う。
【0048】
このように、本開示の画像処理装置は、ＳＬＡＭ処理等を用いて実世界の３次元形状解析を行い、実世界の３次元マップを生成し、さらにセマンティック・セグメンテーション等のオブジェクト識別処理によって実世界の３次元マップ内のターゲット領域のオブジェクトを識別し、識別結果に応じて表示するキャラクタ等の仮想オブジェクトの表示制御を実行する。
【0049】
なお、セマンティック・セグメンテーション等のオブジェクト識別処理によって解析する実オブジェクトの対象は、例えば、ユーザの指によって指定された領域、すなわちターゲット領域のみに限定して処理を行うことが可能となる。このように、解析範囲を限定することにより高速処理が実現される。
【0050】
なお、本開示の画像処理装置は、図１を参照して説明したヘッド・マウント・ディスプレイ（ＨＭＤ）型の光透過型ＡＲ画像表示デバイス１０に限らず、様々な表示部を備えた装置によって構成することができる。
【0051】
例えば、図５に示すカメラ撮影画像表示型ＡＲ画像表示デバイス３０としてもよい。図５に示すカメラ撮影画像表示型ＡＲ画像表示デバイス３０は、非透過型の表示部（ディスプレイ）を有する。光透過型の表示部（ディスプレイ）は、ユーザによって観察可能なユーザの目の前の位置に設定されるようにユーザに装着される。
【0052】
カメラ撮影画像表示型ＡＲ画像表示デバイス３０に一体化されたカメラ３１の撮影画像、すなわち図５に示すカメラ撮影画像３２がユーザの目の前の表示部に表示される。すなわちカメラ３１が撮影する実オブジェクトの画像がユーザの目の前の表示部に表示され、ユーザは、カメラ撮影画像３２を見ることで、外部の景色を確認することができる。
【0053】
さらに、表示部（ディスプレイ）には、仮想オブジェクト、例えばキャラクタ画像等の仮想オブジェクト画像２２が表示される。
【0054】
ユーザは、カメラ撮影画像表示型ＡＲ画像表示デバイス３０の表示部（ディスプレイ）に表示されるカメラ撮影画像３２、すなわち実オブジェクト画像と、キャラクタ等の仮想オブジェクト画像２２を併せて観察することが可能となり、あたかもキャラクタ等の仮想オブジェクトが実世界状に存在するかのような感覚を体感することができる。
【0055】
さらに、本開示の画像処理装置は、図６に示すようなスマホ４０等の携帯型表示装置とすることも可能である。
【0056】
図６に示すスマホ４０は、表示部を有し、カメラ４１を有する。カメラ４１の撮影画像、すなわち図に示すカメラ撮影画像４２が表示部に表示される。すなわちカメラ４１が撮影する実オブジェクトの画像が表示部に表示され、ユーザは、カメラ撮影画像を見ることで、外部の景色を確認することができる。
【0057】
さらに、表示部（ディスプレイ）には、仮想オブジェクト、例えばキャラクタ画像等の仮想オブジェクト画像が表示される。
【0058】
ユーザは、スマホ４０の表示部（ディスプレイ）に表示されるカメラ撮影画像、すなわち実オブジェクト画像と、キャラクタ等の仮想オブジェクト画像を併せて観察することが可能となり、あたかもキャラクタ等の仮想オブジェクトが実世界状に存在するかのような感覚を体感することができる。
【0059】
なお、このスマホ４０の例では、ユーザがスマホ４０の表示部のある位置をタッチした場合に、画像処理装置（スマホ）の画像解析部が、タッチ位置を解析し、さらにタッチ位置の実オブジェクトの種類を判別する。その後、画像処理装置（スマホ）のコンテンツ表示制御部が、この判別結果に応じてキャラクタ等の仮想オブジェクトの表示制御を実行する。
【0060】
上述したように、本開示の画像処理装置は、仮想オブジェクトの表示位置となるターゲット領域にある実オブジェクトが水であるか、草であるか、木であるか等のオブジェクト識別を行い、識別結果に応じて表示するキャラクタ等の仮想オブジェクトを選択して表示する処理等を行う。
【0061】
さらに、本開示の画像処理装置は、ターゲット領域にある実オブジェクトの識別結果に応じた表示仮想オブジェクトの選択処理のみならず、実オブジェクト識別結果に応じてキャラクタ等の仮想オブジェクトの表示態様を変更する処理も実行する。
【0062】
図７以下を参照して、実オブジェクト識別結果に応じた仮想オブジェクトの表示態様の変更処理の具体例について説明する。
【0063】
図７には、本開示の画像処理装置の表示部に表示されるＡＲ画像の一例として、実オブジェクトである池から仮想オブジェクト（キャラクタ）が飛び出すＡＲ画像の表示例を示している。
【0064】
本開示の画像処理装置のコンテンツ表示制御部は、ターゲット領域に表示したキャラクタ等の仮想オブジェクトを予め設定されたプログラムに従って移動させる処理や動かす処理を行う。
図７に示す例は、ターゲット領域１１に表示したキャラクタを上方向に移動させる表示を行う例を示している。
図７に示す例は、ターゲット領域１１に表示したキャラクタを上方向に移動させる表示を行う例を示している。
【0065】
図７（１）池から仮想オブジェクト（キャラクタ）が飛び出す瞬間－１は、仮想オブジェクト（キャラクタ）の上半分のみが水上に表示され、下半分が水中にある状態である。
このような状態では、画像処理装置のコンテンツ表示制御部は、図７（１）に示すように、水上の仮想オブジェクト画像５０と、水中の仮想オブジェクト画像５１を異なる表示態様で表示する。
すなわち、水上の仮想オブジェクト画像５０については、通常の輪郭がはっきりした画像として表示するが、水中の仮想オブジェクト画像５１については、水中に存在するように３次元的な歪みを持つ画像として表示する。
このような状態では、画像処理装置のコンテンツ表示制御部は、図７（１）に示すように、水上の仮想オブジェクト画像５０と、水中の仮想オブジェクト画像５１を異なる表示態様で表示する。
すなわち、水上の仮想オブジェクト画像５０については、通常の輪郭がはっきりした画像として表示するが、水中の仮想オブジェクト画像５１については、水中に存在するように３次元的な歪みを持つ画像として表示する。
【0066】
さらに、画像処理装置のコンテンツ音声制御部は、キャラクタが水上に移動する際の効果音として、水の音（ピチャピチャ等）を、スピーカを介して出力する。
【0067】
図７（２）池から仮想オブジェクト（キャラクタ）が飛び出す瞬間－２は、図７（１）の後のＡＲ画像表示例である。この時点では、仮想オブジェクト（キャラクタ）の全身が水上に表示されている。この状態では、水上の仮想オブジェクト画像５０がキャラクタ全体の画像となり、画像処理装置のコンテンツ表示制御部は、キャラクタ全体画像を輪郭がはっきりした画像として表示する。
【0068】
図８は、実オブジェクトの識別結果に応じてキャラクタ等の仮想オブジェクト表示態様を変更する処理の別の具体例について説明する図である。
【0069】
図８には、本開示の画像処理装置の表示部に表示されるＡＲ画像の一例として、仮想オブジェクト（キャラクタ）の影を表示したＡＲ画像の表示例を示している。
すなわち、コンテンツ表示制御部がターゲット領域１１にキャラクタを表示する際、キャラクタの影の表示も併せて実行する。
すなわち、コンテンツ表示制御部がターゲット領域１１にキャラクタを表示する際、キャラクタの影の表示も併せて実行する。
【0070】
図８に示す「（１）影の映る面が平面の場合のキャラクタの影の表示例」は、
仮想オブジェクト（キャラクタ）画像５０の影の映る面が、室内の床や、外部の歩道等、平面である場合の影の表示例である。
このように仮想オブジェクト（キャラクタ）画像５０の影の映る面が平面である場合、画像処理装置のコンテンツ表示制御部は、ターゲット領域１１に３次元キャラクタである仮想オブジェクト画像５０を表示する際、仮想オブジェクト画像５０の影を示す仮想オブジェクト影画像５２を輪郭がはっきりした画像として表示する。
仮想オブジェクト（キャラクタ）画像５０の影の映る面が、室内の床や、外部の歩道等、平面である場合の影の表示例である。
このように仮想オブジェクト（キャラクタ）画像５０の影の映る面が平面である場合、画像処理装置のコンテンツ表示制御部は、ターゲット領域１１に３次元キャラクタである仮想オブジェクト画像５０を表示する際、仮想オブジェクト画像５０の影を示す仮想オブジェクト影画像５２を輪郭がはっきりした画像として表示する。
【0071】
一方、図８「（２）影の映る面が非平面（砂場等）の場合のキャラクタの影の表示例は」、
仮想オブジェクト（キャラクタ）画像５０の影の映る面が、例えば砂場等、平面でない場合の影の表示例である。
このように仮想オブジェクト（キャラクタ）画像５０の影の映る面が砂場等、でこぼこのある面の場合、画像処理装置のコンテンツ表示制御部は、ターゲット領域１１に３次元キャラクタである仮想オブジェクト画像５０を表示する際、仮想オブジェクト画像５０の影を示す仮想オブジェクト影画像５２を輪郭がはっきりしない、でこぼこのある画像として表示する。
仮想オブジェクト（キャラクタ）画像５０の影の映る面が、例えば砂場等、平面でない場合の影の表示例である。
このように仮想オブジェクト（キャラクタ）画像５０の影の映る面が砂場等、でこぼこのある面の場合、画像処理装置のコンテンツ表示制御部は、ターゲット領域１１に３次元キャラクタである仮想オブジェクト画像５０を表示する際、仮想オブジェクト画像５０の影を示す仮想オブジェクト影画像５２を輪郭がはっきりしない、でこぼこのある画像として表示する。
【0072】
このように、本開示の画像処理装置のコンテンツ表示制御部は、仮想オブジェクトを表示するターゲット領域の実オブジェクトの識別結果に応じて、仮想オブジェクトの表示態様も変更して表示する制御を行い、また、コンテンツ音声制御部はターゲット領域の実オブジェクトの識別結果に応じた効果音の出力制御を行う。
【0073】
［２．本開示の画像処理装置の構成例について］
次に、本開示の画像処理装置の構成例について説明する。
次に、本開示の画像処理装置の構成例について説明する。
【0074】
前述したように、本開示の画像処理装置は、図１を参照して説明した光透過型ＡＲ画像表示デバイス１０、あるいは図５を参照して説明したカメラ撮影画像表示型ＡＲ画像表示デバイス３０、あるいは図６を参照して説明したスマホ４０等の携帯型の表示装置等、様々な形態を持つ装置として実現することができる。
【0075】
【0076】
図９に示すように、画像処理装置１００は、データ入力部１１０、データ処理部１２０、データ出力部１３０、通信部１４０を有する。
【0077】
データ入力部１１０は、外部撮影カメラ１１１、内部撮影カメラ１１２、モーションセンサ（ジャイロ、加速度センサ等）１１３、操作部１１４、マイク１１５を有する。
【0078】
データ処理部１２０は、外部撮影画像解析部１２１、３次元マップ生成部１２２、内部撮影画像解析部１２３、デバイス姿勢解析部１２４、音声解析部１２５、オブジェクト識別部１２６、空間マップデータ１２７、クラス対応更新時間データ１２８を有する。
【0079】
データ出力部１３０は、コンテンツ表示制御部１３１、コンテンツ音声制御部１３２、表示部１３３、スピーカ１３４、クラス対応仮想オブジェクトデータ（３Ｄモデル、音声データ等）１３５を有する。
【0080】
データ入力部１１０の外部撮影カメラ１１１は、外部の画像を撮影する。例えば、ＨＭＤを装着したユーザのいる環境における外の景色等を撮影する。スマホ等の携帯端末の場合はスマホ等に備えられたカメラである。
内部撮影カメラ１１２は、基本的にＨＭＤ固有の構成であり、ユーザの視線方向を解析するためのユーザの目の領域の画像を撮影する。
内部撮影カメラ１１２は、基本的にＨＭＤ固有の構成であり、ユーザの視線方向を解析するためのユーザの目の領域の画像を撮影する。
【0081】
モーションセンサ（ジャイロ、加速度センサ等）１１３は、例えばＨＭＤやスマホ等、画像処理装置１００本体の姿勢や動きを検出する。
モーションセンサジ１１３は、例えば、ジャイロ、加速度センサ、方位センサ、一測位センサ、慣性計測装置（ＩＭＵ）等によって構成される。
モーションセンサジ１１３は、例えば、ジャイロ、加速度センサ、方位センサ、一測位センサ、慣性計測装置（ＩＭＵ）等によって構成される。
【0082】
操作部１１４は、ユーザによって操作可能な操作部であり、例えばターゲット領域の入力や、その他の処理指示等の入力に利用される。
マイク１１５は、ユーザによる音声入力による指示の入力等に用いられる。また、外部の環境音の入力にも利用できる。
マイク１１５は、ユーザによる音声入力による指示の入力等に用いられる。また、外部の環境音の入力にも利用できる。
【0083】
次に、データ処理部１２０の構成部について説明する。
外部撮影画像解析部１２１は、外部撮影カメラ１１１によって撮影された外部の撮影画像を入力し、外部撮影画像から特徴点の抽出を行う。
この特徴点抽出処理は、３次元マップの生成に利用するための特徴点であり、抽出した特徴点情報は、外部撮影カメラ１１１によって撮影された外部の撮影画像とともに、３次元マップ生成部１２２に入力する。
外部撮影画像解析部１２１は、外部撮影カメラ１１１によって撮影された外部の撮影画像を入力し、外部撮影画像から特徴点の抽出を行う。
この特徴点抽出処理は、３次元マップの生成に利用するための特徴点であり、抽出した特徴点情報は、外部撮影カメラ１１１によって撮影された外部の撮影画像とともに、３次元マップ生成部１２２に入力する。
【0084】
３次元マップ生成部１２２は、外部撮影カメラ１１１によって撮影された外部の撮影画像と、外部撮影画像解析部１２１が抽出した特徴点に基づいて、外部の実オブジェクトによって構成される３次元マップを生成する。
【0085】
この３次元マップ生成処理は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理によってリアルタイム処理として実行する。
前述したように、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理は、自己位置推定と環境３次元マップの生成を同時に並列して実行することを可能とした処理である。
前述したように、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理は、自己位置推定と環境３次元マップの生成を同時に並列して実行することを可能とした処理である。
【0086】
３次元マップ生成部１２２の生成した外部環境の３次元マップデータは、オブジェクト識別部１２６に入力される。
【0087】
内部撮影画像解析部１２３は、内部撮影カメラ１１２の撮影したユーザの目の領域の画像に基づいてユーザの視線方向を解析する。この内部撮影画像解析部１２３も、前述した内部撮影カメラ１１２と同様、基本的にＨＭＤ固有の構成である。
内部撮影画像解析部１２３の解析したユーザ視線情報は、オブジェクト識別部１２６に入力される。
内部撮影画像解析部１２３の解析したユーザ視線情報は、オブジェクト識別部１２６に入力される。
【0088】
デバイス姿勢解析部１２４は、モーションセンサ（ジャイロ、加速度センサ等）１１３によって計測されたセンサ検出情報に基づいて、ＨＭＤやスマホ等、画像処理装置１００本体の姿勢や動きを解析する。
デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報は、オブジェクト識別部１２６に入力される。
デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報は、オブジェクト識別部１２６に入力される。
【0089】
音声解析部１２５は、マイク１１５から入力するユーザ音声や環境音の解析を行う。解析結果は、オブジェクト識別部１２６に入力される。
【0090】
オブジェクト識別部１２６は、３次元マップ生成部１２２が生成した３次元マップを入力し、仮想オブジェクトの表示領域に設定するためのターゲット領域を決定し、さらに、決定したターゲット領域の実オブジェクトの識別処理を実行する。例えばターゲット領域が池である、木である等のオブジェクト識別処理を実行する。
【0091】
ターゲット領域の特定処理は、様々な方法によって実行可能である。
例えば、３次元マップに含まれるユーザの指の画像を用いて行うことが可能である。
ユーザの指さし方向の延長線と、３次元マップ上の実オブジェクトとの交点を求め、例えば、交点を中心とするあらかじめ規定した半径の円形領域をターゲット領域として決定する。
例えば、３次元マップに含まれるユーザの指の画像を用いて行うことが可能である。
ユーザの指さし方向の延長線と、３次元マップ上の実オブジェクトとの交点を求め、例えば、交点を中心とするあらかじめ規定した半径の円形領域をターゲット領域として決定する。
【0092】
なお、ターゲット領域の指定は、ユーザによる指さし以外の方法で行うことも可能である。オブジェクト識別部１２６は、ターゲット領域の決定に使用するための情報として、以下のいずれかの情報を利用することができる。
（ａ）内部撮影画像解析部１２３の解析したユーザ視線情報
（ｂ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報
（ｃ）操作部１１４を介して入力するユーザ操作情報
（ｄ）音声解析部１２５が解析したユーザ音声情報
（ａ）内部撮影画像解析部１２３の解析したユーザ視線情報
（ｂ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報
（ｃ）操作部１１４を介して入力するユーザ操作情報
（ｄ）音声解析部１２５が解析したユーザ音声情報
【0093】
「（ａ）内部撮影画像解析部１２３の解析したユーザ視線情報」を利用する場合、オブジェクト識別部１２６は、ユーザの視線方向の延長線と、３次元マップ上の実オブジェクトとの交点を求め、例えば、交点を中心とする所定半径の円形領域をターゲット領域として決定する。
【0094】
「（ｂ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報」を利用する場合、オブジェクト識別部１２６は、ユーザによって装着されたＨＭＤ、あるいはユーザの持つスマホの前方方向の延長線と、３次元マップ上の実オブジェクトとの交点を求め、例えば、交点を中心とする所定半径の円形領域をターゲット領域として決定する。
【0095】
「（ｃ）操作部１１４を介して入力するユーザ操作情報」を利用する場合、オブジェクト識別部１２６は、例えば画像処理装置１００の入力部を介して入力されたユーザの操作情報に基づいてターゲット領域を決定する。
例えば、先に説明した図６に示すスマホを利用した構成において、ユーザの指による画面位置指定情報をユーザ操作情報として入力し、この指定位置をターゲッ領域の中心位置とするといった処理が可能である。
例えば、先に説明した図６に示すスマホを利用した構成において、ユーザの指による画面位置指定情報をユーザ操作情報として入力し、この指定位置をターゲッ領域の中心位置とするといった処理が可能である。
【0096】
なお、この他、操作部１１４として、画像処理装置１００と別体の棒状の指示部材を用い、この指示部材の指示方向情報をオブジェクト識別部１２６に入力し、指示方向に基づいてターゲット領域を決定する構成としてもよい。
【0097】
「（ｄ）音声解析部１２５が解析したユーザ音声情報」を利用する場合、オブジェクト識別部１２６は、例えばユーザによる発話を解析してターゲット領域を決定する。
例えば、ユーザ発話が「前の池」といった発話である場合、その色をターゲット領域として決定する。
例えば、ユーザ発話が「前の池」といった発話である場合、その色をターゲット領域として決定する。
【0098】
さらに、オブジェクト識別部１２６は、これら以外のターゲット領域決定処理を行ってもよい。例えば、外部撮影カメラ１１１によって撮影された画像に基づいて生成される３次元マップや、モーションセンサ１１３の検出情報に基づいて地面、床面、水面等の水平面の検出処理を実行し、撮影画像の中心領域に最も近い水平面の領域をターゲット領域として決定する処理を行ってもよい。
【0099】
また、例えばユーザが仮想的なボールを投げる動作を行い、これを外部撮影カメラ１１１によって撮影し、撮影画像を解析してボールの着地点を解析して、この着地点をターゲット領域の中心位置に設定するといった処理を行ってもよい。
【0100】
オブジェクト識別部１２６は、上述した方法のいずれかを用いて、仮想オブジェクト表示領域とするターゲット領域を決定する。さらに、決定したターゲット領域の実オブジェクトの識別処理を実行する。例えばターゲット領域が池である、木である等のオブジェクト識別処理を実行する。
【0101】
前述したように、この実オブジェクトのオブジェクト識別処理は、例えば、セマンティック・セグメンテーション処理を適用して実行する。
セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ（学習済みデータ）と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木、池、芝生等、オブジェクトの種類を識別することができる。
セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ（学習済みデータ）と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
このセマンティック・セグメンテーションにより、カメラ撮影画像に含まれる様々なオブジェクト、例えば人、車、ビル、道路、木、池、芝生等、オブジェクトの種類を識別することができる。
【0102】
なお、オブジェクト識別部１２６において実行する実オブジェクトの識別処理は、ターゲット領域のみ、あるいはターゲット領域を含む周囲領域の限られた範囲のみを対象として実行する。このような限定範囲の処理を行うことで高速の処理、すなわちリアルタイム処理が可能となる。なお。リアルタイム処理とは、例えばユーザによるターゲット領域の指定後、即座に実オブジェクトの識別処理が実行されることを意味する。これにより、例えばユーザがターゲット領域を観察している間に時間遅れなくオブジェクト識別が完了する。
【0103】
オブジェクト識別部１２６が解析したターゲット領域の実オブジェクトの識別結果は、データ出力部１３０のコンテンツ表示制御部１３１と、コンテンツ音声制御部１３２に入力される。
【0104】
データ出力部１３０のコンテンツ表示制御部１３１は、オブジェクト識別部１２６からターゲット領域のオブジェクト識別結果を入力し、オブジェクト識別結果に従って表示すべき仮想オブジェクト（キャラクタ等）の選択処理や表示態様を決定して表示部１３３に表示する。
具体的には、例えば先に説明した図２～図４、図７、図８に示すような仮想オブジェクト（キャラクタ等）の表示処理を実行する。
具体的には、例えば先に説明した図２～図４、図７、図８に示すような仮想オブジェクト（キャラクタ等）の表示処理を実行する。
【0105】
データ出力部１３０のコンテンツ音声制御部１３２は、オブジェクト識別部１２６からターゲット領域のオブジェクト識別結果を入力し、オブジェクト識別結果に従って出力すべき音声を決定してスピーカ１３４を介して出力する。
具体的には、例えば先に説明した図７に示すように、実オブジェクトである池から仮想オブジェクトが現れる場合、水の音を出力する処理を実行する。
具体的には、例えば先に説明した図７に示すように、実オブジェクトである池から仮想オブジェクトが現れる場合、水の音を出力する処理を実行する。
【0106】
なお、データ出力部１３０のコンテンツ表示制御部１３１と、コンテンツ音声制御部１３２は、クラス対応仮想オブジェクトデータ１３５に記録された仮装オブジェクトの３Ｄコンテンツや様々な音声データを取得してデータ出力を実行する。
【0107】
クラス対応仮想オブジェクトデータ１３５には、ターゲット領域の実オブジェクトの識別結果に相当する実オブジェクト種類（クラス）に対応づけられた表示用の仮装オブジェクトの３Ｄコンテンツや様々な音声データが記録されている。
クラス対応仮想オブジェクトデータ１３５の具体例については後述する。
クラス対応仮想オブジェクトデータ１３５の具体例については後述する。
【0108】
また、コンテンツ表示部１３１は、画像処理装置１００が、例えば図５を参照して説明したカメラ撮影画像表示型ＡＲ画像表示デバイス３０や、図６を参照して説明したスマホ４０のようにカメラ撮影画像を表示する処理を行う構成の場合は、外部撮影カメラ１１の撮影画像を入力して、この撮影画像に仮想オブジェクトを重畳させた表示画像を生成して表示部１３３に表示する。
【0109】
通信部１４０は、例えば外部サーバと通信し、仮想コンテンツであるキャラクタの３Ｄコンテンツを取得する。その他、データ処理に必要となる様々なデータやパラメータを外部サーバから取得する構成としてもよい。
【0110】
なお、オブジェクト識別部１２６は、ターゲット領域の実オブジェクトの識別処理を行う際、識別結果を空間マップデータ１２７として記憶部に格納する。
図１０に、空間マップデータ１２７のデータ構成例を示す。
図１０に、空間マップデータ１２７のデータ構成例を示す。
【0111】
【0112】
（ａ）タイムスタンプ（ｓｅｃ）は、オブジェクト識別処理を実行した時間情報である。
（ｂ）位置情報は、オブジェクト識別対象となった実オブジェクトの位置情報である。位置情報の記録方式は、様々な方式が利用可能である。図に示す例は、３次元座標（ｘ，ｙ，ｚ）のリストによるメッシュとして記述した例である。この他、例えば、ターゲット領域の中心位置の位置情報を記録するといった構成とでもよい。
（ｂ）位置情報は、オブジェクト識別対象となった実オブジェクトの位置情報である。位置情報の記録方式は、様々な方式が利用可能である。図に示す例は、３次元座標（ｘ，ｙ，ｚ）のリストによるメッシュとして記述した例である。この他、例えば、ターゲット領域の中心位置の位置情報を記録するといった構成とでもよい。
【0113】
（ｃ）クラスは、オブジェクト識別結果としてのオブジェクト種類情報である。
（ｄ）識別処理後経過時間（ｓｅｃ）は、オブジェクト識別処理の完了時からの経過時間である。
（ｄ）識別処理後経過時間（ｓｅｃ）は、オブジェクト識別処理の完了時からの経過時間である。
【0114】
なお、オブジェクト識別部１２６は、ターゲット領域が決定された直後に、ターゲット領域の実オブジェクトの識別処理を実行するが、その後も、その領域に対するオブジェクト識別処理を繰り返し実行し、図１０に示す空間マップデータを、逐次、更新する。
【0115】
ただし、更新処理の間隔は、識別された実オブジェクトの種類（クラス）によって異なる。
この実オブジェクトの種類（クラス）によって異なる更新時間の規定データが、クラス対応更新時間データ１２８として予め登録されている。
図１１に、クラス対応更新時間データ１２８のデータ例を示す。
この実オブジェクトの種類（クラス）によって異なる更新時間の規定データが、クラス対応更新時間データ１２８として予め登録されている。
図１１に、クラス対応更新時間データ１２８のデータ例を示す。
【0116】
【0117】
（ａ）ＩＤは、登録データの識別子である。
（ｂ）カテゴリは、実オブジェクトの種類（クラス）のカテゴリである。
（ｃ）クラスは、実オブジェクトの種類情報である。
（ｄ）更新時間（ｓｅｃ）は、実オブジェクト識別処理の更新間隔を示す時間である。
（ｂ）カテゴリは、実オブジェクトの種類（クラス）のカテゴリである。
（ｃ）クラスは、実オブジェクトの種類情報である。
（ｄ）更新時間（ｓｅｃ）は、実オブジェクト識別処理の更新間隔を示す時間である。
【0118】
例えば、ＩＤ００１のクラス（オブジェクト種類）＝芝生の場合、更新時間は３６００ｓｅｃ（＝１時間）である。芝生のようなオブジェクトは、時間経過に伴う変化が少なく、更新時間が長く設定される。
一方、例えばＩＤ＝００４のクラス（オブジェクト種類）＝影の場合、更新時間は２ｓｅｃである。影のようなオブジェクトは、時間経過に伴う変化が大きいため、更新時間が短く設定される。
一方、例えばＩＤ＝００４のクラス（オブジェクト種類）＝影の場合、更新時間は２ｓｅｃである。影のようなオブジェクトは、時間経過に伴う変化が大きいため、更新時間が短く設定される。
【0119】
オブジェクト識別部１２６は、このクラス対応更新時間データ１２８のデータを参照して、識別したオブジェクトについて規定された時間間隔で、随時、オブジェクト識別処理を繰り返し、実行する。新たな識別処理によって検出された実オブジェクトは、図１０を参照して説明した空間マップデータ１２７として、順次、登録する。
【0120】
また、前述したように、データ出力部１３０のコンテンツ表示制御部１３１と、コンテンツ音声制御部１３２は、クラス対応仮想オブジェクトデータ１３５に記録された仮装オブジェクトの３Ｄコンテンツや様々な音声データを取得してデータ出力を実行する。
【0121】
クラス対応仮想オブジェクトデータ１３５には、ターゲット領域の実オブジェクトの識別結果に相当する実オブジェクト種類（クラス）に対応づけられた表示用の仮装オブジェクトの３Ｄコンテンツや様々な音声データが記録されている。
図１２を参照して、クラス対応仮想オブジェクトデータ１３５の具体例について説明する。
図１２を参照して、クラス対応仮想オブジェクトデータ１３５の具体例について説明する。
【0122】
【0123】
（ａ）クラスは、実オブジェクトの種類情報である。
（ｂ）仮想オブジェクト３Ｄモデル（キャラクタ３Ｄモデル）は、各クラス、すなわちターゲット領域の実オブジェクトの種類に応じて出力（表示）する仮想オブジェクト（キャラクタ）の３Ｄモデルを登録している。なお、図に示す例では３ＤもでるのＩＤと、３Ｄモデルを併せて記録した構成としているが、例えばＩＤのみを記録し、ＩＤに基づいて他のデータベースからＩＤ対応の３Ｄモデルを取得する構成としてもよい。
（ｂ）仮想オブジェクト３Ｄモデル（キャラクタ３Ｄモデル）は、各クラス、すなわちターゲット領域の実オブジェクトの種類に応じて出力（表示）する仮想オブジェクト（キャラクタ）の３Ｄモデルを登録している。なお、図に示す例では３ＤもでるのＩＤと、３Ｄモデルを併せて記録した構成としているが、例えばＩＤのみを記録し、ＩＤに基づいて他のデータベースからＩＤ対応の３Ｄモデルを取得する構成としてもよい。
【0124】
（ｃ）出力音声は、各クラス、すなわちターゲット領域の実オブジェクトの種類に応じて出力する音声データを登録している。
【0125】
このように、クラス対応仮想オブジェクトデータ１３５には、ターゲット領域の実オブジェクトの識別結果に相当する実オブジェクト種類（クラス）に対応づけられた表示用の仮装オブジェクトの３Ｄコンテンツや様々な音声データが記録されている。
【0126】
なお、クラス対応仮想オブジェクトデータ１３５には、さらに、各仮想オブジェクトの出力態様情報も記録されている。例えば先に図７や図８を参照して説明したように、ターゲット領域の実オブジェクトが水である場合の表示態様情報や、砂場である場合の表示態様情報等の情報も記録されている。
【0127】
データ出力部１３０のコンテンツ表示制御部１３１と、コンテンツ音声制御部１３２は、この図１２に示すようなデータを格納したクラス対応仮想オブジェクトデータ１３５に記録された仮装オブジェクトの３Ｄコンテンツや様々な音声データを取得してデータ出力を実行する。
【0128】
［３．本開示の画像処理装置の実行する処理のシーケンスについて］
次に、本開示の画像処理装置１００の実行する処理のシーケンスについて説明する。
次に、本開示の画像処理装置１００の実行する処理のシーケンスについて説明する。
【0129】
なお、以下に示す複数の処理シーケンスについて、順次、説明する。
（１）画像処理装置の実行する基本処理シーケンス
（２）ターゲット領域の設定領域をほぼ水平な面に設定する処理のシーケンス
（３）実オブジェクト識別処理の更新シーケンス
（１）画像処理装置の実行する基本処理シーケンス
（２）ターゲット領域の設定領域をほぼ水平な面に設定する処理のシーケンス
（３）実オブジェクト識別処理の更新シーケンス
【0130】
（３－（１）画像処理装置の実行する基本処理シーケンス）
まず、図１３に示すフローチャートを参照して本開示の画像処理装置１００の実行する基本的な処理のシーケンスについて説明する。
まず、図１３に示すフローチャートを参照して本開示の画像処理装置１００の実行する基本的な処理のシーケンスについて説明する。
【0131】
なお、図１３以下に示すフローチャートに従った処理は、主に画像処理装置１００のデータ処理部１２０において実行される処理である。データ処理部１２０は、プログラム実行機能を持つＣＰＵを備え、記憶部に格納されたプログラムに従ってフローに従った処理を実行する。
以下、図１３に示すフローの各ステップの処理について説明する。
以下、図１３に示すフローの各ステップの処理について説明する。
【0132】
（ステップＳ１０１）
まず、画像処理装置１００のデータ処理部１２０は、ステップＳ１０１において、外部撮影カメラの撮影画像を入力する。
まず、画像処理装置１００のデータ処理部１２０は、ステップＳ１０１において、外部撮影カメラの撮影画像を入力する。
【0133】
（ステップＳ１０２）
次に、データ処理部１２０は、ステップＳ１０２において、入力した外部撮影カメラの撮影画像から特徴点を抽出する。
次に、データ処理部１２０は、ステップＳ１０２において、入力した外部撮影カメラの撮影画像から特徴点を抽出する。
【0134】
この処理は、図９に示すデータ処理部１２０の外部撮影画像解析部１２１が実行する処理である。
外部撮影画像解析部１２１は、入力した外部撮影カメラの撮影画像から特徴点を抽出する。この特徴点抽出処理は、３次元マップの生成に利用するための特徴点であり、抽出した特徴点情報は、外部撮影カメラによって撮影された外部の撮影画像とともに、３次元マップ生成部１２２に入力する。
外部撮影画像解析部１２１は、入力した外部撮影カメラの撮影画像から特徴点を抽出する。この特徴点抽出処理は、３次元マップの生成に利用するための特徴点であり、抽出した特徴点情報は、外部撮影カメラによって撮影された外部の撮影画像とともに、３次元マップ生成部１２２に入力する。
【0135】
（ステップＳ１０３）
次に、データ処理部は、ステップＳ１０３において、外部撮影カメラによって撮影された外部の撮影画像とその特徴点情報を利用して３次元マップを生成する。
次に、データ処理部は、ステップＳ１０３において、外部撮影カメラによって撮影された外部の撮影画像とその特徴点情報を利用して３次元マップを生成する。
【0136】
この処理は、図９に示すデータ処理部１２０の３次元マップ生成部１２２が実行する処理である。
【0137】
３次元マップ生成部１２２は、外部撮影カメラ１１１によって撮影された外部の撮影画像と、外部撮影画像解析部１２１が抽出した特徴点に基づいて、外部の実オブジェクトによって構成される３次元マップを生成する。
この３次元マップ生成処理は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理によってリアルタイム処理として実行する。
この３次元マップ生成処理は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理によってリアルタイム処理として実行する。
【0138】
（ステップＳ１０４）
次に、データ処理部は、ステップＳ１０４において、ターゲット領域決定処理を実行する。
次に、データ処理部は、ステップＳ１０４において、ターゲット領域決定処理を実行する。
【0139】
この処理は、図９に示すデータ処理部１２０のオブジェクト識別部１２６が実行する処理である。
オブジェクト識別部１２６は、仮想オブジェクト表示領域とするターゲット領域を決定する。
オブジェクト識別部１２６は、仮想オブジェクト表示領域とするターゲット領域を決定する。
【0140】
このターゲット領域の決定処理は、前述したように、様々な手法が適用可能である。
例えば、３次元マップに含まれるユーザの指の画像を用いて行うことが可能である。
すなわち、ユーザの指さし方向の延長線と、３次元マップ上の実オブジェクトとの交点を求め、例えば、交点を中心とするあらかじめ規定した半径の円形領域をターゲット領域として決定する。
例えば、３次元マップに含まれるユーザの指の画像を用いて行うことが可能である。
すなわち、ユーザの指さし方向の延長線と、３次元マップ上の実オブジェクトとの交点を求め、例えば、交点を中心とするあらかじめ規定した半径の円形領域をターゲット領域として決定する。
【0141】
さらに、図９に示すデータ入力部１１０の各構成部からの入力情報を用いてターゲット領域を決定することも可能である。具体的には、以下の入力情報である。
（ａ）内部撮影画像解析部１２３の解析したユーザ視線情報
（ｂ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報
（ｃ）操作部１１４を介して入力するユーザ操作情報
（ｄ）音声解析部１２５が解析したユーザ音声情報
例えば、これらの入力情報のいずれかを用いてターゲット領域を決定してもよい。
（ａ）内部撮影画像解析部１２３の解析したユーザ視線情報
（ｂ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報
（ｃ）操作部１１４を介して入力するユーザ操作情報
（ｄ）音声解析部１２５が解析したユーザ音声情報
例えば、これらの入力情報のいずれかを用いてターゲット領域を決定してもよい。
【0142】
【0143】
図１４（１）は、ユーザの指さし方向の解析に基づくターゲット領域の決定シーケンスである。ユーザの指さし方向の解析に基づくターゲット領域決定処理は、以下の処理シーケンスで実行される。
まず、ステップＳ２１１で、ユーザの指さし方向を解析する。この解析処理は、３次元マップ生成部１２２の生成した３次元マップを利用して実行する。
まず、ステップＳ２１１で、ユーザの指さし方向を解析する。この解析処理は、３次元マップ生成部１２２の生成した３次元マップを利用して実行する。
【0144】
次に、ステップＳ２１２で、ユーザの指さし方向の延長線からなる直線と、実オブジェクトとの交点を検出する。この処理も３次元マップ生成部１２２の生成した３次元マップを利用して実行する。
【0145】
最後に、ステップＳ２１３において、ユーザの指さし方向の延長線からなる直線と、実オブジェクトとの交点を中心とする円形領域をターゲット領域として決定する。
なお、ターゲット領域の形状は任意であり、円形の他、矩形形状としてもよい。またターゲット領域の大きさも任意であり、様々な大きさに設定可能である。
ただし、形状、大きさは、事前に規定し、その規定に従ってターゲット領域を決定することが好ましい。
なお、ターゲット領域の形状は任意であり、円形の他、矩形形状としてもよい。またターゲット領域の大きさも任意であり、様々な大きさに設定可能である。
ただし、形状、大きさは、事前に規定し、その規定に従ってターゲット領域を決定することが好ましい。
【0146】
図１４（２）は、ユーザの視線方向解析に基づくターゲット領域の決定シーケンスである。ユーザ視線方向の解析に基づくターゲット領域決定処理は、以下の処理シーケンスで実行される。
まず、ステップＳ２２１で、ユーザの視線方向を解析する。この解析処理は、内部撮影カメラ１１２の撮影画像に基づいて、内部撮影画像解析部１２３が実行する。
まず、ステップＳ２２１で、ユーザの視線方向を解析する。この解析処理は、内部撮影カメラ１１２の撮影画像に基づいて、内部撮影画像解析部１２３が実行する。
【0147】
次に、ステップＳ２２２で、ユーザ視線方向の延長線からなる直線と、実オブジェクトとの交点を検出する。この処理は３次元マップ生成部１２２の生成した３次元マップを利用して実行する。
【0148】
最後に、ステップＳ２２３において、ユーザ視線方向の延長線からなる直線と、実オブジェクトとの交点を中心とする円形領域をターゲット領域として決定する。
なお、前述したように、ターゲット領域の形状、大きさはさまざまな設定が可能である。
なお、前述したように、ターゲット領域の形状、大きさはさまざまな設定が可能である。
【0149】
図１５（３）は、ユーザの操作情報の解析に基づくターゲット領域の決定シーケンスである。ユーザ操作情報の解析に基づくターゲット領域決定処理は、以下の処理シーケンスで実行される。
まず、ステップＳ２３１で、ユーザの操作情報を解析する。例えば、先に図６を参照して説明したスマホに対するタッチ操作等である。
まず、ステップＳ２３１で、ユーザの操作情報を解析する。例えば、先に図６を参照して説明したスマホに対するタッチ操作等である。
【0150】
次に、ステップＳ２３２で、ユーザ操作情報に基づく実オブジェクト指定位置を検出する。この処理は例えばユーザの指の接触位置の検出処理として実行される。
【0151】
最後に、ステップＳ２３３において、ユーザ操作情報に基づく実オブジェクト指定位置を中心とする円形領域をターゲット領域として決定する。
なお、前述したように、ターゲット領域の形状、大きさはさまざまな設定が可能である。
なお、前述したように、ターゲット領域の形状、大きさはさまざまな設定が可能である。
【0152】
図１５（４）は、ユーザの音声情報の解析に基づくターゲット領域の決定シーケンスである。ユーザの音声情報の解析に基づくターゲット領域決定処理は、以下の処理シーケンスで実行される。
まず、ステップＳ２４１で、ユーザの発話音声を解析する。例えば、「前の池」等のユーザ発話音声を解析する。
まず、ステップＳ２４１で、ユーザの発話音声を解析する。例えば、「前の池」等のユーザ発話音声を解析する。
【0153】
次に、ステップＳ２４２で、ユーザの音声情報に基づく実オブジェクト指定位置を検出する。
【0154】
最後に、ステップＳ２４３において、ユーザ発話音声に基づく実オブジェクト指定位置を中心とする円形領域をターゲット領域として決定する。
なお、前述したように、ターゲット領域の形状、大きさはさまざまな設定が可能である。
なお、前述したように、ターゲット領域の形状、大きさはさまざまな設定が可能である。
【0155】
図１４、図１５を参照して説明した以外にも、例えば、以下のようなターゲット領域決定処理を行ってもよい。
（ａ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報を用いたターゲット領域決定処理。
（ｂ）外部撮影カメラ１１１によって撮影された画像に基づいて生成される３次元マップや、モーションセンサ１１３の検出情報に基づいて地面、床面、水面等の水平面の検出処理を実行し、撮影画像の中心領域に最も近い水平面の領域をターゲット領域として決定する処理。
（ｃ）ユーザが仮想的なボールを投げる動作を行い、これを外部撮影カメラ１１１によって撮影し、撮影画像を解析してボールの着地点を解析して、この着地点をターゲット領域の中心位置として決定する処理。
（ｄ）その他、ユーザ動作、ユーザ視線、ユーザ操作、ユーザ位置、またはユーザ姿勢の少なくともいずれかを解析して、解析結果に基づいてターゲット領域を決定する処理。
（ａ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報を用いたターゲット領域決定処理。
（ｂ）外部撮影カメラ１１１によって撮影された画像に基づいて生成される３次元マップや、モーションセンサ１１３の検出情報に基づいて地面、床面、水面等の水平面の検出処理を実行し、撮影画像の中心領域に最も近い水平面の領域をターゲット領域として決定する処理。
（ｃ）ユーザが仮想的なボールを投げる動作を行い、これを外部撮影カメラ１１１によって撮影し、撮影画像を解析してボールの着地点を解析して、この着地点をターゲット領域の中心位置として決定する処理。
（ｄ）その他、ユーザ動作、ユーザ視線、ユーザ操作、ユーザ位置、またはユーザ姿勢の少なくともいずれかを解析して、解析結果に基づいてターゲット領域を決定する処理。
【0156】
図１３に示すフローに戻り、説明を続ける。
上述したように、画像処理装置１００のデータ処理部１２０のオブジェクト識別部１２６は、ステップＳ１０４において、ターゲット領域決定処理を実行する。
上述したように、画像処理装置１００のデータ処理部１２０のオブジェクト識別部１２６は、ステップＳ１０４において、ターゲット領域決定処理を実行する。
【0157】
（ステップＳ１０５）
次に、データ処理部は、ステップＳ１０５において、ターゲット領域の実オブジェクトを識別する。
具体的には、ターゲット領域が池である、木である等のオブジェクト識別処理を実行する。
次に、データ処理部は、ステップＳ１０５において、ターゲット領域の実オブジェクトを識別する。
具体的には、ターゲット領域が池である、木である等のオブジェクト識別処理を実行する。
【0158】
前述したように、この実オブジェクトのオブジェクト識別処理は、例えば、セマンティック・セグメンテーション処理を適用して実行する。
セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ（学習済みデータ）と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状情報やその他の特徴情報を登録したオブジェクト識別用の辞書データ（学習済みデータ）と、例えばカメラ撮影画像内のオブジェクトとの一致度に基づいて、画像の構成画素（ピクセル）各々が、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。
【0159】
なお、オブジェクト識別部１２６において実行する実オブジェクトの識別処理は、ターゲット領域のみ、あるいはターゲット領域を含む周囲領域の限られた範囲のみを対象として実行する。このような限定範囲の処理を行うことで高速の処理、すなわちリアルタイム処理が可能となる。
【0160】
オブジェクト識別部１２６が解析したターゲット領域の実オブジェクトの識別結果は、データ出力部１３０のコンテンツ表示制御部１３１と、コンテンツ音声制御部１３２に入力される。
【0161】
（ステップＳ１０６）
次に、ステップＳ１０６において、識別されたターゲット領域の実オブジェクト（クラス）に基づいて、ターゲット領域に表示する仮想オブジェクトの種類と出力態様を決定する。
次に、ステップＳ１０６において、識別されたターゲット領域の実オブジェクト（クラス）に基づいて、ターゲット領域に表示する仮想オブジェクトの種類と出力態様を決定する。
【0162】
この処理は、図９に示す画像処理装置１００のデータ出力部１３０のコンテンツ表示制御部１３１、コンテンツ音声制御部１３２が実行する処理である。
データ出力部１３０のコンテンツ表示制御部１３１と、コンテンツ音声制御部１３２は、先に図１２を参照して説明したデータを記録したクラス対応仮想オブジェクトデータ１３５を参照して、ターゲット領域に表示する仮想オブジェクトの種類と出力態様を決定する。
データ出力部１３０のコンテンツ表示制御部１３１と、コンテンツ音声制御部１３２は、先に図１２を参照して説明したデータを記録したクラス対応仮想オブジェクトデータ１３５を参照して、ターゲット領域に表示する仮想オブジェクトの種類と出力態様を決定する。
【0163】
すなわち、クラス対応仮想オブジェクトデータ１３５の各エントリから、ターゲット領域の実オブジェクト種類（クラス）を記録したエントリを選択し、そのエントリに記録された仮装オブジェクトを出力オブジェクトとして決定する処理等を実行する。
【0164】
（ステップＳ１０７）
最後に、ステップＳ１０７において、ステップＳ１０６で決定したターゲット領域に表示する仮想オブジェクトの種類と出力態様に従って仮想オブジェクトをターゲット領域に出力（表示）する。
最後に、ステップＳ１０７において、ステップＳ１０６で決定したターゲット領域に表示する仮想オブジェクトの種類と出力態様に従って仮想オブジェクトをターゲット領域に出力（表示）する。
【0165】
この処理も、図９に示す画像処理装置１００のデータ出力部１３０のコンテンツ表示制御部１３１、コンテンツ音声制御部１３２が実行する処理である。
【0166】
コンテンツ表示制御部１３１は、オブジェクト識別部１２６からターゲット領域のオブジェクト識別結果を入力し、オブジェクト識別結果に従って表示すべき仮想オブジェクト（キャラクタ等）の選択処理や表示態様を決定して表示部１３３に表示する。
具体的には、例えば先に説明した図２～図４、図７、図８に示すような仮想オブジェクト（キャラクタ等）の表示処理を実行する。
具体的には、例えば先に説明した図２～図４、図７、図８に示すような仮想オブジェクト（キャラクタ等）の表示処理を実行する。
【0167】
また、コンテンツ音声制御部１３２は、オブジェクト識別部１２６からターゲット領域のオブジェクト識別結果を入力し、オブジェクト識別結果に従って出力すべき音声を決定してスピーカ１３４を介して出力する。
具体的には、例えば先に説明した図７に示すように、実オブジェクトである池から仮想オブジェクトが現れる場合、水の音を出力する処理を実行する。
具体的には、例えば先に説明した図７に示すように、実オブジェクトである池から仮想オブジェクトが現れる場合、水の音を出力する処理を実行する。
【0168】
（３－（２）ターゲット領域の設定領域をほぼ水平な面に設定する処理のシーケンス）
次に、図１６に示すフローチャートを参照して、ターゲット領域の設定領域をほぼ水平な面に設定する処理のシーケンスについて説明する。
次に、図１６に示すフローチャートを参照して、ターゲット領域の設定領域をほぼ水平な面に設定する処理のシーケンスについて説明する。
【0169】
キャラクタ等の仮想オブドェクトを実世界の実オブジォクト上に表示する場合、屋外であれば地面の上、室内であれば床の上に表示すれば、より自然なキャラクタ表示が可能となり、ユーザにキャラクタが実際に実世界に存在するような感覚を与えることが可能となる。
【0170】
このためには、キャラクタである仮想オブジェクトの出力領域となるターゲット領域を地面の上や床の上等、ほぼ水平な面に設定する制御を行うことが有効である。
図１６に示すフローチャートは、このような処理を実行する画像処理装置１００の処理シーケンスを説明するフローチャートである。
以下、図１６に示すフローチャートの各ステップの処理について説明する。
図１６に示すフローチャートは、このような処理を実行する画像処理装置１００の処理シーケンスを説明するフローチャートである。
以下、図１６に示すフローチャートの各ステップの処理について説明する。
【0171】
【0172】
【0173】
（ステップＳ３０１）
ステップＳ３０１は、図９に示す画像処理装置１００のデータ入力部１１０のモーションセンサ１１３から、データ処理部１２０のデバイス姿勢解析部１２４にセンサ検出情報を入力する処理である。
ステップＳ３０１は、図９に示す画像処理装置１００のデータ入力部１１０のモーションセンサ１１３から、データ処理部１２０のデバイス姿勢解析部１２４にセンサ検出情報を入力する処理である。
【0174】
先に図９を参照して説明したように、モーションセンサ１１３は、ジャイロ、加速度センサ等を有し、例えばＨＭＤやスマホ等、画像処理装置１００本体の姿勢や動きを検出するセンサである。
このモーションセンサ１１３から、データ処理部１２０のデバイス姿勢解析部１２４にセンサ検出情報が入力される。
このモーションセンサ１１３から、データ処理部１２０のデバイス姿勢解析部１２４にセンサ検出情報が入力される。
【0175】
（ステップＳ３０２）
次に、ステップＳ３０２において、モーションセンサ検出情報に基づいて重力方向を推定する。
次に、ステップＳ３０２において、モーションセンサ検出情報に基づいて重力方向を推定する。
【0176】
この処理は、図９に示すデータ処理部１２０のデバイス姿勢解析部１２４が実行する処理である。
データ処理部１２０のデバイス姿勢解析部１２４は、モーションセンサ１１３を構成するジャイロや、加速度センサ等のセンサ検出情報を用いて、重力方向を算出する。
データ処理部１２０のデバイス姿勢解析部１２４は、モーションセンサ１１３を構成するジャイロや、加速度センサ等のセンサ検出情報を用いて、重力方向を算出する。
【0177】
【0178】
オブジェクト識別部１２６は、３次元マップ生成部１２２の生成した３次元マップと、デバイス姿勢解析部１２４から入力した重力方向情報を用いて、３次元マップ内の水平面領域を検出する。具体的には例えば地面や床面等を検出する。
なお、検出する水平面領域は、完全な水平面に限定されず、ほぼ水平な領域とすればよい。
なお、検出する水平面領域は、完全な水平面に限定されず、ほぼ水平な領域とすればよい。
【0179】
例えばある程度のでこぼこや、ある程度の勾配を持つ坂道等も水平面領域であると判定して検出する。
どの程度のでこぼこや傾斜を水平面領域として許容するかについては、事前に設定することが可能である。
どの程度のでこぼこや傾斜を水平面領域として許容するかについては、事前に設定することが可能である。
【0180】
（ステップＳ１０４）
次に、データ処理部は、ステップＳ１０４において、ターゲット領域決定処理を実行する。
ただし、本処理例では、ターゲット領域は、ステップＳ３０３において検出した水平面領域からのみ選択するものとする。
次に、データ処理部は、ステップＳ１０４において、ターゲット領域決定処理を実行する。
ただし、本処理例では、ターゲット領域は、ステップＳ３０３において検出した水平面領域からのみ選択するものとする。
【0181】
この処理は、図９に示すデータ処理部１２０のオブジェクト識別部１２６が実行する処理である。
オブジェクト識別部１２６は、仮想オブジェクト表示領域とするターゲット領域をステップＳ３０３において検出した水平面領域内に限定して決定する。
オブジェクト識別部１２６は、仮想オブジェクト表示領域とするターゲット領域をステップＳ３０３において検出した水平面領域内に限定して決定する。
【0182】
このターゲット領域の決定処理は、前述したように、様々な手法が適用可能である。
例えば、３次元マップに含まれるユーザの指の画像を用いて行うことが可能である。
すなわち、ユーザの指さし方向の延長線と、３次元マップ上の実オブジェクトであり、地面や床面等の水平面と判定された水平面領域との交点を求め、この水平面との交点を中心とするあらかじめ規定した半径の円形領域をターゲット領域として決定する。
例えば、３次元マップに含まれるユーザの指の画像を用いて行うことが可能である。
すなわち、ユーザの指さし方向の延長線と、３次元マップ上の実オブジェクトであり、地面や床面等の水平面と判定された水平面領域との交点を求め、この水平面との交点を中心とするあらかじめ規定した半径の円形領域をターゲット領域として決定する。
【0183】
なお、ターゲット領域の決定に利用するデータは、先に図１３を参照して説明したと同様、様々な情報を利用することが可能である。例えば、以下の入力情報をもちいる構成としてもよい。
（ａ）内部撮影画像解析部１２３の解析したユーザ視線情報
（ｂ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報
（ｃ）操作部１１４を介して入力するユーザ操作情報
（ｄ）音声解析部１２５が解析したユーザ音声情報
例えば、これらの入力情報のいずれかを用いてターゲット領域を決定してもよい。
（ａ）内部撮影画像解析部１２３の解析したユーザ視線情報
（ｂ）デバイス姿勢解析部１２４の解析した画像処理装置１００本体の姿勢や動き情報
（ｃ）操作部１１４を介して入力するユーザ操作情報
（ｄ）音声解析部１２５が解析したユーザ音声情報
例えば、これらの入力情報のいずれかを用いてターゲット領域を決定してもよい。
【0184】
ステップＳ１０１～Ｓ１０３の処理とステップＳ１０５以下の処理は、先に説明した図１３に示すフローチャートと同様の処理となる。
【0185】
本処理例では、キャラクタである仮想オブジェクトの出力領域となるターゲット領域を地面の上や床の上等、ほぼ水平な面に設定する制御を行うことが可能となる。
これにより、キャラクタ等の仮想オブドェクトを実世界の実オブジォクト上に表示する場合、屋外であれば地面の上、室内であれば床の上等、水平面領域に接するように表示することが可能となり、より自然なキャラクタ表示が可能となり、ユーザにキャラクタが実際に実世界に存在するような感覚を与えることが可能となる。
これにより、キャラクタ等の仮想オブドェクトを実世界の実オブジォクト上に表示する場合、屋外であれば地面の上、室内であれば床の上等、水平面領域に接するように表示することが可能となり、より自然なキャラクタ表示が可能となり、ユーザにキャラクタが実際に実世界に存在するような感覚を与えることが可能となる。
【0186】
（３－（３）実オブジェクト識別処理の更新シーケンス）
次に、オブジェクト識別部が実行する実オブジェクト識別処理の更新シーケンスについて説明する。
次に、オブジェクト識別部が実行する実オブジェクト識別処理の更新シーケンスについて説明する。
【0187】
先に図１０、図１１等を参照して説明したように、図９に示す画像処理装置１００のデータ処理部１２０内のオブジェクト識別部１２６は、ターゲット領域が決定された直後に、ターゲット領域の実オブジェクトの識別処理を実行するが、その後も、その領域に対するオブジェクト識別処理を繰り返し実行し、図１０に示す空間マップデータを、逐次、更新する。
【0188】
ただし、更新処理の間隔は、識別された実オブジェクトの種類（クラス）によって異なる。
この実オブジェクトの種類（クラス）によって異なる更新時間の規定データは、クラス対応更新時間データ１２８として予め登録されている。
クラス対応更新時間データ１２８は、先に図１１を参照して説明したように以下の各データを対応付けたデータである。
（ａ）ＩＤ
（ｂ）カテゴリ
（ｃ）クラス
（ｄ）更新時間（ｓｅｃ）
この実オブジェクトの種類（クラス）によって異なる更新時間の規定データは、クラス対応更新時間データ１２８として予め登録されている。
クラス対応更新時間データ１２８は、先に図１１を参照して説明したように以下の各データを対応付けたデータである。
（ａ）ＩＤ
（ｂ）カテゴリ
（ｃ）クラス
（ｄ）更新時間（ｓｅｃ）
【0189】
（ａ）ＩＤは、登録データの識別子である。
（ｂ）カテゴリは、実オブジェクトの種類（クラス）のカテゴリである。
（ｃ）クラスは、実オブジェクトの種類情報である。
（ｄ）更新時間（ｓｅｃ）は、実オブジェクト識別処理の更新間隔を示す時間である。
（ｂ）カテゴリは、実オブジェクトの種類（クラス）のカテゴリである。
（ｃ）クラスは、実オブジェクトの種類情報である。
（ｄ）更新時間（ｓｅｃ）は、実オブジェクト識別処理の更新間隔を示す時間である。
【0190】
例えば、ＩＤ００１のクラス（オブジェクト種類）＝芝生の場合、更新時間は３６００ｓｅｃ（＝１時間）である。芝生のようなオブジェクトは、時間経過に伴う変化が少なく、更新時間が長く設定される。
一方、例えばＩＤ＝００４のクラス（オブジェクト種類）＝影の場合、更新時間は２ｓｅｃである。影のようなオブジェクトは、時間経過に伴う変化が大きいため、更新時間が短く設定される。
一方、例えばＩＤ＝００４のクラス（オブジェクト種類）＝影の場合、更新時間は２ｓｅｃである。影のようなオブジェクトは、時間経過に伴う変化が大きいため、更新時間が短く設定される。
【0191】
オブジェクト識別部１２６は、このクラス対応更新時間データ１２８のデータを参照して、識別したオブジェクトについて規定された時間間隔で、随時、オブジェクト識別処理を繰り返し、実行する。新たな識別処理によって検出された実オブジェクトは、図１０を参照して説明した空間マップデータ１２７として、順次、登録する。
【0192】
【0193】
【0194】
【0195】
（ステップＳ４０１）
ステップＳ１０１～Ｓ１０５において、ターゲット領域の決定と、ターゲット領域の実オブジェクト（クラス）の識別処理が実行された後、ステップＳ４０１の処理を実行する。
ステップＳ１０１～Ｓ１０５において、ターゲット領域の決定と、ターゲット領域の実オブジェクト（クラス）の識別処理が実行された後、ステップＳ４０１の処理を実行する。
【0196】
ステップＳ４０１では、ステップＳ１０５において実行されたターゲット領域のオブジェクト識別結果を空間マップデータに記録する。
【0197】
【0198】
（ａ）タイムスタンプ（ｓｅｃ）は、オブジェクト識別処理を実行した時間情報である。
（ｂ）位置情報は、オブジェクト識別対象となった実オブジェクトの位置情報である。
（ｃ）クラスは、オブジェクト識別結果としてのオブジェクト種類情報である。
（ｄ）識別処理後経過時間（ｓｅｃ）は、オブジェクト識別処理の完了時からの経過時間である。
（ｂ）位置情報は、オブジェクト識別対象となった実オブジェクトの位置情報である。
（ｃ）クラスは、オブジェクト識別結果としてのオブジェクト種類情報である。
（ｄ）識別処理後経過時間（ｓｅｃ）は、オブジェクト識別処理の完了時からの経過時間である。
【0199】
ステップＳ４０１では、ステップＳ１０５において識別したターゲット領域の実オブジェクトについて、これらの各データを空間マップデータに登録する。
【0200】
（ステップＳ１０６～Ｓ１０７）
ステップＳ１０６～Ｓ１０７の処理は、先に図１３を参照して説明した処理と同様の処理である。すなわち、以下の処理を実行する。
ステップＳ１０６～Ｓ１０７の処理は、先に図１３を参照して説明した処理と同様の処理である。すなわち、以下の処理を実行する。
【0201】
ステップＳ１０６において、識別されたターゲット領域の実オブジェクト（クラス）に基づいて、ターゲット領域に表示する仮想オブジェクトの種類と出力態様を決定する。
ステップＳ１０７において、ステップＳ１０６で決定したターゲット領域に表示する仮想オブジェクトの種類と出力態様に従って仮想オブジェクトをターゲット領域に出力（表示）する。
ステップＳ１０７において、ステップＳ１０６で決定したターゲット領域に表示する仮想オブジェクトの種類と出力態様に従って仮想オブジェクトをターゲット領域に出力（表示）する。
【0202】
（ステップＳ４０２）
さらに、ステップＳ１０７の処理後、ステップＳ４０２において、ステップＳ１０５において実行したターゲット領域の実オブジェクトの識別処理後の経過時間が、図１１を参照して説明したクラス対応更新時間データに規定された「（ｄ）更新時間」を超えたか否かを判定する。
さらに、ステップＳ１０７の処理後、ステップＳ４０２において、ステップＳ１０５において実行したターゲット領域の実オブジェクトの識別処理後の経過時間が、図１１を参照して説明したクラス対応更新時間データに規定された「（ｄ）更新時間」を超えたか否かを判定する。
【0203】
超えたと判定した場合、ステップＳ１０１に戻り、ステップＳ１０１以下の処理を繰り返し、実行する。
すなわち、再度、ターゲット領域の決定、ターゲット領域の実オブジェクト識別処理を実行する。
すなわち、再度、ターゲット領域の決定、ターゲット領域の実オブジェクト識別処理を実行する。
【0204】
この処理において、ターゲット領域の位置が変更されていなければ、同じ位置のターゲット領域で実オブジェクト識別が再度実行される。
一方、ターゲット領域の位置が変更されていれば、新たな位置のターゲット領域で実オブジェクト識別が実行される。
一方、ターゲット領域の位置が変更されていれば、新たな位置のターゲット領域で実オブジェクト識別が実行される。
【0205】
これらの処理を行うことで、ターゲット領域の更新処理や、実オブジェクトの識別結果の更新処理を即座に行うことが可能となり、ユーザの動きや指示に応じたタイムリな仮想ブジェクト表示処理を行うことが可能となる。
【0206】
［４．画像処理装置のハードウェア構成例について］
次に、上述した実施例に従った処理を実行する画像処理装置のハードウェア構成例について、図１８を参照して説明する。
図１８に示すハードウェアは、図９を参照して説明した本開示の画像処理装置１００のハードウェア構成の一例である。
図１８に示すハードウェア構成について説明する。
次に、上述した実施例に従った処理を実行する画像処理装置のハードウェア構成例について、図１８を参照して説明する。
図１８に示すハードウェアは、図９を参照して説明した本開示の画像処理装置１００のハードウェア構成の一例である。
図１８に示すハードウェア構成について説明する。
【0207】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
【0208】
ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
【0209】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
【0210】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
【0211】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0212】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、
実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御部を有し、
前記オブジェクト識別部は、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行し、
前記コンテンツ表示制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択する画像処理装置。
（１） 実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、
実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御部を有し、
前記オブジェクト識別部は、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行し、
前記コンテンツ表示制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択する画像処理装置。
【0213】
（２） 前記オブジェクト識別部は、
画像認識処理によりオブジェクト識別処理を実行する（１）に記載の画像処理装置。
画像認識処理によりオブジェクト識別処理を実行する（１）に記載の画像処理装置。
【0214】
（３） 前記オブジェクト識別部は、
セマンティック・セグメンテーション処理を適用してオブジェクト識別処理を実行する（２）に記載の画像処理装置。
セマンティック・セグメンテーション処理を適用してオブジェクト識別処理を実行する（２）に記載の画像処理装置。
【0215】
（４） 前記オブジェクト識別部は、
前記仮想オブジェクトの表示領域とするターゲット領域を決定し、決定したターゲット領域の実オブジェクトの識別処理を実行する（１）～（３）いずれかに記載の画像処理装置。
前記仮想オブジェクトの表示領域とするターゲット領域を決定し、決定したターゲット領域の実オブジェクトの識別処理を実行する（１）～（３）いずれかに記載の画像処理装置。
【0216】
（５） 前記オブジェクト識別部は、
前記ターゲット領域をユーザ動作、ユーザ視線、ユーザ操作、ユーザ位置、またはユーザ姿勢の少なくともいずれかに基づいて決定する（４）に記載の画像処理装置。
前記ターゲット領域をユーザ動作、ユーザ視線、ユーザ操作、ユーザ位置、またはユーザ姿勢の少なくともいずれかに基づいて決定する（４）に記載の画像処理装置。
【0217】
（６） 前記オブジェクト識別部は、
前記ターゲット領域を水平面領域から選択して決定する（４）または（５）に記載の画像処理装置。
前記ターゲット領域を水平面領域から選択して決定する（４）または（５）に記載の画像処理装置。
【0218】
（７） 前記コンテンツ表示制御部は、
前記仮想オブジェクトを前記水平面領域に接するように表示する（６）に記載の画像処理装置。
前記仮想オブジェクトを前記水平面領域に接するように表示する（６）に記載の画像処理装置。
【0219】
（８） 前記オブジェクト識別部は、
前記オブジェクト識別処理をリアルタイム処理として実行する（１）～（７）に記載の画像処理装置。
前記オブジェクト識別処理をリアルタイム処理として実行する（１）～（７）に記載の画像処理装置。
【0220】
（９） 前記オブジェクト識別部は、
オブジェクト種類に応じて予め規定された時間間隔でオブジェクト識別処理を繰り返し実行する（１）～（８）いずれかに記載の画像処理装置。
オブジェクト種類に応じて予め規定された時間間隔でオブジェクト識別処理を繰り返し実行する（１）～（８）いずれかに記載の画像処理装置。
【0221】
（１０） 前記画像処理装置は、
カメラ撮影画像に基づく実世界の３次元マップを生成する３次元マップ生成部を有し、
前記オブジェクト識別部は、
前記３次元マップを利用して前記仮想オブジェクトの表示領域とするターゲット領域を決定する（１）～（９）いずれかに記載の画像処理装置。
カメラ撮影画像に基づく実世界の３次元マップを生成する３次元マップ生成部を有し、
前記オブジェクト識別部は、
前記３次元マップを利用して前記仮想オブジェクトの表示領域とするターゲット領域を決定する（１）～（９）いずれかに記載の画像処理装置。
【0222】
（１１） 前記３次元マップ生成部は、
ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理により、実世界の３次元マップを生成する（１０）に記載の画像処理装置。
ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理により、実世界の３次元マップを生成する（１０）に記載の画像処理装置。
【0223】
（１２） 前記コンテンツ表示制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するとともに、
前記オブジェクト識別結果に応じて、表示する仮想オブジェクトの表示態様も制御する（１）～（１１）いずれかに記載の画像処理装置。
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するとともに、
前記オブジェクト識別結果に応じて、表示する仮想オブジェクトの表示態様も制御する（１）～（１１）いずれかに記載の画像処理装置。
【0224】
（１３） 前記画像処理装置は、さらに、
音声出力制御を実行するコンテンツ音声制御部を有し、
前記コンテンツ音声制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて出力する音声を決定して出力する（１）～（１２）いずれかに記載の画像処理装置。
音声出力制御を実行するコンテンツ音声制御部を有し、
前記コンテンツ音声制御部は、
前記オブジェクト識別部において識別されたオブジェクト識別結果に応じて出力する音声を決定して出力する（１）～（１２）いずれかに記載の画像処理装置。
【0225】
（１４） 画像処理装置において実行する画像処理方法であり、
オブジェクト識別部が、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行し、
コンテンツ表示制御部が、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行し、
前記オブジェクト識別処理ステップは、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行するステップであり、
前記コンテンツ表示制御ステップは、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行する画像処理方法。
オブジェクト識別部が、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行し、
コンテンツ表示制御部が、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行し、
前記オブジェクト識別処理ステップは、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行するステップであり、
前記コンテンツ表示制御ステップは、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行する画像処理方法。
【0226】
（１５） 画像処理装置において画像処理を実行させるプログラムであり、
オブジェクト識別部に、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行させ、
コンテンツ表示制御部に、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行させ、
前記オブジェクト識別処理ステップにおいては、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行させ、
前記コンテンツ表示制御ステップにおいては、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行させるプログラム。
オブジェクト識別部に、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別処理ステップを実行させ、
コンテンツ表示制御部に、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像を生成するコンテンツ表示制御ステップを実行させ、
前記オブジェクト識別処理ステップにおいては、
前記仮想オブジェクトの表示領域の実オブジェクトを識別するオブジェクト識別処理を実行させ、
前記コンテンツ表示制御ステップにおいては、
前記オブジェクト識別処理ステップにおいて識別されたオブジェクト識別結果に応じて表示する仮想オブジェクトを選択するステップを実行させるプログラム。
【0227】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0228】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0229】
以上、説明したように、本開示の一実施例の構成によれば、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクト種類に応じて表示する仮想オブジェクトの選択や表示態様変更を行う装置、方法が実現される。
具体的には、例えば、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ画像を生成するコンテンツ表示制御部を有する。オブジェクト識別部は、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクトを識別し、コンテンツ表示制御部は、オブジェクト識別結果に応じて表示する仮想オブジェクトを選択する処理や表示態様の変更処理を行う。
本構成により、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクト種類に応じて表示する仮想オブジェクトの選択や表示態様変更を行う装置、方法が実現される。
具体的には、例えば、実世界上の実オブジェクトの識別処理を実行するオブジェクト識別部と、実オブジェクトと仮想オブジェクトを重畳表示したＡＲ画像を生成するコンテンツ表示制御部を有する。オブジェクト識別部は、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクトを識別し、コンテンツ表示制御部は、オブジェクト識別結果に応じて表示する仮想オブジェクトを選択する処理や表示態様の変更処理を行う。
本構成により、仮想オブジェクトの表示領域とするターゲット領域の実オブジェクト種類に応じて表示する仮想オブジェクトの選択や表示態様変更を行う装置、方法が実現される。
【符号の説明】
【0230】
１０ 光透過型ＡＲ画像表示デバイス
１１ ターゲット領域
２１ 透過観察画像
２２～２４ 仮想オブジェクト画像
３０ カメラ撮影画像表示型ＡＲ画像表示デバイス
３１ カメラ
３２ カメラ撮影画像
４０ スマホ
４１ カメラ
４２ カメラ撮影画像
５０ 水上の仮想オブジェクト画像
５１ 水中の仮想オブジェクト画像
５２ 仮想オブジェクト画像
５３，５４ 仮想オブジェクト影画像
１００ 画像処理装置
１１０ データ入力部
１１１ 外部撮影カメラ
１１２ 内部撮影カメラ
１１３ モーションセンサ（ジャイロ、加速度センサ等）
１１４ 操作部
１１５ マイク
１２０ データ処理部
１２１ 外部撮影画像解析部
１２２ ３次元マップ生成部
１２３ 内部撮影画像解析部
１２４ デバイス姿勢解析部
１２５ 音声解析部
１２６ オブジェクト識別部
１２７ 空間マップデータ
１２８ クラス対応更新時間データ
１３０ データ出力部
１３１ コンテンツ表示制御部
１３２ コンテンツ音声制御部
１３３ 表示部
１３４ スピーカ
１３５ クラス対応仮想オブジェクトデータ（３Ｄモデル、音声データ等）
１４０ 通信部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
１１ ターゲット領域
２１ 透過観察画像
２２～２４ 仮想オブジェクト画像
３０ カメラ撮影画像表示型ＡＲ画像表示デバイス
３１ カメラ
３２ カメラ撮影画像
４０ スマホ
４１ カメラ
４２ カメラ撮影画像
５０ 水上の仮想オブジェクト画像
５１ 水中の仮想オブジェクト画像
５２ 仮想オブジェクト画像
５３，５４ 仮想オブジェクト影画像
１００ 画像処理装置
１１０ データ入力部
１１１ 外部撮影カメラ
１１２ 内部撮影カメラ
１１３ モーションセンサ（ジャイロ、加速度センサ等）
１１４ 操作部
１１５ マイク
１２０ データ処理部
１２１ 外部撮影画像解析部
１２２ ３次元マップ生成部
１２３ 内部撮影画像解析部
１２４ デバイス姿勢解析部
１２５ 音声解析部
１２６ オブジェクト識別部
１２７ 空間マップデータ
１２８ クラス対応更新時間データ
１３０ データ出力部
１３１ コンテンツ表示制御部
１３２ コンテンツ音声制御部
１３３ 表示部
１３４ スピーカ
１３５ クラス対応仮想オブジェクトデータ（３Ｄモデル、音声データ等）
１４０ 通信部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】