知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-03
(45)【発行日】2024-06-11
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240604BHJP
【ＦＩ】
G06F3/0481
【請求項の数】
15
(21)【出願番号】P 2020129302
(22)【出願日】2020-07-30
(65)【公開番号】P2022026035
(43)【公開日】2022-02-10
【審査請求日】2023-06-21
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】得地 賢吾
【審査官】鈴木 崇雅
(56)【参考文献】
【文献】特開２０１９－１２５３４５（ＪＰ，Ａ）
【文献】特開２０１０－１１８０１９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０１６４１６３（ＵＳ，Ａ１）
【文献】国際公開第２０１８／２３０６４９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０４８－０４８９５
Ｇ０６Ｔ ３／００－６０８
(57)【特許請求の範囲】
【請求項1】
プロセッサを有し、
前記プロセッサは、
撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、
前記画像内の被写体に紐付けて表示する前記情報の内容を、前記撮像デバイスから各被写体までの距離を基準に設定する処理、又は、前記画像内の被写体に紐付けて表示する前記情報の内容を、被写体の種類を基準に設定する処理と、
ユーザの指示に応じて前記領域の数を変更する処理と、
を実行する情報処理装置。
【請求項2】
プロセッサを有し、
前記プロセッサは、
撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、
複数の形状への変形が可能な前記表示面の変形前に、変形後の当該表示面に表示する前記情報の内容の設定を受け付ける処理と、
を実行する情報処理装置。
【請求項3】
前記プロセッサは、変形に伴う前記表示面の拡大に先立って、拡大後の当該表示面に表示する前記情報の内容の設定を受け付ける処理を実行する、
請求項２に記載の情報処理装置。
【請求項4】
前記プロセッサは、変形に伴う前記表示面の縮小に先立って、縮小後の当該表示面に表示する前記情報の内容の設定を受け付ける処理を実行する、
請求項２に記載の情報処理装置。
【請求項5】
前記プロセッサは、前記情報の内容の設定を受け付ける場合、
前記複数の領域のうちの１つの領域に、前記情報の設定に用いる情報を表示し、他の領域に、設定が反映された当該情報が被写体に紐付けられた前記画像を表示する処理を実行する、
請求項２に記載の情報処理装置。
【請求項6】
プロセッサを有し、
前記プロセッサは、
撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、
前記画像内の被写体に対して紐付けられた前記情報が複数存在する場合、複数の当該情報が重ならないように表示する処理と、
複数の前記情報を、連携する複数の情報処理装置の間で共有する処理、
を実行する情報処理装置。
【請求項7】
プロセッサを有し、
前記プロセッサは、
撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、
変形が可能な前記表示面の変形に応じて前記領域の割り当てを変更する処理と、
を実行する情報処理装置。
【請求項8】
前記プロセッサは、前記表示面が折り畳まれた状態から展開された状態に変化された場合、曲げ部を境に当該表示面を複数の領域に分割し、各領域に前記画像を表示する処理を実行する、
請求項７に記載の情報処理装置。
【請求項9】
前記プロセッサは、前記表示面が展開された状態から折り畳まれた状態に変化し、その後、当該表示面が折り畳まれた状態から展開された状態に変化された場合、当該表示面の領域の数が増加する又は減少する処理を実行する、
請求項７に記載の情報処理装置。
【請求項10】
プロセッサを有し、
前記プロセッサは、
撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、
前記画像内の被写体に紐付けて表示される情報を外部から受信する場合に、通信の速度が予め定めた速度より低下すると、前記表示面に表示する情報の数を制限する処理と、
を実行する情報処理装置。
【請求項11】
コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、
前記画像内の被写体に紐付けて表示する前記情報の内容を、前記撮像デバイスから各被写体までの距離を基準に設定させる機能、又は、前記画像内の被写体に紐付けて表示する前記情報の内容を、被写体の種類を基準に設定させる機能と、
ユーザの指示に応じて前記領域の数を変更させる機能と、
を実現させるためのプログラム。
【請求項12】
コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、
複数の形状への変形が可能な前記表示面の変形前に、変形後の当該表示面に表示する前記情報の内容の設定を受け付けさせる機能と、
を実現させるためのプログラム。
【請求項13】
コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、
前記画像内の被写体に対して紐付けられた前記情報が複数存在する場合、複数の当該情報が重ならないように表示させる機能と、
複数の前記情報を、連携する複数の情報処理装置の間で共有させる機能と、
を実現させるためのプログラム。
【請求項14】
コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、
変形が可能な前記表示面の変形に応じて前記領域の割り当てを変更させる機能と、
を実現させるためのプログラム。
【請求項15】
コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、
前記画像内の被写体に紐付けて表示される情報を外部から受信する場合に、通信の速度が予め定めた速度より低下すると、前記表示面に表示する情報の数を制限させる機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
例えばスマートフォンには、街中を撮像した画像に拡張現実（AR: Augmented Reality）コンテンツを追加するアプリケーションが実用化されている。例えば画像に写り込んでいる建物や店（以下「建物等」という）に関する情報を建物等に重ねて表示するサービス、画像に写り込んでいるテキストの翻訳文をテキストに重ねて表示するサービス、画像に仮想の生物等を重ねて表示するサービス等がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１２５３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像内の被写体に紐付けられる情報の数や情報の量は、サービスの充実化に伴い、今後も増加すると予想される。しかし、表示面の広さは限られているのに表示される情報の数や情報の量が増えすぎると、かえって情報の視認性が低下し、目的とする情報へのアクセス性も低下する。
【0005】
本発明は、撮像された画像内の被写体に紐付けられている情報を一律に通知する場合に比して、情報の通知の表現を多様にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、前記画像内の被写体に紐付けて表示する前記情報の内容を、前記撮像デバイスから各被写体までの距離を基準に設定する処理、又は、前記画像内の被写体に紐付けて表示する前記情報の内容を、被写体の種類を基準に設定する処理と、ユーザの指示に応じて前記領域の数を変更する処理と、を実行する情報処理装置である。
請求項２に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、複数の形状への変形が可能な前記表示面の変形前に、変形後の当該表示面に表示する前記情報の内容の設定を受け付ける処理と、を実行する情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、変形に伴う前記表示面の拡大に先立って、拡大後の当該表示面に表示する前記情報の内容の設定を受け付ける処理を実行する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、変形に伴う前記表示面の縮小に先立って、縮小後の当該表示面に表示する前記情報の内容の設定を受け付ける処理を実行する、請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記情報の内容の設定を受け付ける場合、前記複数の領域のうちの１つの領域に、前記情報の設定に用いる情報を表示し、他の領域に、設定が反映された当該情報が被写体に紐付けられた前記画像を表示する処理を実行する、請求項２に記載の情報処理装置である。
請求項６に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、前記画像内の被写体に対して紐付けられた前記情報が複数存在する場合、複数の当該情報が重ならないように表示する処理と、複数の前記情報を、連携する複数の情報処理装置の間で共有する処理、を実行する情報処理装置である。
請求項７に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、変形が可能な前記表示面の変形に応じて前記領域の割り当てを変更する処理と、を実行する情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記表示面が折り畳まれた状態から展開された状態に変化された場合、曲げ部を境に当該表示面を複数の領域に分割し、各領域に前記画像を表示する処理を実行する、請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記表示面が展開された状態から折り畳まれた状態に変化し、その後、当該表示面が折り畳まれた状態から展開された状態に変化された場合、当該表示面の領域の数が増加する又は減少する処理を実行する、請求項７に記載の情報処理装置である。
請求項１０に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、前記画像内の被写体に紐付けて表示される情報を外部から受信する場合に、通信の速度が予め定めた速度より低下すると、前記表示面に表示する情報の数を制限する処理と、を実行する情報処理装置である。
請求項１１に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、前記画像内の被写体に紐付けて表示する前記情報の内容を、前記撮像デバイスから各被写体までの距離を基準に設定させる機能、又は、前記画像内の被写体に紐付けて表示する前記情報の内容を、被写体の種類を基準に設定させる機能と、ユーザの指示に応じて前記領域の数を変更させる機能と、を実現させるためのプログラムである。
請求項１２に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、複数の形状への変形が可能な前記表示面の変形前に、変形後の当該表示面に表示する前記情報の内容の設定を受け付けさせる機能と、を実現させるためのプログラムである。
請求項１３に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、前記画像内の被写体に対して紐付けられた前記情報が複数存在する場合、複数の当該情報が重ならないように表示させる機能と、複数の前記情報を、連携する複数の情報処理装置の間で共有させる機能と、を実現させるためのプログラムである。
請求項１４に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、変形が可能な前記表示面の変形に応じて前記領域の割り当てを変更させる機能と、を実現させるためのプログラムである。
請求項１５に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、前記画像内の被写体に紐付けて表示される情報を外部から受信する場合に、通信の速度が予め定めた速度より低下すると、前記表示面に表示する情報の数を制限させる機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、複数の形状への変形が可能な前記表示面の変形前に、変形後の当該表示面に表示する前記情報の内容の設定を受け付ける処理と、を実行する情報処理装置である。
請求項３に記載の発明は、前記プロセッサは、変形に伴う前記表示面の拡大に先立って、拡大後の当該表示面に表示する前記情報の内容の設定を受け付ける処理を実行する、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記プロセッサは、変形に伴う前記表示面の縮小に先立って、縮小後の当該表示面に表示する前記情報の内容の設定を受け付ける処理を実行する、請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記情報の内容の設定を受け付ける場合、前記複数の領域のうちの１つの領域に、前記情報の設定に用いる情報を表示し、他の領域に、設定が反映された当該情報が被写体に紐付けられた前記画像を表示する処理を実行する、請求項２に記載の情報処理装置である。
請求項６に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、前記画像内の被写体に対して紐付けられた前記情報が複数存在する場合、複数の当該情報が重ならないように表示する処理と、複数の前記情報を、連携する複数の情報処理装置の間で共有する処理、を実行する情報処理装置である。
請求項７に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、変形が可能な前記表示面の変形に応じて前記領域の割り当てを変更する処理と、を実行する情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記表示面が折り畳まれた状態から展開された状態に変化された場合、曲げ部を境に当該表示面を複数の領域に分割し、各領域に前記画像を表示する処理を実行する、請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記表示面が展開された状態から折り畳まれた状態に変化し、その後、当該表示面が折り畳まれた状態から展開された状態に変化された場合、当該表示面の領域の数が増加する又は減少する処理を実行する、請求項７に記載の情報処理装置である。
請求項１０に記載の発明は、プロセッサを有し、前記プロセッサは、撮像デバイスで撮像された画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定する処理と、前記画像内の被写体に紐付けて表示される情報を外部から受信する場合に、通信の速度が予め定めた速度より低下すると、前記表示面に表示する情報の数を制限する処理と、を実行する情報処理装置である。
請求項１１に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、前記画像内の被写体に紐付けて表示する前記情報の内容を、前記撮像デバイスから各被写体までの距離を基準に設定させる機能、又は、前記画像内の被写体に紐付けて表示する前記情報の内容を、被写体の種類を基準に設定させる機能と、ユーザの指示に応じて前記領域の数を変更させる機能と、を実現させるためのプログラムである。
請求項１２に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、複数の形状への変形が可能な前記表示面の変形前に、変形後の当該表示面に表示する前記情報の内容の設定を受け付けさせる機能と、を実現させるためのプログラムである。
請求項１３に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、前記画像内の被写体に対して紐付けられた前記情報が複数存在する場合、複数の当該情報が重ならないように表示させる機能と、複数の前記情報を、連携する複数の情報処理装置の間で共有させる機能と、を実現させるためのプログラムである。
請求項１４に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、変形が可能な前記表示面の変形に応じて前記領域の割り当てを変更させる機能と、を実現させるためのプログラムである。
請求項１５に記載の発明は、コンピュータに、撮像デバイスで撮像された１つの画像を、表示面内に設けられた複数の領域のそれぞれに表示する場合、当該画像内の被写体の位置に紐付けて表示する情報の内容を領域毎に設定させる機能と、前記画像内の被写体に紐付けて表示される情報を外部から受信する場合に、通信の速度が予め定めた速度より低下すると、前記表示面に表示する情報の数を制限させる機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、表示される情報の数を調整することで情報の確認を容易にできる。
請求項２記載の発明によれば、変形に伴う表示面の面積の変化に応じて情報の内容を変更できる。
請求項３記載の発明によれば、表示面の拡大後に表示させる領域別の情報の内容を事前に設定できる。
請求項４記載の発明によれば、表示面の縮小後に表示させる領域別の情報の内容を事前に設定できる。
請求項５記載の発明によれば、設定が反映された画像を見ながら操作できる。
請求項６記載の発明によれば、複数の情報処理装置で被写体に紐付けられた情報を共有できる。
請求項７記載の発明によれば、表示面の変形の操作により表示される領域の数を変更できる。
請求項８記載の発明によれば、領域の数の予測性を高めることができる。
請求項９記載の発明によれば、表示面の変形の操作により表示される領域の数を変更できる。
請求項１０記載の発明によれば、外部との通信の速度が低下しても情報の更新の追従性を維持できる。
請求項１１記載の発明によれば、表示される情報の数を調整することで情報の確認を容易にできる。
請求項１２記載の発明によれば、変形に伴う表示面の面積の変化に応じて情報の内容を変更できる。
請求項１３記載の発明によれば、複数の情報処理装置で被写体に紐付けられた情報を共有できる。
請求項１４記載の発明によれば、表示面の変形の操作により表示される領域の数を変更できる。
請求項１５記載の発明によれば、外部との通信の速度が低下しても情報の更新の追従性を維持できる。
請求項２記載の発明によれば、変形に伴う表示面の面積の変化に応じて情報の内容を変更できる。
請求項３記載の発明によれば、表示面の拡大後に表示させる領域別の情報の内容を事前に設定できる。
請求項４記載の発明によれば、表示面の縮小後に表示させる領域別の情報の内容を事前に設定できる。
請求項５記載の発明によれば、設定が反映された画像を見ながら操作できる。
請求項６記載の発明によれば、複数の情報処理装置で被写体に紐付けられた情報を共有できる。
請求項７記載の発明によれば、表示面の変形の操作により表示される領域の数を変更できる。
請求項８記載の発明によれば、領域の数の予測性を高めることができる。
請求項９記載の発明によれば、表示面の変形の操作により表示される領域の数を変更できる。
請求項１０記載の発明によれば、外部との通信の速度が低下しても情報の更新の追従性を維持できる。
請求項１１記載の発明によれば、表示される情報の数を調整することで情報の確認を容易にできる。
請求項１２記載の発明によれば、変形に伴う表示面の面積の変化に応じて情報の内容を変更できる。
請求項１３記載の発明によれば、複数の情報処理装置で被写体に紐付けられた情報を共有できる。
請求項１４記載の発明によれば、表示面の変形の操作により表示される領域の数を変更できる。
請求項１５記載の発明によれば、外部との通信の速度が低下しても情報の更新の追従性を維持できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１で想定するＡＲサービスで使用するネットワークシステムの構成例を示す図である。
【図2】実施の形態１で使用する携帯端末のハードウェア構成の一例を説明する図である。
【図3】ＡＲサービスを利用している携帯端末で実行される処理動作の一例を説明するフローチャートである。
【図4】実施の形態１で使用するＡＲサーバのハードウェア構成の一例を説明する図である。
【図5】ＡＲサービスを提供するＡＲサーバで実行される処理動作の一例を説明するフローチャートである。
【図6】ＡＲサービスの利用の前後における画面の違いを説明する図である。（Ａ）はＡＲサービスを利用する前の画面例を示し、（Ｂ）はＡＲサービスの利用後の画面例を示す。
【図7】ＡＲコンテンツの表示の設定に用いる画面例を示す図である。（Ａ）はＡＲコンテンツの表示の有無の指定に用いる画面の例であり、（Ｂ）は表示するＡＲコンテンツの指定に用いる画面の例である。
【図8】２つの領域にＡＲコンテンツを表示する場合の画面例を説明する図である。
【図9】同一の画像が表示される２つの領域のサイズを変更する例を説明する図である。
【図10】ＡＲコンテンツに広告を含める設定の場合の画面例を説明する図である。
【図11】２つの領域に表示されるＡＲコンテンツが撮像方向の距離で設定される場合の画面例を説明する図である。
【図12】ＡＲサービスの利用中に通信環境に変化があった場合の画面例を説明する図である。（Ａ）は通信速度が相対的に速い５Ｇによる通信が可能な場合を示し、（Ｂ）は通信速度が相対的に遅い４Ｇによる通信が可能な場合を示す。
【図13】ＡＲコンテンツをユーザが編集する場合に使用する画面例を説明する図である。（Ａ）は被写体に対するコメントの編集に用いる編集画面の例を示し、（Ｂ）は被写体上の特定の位置にコメントを紐付ける操作の例を示す。
【図14】１つの被写体に紐付けられているＡＲコンテンツが複数存在する場合にＡＲコンテンツの視認性を高める処理の例を説明するフローチャートである。
【図15】実施の形態２で想定するＡＲサービスで使用するネットワークシステムの構成例を示す図である。
【図16】実施の形態２で使用する携帯端末の外観構成の一例を説明する図である。（Ａ）は携帯端末を正面から見た図であり、（Ｂ）は携帯端末を側面から見た図である。
【図17】実施の形態２で使用する携帯端末の折り曲げ変形を説明する図である。（Ａ）は折り曲げ変形後の携帯端末の外観例を示し、（Ｂ）は折り曲げ変形前の携帯端末の外観例を示す。
【図18】実施の形態２で使用する携帯端末のハードウェア構成の一例を説明する図である。
【図19】携帯端末の変形と表示される画面の変化を説明する図である。（Ａ）は、ディスプレイを半分に折り畳んだ状態の画面例を示し、（Ｂ）は、ディスプレイを広げた状態の画面例を示す。
【図20】携帯端末の変形にＡＲコンテンツの表示と非表示を関連付ける場合を説明する図である。（Ａ）は、ディスプレイを半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイを展開した状態の画面例を示す。
【図21】携帯端末の変形にＡＲコンテンツの表示と非表示を関連付ける場合を説明する図である。ディスプレイを半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイを展開した状態の画面例を示す。
【図22】携帯端末の変形の遷移と表示される画面の変化を説明する図である。（Ａ）はディスプレイを半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイを展開した状態の画面例を示し、（Ｃ）は再び半分に折り畳んだ状態の画面例を示し、（Ｄ）は再び展開した状態の画面例を示す。
【図23】携帯端末の変形の遷移と表示される画面の他の変化を説明する図である。（Ａ）はディスプレイを半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイを展開した状態の画面例を示し、（Ｃ）は再び半分に折り畳んだ状態の画面例を示し、（Ｄ）は再び展開した状態の画面例を示す。
【図24】携帯端末の変形を編集画面の表示に用いる画面例を説明する図である。（Ａ）はディスプレイを折り畳んだ状態を撮像された画像の表示に割り当てる例を示し、（Ｂ）はディスプレイの展開を編集画面の表示に割り当てる例を示す。
【図25】実施の形態３で使用する携帯端末の外観構成の一例を説明する図である。（Ａ）は携帯端末を正面から見た図であり、（Ｂ）は携帯端末を側面から見た図である。
【図26】実施の形態３で使用する携帯端末の折り曲げ変形を説明する図である。（Ａ）は折り曲げ変形後の携帯端末の外観例を示し、（Ｂ）は折り曲げ変形前の携帯端末の外観例を示す。
【図27】他の実施の形態で使用する携帯端末の外観構成の一例を説明する図である。（Ａ）は携帯端末を正面から見た図であり、（Ｂ）は携帯端末を側面から見た図である。
【図28】２つの本体パネルが上下２段に配置される携帯端末における表示面のサイズの変化を説明する図である。（Ａ）は本体パネルが他方の本体パネルの下に収納されている状態を示し、（Ｂ）は本体パネルの下から他方の本体パネルの一部が引き出された状態を示し、（Ｃ）は他方の本体パネルの全体が引き出された状態を示している。
【図29】引き出し型のディスプレイを有する携帯端末の外観例を説明する図である。
【図30】ＡＲコンテンツ付きの画像とＡＲコンテンツなしの画像を並べて表示するモードの例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で想定するＡＲサービスで使用するネットワークシステム１の構成例を示す図である。
ネットワークシステム１は、ユーザが操作する携帯型の端末（以下「携帯端末」という）１０と、携帯端末１０に対してＡＲサービスを提供するサーバ（以下「ＡＲサーバ」という）２０とを有している。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で想定するＡＲサービスで使用するネットワークシステム１の構成例を示す図である。
ネットワークシステム１は、ユーザが操作する携帯型の端末（以下「携帯端末」という）１０と、携帯端末１０に対してＡＲサービスを提供するサーバ（以下「ＡＲサーバ」という）２０とを有している。
【0010】
ＡＲサービスは、携帯端末１０で撮像される現実世界の画像に、コンピュータが作成したコンテンツ（以下「ＡＲコンテンツ」という）を反映するサービスをいう。本実施の形態におけるＡＲコンテンツは画像である。
本実施の形態におけるＡＲサービスは、携帯端末１０に対するユーザからの指示で利用が可能になる。ここでの指示には、例えばＡＲサービスを利用するアプリケーションプログラム（以下「アプリ」という）の実行の指示がある。また、ＡＲサービスがクラウドサービスとして提供される場合、ＡＲサーバ２０に対するアクセスも、ユーザからの指示である。
本実施の形態におけるＡＲサービスは、携帯端末１０に対するユーザからの指示で利用が可能になる。ここでの指示には、例えばＡＲサービスを利用するアプリケーションプログラム（以下「アプリ」という）の実行の指示がある。また、ＡＲサービスがクラウドサービスとして提供される場合、ＡＲサーバ２０に対するアクセスも、ユーザからの指示である。
【0011】
本実施の形態では、ＡＲコンテンツの表示にマーカーを必要としないマーカーレス型のＡＲサービスを想定する。もっとも、位置情報のみを使用するロケーションベース型のＡＲサービスでもよい。
ＡＲコンテンツは、携帯端末１０で撮像された画像から認識されたＡＲサービスの対象として認識された被写体に紐づけて表示される。この意味で、本実施の形態におけるＡＲコンテンツは、被写体の位置に紐付けて表示する情報の一例である。ＡＲコンテンツが反映された画像を「ＡＲ合成画像」ともいう。ユーザは、携帯端末１０に表示されるＡＲ合成画像を視認する。
ＡＲコンテンツは、携帯端末１０で撮像された画像から認識されたＡＲサービスの対象として認識された被写体に紐づけて表示される。この意味で、本実施の形態におけるＡＲコンテンツは、被写体の位置に紐付けて表示する情報の一例である。ＡＲコンテンツが反映された画像を「ＡＲ合成画像」ともいう。ユーザは、携帯端末１０に表示されるＡＲ合成画像を視認する。
【0012】
本実施の形態における携帯端末１０は、複数世代の移動通信システム、又は、無線ＬＡＮ（＝Local Area Network）とインターネットの複合ネットワークを通じてＡＲサーバ２０と通信する。いずれの経路を用いて通信するかは、携帯端末１０が使用される環境やユーザの選択に応じて定まる。
本実施の形態では、移動通信システムを、通信速度が相対的に遅い第３世代（すなわち３Ｇ）及び第４世代（すなわち４Ｇ）と、通信速度が相対的に速い第５世代（すなわち５Ｇ）及び第６世代（すなわち６Ｇ）との２種類に分類する。
本実施の形態の場合、５Ｇや６Ｇによる通信が可能な場合、ユーザは、リアルタイムかつ制限なくＡＲサービスの利用が可能である。一方、３Ｇや４Ｇによる通信のみが可能な場合、ユーザによるＡＲサービスの利用には遅延や内容の制約を伴うことがある。
本実施の形態では、移動通信システムを、通信速度が相対的に遅い第３世代（すなわち３Ｇ）及び第４世代（すなわち４Ｇ）と、通信速度が相対的に速い第５世代（すなわち５Ｇ）及び第６世代（すなわち６Ｇ）との２種類に分類する。
本実施の形態の場合、５Ｇや６Ｇによる通信が可能な場合、ユーザは、リアルタイムかつ制限なくＡＲサービスの利用が可能である。一方、３Ｇや４Ｇによる通信のみが可能な場合、ユーザによるＡＲサービスの利用には遅延や内容の制約を伴うことがある。
【0013】
本実施の形態の場合、無線ＬＡＮには、ＩＥＥＥ８０２．１１の１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ、１１ａｄ、１１ａｘのいずれかを利用する。もっとも、通信の全経路が有線路でもよい。もっとも、有線路経由の通信でも、その通信速度は、利用する環境に依存する。
本実施の形態における携帯端末１０には、例えばスマートフォン、タブレット型の端末、ゲーム機、ウェアラブル端末を想定する。
携帯端末１０は、いわゆるコンピュータであり、カメラと表示部と通信モジュールを備えている。図１には、携帯端末１０を１台のみ描いているが、ネットワークシステム１には複数台の携帯端末１０が存在してもよい。
本実施の形態におけるＡＲサーバ２０は、携帯端末１０と連携し、携帯端末１０にＡＲ合成画像を表示させる。図１には１台のＡＲサーバ２０を表しているが、連携する複数台のサーバで構成されてもよい。本実施の形態におけるＡＲサーバ２０は、情報処理装置の一例である。
本実施の形態における携帯端末１０には、例えばスマートフォン、タブレット型の端末、ゲーム機、ウェアラブル端末を想定する。
携帯端末１０は、いわゆるコンピュータであり、カメラと表示部と通信モジュールを備えている。図１には、携帯端末１０を１台のみ描いているが、ネットワークシステム１には複数台の携帯端末１０が存在してもよい。
本実施の形態におけるＡＲサーバ２０は、携帯端末１０と連携し、携帯端末１０にＡＲ合成画像を表示させる。図１には１台のＡＲサーバ２０を表しているが、連携する複数台のサーバで構成されてもよい。本実施の形態におけるＡＲサーバ２０は、情報処理装置の一例である。
【0014】
＜各装置の構成＞
＜携帯端末１０の構成＞
図２は、実施の形態１で使用する携帯端末１０のハードウェア構成の一例を説明する図である。
図２に示す携帯端末１０は、プログラムの実行を通じて各部を制御するＣＰＵ（＝Central Processing Unit）１０１と、画像その他の情報を表示するディスプレイ１０２と、ディスプレイ１０２に表示されるソフトウェアキー（以下「ソフトキー」ともいう）に対する操作を検知する静電容量式のフィルムセンサ１０３と、ＧＰＳ（＝Global Positioning System）信号を検知して自端末の位置を測位するＧＰＳモジュール１０４と、慣性センサ１０５と、カメラ１０６と、通話や録音に使用されるマイク１０７と、音の出力に使用されるスピーカ１０８と、システムデータや内部データが記憶される内部メモリ１０９と、補助記憶装置としての外部メモリ１１０と、ＡＲサーバ２０を含む外部装置との通信に用いられる通信モジュール１１１等を有している。
＜携帯端末１０の構成＞
図２は、実施の形態１で使用する携帯端末１０のハードウェア構成の一例を説明する図である。
図２に示す携帯端末１０は、プログラムの実行を通じて各部を制御するＣＰＵ（＝Central Processing Unit）１０１と、画像その他の情報を表示するディスプレイ１０２と、ディスプレイ１０２に表示されるソフトウェアキー（以下「ソフトキー」ともいう）に対する操作を検知する静電容量式のフィルムセンサ１０３と、ＧＰＳ（＝Global Positioning System）信号を検知して自端末の位置を測位するＧＰＳモジュール１０４と、慣性センサ１０５と、カメラ１０６と、通話や録音に使用されるマイク１０７と、音の出力に使用されるスピーカ１０８と、システムデータや内部データが記憶される内部メモリ１０９と、補助記憶装置としての外部メモリ１１０と、ＡＲサーバ２０を含む外部装置との通信に用いられる通信モジュール１１１等を有している。
【0015】
本実施の形態の場合、内部メモリ１０９と外部メモリ１１０は、半導体メモリである。内部メモリ１０９は、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、主記憶装置として用いられるＲＡＭ（＝Random Access Memory）とを有している。ＣＰＵ１０１と内部メモリ１０９はコンピュータを構成する。ＣＰＵ１０１は、ＲＡＭをプログラムの作業スペースとして使用する。外部メモリ１１０には、ファームウェアやアプリが記憶される。
【0016】
ディスプレイ１０２は、例えば有機ＥＬ（＝Electro Luminescent）ディスプレイや液晶ディスプレイで構成される。本実施の形態におけるディスプレイ１０２は、１枚の基板上に形成されている。本実施の形態では、ディスプレイ１０２の表面（すなわち表示面）には画像その他の情報が表示される。ここでの画像には、カメラ１０６により撮像された画像（以下「撮像画像」ともいう）が含まれる。本実施の形態におけるディスプレイ１０２は、折り曲げや折り畳みには対応していない。
【0017】
フィルムセンサ１０３は、ディスプレイ１０２の表面に配置される。フィルムセンサ１０３は、ディスプレイ１０２に表示される情報の観察を妨げない特性を有し、ユーザが操作する位置を静電容量の変化により検知する。
ＧＰＳモジュール１０４は、携帯端末１０の位置の測位に用いられる。なお、携帯端末１０の位置の測位には、ＧＰＳモジュール１０４以外のセンサ技術を用いてもよい。例えばビーコンからのBluetooth（登録商標）信号の受信やＷｉＦｉ信号の受信により位置を測位してもよい。
慣性センサ１０５は、例えば加速度と角速度を検知する６軸センサである。慣性センサ１０５により携帯端末１０の姿勢の検知が可能になる。この他、携帯端末１０には、地磁気センサを設けてもよい。地磁気センサを用いて撮像の方向を特定してもよい。
ＧＰＳモジュール１０４は、携帯端末１０の位置の測位に用いられる。なお、携帯端末１０の位置の測位には、ＧＰＳモジュール１０４以外のセンサ技術を用いてもよい。例えばビーコンからのBluetooth（登録商標）信号の受信やＷｉＦｉ信号の受信により位置を測位してもよい。
慣性センサ１０５は、例えば加速度と角速度を検知する６軸センサである。慣性センサ１０５により携帯端末１０の姿勢の検知が可能になる。この他、携帯端末１０には、地磁気センサを設けてもよい。地磁気センサを用いて撮像の方向を特定してもよい。
【0018】
カメラ１０６には、例えばＣＭＯＳ（＝Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（＝Charge-Coupled Device）イメージセンサを使用する。本実施の形態の場合、カメラ１０６は、携帯端末１０に対して一体的に取り付けられている。カメラ１０６の数は複数でもよい。カメラ１０６は、撮像デバイスの一例である。
マイク１０７は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。本実施の形態の場合、マイク１０７は、ユーザの音声による指示の入力にも使用される。例えばＡＲコンテンツの表示に用いる領域の数や各領域に表示するＡＲコンテンツの種類の指示に用いられる。
スピーカ１０８は、電気信号を音に変換して出力するデバイスである。
通信モジュール１１１は、移動通信システムに対応するモジュールと無線ＬＡＮに対応するモジュールとを有している。
マイク１０７は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。本実施の形態の場合、マイク１０７は、ユーザの音声による指示の入力にも使用される。例えばＡＲコンテンツの表示に用いる領域の数や各領域に表示するＡＲコンテンツの種類の指示に用いられる。
スピーカ１０８は、電気信号を音に変換して出力するデバイスである。
通信モジュール１１１は、移動通信システムに対応するモジュールと無線ＬＡＮに対応するモジュールとを有している。
【0019】
図３は、ＡＲサービスを利用している携帯端末１０で実行される処理動作の一例を説明するフローチャートである。図３に示す処理は、ＣＰＵ１０１（図２参照）が実行する。なお、図中に示す記号のＳはステップを表している。
ＣＰＵ１０１は、通信モジュール１１１（図２参照）による通信の状態を監視しており、５Ｇ又は６Ｇ又は無線ＬＡＮによる通信中か否かを判定する（ステップ１）。
この判定には、例えば使用中の通信方式の他、ＡＲサーバ２０との間の実効速度に基づいて判定される。例えば通信の速度が予め定めた速度より低い場合、ＣＰＵ１０１は、ステップ１で否定結果を得る。反対に、通信の速度が予め定めた速度より速い場合、ＣＰＵ１０１は、ステップ１で肯定結果を得る。
ＣＰＵ１０１は、通信モジュール１１１（図２参照）による通信の状態を監視しており、５Ｇ又は６Ｇ又は無線ＬＡＮによる通信中か否かを判定する（ステップ１）。
この判定には、例えば使用中の通信方式の他、ＡＲサーバ２０との間の実効速度に基づいて判定される。例えば通信の速度が予め定めた速度より低い場合、ＣＰＵ１０１は、ステップ１で否定結果を得る。反対に、通信の速度が予め定めた速度より速い場合、ＣＰＵ１０１は、ステップ１で肯定結果を得る。
【0020】
ステップ１で肯定結果が得られた場合、ＣＰＵ１０１は、カメラ１０６（図２参照）で撮像された画像を複数の領域のそれぞれに表示するモードか否かを判定する（ステップ２）。本実施の形態の場合、表示のモードは、携帯端末１０のユーザが指示することが可能である。ユーザの指示は、ソフトキーに対する指示でもよいし、音声による指示でもよい。
【0021】
ステップ１及び２の両方で肯定結果が得られた場合、ＣＰＵ１０１は、各領域に表示された画像に対し、ユーザが指定するＡＲコンテンツを反映する（ステップ３）。本実施の形態の場合、領域の数は２つである。もっとも、ユーザによる事前の設定により３つ以上の領域を設定することも可能である。ただし、各領域は、表示面を分割することになるので、表示面の面積に対して領域の数を増やし過ぎると、かえってＡＲコンテンツの視認性が低下するおそれがある。そこで、本実施の形態では、カメラ１０６で撮像された同じ画像を表示する領域の数を２つとしている。
【0022】
また、各領域に表示するＡＲコンテンツの内容は、ユーザによる指定が可能である。領域毎に表示するＡＲコンテンツの内容を指定することで、各領域に表示されるＡＲコンテンツの数を減らし、ＡＲコンテンツと被写体との紐付けの確認が容易になる。なお、各領域に表示するＡＲコンテンツの内容は事前に設定することも可能である。
また、本実施の形態の場合、各領域のサイズの変更を指示することも可能である。基本的には、２つの領域のサイズは同じとする。ただし、ユーザの指示により、各領域のサイズの変更を可能としてもよい。例えば一方の領域のサイズを表示面の６０％とし、他方の領域のサイズを表示面の４０％としてもよい。
また、本実施の形態の場合、各領域のサイズの変更を指示することも可能である。基本的には、２つの領域のサイズは同じとする。ただし、ユーザの指示により、各領域のサイズの変更を可能としてもよい。例えば一方の領域のサイズを表示面の６０％とし、他方の領域のサイズを表示面の４０％としてもよい。
【0023】
この他、各領域のサイズはそのままに、領域内に表示される画像を拡大して表示するピンチアウトの操作や反対に画像を縮小するピンチインの操作も可能である。
ステップ１又は２で否定結果が得られた場合、ＣＰＵ１０１は、１つの領域でＡＲコンテンツを表示する（ステップ４）。この場合は、通信速度が低下し、通信の速度が遅くＡＲコンテンツを即座に反映することが困難な状況やユーザが１つの領域によりＡＲコンテンツの表示を望む状況に対応する。
ステップ１又は２で否定結果が得られた場合、ＣＰＵ１０１は、１つの領域でＡＲコンテンツを表示する（ステップ４）。この場合は、通信速度が低下し、通信の速度が遅くＡＲコンテンツを即座に反映することが困難な状況やユーザが１つの領域によりＡＲコンテンツの表示を望む状況に対応する。
【0024】
＜ＡＲサーバ２０の構成＞
図４は、実施の形態１で使用するＡＲサーバ２０のハードウェア構成の一例を説明する図である。
図４に示すＡＲサーバ２０は、プログラムの実行を通じて各部を制御するＣＰＵ２０１と、システムデータや内部データが記憶される半導体メモリ２０２と、ハードディスク装置２０３と、携帯端末１０を含む外部装置との通信に用いられる通信モジュール２０４等を有している。
本実施の形態の場合、半導体メモリ２０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとで構成されている。ＣＰＵ２０１と半導体メモリ２０２はコンピュータを構成する。ＣＰＵ２０１は、ＲＡＭをプログラムの作業スペースに使用する。
図４は、実施の形態１で使用するＡＲサーバ２０のハードウェア構成の一例を説明する図である。
図４に示すＡＲサーバ２０は、プログラムの実行を通じて各部を制御するＣＰＵ２０１と、システムデータや内部データが記憶される半導体メモリ２０２と、ハードディスク装置２０３と、携帯端末１０を含む外部装置との通信に用いられる通信モジュール２０４等を有している。
本実施の形態の場合、半導体メモリ２０２は、ＢＩＯＳ等が記憶されたＲＯＭと、主記憶装置として用いられるＲＡＭとで構成されている。ＣＰＵ２０１と半導体メモリ２０２はコンピュータを構成する。ＣＰＵ２０１は、ＲＡＭをプログラムの作業スペースに使用する。
【0025】
ハードディスク装置２０３は、オペレーティングシステムやアプリを記憶する補助記憶装置である。ここでのアプリには、ＡＲサービスの提供に用いられるプログラムが含まれる。
また、本実施の形態におけるハードディスク装置２０３には、携帯端末１０（図１参照）で撮像された画像に含まれる被写体の検出や翻訳等に用いるデータベース、機械学習により生成されたモデル等も記憶される。
本実施の形態における被写体は、カメラ１０６（図２参照）で撮像された画像に含まれる物体のうち、人工知能等によりオブジェクトとして認識された物体や文字情報をいう。換言すると、本実施の形態における被写体は、ＡＲコンテンツが紐付けられている対象物又は処理の単位をいう。ＡＲコンテンツと物体等とを紐付ける関係は、ハードディスク装置２０３に記憶されている。
また、本実施の形態におけるハードディスク装置２０３には、携帯端末１０（図１参照）で撮像された画像に含まれる被写体の検出や翻訳等に用いるデータベース、機械学習により生成されたモデル等も記憶される。
本実施の形態における被写体は、カメラ１０６（図２参照）で撮像された画像に含まれる物体のうち、人工知能等によりオブジェクトとして認識された物体や文字情報をいう。換言すると、本実施の形態における被写体は、ＡＲコンテンツが紐付けられている対象物又は処理の単位をいう。ＡＲコンテンツと物体等とを紐付ける関係は、ハードディスク装置２０３に記憶されている。
【0026】
図５は、ＡＲサービスを提供するＡＲサーバ２０で実行される処理動作の一例を説明するフローチャートである。図５に示す処理は、ＣＰＵ２０１（図４参照）が実行する。なお、図中に示す記号のＳはステップを表している。
ＣＰＵ２０１は、ＡＲサービスを利用する携帯端末１０（図１参照）との通信を通じ、携帯端末１０の位置の情報及び撮像された画像データを取得する（ステップ１１）。本実施の形態の場合、ＧＰＳモジュール１０４（図２参照）で測位された位置等の情報が取得される。
ＣＰＵ２０１は、ＡＲサービスを利用する携帯端末１０（図１参照）との通信を通じ、携帯端末１０の位置の情報及び撮像された画像データを取得する（ステップ１１）。本実施の形態の場合、ＧＰＳモジュール１０４（図２参照）で測位された位置等の情報が取得される。
【0027】
携帯端末１０の位置が分かることで、被写体の認識の精度が向上されることがある。もっとも、特徴的な被写体の場合、画像データだけでも撮像位置の特定が可能である。ユニークな建物や風景が画像に含まれていれば、携帯端末１０の位置の特定が可能である。
なお、ＡＲサービスの利用が被写体として撮像された文字情報の翻訳である場合、被写体が撮像された位置の情報は不要である。このように、位置の情報は、ユーザが利用するＡＲサービスの内容によっては必ずしも必要でない。
なお、ＡＲサービスの利用が被写体として撮像された文字情報の翻訳である場合、被写体が撮像された位置の情報は不要である。このように、位置の情報は、ユーザが利用するＡＲサービスの内容によっては必ずしも必要でない。
【0028】
また、本実施の形態では、携帯端末１０からＡＲサーバ２０にカメラ１０６（図２参照）で撮像された画像データからアップロードされているが、全ての画像データでも、予め定めた枚数に１枚の割合に間引き処理された画像データでもよい。
また、携帯端末１０からＡＲサーバ２０には、携帯端末１０による前処理を経て抽出された画像データの一部だけがアップロードされてもよいし、携帯端末１０による前処理により抽出された画像の特徴を表す情報がアップロードされてもよい。
携帯端末１０とＡＲサーバ２０との通信に３Ｇや４Ｇを用いる環境では、アップロードされる情報量を低減することで、ＡＲコンテンツが提供されるまでの時間の短縮が可能になる。
また、携帯端末１０からＡＲサーバ２０には、携帯端末１０による前処理を経て抽出された画像データの一部だけがアップロードされてもよいし、携帯端末１０による前処理により抽出された画像の特徴を表す情報がアップロードされてもよい。
携帯端末１０とＡＲサーバ２０との通信に３Ｇや４Ｇを用いる環境では、アップロードされる情報量を低減することで、ＡＲコンテンツが提供されるまでの時間の短縮が可能になる。
【0029】
次に、ＣＰＵ２０１は、画像データから抽出された被写体に紐付けられている又は紐付けるＡＲコンテンツを取得し（ステップ１２）、取得したＡＲコンテンツとＡＲコンテンツが紐付けられる画像内の位置を送信する（ステップ１３）。
例えば被写体が建物や自然物の場合、被写体に紐付けられている情報や特定された建物等について検索された情報がＡＲコンテンツとして送信される。一方で、被写体が文字情報の場合、テキスト変換された情報や翻訳された情報がＡＲコンテンツとして送信される。
なお、ＣＰＵ２０１は、送信されるＡＲコンテンツを紐付ける画像内の位置を送信する。
例えば被写体が建物や自然物の場合、被写体に紐付けられている情報や特定された建物等について検索された情報がＡＲコンテンツとして送信される。一方で、被写体が文字情報の場合、テキスト変換された情報や翻訳された情報がＡＲコンテンツとして送信される。
なお、ＣＰＵ２０１は、送信されるＡＲコンテンツを紐付ける画像内の位置を送信する。
【0030】
【0031】
＜画面例１＞
図６は、ＡＲサービスの利用の前後における画面の違いを説明する図である。（Ａ）はＡＲサービスを利用する前の画面例を示し、（Ｂ）はＡＲサービスの利用後の画面例を示す。
図６は、ＡＲサービスの利用の前後における画面の違いを説明する図である。（Ａ）はＡＲサービスを利用する前の画面例を示し、（Ｂ）はＡＲサービスの利用後の画面例を示す。
【0032】
図６の場合、ＡＲサービスを利用する前のディスプレイ１０２には、２つの建物が撮像されている。一方で、ＡＲサービスの利用を開始した後のディスプレイ１０２には、２つの建物に紐付けられているＡＲコンテンツが、建物内の特定の部分に紐付けて表示されている。
図６の場合、ＡＲコンテンツは、吹き出し形式で撮像画像に重ねて表示されている。吹き出しは不透明でも透明でもよい。透明とは、背後が透けて見えることをいい、不透明とは背後が透けて見えないことをいう。吹き出しのうち三角形の頂点が、ＡＲコンテンツの紐付け先となる被写体や位置を表している。
図６の場合、ＡＲコンテンツは、吹き出し形式で撮像画像に重ねて表示されている。吹き出しは不透明でも透明でもよい。透明とは、背後が透けて見えることをいい、不透明とは背後が透けて見えないことをいう。吹き出しのうち三角形の頂点が、ＡＲコンテンツの紐付け先となる被写体や位置を表している。
【0033】
図６の場合、手前側に位置する建物にも、奥側に位置する建物にも多くのＡＲコンテンツが紐付けられている。手前側に位置する建物は、奥側に位置する建物よりも、携帯端末１０からの距離が相対的に近い。図６の場合、紐付けられている全てのＡＲコンテンツが画面内に表示されている。
【0034】
図６の場合、表示されるＡＲコンテンツの数が多く、表示の位置も重なっている。このため、せっかく表示されたＡＲコンテンツの視認性が低下している。背後に位置するＡＲコンテンツについては存在自体が分からない可能性もある。
また、前述したように、サービスの充実化に伴い、１つの物体に紐付けられるＡＲコンテンツは、今後、ますます増加すると考えられる。
また、前述したように、サービスの充実化に伴い、１つの物体に紐付けられるＡＲコンテンツは、今後、ますます増加すると考えられる。
【0035】
図７は、ＡＲコンテンツの表示の設定に用いる画面例を示す図である。（Ａ）はＡＲコンテンツの表示の有無の指定に用いる画面１２０の例であり、（Ｂ）は表示するＡＲコンテンツの内容の指定に用いる画面１２１の例である。
本実施の形態の場合、画面１２０は、不図示の設定用のボタンや特定の位置のタップ等により表示される。画面１２０には、３種類の選択肢が表示されている。１つは、２つの領域にＡＲコンテンツを表示するモードであり、１つは、１つの領域にＡＲコンテンツを表示するモードであり、１つは、ＡＲコンテンツを表示しないモードである。
本実施の形態の場合、画面１２０は、不図示の設定用のボタンや特定の位置のタップ等により表示される。画面１２０には、３種類の選択肢が表示されている。１つは、２つの領域にＡＲコンテンツを表示するモードであり、１つは、１つの領域にＡＲコンテンツを表示するモードであり、１つは、ＡＲコンテンツを表示しないモードである。
【0036】
１つの領域にＡＲコンテンツを表示するモードは、図６（Ｂ）に例示したように、携帯端末１０で撮像された画像と、画像内の被写体に紐付けられているＡＲコンテンツとを、表示面に表示するモードである。この場合、画像が表示される領域は、ディスプレイ１０２の表示面に一致する。
２つの領域にＡＲコンテンツを表示するモードは、携帯端末１０で撮像された画像と、画像内の被写体に関連するＡＲコンテンツとを、表示面内の２つの領域のそれぞれに表示するモードである。本実施の形態では、２つの領域のサイズが同じになるように、表示面を左右に分割する。
２つの領域にＡＲコンテンツを表示するモードは、携帯端末１０で撮像された画像と、画像内の被写体に関連するＡＲコンテンツとを、表示面内の２つの領域のそれぞれに表示するモードである。本実施の形態では、２つの領域のサイズが同じになるように、表示面を左右に分割する。
【0037】
ＡＲコンテンツを表示しないモードは、図６（Ａ）に例示したように、携帯端末１０で撮像された画像だけをディスプレイ１０２に表示するモードである。
画面１２０の場合、２つの領域にＡＲコンテンツを表示するモードに対応するチェックボックスにチェックが表示されている。このため、画面１２１は、左右２つの領域のそれぞれに表示するＡＲコンテンツの設定に用いられる。
画面１２０の場合、２つの領域にＡＲコンテンツを表示するモードに対応するチェックボックスにチェックが表示されている。このため、画面１２１は、左右２つの領域のそれぞれに表示するＡＲコンテンツの設定に用いられる。
【0038】
画面１２１には、左右２つの領域に表示するＡＲコンテンツの選択肢が表示されている。以下では、表示面の左側に位置する領域を「左領域」といい、右側に位置する領域を「右領域」という。
図７の場合、左領域用の選択肢と右領域用の選択肢として、「飲食」、「衣類」、「不動産」、「観光」、「クリーニング」、「スーパー」、「理容」、「映画」、「オフィス」、「宿泊」、「広告あり」、「メニューあり」、「１０ｍまで」、「１０ｍ以上」が示されている。図７に示す選択肢は一例であり、他の選択肢でもよい。例えば駅やバス停等の交通機関に関する情報を選択肢に含めてもよい。
図７の場合、左領域用の選択肢と右領域用の選択肢として、「飲食」、「衣類」、「不動産」、「観光」、「クリーニング」、「スーパー」、「理容」、「映画」、「オフィス」、「宿泊」、「広告あり」、「メニューあり」、「１０ｍまで」、「１０ｍ以上」が示されている。図７に示す選択肢は一例であり、他の選択肢でもよい。例えば駅やバス停等の交通機関に関する情報を選択肢に含めてもよい。
【0039】
選択肢のうち「飲食」、「衣類」、「不動産」、「観光」、「クリーニング」、「スーパー」、「理容」、「映画」、「オフィス」、「宿泊」は、いずれも被写体の種類の一例であり、表示されるＡＲコンテンツの内容を与える基準の一例である。
選択肢のうち「広告あり」、「メニューあり」、「１０ｍまで」、「１０ｍ以上」は、表示されるＡＲコンテンツの内容を与える基準の一例である。
これらの選択肢は、撮像されている画像とは無関係に与えられてもよいし、撮像されている画像に応じて与えてもよい。本実施の形態の場合、撮像されている画像に含まれる被写体の認識は、ＡＲサーバ２０が実行する。もっとも、被写体の認識を携帯端末１０で実行してもよい。
選択肢のうち「広告あり」、「メニューあり」、「１０ｍまで」、「１０ｍ以上」は、表示されるＡＲコンテンツの内容を与える基準の一例である。
これらの選択肢は、撮像されている画像とは無関係に与えられてもよいし、撮像されている画像に応じて与えてもよい。本実施の形態の場合、撮像されている画像に含まれる被写体の認識は、ＡＲサーバ２０が実行する。もっとも、被写体の認識を携帯端末１０で実行してもよい。
【0040】
ここで、「広告あり」は、ＡＲコンテンツに、サブコンテンツである広告の表示を含めるための選択肢である。
また、「メニューあり」は、ＡＲコンテンツに、メニューの表示を含めるための選択肢である。
また、「１０ｍまで」は、表示するＡＲコンテンツを、携帯端末１０から撮像の方向に１０ｍまでに存在する被写体のＡＲコンテンツに制限するための選択肢である。
また、「１０ｍ以上」は、表示するＡＲコンテンツを、携帯端末１０から撮像の方向に１０ｍ以上離れた場所に存在する被写体のＡＲコンテンツに制限するための選択肢である。被写体のとの距離は概略でよい。
また、「メニューあり」は、ＡＲコンテンツに、メニューの表示を含めるための選択肢である。
また、「１０ｍまで」は、表示するＡＲコンテンツを、携帯端末１０から撮像の方向に１０ｍまでに存在する被写体のＡＲコンテンツに制限するための選択肢である。
また、「１０ｍ以上」は、表示するＡＲコンテンツを、携帯端末１０から撮像の方向に１０ｍ以上離れた場所に存在する被写体のＡＲコンテンツに制限するための選択肢である。被写体のとの距離は概略でよい。
【0041】
例えば被写体の位置がＡＲサーバ２０に登録されている場合には、携帯端末１０で測位された位置の情報を使用し、携帯端末１０と被写体との距離を算出することが可能である。もっとも、携帯端末１０に、ＬｉＤＡＲ（＝Light Detection and Ranging）用のモジュールが設けられている場合や撮像画像から被写体までの距離を計測するアプリが設けられている場合には、携帯端末１０単独で距離を求めることも可能である。
【0042】
図７の場合、距離に関する基準は「１０ｍまで」と「１０ｍ以上」の２種類であり、距離に上限が設けられていないが、表示されるＡＲコンテンツの数が多い場合には、距離に上限を設定してもよい。例えば「１０ｍ以上３０ｍまで」との選択肢を用意してもよい。
なお、閾値としての１０ｍは一例に過ぎず、他の１つ又は複数の閾値を用いてもよい。また、表示の範囲を与える距離は、ユーザによる変更や指定が可能であってもよい。
なお、閾値としての１０ｍは一例に過ぎず、他の１つ又は複数の閾値を用いてもよい。また、表示の範囲を与える距離は、ユーザによる変更や指定が可能であってもよい。
【0043】
図７に示す画面１２０及び画面１２１を用いた設定の内容は、携帯端末１０が表示するＡＲコンテンツを特定するためだけに使用してもよいし、ＡＲサーバ２０によるＡＲコンテンツの読み出しに使用してもよい。
前者の場合、携帯端末１０は、ＡＲサーバ２０から通知されるＡＲコンテンツの中から各領域に表示するＡＲコンテンツの選択に使用する。
前者の場合、携帯端末１０は、ＡＲサーバ２０から通知されるＡＲコンテンツの中から各領域に表示するＡＲコンテンツの選択に使用する。
【0044】
後者の場合、ＡＲサーバ２０は、ユーザが指定した基準を満たすＡＲコンテンツの選択に使用する。この場合、ＡＲサーバ２０は、選択されたＡＲコンテンツだけを携帯端末１０に通知し、携帯端末１０は通知されたＡＲコンテンツを対応する領域に表示する。
本実施の形態では、ディスプレイ１０２に表示されるＡＲコンテンツをユーザが指定しているが、ＡＲサーバ２０が画像内の被写体に応じて決定することも可能である。
本実施の形態では、ディスプレイ１０２に表示されるＡＲコンテンツをユーザが指定しているが、ＡＲサーバ２０が画像内の被写体に応じて決定することも可能である。
【0045】
＜画面例２＞
図８は、２つの領域にＡＲコンテンツを表示する場合の画面例を説明する図である。図８には、図６との対応部分に対応する符号を付して示している。
図８の場合、ディスプレイ１０２の表示面は、左領域１０２Ａと右領域１０２Ｂに分割され、各領域にカメラ１０６（図２参照）で撮像された同じ画像を表示する。また、左領域１０２Ａと右領域１０２Ｂのそれぞれには、事前に設定されたＡＲコンテンツが表示される。
図８は、２つの領域にＡＲコンテンツを表示する場合の画面例を説明する図である。図８には、図６との対応部分に対応する符号を付して示している。
図８の場合、ディスプレイ１０２の表示面は、左領域１０２Ａと右領域１０２Ｂに分割され、各領域にカメラ１０６（図２参照）で撮像された同じ画像を表示する。また、左領域１０２Ａと右領域１０２Ｂのそれぞれには、事前に設定されたＡＲコンテンツが表示される。
【0046】
図８の場合、左領域１０２Ａには飲食に関連するＡＲコンテンツが選択的に表示され、右領域１０２Ｂには衣類に関連するＡＲコンテンツが選択的に表示されている。
図８の場合、左領域１０２Ａのサイズと右領域１０２Ｂのサイズは、いずれもディスプレイ１０２の２分の１である。このため、左領域１０２Ａと右領域１０２Ｂのそれぞれに表示される画像のサイズは、図６の画面例に比して小さくなる。
一方で、左領域１０２Ａの画像に重ねて表示されるＡＲコンテンツの数と右領域１０２Ｂの画像に重ねて表示されるＡＲコンテンツの数は、いずれも図６に比して少なく済む。結果的に、ＡＲコンテンツどうしの重なりが低減され、視認性が改善される。
図８の場合、左領域１０２Ａのサイズと右領域１０２Ｂのサイズは、いずれもディスプレイ１０２の２分の１である。このため、左領域１０２Ａと右領域１０２Ｂのそれぞれに表示される画像のサイズは、図６の画面例に比して小さくなる。
一方で、左領域１０２Ａの画像に重ねて表示されるＡＲコンテンツの数と右領域１０２Ｂの画像に重ねて表示されるＡＲコンテンツの数は、いずれも図６に比して少なく済む。結果的に、ＡＲコンテンツどうしの重なりが低減され、視認性が改善される。
【0047】
図８の場合、ＡＲコンテンツの視認性は、図６の場合に比して改善されているが、注目するＡＲコンテンツの視認性をより改善したい場合が考えられる。
図９は、同一の画像が表示される２つの領域のサイズを変更する例を説明する図である。図９には、図８との対応部分に対応する符号を付して示している。
図９は、同一の画像が表示される２つの領域のサイズを変更する例を説明する図である。図９には、図８との対応部分に対応する符号を付して示している。
【0048】
図９に示す画面例では、左領域１０２Ａと右領域１０２Ｂの境界を指先で右方向に移動させている。このため、左領域１０２Ａのサイズが図８の場合よりも広くなり、反対に右領域１０２Ｂのサイズが図８の場合よりも狭くなっている。
図９の場合、左領域１０２Ａ側ではＡＲコンテンツどうしの重なりが解消され、視認性が一段と改善する。図９におけるＡＲコンテンツの視認性の改善は、図６との比較からも明らかである。
図９の場合、右領域１０２Ｂ側はサイズが狭まるため、ＡＲコンテンツの視認性が図６に比して低下する可能性があるが、ユーザが観察する領域ではないので影響は少ない。
図９の場合、左領域１０２Ａ側ではＡＲコンテンツどうしの重なりが解消され、視認性が一段と改善する。図９におけるＡＲコンテンツの視認性の改善は、図６との比較からも明らかである。
図９の場合、右領域１０２Ｂ側はサイズが狭まるため、ＡＲコンテンツの視認性が図６に比して低下する可能性があるが、ユーザが観察する領域ではないので影響は少ない。
【0049】
＜画面例３＞
図１０は、ＡＲコンテンツに広告を含める設定の場合の画面例を説明する図である。図１０には、図８との対応部分に対応する符号を付して示している。
図１０の場合も、ディスプレイ１０２には、左右２つの領域のそれぞれにＡＲコンテンツが表示される。図１０の場合、左領域１０２Ａには飲食に関連するＡＲコンテンツが選択的に表示され、右領域１０２Ｂには不動産に関連するＡＲコンテンツが選択的に表示されている。
図１０は、ＡＲコンテンツに広告を含める設定の場合の画面例を説明する図である。図１０には、図８との対応部分に対応する符号を付して示している。
図１０の場合も、ディスプレイ１０２には、左右２つの領域のそれぞれにＡＲコンテンツが表示される。図１０の場合、左領域１０２Ａには飲食に関連するＡＲコンテンツが選択的に表示され、右領域１０２Ｂには不動産に関連するＡＲコンテンツが選択的に表示されている。
【0050】
図１０に示す左領域１０２Ａには、メニューに関する情報が追加されている。メニューの情報が追加されることで、ユーザは、店名や料理の種類だけでなく、メニューの視認が可能になる。
図１０に示す右領域１０２Ｂには、取り扱う物件の情報や広告に関する情報が追加されている。広告の情報が追加されることで、ユーザは、店名だけでなく、各店の特色に関する情報の確認が可能になる。
図１０に示す右領域１０２Ｂには、取り扱う物件の情報や広告に関する情報が追加されている。広告の情報が追加されることで、ユーザは、店名だけでなく、各店の特色に関する情報の確認が可能になる。
【0051】
なお、ＡＲコンテンツとして表示されるメニューや広告の内容は、ＡＲサーバ２０に登録されている。
これらの情報の登録には、店舗側が事前に登録する場合、ＡＲサービスの提供者が事前に登録する場合、ＡＲサービスのユーザが登録する場合、インターネット上から収集される場合等がある。
これらの情報の登録には、店舗側が事前に登録する場合、ＡＲサービスの提供者が事前に登録する場合、ＡＲサービスのユーザが登録する場合、インターネット上から収集される場合等がある。
【0052】
＜画面例４＞
図１１は、２つの領域に表示されるＡＲコンテンツが撮像方向の距離で設定される場合の画面例を説明する図である。図１１には、図８との対応部分に対応する符号を付して示している。
図１１の場合も、ディスプレイ１０２には、左右２つの領域のそれぞれにＡＲコンテンツが表示される。
図１１は、２つの領域に表示されるＡＲコンテンツが撮像方向の距離で設定される場合の画面例を説明する図である。図１１には、図８との対応部分に対応する符号を付して示している。
図１１の場合も、ディスプレイ１０２には、左右２つの領域のそれぞれにＡＲコンテンツが表示される。
【0053】
図１１の場合、左領域１０２Ａには携帯端末１０から１０ｍまでの範囲に位置する被写体に紐付けられているＡＲコンテンツが選択的に表示され、右領域１０２Ｂには携帯端末１０から１０ｍ以上の範囲に位置する被写体に紐付けられているＡＲコンテンツが選択的に表示されている。
図１１の場合、左領域１０２Ａには２つのビルのうち手前側に位置するビルに入居しているテナントに紐付けられているＡＲコンテンツが表示され、右領域１０２Ｂには２つのビルのうち奥側に位置するビルに入居しているテナントに紐付けられているＡＲコンテンツが表示されている。
図１１の場合、左領域１０２Ａには２つのビルのうち手前側に位置するビルに入居しているテナントに紐付けられているＡＲコンテンツが表示され、右領域１０２Ｂには２つのビルのうち奥側に位置するビルに入居しているテナントに紐付けられているＡＲコンテンツが表示されている。
【0054】
図１２は、ＡＲサービスの利用中に通信環境に変化があった場合の画面例を説明する図である。（Ａ）は通信速度が相対的に速い５Ｇによる通信が可能な場合を示し、（Ｂ）は通信速度が相対的に遅い４Ｇによる通信が可能な場合を示す。
大容量のデータを送受してもユーザに遅延を感じさせない５Ｇによる通信が可能な場合、携帯端末１０の左右２つの領域には、カメラ１０６（図２参照）で撮像された画像と、各領域に対応するＡＲコンテンツが遅滞なく表示される。
大容量のデータを送受してもユーザに遅延を感じさせない５Ｇによる通信が可能な場合、携帯端末１０の左右２つの領域には、カメラ１０６（図２参照）で撮像された画像と、各領域に対応するＡＲコンテンツが遅滞なく表示される。
【0055】
一方で、５Ｇによる通信から４Ｇによる通信に切り替わると、携帯端末１０は、１つの領域にＡＲコンテンツを表示するモードに切り替わる。また、携帯端末１０は、表示されるＡＲコンテンツの数も制限する。
表示されるＡＲコンテンツの数に制限を設けることで、撮像されている画像に対するＡＲコンテンツの表示の追従性を改善する。
表示されるＡＲコンテンツの数に制限を設けることで、撮像されている画像に対するＡＲコンテンツの表示の追従性を改善する。
【0056】
４Ｇによる通信の場合、ディスプレイ１０２に表示されるＡＲコンテンツの数は、予め定めた閾値以下に制限される。もっとも、閾値は、ユーザが個別に定めてもよい。また、表示されるＡＲコンテンツの数を制限する閾値は、表示されるＡＲコンテンツの内容に応じて異なってもよい。
表示するＡＲコンテンツの数は、予め設定されていてもよいし、ユーザが設定してもよい。
また、４Ｇによる通信への切り替え後に表示するＡＲコンテンツの情報は、ランダムに変更してもよいし、種類毎に１つに制限してもよいし、特定の種類に限定してもよい。これらの選択についてもユーザによる設定が可能である。
表示するＡＲコンテンツの数は、予め設定されていてもよいし、ユーザが設定してもよい。
また、４Ｇによる通信への切り替え後に表示するＡＲコンテンツの情報は、ランダムに変更してもよいし、種類毎に１つに制限してもよいし、特定の種類に限定してもよい。これらの選択についてもユーザによる設定が可能である。
【0057】
＜画面例５＞
図１３は、ＡＲコンテンツをユーザが編集する場合に使用する画面例を説明する図である。（Ａ）は被写体に対するコメントの編集に用いる画面（以下「編集画面」という）の例を示し、（Ｂ）は被写体上の特定の位置にコメントを紐付ける操作の例を示す。
ここでの編集には、新規の登録も含まれる。図１３に示す画面は、例えばディスプレイ１０２に表示されている特定の被写体を長押しすることで表示される。図１３では、ディスプレイ１０２に表示されている画像の中からコーヒーショップの画像が編集の対象に指定されている。
編集画面では、ディスプレイ１０２の左領域１０２Ａにコメントの入力を受け付ける画面が表示され、右領域１０２Ｂに紐付けの対象である被写体の拡大画像が表示される。編集画面は、被写体に紐付けるＡＲコンテンツの設定に用いる情報の一例である。
図１３は、ＡＲコンテンツをユーザが編集する場合に使用する画面例を説明する図である。（Ａ）は被写体に対するコメントの編集に用いる画面（以下「編集画面」という）の例を示し、（Ｂ）は被写体上の特定の位置にコメントを紐付ける操作の例を示す。
ここでの編集には、新規の登録も含まれる。図１３に示す画面は、例えばディスプレイ１０２に表示されている特定の被写体を長押しすることで表示される。図１３では、ディスプレイ１０２に表示されている画像の中からコーヒーショップの画像が編集の対象に指定されている。
編集画面では、ディスプレイ１０２の左領域１０２Ａにコメントの入力を受け付ける画面が表示され、右領域１０２Ｂに紐付けの対象である被写体の拡大画像が表示される。編集画面は、被写体に紐付けるＡＲコンテンツの設定に用いる情報の一例である。
【0058】
図１３では、被写体の種別として「コーヒーショップ」が入力され、追加の情報として「焙煎にこだわり」とのコメントが入力されている。
本実施の形態の場合、入力されたコメントは、被写体全体に紐付けられるのではなく、被写体の特定の位置に紐付けることが可能である。図１３の例では、矢印で示したように、○印をコーヒーショップの入り口のドアにドラッグ＆ドロップしている。なお、右側の窓に○印をドラッグ＆ドロップすることも可能であるし、屋根に○印をドラッグ＆ドロップすることも可能である。
携帯端末１０で入力された被写体に対するコメントやコメントを紐付ける位置の情報は、携帯端末１０からＡＲサーバ２０に通知され、記憶される。ここでのコメントが、ＡＲコンテンツとして、ＡＲサーバ２０から携帯端末１０に通知される。
本実施の形態の場合、入力されたコメントは、被写体全体に紐付けられるのではなく、被写体の特定の位置に紐付けることが可能である。図１３の例では、矢印で示したように、○印をコーヒーショップの入り口のドアにドラッグ＆ドロップしている。なお、右側の窓に○印をドラッグ＆ドロップすることも可能であるし、屋根に○印をドラッグ＆ドロップすることも可能である。
携帯端末１０で入力された被写体に対するコメントやコメントを紐付ける位置の情報は、携帯端末１０からＡＲサーバ２０に通知され、記憶される。ここでのコメントが、ＡＲコンテンツとして、ＡＲサーバ２０から携帯端末１０に通知される。
【0059】
ところで、１つの被写体に対して複数のＡＲコンテンツが登録される場合、複数のＡＲコンテンツが携帯端末１０で重なって表示されると、ユーザの視認性が低下される。
そこで、本実施の形態では、携帯端末１０にＡＲコンテンツの視認性を高めるための機能も用意する。
図１４は、１つの被写体に紐付けられているＡＲコンテンツが複数存在する場合にＡＲコンテンツの視認性を高める処理の例を説明するフローチャートである。図１４に示す処理は、携帯端末１０（図１参照）のＣＰＵ１０１（図２参照）が実行する。なお、図中に示す記号のＳはステップを表している。
そこで、本実施の形態では、携帯端末１０にＡＲコンテンツの視認性を高めるための機能も用意する。
図１４は、１つの被写体に紐付けられているＡＲコンテンツが複数存在する場合にＡＲコンテンツの視認性を高める処理の例を説明するフローチャートである。図１４に示す処理は、携帯端末１０（図１参照）のＣＰＵ１０１（図２参照）が実行する。なお、図中に示す記号のＳはステップを表している。
【0060】
ＣＰＵ１０１は、ＡＲサーバ２０（図１参照）からＡＲコンテンツを取得する場合、同じ被写体に紐付けられたＡＲコンテンツが複数か否かを判定する（ステップ２１）。本実施の形態の場合、ここでのＡＲコンテンツは、情報を編集したユーザを区別しない。換言すると、ＡＲコンテンツの編集に用いた携帯端末１０が同じであることを要求しない。
本実施の形態の場合、ＡＲサービスを利用するユーザにより登録されたＡＲコンテンツは、同じサービスを利用する複数人のユーザにより共有される。もっとも、表示されるＡＲコンテンツは、ユーザ毎に管理され、他のユーザが編集したＡＲコンテンツは表示されないようにしてもよい。
本実施の形態の場合、ＡＲサービスを利用するユーザにより登録されたＡＲコンテンツは、同じサービスを利用する複数人のユーザにより共有される。もっとも、表示されるＡＲコンテンツは、ユーザ毎に管理され、他のユーザが編集したＡＲコンテンツは表示されないようにしてもよい。
【0061】
ステップ２１で肯定結果が得られた場合、ＣＰＵ１０１は、ＡＲコンテンツの表示が画面上で重ならないように配置を修正して表示する（ステップ２２）。この処理により、ＡＲコンテンツの視認性が向上される。なお、配置の修正は、携帯端末１０が備えるディスプレイ１０２のサイズに依存する。サイズが大きいほど、ＡＲコンテンツの重なりの低減が容易になる。
なお、１つの被写体に紐付けられているＡＲコンテンツが０（ゼロ）か１つだけの場合、ＣＰＵ１０１は、ステップ２１で否定結果を得る。この場合、ＣＰＵ１０１は、ＡＲコンテンツの配置を修正しない。
なお、１つの被写体に紐付けられているＡＲコンテンツが０（ゼロ）か１つだけの場合、ＣＰＵ１０１は、ステップ２１で否定結果を得る。この場合、ＣＰＵ１０１は、ＡＲコンテンツの配置を修正しない。
【0062】
＜実施の形態２＞
＜システム及び装置の構成例＞
図１５は、実施の形態２で想定するＡＲサービスで使用するネットワークシステム１Ａの構成例を示す図である。図１５には、図１との対応部分に対応する符号を付して示している。
本実施の形態におけるネットワークシステム１Ａでは、表示面の変形が可能な携帯端末１０ＡがＡＲサーバ２０に接続される。
＜システム及び装置の構成例＞
図１５は、実施の形態２で想定するＡＲサービスで使用するネットワークシステム１Ａの構成例を示す図である。図１５には、図１との対応部分に対応する符号を付して示している。
本実施の形態におけるネットワークシステム１Ａでは、表示面の変形が可能な携帯端末１０ＡがＡＲサーバ２０に接続される。
【0063】
図１６は、実施の形態２で使用する携帯端末１０Ａの外観構成の一例を説明する図である。（Ａ）は携帯端末１０Ａを正面から見た図であり、（Ｂ）は携帯端末１０Ａを側面から見た図である。
携帯端末１０Ａの本体１１は、２つの本体パネル１１Ａ及び１１Ｂとヒンジ１２を有している。２つの本体パネル１１Ａ及び１１Ｂは、ヒンジ１２を介して互いに連結されている。ヒンジ１２は、曲げ部の一例である。ヒンジ１２は、ディスプレイ１０２の長辺方向を２分する位置に設けられている。図１６の場合、ディスプレイ１０２の長辺方向はｙ軸の方向であり、短辺方向はｘ軸方向である。
携帯端末１０Ａの本体１１は、２つの本体パネル１１Ａ及び１１Ｂとヒンジ１２を有している。２つの本体パネル１１Ａ及び１１Ｂは、ヒンジ１２を介して互いに連結されている。ヒンジ１２は、曲げ部の一例である。ヒンジ１２は、ディスプレイ１０２の長辺方向を２分する位置に設けられている。図１６の場合、ディスプレイ１０２の長辺方向はｙ軸の方向であり、短辺方向はｘ軸方向である。
【0064】
本実施の形態では、曲げ部の一例としてヒンジ１２を例示するが、プラスチック、樹脂、ゴム等の変形可能な素材、可動部品で構成される連結金具等でもよい。
本実施の形態で使用するヒンジ１２は、ディスプレイ１０２が設けられている面を尾根側とする折り曲げ変形が可能である。また、本実施の形態で使用するディスプレイ１０２とフィルムセンサ１０３は、いずれも折り曲げ変形が可能な素材で構成されている。ディスプレイ１０２とフィルムセンサ１０３は、例えばフィルム状のプラスチック基板に形成される。
本実施の形態で使用するヒンジ１２は、ディスプレイ１０２が設けられている面を尾根側とする折り曲げ変形が可能である。また、本実施の形態で使用するディスプレイ１０２とフィルムセンサ１０３は、いずれも折り曲げ変形が可能な素材で構成されている。ディスプレイ１０２とフィルムセンサ１０３は、例えばフィルム状のプラスチック基板に形成される。
【0065】
図１７は、実施の形態２で使用する携帯端末１０Ａの折り曲げ変形を説明する図である。（Ａ）は折り曲げ変形後の携帯端末１０Ａの外観例を示し、（Ｂ）は折り曲げ変形前の携帯端末１０Ａの外観例を示す。
本実施の形態では、携帯端末１０Ａの外観形状の変形を、図７に示すＡＲコンテンツの表示の設定に対応付ける。
具体的には、携帯端末１０Ａを広げた形状を、１つの領域にＡＲコンテンツを表示するモードに対応付け、携帯端末１０Ａを２つに折り畳んだ形状を、２つの領域にＡＲコンテンツを表示するモードに対応付ける。
本実施の形態の場合、ディスプレイ１０２のうちヒンジ１２の位置を堺として、左側が左領域１０２Ａであり、右側が右領域１０２Ｂである。
本実施の形態では、携帯端末１０Ａの外観形状の変形を、図７に示すＡＲコンテンツの表示の設定に対応付ける。
具体的には、携帯端末１０Ａを広げた形状を、１つの領域にＡＲコンテンツを表示するモードに対応付け、携帯端末１０Ａを２つに折り畳んだ形状を、２つの領域にＡＲコンテンツを表示するモードに対応付ける。
本実施の形態の場合、ディスプレイ１０２のうちヒンジ１２の位置を堺として、左側が左領域１０２Ａであり、右側が右領域１０２Ｂである。
【0066】
図１８は、実施の形態２で使用する携帯端末１０Ａのハードウェア構成の一例を説明する図である。図１８には、図２との対応部分に対応する符号を付して示している。
図１８に示す携帯端末１０Ａには、ヒンジ角センサ１１２が追加されている。ヒンジ角センサ１１２は、本体１１（図１７参照）がヒンジ１２を中心に変形される場合における本体パネル１１Ａと本体パネル１１Ｂとが成す角に関する情報を出力する。換言すると、ヒンジ角センサ１１２は、折り曲げ角度を出力する。なお、折り曲げ角度を表す情報として、ヒンジ１２を構成する歯車の回転数や回転角等を出力してもよい。
図１８に示す携帯端末１０Ａには、ヒンジ角センサ１１２が追加されている。ヒンジ角センサ１１２は、本体１１（図１７参照）がヒンジ１２を中心に変形される場合における本体パネル１１Ａと本体パネル１１Ｂとが成す角に関する情報を出力する。換言すると、ヒンジ角センサ１１２は、折り曲げ角度を出力する。なお、折り曲げ角度を表す情報として、ヒンジ１２を構成する歯車の回転数や回転角等を出力してもよい。
【0067】
【0068】
＜画面例１＞
図１９は、携帯端末１０Ａの変形と表示される画面の変化を説明する図である。（Ａ）は、ディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）は、ディスプレイ１０２を広げた状態の画面例を示す。
図１９（Ａ）の形状は図１７（Ａ）の形状に対応し、図１９（Ｂ）の形状は図１７（Ｂ）の形状に対応する。
図１９に示す例は、ＡＲサービスを利用しない場合の表示面の変化を表している。図１９の場合、ディスプレイ１０２に表示される画像のサイズは、ユーザに視認される表示面の面積に応じて変化している。具体的には、折り畳まれた状態における画像のサイズは、広げた状態における画像のサイズよりも小さくなる。換言すると、ディスプレイ１０２を広げることで表示面は拡大され、反対にディスプレイ１０２を折り畳むことで表示面は縮小される。この画面例の場合、携帯端末１０Ａの変形に伴う変化は画像のサイズだけである。
図１９は、携帯端末１０Ａの変形と表示される画面の変化を説明する図である。（Ａ）は、ディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）は、ディスプレイ１０２を広げた状態の画面例を示す。
図１９（Ａ）の形状は図１７（Ａ）の形状に対応し、図１９（Ｂ）の形状は図１７（Ｂ）の形状に対応する。
図１９に示す例は、ＡＲサービスを利用しない場合の表示面の変化を表している。図１９の場合、ディスプレイ１０２に表示される画像のサイズは、ユーザに視認される表示面の面積に応じて変化している。具体的には、折り畳まれた状態における画像のサイズは、広げた状態における画像のサイズよりも小さくなる。換言すると、ディスプレイ１０２を広げることで表示面は拡大され、反対にディスプレイ１０２を折り畳むことで表示面は縮小される。この画面例の場合、携帯端末１０Ａの変形に伴う変化は画像のサイズだけである。
【0069】
＜画面例２＞
図２０は、携帯端末１０Ａの変形にＡＲコンテンツの表示と非表示を関連付ける場合を説明する図である。（Ａ）は、ディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイ１０２を展開した状態の画面例を示す。
図２０の場合、ディスプレイ１０２が半分に折り畳まれると、ＡＲコンテンツは表示されない。一方、ディスプレイ１０２が展開されると、ＡＲコンテンツが表示される。換言すると、表示面が半減する状態では、ＡＲサービスの利用中でも、カメラ１０６（図２参照）で撮像された画像だけが表示される。一方、表示面の全域が使用可能な状態では、ＡＲコンテンツが表示される。図２０の場合、手前側のビルにはＡＲコンテンツとしてＡＲ１が表示され、奥側のビルにはＡＲコンテンツとしてＡＲ２が表示されている。
図２０は、携帯端末１０Ａの変形にＡＲコンテンツの表示と非表示を関連付ける場合を説明する図である。（Ａ）は、ディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイ１０２を展開した状態の画面例を示す。
図２０の場合、ディスプレイ１０２が半分に折り畳まれると、ＡＲコンテンツは表示されない。一方、ディスプレイ１０２が展開されると、ＡＲコンテンツが表示される。換言すると、表示面が半減する状態では、ＡＲサービスの利用中でも、カメラ１０６（図２参照）で撮像された画像だけが表示される。一方、表示面の全域が使用可能な状態では、ＡＲコンテンツが表示される。図２０の場合、手前側のビルにはＡＲコンテンツとしてＡＲ１が表示され、奥側のビルにはＡＲコンテンツとしてＡＲ２が表示されている。
【0070】
＜画面例３＞
図２１は、携帯端末１０Ａの変形にＡＲコンテンツの表示と非表示を関連付ける場合を説明する図である。（Ａ）はディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイ１０２を展開した状態の画面例を示す。図２１には、図２０との対応部分に対応する符号を付して示している。
図２１に示す画面例は、ディスプレイ１０２の２つの領域にＡＲコンテンツを表示する場合を表している。
図２１は、携帯端末１０Ａの変形にＡＲコンテンツの表示と非表示を関連付ける場合を説明する図である。（Ａ）はディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイ１０２を展開した状態の画面例を示す。図２１には、図２０との対応部分に対応する符号を付して示している。
図２１に示す画面例は、ディスプレイ１０２の２つの領域にＡＲコンテンツを表示する場合を表している。
【0071】
図２１の場合、左領域には１０ｍまでの範囲に存在する被写体のＡＲコンテンツが表示され、右領域には１０ｍ以上の範囲に存在する被写体のＡＲコンテンツが表示されている。換言すると、左領域１０２Ａには手前側に位置するビルに入居しているテナントに紐付けられているＡＲコンテンツが表示され、右領域１０２Ｂには奥側に位置するビルに入居しているテナントに紐付けられているＡＲコンテンツが表示されている。
【0072】
＜画面例４＞
図２２は、携帯端末１０Ａの変形の遷移と表示される画面の変化を説明する図である。（Ａ）はディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイ１０２を展開した状態の画面例を示し、（Ｃ）は再び半分に折り畳んだ状態の画面例を示し、（Ｄ）は再び展開した状態の画面例を示す。
図２２（Ａ）から図２２（Ｂ）と、図２２（Ｂ）から図２２（Ｃ）への変化は、図２０（Ａ）から図２０（Ｂ）への変化と、図２０（Ｂ）から図２０（Ａ）への変化と同じである。図２２（Ｃ）から図２２（Ｄ）への変化は、図２１（Ａ）から図２１（Ｂ）への変化と同じである。
この例は、画面例２と画面例３の組み合わせであり、ディスプレイ１０２の１度目の展開か２度目の展開かで、表示のモードが切り替えられる場合を表している。
図２２は、携帯端末１０Ａの変形の遷移と表示される画面の変化を説明する図である。（Ａ）はディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイ１０２を展開した状態の画面例を示し、（Ｃ）は再び半分に折り畳んだ状態の画面例を示し、（Ｄ）は再び展開した状態の画面例を示す。
図２２（Ａ）から図２２（Ｂ）と、図２２（Ｂ）から図２２（Ｃ）への変化は、図２０（Ａ）から図２０（Ｂ）への変化と、図２０（Ｂ）から図２０（Ａ）への変化と同じである。図２２（Ｃ）から図２２（Ｄ）への変化は、図２１（Ａ）から図２１（Ｂ）への変化と同じである。
この例は、画面例２と画面例３の組み合わせであり、ディスプレイ１０２の１度目の展開か２度目の展開かで、表示のモードが切り替えられる場合を表している。
【0073】
図２３は、携帯端末１０Ａの変形の遷移と表示される画面の他の変化を説明する図である。（Ａ）はディスプレイ１０２を半分に折り畳んだ状態の画面例を示し、（Ｂ）はディスプレイ１０２を展開した状態の画面例を示し、（Ｃ）は再び半分に折り畳んだ状態の画面例を示し、（Ｄ）は再び展開した状態の画面例を示す。
図２３の場合、半分に折り畳んだ状態からの１度目の展開の場合と２度目の展開の場合とでＡＲコンテンツが表示される左右の関係が入れ替わっている。
図２３の場合、半分に折り畳んだ状態からの１度目の展開の場合と２度目の展開の場合とでＡＲコンテンツが表示される左右の関係が入れ替わっている。
【0074】
＜画面例５＞
図２４は、携帯端末１０Ａの変形を編集画面の表示に用いる画面例を説明する図である。（Ａ）はディスプレイ１０２を折り畳んだ状態を撮像された画像の表示に割り当てる例を示し、（Ｂ）はディスプレイ１０２の展開を編集画面の表示に割り当てる例を示す。図２４には、図１３との対応部分に対応する符号を付して示している。
図２４に示す画面例は、ディスプレイ１０２の変形を、編集画面の表示に用いる例である。なお、編集画面のレイアウトや編集の操作は、図１３の例と同じである。ただし、図２４の例では、紐付けられたＡＲコンテンツの画面例が右領域１０２Ｂに表示されている。
このように、ディスプレイ１０２の変形が可能な携帯端末１０Ａの場合には、その変形を表示モードの変更に用いることが可能である。なお、編集画面は、被写体に紐付けるＡＲコンテンツの設定に用いる情報の一例である。
図２４は、携帯端末１０Ａの変形を編集画面の表示に用いる画面例を説明する図である。（Ａ）はディスプレイ１０２を折り畳んだ状態を撮像された画像の表示に割り当てる例を示し、（Ｂ）はディスプレイ１０２の展開を編集画面の表示に割り当てる例を示す。図２４には、図１３との対応部分に対応する符号を付して示している。
図２４に示す画面例は、ディスプレイ１０２の変形を、編集画面の表示に用いる例である。なお、編集画面のレイアウトや編集の操作は、図１３の例と同じである。ただし、図２４の例では、紐付けられたＡＲコンテンツの画面例が右領域１０２Ｂに表示されている。
このように、ディスプレイ１０２の変形が可能な携帯端末１０Ａの場合には、その変形を表示モードの変更に用いることが可能である。なお、編集画面は、被写体に紐付けるＡＲコンテンツの設定に用いる情報の一例である。
【0075】
＜実施の形態３＞
前述の実施の形態では、ディスプレイが本体の片面側に１枚だけ配置される場合について説明した。本実施の形態では、本体の表面と裏面の両方にディスプレイが配置される場合について説明する。
図２５は、実施の形態３で使用する携帯端末１０Ｂの外観構成の一例を説明する図である。（Ａ）は携帯端末１０Ｂを正面から見た図であり、（Ｂ）は携帯端末１０Ｂを側面から見た図である。図２５には、図１６との対応部分に対応する符号を付して示している。
前述の実施の形態では、ディスプレイが本体の片面側に１枚だけ配置される場合について説明した。本実施の形態では、本体の表面と裏面の両方にディスプレイが配置される場合について説明する。
図２５は、実施の形態３で使用する携帯端末１０Ｂの外観構成の一例を説明する図である。（Ａ）は携帯端末１０Ｂを正面から見た図であり、（Ｂ）は携帯端末１０Ｂを側面から見た図である。図２５には、図１６との対応部分に対応する符号を付して示している。
【0076】
本実施の形態で使用する携帯端末１０Ｂは、本体１１の正面側にメインのディスプレイ１０２が配置され、本体１１の裏面側にサブのディスプレイ１０２Ｃが配置されている。サブのディスプレイ１０２Ｃのサイズは、メインのディスプレイ１０２のサイズの約半分である。
本実施の形態で使用する携帯端末１０Ｂのディスプレイ１０２も、実施の形態２で使用する携帯端末１０Ａのディスプレイ１０２と同じく、変形が可能である。ただし、本実施の形態における携帯端末１０Ｂは、メインのディスプレイ１０２が設けられている面が谷側となるように折り畳まれる。すなわち、ヒンジ１２Ａが動作する方向は、実施の形態２で用いたヒンジ１２とは動作の方向が反対である。
本実施の形態で使用する携帯端末１０Ｂのディスプレイ１０２も、実施の形態２で使用する携帯端末１０Ａのディスプレイ１０２と同じく、変形が可能である。ただし、本実施の形態における携帯端末１０Ｂは、メインのディスプレイ１０２が設けられている面が谷側となるように折り畳まれる。すなわち、ヒンジ１２Ａが動作する方向は、実施の形態２で用いたヒンジ１２とは動作の方向が反対である。
【0077】
本実施の形態の場合、メインのディスプレイ１０２を谷側として折り畳まれる。このため、携帯端末１０Ｂが折り畳まれると、サブのディスプレイ１０２Ｃだけが外部から観察可能な状態になる。このため、携帯端末１０Ｂが折り畳まれた状態では、サブのディスプレイ１０２Ｃにだけ画像が表示される。
図２６は、実施の形態３で使用する携帯端末１０Ｂの折り曲げ変形を説明する図である。（Ａ）は折り曲げ変形後の携帯端末１０Ｂの外観例を示し、（Ｂ）は折り曲げ変形前の携帯端末１０Ｂの外観例を示す。
本実施の形態の場合、携帯端末１０Ｂを折り畳んだ状態では、サブのディスプレイ１０２Ｃにのみ画像が表示される。一方、携帯端末１０Ｂを展開した状態では、メインのディスプレイ１０２にのみ画像が表示される。
図２６は、実施の形態３で使用する携帯端末１０Ｂの折り曲げ変形を説明する図である。（Ａ）は折り曲げ変形後の携帯端末１０Ｂの外観例を示し、（Ｂ）は折り曲げ変形前の携帯端末１０Ｂの外観例を示す。
本実施の形態の場合、携帯端末１０Ｂを折り畳んだ状態では、サブのディスプレイ１０２Ｃにのみ画像が表示される。一方、携帯端末１０Ｂを展開した状態では、メインのディスプレイ１０２にのみ画像が表示される。
【0078】
本実施の形態の場合も、携帯端末１０Ｂの変形に、実施の形態２で説明した携帯端末１０Ａ（図１７参照）の表示を対応付けることが可能である。
具体的には、携帯端末１０Ａを折り畳んだ状態における表示をサブのディスプレイ１０２Ｃの表示に対応付け、携帯端末１０Ａを展開した状態における表示をメインのディスプレイ１０２の表示に対応付けることが可能である。
具体的には、携帯端末１０Ａを折り畳んだ状態における表示をサブのディスプレイ１０２Ｃの表示に対応付け、携帯端末１０Ａを展開した状態における表示をメインのディスプレイ１０２の表示に対応付けることが可能である。
【0079】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【0080】
（１）前述の実施の形態においては、ＡＲコンテンツが画像の場合について説明した。しかし、ＡＲコンテンツに音を用いてもよい。例えば被写体に応じた効果音や説明音を付加してもよい。また、カメラ１０６で撮像された画像内の被写体に紐付けて表示する情報として、ＡＲコンテンツに代えてＭＲコンテンツを付加してもよい。
ＭＲコンテンツは、拡張現実よりも現実世界との融合の度合が高い複合現実（MR: Mixed Reality）を作り出す情報である。複合現実では、ＭＲコンテンツが現実世界の物体と同じように現実の空間内に紐付けられるため、複数人のユーザが同時刻に複数の方向からＭＲコンテンツを認識することが可能である。ＭＲコンテンツには、例えば看板、交通標識、案内板が含まれる。ＭＲコンテンツには、現実世界の物体と同じく、観察位置に応じた画像の情報が含まれる。
ＭＲコンテンツは、拡張現実よりも現実世界との融合の度合が高い複合現実（MR: Mixed Reality）を作り出す情報である。複合現実では、ＭＲコンテンツが現実世界の物体と同じように現実の空間内に紐付けられるため、複数人のユーザが同時刻に複数の方向からＭＲコンテンツを認識することが可能である。ＭＲコンテンツには、例えば看板、交通標識、案内板が含まれる。ＭＲコンテンツには、現実世界の物体と同じく、観察位置に応じた画像の情報が含まれる。
【0081】
（２）前述の実施の形態では、ＡＲサーバ２０（図１参照）が実行すると説明した処理の一部又は全部を携帯端末１０（図１参照）、１０Ａ（図１５参照）、１０Ｂ（図２５参照）で実行してもよい。その場合の携帯端末１０等は情報処理装置の一例である。
同様に、携帯端末１０等で実行すると説明した処理の一部または全部をＡＲサーバ２０で実行させてもよい。
同様に、携帯端末１０等で実行すると説明した処理の一部または全部をＡＲサーバ２０で実行させてもよい。
【0082】
（３）前述の実施の形態では、携帯端末１０Ａが変形可能な１枚のディスプレイ１０２（図１７参照）を有する場合について説明した。しかし、ディスプレイ１０２は、複数枚のパネルで構成されていてもよい。
図２７は、他の実施の形態で使用する携帯端末１０Ｃの外観構成の一例を説明する図である。（Ａ）は携帯端末１０Ｃを正面から見た図であり、（Ｂ）は携帯端末１０Ｃを側面から見た図である。図２７には、図１６との対応する部分に対応する符号を付して示している。携帯端末１０Ｃも情報処理装置の一例である。
図２７は、他の実施の形態で使用する携帯端末１０Ｃの外観構成の一例を説明する図である。（Ａ）は携帯端末１０Ｃを正面から見た図であり、（Ｂ）は携帯端末１０Ｃを側面から見た図である。図２７には、図１６との対応する部分に対応する符号を付して示している。携帯端末１０Ｃも情報処理装置の一例である。
【0083】
図２７に示す携帯端末１０Ｃは、２枚のディスプレイ１０２により表示面が構成される。これら２枚のディスプレイ１０２には、連続した１枚の画像の表示が可能である。２枚のディスプレイ１０２は、左領域１０２Ａ及び１０２Ｂにそれぞれ対応する。
携帯端末１０Ｃの場合、２つの本体パネル１１Ａ及び１１Ｂがヒンジ１３に対して両方向に回転可能に取り付けられている。ヒンジ１３には、２つの本体パネル１１Ａを両方向に回転自在に取り付ける回転軸と、本体パネル１１Ｂを両方向に回転自在に取り付ける回転軸とが内蔵されている。このため、２枚のディスプレイ１０２を内側に折り畳むことも、２枚のディスプレイ１０２を外側に折り畳むことも可能である。
本実施の形態で使用する本体パネル１１Ａ、本体パネル１１Ｂ、ディスプレイ１０２は、いずれも剛性が高く、それ自体は変形しない。
携帯端末１０Ｃの場合、２つの本体パネル１１Ａ及び１１Ｂがヒンジ１３に対して両方向に回転可能に取り付けられている。ヒンジ１３には、２つの本体パネル１１Ａを両方向に回転自在に取り付ける回転軸と、本体パネル１１Ｂを両方向に回転自在に取り付ける回転軸とが内蔵されている。このため、２枚のディスプレイ１０２を内側に折り畳むことも、２枚のディスプレイ１０２を外側に折り畳むことも可能である。
本実施の形態で使用する本体パネル１１Ａ、本体パネル１１Ｂ、ディスプレイ１０２は、いずれも剛性が高く、それ自体は変形しない。
【0084】
（４）前述の実施の形態では、本体パネル１１Ａ（図１６参照）及び本体パネル１１Ｂ（図１６参照）をヒンジ１２（図１６参照）等で連結することにより表示面を複数の形状に変形可能としているが、表示面の変形は他の手法でも可能である。
図２８は、２つの本体パネル１１Ｃ及び１１Ｄが上下２段に配置される携帯端末１０Ｄにおける表示面のサイズの変化を説明する図である。（Ａ）は本体パネル１１Ｄが他方の本体パネル１１Ｃの下に収納されている状態を示し、（Ｂ）は本体パネル１１Ｃの下から他方の本体パネル１１Ｄの一部が引き出された状態を示し、（Ｃ）は他方の本体パネル１１Ｄの全体が引き出された状態を示している。
図２８は、２つの本体パネル１１Ｃ及び１１Ｄが上下２段に配置される携帯端末１０Ｄにおける表示面のサイズの変化を説明する図である。（Ａ）は本体パネル１１Ｄが他方の本体パネル１１Ｃの下に収納されている状態を示し、（Ｂ）は本体パネル１１Ｃの下から他方の本体パネル１１Ｄの一部が引き出された状態を示し、（Ｃ）は他方の本体パネル１１Ｄの全体が引き出された状態を示している。
【0085】
図２８に示す携帯端末１０Ｄの場合、本体パネル１１Ｄを出し入れすることにより、表示面の形状を変形することが可能である。例えば本体パネル１１Ｄを本体パネル１１Ｃの下に収納すれば、表示面のサイズは１枚のディスプレイ１０２だけで定まるが、本体パネル１１Ｄを本体パネル１１Ｃから引き出せば、引き出した長さに応じて表示面のサイズの拡張が可能になる。なお、本体パネル１１Ｄの表面には別のディスプレイ１０２が配置されている。
【0086】
図２９は、引き出し型のディスプレイ１０２Ｅを有する携帯端末１０Ｅの外観例を説明する図である。
図２９に示す携帯端末１０Ｅは、表面にディスプレイ１０２Ｄが取り付けられた本体１１Ｅと、本体１１Ｅ内に巻取り可能に収納される変形可能なディスプレイ１０２Ｅと、ディスプレイ１０２Ｅの一端に取り付けられた取っ手１１Ｆとで構成される。
図２９に示す携帯端末１０Ｅの場合、取っ手１１Ｆを掴んでディスプレイ１０２Ｅを本体１１Ｅから引き出すことで表示面のサイズを拡張することが可能である。また、ディスプレイ１０２Ｅを本体１１Ｅ内に収納すると、表示面はディスプレイ１０２Ｄだけのサイズとなる。
図２９に示す携帯端末１０Ｅは、表面にディスプレイ１０２Ｄが取り付けられた本体１１Ｅと、本体１１Ｅ内に巻取り可能に収納される変形可能なディスプレイ１０２Ｅと、ディスプレイ１０２Ｅの一端に取り付けられた取っ手１１Ｆとで構成される。
図２９に示す携帯端末１０Ｅの場合、取っ手１１Ｆを掴んでディスプレイ１０２Ｅを本体１１Ｅから引き出すことで表示面のサイズを拡張することが可能である。また、ディスプレイ１０２Ｅを本体１１Ｅ内に収納すると、表示面はディスプレイ１０２Ｄだけのサイズとなる。
【0087】
（５）前述の実施の形態では、ディスプレイ１０２（図２参照）を複数の領域に分割し、各領域にＡＲコンテンツをそれぞれ表示したが、少なくとも１つの領域には、カメラ１０６（図２参照）で撮像された画像をＡＲコンテンツなしで表示してもよい。
図３０は、ＡＲコンテンツ付きの画像とＡＲコンテンツなしの画像を並べて表示するモードの例を説明する図である。図３０には、図１０との対応部分に対応する符号を付して示している。図３０の場合、左領域１０２Ａには、カメラ１０６で撮像された画像のみが表示され、右領域１０２Ｂには、カメラ１０６で撮像された画像と被写体に紐付けられているＡＲコンテンツとが表示されている。
この表示手法の場合、ＡＲコンテンツで隠れた部分にある本来の画像の確認が容易になる。
図３０は、ＡＲコンテンツ付きの画像とＡＲコンテンツなしの画像を並べて表示するモードの例を説明する図である。図３０には、図１０との対応部分に対応する符号を付して示している。図３０の場合、左領域１０２Ａには、カメラ１０６で撮像された画像のみが表示され、右領域１０２Ｂには、カメラ１０６で撮像された画像と被写体に紐付けられているＡＲコンテンツとが表示されている。
この表示手法の場合、ＡＲコンテンツで隠れた部分にある本来の画像の確認が容易になる。
【0088】
（６）前述した実施の形態では、カメラ１０６（図２参照）が携帯端末１０（図１参照）と一体である場合について説明したが、カメラ１０６は、携帯端末１０に対して着脱が可能でもよいし，ＷｉＦｉ等の無線通信により携帯端末１０との接続が可能でもよい。従って、カメラ１０６は、携帯端末１０での利用が可能であれば、例えば街中に設置されているライブカメラや防犯カメラでもよい。
【0089】
（７）前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
【符号の説明】
【0090】
１、１Ａ…ネットワークシステム、１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ…携帯端末、１１、１１Ｅ…本体、１１Ａ、１１Ｂ、１１Ｃ、１１Ｄ…本体パネル、１２、１２Ａ…ヒンジ、２０…ＡＲサーバ、１０２、１０２Ｃ、１０２Ｄ、１０２Ｅ…ディスプレイ、１０２Ａ…左領域、１０２Ｂ…右領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
