(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】装置、方法、プログラム、システム
(51)【国際特許分類】
H04L 67/02 20220101AFI20221213BHJP
G06T 7/00 20170101ALI20221213BHJP
【FI】
H04L67/02
G06T7/00 650Z
(21)【出願番号】P 2021116039
(22)【出願日】2021-07-14
(62)【分割の表示】P 2020055428の分割
【原出願日】2015-11-20
【審査請求日】2021-08-05
(31)【優先権主張番号】P 2014247212
(32)【優先日】2014-12-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】三井 聖
(72)【発明者】
【氏名】久志本 圭
(72)【発明者】
【氏名】西出 皓一
(72)【発明者】
【氏名】佐藤 智利
【審査官】大石 博見
(56)【参考文献】
【文献】特開2002-251396(JP,A)
【文献】特開2010-039583(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
H04L 67/02
(57)【特許請求の範囲】
【請求項1】
パノラマ画像と、前記パノラマ画像が撮影された際の撮影位置を含む図と、を記憶する記憶部を有し、
要求に基づいて、前記記憶部から該当するパノラマ画像の一部である一部画像と、前記該当するパノラマ画像の撮影位置を含む図と、を読み出し、
前記読み出された図には、前記該当するパノラマ画像が撮影された位置を示す図形が含まれており、
前記読み出された一部画像が表示される際の前記一部画像の表示範囲に対応する図形が、前記読み出された図に表示され、
前記読み出された図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形を、前記読み出された一部画像に表示することを特徴とする装置。
【請求項2】
複数の
撮影位置を示す図形
のうち、隣接した前記複数の撮影位置
を示す図形を結ぶ直線を、
前記読み出された図に表示することを特徴とする請求項1に記載の装置。
【請求項3】
前記直線は、前記一部画像の表示範囲に対応する図形の前面に表示される、請求項2に記載の装置。
【請求項4】
前記移動可能な方向を示す図形の先には、移動先の撮影位置があり、前記図形は前記移動先で撮影されたパノラマ画像が関連付いている、請求項1~3のいずれか1項に記載の装置。
【請求項5】
前記表示された移動可能な方向を示す図形を選択すると、現在表示されている一部画像から前記関連付いている移動先のパノラマ画像の一部である一部画像に切り替えて表示される、請求項4に記載の装置。
【請求項6】
前記読み出された図に前記撮影位置を示す複数の図形が含まれている場合に、前記移動可能な方向を示す図形は、任意の方向にのみ表示可能である、請求項1~5のいずれか1項に記載の装置。
【請求項7】
前記表示される前記一部画像の表示範囲に対応する図形は、強調して表示される、請求項1~6のいずれか1項に記載の装置。
【請求項8】
前記一部画像の表示範囲に対応する図形は、円における半径を示す2本の線と、その線の間にある円弧によって囲まれた扇型の図形である、請求項1~7のいずれか1項に記載の装置。
【請求項9】
前記一部画像の表示範囲に対応する図形は、前記読み出された図を構成する要素の前面に表示される 、請求項1~8のいずれか1項に記載の装置。
【請求項10】
パノラマ画像と、前記パノラマ画像が撮影された際の撮影位置を含む図と、を記憶する記憶部を有し、
前記記憶されたパノラマ画像を表示する際に、パノラマ画像と、パノラマ画像が撮影された位置を示す図形に基づいて表示画像を生成し、
前記表示画像は、前記パノラマ画像の一部である一部画像と、前記パノラマ画像の撮影位置を含む図で構成され、
前記表示画像は、
前記図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形が、前記一部画像に表示され、
前記一部画像が表示される際の前記一部画像の表示範囲に対応する図形が、前記図に表示され、
前記生成された表示画像を出力することを特徴とする装置。
【請求項11】
パノラマ画像と、前記パノラマ画像が撮影された撮影位置を含む図と、を記憶する記憶部から、要求に基づいて、該当するパノラマ画像の一部である一部画像と、前記該当するパノラマ画像の撮影位置を示す図と、を読み出し、
前記読み出された図には、前記該当するパノラマ画像が撮影された位置を示す図形が含まれており、
前記読み出された一部画像が表示される際の前記一部画像の表示範囲に対応する図形が、前記読み出された図に表示され、
前記読み出された図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形を、前記読み出された一部画像に表示することを特徴とする方法。
【請求項12】
複数の
撮影位置を示す図形
のうち、隣接した前記複数の撮影位置
を示す図形を結ぶ直線を、
前記読み出された図に表示することを特徴とする
請求項11に記載の方法。
【請求項13】
パノラマ画像と、前記パノラマ画像が撮影された際の撮影位置を含む図と、を記憶する記憶部に基づいて、
前記記憶されたパノラマ画像を表示する際に、パノラマ画像と、パノラマ画像が撮影された位置を示す図形に基づいて表示画像を生成し、
前記表示画像は、前記パノラマ画像の一部である一部画像と、前記パノラマ画像の撮影位置を含む図で構成され、
前記表示画像は、
前記図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形が、前記一部画像に表示され、
前記一部画像が表示される際の前記一部画像の表示範囲に対応する図形が、前記図に表示され、
前記生成された表示画像を出力することを特徴とする方法。
【請求項14】
装置で実行されるプログラムであって、
前記装置は、パノラマ画像と、前記パノラマ画像が撮影された際の撮影位置を含む図と、を記憶する記憶部を有し、
前記装置に、
要求に基づいて、前記記憶部から該当するパノラマ画像の一部である一部画像と、前記該当するパノラマ画像の撮影位置を含む図と、を読み出させ、
前記読み出された図には、前記該当するパノラマ画像が撮影された位置を示す図形が含まれており、
前記読み出された一部画像が表示される際の前記一部画像の表示範囲に対応する図形を、前記読み出された図に表示させ、
前記読み出された図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形を、前記読み出された一部画像に表示させることを特徴とするプログラム。
【請求項15】
複数の
撮影位置を示す図形
のうち、隣接した前記複数の撮影位置
を示す図形を結ぶ直線を、
前記読み出された図に表示することを特徴とする
請求項14に記載のプログラム。
【請求項16】
装置に、
パノラマ画像と、前記パノラマ画像が撮影された際の撮影位置を含む図と、を記憶する記憶部に基づいて、
前記記憶されたパノラマ画像を表示する際に、パノラマ画像と、パノラマ画像が撮影された位置を示す図形に基づいて表示画像を生成させ、
前記表示画像は、前記パノラマ画像の一部である一部画像と、前記パノラマ画像の撮影位置を含む図で構成され、
前記表示画像は、
前記図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形が、前記一部画像に表示され、
前記一部画像が表示される際の前記一部画像の表示範囲に対応する図形が、前記図に表示され、
前記生成された表示画像を出力させるプログラム。
【請求項17】
端末とサーバとを有するシステムであって、
前記サーバは、パノラマ画像と、前記パノラマ画像が撮影された撮影位置を含む図と、を記憶する記憶部を有し、
前記端末からの要求に基づいて、前記記憶部から該当するパノラマ画像の一部である一部画像と、前記該当するパノラマ画像の撮影位置を含む図と、を読み出し、
前記読み出された図には、前記該当するパノラマ画像が撮影された位置を示す図形が含まれており、
前記読み出された一部画像が前記端末により表示される際の前記一部画像の表示範囲に対応する図形が、前記読み出された図に表示され、
前記読み出された図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形を、前記読み出された一部画像に表示することを特徴とするシステム。
【請求項18】
複数の
撮影位置を示す図形
のうち、隣接した前記複数の撮影位置
を示す図形を結ぶ直線を、
前記読み出された図に表示することを特徴とする
請求項17に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、装置、方法、プログラム、及びシステムに関する。
【背景技術】
【0002】
ネットワークを利用した情報提供は主要なマーケティングの1つとなっており、Webページには多くの写真や動画が掲載されるようになった。Webページを閲覧した閲覧者はWebページのテーマや記述を考慮して掲載されている写真や動画を閲覧することで撮像された場所の風景や周囲の状況を把握できるようになっている。例えば、Webページのテーマが観光であれば、閲覧者はWebページに掲載された写真や動画は観光地のものであると考え、観光地の風景や周囲の状況を把握する。
【0003】
しかしながら、一般的なカメラでは撮像範囲が限られており、閲覧者は写真や動画が撮像された範囲でしか風景や周囲の状況などを把握できない。これに対し、魚眼カメラなどの画角が広いカメラで周囲が撮像されていれば、閲覧者は1枚の画像を閲覧するだけでより広い範囲の風景や周囲の状況を把握することができる(例えば、特許文献1参照。)。特許文献1には、魚眼光学装置を用いて撮像した画像をパノラマ画像に変換するパノラマ画像形成方法に関し、パノラマ画像の一部と撮像位置をマップ上に点で表示するパノラマ画像形成方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示されたパノラマ画像形成方法では、1つの魚眼レンズを採用しているため、撮像範囲として未だに制限される部分が多いという問題がある。また、撮像された写真や動画を閲覧者にどのように提供するかが考慮されていないという問題がある。
【0005】
本発明は、上記課題に鑑み、撮像範囲が広い写真や動画を容易に提供できる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、パノラマ画像と、前記パノラマ画像が撮影された際の撮影位置を含む図と、を記憶する記憶部を有し、要求に基づいて、前記記憶部から該当するパノラマ画像の一部である一部画像と、前記該当するパノラマ画像の撮影位置を含む図と、を読み出し、前記読み出された図には、前記該当するパノラマ画像が撮影された位置を示す図形が含まれており、前記読み出された一部画像が表示される際の前記一部画像の表示範囲に対応する図形が、前記読み出された図に表示され、前記読み出された図に複数のパノラマ画像が撮影された際の撮影位置を示す複数の図形が含まれている場合に、前記表示される一部画像の撮影位置から他の撮影位置に移動可能な方向を示す図形を、前記読み出された一部画像に表示することを特徴とする。
【発明の効果】
【0007】
撮像範囲が広い写真や動画を容易に提供できる技術を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】撮像者が行う動作を説明する図の一例である。
【
図2】コンテンツ利用企業によるWebページに対するコンテンツの設定方法を説明する図の一例である。
【
図3】コンテンツ利用企業のWebページにアクセスしたエンドユーザが閲覧するコンテンツの一例を示す図である。
【
図4】Webサービスシステムのシステム構成図の一例である。
【
図5】撮像装置の外観について説明する図の一例である。
【
図6】撮像装置のハードウェア構成図の一例である。
【
図7】携帯端末のハードウェア構成図の一例である。
【
図8】コンテンツ作成サーバのハードウェア構成図の一例である。
【
図9】撮像装置の撮像範囲を模式的に示す図の一例である。
【
図10】撮像装置が撮像する画像を説明する図の一例である。
【
図11】Webサービスシステムの機能ブロック図の一例である。
【
図12】WebページへのURIの埋め込みを説明する図の一例である。
【
図13】コンテンツ提供部による一部画像の送信を模式的に説明する図の一例である。
【
図14】マップへの全天球画像の埋め込みを模式的に説明する図の一例である。
【
図15】撮像装置が携帯端末に画像を送信する手順を示すシーケンス図の一例である。
【
図16】携帯端末が画像をコンテンツ作成サーバに送信する手順を示すシーケンス図の一例である。
【
図17】コンテンツとWebページの登録の手順を示すシーケンス図の一例である。
【
図18】ユーザPCがコンテンツを表示させる手順を示すシーケンス図の一例である。
【
図19】コンテンツ作成サーバの機能ブロック図の一例である(実施例2)。
【
図20】コンテンツ作成サーバがコンテンツを作成する手順を示すシーケンス図の一例である。
【
図21】プライバシー保護のための画像処理を説明する図の一例である。
【
図22】コンテンツ作成サーバの機能ブロック図の一例である(実施例3)。
【
図23】建築物の地図上の位置の特定方法を説明する図の一例である。
【
図24】被写体情報埋め込み部が全天球画像に被写体情報を埋め込む手順を示すフローチャート図の一例である。
【
図25】エンドユーザが建築物をマウスカーソルでクリックした場合に表示される被写体情報の一例を示す図である。
【
図26】ユーザPCで表示されるコンテンツの一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【実施例1】
【0010】
<本実施形態のWebサービスの概略>
まず、
図1~3を用いて、本実施形態のWebサービスの概略について説明する。
図1は、撮像者が行う動作を説明する図の一例である。
(1)撮像者8は周囲360度(以下、周囲全方位という)の撮像が可能な撮像装置11を把持して歩行する。撮像装置11は定期的又は一定距離ごとに周囲を撮像するように設定されており、撮像した画像(後述する全天球画像)を撮像位置と対応付けて蓄積する。したがって、撮像者8が歩行したルートに沿って画像が得られる。
(2)目的の場所まで歩行しルート上の撮像が終了すると、撮像者8はアクセスポイント9を介して複数の画像をコンテンツ作成サーバ12に送信する。
(3)コンテンツ作成サーバ12は、撮像者8が移動したルートを含むマップと画像を用いたコンテンツを作成してコンテンツ提供サーバ13に登録する。なお、後述する実施例では、撮像装置11から画像を受信した携帯端末がコンテンツ提供サーバ13に画像を送信する。
【0011】
図2は、コンテンツ利用企業によるWebページに対するコンテンツの設定方法を説明する図の一例である。
(4)コンテンツ作成サーバ12は後述するコンテンツを作成して登録し、コンテンツのURI(Uniform Resource Identifier)を、予め登録されているコンテンツ利用企業の担当者7に送信する。なお、(4)の点線に示すように画像の送信元の撮像者8に送信してもよい。
(5)コンテンツ利用企業の担当者7はコンテンツ利用企業PC(Personal Computer)15を操作して、自社のWebページ(例えばホームページ)のHTMLデータにコンテンツのURIを貼り付ける(例えば、コピー&ペーストする)。これにより、コンテンツ利用企業は撮像者8が歩行したルートに沿って撮像された周囲の画像を自社のWebページにリンクさせることができる。
(6)コンテンツ利用企業の担当者7は自社のWebサーバ14にWebページを登録する(送信する)。これにより、エンドユーザ6はコンテンツとリンクされたコンテンツ利用企業のWebページを閲覧できる。
(7)コンテンツ利用企業のWebページを閲覧するエンドユーザ6は、ユーザPC16を操作してコンテンツを表示させる。
【0012】
図3は、コンテンツ利用企業のWebページにアクセスしたエンドユーザ6が閲覧するコンテンツの一例を示す図である。コンテンツとしては主に周囲の画像61とマップ62が表示される。画像61は、撮像者8が撮像のために歩行したルート上の各撮像位置における周囲全方位の画像(全天球画像)である。なお、全天球画像は全天球パノラマ画像、全方位画像、周囲360度画像などと呼ばれてもよい。画像のうち一度に表示される範囲は全天球画像の一部なので、エンドユーザ6はユーザPC16を操作して全方位の画像を閲覧できる。また、マップ62には撮像者8が歩行したルート63が強調して表示される。ルート63には撮像位置64が明示されるので、エンドユーザ6はどの撮像位置64の画像を閲覧しているかを把握できる。
【0013】
したがって、エンドユーザ6は上記のルート63を実際に歩行しているかのような疑似体験をすることができる。また、マップ62にはルート63が強調して表示され、現在表示されている画像61の撮像位置64、これから表示される画像の撮像位置64をエンドユーザ6が一目で把握できるようになっている。また、エンドユーザ6はルート上の任意の位置の画像を表示させることもできる。
【0014】
このように本実施形態のWebサービスシステム100は、誰もが簡単に周囲全方位の空間を表現した臨場感あるコンテンツを作成して公開できる。エンドユーザ6に対し全方位のパノラマ画像を再生させてルート上を周遊している疑似体験を提供できる。
【0015】
<用語について>
・コンテンツ利用企業とは、コンテンツを用いてルートを紹介したい法人、自然人、団体又は個人等をいう。営利を目的とした企業である必要はない。
・Webサービスシステム100はコンテンツ利用企業に対し、コンテンツの作成及び公開を支援するサービスを提供する。
・ルート(経路又は経路情報の一例)としては、観光地の観光コース、登山やハイキングの歩行コース、マラソンの走行コース、駅からマンションなどの目的地までの行き方を案内するコース、テーマパーク内のアトラクションや施設への行き方を紹介するコース、ショッピングモールやデパート内の店舗を紹介するコース、などがある。しかしながら、人が歩行できる場所であれば本実施形態のルートとなりうる。
・エンドユーザ6は、コンテンツ利用企業が運営するWebページ(及びWebアプリ)を介してコンテンツを閲覧する閲覧者である。
・コンテンツとは、少なくとも複数の周囲全方位の画像を有し、これにマップ62及びルート63が含まれていてもよい。また、その他、撮像位置で集音された音声データを含んでいてもよい。
・リンク情報は、コンテンツをユーザPC16などの任意の情報処理端末がネットワークに接続されたリソースから取得するための情報である。本実施例ではリンク情報の一例としてURIを使用して説明する。URIはネットワーク上のリソースを識別するための情報であり、ネットワーク上のリソースの場所を特定する情報をURLという。URIの変わりにURL(Uniform Resource Locator)が用いられてもよい。
・公開情報は、ネットワークにおいて公開されておりユーザPC16などがアクセスできる情報をいう。本実施例ではWebページと称して説明する。Webページはインターネット上で公開されている文書である。Webページは予め用意されていてもWebアプリが動的に生成したものでもよい。WebページにはURIが埋め込まれる場合がある。
【0016】
<構成例>
図4は、Webサービスシステム100のシステム構成図の一例を示す。Webサービスシステム100は、ネットワーク18を介して通信可能な、コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14、撮像装置11、携帯端末17、コンテンツ利用企業PC15、及び、ユーザPC16を有している。
【0017】
ネットワーク18はLAN,WAN又はインターネットなどで構築される。主に有線で構築されるが一部又は全てを無線で構築されてもよい。また、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、CDMA又はLTE、などの携帯電話網を含んでいてもよい。
【0018】
上記のように、コンテンツ作成サーバ12は画像が用いられたコンテンツを作成するサーバであり、コンテンツ提供サーバ13はコンテンツをエンドユーザ6に提供するサーバである。Webサーバ14はコンテンツ利用企業が運営するサーバでありコンテンツ利用企業のWebページが登録されている。このWebページにはコンテンツ利用企業が公開する情報がHTMLやJavaScript(登録商標)などで記述されている。
【0019】
撮像装置11は、2つの撮像素子が搭載されることで周囲の360度を撮像可能な全方位撮像装置である。必ずしも全方位の撮像専用の撮像装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に撮像装置11と同じ機能を有するようにしてもよい。
【0020】
撮像装置11は携帯端末17と無線又は有線で通信可能である。これは、撮像装置11が有さない機能を携帯端末17が補助するためである。すなわち、撮像装置11が位置情報の検出機能(例えばGPS受信機能)を有していない場合、携帯端末17が撮像位置を検出する。本実施形態では、撮像装置11が撮像した画像に携帯端末17が撮像位置を付加してコンテンツ作成サーバ12に送信する。撮像装置11が位置情報の検出機能を有していれば携帯端末17はなくてもよい。したがって、撮像装置11と携帯端末17は1つの装置が提供してもよい。
【0021】
なお、携帯端末17は画像を表示するためのディスプレイを有しており、撮像者8が画像を確認する際にも使用されるが、画像の確認は必須ではない。
【0022】
携帯端末17は、例えばスマートフォン、PDA(Personal Digital Assistant)、タブレット型端末、携帯電話、ウェアラブルPC又は汎用PCなどであるが、これらには限定されない。
【0023】
コンテンツ利用企業PC15は、コンテンツ利用企業が公開するWebページにコンテンツをリンクさせる際に、コンテンツ利用企業の担当者7が操作するPCである。コンテンツ利用企業PC15は、PCの他、スマートフォン、PDA、タブレット型端末、携帯電話又はウェアラブルPCなどでもよい。
【0024】
ユーザPC16はエンドユーザ6が操作するPCであり、コンテンツ利用企業が提供するWebページを表示する。具体的な装置としてはコンテンツ利用企業PC15と同様でよい。ユーザPC16は情報処理端末の一例である。
【0025】
なお、
図4では、説明の便宜上、コンテンツ作成サーバ12、コンテンツ提供サーバ13及びWebサーバ14を別の装置として示したが、これら3つのサーバの機能は1つの装置が提供してもよい。また、これら3つのサーバの機能のうち任意の2つのサーバの機能を1つの装置が提供してもよい。
【0026】
また、コンテンツ作成サーバ12、コンテンツ提供サーバ13及びWebサーバ14のうち1つ以上のサーバの機能は、クラウドコンピューティングが用いられたクラウドサービスとして提供されてもよい。クラウドコンピューティングは、一例として、複数のサーバがL1~L3スイッチで接続されており、各サーバと1つ以上のストレージがファイバーチャネルやiSCSIなどで接続されている。クラウドコンピューティングでは、負荷に応じて各サーバに仮想化されたサーバが追加又は開放され、物理的な構成が動的に変更される。
【0027】
このように、図示されたWebサービスシステム100の構成は一例であり、Webサービスシステム100は、以下の本実施形態で説明される処理を行うことが可能な情報処理装置としての機能を有していればよい。
【0028】
<<撮像装置11について>>
図5を用いて撮像装置11の外観について説明する。
図5(a)は撮像装置11の左側面図の一例であり、
図5(b)は撮像装置11の正面図の一例であり、
図5(c)は撮像装置11の平面図の一例である。
【0029】
図5(a)に示されているように、撮像装置11は、人間が片手で把持できる縦長の筐体を有し、上部に互いに背中合わせになった2つの撮像素子103a、103bを有している。撮像素子103a,103bはそれぞれ180度の撮像範囲を有しており、2つの撮像素子103a、103bで周囲全方位の範囲を撮像する。撮像装置11の正面側には、シャッターボタン等の操作部115が設けられている。
【0030】
図6は、撮像装置11のハードウェア構成図の一例である。撮像装置11は、2つの撮像素子が搭載された全方位撮像装置である。ただし、撮像素子は3つ以上でもよい。撮像装置11は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、及び、電子コンパス118を有している。
【0031】
撮像ユニット101は、各々、半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、画像センサ、タイミング生成回路、及び、レジスタ群等を有している。画像センサは、魚眼レンズにより結像された光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどである。タイミング生成回路はこの画像センサの水平又は垂直同期信号や画素クロックなどを生成する。レジスタ群には、撮像素子の動作に必要な種々のコマンドやパラメータなどが設定される。
【0032】
撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。撮像素子103a,103bは、撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111等と接続されている。
【0033】
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、
図10(c)に示されているようなメルカトル画像の画像データを作成する。
【0034】
撮像制御ユニット105は、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、該撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
【0035】
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置11によっては、表示部によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0036】
また、撮像制御ユニット105は、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置11には表示部が設けられていないが、表示部を設けてもよい。
【0037】
CPU111は、撮像装置11の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。DRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像の画像データを記憶する。
【0038】
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。撮像者8は操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
【0039】
ネットワークI/F116は例えばイーサネット(登録商標)カードなどネットワーク18に接続するためのインタフェースである。また、ネットワークI/F116は、USBメモリやSDカード等の外付けの記録媒体のインタフェースとして用いられてもよい。DRAM114に記憶されたメルカトル画像のデータは、ネットワークI/F116から記録媒体に記憶されることもできる。
【0040】
通信部117は、アンテナ117aを介してネットワーク18に接続するためのネットワークインタフェースである。例えば、無線LANの通信装置、BlueTooth(登録商標)の通信チップ、NFC(Near Field Communication)などであるがこれらに限定されない。本実施形態では、DRAM114に記憶されたメルカトル画像のデータは、通信部117を介して携帯端末17に送信される。
【0041】
電子コンパス118は、地球の磁気から撮像装置11の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifというメタデータのフォーマットに従って、画像に添付される。方位・傾き情報は画像の画像補正等の画像処理に利用される。なお、Exifには、画像の撮像日時、画像データのサムネイル、及び、画像データのデータ容量等も含まれている。
【0042】
<<携帯端末17のハードウェア構成について>>
図7は、携帯端末17のハードウェア構成図の一例を示す。携帯端末17は、携帯端末全体の動作を制御するCPU201、基本入出力プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、を有する。また、CPU201の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)204、CPU201の制御に従って被写体を撮像し画像データを得る撮像素子としてのCMOSセンサ205を有する。また、地磁気を検知する電子磁気コンパスとしての機能やジャイロセンサ・加速度センサ等の機能を備えた加速度・方位センサ206、フラッシュメモリ等の記録メディア207に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ208を備えている。そして、メディアドライブ208の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア207が着脱自在な構成となっている。
【0043】
なお、EEPROM204には、CPU201が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、CMOSセンサ205の代わりにCCDセンサを用いてもよい。
【0044】
携帯端末17は、音声を音声信号に変換する音声入力部211、音声信号を音声に変換する音声出力部212、アンテナ213a、このアンテナ213aを利用して無線通信信号により、最寄のアクセスポイント9と通信を行う通信部213、を有する。また、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって撮像装置11の位置情報(緯度、経度、および高度)を含んだGPS信号を受信するGPS受信部214、を有する。また、被写体の画像や各種アイコン等を表示する液晶や有機ELなどのディスプレイ215、このディスプレイ215上と一体に重畳され指やタッチペン等によるタッチによってディスプレイ215上におけるタッチ位置を検出するタッチパネル216、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
【0045】
なお、音声入力部211は、音声を入力するマイクが含まれ、音声出力部212には、音声を出力するスピーカが含まれている。これにより、撮像時の音声データを取得できる。
【0046】
<<コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14、コンテンツ利用企業PC15、ユーザPC16のハードウェア構成について>>
図8は、コンテンツ作成サーバ12のハードウェア構成図の一例である。なお、図示するコンテンツ作成サーバ12のハードウェア構成は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、コンテンツ作成サーバ12が備えていることが好ましいハード的な要素を示す。
【0047】
コンテンツ作成サーバ12は、バス310に接続されたCPU301、ROM302、RAM303、HDD305、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、メディアドライブ307、及び、光学ドライブ314を有する。CPU301は、HD304に記憶されているプログラム320を実行して、コンテンツ作成サーバ12の全体の動作を制御する。ROM302はIPL等のCPU301の駆動に用いられるプログラムを記憶している。RAM303はCPU301のワークエリアとして使用される。HD304は不揮発性メモリを搭載した記憶装置であり、コンテンツを作成するプログラム320、OS等が記憶されている。
【0048】
HDD(Hard Disk Drive)305はCPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。ディスプレイ308はカーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F309はLANやインターネットなどのネットワーク18とのインタフェースである。
【0049】
キーボード311及びマウス312は入出力装置であり、キーボード311は文字、数値、各種指示などの入力のための複数のキーを備えこれらからの入力を受け付ける。マウス312はマウスポインターの移動及び各種指示の選択や実行、処理対象の選択などを受け付ける。
【0050】
メディアドライブ307はフラッシュメモリ等のメディア306に対するデータの読み出し又は書き込み(記憶)を制御する。光学ドライブ314は着脱可能な記録媒体の一例としてのCD(Compact Disc)313等に対する各種データの読み出し又は書き込みを制御する。
【0051】
なお、上記プログラム320は、インストール可能な形式又は実行可能な形式のファイルで、メディア306やCD313等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、プログラム320は、任意のサーバ型の情報処理装置からダウンロードされる形態で配布されてもよい。
【0052】
なお、コンテンツ提供サーバ13のハードウェア構成はコンテンツ作成サーバ12と同様でよいため図示は省略する。ただし、この場合、HD304にはコンテンツを提供するためのプログラム320が記憶される。また、Webサーバ14のハードウェア構成はコンテンツ作成サーバ12と同様でよいため図示は省略する。ただし、この場合、HD304にはWebページやWebアプリを提供するためのプログラム320やWebページ(Webアプリ)が記憶される。また、コンテンツ利用企業PC15のハードウェア構成はコンテンツ作成サーバ12と同様でよいため図示は省略する。ただし、この場合、HD304にはHTMLデータを編集するためのプログラム320が記憶される。また、ユーザPC16のハードウェア構成はコンテンツ作成サーバ12と同様でよいため図示は省略する。ただし、この場合、HD304にはWebページやコンテンツの閲覧が可能な例えばブラウザソフトウェアがプログラム320として記憶される。
【0053】
<撮像装置11による撮像例>
次に、
図9、10を用いて、撮像装置11により撮像される範囲や画像について説明する。
図9は、撮像装置11の撮像範囲を模式的に示す図の一例である。撮像装置11は、周囲全方位の範囲を撮像するため、撮像者自身を撮像するおそれがある。このため、撮像者8を撮像したくない場合、撮像者8は撮像装置11を手に持って腕を伸ばして撮像する。なお、撮像装置11は三脚を取り付けるためのねじ穴を有しているので、棒をねじ穴に差し込んで撮像者8が棒を把持することで、更に高い位置に持ち上げられた撮像装置11に撮像させてもよい。
【0054】
このように撮像することで、撮像素子103a及び撮像素子103bによって、それぞれ撮像者8の周りの被写体が撮像され、2つの半球画像が得られる。
【0055】
図10(a)は撮像装置11で撮像された半球画像(前側)、
図10(b)は撮像装置11で撮像された半球画像(後側)、
図10(c)はメルカトル図法により表された画像(「メルカトル画像」という)を示した図である。
【0056】
図10(a)に示されているように、撮像素子103aによって得られた画像は、魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、
図10(b)に示されているように、撮像素子103bによって得られた画像は、魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮像装置11によって合成され、
図10(c)のメルカトル画像が作成される。このメルカトル画像から全天球画像が作成される。
【0057】
図10(d)は全天球画像を模式的に示す図の一例である。例えば、立体球に
図10(c)に示されるメルカトル画像を貼り付けることで、全天球画像が作成される。全天球画像は、ある1点から上下左右360度の全方位の被写体が撮像された画像である。全天球画像は静止画でも動画でも作成できる。本実施形態の撮像装置11は1回の撮像で全天球画像を作成できるため、従来のように人間が同一地点で撮像範囲を変えて複数の画像を撮像し、各画像を合成するという処理は不要である。全天球画像を特に区別しない限り単に画像という。
【0058】
<Webサービスシステム100の機能>
図11は、Webサービスシステム100の機能ブロック図の一例を示す。以下、順番にWebサービスシステム100が有する機器(撮像装置11、携帯端末17、コンテンツ作成サーバ12、コンテンツ提供サーバ13、Webサーバ14、コンテンツ利用企業PC15、ユーザPC16)の機能について説明する。
【0059】
撮像装置11は画像作成部31、撮像情報収集部32、及び、送受信部33を有している。撮像装置11が有する各部(画像作成部31、撮像情報収集部32、及び、送受信部33)は、
図6に示されている各構成要素のいずれかが、ROM112からSRAM113又はDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、又は機能される手段である。
【0060】
画像作成部31は、
図6に示されているCPU111からの命令、撮像ユニット101、画像処理ユニット104及び撮像制御ユニット105によって実現され、周囲を撮像し、メルカトル画像を全天球画像に変換する。画像作成部31は撮像者8の設定に従って定期的に又は一定距離ごとに画像を作成する。また、撮像者8が操作部115のシャッターボタンを押下したタイミングで画像を作成する。
【0061】
撮像情報収集部32は、
図6に示されているCPU111からの命令及び電子コンパス118等によって実現され、撮像時の撮像情報を収集する。撮像情報には以下のようなものが含まれる。
【0062】
「撮像日時・画像データのサムネイル・方位・ロール角・データサイズ」
画像にはこの撮像情報が例えばExifというファイルフォーマットで添付されている。なお、方位は画像の東西南北を示す情報である。なお、撮像時にロール角がゼロになるように補正されてもよく、この場合はロール角を撮像情報に含めなくてもよい。
【0063】
送受信部33は、
図6に示されているCPU111からの命令及び通信部117等によって実現され、画像を携帯端末17に送信する。送受信部33は、1回の撮像ごとに画像を携帯端末17に送信することが好ましい。これにより、携帯端末17は画像が撮像された時から大きな時間差がないタイミングで撮像位置を検出できる。なお、撮像装置11が撮像位置を検出する機能を有する場合は、1回の撮像ごとに画像を送信しなくてもよい。
【0064】
<<携帯端末17>>
次に、携帯端末17の機能について説明する。携帯端末17はデータ付き画像送信部34、位置情報取得部35、画像受信部36、操作入力受付部37、及び、記憶・読出部39を有している。携帯端末17が有する各部(データ付き画像送信部34、位置情報取得部35、画像受信部36、操作入力受付部37、及び、記憶・読出部39)は、
図7に示されている各構成要素のいずれかが、EEPROM204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能、又は機能される手段である。
【0065】
また、携帯端末17は、
図7に示されているRAM203やEEPROM204によって構築される記憶部2000を有している。記憶部2000には画像DB2001が構築されている。画像DB2001には撮像装置11がルート上で撮像した一連の画像が記憶される。一連の画像とは、ルート上で撮像された全ての画像をいう。必ずしも全てを含まなくてもよい。例えば、撮像装置11又は携帯端末17の任意の機能又は手段が画質を評価して基準以上の画像のみを選別する。
【0066】
操作入力受付部37は、
図7に示されているCPU201からの命令及びタッチパネル216等によって実現され、撮像者8の携帯端末17に対する各種の操作を受け付ける。例えば、撮像の開始、撮像の終了及び撮像間隔(周期、一定距離)などを受け付ける。このような操作内容は携帯端末17から撮像装置11に送信される。
【0067】
画像受信部36は、
図7に示されているCPU201からの命令及び通信部213等によって実現され、画像を撮像装置11から受信する。撮像の開始から撮像の終了までに送信される画像は画像DB2001に記憶される。
【0068】
位置情報取得部35は、
図7に示されているCPU201からの命令及びGPS受信部214等によって実現され、画像受信部36が画像を受信するごとに携帯端末17の現在位置を取得する。この現在位置が撮像位置である。位置情報取得部35は撮像位置を画像のメタデータに追加する。したがって、画像には、「撮像日時・画像データのサムネイル・方位・ロール角・データサイズ・撮像位置」が添付されている。しかし、以下の説明では、説明の便宜上、画像データのサムネイル、ロール角及びデータサイズを省略し、画像には以下の撮像情報が添付されているものとして説明する。
【0069】
撮像情報:「撮像日時・方位・撮像位置」
データ付き画像送信部34は、
図7に示されているCPU201からの命令及び通信部213等によって実現され、撮像情報が添付された画像をコンテンツ作成サーバ12に送信する。送信のタイミングは、操作入力受付部37が例えば撮像の終了を受け付けた時であるが、撮像の度に送信してもよいし、撮像の終了の後に送信してもよい。また、撮像者8が記録メディア207に記憶させてコンテンツ作成サーバ12に読み取らせてもよい。
【0070】
記憶・読出部39は、
図7に示されているCPU201からの命令等によって実現され、記憶部2000に対しデータの記憶及び読み出しを行う。なお、記憶・読出部39による記憶部2000へのデータの記憶及び読み出しは、記憶・読出部39が各部からの要求に応じて実行するものとし、明記しない場合がある。
【0071】
<<コンテンツ作成サーバ12>>
次に、コンテンツ作成サーバ12の機能について説明する。コンテンツ作成サーバ12は画像補正部20、ルート作成部21、マップ取得部22、データ付き画像受信部23、URI送信部24、コンテンツ送信部25、画像埋め込み部26、及び、記憶・読出部29を有している。コンテンツ作成サーバ12が有する各部(画像補正部20、ルート作成部21、マップ取得部22、データ付き画像受信部23、URI送信部24、コンテンツ送信部25、画像埋め込み部26、及び、記憶・読出部29)は、
図8に示されている各構成要素のいずれかが、HDD305からRAM303上に展開されたプログラム320に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
【0072】
また、コンテンツ作成サーバ12は、
図8に示されているRAM303やHDD305によって構築される記憶部3000を有している。記憶部3000には地図データDB3001及びアカウント管理DB3002が構築されている。
【0073】
地図データDB3001には、マップ62を描画するためのデータ及び歩行者が通行可能な道路の構造を表すデータが記憶されている。マップ62を描画するためのデータは、都道府県などの区画、緑地や河川、道路や鉄道、記号や注記など多くの表示対象があるため、性質の似たものに分類し各分類ごとに描画できるようになっている。それぞれに分類された表示対象又は表示対象が描画された状態をレイヤーといい、地図はいくつかのレイヤーを重ねることで描画される。各レイヤーの地図データは、ベクトルデータ又はラスターデータのうち表示対象に適したフォーマットで記述されている。また、地図データは経度・緯度などが既知のメッシュ状に区切られており、1つ以上のメッシュを結合してマップ62が作成される。ベクトルデータの場合は、緯度・経度でポイント、ポリライン、ポリゴンの位置が定められている。また、ラスターデータの場合は緯度・経度に対応付けて縮尺に応じたデータが用意されている。
【0074】
道路の構造を表すデータは、ノードテーブルとリンクテーブルとを有している。ノードテーブルには、緯度・経度に対応付けて道路網表現上の結節点が登録されている。結節点をノードという。ノードは例えば交差点、分岐点、合流点、屈曲点などである。リンクテーブルにはノードのノード番号に対応付けて歩行者が通行可能な道路(歩道、横断歩道、歩道橋、地下道、通り抜け可能な通路など)が登録されている。歩行者だけでなく車が走行する道路のデータが登録されていてもよい。また、リンクテーブルには、リンク種別、幅員、リンク長などが登録されている。2つのノード間の道路をリンクといい、リンクはノード同士を結ぶ線分となる。
【0075】
【表1】
アカウント管理DB3002には表1に示すようにコンテンツ利用企業のアカウントテーブルが登録されている。アカウントテーブルには、例えば、コンテンツ利用企業ID、パスワード、及び、メールアドレスなどが登録される。コンテンツ利用企業IDはコンテンツ利用企業を識別するための一意の識別情報である。パスワードはコンテンツ利用企業をコンテンツ作成サーバ12が認証するためのものである。メールアドレスはコンテンツ利用企業の担当者7のメールアドレスであり、コンテンツのURIを送信する際の宛先となる。なお、メールアドレスでなく、又は、メールアドレスに加えFAX番号や電話番号が登録されてもよい。
【0076】
データ付き画像受信部23は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、撮像情報が添付された画像を携帯端末17から受信する。
【0077】
画像補正部20は、
図8に示されているCPU301からの命令等によって実現され、撮像情報が添付された画像を圧縮する処理、及び、ロール角に基づく水平補正を行う。なお、画像補正部20の処理は携帯端末17が行ってもよい。
【0078】
マップ取得部22は、
図8に示されているCPU301からの命令等によって実現され、地図データDB3001からマップ62を取得する。マップ62として取得される範囲は、撮像情報に含まれる全ての撮像位置が含まれるように決定される。
【0079】
ルート作成部21は、
図8に示されているCPU301からの命令等によって実現され、マップ取得部22が取得したマップ62にルート63を作成する。ルート作成部21は、撮像情報に含まれる撮像位置を歩行者が歩行できる道路上にマッピングする。撮像位置が道路から若干離れていても最も近い道路上に配置するマップマッチングを行う。配置された撮像位置を、撮像日時の古いものから順に接続することでルート63が得られる。あるいは、配置された撮像位置を、撮像位置の近いものから順に接続してもよい。撮像者8がルート上を前後して歩いたような場合でも、ルートに沿ったコンテンツが得られる。
【0080】
画像埋め込み部26は、ルート63の作成時に配置された撮像位置に画像を埋め込む。埋め込むとは、マップ上の撮像位置と画像を関連づけておくことをいう。関連づけにより、エンドユーザ6がマップ上の撮像位置を指定すると、撮像位置で撮像された画像が表示される。画像埋め込み部26は画像関連付け手段の一例である。
【0081】
マップ上にルート63が作成され、撮像位置に画像が埋め込まれたデータがコンテンツである。コンテンツは、
図3に示したように例えば画像61とマップ62が表示可能な静止画を画像の数だけ有する。エンドユーザ6がマップ62の撮像位置を選択するとその場書の情報がコンテンツ提供サーバ13に通知され、コンテンツ提供サーバ13が選択された場所の画像をユーザPC16に送信する。また、複数の静止画をMPEGなどの動画ファイルに変換しておいてもよい。
【0082】
コンテンツ送信部25は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、コンテンツが登録されるURIを指定してコンテンツをコンテンツ提供サーバ13に送信する。コンテンツが登録されるURIは、例えば一定の規則で決定されるものとする。
「ドメイン名+ディレクトリ名+コンテンツ利用企業ID+コンテンツ名」
ドメイン名はコンテンツ提供サーバのドメインなので既知であり、ディレクトリ名は例えば既知のフォルダ名(例えば、記憶部4000の「4000」である)。コンテンツ名は撮像者8が画像の送信前に付与してもよいし、コンテンツ作成サーバ12が付与してもよい。したがって、URIは例えば「コンテンツ提供サーバ/4000/コンテンツ利用企業ID/コンテンツ名」となる。
【0083】
URI送信部24は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、コンテンツのURIをアカウント管理DB3002のメールアドレスを宛先にして送信する。
【0084】
記憶・読出部29は、
図8に示されているCPU301からの命令等によって実現され、記憶部3000に対しデータの記憶及び読み出しを行う。
【0085】
<<コンテンツ提供サーバ13>>
次に、コンテンツ提供サーバ13の機能について説明する。コンテンツ提供サーバ13は閲覧情報取得部55、コンテンツ受信部56、コンテンツ提供部57、及び、記憶・読出部54を有している。コンテンツ提供サーバ13が有する各部(閲覧情報取得部55、コンテンツ受信部56、コンテンツ提供部57、及び、記憶・読出部54)は、
図8に示されている各構成要素のいずれかが、HDD305からRAM303上に展開されたプログラム320に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
【0086】
また、コンテンツ提供サーバ13は、
図8に示されているRAM303やHDD305によって構築される記憶部4000を有している。記憶部4000にはコンテンツ管理DB4001が構築されている。
【0087】
【表2】
コンテンツ管理DB4001には表2に示すようにコンテンツ管理テーブルが登録されている。コンテンツ管理テーブルには、例えば、コンテンツ利用企業ID、コンテンツ名、URI、提供回数、閲覧時間及び時間帯などが登録されている。なお、便宜上、コンテンツ管理DB4001にはコンテンツが記憶されるものとするが、コンテンツはネットワーク18からアクセス可能な場所に保持されていればよい。URIが指定されれば、コンテンツ提供サーバ13はコンテンツを特定できる。提供回数は、各コンテンツが何回、エンドユーザ6に提供されたかを示す。閲覧時間はコンテンツ提供サーバへの滞在時間を意味し、5~10分間隔で区切られた各時間間隔ごとに人数が登録されている。なお、コンテンツ提供サーバへの滞在時間は例えばTCPのセッションが維持されている時間により測定できる。時間帯はどのような時間帯にコンテンツが閲覧されているかを意味し、例えば0~1時、1~2時などのように1時間ずつ区切られた各時間間隔ごとに人数が登録されている。
【0088】
コンテンツ受信部56は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、URIが指定されたコンテンツをコンテンツ作成サーバ12から受信する。コンテンツ受信部56は、コンテンツ作成サーバ12から取得したURIに基づいてコンテンツ管理DB4001にコンテンツを登録し、コンテンツを記憶させる。コンテンツのURIはコンテンツ利用企業IDとコンテンツ名で作成されているので、コンテンツ管理DB4001にコンテンツ利用企業IDとコンテンツ名を登録できる。あるいは、コンテンツ受信部56は、コンテンツ利用企業IDとコンテンツ名をコンテンツ作成サーバ12から取得してURIを作成し、コンテンツ管理DB4001にコンテンツのURI等を登録してもよい。
【0089】
コンテンツ提供部57は、
図8に示されているCPU301からの命令等によって実現され、URIで指定されるコンテンツをユーザPC16に提供する。
【0090】
閲覧情報取得部55は、
図8に示されているCPU301からの命令等によって実現され、コンテンツ提供部57が提供したコンテンツの提供回数をカウントしてアカウント管理DB3002に登録する。また、閲覧情報取得部55は、エンドユーザ6が「どれくらいの時間コンテンツを見ていたか」「どの時間帯に見ていたか」などをアカウント管理DB3002に登録する。
【0091】
記憶・読出部54は、
図8に示されているCPU301からの命令等によって実現され、記憶部4000に対しデータの記憶及び読み出しを行う。
【0092】
<<コンテンツ利用企業PC15>>
次に、コンテンツ利用企業PC15の機能について説明する。コンテンツ利用企業PC15はURI受信部41、操作入力受付部42、Webページ送信部43、及び、記憶・読出部44を有している。コンテンツ利用企業PC15が有する各部(URI受信部41、操作入力受付部42、Webページ送信部43、及び、記憶・読出部44)は、
図8に示されている各構成要素のいずれかが、HDD305からRAM303上に展開されたプログラム320に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
【0093】
また、コンテンツ利用企業PC15は、
図8に示されているRAM303やHDD305によって構築される記憶部5000を有している。記憶部5000にはWebページDB5001が構築されている。
【0094】
WebページDB5001は、コンテンツ利用企業PC15のWebページが記憶されている。このWebページはWebサーバ14に登録されるものであり、Webサーバ14が提供するWebページと同じものである。
【0095】
URI受信部41は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、URIをコンテンツ作成サーバ12から受信する。
【0096】
操作入力受付部42は、
図8に示されているCPU301からの命令及びキーボード311やマウス312等によって実現され、コンテンツ利用企業の担当者7の操作を受け付ける。この操作は、主にURIを自社のWebページ(HTMLデータやJavaScriptで記述されたWebアプリを含む)の所望の場所に貼り付ける操作である。
【0097】
Webページ送信部43は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、例えばFTP(File Transfer Protocol)、HTTP(Hypertext Transfer Protocol)、SSH(Secure Shell)などのプロトコルでWebページをWebサーバ14に送信する。
【0098】
記憶・読出部44は、
図8に示されているCPU301からの命令等によって実現され、記憶部5000に対しデータの記憶及び読み出しを行う。
【0099】
なお、コンテンツ利用企業PC15が、コンテンツ作成サーバ12が有するマップ取得部22、ルート作成部21、及び、画像埋め込み部26を有していてもよい。これにより、コンテンツ利用企業の担当者7がコンテンツを作成できる。
【0100】
<<Webサーバ14>>
次に、Webサーバ14の機能について説明する。Webサーバ14はWebページ受信部51、Webページ提供部52、及び、記憶・読出部53を有している。Webサーバ14が有する各部(Webページ受信部51、Webページ提供部52、及び、記憶・読出部53)は、
図8に示されている各構成要素のいずれかが、HDD305からRAM303上に展開されたプログラム320に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
【0101】
また、Webサーバ14は、
図8に示されているRAM303やHDD305によって構築される記憶部6000を有している。記憶部6000にはWebページDB6001が構築されている。
【0102】
WebページDB6001は、Webサーバ14がユーザPC16からの要求に応じて提供するためのWebページを記憶している。
【0103】
Webページ受信部51は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、Webページをコンテンツ利用企業PC15から受信する。受信したWebページをWebページDB6001に記憶させる。
【0104】
Webページ提供部52は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、ユーザPC16から要求されるWebページをユーザPC16に送信する。
【0105】
記憶・読出部53は、
図8に示されているCPU301からの命令等によって実現され、記憶部6000に対しデータの記憶及び読み出しを行う。
【0106】
<<ユーザPC16>>
次に、ユーザPC16の機能について説明する。ユーザPC16はWebページ要求部45、Webページ表示部46、及び、操作入力受付部47を有している。ユーザPC16が有する各部(Webページ要求部45、Webページ表示部46、及び、操作入力受付部47)は、
図8に示されている各構成要素のいずれかが、HDD305からRAM303上に展開されたプログラム320に従ったCPU301からの命令によって動作することで実現される機能、又は機能される手段である。
【0107】
Webページ要求部45は、
図8に示されているCPU301からの命令及びネットワークI/F309等によって実現され、エンドユーザ6の操作に応じてWebページをWebサーバ14に要求する。また、エンドユーザ6がコンテンツのURIを指示した場合、コンテンツ提供サーバ13にコンテンツを要求する。
【0108】
Webページ表示部46は、
図8に示されているCPU301からの命令及びディスプレイ308等によって実現され、Webページを表示する。Webページ要求部45やWebページ表示部46はいわゆるブラウザソフトウェアにより実現されるが、これに限定されるものではない。
【0109】
操作入力受付部47は、
図8に示されているCPU301からの命令、キーボード311及びマウス312等によって実現され、エンドユーザ6の操作を受け付ける。エンドユーザ6は任意のWebページを指定したり、Webページに含まれるコンテンツを指定する。コンテンツを表示させた場合は、マップ上の撮像位置を指定したり、画像の表示方向を指示したりする。
【0110】
なお、ユーザPC16が、コンテンツ作成サーバ12が有するマップ取得部22、ルート作成部21、及び、画像埋め込み部26を有していてもよい。これにより、エンドユーザ6がコンテンツを作成できる。
【0111】
<URIの埋め込み>
図12はWebページへのURIの埋め込みを説明する図の一例である。
図12(a)はHTMLデータの一例であり、
図12(b)はコンテンツが記憶されている場所を示すURIの一例である。
【0112】
図12(b)のURIは、ドメイン名が「YouTune.com」となっており、これがコンテンツ提供サーバ13のドメイン名の一例である。「4000/001/001-A」は順番にディレクトリ名、コンテンツ利用企業ID、コンテンツ名である。
【0113】
Iframeタグはsrc で指定したリソース(本実施形態ではコンテンツ)を画面中にインラインで表示させるHTMLデータのタグの1つである。「width」は画像がユーザPC16に表示される際の幅を、「height」は画像が表示される際の高さをそれぞれ指示する。「src」にはサイトのドメインとURIが記述されている。「frameborder」は画像が表示される際の境界線の幅である。「allowfullscreen」はフルスクリーンモードでの表示を許可することを意味する。
【0114】
なお、Iframeタグは一例であって、Webページの記述形式(この場合はHTMLの記述形式)に従えばどのようなタグを用いてもよい。
図12(c)はURIが埋め込まれたWebページの一例を示す。コンテンツ利用企業の担当者7は所望の場所にURIを貼り付けるだけで、自社のWebページとコンテンツを関連づけることができるので、容易にコンテンツの利用を開始できる。また、コンテンツの変更やコンテンツの追加も容易である。なお、図示した貼り付け位置は一例であって、Webページの記述形式に従えばどのようなタグを用いてもよい。
【0115】
<コンテンツ提供時のコンテンツの送信>
コンテンツ提供部57がユーザPC16にコンテンツを送信する際、当初は少なくともマップ62と1つ以上の画像を送信すればよく、コンテンツに含まれる全ての画像を送信する必要はない。また、エンドユーザ6が次々と撮像位置を指定する場合や、動画としてコンテンツを再生する場合なども、エンドユーザ6は周囲全方位の画像を見るわけではない。
【0116】
そこで、コンテンツ提供部57は、画像の全てをユーザPC16に送信するのでなく、ユーザPC16が表示している範囲と同じ範囲の一部画像のみをユーザPC16に送信する。こうすることで、コンテンツ提供サーバ13は比較的データサイズが大きい全方位パノラマ画像の一部だけを送信すればよいので、送信時間を短縮できる。
【0117】
図13はコンテンツ提供部57による一部画像の送信を模式的に説明する図の一例である。
図13では、全天球画像を3次元の立体球とした場合の一部画像の位置を示す。
図13(a)は球の一部の矩形領域を、
図13(b)は矩形領域の高さ方向への射影を、
図13(c)は矩形領域の水平方向への射影をそれぞれ示している。一部画像Imは、全天球画像のうちユーザPC16が表示している部分である。
【0118】
全天球画像は、緯度・経度などの座標により任意の一点の画素が指定される。
図13では緯度・経度をx、yで示す。したがって、ユーザPC16は、ユーザPC16が表示している一部画像Imの4つの座標(x1,y2)(x1,y1)(x2,y1)(x2,y2)により、一部画像Imを特定できる。
【0119】
Webページ要求部45はこの一部画像Imの座標をコンテンツ提供サーバ13に送信する。一部画像Imの座標は画像範囲情報の一例であり、全天球画像のうち一部がディスプレイ308に表示される際の範囲(画角)を指定する。コンテンツ提供サーバ13のコンテンツ提供部57は、次に送信する画像のうち座標で指示される一部画像のみをユーザPC16に送信する。次に送信する画像とは、エンドユーザ6が過去に複数の画像を閲覧した場合には、ルート63に沿った次の撮像位置の画像である。エンドユーザ6が過去に1つの画像しか閲覧していない場合、該画像で表示された一部画像に垂直な方向(エンドユーザ6が見ている方向)の次の画像である。
【0120】
これにより、コンテンツ提供サーバ13は画像を短時間に送信できる。なお、通信帯域に余裕があれば(次の撮像位置の画像を送信するまでに時間があれば)、コンテンツ提供部57は一部画像に隣接した一部画像から優先してユーザPC16に送信する。したがって、通信帯域に余裕があれば全天球画像の全てをユーザPC16に送信できる。また、全天球画像の全てをユーザPC16に送信する前に、ユーザPC16から次の撮像位置の画像が要求された場合、4つの座標で指示される次の撮像位置の一部画像のみを送信する。
【0121】
<全天球画像の埋め込み>
図14はマップ62への全天球画像の埋め込みを模式的に説明する図の一例である。全天球画像には方位が添付されているので、画像埋め込み部26はマップ62における方位に全天球画像65の方位を一致させて、マップ62のルート上のそれぞれの撮像位置64に全天球画像65を埋め込む。全天球画像65に方位が添付されているため、このように簡単な処理でマップ62に全天球画像65を埋め込むことができる。
【0122】
<動作手順>
図15等の各ステップを用いて、画像の送信手順を説明する。
図15は、撮像装置11が携帯端末17に画像を送信する手順を示すシーケンス図の一例である。
S1:撮像者8が携帯端末17を操作すると、操作入力受付部37が操作を受付、操作内容を撮像装置11に送信する。ここでは撮像を開始する操作が行われたものとする。また、撮像間隔として周期を指示する時間又は一定距離を指示する距離が送信されてもよい。
S2:画像作成部31は定期的に又は一定距離ごとに画像を撮像して撮像情報収集部32に送出する。一定距離ごとに撮像する場合、S1-1に示すように、携帯端末17は撮像者8が一定距離、移動したことを撮像装置11に通知する。一定距離、移動したことは位置情報から推定されてもよいし、加速度・方位センサ206が検出した歩数により推定されてもよい。これにより、ルート上のほぼ等間隔の画像が得られ、エンドユーザ6がコンテンツを表示した場合に、実際に歩行しているかのような感覚を得やすくなる。
S3:撮像情報収集部32は撮像日時と方位を収集し、メタデータとして画像に添付して、送受信部33に送出する。
S4:送受信部33は、撮像日時と方位が添付された画像を携帯端末17の画像受信部36に送信する。
S5:携帯端末17の画像受信部36は撮像日時と方位が添付された画像を受信して、これらを位置情報取得部35に送出する。
S6:位置情報取得部35は画像を受信したことを契機に撮像位置を取得して画像に添付する。これにより撮像情報が添付された画像が得られる。位置情報取得部35は画像を画像DB2001に記憶させる。
【0123】
撮像装置11と携帯端末17は、撮像者8が撮像を終了させるまで撮像と画像DB2001への画像の記憶を繰り返す。なお、撮像者8は1つのルートを複数回、撮像してもよい。例えば、朝、昼、晩に撮像することで、該ルートのそれぞれの時間帯で画像が撮像されたコンテンツが作成される。また、撮像者8は春夏秋冬、晴天、雨天、曇天などの異なる環境で同じルートを撮像してもよい。
【0124】
図16は、携帯端末17が画像をコンテンツ作成サーバ12に送信する手順を示すシーケンス図の一例である。
S1:撮像者8が撮像を終了する操作を行う。
S2:撮像を終了する操作を行うと、携帯端末17はコンテンツ名を入力するダイアログを表示するため、撮像者8はコンテンツ名を入力する。なお、コンテンツ名は撮像を終了する前に入力してもよい。また、撮像者8はルートの始点という属性を任意の画像に付与したり、ルートの終点という属性を任意の画像に付与したりすることができる。すなわち、ルートの始点と終点を指定できる。これらの入力が終わると操作入力受付部37は撮像終了をデータ付き画像送信部34に通知する。
S3:データ付き画像送信部34は画像DB2001から、撮像開始から終了までの一連の画像を読み出す。
S4:データ付き画像送信部34は一連の画像をコンテンツ作成サーバ12に送信する。データ付き画像送信部34は、撮像者8が入力したコンテンツ利用企業IDとパスワードを一連の画像と共に(又は前後して)送信してもよい。コンテンツ作成サーバ12はコンテンツ利用企業IDとパスワードに基づく撮像者8の認証が成立する場合にコンテンツを作成する。なお、課金などを考慮しなければ、コンテンツ利用企業の認証は不要である。
S5:データ付き画像受信部23は一連の画像をマップ取得部22に送出する。
S6:マップ取得部22は、一連の画像の全ての撮像位置が含まれるマップ62を地図データDB3001から読み出し、マップ62に一連の画像を添付する。マップ取得部22はマップ62が添付された一連の画像をルート作成部21に送出する。
S7:ルート作成部21は、マップ62に一連の画像の全ての撮像位置をマッピングして、撮像日時の順に接続することでルート63を作成する。ルート63は太線などで強調される。ルート作成部21は、マップ62とルート63が添付された一連の画像を画像埋め込み部26に送出する。
S8:画像埋め込み部26はルート63上の撮像位置に一連の画像を埋め込む。そして、画像埋め込み部26は、画像が埋め込まれたマップ62及びルート63を1つのコンテンツとしてコンテンツ送信部25に送出する。
【0125】
図17は、コンテンツとWebページの登録の手順を示すシーケンス図の一例である。
S1:コンテンツ送信部25はURIを指定してコンテンツをコンテンツ提供サーバ13に送信する。
S2:コンテンツ提供サーバ13のコンテンツ受信部56はコンテンツを受信して、URIにより指定されるコンテンツ管理DB4001に記憶させる。なお、コンテンツ提供サーバ13は任意の場所にコンテンツを記憶して、その記憶場所のURIをコンテンツ作成サーバ12に送信してもよい。
S3:コンテンツ送信部25はコンテンツが記憶されたURIをURI送信部24に送出する。
S4:URI送信部24はコンテンツ利用企業の担当者7のメールアドレスを宛先にして、URIを送信する。
S5:コンテンツ利用企業PC15のURI受信部41はURIが記述されたメールを受信し、一時的にRAM303などに保存する。コンテンツ利用企業の担当者7はメールを開いてURIをディスプレイ308に表示させるので、操作入力受付部42は該操作を受け付けてURIを例えばコピーする。
S6:コンテンツ利用企業の担当者7はWebページDB5001から所望のWebページを読み出す操作を行い、操作入力受付部42は該操作を受け付けてWebページを読み出す。
S7:コンテンツ利用企業の担当者7はWebページにコピーしたURIを貼り付ける操作を行い、操作入力受付部42はURIが貼り付けられたWebページをWebページ送信部43に送出する。
【0126】
なお、
図17の手順ではメールアドレスを宛先にしてURIが送信されているが、コンテンツ作成サーバ12は一連の画像を送信した携帯端末17にURIを返信してもよい。例えば、HTTPなどの通信を利用すれば、画像の送信元の携帯端末17にURIを返信できる。この場合、撮像者8はメールアプリなどを開かずにURIを確認できる。
【0127】
図18は、ユーザPC16がコンテンツを表示させる手順を示すシーケンス図の一例である。
S1:コンテンツ利用企業PC15のWebページ送信部43はURIが貼り付けられたWebページをWebサーバ14に送信する。
S2:Webサーバ14のWebページ受信部51はWebページを受信して、WebページをWebページDB6001に記憶させる。
S3:エンドユーザ6はユーザPC16を操作してコンテンツ利用企業のWebページを表示させる操作を行う。これにより、ユーザPC16のWebページ要求部45はホームページのアドレスなどを指定してWebサーバ14にWebページを要求する。
S4:Webページ提供部52はWebページDB6001から要求されたWebページを読み出す。このWebページにはコンテンツのURIが貼り付けられている。
S5:Webページ提供部52はWebページをユーザPC16のWebページ要求部45に送信する。
S6:ユーザPC16のWebページ要求部45はWebページを受信して、Webページ表示部46に送出する。これにより、ユーザPC16はコンテンツのURIが貼り付けられたWebページを表示できる。
S7:エンドユーザ6は、例えばWebページにおいて全天球画像の表示用のエリアとして確保された領域、コンテンツがリンクされた画像又は文字をマウスカーソルでクリックする。このようなコンテンツを表示させる操作を行うと、Webページ要求部45はURIを指定してコンテンツ提供サーバ13にコンテンツを要求する。
S8:コンテンツ提供サーバ13のコンテンツ提供部57はコンテンツ管理DB4001から指定されたコンテンツを読み出す。
S9:コンテンツ提供部57はコンテンツをユーザPC16に送信する。
S10:ユーザPC16のWebページ要求部45はコンテンツを受信して、Webページ表示部46に送出する。これにより、ユーザPC16は
図3のようなコンテンツを表示できる。すなわち、マップ62と画像61が表示され、マップ内のルート63上の撮像位置をマウスなどでクリックしたり指でタップすると、その撮像位置の全天球画像を表示できる。
S11:コンテンツ提供部57はコンテンツが提供されたことを閲覧情報取得部55に通知する。閲覧情報取得部55はコンテンツの提供回数を1つ大きくする。また、閲覧情報取得部55は、閲覧時間と現在の時間帯を判断し、アカウント管理DB3002の対応する時間間隔の人数を1つ大きくする。コンテンツ提供サーバ13はコンテンツの提供回数とコンテンツのサイズに基づき課金金額を算出し、月末などのタイミングでコンテンツ利用企業に請求する。また、アカウント管理DB3002の閲覧時間と時間帯を有償又は無償でコンテンツ利用企業に提供してもよい。コンテンツ利用企業はWebページの改善などに閲覧時間と時間帯を利用できる。
【0128】
このような処理により、コンテンツを表示したエンドユーザ6は
図3のメニュー66を操作して上下左右の一部画像を表示させたり、動画のように撮像位置の異なる全天球画像を次々と表示させたりすることができる。
【0129】
以上説明したように、本実施例のWebサービスシステム100では、撮像者8が1回の撮像で全天球画像を撮像できる。誰もが簡単に周囲全方位の空間を表現した臨場感あるコンテンツを作成して公開できる。全天球画像パノラマ画像は、マップ62の撮像位置64に埋め込まれているので、エンドユーザ6はどの場所の全天球画像であるかを一目で把握できる。また、マップ62にはルート63が表示されているので、全天球画像で確認できるルートをエンドユーザ6は一目で把握できる。エンドユーザ6に対し全方位のパノラマ画像を再生させることで、ルート上を周遊している疑似体験を提供できる。また、コンテンツ提供サーバ13の運営者はコンテンツのサイズやコンテンツの提供回数に応じた料金をコンテンツ利用企業に請求できる。
【実施例2】
【0130】
実施例1に示したように、撮像者8は任意の場所で周囲を撮像できるが、通行人の顔が写ってしまう可能性がある。人物を特定できる個人特定情報が通行人が撮像されるとプライバシーの保護上、好ましくない。そこで、本実施例では、通行人の顔に画像処理を施して、人物の特定・判別を困難にするWebサービスシステム100について説明する。
【0131】
図19は、本実施例のコンテンツ作成サーバ12の機能ブロック図の一例を示す。また、本実施例において、
図11において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
図19では、コンテンツ作成サーバ12が画像処理部27を有する。なお、画像処理は携帯端末17又はコンテンツ提供サーバ13で行ってもよい。
【0132】
画像処理部27は、
図8に示されているCPU301からの命令等によって実現され、画像から顔を検出して、顔にぼかし処理を施す。顔をぼかすとは個人の特定・判別を困難にすることをいう。このようなぼかし処理としては、平滑化フィルタで平滑化してもよいし、顔の部分に顔を隠すための画像を重畳させてもよい。なお、顔の検出は、矩形枠を画像に設定し例えばHaar-Like特徴量やFOG特徴量で矩形枠の評価値を算出することで行う。矩形枠をずらしながら特徴量による評価を行うことで、顔が撮像されている可能性が高い矩形枠を特定できる。
【0133】
図20は、コンテンツ作成サーバ12がコンテンツを作成する手順を示すシーケンス図の一例である。
S4-2:画像処理部27は一連の画像の全てに対し画像処理を施す。なお、画像処理のタイミングはマップ62の取得前に行う必要はなく、コンテンツ送信前に行えばよい。
【0134】
図21は、プライバシー保護のための画像処理を説明する図の一例である。
図21(a)は画像処理前の一部画像を、
図21(b)は画像処理後の一部画像をそれぞれ示す。
図21(b)では、二人の通行人67の顔の認識が困難になっている。
【0135】
なお、
図21では通行人67の顔のみが画像処理されているが、看板や大型液晶ディスプレイなどに人が映っている場合には、これらにも画像処理が施される。これにより広告の肖像権にも配慮できる。また、個人特定情報は顔に限られず、車のナンバープレートなど、個人を特定することが可能な情報を検出して画像処理を施すことが好ましい。
【0136】
以上説明したように、本実施例のWebサービスシステム100は、実施例1の効果に加え、撮像者8が通行人67を撮像してもプライバシーを保護できる。
【実施例3】
【0137】
エンドユーザ6が全天球画像をユーザPC16で表示させる際、様々な被写体が映っているが、エンドユーザ6がそれらの被写体の情報を表示できれば便利である。そこで、本実施例では、撮像された被写体の情報を、全天球画像に埋め込むWebサービスシステム100について説明する。
【0138】
図22は、本実施例のコンテンツ作成サーバ12の機能ブロック図の一例を示す。
図22では、コンテンツ作成サーバ12が被写体情報埋め込み部28を有する。被写体情報埋め込み部28は、
図8に示されているCPU301からの命令等によって実現され、全天球画像から建築物を検出し、該建築物の地図上の位置を特定し、地図データDB3001から取得した該建築物の建物情報及び次述する広告情報DB3003から取得した広告情報を建築物に埋め込む。被写体に関して被写体が何かをユーザに把握させたりユーザに提供される情報を被写体情報と称する。建物情報と広告情報の少なくとも一方は被写体情報の具体例の1つである。被写体情報埋め込み部28は被写体情報関連付け手段の一例である。
【0139】
また、本実施例のコンテンツ作成サーバ12は、記憶部3000に広告情報DB3003を有している。広告情報DBには表3に示すように広告情報テーブルが登録されている。
【0140】
【表3】
広告情報テーブルには、建築物ID、広告企業ID、広告情報、及び、提供回数が登録されている。建築物IDはマップ上の建築物を一意に識別するための識別情報(被写体識別情報の一例)である。広告企業IDは広告を出す広告企業を一意に識別するための識別情報である。広告情報は広告企業が表示する広告の内容(表3では広告内容が表示されるURL)が記述されている。提供回数は、広告情報がエンドユーザ6により選択された回数である。
【0141】
続いて、
図23,24を用いて被写体情報の埋め込みについて説明する。
図23は、建築物の地図上の位置の特定方法を説明する図の一例である。
図23(a)には全天球画像のうち一部画像が示されている。被写体情報埋め込み部28は例えばエッジ処理を施して、被写体のうち最も撮像位置が高い画素を水平方向にトレースする。これにより、
図23(a)のトレース線68が得られる。被写体の垂直方向の画素位置が閾値82以上の場所に建築物があると判断できる。また、被写体の画素位置が閾値82未満になった場所から次に、被写体の画素位置が閾値82未満になるまでが1つの建築物である。建築物が連続しているような場所に対応するため、垂直方向に連続したエッジをハフ変換などで検出し、エッジが上空から地面近くまで連続している場所で建築物を分離してもよい。また、建物の色で建築物を分離してもよい。
図23(a)では建築物71~73が検出されたものとする。
【0142】
また、
図23(b)に示すように、全天球画像には東西南北の方位が添付されている。また、撮像位置も添付されている。よって、撮像位置から見てどの方向に建築物71~73があるかは明らかになっている。
【0143】
図23(c)は地図上における撮像範囲83を示す図の一例である。撮像位置から見た建築物71~73の方位が分かっているので、方位を地図に当てはめることで、地図上の建築物71~73を特定できる。例えば真北を基準にすると建築物71の方向は260度くらいであり、建築物72の方向は310度くらいであり、建築物73の方向は5度くらいである(時計回りを正)。
【0144】
被写体情報埋め込み部28は、地図上の建築物71~73を特定すると、地図データDB3001から各建築物の建物情報を取得して、全天球画像の建築物に埋め込む。なお、建物情報は、例えばビル名、ビルに入っているテナント名等である。
【0145】
具体的には、エンドユーザ6がコンテンツに含まれる画像の建築物71~73をマウスでクリック、指でタップ、マウスオーバーなどすることで、建物情報が表示されるように、JavaScript(登録商標)などのコードがコンテンツに記述される。
【0146】
建築物71~73の広告情報が広告情報DBに登録されている場合、同様に、広告情報が埋め込まれる。ただし、広告情報が埋め込まれた場合、広告企業IDと広告が選択された旨がコンテンツ提供サーバ13を通知先として通知されるJavaScript(登録商標)などのコードがコンテンツに記述される。
【0147】
図24は、被写体情報埋め込み部が全天球画像に被写体情報を埋め込む手順を示すフローチャート図の一例である。
図24の手順は、コンテンツ作成サーバ12が画像を受信してから、コンテンツを送信するまでの間に開始される。
【0148】
まず、被写体情報埋め込み部28は全天球画像から建築物を検出する(S10)。
【0149】
次に、被写体情報埋め込み部28は全天球画像の方位に基づき、撮像位置から見た各建築物の方位を決定する(S20)。
【0150】
次に、被写体情報埋め込み部28は撮像位置と各建築物の方位に基づき各建築物の地図上の位置を決定する(S30)。
【0151】
次に、被写体情報埋め込み部28は地図データDB3001から地図上で特定された建築物の建物情報を取得する(S40)。
【0152】
次に、被写体情報埋め込み部28は建築物IDに対応付けられた広告情報を広告情報DB3003から読み出す(S50)。
【0153】
次に、被写体情報埋め込み部28は建物情報及び広告情報を全天球画像の建築物に埋め込む(S60)。
【0154】
図25は、エンドユーザ6が建築物72をマウスカーソル69でクリックした場合に表示される被写体情報81の一例を示す。
図25では、ビル名、ビルに入っているテナント名、及び、広告ボタン75が表示されている。エンドユーザ6は例えば飲食店の情報を更に知りたい場合、広告ボタン75を選択する。広告ボタン75には広告情報DB3003の広告情報(広告URL)が埋め込まれており、ユーザPC16は飲食店の詳しい情報が記載されたWebページを表示することができる。
【0155】
また、広告ボタン75が選択された場合、ユーザPC16はJavaScript(登録商標)などのコードを実行して、コンテンツ提供サーバ13に広告企業IDと広告が表示された旨をコンテンツ提供サーバ13に通知する。コンテンツ提供サーバ13の閲覧情報取得部55はこの通知回数をカウントして広告情報DB3003の提供回数を更新する。これにより、Webサービスシステム100の運営者などは、広告の提供回数などに応じた広告費を広告企業に要求できる。
【0156】
以上説明したように、本実施例のWebサービスシステム100は、実施例1の効果に加え、全天球画像の被写体に被写体の情報を埋め込むので、エンドユーザ6は被写体の情報を表示させることができる。
【0157】
<Webサービスシステム100の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0158】
例えば、本実施形態では、コンテンツ提供サーバ13がコンテンツ利用企業を特定しているが、コンテンツの利用者を特定しなくてもよい。すなわち、一般消費者などが画像をコンテンツ作成サーバ12に送信して、自分のホームページなどで提供することが可能である。
【0159】
また、上記の実施例では野外の撮像と野外の画像の公開を例に説明したが、撮像場所は室内でもよい。この場合、撮像位置は上記のIMESの他、iBeacon(登録商標)などを利用した位置情報を用いてよい。
【0160】
Webサービスシステム100が室内の画像を公開する場合も、屋外と同様にコンテンツを作成できる。
図26はユーザPC16で表示されるコンテンツの一例を示す図である。
図26のコンテンツは、全天球画像を表示する表示領域401と、室内地図を表示する表示領域402とを有している。
【0161】
まず、全天球画像の撮像位置が分かっているので、室内地図における座標(例えば、室内地図の左上を原点とする二次元座標系の座標)が位置情報と対応付けられていれば、全天球画像が室内地図内のどの座標と対応付けられるかは明らかである。また、全天球画像には東西南北の方位が添付されており、室内地図の東西南北も通常は知られている。したがって、コンテンツ作成サーバ12は室内地図において撮像位置を特定でき、さらに撮像装置11の正面方向を特定できるため撮像方向も明らかとなる。
【0162】
このような情報を利用して、室内地図を表示する表示領域402には、全天球画像が撮影された室内地図上に撮像位置を表す図形403、及び、全天球画像のうち表示領域401で表示されている方向(画角)を示す図形404が表示される。補足すると、表示領域401に表示されている全天球画像の一部画像ImはユーザPC16にとって既知なので、ユーザPC16は撮像装置11の撮像方向を基準にして表示されている方向を特定できる。
【0163】
したがって、表示領域401で表示されている全天球画像の撮像位置に応じて、PC16は表示領域402における図形403を強調して表示できる(この場合、図形404で強調されるが、色を変えるなどすることで強調してもよい)。また、表示領域401で表示されている全天球画像の一部画像Imに応じて、PC16は表示領域402における図形404を一部画像Imに対応した方向に変更できる。したがって、ユーザPC16を閲覧しているユーザは、表示領域401で表示されている画像が室内地図上のどの位置で撮影されており、かつ、どの方向が表示領域401に表示されているかを容易に把握することができる。
【0164】
また、
図26の表示領域401には好ましい又は可能な移動方向を示す図形405が表示されている。移動方向とはユーザが室内を移動したと仮定した場合の表現であり、ユーザが実際に室内を移動するわけではない。ユーザPC16は現在の全天球画像の撮像位置と隣接した撮像位置を結ぶ直線407を例えば室内地図上で算出し、直線407が実在すれば全天球画像に撮像されているはずの場所に図形405を表示する。直線407の方位が推定できるので、全天球画像のこの方位の路面付近の緯度に図形405を重ねて表示する。こうすることで、表示領域401の全天球画像には隣接する撮像位置の方向が図形405で表示される。
【0165】
また、コンテンツ作成サーバ12は予め図形405に室内地図上の図形406を撮像位置とする全天球画像を関連付けておく(例えば、リンクを埋め込んでおく)。
【0166】
ユーザが図形405を選択すると、ユーザPC16は関連づけを検出して表示領域401に表示する全天球画像を、移動方向を示す図形405の先にあって図形406を撮像位置とする他の全天球画像に切り替える。例えば、
図26において図形405が選択された場合、室内地図上の図形406の位置で撮影された全天球画像を表示する。
【0167】
また、コンテンツ作成サーバ12が、移動方向を表す図形405をユーザを誘導したい表示領域401の方向にだけ表示することで、ユーザに好ましい順番で全天球画像を閲覧させることができる。
【0168】
なお、屋外の場合と同様に、ユーザが室内地図上の任意の撮像位置を表す図形403,406を選択することで、表示領域401にはユーザが選択した撮像位置で撮像された全天球画像が表示される。この場合、コンテンツ作成サーバ12は予め各撮像位置を表す図形403,406に全天球画像を関連付けておく。
【0169】
また、上記の実施例では撮像者が歩行していたが、撮像装置11を車両などに搭載して、車両から周囲を撮像してもよい。
【0170】
また、地上に限られず、パラシュートによる落下時やパラグライダーなどによる飛行時に空撮することもできる。また、プールの中や海中などで撮像することもできる。このように地上以外の撮像では、経度・緯度だけでなく高度情報が測定されて、画像に添付されていることが好ましい。
【0171】
また、上記の実施例ではユーザPC16はWebページを経由してコンテンツを表示したが、Webページを経由せずに直接、コンテンツを表示してもよい。
【0172】
また、上記の実施例では、静止画を主な例として説明したが、動画がコンテンツとして提供される場合は、コンテンツ作成サーバ12が動画からいくつかのシーンを抽出してマップ62に撮像位置に強調してもよい。いくつかのシーンは、例えば、画質の評価値が基準以上の全天球画像などであるが、コンテンツ利用企業の担当者が選択してもよい。
【0173】
なお、データ付き画像送信部34は送信手段の一例であり、データ付き画像受信部23は受信手段の一例であり、マップ取得部22は地図データ取得手段の一例であり、ルート作成部21は経路情報作成手段の一例であり、コンテンツ提供部57はコンテンツ提供手段の一例である。URI送信部24はリンク情報送信手段の一例であり、Webページ受信部51は公開情報受信手段の一例であり、Webページ提供部52は公開情報提供手段の一例である。閲覧情報取得部55はカウント手段の一例であり、画像処理部27は画像処理手段の一例であり、画像埋め込み部26は画像関連付け手段の一例であり、被写体情報埋め込み部28は被写体情報関連付け手段の一例である。画像作成部31は撮像手段の一例であり、送受信部33は第2の送信手段の一例であり、位置情報取得部35は位置検出手段の一例であり、操作入力受付部37は設定受付手段の一例である。地図データDB3001は地図データ記憶手段の一例であり、広告情報DB3003は広告情報記憶手段の一例である。Webサービスシステム100はサービスシステムの一例であり、Webサービスシステム100が行う方法はサービス提供方法の一例である。
【符号の説明】
【0174】
6 エンドユーザ
7 担当者
8 撮像者
9 アクセスポイント
11 撮像装置
12 コンテンツ作成サーバ
13 コンテンツ提供サーバ
14 Webサーバ
15 コンテンツ利用企業PC
16 ユーザPC
17 携帯端末
【先行技術文献】
【特許文献】
【0175】