(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 17/05 20110101AFI20240806BHJP
【FI】
G06T17/05
(21)【出願番号】P 2022110106
(22)【出願日】2022-07-08
(62)【分割の表示】P 2017184210の分割
【原出願日】2017-09-25
【審査請求日】2022-07-27
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(72)【発明者】
【氏名】今村 圭一
【審査官】▲高▼橋 真之
(56)【参考文献】
【文献】特開2012-085246(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 17/05
(57)【特許請求の範囲】
【請求項1】
ユーザの移動履歴を含むアクティビティの履歴のデータと、前記アクティビティの種類に基づいて、地図情報として提供される地図表示内において前記移動履歴の軌跡と、前記移動履歴に関連するコンテンツとを表示するための構造化データを生成する構造化データ生成手段を備え、
前記構造化データは、前記移動履歴の軌跡における所定の位置に前記コンテンツの表示に関連するイベントが設定されるとともに、前記アクティビティの種類に基づいて、前記所定の位置における前記移動履歴の軌跡を辿る注目点の移動速度の変化時間又はズームアップの有無を含むイベント時の動作が設定されていることを特徴とする情報処理装置。
【請求項2】
前記構造化データ生成手段は、さらに前記アクティビティの種類に応じた動画の属性に基づいて、前記構造化データを生成することを特徴とする
請求項1に記載の情報処理装置。
【請求項3】
前記構造化データ生成手段は、アクティビティの履歴のデータに含まれるアクティビティの種類のデータに基づいて、ユーザが行ったアクティビティの種類を判定し、前記アクティビティの種類に応じた前記動画の属性を設定することを特徴とする請求項
2に記載の情報処理装置。
【請求項4】
前記アクティビティの種類の入力を受け付けるアクティビティ受付手段をさらに備えることを特徴とする請求項1乃至
3のいずれか一項に記載の情報処理装置。
【請求項5】
前記動画の属性は、前記移動履歴の軌跡を辿る注目点の位置、視点に関する情報、及び、前記設定されたイベント時の動作の少なくともいずれかが定義されていることを特徴とする請求項
3に記載の情報処理装置。
【請求項6】
前記構造化データ生成手段は、前記コンテンツの内容に応じたマーカーを前記所定の位置に表示させるように、前記構造化データを生成することを特徴とする請求項1乃至
5のいずれか1項に記載の情報処理装置。
【請求項7】
前記注目点が、前記イベントが設定された位置に到達すると、前記設定されたイベントの動作が実行されるように、前記構造化データを生成することを特徴とする請求項
5に記載の情報処理装置。
【請求項8】
前記視点に関する情報として、前記アクティビティにおける実際の移動速度の定数倍の移動速度または選択された特定の速度または、全工程を予め設定された時間で移動する速度が定義されていることを特徴とする請求項
5に記載の情報処理装置。
【請求項9】
前記視点に関する情報として、前記アクティビティの種類に応じた視点の高度が定義されていることを特徴とする請求項
5に記載の情報処理装置。
【請求項10】
イベント時の動作として、前記コンテンツの内容に応じた動作が定義されていることを特徴とする請求項
5に記載の情報処理装置。
【請求項11】
ユーザの移動履歴を含むアクティビティの履歴のデータと、前記アクティビティの種類に基づいて、地図情報として提供される地図表示内において前記移動履歴の軌跡と、前記移動履歴に関連するコンテンツとを表示するための構造化データを生成する構造化データ生成工程を備え、
前記構造化データは、前記移動履歴の軌跡における所定の位置に前記コンテンツの表示に関連するイベントが設定されるとともに、前記アクティビティの種類に基づいて、前記所定の位置における前記移動履歴の軌跡を辿る注目点の移動速度の変化時間又はズームアップの有無を含むイベント時の動作が設定されていることを特徴とする情報処理方法。
【請求項12】
コンピュータに、
ユーザの移動履歴を含むアクティビティの履歴のデータと、前記アクティビティの種類に基づいて、地図情報として提供される地図表示内において前記移動履歴の軌跡と、前記移動履歴に関連するコンテンツとを表示するための構造化データを生成する構造化データ生成機能を実現させ、
前記構造化データは、前記移動履歴の軌跡における所定の位置に前記コンテンツの表示に関連するイベントが設定されるとともに、前記アクティビティの種類に基づいて、前記所定の位置における前記移動履歴の軌跡を辿る注目点の移動速度の変化時間又はズームアップの有無を含むイベント時の動作が設定されていることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、GPS(Global Positioning System)を利用して位置情報を検出し、撮影画像の位置情報と時刻情報とに基づいたユーザの移動軌跡上に移動対象を表示し、移動対象が撮像画像の表示位置に到達した場合に対象画像を表示する技術が開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術においては、ユーザが撮像した撮影画像の位置情報に基づいて、ユーザの移動軌跡上に移動対象を表示し、移動対象が撮像画像の表示位置に到達した場合に対象画像を表示するものの、対象画像を画一的な表示形態で表示しているため、単調な表示が行われるものであった。
【0005】
本発明は、このような状況に鑑みてなされたものであり、移動軌跡の再生時に多様な情報を付加した表示を行うことを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザの移動履歴を含むアクティビティの履歴のデータと、前記アクティビティの種類に基づいて、地図情報として提供される地図表示内において前記移動履歴の軌跡と、前記移動履歴に関連するコンテンツとを表示するための構造化データを生成する構造化データ生成手段を備え、前記構造化データは、前記移動履歴の軌跡における所定の位置に前記コンテンツの表示に関連するイベントが設定されるとともに、前記アクティビティの種類に基づいて前記所定の位置における前記移動履歴の軌跡を辿る注目点の移動速度の変化時間又はズームアップの有無を含むイベント時の動作が設定されていることを特徴とする。
【発明の効果】
【0007】
本発明によれば、移動軌跡の再生時に多様な情報を付加した表示を行うことができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る情報処理システムのシステム構成を示す模式図である。
【
図2】情報処理装置のハードウェアの構成を示すブロック図である。
【
図3】情報処理装置のハードウェアの構成を示すブロック図である。
【
図4】
図2の情報処理装置によって構成されるリスト端末の機能的構成のうち、履歴記録処理及び構造化データ生成処理を実行するための機能的構成を示す機能ブロック図である。
【
図5】動画属性テーブルの一例を示す模式図である。
【
図6】位置情報出力用構造化データの一例を示す模式図である。
【
図7】
図3の情報処理装置によって構成される地図情報提供サーバの機能的構成のうち、構造化データ解析処理を実行するための機能的構成を示す機能ブロック図である。
【
図8】
図3の情報処理装置によって構成されるクラウドストレージサーバの機能的構成のうち、ストレージサービス処理を実行するための機能的構成を示す機能ブロック図である。
【
図9】
図3の情報処理装置によって構成されるPCの機能的構成のうち、動画再生処理を実行するための機能的構成を示す機能ブロック図である。
【
図10】アクティビティの履歴のデータの一例を示す模式図である。
【
図11】
図10に示すアクティビティの履歴のデータが動画とされた場合の表示例を示す模式図である。
【
図12】写真が撮影された位置P4における写真撮影のイベントの動作を示す模式図である。
【
図13】位置P4において、撮影された写真の画像がポップアップで表示された状態を示す模式図である。
【
図14】
図4の機能的構成を有するリスト端末が実行する履歴記録処理の流れを説明するフローチャートである。
【
図15】
図4の機能的構成を有するリスト端末が実行する構造化データ生成処理の流れを説明するフローチャートである。
【
図16】
図7の機能的構成を有する地図情報提供サーバが実行する構造化データ解析処理の流れを説明するフローチャートである。
【
図17】
図8の機能的構成を有するクラウドストレージサーバが実行するストレージサービス処理の流れを説明するフローチャートである。
【
図18】
図9の機能的構成を有するPCが実行する動画再生処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
図1は、本発明の一実施形態に係る情報処理システム1のシステム構成を示す模式図である。
図1に示すように、情報処理システム1は、リスト端末10と、撮影装置20と、スマートフォン30と、地図情報提供サーバ40と、クラウドストレージサーバ50と、PC(Personal Computer)60とを含んで構成される。
これらのうち、リスト端末10、撮影装置20及びスマートフォン30は、Bluetooth low energy/Bluetooth LE(登録商標)(以下、「BLE」と称する。)あるいはWi-Fi(Wireless Fidelity)等の無線通信によって互いに通信可能に構成されている。また、スマートフォン30、地図情報提供サーバ40、クラウドストレージサーバ50及びPC60は、インターネット等のネットワーク70を介して互いに通信可能に構成されている。なお、本実施形態において、リスト端末10、撮影装置20及びスマートフォン30が、インターネット等のネットワーク70を介して他の装置と通信する機能を備えることも可能である。
【0011】
以下、情報処理システム1を構成する各装置の概要について説明する。
リスト端末10は、腕時計型の情報処理装置(いわゆるスマートウォッチ)によって構成され、登山あるいはロードバイク(サイクリング)等のアクティビティを行うユーザの腕に装着される。また、リスト端末10は、GPSによる測位機能を備えており、ユーザの移動履歴を含むアクティビティの履歴を記録する処理(以下、「履歴記録処理」と称する。)、及び、記録された履歴のデータに基づいて、位置情報及び位置情報に関連するコンテンツを表示するために記述される構造化データ(以下、「位置情報出力用構造化データ」と称する。)を生成する処理(以下、「構造化データ生成処理」と称する。)を実行する。例えば、リスト端末10は、履歴記録処理を実行することにより、リスト端末10を装着したユーザが各種アクティビティを行った場合に、アクティビティの種類と対応付けて、移動履歴を含むアクティビティの履歴のデータを記録する。また、リスト端末10は、構造化データ生成処理を実行することにより、記録した履歴のデータに基づいて、位置情報及び位置情報に関連するコンテンツを表示するために記述される位置情報出力用構造化データを自動的に生成する。そして、リスト端末10は、生成した位置情報出力用構造化データを、スマートフォン30を介してクラウドストレージサーバ50にアップロードする。
【0012】
撮影装置20は、デジタルカメラ等の撮影機能を備えた情報処理装置によって構成される。撮影装置20は、ユーザの撮影指示に従って画像(静止画または動画)を撮影し、撮影した画像のデータを撮影日時と対応付けて記憶する。なお、本実施形態において、撮影装置20は、ユーザの指示に応じて、または、設定に従って自動的に、撮影日時と対応付けられた画像のデータを、スマートフォン30を介してクラウドストレージサーバ50にアップロードする。
【0013】
スマートフォン30は、通話機能及び情報処理機能を備えた情報処理装置によって構成される。スマートフォン30は、リスト端末10から送信された位置情報出力用構造化データや、撮影装置20から送信された画像のデータ等を、ネットワーク70を介してクラウドストレージサーバ50にアップロードする。
【0014】
地図情報提供サーバ40は、サーバコンピュータあるいはPC等の情報処理装置によって構成される。地図情報提供サーバ40は、3次元の地図情報提供機能を備えており、位置情報出力用構造化データを解釈し、その位置情報出力用構造化データに記述されている位置を時系列に移動しながら地図情報及び関連するコンテンツを表示する処理(以下、「構造化データ解析処理」と称する。)を実行する。本実施形態において、位置情報出力用構造化データには、注目点の位置(緯度、経度、高度)、視点の移動速度、視点の高度、視点の方位(視線が向く方位)、視点の水平アングル(俯角)、各種イベント時の動作等の動画の属性が記述されており、地図情報提供サーバ40は、記述されている動画の属性に従って、地図情報における位置を変化させたり、所定のアクションを行ったりしながら、移動履歴を辿る動画のデータを出力する。なお、地図情報提供サーバ40は、構造化データ解析処理を実行する場合、位置情報出力用構造化データに記述されているコンテンツの格納先(ここでは、クラウドストレージサーバ50とする)から、撮影した画像や発話したコメントのテキスト等のコンテンツを取得し、取得したコンテンツを移動履歴における所定位置で表示する。
【0015】
クラウドストレージサーバ50は、サーバコンピュータあるいはPC等の情報処理装置によって構成される。クラウドストレージサーバ50は、クラウドストレージサービスを提供するサーバであり、ユーザによってアップロードされた位置情報出力用構造化データやコンテンツ(画像、音声あるいはテキスト等)を、ユーザの識別情報と対応付けて記憶したり、要求に応じて他の装置に送信したりする処理(以下、「ストレージサービス処理」を称する。)を実行する。
【0016】
PC60は、ユーザによって使用される情報処理装置であり、ユーザの指示に応じて、位置情報出力用構造化データに基づく動画を再生するための処理(以下、「動画再生処理」と称する。)を実行する。例えば、PC60は、地図情報提供サーバ40に対して、位置情報出力用構造化データと共に動画の再生依頼を送信する。また、PC60は、地図情報提供サーバ40における構造化データ解析処理の実行結果である動画のデータを受信して表示する。
【0017】
[情報処理装置のハードウェア構成]
次に、情報処理システム1を構成する各装置のハードウェア構成を説明する。
本実施形態においては、一例として、情報処理システム1を構成するリスト端末10、撮影装置20及びスマートフォン30は、携帯型の情報処理装置100によって構成され、地図情報提供サーバ40、クラウドストレージサーバ50及びPC60は、据え付け型の情報処理装置200によって構成される。以下、リスト端末10、撮影装置20及びスマートフォン30を構成する情報処理装置100、及び、地図情報提供サーバ40、クラウドストレージサーバ50及びPC60を構成する情報処理装置200それぞれのハードウェア構成について説明する。なお、情報処理装置100及び情報処理装置200のハードウェア構成は、具体的に実装される装置に応じて適宜変更することが可能である。
【0018】
図2は、情報処理装置100のハードウェアの構成を示すブロック図である。
情報処理装置100は、
図2に示すように、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)113と、バス114と、入出力インターフェース115と、GPS受信部116と、撮像部117と、センサ部118と、入力部119と、出力部120と、記憶部121と、通信部122と、ドライブ123と、を備えている。
【0019】
CPU111は、ROM112に記録されているプログラム、または、記憶部121からRAM113にロードされたプログラムに従って各種の処理を実行する。
【0020】
RAM113には、CPU111が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0021】
CPU111、ROM112及びRAM113は、バス114を介して相互に接続されている。このバス114にはまた、入出力インターフェース115も接続されている。入出力インターフェース115には、GPS受信部116、撮像部117、センサ部118、入力部119、出力部120、記憶部121、通信部122及びドライブ123が接続されている。
【0022】
GPS受信部116は、GPS衛星から受信したGPS信号に基づいて、情報処理装置100の位置(緯度、経度、高度)及びGPSによって示される現在時刻を検出する。
【0023】
撮像部117は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【0024】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部117にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【0025】
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部117の出力信号として、CPU111や図示しない画像処理部等に適宜供給される。
【0026】
センサ部118は、気圧センサ、気温センサ、湿度センサ、風速センサ、生体センサ(脈拍センサ、血圧センサ等)、地磁気センサ、3軸加速度センサ、3軸角速度センサ等の各種センサを備えている。センサ部118として備えられるこれらの各種センサは、情報処理装置100に内蔵する実装形態の他、外付けのユニットと接続する実装形態のいずれとすることも可能である。
【0027】
入力部119は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部120は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
なお、本実施形態において、情報処理装置100の入力部119はタッチセンサを備え、このタッチセンサが出力部120のディスプレイと重ねて配置されることにより、タッチパネルが構成されている。
記憶部121は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、各種データを記憶する。
通信部122は、インターネットを含むネットワークを介して他の装置との間で行う通信を制御する。また、通信部122は、端末間の直接的な無線通信によって他の装置との間で行う通信を制御する。
【0028】
ドライブ123には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア131が適宜装着される。ドライブ123によってリムーバブルメディア131から読み出されたプログラムは、必要に応じて記憶部121にインストールされる。また、リムーバブルメディア131は、記憶部121に記憶されている各種データも、記憶部121と同様に記憶することができる。
【0029】
図3は、情報処理装置200のハードウェアの構成を示すブロック図である。
情報処理装置200は、
図3に示すように、CPU211と、ROM212と、RAM213と、バス214と、入出力インターフェース215と、入力部216と、出力部217と、記憶部218と、通信部219と、ドライブ220と、を備えている。
図3に示す情報処理装置200において、各部のハードウェア構成は、
図2に示す情報処理装置100の対応するハードウェア構成と同様である。
ただし、本実施形態において、通信部219は、端末間の直接的な無線通信によって他の装置との間で通信を行う機能を省略することができる。また、ドライブ220には、ドライブ123と同様に、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア231が適宜装着される。
【0030】
[機能的構成]
次に、情報処理システム1の機能的構成について説明する。
図4は、
図2の情報処理装置100によって構成されるリスト端末10の機能的構成のうち、履歴記録処理及び構造化データ生成処理を実行するための機能的構成を示す機能ブロック図である。
履歴記録処理とは、ユーザの移動履歴を含むアクティビティの履歴を記録する一連の処理である。また、構造化データ生成処理とは、記録された履歴のデータに基づいて、位置情報及び位置情報に関連するコンテンツを表示するために記述される位置情報出力用構造化データを生成する一連の処理である。
【0031】
履歴記録処理及び構造化データ生成処理が実行される場合には、
図4に示すように、CPU111において、ユーザインターフェース表示制御部(UI表示制御部)51と、履歴取得部52と、アクティビティ判定部53と、動画属性設定部54と、パラメータ補正受付部55と、構造化データ生成部56と、構造化データ登録部57と、が機能する。
また、記憶部121の一領域には、履歴データ記憶部71が設定される。
履歴データ記憶部71には、ユーザの移動履歴を含むアクティビティの履歴のデータが記憶される。
【0032】
UI表示制御部51は、リスト端末10において、ユーザが情報を入出力するためのユーザインターフェースの画面を表示する。また、UI表示制御部51は、ユーザインターフェースの画面を介して各種操作を受け付ける。例えば、UI表示制御部51は、ユーザがアクティビティを開始するための操作を行った場合に、複数種類のアクティビティの候補一覧を表示し、ユーザによるアクティビティの選択を受け付ける。また、UI表示制御部51は、ユーザによって、アクティビティの履歴のデータから位置情報出力用構造化データを生成する指示が入力された場合に、そのアクティビティの履歴のデータに手動で関連付けられるコンテンツの入力(記憶領域のアドレスの入力等)を受け付ける。
履歴取得部52は、GPS受信部116によって検出される位置(緯度、経度、高度)及び現在時刻を逐次取得し、ユーザの移動履歴として、履歴データ記憶部71に記憶する。
【0033】
アクティビティ判定部53は、ユーザによるアクティビティの種類を判定する。本実施形態において、アクティビティ判定部53は、アクティビティの履歴のデータに含まれるアクティビティの種類のデータに基づいて、ユーザが行ったアクティビティの種類を判定する。なお、アクティビティ判定部53は、ユーザインターフェースの画面を介してユーザがアクティビティの候補一覧から選択したアクティビティの種類を検出することにより、ユーザが行うアクティビティの種類を判定することもできる。
【0034】
動画属性設定部54は、ユーザによるアクティビティの種類に応じた動画の属性(注目点の位置(緯度、経度、高度)、視点の移動速度、視点の高度、視点の方位(視線が向く方位)、視点の水平アングル(俯角)、各種イベント時の動作等)を設定する。本実施形態においては、アクティビティの種類と、そのアクティビティの種類に対応する動画の属性とがテーブル形式のデータ(以下、「動画属性テーブル」と称する。)として予め設定されている。そして、動画属性設定部54は、アクティビティの種類に対応する動画の属性を動画属性テーブルから読み出すことにより、動画の属性を設定する。
【0035】
図5は、動画属性テーブルの一例を示す模式図である。
図5に示すように、動画属性テーブルには、アクティビティの種類と、そのアクティビティの種類に対応する動画の属性とが対応付けて格納されている。
本実施形態においては、アクティビティの種類として、登山、ロードバイク(サイクリング)、スキー/スノーボード、パドルボード、サーフィン、オフロードバイクが定義されている。
【0036】
一般的な例として、登山における移動は、時速1~3[km/h]、標高0~8000[m]、移動距離15[km]程度である。また、ロードバイクにおける移動は、時速10~60[km/h]、移動距離は長距離(20[km]以上程度)である。また、スキー/スノーボードにおける移動は、時速20~50[km/h]、1回の移動距離は短距離(10[km]以下程度)である。また、パドルボードにおける移動は、時速2~10[km/h]、移動距離は不定である。また、サーフィンにおける移動は、時速10~40[km/h]、1回の移動距離は100[m]以下程度である。また、オフロードバイクにおける移動は、時速20~100[km/h]、移動距離は不定である。
【0037】
これらの特徴に鑑み、本実施形態においては、動画の属性として、注目点の位置(緯度、経度、高度)、視点の移動速度、視点の高度、視点の方位(視線が向く方位)、視点の水平アングル(俯角)、各種イベント時の動作(例えば、特定地点で一時停止するか否か、一時停止した場合のズームアップまたは急降下、あるいは、一時停止した場合の停止時間)等が含まれており、アクティビティの種類に応じた数値やアクションが定義されている。
【0038】
例えば、注目点の位置に関しては、動画における仮想的なカメラの撮影対象位置として、アクティビティの移動履歴における各位置または選択された特定の位置を定義することができる。
また、視点の移動速度に関しては、アクティビティにおける実際の移動速度の定数倍の移動速度または選択された特定の速度を定義したり、全工程を予め設定された時間(例えば3分等)で移動する速度として定義したりすることができる。
また、視点の高度に関しては、登山やトレッキングであれば、移動範囲を広く見渡せる視点の高さを定義したり、ロードバイク(サイクリング)であれば、自転車のスピード感を表現できる視点の高さ(即ち、登山やトレッキングよりも低い視点の高さ)を定義したりすることができる。
【0039】
また、視点の方位に関しては、アクティビティの種類に応じて、注目点を表示する際に視線(動画における仮想的なカメラの撮影方向)が向く方位を定義することができる。
また、視点の水平アングルに関しては、アクティビティの種類に応じた俯角を定義することができ、例えば、登山やトレッキングであれば、比較的大きい俯角(真下を見下ろす場合に近い角度)を定義したり、ロードバイク(サイクリング)であれば、比較的小さい俯角(進行方向を見る場合に近い角度)を定義したりすることができる。
【0040】
各種イベント時の動作に関しては、例えば、写真を撮影した地点での動作は、登山やトレッキングであれば、比較的長い時間(例えば3秒等)、移動を一時停止し、撮影地点に一時的にズームアップする動作の後、撮影した写真の画像をポップアップで表示したり、ロードバイクであれば、比較的短い時間(例えば1.5秒)、移動を一時停止し、撮影地点にズームアップすることなく、撮影した写真の画像をポップアップで表示したりすることができる。また、例えば、ユーザが発話を入力(リスト端末10に音声を入力)した地点での動作は、登山やトレッキングであれば、比較的長い時間(例えば3秒等)、移動速度を低下させ、発話した音声のテキストデータを吹き出し(バルーン)形式で表示したり、ロードバイクであれば、比較的短い時間(例えば1.5秒)、移動速度を低下させ、発話した音声のテキストデータを吹き出し(バルーン)形式で表示したりすることができる。その他、スタート地点やゴール地点、あるいは、ユーザが手動操作でアクティビティの終了後に履歴のデータの特定地点に追加したコメント等に関しては、マーカーとその地点に関するコメントを含むテキストボックスをポップアップで表示したりすることができ、その表示形態をアクティビティの種類に応じて異ならせることができる。
【0041】
パラメータ補正受付部55は、動画属性設定部54によって設定された動画の属性を表すパラメータに対して、ユーザによる補正の操作を受け付ける。例えば、パラメータ補正受付部55は、動画属性設定部54によって設定された移動速度、視点の高度あるいは視点の水平アングル等について、ユーザの操作に応じて、パラメータを変更する。
【0042】
構造化データ生成部56は、ユーザのアクティビティの履歴のデータについて、位置情報出力用構造化データを生成する指示が入力された場合に、そのアクティビティの履歴のデータに設定されている動画の属性に基づいて、アクティビティにおける移動履歴(位置情報)のデータと、その移動履歴に関連するコンテンツとを表示するための位置情報出力用構造化データを生成する。本実施形態において、移動履歴に関連するコンテンツは、記憶領域のアドレスを入力すること等により、ユーザが手動で関連付けたコンテンツであるものとする。
【0043】
図6は、位置情報出力用構造化データの一例を示す模式図である。
図6に示すように、位置情報出力用構造化データは、タグによって構造が定義された構造化文書として構成され、位置情報の出力を想定した各種タグが定義されている。このような構造化文書は、例えば、XML(eXtensible Markup Language)形式で記述することができ、視点を設定するタグやイベント時の動作を定義するタグ等、位置情報の出力に有効な各種タグを定義することができる。
本実施形態において、位置情報出力用構造化データは、
図6に示すように、機能毎にまとめられた複数のブロックによって構成される。一例として、位置情報出力用構造化データは、各種スタイルを定義するブロック、軌跡の線の描画を定義するブロック、マーカー類の描画を定義するブロック、動画の表示を定義するブロック等を含んでいる。
【0044】
各種スタイルを定義するブロックは、動画の表示における各種要素のスタイルを定義するものであり、例えば、動画の表示における要素としてのマーカーの画像が格納されたURL、マーカーの大きさ、あるいは、マーカーの透明度等が定義される。
軌跡の線の描画を定義するブロックは、動画に表示される軌跡の描画を定義するものであり、ユーザの移動履歴を表す複数の座標が、移動の時系列順に連続的に定義されている。また、軌跡の線の描画を定義するブロックには、軌跡の線幅や線色が定義されている。
【0045】
マーカー類の描画を定義するブロックは、軌跡に対して表示するマーカー類の描画を定義するものであり、軌跡に付加して表示するマーカー、発話した音声のテキストデータ、写真に関する情報、スタート位置及びゴール位置に関する情報等について、移動軌跡における表示位置及び対応する時刻(写真の撮影時刻等)、適用するスタイル、描画するコンテンツ(写真等)の実体が格納されたURL等が定義される。
【0046】
動画の表示を定義するブロックは、動画の演出を定義するものであり、動画におけるマーカー類の表示あるいは消去の動作(各種演出を含む動作)、注目点の位置(緯度、経度、高度)、視点の移動速度、視点の高度、視点の水平アングル、高度の基準(海抜高度等)が定義されている。動画の表示においては、定義された各視点の位置に、定義された視点の速度で順次移動しながら、注目点の位置を、定義された視点の高度及び水平アングル等から視認した風景(地図情報)が表示される。
【0047】
構造化データ登録部57は、構造化データ生成部56によって生成された位置情報出力用構造化データを、スマートフォン30を介してクラウドストレージサーバ50にアップロードする。
【0048】
図7は、
図3の情報処理装置200によって構成される地図情報提供サーバ40の機能的構成のうち、構造化データ解析処理を実行するための機能的構成を示す機能ブロック図である。
構造化データ解析処理とは、位置情報出力用構造化データを解釈し、その位置情報出力用構造化データに記述されている視点の位置を時系列に移動しながら地図情報及び関連するコンテンツ等を表示する一連の処理である。
【0049】
構造化データ解析処理が実行される場合には、
図7に示すように、CPU211において、構造化データ受信部151と、構造化データ実行部152と、コンテンツ取得部153と、が機能する。
【0050】
構造化データ受信部151は、PC60から処理対象の位置情報出力用構造化データを受信する。
構造化データ実行部152は、構造化データ受信部151によって受信された位置情報出力用構造化データを解釈し、関連するコンテンツのアドレス(クラウドストレージサーバ50における記憶領域のURL(Uniform Resource Locator)等)を特定する。構造化データ実行部152は、コンテンツ取得部153を介して、特定したアドレスから関連するコンテンツを取得する。そして、構造化データ実行部152は、位置情報出力用構造化データを実行し、その位置情報出力用構造化データに記述されている視点の位置を時系列に移動しながら地図情報及び関連するコンテンツ等を表示するための動画のデータを生成する。このとき、位置情報出力用構造化データには、アクティビティの種類に応じた動画の属性が記述されていることから、生成される動画のデータは、アクティビティに応じた適切な表示形態を有する動画となる。そして、構造化データ実行部152は、生成した動画のデータを、位置情報出力用構造化データを送信したPC60に送信する。
コンテンツ取得部153は、構造化データ実行部152が位置情報出力用構造化データを解釈することにより特定した関連するコンテンツのアドレスから、各種コンテンツを取得する。
【0051】
図8は、
図3の情報処理装置200によって構成されるクラウドストレージサーバ50の機能的構成のうち、ストレージサービス処理を実行するための機能的構成を示す機能ブロック図である。
ストレージサービス処理とは、リスト端末10から送信された位置情報出力用構造化データや、撮影装置20から送信された画像のデータ等、ユーザによってアップロードされた各種データをユーザと対応付けて記憶すると共に、地図情報提供サーバ40等の他の装置からの要求に応じて、記憶している各種データを提供する一連の処理である。
【0052】
ストレージサービス処理が実行される場合には、
図8に示すように、CPU211において、構造化データ受信部251と、構造化データ送信部252と、コンテンツ受信部253と、コンテンツ送信部254と、データ管理部255と、が機能する。
また、記憶部218の一領域には、構造化データ記憶部271と、関連コンテンツ記憶部272と、が設定される。
構造化データ記憶部271には、ユーザによってアップロードされた位置情報出力用構造化データがユーザの識別情報と対応付けて記憶される。
関連コンテンツ記憶部272には、ユーザによってアップロードされた各種コンテンツのデータがユーザの識別情報と対応付けて記憶される。
【0053】
構造化データ受信部251は、スマートフォン30等の他の装置から送信された位置情報出力用構造化データを受信し、受信した位置情報出力用構造化データを、送信したユーザの識別情報と共にデータ管理部255に出力する。
構造化データ送信部252は、スマートフォン30等の他の装置から位置情報出力用構造化データの送信要求を受信した場合に、受信した送信要求をデータ管理部255に出力する。構造化データの送信要求には、ユーザの識別情報と、送信が要求される構造化データの識別情報とが含まれている。そして、構造化データ送信部252は、データ管理部255から、送信要求に対応する位置情報出力用構造化データが入力されると、入力された位置情報出力用構造化データを、送信を要求した装置に送信する。
【0054】
コンテンツ受信部253は、スマートフォン30等の他の装置から送信されたコンテンツを受信し、受信したコンテンツを、送信したユーザの識別情報と共にデータ管理部255に出力する。
コンテンツ送信部254は、PC60等の他の装置からコンテンツの送信要求を受信した場合に、受信した送信要求をデータ管理部255に出力する。コンテンツの送信要求には、ユーザの識別情報と、送信が要求されるコンテンツの識別情報とが含まれている。そして、構造化データ送信部252は、データ管理部255から、送信要求に対応するコンテンツが入力されると、入力されたコンテンツを、送信要求の送信元である装置に送信する。
【0055】
データ管理部255は、構造化データ受信部251から、位置情報出力用構造化データ及び送信したユーザの識別情報が入力されると、位置情報出力用構造化データとユーザの識別情報とを対応付けて、構造化データ記憶部271に記憶する。また、データ管理部255は、構造化データ送信部252から、位置情報出力用構造化データの送信要求が入力されると、構造化データ記憶部271から、送信要求に示されるユーザの識別情報と対応付けられた位置情報出力用構造化データを読み出し、構造化データ送信部252に出力する。
【0056】
また、データ管理部255は、コンテンツ受信部253から、コンテンツ及び送信したユーザの識別情報が入力されると、コンテンツとユーザの識別情報とを対応付けて、関連コンテンツ記憶部272に記憶する。また、データ管理部255は、コンテンツ送信部254から、コンテンツの送信要求が入力されると、関連コンテンツ記憶部272から、送信要求に示されるユーザの識別情報と対応付けられたコンテンツを読み出し、コンテンツ送信部254に出力する。
【0057】
図9は、
図3の情報処理装置200によって構成されるPC60の機能的構成のうち、動画再生処理を実行するための機能的構成を示す機能ブロック図である。
動画再生処理とは、ユーザの指示に応じて、位置情報出力用構造化データに基づく動画を再生する一連の処理である。
【0058】
動画再生処理が実行される場合には、
図9に示すように、CPU211において、構造化データ取得部351と、動画再生依頼部352と、動画再生部353と、が機能する。
また、記憶部218の一領域には、構造化データ記憶部371が設定される。
構造化データ記憶部371には、動画の再生対象となる位置情報出力用構造化データが記憶される。
【0059】
構造化データ取得部351は、ユーザによって動画の再生が指示された位置情報出力用構造化データの送信要求を、クラウドストレージサーバ50に送信する。そして、構造化データ取得部351は、クラウドストレージサーバ50から、送信要求に対応する位置情報出力用構造化データを受信し、受信した位置情報出力用構造化データを構造化データ記憶部371に記憶する。
【0060】
動画再生依頼部352は、ユーザによって動画の再生が指示された位置情報出力用構造化データと共に、動画の再生依頼を地図情報提供サーバ40に送信する。
動画再生部353は、地図情報提供サーバ40から送信される位置情報出力用構造化データに基づく動画のデータを受信し、出力部217のディスプレイで再生する。
【0061】
[具体的表示例]
図10は、アクティビティの履歴のデータの一例を示す模式図である。
図10に示す例では、アクティビティとして登山を行った場合の履歴のデータ全体が示されており、移動履歴の軌跡における位置P1~P6には、各種マーカーが付加されている。なお、
図10における破線の太線は、移動履歴における軌跡を表している(
図11~13において同様である)。
例えば、位置P1におけるマーカーは、スタート位置を表すマーカーであり、「登山スタート 10:40:00」のテキストが表示されている。また、位置P2におけるマーカーは、ユーザによって追加されたコメントのテキストを表すマーカーであり、「コメント 10:46:45」のテキストが表示されている。また、位置P3におけるマーカーは、ユーザが発話により入力したコメントが音声認識されたテキストを表すマーカーであり、「発話 12:36:54」のテキストが表示されている。また、位置P4におけるマーカーは、写真が撮影された位置を表すマーカーであり、「写真 13:04:22」のテキストが表示されている。また、位置P5におけるマーカーは、写真が撮影された位置を表すマーカーであり、「写真 13:48:04」のテキストが表示されている。また、位置P6におけるマーカーは、ゴール位置を表すマーカーであり、「登山ゴール 14:28:47」のテキストが表示されている。
【0062】
このようなアクティビティの履歴のデータは、リスト端末10によって、アクティビティの種類に応じた動画の属性が設定された位置情報出力用構造化データとされ、地図情報提供サーバ40によって解釈・実行されることにより、アクティビティの種類に応じた適切な表示形態の動画とされる。
【0063】
図11は、
図10に示すアクティビティの履歴のデータが動画とされた場合の表示例を示す模式図である。
図11において、破線の丸印は注目点の位置を示している。なお、注目点を示す丸印は、注目点の位置を模式的に示すために示されているが、本実施形態において、実際の動画には表示されない。ただし、移動するアイコン等を表示することにより、注目点の位置を明示的に示すこととしてもよい。
【0064】
図11に示すように、
図10に示す登山の履歴のデータが動画とされた場合、スタート位置から、注目点の位置を逐次移動させつつ、比較的広い範囲を見渡せる高度に設定された視点が移動履歴を辿る表示形態となる。
そして、注目点が、移動履歴の軌跡におけるイベントが設定された位置に到達すると、設定されているイベントの動作が実行される。
【0065】
図12は、写真が撮影された位置P4における写真撮影のイベントの動作を示す模式図である。
図12において、写真が撮影された位置P4に注目点が到達した場合、比較的長い時間(例えば3秒等)、視点及び注目点の移動が一時停止される。そして、撮影地点(位置P4)に一時的にズームアップされた後、撮影された写真の画像がポップアップで表示される。
【0066】
図13は、位置P4において、撮影された写真の画像がポップアップで表示された状態を示す模式図である。
なお、
図13に示す例では、撮影された写真と共に、ユーザによって入力されたコメントを示すテキストが表示されている。
【0067】
図13に示すように、写真が撮影された位置P4に注目点が到達した場合、比較的長い時間(例えば3秒等)、視点及び注目点の移動が一時停止された後、撮影地点にズームアップされ、撮影地点付近が拡大された画像が表示される。そして、位置P4に関連付けられている写真を含むポップアップが所定時間表示される。その後、ポップアップの表示が消去され、ズームアップされた状態から元の視点の位置に復帰し、動画の表示が継続される。
【0068】
図13に示す例では、写真を含むポップアップが移動履歴の軌跡と重ならないように表示されている。そのため、移動履歴の軌跡におけるいずれの位置に対応する写真であるかを容易に把握することができる。なお、位置P4に関連付けられている写真をより大きいサイズあるいは画面全体に表示することとしてもよい。この場合、位置P4に関連付けられている写真をより視認し易い形態で表示することができる。
【0069】
[動作]
次に、情報処理システム1の動作を説明する。
[履歴記録処理]
図14は、
図4の機能的構成を有するリスト端末10が実行する履歴記録処理の流れを説明するフローチャートである。
履歴記録処理は、入力部119を介して履歴記録処理の開始を指示する操作が行われることにより開始される。
【0070】
ステップS1において、UI表示制御部51は、ユーザが情報を入出力するためのユーザインターフェースの画面を表示する。
ステップS2において、UI表示制御部51は、履歴記録処理の対象となるアクティビティの種類の入力を受け付ける。このとき、UI表示制御部51は、複数種類のアクティビティの候補一覧を表示し、ユーザによるアクティビティの選択を受け付ける。
【0071】
ステップS3において、履歴取得部52は、GPS受信部116によって検出される位置(緯度、経度、高度)及び現在時刻を取得する。
ステップS4において、履歴取得部52は、履歴記録処理の終了が指示されたか否かの判定を行う。
履歴記録処理の終了が指示されていない場合、ステップS4においてNOと判定されて、処理はステップS3に移行する。
一方、履歴記録処理の終了が指示された場合、ステップS4においてYESと判定されて、処理はステップS5に移行する。
【0072】
ステップS5において、履歴取得部52は、取得した一連の位置のデータを取得された時刻と対応付けて、ユーザの移動履歴として、履歴データ記憶部71に記憶する。なお、このとき記憶されるユーザの移動履歴には、ステップS2において受け付けられたアクティビティの種類のデータが含まれている。
ステップS5の後、履歴記録処理は終了となる。
【0073】
[構造化データ生成処理]
図15は、
図4の機能的構成を有するリスト端末10が実行する構造化データ生成処理の流れを説明するフローチャートである。
構造化データ生成処理は、入力部119を介して構造化データ生成処理の開始を指示する操作が行われることにより開始される。
【0074】
ステップS11において、UI表示制御部51は、構造化データ生成処理の対象となるアクティビティの履歴のデータの選択を受け付ける。
ステップS12において、アクティビティ判定部53は、アクティビティの履歴のデータに含まれるアクティビティの種類のデータに基づいて、ユーザが行ったアクティビティの種類を判定する。
【0075】
ステップS13において、動画属性設定部54は、ユーザによるアクティビティの種類に応じた動画の属性(注目点の位置(緯度、経度、高度)、視点の移動速度、視点の高度、視点の方位(視線が向く方位)、視点の水平アングル(俯角)、各種イベント時の動作等)を設定する。このとき、動画属性設定部54は、アクティビティの種類に対応する動画の属性を動画属性テーブルから読み出すことにより、動画の属性を設定する。
ステップS14において、パラメータ補正受付部55は、動画属性設定部54によって設定された動画の属性を表すパラメータに対して、ユーザによる補正の操作を受け付ける。
【0076】
ステップS15において、構造化データ生成部56は、アクティビティの履歴のデータに設定されている動画の属性に基づいて、アクティビティにおける移動履歴(位置情報)のデータと、その移動履歴に関連するコンテンツとを表示するための位置情報出力用構造化データを生成する。
ステップS16において、構造化データ登録部57は、構造化データ生成部56によって生成された位置情報出力用構造化データを、スマートフォン30を介してクラウドストレージサーバ50にアップロードする。
ステップS16の後、構造化データ解析処理は終了となる。
【0077】
[構造化データ解析処理]
図16は、
図7の機能的構成を有する地図情報提供サーバ40が実行する構造化データ解析処理の流れを説明するフローチャートである。
構造化データ解析処理は、入力部216あるいは通信部219を介して構造化データ解析処理の開始を指示する操作が行われることにより開始される。
【0078】
ステップS21において、構造化データ受信部151は、動画の再生依頼と共に、PC60から処理対象の位置情報出力用構造化データを受信する。
ステップS22において、構造化データ実行部152は、構造化データ受信部151によって受信された位置情報出力用構造化データを解釈する。これにより、関連するコンテンツのアドレス(クラウドストレージサーバ50における記憶領域のURL等)が特定される。
【0079】
ステップS23において、コンテンツ取得部153は、構造化データ実行部152が位置情報出力用構造化データを解釈することにより特定した関連するコンテンツのアドレスから、各種コンテンツを取得し、取得したコンテンツを構造化データ実行部152に出力する。
ステップS24において、構造化データ実行部152は、位置情報出力用構造化データを実行する。これにより、その位置情報出力用構造化データに記述されている視点の位置を時系列に移動しながら地図情報及び関連するコンテンツ等を表示するための動画のデータが生成される。
【0080】
ステップS25において、構造化データ実行部152は、生成した動画のデータを、位置情報出力用構造化データの送信元であるPC60に送信する。
なお、構造化データ実行部152が動画のデータをPC60に送信する場合、生成された動画のデータ全体を一括して送信したり、動画のデータを小サイズの部分データに分割して送信したりすることのいずれも可能である。
ステップS25の後、構造化データ解析処理が繰り返される。
【0081】
[ストレージサービス処理]
図17は、
図8の機能的構成を有するクラウドストレージサーバ50が実行するストレージサービス処理の流れを説明するフローチャートである。
ストレージサービス処理は、入力部216あるいは通信部219を介してストレージサービス処理の開始を指示する操作が行われることにより開始される。
【0082】
ステップS31において、構造化データ受信部251は、位置情報出力用構造化データを受信したか否かの判定を行う。
位置情報出力用構造化データを受信していない場合、ステップS31においてNOと判定されて、処理はステップS33に移行する。
一方、位置情報出力用構造化データを受信した場合、ステップS31においてYESと判定されて、処理はステップS32に移行する。
【0083】
ステップS32において、データ管理部255は、構造化データ受信部251によって受信された位置情報出力用構造化データを、送信したユーザの識別情報と対応付けて構造化データ記憶部271に記憶する。
ステップS33において、構造化データ送信部252は、位置情報出力用構造化データの送信要求を受信したか否かの判定を行う。位置情報出力用構造化データの送信要求には、ユーザの識別情報と、送信が要求される位置情報出力用構造化データの識別情報とが含まれている。
【0084】
位置情報出力用構造化データの送信要求を受信していない場合、ステップS33においてNOと判定されて、処理はステップS36に移行する。
位置情報出力用構造化データの送信要求を受信した場合、ステップS33においてYESと判定されて、処理はステップS34に移行する。
ステップS34において、データ管理部255は、構造化データ記憶部271から、送信要求に示されるユーザの識別情報と対応付けられた位置情報出力用構造化データの中から、送信要求に示される識別情報に対応する位置情報出力用構造化データを読み出す。
【0085】
ステップS35において、構造化データ送信部252は、読み出された位置情報出力用構造化データを、送信要求の送信元である装置に送信する。
ステップS36において、コンテンツ受信部253は、コンテンツを受信したか否かの判定を行う。
コンテンツを受信していない場合、ステップS36においてNOと判定されて、処理はステップS38に移行する。
一方、コンテンツを受信した場合、ステップS36においてYESと判定されて、処理はステップS37に移行する。
【0086】
ステップS37において、データ管理部255は、コンテンツ受信部253によって受信されたコンテンツを、送信したユーザの識別情報と対応付けて関連コンテンツ記憶部272に記憶する。
ステップS38において、コンテンツ送信部254は、コンテンツの送信要求を受信したか否かの判定を行う。コンテンツの送信要求には、ユーザの識別情報と、送信が要求されるコンテンツの識別情報とが含まれている。
コンテンツの送信要求を受信していない場合、ステップS38においてNOと判定されて、ストレージサービス処理が繰り返される。
コンテンツの送信要求を受信した場合、ステップS38においてYESと判定されて、処理はステップS39に移行する。
【0087】
ステップS39において、データ管理部255は、関連コンテンツ記憶部272から、送信要求に示されるユーザの識別情報と対応付けられたコンテンツの中から、送信要求に示される識別情報に対応するコンテンツを読み出す。
ステップS40において、コンテンツ送信部254は、読み出されたコンテンツを、送信要求の送信元である装置に送信する。
ステップS40の後、ストレージサービス処理が繰り返される。
【0088】
[動画再生処理]
図18は、
図9の機能的構成を有するPC60が実行する動画再生処理の流れを説明するフローチャートである。
動画再生処理は、入力部119を介して動画再生処理の開始を指示する操作が行われることにより開始される。
【0089】
ステップS51において、構造化データ取得部351は、ユーザによって動画の再生が指示された位置情報出力用構造化データの送信要求を、クラウドストレージサーバ50に送信することにより、位置情報出力用構造化データを取得する。取得された位置情報出力用構造化データは、構造化データ記憶部371に記憶される。
ステップS52において、動画再生依頼部352は、ユーザによって動画の再生が指示された位置情報出力用構造化データと共に、動画の再生依頼を地図情報提供サーバ40に送信する。
【0090】
ステップS53において、動画再生部353は、地図情報提供サーバ40から送信される位置情報出力用構造化データに基づく動画のデータを受信する。
ステップS54において、動画再生部353は、受信した動画のデータを出力部217のディスプレイで再生する。
ステップS54の後、動画再生処理は終了となる。
【0091】
このような処理により、情報処理システム1においては、アクティビティにおける履歴のデータから、アクティビティの種類に応じて設定されている動画の属性に基づいて、位置情報出力用構造化データが自動的に生成される。
そして、地図情報提供サーバ40によって、位置情報出力用構造化データを基に、ユーザの移動軌跡を辿って地図上を移動する動画のデータが生成される。このとき生成される動画のデータには、マーカー、写真、コメント等、移動履歴の各位置に関連するコンテンツが含まれており、これらのコンテンツ及び動画は、アクティビティの種類に適した表示形態で表示される。
そのため、ユーザが移動履歴のデータに対して、手動で動画の属性を設定して位置情報出力用構造化データを生成することは極めて煩雑であるところ、移動軌跡を辿る動画の演出を簡単に設定することができる。
即ち、動画の移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
【0092】
[変形例1]
上述の実施形態において、位置情報出力用構造化データに対して動画の属性を設定する場合、アクティビティの種類に対応して予め設定されている動画の属性を自動的に設定するものとしたが、これに限られない。
例えば、移動軌跡における所定の情報の大きさ、変化度または変化率等に基づいて、動画の属性を設定することとしてもよい。一例として、移動履歴における滞在時間、画像の撮像枚数、撮像画像のサイズ(容量)、コメントの数、センサ情報の大きさ、変化度または変化率(最も温度が高い、最も標高が高い、風速が大きい、心拍数の変化率等)に応じて、それらに対応する位置での動画の属性を設定することができる。
これにより、ユーザの移動履歴における特徴的な位置を動画において識別可能に表示することができる。
【0093】
[変形例2]
上述の実施形態において、位置情報出力用構造化データに対してユーザが手動で動画の属性を設定する場合、設定の対象とする位置にカテゴリ(評価情報)を設定することにより、動画の属性を設定するようにしてもよい。この場合、例えば、位置の重要度等を表すランクとしてカテゴリを設定し、各カテゴリに対応する動画の属性を予め設定しておく。そして、いずれかのカテゴリが所定位置に設定された場合、その所定位置における動画の属性として、そのカテゴリに対応する動画の属性が設定される。
これにより、ユーザが手動で動画の属性を設定する場合にも、より簡単な操作で動画の属性を設定することが可能となる。
【0094】
[変形例3]
上述の実施形態において、移動履歴に関連するコンテンツは、記憶領域のアドレスを入力すること等により、ユーザが手動で関連付けたコンテンツであるものとして説明したが、これに限られない。
即ち、移動履歴にコンテンツを関連付ける場合、関連付けの方法として種々の形態を取ることができる。
一例として、リスト端末10を撮影装置20のリモートコントローラとして機能させることができ、この場合、リスト端末10が撮影装置20からライブビュー画像を受信して表示することができる。そして、ユーザによって、リスト端末10において画像を保存する指示または撮影装置20に対する撮影の指示が行われた場合に、リスト端末10は、ライブビュー画像に基づく画像(サムネイル画像等)を記録する。すると、ライブビュー画像に基づく画像の記録日時に基づいて、移動履歴の特定の位置と、記録されたライブビュー画像とを対応付けることが可能となる。
【0095】
また、他の例として、撮影装置20に対する撮影の指示が行われた場合に、撮影装置20からリスト端末10に対して、撮影の実行を示す情報を送信すること等により、リスト端末10において撮影装置20における撮影の実行を検出することができる。リスト端末10は、撮影の実行日時を移動履歴と対応付けて記録しておく。そして、位置情報出力用構造化データが生成される場合、リスト端末10は、所定の記憶領域等に記憶されている画像の撮影日時と、移動履歴と対応付けられている撮影の実行日時とを照合することにより、画像を特定して関連付けることができる。
【0096】
また、さらに他の例として、リスト端末10が、移動履歴の日時及び位置と、所定の記憶領域等に記憶された写真の撮影日時や撮影位置とを照合し、日時や位置が合致するコンテンツを、移動履歴と自動的に関連付けることができる。
なお、写真以外のコンテンツも、これらの形態で移動履歴と対応付けることができる。
これにより、ユーザは、移動履歴とコンテンツとを手動で関連付けることなく、簡単に適切なコンテンツを移動履歴と対応付けることが可能となる。
【0097】
[変形例4]
上述の実施形態において、移動履歴を辿る動画が表示される場合、アクティビティの履歴のデータに関連するコンテンツを、各コンテンツに設定された動画の属性に基づいて表示するものとしたが、これに限られない。
例えば、同一の位置または近接する位置(例えば、数十メートル以内程度)に複数のコンテンツが関連付けられている場合、設定されている動画の属性に対して補正を加え、複数のコンテンツ全体として、より適切な表示が行われるようにしてもよい。
一例として、登山において、同一の位置(例えば、山頂)に複数の写真が対応付けられている場合、いずれかの写真を選択して表示し、他の写真を表示しないようにしたり、各写真の表示時間を短縮して表示したりすることができる。
また、所定位置への滞在時間に応じて、その位置にマーカーを自動的に設定する場合等には、単位時間あたりの行動半径が閾値未満であれば、その位置へのマーカーの設定を回避するよう制御すること等が可能である。
【0098】
以上のように構成されるリスト端末10は、構造化データ生成部56を備える。
構造化データ生成部56は、移動軌跡における所定位置に関連する関連情報と、移動軌跡を辿る動画の表示制御情報と、移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において移動軌跡を辿る動画の表示を定義する構造化データを生成する。
移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡である。
構造化データ生成部56は、ユーザにおける所定の行動の内容に応じて、表示制御情報に動画を表示させるように、構造化データを生成する。
これにより、構造化データを実行することで、表示制御情報に従って、移動軌跡に対する関連情報を表示しながら、行動の履歴に対応する移動軌跡を辿る動画を表示することが可能となる。
したがって、移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
【0099】
構造化データ生成部56は、移動軌跡における所定位置に関連する関連情報を、移動軌跡情報における所定位置に対応付けると共に、表示制御情報に基づく表示形態で、移動軌跡を辿る動画における所定位置での関連情報の表示を定義した構造化データを生成する。
これにより、移動軌跡における所定位置で、その位置に関連する情報を所定の表示制御に従って表示する演出を行いつつ、移動軌跡を辿る動画を表示することができる。
【0100】
構造化データには、注目点の位置、視点に関する情報、及び、予め設定されたイベント時の動作の少なくともいずれかが定義されている。
これにより、移動軌跡を辿る多様な形態の動画を定義することができる。
【0101】
構造化データ生成部56は、ユーザにおける所定の行動の種類に応じて、表示制御情報に動画を表示させるように、構造化データを生成する。
これにより、ユーザが行った行動の種類に応じて、適切な表示形態で移動軌跡を辿る動画を表示することが可能となる。
【0102】
構造化データ生成部56は、ユーザにおける所定の行動の内容に応じて、表示制御情報を変化させて、構造化データを生成する。
これにより、ユーザが行った行動の内容に応じて、適切な表示形態で移動軌跡を辿る動画となるように表示制御情報を変化させることが可能となる。
【0103】
表示制御情報は、関連情報の表示時間、表示サイズの変化、表示における表現方法の少なくともいずれかを制御する情報を含む。
これにより、多様な表示形態で、関連情報を表示することが可能となる。
【0104】
また、リスト端末10は、パラメータ補正受付部55を備える。
パラメータ補正受付部55は、表示制御情報を補正する。
これにより、設定された表示制御情報をユーザの要求等に応じて補正することが可能となる。
【0105】
構造化データ生成部56は、予め設定されている表示制御情報を自動で取得する、または、ユーザによって入力された表示制御情報を取得する。
これにより、ユーザによる入力の手間を省略して表示制御情報を設定したり、ユーザの要求に応じて柔軟に表示制御情報を設定したりすることが可能となる。
【0106】
構造化データ生成部56は、移動軌跡における所定の情報の大きさ、変化度または変化率の少なくともいずれかに基づいて、表示制御情報を設定する。
これにより、移動軌跡における特徴的な位置を動画において識別可能に表示することが可能となる。
【0107】
表示制御情報は、所定のカテゴリに分類され、分類されたカテゴリ毎に制御内容が決定されている。
構造化データ生成部56は、移動軌跡に対して設定されたカテゴリに基づいて、移動軌跡を辿る動画の表示形態を設定する。
これにより、ユーザが手動で表示制御情報を設定する場合にも、より簡単な操作で設定することが可能となる。
【0108】
構造化データ生成部56は、移動軌跡に重なることがないように、関連情報を表示する構造化データを生成する。
これにより、移動軌跡におけるいずれの位置に対応する関連情報であるかを容易に把握することができる。
【0109】
関連情報は、撮像された画像、他の装置から取得された画像、コメント、マーカー、センサからの情報を含む。
これにより、多様な関連情報を移動軌跡と関連付けて表示することが可能となる。
【0110】
また、以上のように構成される地図情報提供サーバ40は、構造化データ実行部152を備える。
構造化データ実行部152は、移動軌跡における所定位置に関連する関連情報と、移動軌跡を辿る動画の表示制御情報と、移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において移動軌跡を辿る動画の表示が定義された構造化データを実行する。
移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡である。
構造化データ実行部152は、ユーザにおける前記所定の行動の内容に応じて、表示制御情報に従って動画を実行する。
これにより、表示制御情報に従って、移動軌跡に対する関連情報を表示しながら、行動の履歴に対応する移動軌跡を辿る動画を表示することが可能となる。
したがって、移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
【0111】
また、以上のように構成されるPC60は、動画再生部353を備える。
動画再生部353は、移動軌跡における所定位置に関連する関連情報と、移動軌跡を辿る動画の表示制御情報と、移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において移動軌跡を辿る動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する。
移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡である。
動画再生部353は、ユーザにおける所定の行動の内容に応じて、表示制御情報に従って実行された動画を表示する。
これにより、表示制御情報に従って、移動軌跡に対する関連情報を表示しながら、行動の履歴に対応する移動軌跡を辿る動画を表示することが可能となる。
したがって、移動軌跡の再生時に多様な情報を付加した表示を行うことが可能となる。
【0112】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0113】
上述の実施形態では、撮影装置20は、アクティビティにおいて撮影を行った場合に、撮影した画像のデータを、スマートフォン30を介してクラウドストレージサーバ50にアップロードすることとしたが、これに限られない。即ち、撮影装置20によって撮影された画像のデータをPC60における動画再生処理に用いることができれば、撮影された画像をクラウドストレージサーバ50以外の装置に記憶しておくこととしてもよい。
【0114】
また、上述の実施形態では、リスト端末10が移動履歴のデータの取得、及び、位置情報出力用構造化データの生成を行い、地図情報提供サーバ40が位置情報出力用構造化データの解釈・実行を行い、PC60が動画の再生を行うこととして説明したが、これに限られない。即ち、これらの処理を単一の情報処理装置で実行したり、複数の情報処理装置で任意に分担して実行したりすることが可能である。
【0115】
また、上述の実施形態において、移動履歴に関連するコンテンツとしては、撮像された画像(写真)、ネットワーク70等を介して他の装置から取得された画像、コメント、マーカー、センサによって検出された情報(気温、天気(湿度あるいは気圧等)、標高、風速、ユーザの生体情報(体温、心拍))の各種情報を対象とすることができる。
【0116】
また、上述の実施形態において、コンテンツの演出形態としては、コンテンツの表示時間、表示サイズの変化、表示における表現方法(回転、点滅あるいは半透過表示等)を動画の属性において定義することができる。
【0117】
また、上述の実施形態において生成される位置情報出力用構造化データは、例えば、KLM(Keyhole Markup Language)形式のデータとして出力することが可能である。
【0118】
また、上述の実施形態では、本発明が適用される情報処理装置100,200は、リスト端末10、撮影装置20、スマートフォン30、地図情報提供サーバ40、クラウドストレージサーバ50、あるいは、PC60を例として説明したが、特にこれに限定されない。
例えば、本発明は、構造化データの生成処理機能、構造化データの解釈・実行機能、あるいは、構造化データに基づく動画の再生機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【0119】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図4,7,9の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置100,200に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図4,7,9の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
【0120】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0121】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される
図2,3のリムーバブルメディア131,231により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア131,231は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている
図2,3のROM112,212や、
図2,3の記憶部121,218に含まれるハードディスク等で構成される。
【0122】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0123】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0124】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示を定義する構造化データを生成する構造化データ生成手段を備え、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ生成手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データを生成することを特徴とする情報処理装置。
[付記2]
前記構造化データ生成手段は、前記移動軌跡における所定位置に関連する関連情報を、前記移動軌跡情報における前記所定位置に対応付けると共に、前記表示制御情報に基づく表示形態で、前記移動軌跡を辿る動画における前記所定位置での前記関連情報の表示を定義した前記構造化データを生成することを特徴とする付記1に記載の情報処理装置。
[付記3]
前記構造化データには、注目点の位置、視点に関する情報、及び、予め設定されたイベント時の動作の少なくともいずれかが定義されていることを特徴とする付記1または2に記載の情報処理装置。
[付記4]
前記構造化データ生成手段は、ユーザにおける前記所定の行動の種類に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データを生成することを特徴とする付記1から3のいずれか1つに記載の情報処理装置。
[付記5]
前記構造化データ生成手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報を変化させて、前記構造化データを生成することを特徴とする付記1から4のいずれか1つに記載の情報処理装置。
[付記6]
前記表示制御情報は、前記関連情報の表示時間、表示サイズの変化、表示における表現方法の少なくともいずれかを制御する情報を含むことを特徴とする付記1から5のいずれか1つに記載の情報処理装置。
[付記7]
前記表示制御情報を補正する補正手段を備えることを特徴とする付記1から6のいずれか1つに記載の情報処理装置。
[付記8]
前記構造化データ生成手段は、予め設定されている前記表示制御情報を自動で取得する、または、ユーザによって入力された前記表示制御情報を取得することを特徴とする付記1から7のいずれか1つに記載の情報処理装置。
[付記9]
前記構造化データ生成手段は、前記移動軌跡における所定の情報の大きさ、変化度または変化率の少なくともいずれかに基づいて、前記表示制御情報を設定することを特徴とする付記1から8のいずれか1つに記載の情報処理装置。
[付記10]
前記表示制御情報は、所定のカテゴリに分類され、分類されたカテゴリ毎に制御内容が決定されており、
前記構造化データ生成手段は、前記移動軌跡に対して設定された前記カテゴリに基づいて、前記移動軌跡を辿る動画の表示形態を設定することを特徴とする付記1から9のいずれか1つに記載の情報処理装置。
[付記11]
前記構造化データ生成手段は、前記移動軌跡に重なることがないように、前記関連情報を表示する前記構造化データを生成することを特徴とする付記1から10のいずれか1つに記載の情報処理装置。
[付記12]
前記関連情報は、撮像された画像、他の装置から取得された画像、コメント、マーカー、センサからの情報を含むことを特徴とする付記1から11のいずれか1つに記載の情報処理装置。
[付記13]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データを実行する構造化データ実行手段を備え、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ実行手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って前記動画を実行することを特徴とする情報処理装置。
[付記14]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する動画表示手段を備え、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記動画表示手段は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って実行された前記動画を表示することを特徴とする情報処理装置。
[付記15]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示を定義する構造化データを生成する構造化データ生成ステップを含み、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ生成ステップでは、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データが生成されることを特徴とする情報処理方法。
[付記16]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データを実行する構造化データ実行ステップを含み、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ実行ステップでは、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って前記動画が実行されることを特徴とする情報処理方法。
[付記17]
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する動画表示ステップを含み、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記動画表示ステップでは、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って実行された前記動画が表示されることを特徴とする情報処理方法。
[付記18]
コンピュータに、
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示を定義する構造化データを生成する構造化データ生成機能を実現させ、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ生成機能は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に前記動画を表示させるように、前記構造化データを生成することを特徴とするプログラム。
[付記19]
コンピュータに、
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて作成された、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データを実行する構造化データ実行機能を実現させ、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記構造化データ実行機能は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って前記動画を実行することを特徴とするプログラム。
[付記20]
コンピュータに、
移動軌跡における所定位置に関連する関連情報と、前記移動軌跡を辿る動画の表示制御情報と、前記移動軌跡を表す移動軌跡情報とに基づいて、地図情報として提供される地図表示内において前記移動軌跡を辿る前記動画の表示が定義された構造化データが実行された結果の動画データを取得して表示する動画表示機能を実現させ、
前記移動軌跡は、ユーザにおける所定の行動の履歴に対応する移動軌跡であり、
前記動画表示機能は、ユーザにおける前記所定の行動の内容に応じて、前記表示制御情報に従って実行された前記動画を表示することを特徴とするプログラム。
【符号の説明】
【0125】
1・・・情報処理システム,10・・・リスト端末,20・・・撮影装置,30・・・スマートフォン,40・・・地図情報提供サーバ,50・・・クラウドストレージサーバ,60・・・PC,70・・・ネットワーク,111、211・・・CPU,112、212・・・ROM,113、213・・・RAM,114、214・・・バス,115、215・・・入出力インターフェース,116・・・GPS部,117・・・撮像部,118・・・センサ部,119、216・・・入力部,120、217・・・出力部,121、218・・・記憶部,122、219・・・通信部,123、220・・・ドライブ,131、231・・・リムーバブルメディア,51・・・ユーザインターフェース表示制御部(UI表示制御部),52・・・履歴取得部,53・・・アクティビティ判定部,54・・・動画属性設定部,55・・・パラメータ補正受付部,56・・・構造化データ生成部,57・・・構造化データ登録部,71・・・履歴データ記憶部,151,251・・・構造化データ受信部,152・・・構造化データ実行部,153・・・コンテンツ取得部,252・・・構造化データ送信部,253・・・コンテンツ受信部,254・・・コンテンツ送信部,255・・・データ管理部,271,371・・・構造化データ記憶部,272・・・関連コンテンツ記憶部,351・・・構造化データ取得部,352・・・動画再生依頼部,353・・・動画再生部