特許 7195430 撮影データ生成装置、撮影データ生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-15

(45)【発行日】2022-12-23

(54)【発明の名称】撮影データ生成装置、撮影データ生成方法及びプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20221216BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 7

(21)【出願番号】P 2021528626

(86)(22)【出願日】2019-06-21

(86)【国際出願番号】 JP2019024816

(87)【国際公開番号】W WO2020255408

(87)【国際公開日】2020-12-24

【審査請求日】2021-10-13

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】越智 敬之

(72)【発明者】

【氏名】大橋 良徳

【審査官】山内 裕史

(56)【参考文献】

【文献】特開２０１８－１２８３１４（ＪＰ，Ａ）

【文献】特開２０１１－２４８８３２（ＪＰ，Ａ）

【文献】特開２０１８－２０５９５０（ＪＰ，Ａ）

【文献】特開２０１０－７２９８２（ＪＰ，Ａ）

【文献】特開２０１３－２３２０６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

撮影画像を順次受け付ける撮影画像受付部と、
複数の前記撮影画像に基づいて、環境地図を生成する環境地図生成部と、
前記環境地図に関連付けられる、前記撮影画像の撮影位置又は当該撮影画像の被写体を示す撮影データを生成する撮影データ生成部と、
前記環境地図と前記撮影データとに基づいて、複数の前記撮影画像のうちから、所定の条件を満足する一部である重要画像を特定する重要画像特定部と、
前記重要画像の前後の複数のフレームについての、前記撮影画像、前記環境地図及び当該撮影画像に基づいて生成される奥行き情報、並びに、撮影方向に基づいて、当該重要画像を高画質化した画像を生成する画像生成部と、
を含むことを特徴とする撮影データ生成装置。

【請求項2】

前記重要画像に対応付けられる前記撮影データに基づいて、当該重要画像についての前記環境地図内における撮影位置及び撮影方向を特定する撮影位置特定部、をさらに含み、
前記画像生成部は、前記重要画像について特定される前記撮影位置から当該重要画像について特定される前記撮影方向に向かって前記環境地図を見た様子を表す新たな画像を生成する、
ことを特徴とする請求項１に記載の撮影データ生成装置。

【請求項3】

前記重要画像特定部は、前記撮影データに基づいて評価される、当該撮影データに対応付けられる前記撮影画像がレアなものである程度に基づいて、前記重要画像を特定する、
ことを特徴とする請求項１又は２に記載の撮影データ生成装置。

【請求項4】

前記重要画像特定部は、前記撮影画像が撮影された位置の密度に基づいて、前記重要画像を特定する、
ことを特徴とする請求項３に記載の撮影データ生成装置。

【請求項5】

前記撮影データは、前記環境地図における前記撮影画像の撮影位置及び撮影方向を示すデータ、又は、前記環境地図における被写体の位置を示すデータである、
ことを特徴とする請求項１から４のいずれか一項に記載の撮影データ生成装置。

【請求項6】

撮影画像を順次受け付けるステップと、
複数の前記撮影画像に基づいて、環境地図を生成するステップと、
前記環境地図に関連付けられる、前記撮影画像の撮影位置又は当該撮影画像の被写体を示す撮影データを生成するステップと、
前記環境地図と前記撮影データとに基づいて、複数の前記撮影画像のうちから、所定の条件を満足する一部である重要画像を特定するステップと、
前記重要画像の前後の複数のフレームについての、前記撮影画像、前記環境地図及び当該撮影画像に基づいて生成される奥行き情報、並びに、撮影方向に基づいて、当該重要画像を高画質化した画像を生成するステップと、
を含むことを特徴とする撮影データ生成方法。

【請求項7】

撮影画像を順次受け付ける手順、
複数の前記撮影画像に基づいて、環境地図を生成する手順、
前記環境地図に関連付けられる、前記撮影画像の撮影位置又は当該撮影画像の被写体を示す撮影データを生成する手順、
前記環境地図と前記撮影データとに基づいて、複数の前記撮影画像のうちから、所定の条件を満足する一部である重要画像を特定する手順、
前記重要画像の前後の複数のフレームについての、前記撮影画像、前記環境地図及び当該撮影画像に基づいて生成される奥行き情報、並びに、撮影方向に基づいて、当該重要画像を高画質化した画像を生成する手順、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影データ生成装置、撮影データ生成方法及びプログラムに関する。

【背景技術】

【0002】

トラッカーが取得する映像、音声、位置情報などのセンシングデータを、当該トラッカーを装着しているユーザのライフログとして記録する技術が知られている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上記のライフログの活用にあたっては、当該ライフログにセンシングデータのみならず様々な種類のデータが蓄積されることが望ましい。

【0004】

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、ライフログとして蓄積されるデータを充実化できる撮影データ生成装置、撮影データ生成方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明に係る撮影データ生成装置は、撮影画像を順次受け付ける撮影画像受付部と、複数の前記撮影画像に基づいて、環境地図を生成する環境地図生成部と、前記環境地図に関連付けられる、前記撮影画像の撮影位置又は当該撮影画像の被写体を示す撮影データを生成する撮影データ生成部と、を含む。

【0006】

本発明の一態様では、前記環境地図と前記撮影データとに基づいて、複数の前記撮影画像のうちから、所定の条件を満足する一部を特定する特定部、をさらに含む。

【0007】

この態様では、前記特定部は、前記環境地図と前記撮影データとに基づいて、複数の前記撮影画像のうちから、前記環境地図内の所与の位置に存在する被写体が撮影された前記撮影画像を特定してもよい。

【0008】

あるいは、前記特定部は、前記撮影データに基づいて評価される、当該撮影データに対応付けられる前記撮影画像がレアなものである程度に基づいて、複数の前記撮影画像のうちから一部を特定してもよい。

【0009】

この態様では、前記特定部は、前記撮影画像が撮影された位置の密度に基づいて、複数の前記撮影画像のうちから一部を特定してもよい。

【0010】

また、前記撮影データは、前記環境地図における前記撮影画像の撮影位置及び撮影方向を示すデータ、又は、前記環境地図における被写体の位置を示すデータであってもよい。

【0011】

また、前記撮影データ生成部は、さらに、特定される一部の前記撮影画像について、当該撮影画像よりも高品質な新たな画像を生成してもよい。

【0012】

また、本発明に係る撮影データ生成方法は、撮影画像を順次受け付けるステップと、複数の前記撮影画像に基づいて、環境地図を生成するステップと、前記環境地図に関連付けられる、前記撮影画像の撮影位置又は当該撮影画像の被写体を示す撮影データを生成するステップと、を含む。

【0013】

また、本発明に係るプログラムは、撮影画像を順次受け付ける手順、複数の前記撮影画像に基づいて、環境地図を生成する手順、前記環境地図に関連付けられる、前記撮影画像の撮影位置又は当該撮影画像の被写体を示す撮影データを生成する手順、をコンピュータに実行させる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係るライフログ管理システムの一例を示す構成図である。

【図2A】本発明の一実施形態に係るサーバの一例を示す構成図である。

【図2B】本発明の一実施形態に係るトラッカーの一例を示す構成図である。

【図3】本発明の一実施形態に係るライフログ管理システムで実装される機能の一例を示す機能ブロック図である。

【図4】ライフログデータのデータ構造の一例を示す図である。

【図5】個別データのデータ構造の一例を示す図である。

【図6】本発明の一実施形態に係るサーバで行われる処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態について図面に基づき詳細に説明する。

【0016】

図１は、本発明の一実施形態に係るライフログ管理システム１の一例を示す構成図である。図１に示すように、本実施形態に係るライフログ管理システム１には、サーバ１０とトラッカー１２とが含まれる。

【0017】

サーバ１０、トラッカー１２は、インターネット等のコンピュータネットワーク１４に接続されている。そして本実施形態では、サーバ１０とトラッカー１２とは、互いに通信可能となっている。

【0018】

本実施形態に係るサーバ１０は、例えば、ライフログ管理システム１のユーザが利用するサーバコンピュータである。

【0019】

図２Ａに示すように、本実施形態に係るサーバ１０には、プロセッサ２０、記憶部２２、及び、通信部２４、が含まれる。プロセッサ２０は、例えばサーバ１０にインストールされているプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。通信部２４は、ネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。

【0020】

本実施形態に係るトラッカー１２は、当該トラッカー１２を装着したユーザの位置や向きを追跡する装置である。

【0021】

図２Ｂに示すように、本実施形態に係るトラッカー１２には、プロセッサ３０、記憶部３２、通信部３４、表示部３６、センサ部３８、が含まれる。

【0022】

プロセッサ３０は、例えばトラッカー１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部３２は、例えばメモリ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。

【0023】

表示部３６は、トラッカー１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

【0024】

センサ部３８は、例えばカメラ、マイク、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、ＧＰＳ（Global Positioning System）モジュール、デプスセンサなどといったセンサである。センサ部３８に含まれるカメラは、例えば所定のサンプリングレートで画像を撮影する。また、センサ部３８に含まれるマイクは、例えば所定のサンプリングレートで、入力される音声に基づいて音声データを生成する。またセンサ部３８に含まれる慣性センサは、トラッカー１２の加速度、回転量、移動量などを示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれる地磁気センサは、トラッカー１２が向く方位を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれるＧＰＳモジュールは、トラッカー１２の緯度及び経度を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。

【0025】

センサ部３８に含まれるデプスセンサは、例えば、ＴｏＦ（Time of Flight）、Patterned stereo、Structured Lightなどの技術を用いたデプスセンサである。当該デプスセンサは、トラッカー１２からの距離を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。

【0026】

また、センサ部３８に、ＲＦセンサ、超音波センサ、イベントドリブンセンサ、脈拍センサ、心拍センサ、体温センサなどの他のセンサが含まれていてもよい。

【0027】

なお本実施形態に係るトラッカー１２が、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポート、ヘッドホン、スピーカなどを含んでいてもよい。

【0028】

本実施形態では、トラッカー１２のセンサ部３８に含まれる上述の各種のセンサが出力するセンシングデータを、トラッカー１２がサーバ１０に送信する。

【0029】

また、本実施形態では、センシングデータに基づいて、自己位置推定、及び、環境地図生成を含むＳＬＡＭ（Simultaneous Localization and Mapping）処理が実行される。当該自己位置推定においては、例えば、トラッカー１２の位置及び向きの少なくとも一方が推定される。ここでトラッカー１２のグローバルな位置や向きが推定されてもよい。

【0030】

また、本実施形態では、ＳＬＡＭ処理によって、トラッカー１２が取得するセンシングデータに基づく環境地図が生成される。環境地図とは、本実施形態では例えば、ＳＬＡＭ処理によってセンシングデータに基づいて生成される、ポイントクラウド、３Ｄメッシュ、テクスチャなどのオブジェクトを示すデータである。

【0031】

そして本実施形態では、上述のセンシングデータや環境地図や、センシングデータ及び環境地図から生成される各種のデータが、ライフログとしてサーバ１０に蓄積される。

【0032】

このようにして本実施形態では、蓄積されるライフログデータが充実化される。

【0033】

以下、本実施形態に係るサーバ１０及びトラッカー１２の機能、及び、サーバ１０で行われる処理についてさらに説明する。

【0034】

図３は、本実施形態に係るサーバ１０及びトラッカー１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るサーバ１０及びトラッカー１２で、図３に示す機能のすべてが実装される必要はなく、また、図３に示す機能以外の機能が実装されていても構わない。

【0035】

図３に示すように、サーバ１０には、機能的には例えば、センシングデータ受信部４０、ライフログデータ生成部４２、ライフログデータ記憶部４４、が含まれる。センシングデータ受信部４０は、通信部２４を主として実装する。ライフログデータ生成部４２は、プロセッサ２０を主として実装される。ライフログデータ記憶部４４は、記憶部２２を主として実装する。

【0036】

以上の機能は、コンピュータであるサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してサーバ１０に供給されてもよい。

【0037】

また、図３に示すように、トラッカー１２には、機能的には例えば、センシングデータ取得部４６、センシングデータ送信部４８、が含まれる。センシングデータ取得部４６は、プロセッサ３０及びセンサ部３８を主として実装される。センシングデータ送信部４８は、通信部３４を主として実装される。

【0038】

以上の機能は、コンピュータであるトラッカー１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してトラッカー１２に供給されてもよい。

【0039】

センシングデータ取得部４６は、本実施形態では例えば、トラッカー１２のセンサ部３８により生成されるセンシングデータを順次取得する。

【0040】

また、センシングデータ取得部４６が取得するセンシングデータには、例えば、センサ部３８に含まれるカメラにより撮影される撮影画像が含まれていてもよい。ここで、当該カメラが動画像を撮影してもよい。そして、センシングデータ取得部４６が取得するセンシングデータには、例えば、当該カメラにより撮影される動画像のフレームである撮影画像が含まれていてもよい。また、トラッカー１２が取得するセンシングデータに、センサ部３８に含まれるマイクにより生成される音声データが含まれていてもよい。トラッカー１２のセンサ部３８に含まれるカメラやデプスセンサにより計測されるデプスデータが含まれていてもよい。

【0041】

また、トラッカー１２が取得するセンシングデータには、トラッカー１２のセンサ部３８に含まれる地磁気センサにより計測される、トラッカー１２の方位を示すデータが含まれていてもよい。また、トラッカー１２が取得するセンシングデータには、センサ部３８に含まれる慣性センサにより計測される、トラッカー１２の加速度、回転量、移動量などを示すデータが含まれていてもよい。

【0042】

また、トラッカー１２が取得するセンシングデータには、センサ部３８に含まれるＧＰＳモジュールにより計測される、トラッカー１２の緯度及び経度を示すデータが含まれていてもよい。また、トラッカー１２が取得するセンシングデータに、特徴点群（キーフレーム）が含まれていてもよい。

【0043】

また、トラッカー１２が取得するセンシングデータには、脈拍、心拍、体温などを示すヘルスケアデータが含まれていてもよい。

【0044】

センシングデータ送信部４８は、本実施形態では例えば、センシングデータ取得部４６が取得するセンシングデータをサーバ１０に順次送信する。本実施形態では例えば、トラッカー１２によるセンシングが行われた時点を示すセンシング時点データが関連付けられたセンシングデータが送信される。

【0045】

本実施形態では例えば、トラッカー１２におけるセンシングデータの取得及び送信は、繰り返し実行される。ここでトラッカー１２におけるセンシングデータの取得及び送信が、所定の時間間隔で繰り返し実行されてもよい。

【0046】

センシングデータ受信部４０は、本実施形態では例えば、トラッカー１２のセンシングデータ送信部４８から送信されるセンシングデータを順次受信する。

【0047】

ライフログデータ生成部４２は、本実施形態では例えば、センシングデータ受信部４０が受信するセンシングデータに基づいて、ライフログデータを生成する。そして、ライフログデータ生成部４２は、本実施形態では例えば、生成されたライフログデータをライフログデータ記憶部４４に記憶させる。

【0048】

ライフログデータ記憶部４４は、本実施形態では例えば、上述のライフログデータを記憶する。

【0049】

図４は、ライフログデータ記憶部４４に記憶されるライフログデータのデータ構造の一例を示す図である。図４に示すように、ライフログデータには、例えば、環境地図と、複数の個別データと、が含まれる。

【0050】

ライフログデータ生成部４２は、例えば、センシングデータ受信部４０が受信する複数のセンシングデータに基づいて、トラッカー１２の位置又は向きの推定を含むＳＬＡＭ処理を実行する。ここでトラッカー１２のグローバルな位置や向きが推定されてもよい。ここで例えば、ライフログデータ生成部４２が、リロカライズ処理、ループクロージング処理、３Ｄメッシュ化処理、物体認識処理などを含むＳＬＡＭ処理を実行してもよい。

【0051】

ここで当該ＳＬＡＭ処理に、平面検出／３Ｄメッシュのセグメンテーション処理が含まれていてもよい。平面検出／３Ｄメッシュのセグメンテーション処理とは、地面、壁などといった連続した平面を検出して、全体の３Ｄメッシュを、地面、建物、木、などといった個々の３Ｄメッシュに分割する処理を指す。また、当該ＳＬＡＭ処理に、３Ｄメッシュの最適化処理が含まれていてもよい。３Ｄメッシュの最適化処理とは、３Ｄメッシュから、移動体と推定される部分や、ノイズなどによるゴミを除去したり、ポリゴン数を減らしたり、メッシュの表面を滑らかにしたりする処理を指す。また、当該ＳＬＡＭ処理に、テクスチャ生成処理が含まれていてもよい。テクスチャ生成処理とは、メッシュの頂点の色に基づいて３Ｄメッシュに対するテクスチャイメージを生成する処理を指す。

【0052】

また例えば、ライフログデータ生成部４２が、時系列のセンシングデータを用いてＳＬＡＭ処理を実行してもよい。

【0053】

ライフログデータ生成部４２が実行する上述のＳＬＡＭ処理によって、環境地図が生成される。ここで、ライフログデータ生成部４２は、指定された時点における三次元環境地図が特定可能な、三次元空間と時間とを次元に含む四次元の環境地図を生成してもよい。このようにして生成される環境地図は、ライフログデータの一部としてライフログデータ記憶部４４に記憶される。

【0054】

また、ライフログデータ生成部４２は、本実施形態では例えば、センシングデータ受信部４０が受信するセンシングデータ、及び、当該センシングデータに関連付けられているセンシング時点データを含む個別データを生成する。

【0055】

図５は、個別データのデータ構造の一例を示す図である。ＩＤは、個別データの識別情報である。そして上述のように、個別データには、センシングデータ受信部４０が受信する、撮影画像を含むセンシングデータ、及び、当該センシングデータに関連付けられているセンシング時点データが含まれる。

【0056】

また、本実施形態では例えば、ライフログデータ生成部４２は、環境地図、及び、センシングデータのうちの少なくとも一方に基づいて、生成ライフログデータを生成する。このようにして生成される生成ライフログデータは、当該センシングデータを含む個別データに追加される。

【0057】

ここで例えば、ライフログデータ生成部４２が、センシングデータに含まれる撮影画像と環境地図とに基づいて、当該環境地図に関連付けられる、当該撮影画像の撮影位置又は当該撮影画像の被写体を示す撮影データを生成する。そして、ライフログデータ生成部４２は、このようにして生成される撮影データを含む生成ライフログデータを個別データに追加してもよい。

【0058】

撮影データは、撮影画像の撮影位置及び当該撮影画像の撮影方向を示すデータであってもよい。ここで当該撮影位置及び撮影方向は、環境地図内における位置及び方向によって表現される。

【0059】

また、撮影データは、撮影画像の撮影位置及び当該撮影画像の被写体の位置である被写体位置を示すデータであってもよい。ここで、当該撮影位置及び被写体位置は、環境地図内における位置によって表現される。

【0060】

また、生成ライフログデータに、トラッカー１２を装着するユーザの全身の姿勢を示す姿勢データ、撮影画像から抽出される人物を示すデータ、撮影画像や音声データから抽出されるテキスト、などが含まれていてもよい。

【0061】

また本実施形態では、ライフログデータに含まれる撮影画像の削除や高画質化などといった、再編成処理が実行される。

【0062】

ここで、本実施形態に係るサーバ１０で行われる再編成処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。

【0063】

まず、ライフログデータ生成部４２が、前処理を実行する（Ｓ１０１）。Ｓ１０１に示す前処理では、ライフログデータ生成部４２は、例えば、ライフログデータに含まれる一連の撮影画像のなかから、悪い画像であることを示す所定の条件を満足する撮影画像を削除する。例えば、ボケやブレが発生している、真っ白や真っ黒である、などといった条件を満足する撮影画像が削除される。また、Ｓ１０１に示す前処理では、ライフログデータ生成部４２は、建物などの特定の被写体が一部にしか写っていない撮影画像を特定する。そして、ライフログデータ生成部４２は、特定された撮影画像を、他のフレームの撮影画像と結合することによって、被写体全体が写っている撮影画像に変更する。

【0064】

そして、ライフログデータ生成部４２は、ライフログデータ記憶部４４に記憶されている撮影画像のうちから、複数の代表画像を特定する（Ｓ１０２）。Ｓ１０２に示す処理では、例えば、ライフログデータ生成部４２は、互いに類似する複数の撮影画像を特定し、当該複数の撮影画像のうちのいずれかを当該複数の撮影画像に対応する代表画像に特定する。

【0065】

そして、ライフログデータ生成部４２は、それぞれの代表画像について、当該代表画像の重要度を特定する（Ｓ１０３）。ここでは例えば、重要度が高いものほど大きな値の重要度が特定されることとする。

【0066】

Ｓ１０３に示す処理では、例えば、写っている人物が所定の人物（例えば、予め定められた、ユーザにとって重要な人物）である代表画像は、そうでない代表画像よりも高い重要度が特定されてもよい。

【0067】

また例えば、代表画像に対応する音声データにおいて、重要なキーワードや上述の所定の人物の名前を表す音声が示されている場合は、当該代表画像はそうでないものよりも高い重要度が特定されてもよい。

【0068】

また例えば、ユーザが注視している被写体が写っている代表画像はそうでないものよりも高い重要度が特定されてもよい。また、ユーザが注視している所定時間よりも長い被写体が写っている代表画像はそうでないものよりも高い重要度が特定されてもよい。ここでユーザの注視位置は、例えば、センシングデータに基づいて特定されるトラッカー１２の姿勢に基づいて特定されてもよい。あるいはセンサ部３８にアイトラッカーが含まれる場合は、アイトラッカーによる視線の検出結果に基づいて注視位置が特定されてもよい。

【0069】

また例えば、当該ユーザや他のユーザによってお気に入りの場所として登録されている場所や所定のイベントの代表画像、訪問頻度が所定回数より多い場所や当該場所で発生したイベントの代表画像については、そうでないものよりも高い重要度が特定されてもよい。また、過去に特定された重要度の値が所定値よりも大きな代表画像に類似する代表画像については、そうでないものよりも高い重要度が特定されてもよい。

【0070】

また、代表画像に対応する音声データや代表画像に写っている人物の表情を解析することで、当該代表画像に表れている状況が盛り上がっている程度が特定されてもよい。そして盛り上がっている程度が高い代表画像については、そうでないものよりも高い重要度が特定されてもよい。

【0071】

また例えば、有名なランドマークなどといった所定の被写体が写っている代表画像については、そうでないものよりも高い重要度が特定されてもよい。ここで例えば、環境地図と、代表画像に対応する撮影データに基づいて、当該代表画像が所定の場所の被写体が写っているものであるか否かが判定されてもよい。例えば、環境地図と、撮影位置及び撮影方向と、に基づいて、代表画像が所定の場所の被写体が写っているものであるか否かが判定されてもよい。また例えば、環境地図と、撮影データが示す被写体位置と、に基づいて、代表画像が所定の場所の被写体が写っているものであるか否かが判定されてもよい。

【0072】

また例えば、ディープラーニングなどの機械学習モデルや構図解析を用いて、代表画像がよいシーンを表すものであるか否かが判定されてもよい。例えば、有名な絵画や映画の１シーンに近いものがよいシーンを表すものと判定されてもよい。そしてよいシーンであると判定されるものは、そうでないものよりも高い重要度が特定されてもよい。

【0073】

そして、ライフログデータ生成部４２は、複数の代表画像を、それぞれイベントに対応付けられる画像群に分類する分類処理を実行する（Ｓ１０４）。

【0074】

ここで上述のＳ１０３に示す処理における重要度の特定に用いられた情報を用いて、分類処理が実行されてもよい。ここで例えば、ライフログデータ生成部４２は、環境地図と、複数の代表画像のそれぞれに対応付けられる撮影データと、に基づいて、当該複数の代表画像のうちから、所定の条件を満足する一部を、１つのイベントに対応付けられる画像群に特定してもよい。

【0075】

例えば、ライフログデータ生成部４２は、環境地図と、代表画像に対応付けられる撮影データとに基づいて、複数の代表画像のうちから、当該環境地図内の所与の位置に存在する被写体が撮影された一部を特定してもよい。そして、ライフログデータ生成部４２は、このようにして特定された一部を、当該位置の被写体についてのイベントに対応付けられる画像群に分類してもよい。

【0076】

例えば、環境地図と、代表画像に対応付けられる撮影データに基づいて、当該代表画像が所定の場所の被写体が写っているものであるか否かが判定されてもよい。例えば、環境地図と、代表画像に対応付けられる撮影データが示す撮影位置及び撮影方向と、に基づいて、当該代表画像が所定の場所の被写体が写っているものであるか否かが判定されてもよい。また例えば、環境地図と、代表画像に対応付けられる撮影データが示す被写体位置と、に基づいて、当該代表画像が所定の場所の被写体が写っているものであるか否かが判定されてもよい。そして所定の場所の被写体が写っているものと判定される代表画像が、当該被写体についてのイベントに対応付けられる画像群に分類されてもよい。

【0077】

本実施形態では上述のように、環境地図と、撮影画像に対応付けられる撮影データと、に基づいて、環境地図内における当該撮影画像の被写体の位置が容易に特定可能である。そのため、本実施形態によれば、被写体をキーにした撮影画像の特定を容易に行うことができる。

【0078】

また例えば、代表画像に対応付けられる撮影データが示す撮影位置についてクラスタリング処理を実行することで、それぞれ撮影位置が互いに離れた代表画像群に分類する分類処理が実行されてもよい。

【0079】

また例えば、代表画像に対応付けられる撮影データが示す撮影位置の間の距離に対応する移動量の大きさに基づいて、分類処理が実行されてもよい。例えば、撮影時点（センシング時点）が連続する２つの代表画像のそれぞれに対応付けられる撮影データが示す撮影位置の間の距離が所定の距離より長い場合は、当該２つの代表画像の間で画像群が分割されるようにしてもよい。また同様に、加速度の変化が大きい２つの代表画像の間で画像群が分割されるようにしてもよい。

【0080】

また例えば、２つの代表画像の変化が所定の変化よりも大きな変化である場合は、当該２つの代表画像の間で画像群が分割されるようにしてもよい。

【0081】

そして、ライフログデータ生成部４２は、それぞれのイベントについて、少なくとも１つの重要画像を特定する（Ｓ１０５）。

【0082】

Ｓ１０５に示す処理では、それぞれのイベントに対応する重要度が特定される。ここでは例えばイベントに対応する代表画像の重要度の合計値や平均値などの代表値が当該イベントに対応する重要度の値として特定されてもよい。そして、重要度が高いイベントであるほど多くの数の重要画像が特定されてもよい。ここで１つのイベントに対応付けられる複数の代表画像のうちから、重要度の高いものから順に、当該イベントに対応する数の代表画像が重要画像に特定されてもよい。

【0083】

また例えば、イベントの重要度の値と代表画像の重要度の値との積が大きいものから順に、所定数の重要画像が特定されてもよい。

【0084】

また例えば、ライフログデータ生成部４２は、代表画像に対応付けられる撮影データに基づいて、当該代表画像がレアなものである程度を評価してもよい。そしてライフログデータ生成部４２は、このようにして評価されるレアなものである程度に基づいて、複数の代表画像のうちの一部を重要画像に特定してもよい。

【0085】

例えば、ライフログデータ生成部４２は、代表画像を含む複数の撮影画像が撮影された位置の密度に基づいて、複数の代表画像のうちから一部を重要画像に特定してもよい。例えば、ライフログデータ生成部４２は、代表画像が撮影された位置を中心にした所定の大きさの領域内において撮影された撮影画像の数を特定してもよい。そして特定された数が小さい代表画像が優先的に重要画像に特定されてもよい。例えば特定された数が所定数より小さい代表画像が重要画像に特定されてもよい。

【0086】

以上のように、撮影位置ができるだけ分散するよう重要画像が特定されてもよい。また同様にして、構図や撮影時点（センシング時点）ができるだけ分散するよう重要画像が特定されてもよい。

【0087】

また例えば、脈拍、心拍、体温などといったヘルスケアデータに基づいて、重要画像が特定されてもよい。例えば、脈拍が大きな、心拍が大きな、あるいは、体温が高いヘルスケアデータに対応付けられる代表画像が重要画像に特定されてもよい。

【0088】

そして、ライフログデータ生成部４２は、Ｓ１０５に示す処理で特定された重要画像について後処理を実行する（Ｓ１０６）。

【0089】

Ｓ１０６に示す処理では、ライフログデータ生成部４２は、重要画像について、当該重要画像よりも高品質な新たな画像を生成してもよい。

【0090】

例えば、重要画像に対応付けられる撮影データに基づいて、環境地図内における撮影位置、及び、撮影方向が特定されてもよい。ここで撮影データが示す撮影位置から撮影データが示す被写体位置に向かう方向が撮影方向に特定されてもよい。そして、当該撮影位置から当該撮影方向に向かって環境地図を見た様子を表す画像が生成されてもよい。そして、ライフログデータ生成部４２が、このようにして生成される画像を、当該重要画像を含む個別データに追加してもよい。

【0091】

また例えば、重要画像の前後所定数フレームについての、撮影画像、奥行き情報、撮影方向を用いて、当該重要画像を高画質化した画像が生成されてもよい。ここで奥行き情報は、例えば、センシングデータに含まれるデプスデータに基づいて生成されてもよい。また、奥行き情報は、環境地図と撮影データとに基づいて生成されてもよい。また、撮影方向は、撮影データに基づいて特定されてもよい。また、撮影方向は、センシングデータに基づいて、特定されてもよい。そして、ライフログデータ生成部４２が、このようにして生成される画像を、当該重要画像を含む個別データに追加してもよい。

【0092】

また例えば、重要画像については、複数のフレームにまたがって写っている被写体を連結するなどの、高画角化処理が実行されてもよい。また、重要画像についてはフレーム加算によるＨＤＲ化が行われてもよい。そして、ライフログデータ生成部４２が、このようにして生成される画像を、当該重要画像を含む個別データに追加してもよい。

【0093】

また例えば、重要画像について、前後のフレームだけではなく、異なる日の同じ時刻付近の撮影画像や、異なる日の同じ場所を撮影した撮影画像や、同じ人物が写っている撮影画像が合成されるようにしてもよい。

【0094】

また例えば、複数のフレームについて重要画像が連続する場合は、これらの重要画像を含む動画像が重要動画像として特定されてもよい。そして、Ｓ１０６に示す処理で、重要動画像について手ブレ補正などの安定化処理が実行されてもよい。そして、ライフログデータ生成部４２が、安定化処理が実行された重要動画像を、当該複数のフレームのうちの少なくとも１つのフレームに対応付けられる個別データに追加してもよい。

【0095】

Ｓ１０１～Ｓ１０６に示す処理は、例えば、所定の時間間隔で実行されてもよい。

【0096】

以上のようにすることで、例えば、高品質な画像を別途撮影しなくても、撮影画像に基づいて、重要なシーンについては高画質な画像が得られることとなる。

【0097】

本実施形態に係るライフログは、例えば、議事録の生成、テキストに基づくライフログの検索、バーチャルリアリティ（ＶＲ）による過去の追体験、特定の時期の子供のころからの三次元空間の復元、音声合成による会話、などに活用可能である。

【0098】

また、本実施形態に係るライフログは、例えば、定点観測による特定の地点の変化の再現、特定の時間に一緒にいた人物が誰であるかの特定、過去に旅行に行った場所、訪問してよかった場所、過去の周期的な行動の抽出、などに活用可能である。

【0099】

本実施形態においては例えば、ユーザがトラッカー１２を常時身に着ける運用が行われる。そして、ユーザが特段意識することなく、常時身に着けたトラッカー１２が撮影した動画像に対して、上述した、前処理、重要画像の特定、及び、重要画像に対する後処理（高画質化など）が実行される。そして、このようにして生成された高画質な静止画像がユーザに提示される。このようにすれば、ユーザが意識して写真を撮らなくても、ユーザが過ごした日々における高画質な写真がユーザに提示されることとなる。

【0100】

なお、本発明は上述の実施形態に限定されるものではない。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】