特許 6612170 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6612170

(24)【登録日】2019年11月8日

(45)【発行日】2019年11月27日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06F 16/535 20190101AFI20191118BHJP

   G06F 16/587 20190101ALI20191118BHJP

   G06T 1/00 20060101ALI20191118BHJP

【ＦＩ】

   G06F16/535

   G06F16/587

   G06T1/00 200E

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2016-79948(P2016-79948)

(22)【出願日】2016年4月13日

(65)【公開番号】特開2017-191419(P2017-191419A)

(43)【公開日】2017年10月19日

【審査請求日】2018年6月11日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】真田 勝

【審査官】 甲斐 哲雄

(56)【参考文献】

【文献】 特開２０１０−２３７７５１（ＪＰ，Ａ）

【文献】 特開２０１０−１０９７８３（ＪＰ，Ａ）

【文献】 特開２０１５−０１５５７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

それぞれ異なるユーザによって携帯される複数の撮影装置のそれぞれによって撮影された画像データ、当該画像データの撮影日時、及び当該画像データを撮影した撮影装置のユーザの識別情報を受信し、受信した情報を関連付けて第１の記憶部に記憶する第１の受信部と、
前記各ユーザが携帯する各無線装置から、当該無線装置が他の前記無線装置と近距離無線通信を介して通信可能であった期間を示す情報、当該無線装置を携帯するユーザの識別情報、及び当該他の無線装置を携帯するユーザの識別情報を受信し、受信した情報を関連付けて第２の記憶部に記憶する第２の受信部と、
前記第１の記憶部が記憶する画像データのうち、第１のユーザの識別情報に関連付けられている第１の画像データの或る被写体の特徴情報を前記第１の画像データから抽出する抽出部と、
前記第１の画像データの撮影日時を含む期間において前記第１のユーザが携帯する第１の無線装置と通信可能であった第２の無線装置を携帯する第２のユーザの識別情報を前記第２の記憶部を参照して特定し、当該期間に含まれる撮影日時に関連付けられて前記第１の記憶部に記憶されている画像データ群のうち、前記第２のユーザの識別情報に関連付けられている第２の画像データを検索する検索部と、
を有することを特徴とする画像処理装置。

【請求項2】

前記被写体を含む前記第１の画像データと、前記検索部によって検索された前記第２の画像データとに基づいて、前記被写体の立体像を示すデータを生成する生成部、
を有することを特徴とする請求項１記載の画像処理装置。

【請求項3】

それぞれ異なるユーザによって携帯される複数の撮影装置のそれぞれによって撮影された画像データ、当該画像データの撮影日時、及び当該画像データを撮影した撮影装置のユーザの識別情報を受信し、受信した情報を関連付けて第１の記憶部に記憶する第１の受信手順と、
前記各ユーザが携帯する各無線装置から、当該無線装置が他の前記無線装置と近距離無線通信を介して通信可能であった期間を示す情報、当該無線装置を携帯するユーザの識別情報、及び当該他の無線装置を携帯するユーザの識別情報を受信し、受信した情報を関連付けて第２の記憶部に記憶する第２の受信手順と、
前記第１の記憶部が記憶する画像データのうち、第１のユーザの識別情報に関連付けられている第１の画像データの或る被写体の特徴情報を前記第１の画像データから抽出する抽出手順と、
前記第１の画像データの撮影日時を含む期間において前記第１のユーザが携帯する第１の無線装置と通信可能であった第２の無線装置を携帯する第２のユーザの識別情報を前記第２の記憶部を参照して特定し、当該期間に含まれる撮影日時に関連付けられて前記第１の記憶部に記憶されている画像データ群のうち、前記第２のユーザの識別情報に関連付けられている第２の画像データを検索する検索手順と、
をコンピュータが実行することを特徴とする画像処理方法。

【請求項4】

前記被写体を含む前記第１の画像データと、前記検索手順において検索された前記第２の画像データとに基づいて、前記被写体の立体像を示すデータを生成する生成手順、
をコンピュータが実行することを特徴とする請求項３記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

近年、デジタルカメラやカメラ付き携帯電話等の普及により、ユーザは、自分の日々の生活の様々な出来事を画像データとして容易に記録することが可能になっている。また、そのような日常生活を記録した画像データ等を個人の活動記録として集積し、個人の過去の活動を追跡できるようにするライフログと呼ばれるサービスも利用されている。

【0003】

特許文献１では、或るユーザ（以下、「ユーザＡ」という。）が撮影した画像データのみではなく、当該画像データの撮影期間においてユーザＡの近辺において撮影を行っていた他のユーザＢによって撮影された画像データについても、ユーザＡによる利用を可能とすることができる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−１９３４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ユーザＡの近辺においてユーザＢが撮影を行っている場合、ユーザＡとユーザＢとによって同じ被写体が異なる方向から撮影されている可能性が有る。このような状況において、ユーザＡが、自らが撮影した画像データにおいて、自らが興味を持った被写体について、別の方向から撮影された画像データを容易に入手することができれば、ライフログ等のサービスの魅力の向上を期待することができる。

【0006】

本発明は、上記の点に鑑みてなされたものであって、複数の撮影装置によって撮影された共通の被写体を含む画像データを容易に入手可能とすることを目的とする。

【課題を解決するための手段】

【0007】

そこで上記課題を解決するため、画像処理装置は、それぞれ異なるユーザによって携帯される複数の撮影装置のそれぞれによって撮影された画像データ、当該画像データの撮影日時、及び当該画像データを撮影した撮影装置のユーザの識別情報を受信し、受信した情報を関連付けて第１の記憶部に記憶する第１の受信部と、前記各ユーザが携帯する各無線装置から、当該無線装置が他の前記無線装置と近距離無線通信を介して通信可能であった期間を示す情報、当該無線装置を携帯するユーザの識別情報、及び当該他の無線装置を携帯するユーザの識別情報を受信し、受信した情報を関連付けて第２の記憶部に記憶する第２の受信部と、前記第１の記憶部が記憶する画像データのうち、第１のユーザの識別情報に関連付けられている第１の画像データの或る被写体の特徴情報を前記第１の画像データから抽出する抽出部と、前記第１の画像データの撮影日時を含む期間において前記第１のユーザが携帯する第１の無線装置と通信可能であった第２の無線装置を携帯する第２のユーザの識別情報を前記第２の記憶部を参照して特定し、当該期間に含まれる撮影日時に関連付けられて前記第１の記憶部に記憶されている画像データ群のうち、前記第２のユーザの識別情報に関連付けられている第２の画像データを検索する検索部と、を有する。

【発明の効果】

【0008】

複数の撮影装置によって撮影された共通の被写体を含む画像データを容易に入手可能とすることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態における画像共有システムの構成例を示す図である。

【図2】本発明の実施の形態における画像共有サーバのハードウェア構成例を示す図である。

【図3】本発明の実施の形態における画像共有サーバの機能構成例を示す図である。

【図4】画像撮影に伴って撮影装置及び無線装置によって実行される処理手順の一例を説明するためのシーケンス図である。

【図5】ユーザＡとユーザＢとによって同じ被写体に関して撮影された画像データの一例を示す図である。

【図6】画像情報及び相手情報のアップロード処理の処理手順の一例を説明するための図である。

【図7】画像情報テーブルの構成例を示す図である。

【図8】相手情報テーブルの構成例を示す図である。

【図9】他ユーザによって撮影された画像データの中で利用可能な画像データを特定する処理の処理手順の一例を説明するためのフローチャートである。

【図10】画像データの参照時に実行される処理手順の一例を説明するためのシーケンス図である。

【図11】対象物の指定方法の一例を示す図である。

【図12】対象物テーブルの構成例を示す図である。

【図13】対象物の立体像の一例を示す図である。

【図14】立体像テーブルの構成例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における画像共有システムの構成例を示す図である。図１に示されるように、画像共有システム１は、撮影装置２０ａ及び撮影装置２０ｂ、無線装置３０ａ及び無線装置３０ｂ、画像共有サーバ１０、並びに画像参照装置４０等を含む。撮影装置２０ａ及び撮影装置２０ｂ、無線装置３０ａ及び無線装置３０ｂは、無線通信網を介してインターネット等のネットワークＮ１に接続される。画像共有サーバ１０及び画像参照装置４０は、無線又は有線通信網を介してネットワークＮ１に接続される。

【0011】

撮影装置２０ａは、画像データ（静止画像）の撮影機能と無線通信機能とを有する装置である。例えば、無線通信が可能なデジタルカメラが撮影装置２０ａとして利用されてもよい。撮影装置２０ａは、ユーザＡによって携帯される。例えば、撮影装置２０ａは、ユーザの体の一部に装着又は固定されるウェアラブルな装置であってもよい。撮影装置２０ａは、ユーザＡの近辺の画像を定期的に撮影する。例えば、撮影装置２０ａは、ユーザＡの視線方向となる正面前方の画像データを、ユーザＡの意志とは無関係に定期的に撮影する。撮影装置２０ａは、撮影した画像データを、所定のタイミングで画像共有サーバ１０に送信する。

【0012】

無線装置３０ａは、無線通信機能を有する装置である。無線装置３０ａは、また、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ（登録商標）Ｄｉｒｅｃｔ等の近距離無線通信を介して、無線装置３０ｂと直接的に通信可能である。例えば、スマートフォン又はタブレット端末等が、無線装置３０ａとして利用されてもよい。無線装置３０ａもユーザＡによって携帯される。

【0013】

なお、撮影装置２０ａと無線装置３０ａとは一つの装置として構成されてもよい。

【0014】

一方、撮影装置２０ｂ及び無線装置３０ｂは、ユーザＢによって携帯される点を除いて、撮影装置２０ａ又は無線装置３０ａと同様である。なお、撮影装置２０ａと撮影装置２０ｂ、無線装置３０ａと無線装置３０ｂとのそれぞれ区別しない場合、末尾の「ａ」又は「ｂ」は省略される。

【0015】

画像共有サーバ１０は、各撮影装置２０から送信される画像データの記憶や公開等を行う１以上のコンピュータである。画像共有サーバ１０は、例えば、ライフログサービスを提供する装置（システム）であってもよい。

【0016】

画像参照装置４０は、画像共有サーバ１０によって記憶されている画像データの参照（閲覧）に利用される装置である。例えば、ＰＣ（Personal Computer）、スマートフォン、又はタブレット端末等が画像参照装置４０として利用されてもよい。また、無線装置３０が、画像参照装置４０として利用されてもよい。本実施の形態では、画像参照装置４０は、ユーザＡによって利用される。

【0017】

図２は、本発明の実施の形態における画像共有サーバのハードウェア構成例を示す図である。図２の画像共有サーバ１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

【0018】

画像共有サーバ１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0019】

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画像共有サーバ１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

【0020】

図３は、本発明の実施の形態における画像共有サーバの機能構成例を示す図である。図３において、画像共有サーバ１０は、画像情報受信部１１、相手情報受信部１２、利用可ユーザ特定部１３、画像検索部１４、対象物情報受信部１５、特徴情報抽出部１６、撮影者特定部１７、対象物検索部１８、及び立体像生成部１９等を有する。これら各部は、画像共有サーバ１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。画像共有サーバ１０は、また、画像情報テーブル１２１、相手情報テーブル１２２、対象物テーブル１２３、及び立体像テーブル１２４等を利用する。これら各テーブルは、例えば、補助記憶装置１０２、又は画像共有サーバ１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

【0021】

画像情報受信部１１は、各撮影装置２０によって撮影された画像データに関する画像情報を、各撮影装置２０から受信する。画像情報とは、撮影された画像データ、撮影したユーザのユーザＩＤ、及び撮影日時等を含む情報である。画像情報受信部１１は、受信された画像情報を画像情報テーブル１２１に記憶する。

【0022】

相手情報受信部１２は、各無線装置３０から相手情報を受信する。或る無線装置３０が画像共有サーバ１０に対して送信する相手情報は、当該無線装置３０のユーザのユーザＩＤ（自ユーザＩＤ）、当該無線装置３０の無線範囲内において発見された他の無線装置３０のユーザのユーザＩＤ（相手ユーザＩＤ）、無線接続（コネクション）が確立された日時（コネクション確立日時）、及び無線接続が解放された日時（コネクション解放日時）等を含む。相手情報受信部１２は、受信された相手情報を相手情報テーブル１２２に記憶する。

【0023】

利用可ユーザ特定部１３は、画像情報テーブル１２１に記憶された各画像情報に含まれる画像データについて、撮影者以外に利用（アクセス）が許可されるユーザ（以下、「利用可ユーザ」という。）を特定する。本実施の形態では、或る画像データの撮影時において当該画像データの撮影者の近辺に所在していた他のユーザに対して、当該画像データの利用が許可される。このような他のユーザは、画像情報に含まれる撮影日時と、相手情報テーブル１２２に記憶された相手情報に含まれるコネクション確立日時及びコネクション解放日時とに基づいて特定可能である。或る画像情報について利用可ユーザが特定された場合、当該画像情報に対して当該利用可ユーザのユーザＩＤが付加される。

【0024】

画像検索部１４は、画像参照装置４０からの画像データの検索要求に応じ、画像情報テーブル１２１に記憶されている画像情報の中から、画像参照装置４０のユーザによって撮影された画像データに係る画像情報であって、検索要求に指定された検索条件に合致する画像情報を検索し、検索された画像情報を画像参照装置４０へ返信する。

【0025】

対象物情報受信部１５は、画像検索部１４によって検索され、画像参照装置４０に返信された画像情報に含まれる画像データの被写体の中で、ユーザによって指定された被写体（以下、「対象物」という。）に関する情報（以下、「対象物情報」という。）を、画像参照装置４０から受信する。例えば、ユーザは、自らが興味の有る被写体を対象物として指定する。対象物情報には、画像データにおいて対象物を含む部分領域が切り出された画像データ（以下、「対象物画像」という。）が含まれる。

【0026】

特徴情報抽出部１６は、対象物画像から特徴情報（すなわち、対象物の特徴情報）を抽出する。特徴情報抽出部１６は、抽出された特徴情報及び対象物情報等を、対象物テーブル１２３に記憶する。

【0027】

撮影者特定部１７は、対象物を撮影した可能性の有る他のユーザを特定する。他のユーザとは、対象物画像の切り出し元の画像データを撮影したユーザ以外のユーザである。画像検索部１４によって検索された画像データに対する利用可ユーザが、当該他のユーザとして検索される。当該利用可ユーザは、対象物の切り出し元の画像データを含む画像データ群の撮影時において、当該画像データ群を撮影したユーザの近辺において撮影を行っていたユーザだからである。

【0028】

対象物検索部１８は、撮影者特定部１７によって特定された他のユーザによって撮影された画像データ群から、対象物を被写体として含む画像データを検索する。対象物検索部１８は、また、画像検索部１４によって検索された画像情報群に含まれる画像データ群からも、対象物を被写体として含む画像データを検索する。すなわち、対象物画像の切り出し元となった画像データを撮影したユーザの画像データ群からも、対象物を含む画像データが検索される。

【0029】

立体像生成部１９は、対象物検索部１８によって検索された画像データ群に含まれる対象物の画像に基づいて、対象物の立体像（全体像）を示すデータを生成（復元又は再現）する。立体像生成部１９は、生成したデータに関する情報を立体像テーブル１２４に記憶する。すなわち、当該画像データ群には、対象物について、複数の方向から見た場合の画像が含まれている。したがって、複数の方向からの画像を合成することで、対象物の立体像を生成することができる。

【0030】

以下、画像共有システム１において実行される処理手順について説明する。図４は、画像撮影に伴って撮影装置及び無線装置によって実行される処理手順の一例を説明するためのシーケンス図である。図４では、ユーザＡの近辺にユーザＢが所在し、無線装置３０ａ及び無線装置３０ｂが、それぞれ他方の無線範囲に含まれている状態を想定する。なお、図４では、説明の便宜上、２つの撮影装置２０と２つの無線装置３０とについて説明するが、任意の数の撮影装置２０や無線装置３０に関して図４の処理手順が実行されてもよい。

【0031】

ステップＳ１０１〜Ｓ１０３において、撮影装置２０ａは、ユーザＡの前方の画像データを定期的に撮影する。撮影装置２０ａは、撮影された画像データとその撮影日時とを対応付けて記憶する。同様に、撮影装置２０ｂは、ユーザＢの前方の画像データを定期的に撮影する（Ｓ２０１〜Ｓ２０３）。撮影装置２０ｂは、撮影された画像データとその撮影日時とを対応付けて記憶する。

【0032】

なお、ここで、ユーザＡとユーザＢとは、近辺において撮影を行っているため、共通の被写体を含む画像データを撮影する可能性が高くなる。例えば、図５に示されるように、同じ被写体について相互に異なる角度から撮影が行われる可能性が有る。

【0033】

図５は、ユーザＡとユーザＢとによって同じ被写体に関して撮影された画像データの一例を示す図である。図５には、ユーザＡとユーザＢと撮影の被写体ｏ１との位置関係を上から見た図が示されている。この場合、例えば、ユーザＡによって、画像データｉ１が撮影され、ユーザＢによって、画像データｉ２が撮影される。画像データｉ１は、被写体ｏ１の背面の画像を含む。画像データｉ２は、被写体ｏ１の正面の画像を含む。

【0034】

一方、無線装置３０ａ及び無線装置３０ｂは、他の無線装置３０を探索するための電波を定期的に発信している（Ｓ３０１）。当該電波に基づいて、無線装置３０ａ及び無線装置３０ｂのいずれか一方が他方の無線装置３０を発見すると、無線装置３０ａと無線装置３０ｂとの間にコネクションが確立される（Ｓ３０２）。すなわち、無線装置３０ａと無線装置３０ｂとの間でデータの送受信が可能な状態となる。

【0035】

そこで、無線装置３０ａは、ユーザＡのユーザＩＤ「Ａ」を無線装置３０ｂに送信する（Ｓ３０３）。無線装置３０ｂは、当該ユーザＩＤ「Ａ」を相手ユーザＩＤとして、コネクション確立日時と共に記憶する（Ｓ３０４）。また、無線装置３０ｂは、ユーザＢのユーザＩＤ「Ｂ」を無線装置３０ａに送信する（Ｓ３０５）。無線装置３０ａは当該ユーザＩＤ「Ｂ」を相手ユーザＩＤとして、コネクション確立日時と共に記憶する（Ｓ３０６）。なお、コネクション確立日時とは、ステップＳ３０２の時点における日時をいう。

【0036】

その後、それぞれの無線装置３０は、コネクションが確立されているか否かを定期的に確認する。例えば、無線装置３０ａは、相手ユーザＩＤ「Ｂ」を無線装置３０ｂに送信する（Ｓ３０７）。無線装置３０ｂは、当該ユーザＩＤ「Ｂ」を受信すると、無線装置３０ｂにとって相手ユーザＩＤとなるユーザＩＤ「Ａ」を無線装置３０ａに応答する（Ｓ３０８）。無線装置３０ｂも、無線装置３０ａと同様の処理を実行する。

【0037】

ここで、例えば、無線装置３０ａは、ユーザＩＤ「Ｂ」を送信した後（Ｓ３０９）、所定時間内に応答がなかった場合に、コネクションが解放（切断）されたと判断する（Ｓ３１０）。同様に、無線装置３０ａは、ユーザＩＤ「Ｂ」を送信した後（Ｓ３１２）、所定時間内に応答がなかった場合に、コネクションが解放されたと判断する（Ｓ３１３）。そこで、無線装置３０ａは、既に記憶されている相手ユーザＩＤ「Ｂ」及びコネクション確立日時に対応付けて、現在日時をコネクション解放日時として記憶する（Ｓ３１１）。無線装置３０ｂも、同様の処理を実行し、コネクション解放日時を相手ユーザＩＤ「Ａ」及びコネクション確立日時に対応付けて記憶する（Ｓ３１４）。なお、ステップＳ３０９〜Ｓ３１１及びＳ３１２〜Ｓ３１４は、ユーザＡとユーザＢとが、お互いの無線装置３０の無線範囲外に移動した状態において実行される。

【0038】

図６は、画像情報及び相手情報のアップロード処理の処理手順の一例を説明するための図である。撮影装置２０ａ及び撮影装置２０ｂ等の各撮影装置２０、並びに無線装置３０ａ及び無線装置３０ｂ等の各無線装置３０は、図６に示される処理手順を実行する。

【0039】

撮影装置２０は、所定の送信タイミングが到来すると（Ｓ４０１でＹｅｓ）、これまでに記憶されている各画像データについて、画像情報を画像共有サーバ１０に送信する（Ｓ４０２）。画像情報には、自ユーザＩＤ、画像データ、及び撮影日時等が含まれる。なお、画像情報が送信された画像データは、撮影装置２０から削除されてもよい。

【0040】

画像共有サーバ１０の画像情報受信部１１は、画像情報を受信すると、当該画像情報を画像情報テーブル１２１に記憶する（Ｓ４０３）。

【0041】

図７は、画像情報テーブルの構成例を示す図である。図７に示されるように、画像情報テーブル１２１は、画像データごとに、自ユーザＩＤ、画像ＩＤ、撮影日時、画像データ、及び利用可ユーザＩＤ等を記憶する。自ユーザＩＤは、画像データの送信元（アップロード元）の撮影装置２０のユーザのユーザＩＤである。画像ＩＤは、画像データごとの識別情報であり、例えば、画像情報受信部１１によって割り当てられる。撮影日時は、画像データの撮影日時である。画像データは、画像データの実体である。利用可ユーザＩＤは、自ユーザＩＤに係るユーザ以外の中で、当該画像データの利用（当該画像データへのアクセス）が許可される利用可ユーザのユーザＩＤである。利用可ユーザＩＤの値は、後述の処理によって設定される。

【0042】

一方、無線装置３０は、所定の送信タイミングが到来すると（Ｓ４０４でＹｅｓ）、これまでに記憶されている相手情報を画像共有サーバ１０に送信する（Ｓ４０５）。相手情報とは、確立されたコネクションごとに、自ユーザＩＤ、当該コネクションに係る相手ユーザＩＤ、当該コネクションの確立日時、及び当該コネクションの解放日時等を含む情報である。なお、送信された相手情報は、無線装置３０から削除されてもよい。

【0043】

その後、画像共有サーバ１０の相手情報受信部１２は、無線装置３０から受信した相手情報を相手情報テーブル１２２に記憶する（Ｓ４０６）。

【0044】

図８は、相手情報テーブルの構成例を示す図である。図８に示されるように、相手情報テーブル１２２には、各相手情報が記憶される。

【0045】

図９は、他ユーザによって撮影された画像データの中で利用可能な画像データを特定する処理の処理手順の一例を説明するためのフローチャートである。

【0046】

利用可ユーザ特定部１３は、処理タイミングが到来すると（Ｓ５０１でＹｅｓ）、画像情報テーブル１２１に記憶されている自ユーザＩＤのうち、処理対象とするユーザＩＤ（以下、「対象ユーザＩＤ」という。）を１つ選択する（Ｓ５０２）。続いて、利用可ユーザ特定部１３は、対象ユーザＩＤを自ユーザＩＤとして含む相手情報を相手情報テーブル１２２から検索する（Ｓ５０３）。なお、ステップＳ５０４以降は、検索された相手情報ごとに実行される。ステップＳ５０４以降において処理対象とされている相手情報を、「対象相手情報」という。

【0047】

続いて、利用可ユーザ特定部１３は、対象相手情報における相手ユーザＩＤを自ユーザＩＤとして含む画像情報を画像情報テーブル１２１から検索する（Ｓ５０４）。続いて、利用可ユーザ特定部１３は、検索された画像情報の中から、対象相手情報のコネクション確立日時及び解放日時の期間内に撮影日時が含まれる画像情報を抽出する（Ｓ５０５）。続いて、利用可ユーザ特定部１３は、抽出された画像情報の利用可ユーザＩＤに、対象ユーザＩＤを設定する（Ｓ５０６）。

【0048】

なお、図９の処理手順は、画像情報テーブル１２１に記憶されている各自ユーザＩＤについて実行される。

【0049】

このように、本実施の形態では、ユーザＡとユーザＢとが近辺において撮影を行っている場合には、各ユーザには、他方によって撮影された画像データの利用が許可される。

【0050】

続いて、画像情報テーブル１２１に記憶された画像データの参照に関する処理手順について説明する。図１０は、画像データの参照時に実行される処理手順の一例を説明するためのシーケンス図である。図１０において、画像参照装置４０を利用するのはユーザＡである。

【0051】

ユーザＡが、自らが撮影した画像データの検索指示を画像参照装置４０に入力すると、画像参照装置４０は、ユーザＡのユーザＩＤ「Ａ」と、検索指示において指定された期間情報等の検索条件とを含む検索要求を、画像共有サーバ１０へ送信する（Ｓ６０１）。ここで、期間情報とは、例えば、或る期間の開始日時及び終了日時を含む情報である。

【0052】

画像共有サーバ１０の画像検索部１４は、当該検索要求に応じ、ユーザＡのユーザＩＤを自ユーザＩＤとして含む画像情報であって、当該検索要求に含まれている検索条件に合致する画像情報を画像情報テーブル１２１から検索する（Ｓ６０２）。例えば、自ユーザＩＤが「Ａ」であり、かつ、撮影日時が、検索要求に指定された期間情報が示す期間に含まれる画像情報が検索される。続いて、画像検索部１４は、検索された画像情報を画像参照装置４０へ返信する（Ｓ６０３）。複数の画像情報が検索された場合、複数の画像情報が返信される。

【0053】

画像参照装置４０は、画像情報を受信すると、当該画像情報に含まれている画像データを表示する（Ｓ６０４）。続いて、画像参照装置４０は、表示されているいずれかの画像データに対して、範囲指定等により、ユーザＡの興味の対象である被写体（対象物）の指定をユーザＡから受け付ける（Ｓ６０５）。

【0054】

図１１は、対象物の指定方法の一例を示す図である。図１１では、画像データｉ１において、被写体ｏ１を囲むように部分領域ａ１の指定が行われることで、被写体ｏ１が対象物として指定される例が示されている。但し、被写体ｏ１が直接的に指示される等により、対象物の指定が行われてもよい。以下、「被写体ｏ１」を「対象物ｏ１」という。

【0055】

続いて、画像参照装置４０は、対象物ｏ１が指定された画像データｉ１から、対象物ｏ１の範囲の部分画像（以下、「対象物画像」という。）を切り出す（Ｓ６０６）。例えば、対象物を囲む最小外接矩形の範囲の画像データが対象物画像として切り出されてもよい。

【0056】

続いて、画像参照装置４０は、対象物画像の切り出し元の画像データｉ１の画像ＩＤと、対象物画像とを含む対象物情報を、画像共有サーバ１０へ送信する（Ｓ６０７）。

【0057】

画像共有サーバ１０の対象物情報受信部１５が当該対象物情報を受信すると、特徴情報抽出部１６は、対象物画像から対象物の特徴情報を抽出し、抽出された特徴情報等を、対象物テーブル１２３へ記憶する（Ｓ６０８）。

【0058】

図１２は、対象物テーブルの構成例を示す図である。図１２に示されるように、対象物テーブル１２３には、対象物ごとに、対象物ＩＤ、画像ＩＤ、撮影日時、画像データ、特徴情報、及び対象物画像等が記憶される。

【0059】

対象物ＩＤは、対象物ごとの識別情報であり、例えば、対象物情報受信部１５によって割り当てられる。画像ＩＤは、対象物画像の切り出し元の画像データ（図１１では画像データｉ１）の画像ＩＤである。撮影日時は、対象物画像の切り出し元の画像データの撮影日時である。画像データは、対象物画像の切り出し元の画像データである。なお、撮影日時及び画像データは、受信された対象物情報に含まれている画像ＩＤに基づいて、画像情報テーブル１２１から転記される。

【0060】

特徴情報は、対象物画像から抽出された、対象物の特徴情報である。図１２では、対象物の上部と下部とのそれぞれについて、色及び形状等が抽出される例が示されている。但し、特徴情報の構成は適宜変更されてもよい。対象物画像は、対象物画像そのものである。なお、ステップＳ６０８では、１つのレコード（行）が対象物テーブル１２３に追加される。

【0061】

続いて、撮影者特定部１７は、ステップＳ６０２において検索された各画像情報において利用可ユーザＩＤとして含まれているユーザＩＤを取得する（Ｓ６０９）。すなわち、当該ユーザＩＤが、対象物を撮影している可能性の有る他ユーザ（例えば、ユーザＢ）のユーザＩＤとして特定される。なお、ステップＳ６０９において取得されるユーザＩＤは、対象物画像の切り出し元の画像データに係る画像情報に含まれている利用可ユーザＩＤに限定されてもよい。

【0062】

続いて、対象物検索部１８は、ステップＳ６０９において取得されたユーザＩＤを自ユーザＩＤとして含む画像情報群から、ステップＳ６０２と同じ検索条件に合致する画像情報を検索する（Ｓ６１０）。例えば、ステップＳ６０２と同じ期間に撮影日時が含まれる画像情報が検索される。続いて、対象物検索部１８は、検索された画像情報群から、ユーザＡのユーザＩＤ「Ａ」を利用可ユーザＩＤに含む画像情報を抽出する（Ｓ６１１）。すなわち、ユーザＡが利用可能な画像データに係る画像情報が抽出される。続いて、対象物検索部１８は、ステップＳ６０２において検索された各画像情報に係る各画像データと、ステップＳ６１１１において抽出された各画像情報に係る各画像データとから、対象物の特徴情報に基づいて、対象物を被写体として含むことが推定される画像データ群を抽出する（Ｓ６１２）。すなわち、ユーザＡによる撮影画像群と、ユーザＡの所定の範囲内（無線装置３０ａ無線範囲）内）において撮影を行っていたユーザによる撮影画像群との中から、対象物を含むことが推定される画像データ群が抽出される。例えば、ユーザＢによって撮影された画像データｉ２が抽出される。

【0063】

なお、抽出される画像データ群には、対象物画像の切り出し元の画像データ（図１１の画像データｉ１）も含まれる。また、特徴情報に係る被写体が含まれているか否かの判定は、公知技術に基づいて行うことができる。

【0064】

続いて、対象物検索部１８は、対象物を含むことが推定された画像データ群に係る画像情報群を、画像参照装置４０へ送信する（Ｓ６１３）。

【0065】

画像参照装置４０は、当該画像情報群を受信すると、当該画像情報群に含まれている各画像情報の画像データを表示する（Ｓ６１４）。その結果、ユーザＡは、他のユーザによって撮影された対象物ｏ１の画像データを入手することができる。

【0066】

続いて、ユーザＡによって、対象物ｏ１の立体像の生成指示が入力されると（Ｓ６１５）、画像参照装置４０は、当該画像情報群に含まれている各画像情報の画像ＩＤを含む、対象物の立体像の生成要求を画像共有サーバ１０へ送信する（Ｓ６１６）。

【0067】

画像共有サーバ１０の立体像生成部１９は、当該生成要求を受信すると、当該生成要求に含まれている各画像ＩＤに係る画像データに含まれている対象物ｏ１の画像に基づいて、対象物の立体像を示すデータを生成する（Ｓ６１７）。

【0068】

図１３は、対象物の立体像の一例を示す図である。図１３では、対象物ｏ１の立体像を４方向から見た図が示されている。なお、或る対象物を異なる方向から撮影した複数の画像データからの、当該対象物の立体像（全体像）の生成（再現又は復元）は、公知技術を用いて行うことができる。例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＰｈｏｔｏｓｙｎｔｈが利用されてもよい。

【0069】

なお、立体像は、対象物の姿を完全に再現するものでなくてもよい。例えば、一部分は推定によって補われてもよいし、再現不能として、欠落部分が有ってもよい。

【0070】

また、立体像を示すデータは、例えば、３次元ＣＡＤデータであってもよいし、他のデータ形式のデータであってもよい。また、立体像を、複数の視点から見た場合の複数の画像データが、立体像を示すデータであってもよい。例えば、図１３の場合であれば、４つの画像データが立体像を示すデータを構成してもよい。

【0071】

続いて、立体像生成部１９は、生成されたデータに関する情報を立体像テーブル１２４に記憶する（Ｓ６１８）。

【0072】

図１４は、立体像テーブルの構成例を示す図である。図１４に示されるように、立体像テーブル１２４には、立体像ごとに、撮影期間と対象物立体像データとが記憶される。撮影期間は、立体像の生成に使用された画像データ群の撮影期間である。例えば、当該画像データ群の中で撮影日時が最も早い画像データの撮影日時から、撮影日時が最も遅い画像データの撮影日時までの期間が、撮影期間とされてもよい。対象物立体像データは、対象物の立体像を示すデータそのものである。

【0073】

続いて、立体像生成部１９は、対象物ｏ１の立体像を示すデータを画像参照装置４０へ送信する（Ｓ６１９）。画像参照装置４０は、当該データに基づいて、対象物ｏ１の立体像を表示する（Ｓ６２０）。

【0074】

上述したように、本実施の形態によれば、ユーザは、自分が興味を持った対象物について、他人の撮影装置２０によって撮影された様々な方向からの画像データを入手することができる。すなわち、複数の撮影装置２０によって撮影された共通の被写体を含む画像データを容易に入手可能とすることができる。

【0075】

また、様々な方向からの対象物の画像データに基づいて対象物の立体像が生成されることで、エンターテイメント性を高めることができる。

【0076】

なお、本実施の形態において、画像共有サーバ１０は、画像処理装置の一例である。画像情報テーブル１２１は、記憶部の一例である。特徴情報抽出部１６は、抽出部の一例である。対象物検索部１８は、検索部の一例である。立体像生成部１９は、生成部の一例である。

【0077】

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0078】

１ 画像共有システム
１０ 画像共有サーバ
１１ 画像情報受信部
１２ 相手情報受信部
１３ 利用可ユーザ特定部
１４ 画像検索部
１５ 対象物情報受信部
１６ 特徴情報抽出部
１７ 撮影者特定部
１８ 対象物検索部
１９ 立体像生成部
２０ａ 撮影装置
２０ｂ 撮影装置
３０ａ 無線装置
３０ｂ 無線装置
４０ 画像参照装置
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１２１ 画像情報テーブル
１２２ 相手情報テーブル
１２３ 対象物テーブル
１２４ 立体像テーブル
Ｂ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】