特許第6231387号(P6231387)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許6231387サーバ、クライアント端末、システム、および記録媒体
<>
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000002
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000003
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000004
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000005
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000006
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000007
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000008
  • 特許6231387-サーバ、クライアント端末、システム、および記録媒体 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6231387
(24)【登録日】2017年10月27日
(45)【発行日】2017年11月15日
(54)【発明の名称】サーバ、クライアント端末、システム、および記録媒体
(51)【国際特許分類】
   G06F 17/30 20060101AFI20171106BHJP
【FI】
   G06F17/30 220C
   G06F17/30 110F
   G06F17/30 170B
   G06F17/30 310Z
【請求項の数】19
【全頁数】20
(21)【出願番号】特願2013-551532(P2013-551532)
(86)(22)【出願日】2012年11月19日
(86)【国際出願番号】JP2012079930
(87)【国際公開番号】WO2013099472
(87)【国際公開日】20130704
【審査請求日】2015年1月7日
【審判番号】不服2016-13086(P2016-13086/J1)
【審判請求日】2016年8月31日
(31)【優先権主張番号】特願2011-285204(P2011-285204)
(32)【優先日】2011年12月27日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100095957
【弁理士】
【氏名又は名称】亀谷 美明
(72)【発明者】
【氏名】佐古 曜一郎
(72)【発明者】
【氏名】竹原 充
(72)【発明者】
【氏名】宮島 靖
【合議体】
【審判長】 金子 幸一
【審判官】 佐藤 智康
【審判官】 相崎 裕恒
(56)【参考文献】
【文献】 特開2006−260338(JP,A)
【文献】 特開平4−70729(JP,A)
【文献】 特開2011−238057(JP,A)
【文献】 特開2008−170930(JP,A)
【文献】 特開平9−114857(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 17/30
(57)【特許請求の範囲】
【請求項1】
クライアント端末から撮像対象物に対するユーザ指定の状況に関する情報を受信する受信部と、
前記受信部により受信した前記撮像対象物に対するユーザ指定の状況に適合する対象物の画像を検索する検索部と、
前記検索部により検索した画像を前記クライアント端末に送信する送信部と、
を備え、
前記ユーザ指定の状況は、前記クライアント端末においてタイムシフト操作入力部により入力された前記撮像対象物の経過状態を指定する情報を含む、サーバ。
【請求項2】
前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の工事工程を指定する情報である、請求項1に記載のサーバ。
【請求項3】
前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の開花状態または紅葉状態を指定する情報である、請求項に記載のサーバ。
【請求項4】
ユーザ指定の状況に関する前記情報は、前記クライアント端末の現在位置情報を含み、
前記検索部は、前記クライアント端末の現在位置情報と、前記撮像対象物の位置情報をマッチングすることにより、前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項1〜3のいずれか1項に記載のサーバ。
【請求項5】
ユーザ指定の状況に関する前記情報は、前記クライアント端末による撮影時の方位、高度、仰角、または倍率の情報を含み、
前記検索部は、前記現在位置情報に加え、前記クライアント端末による撮影時の方位、高度、仰角、または倍率の情報に基づき前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項に記載のサーバ。
【請求項6】
ユーザ指定の状況に関する前記情報は、前記クライアント端末により撮像された前記撮像対象物の撮像画像を含み、
前記検索部は、前記撮像画像との画像の一致度または類似度マッチングにより、前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項1〜5のいずれか1項に記載のサーバ。
【請求項7】
前記一致度または類似度マッチングは、画像の輪郭情報を用いて行われる、請求項に記載のサーバ。
【請求項8】
ユーザ指定の状況に関する前記情報は、前記クライアント端末の現在位置情報、および前記クライアント端末により撮像された前記撮像対象物の撮像画像を含み、
前記検索部は、前記クライアント端末の現在位置情報と前記撮像対象物の位置情報とのマッチング、および前記撮像画像と前記対象物の画像の一致度または類似度マッチングに基づき、前記ユーザ指定の状況に適合する対象物の画像を検索する、請求項1〜3のいずれか1項に記載のサーバ。
【請求項9】
対象物の撮像画像を取得する撮像部と、
撮像対象物の経過状態を指定する情報の入力を受け付けるタイムシフト操作入力部と、
前記撮像部により取得した撮像対象物の画像と、前記タイムシフト操作入力部により入力された経過状態を指定する情報を、対象物に対するユーザ指定の状況に関する情報に含めてサーバに送信する送信部と、
前記サーバから前記経過状態を指定する情報に適合する対象物の画像を受信する受信部と、
前記受信部により受信した画像を表示するよう制御する表示制御部と、
を備えるクライアント端末。
【請求項10】
前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の工事工程を指定する情報である、請求項9に記載のクライアント端末。
【請求項11】
前記撮像対象物の経過状態を指定する情報は、前記撮像対象物の開花状態または紅葉状態を指定する情報である、請求項10に記載のクライアント端末。
【請求項12】
前記表示制御部は、撮像対象物の画像と共に、前記撮像対象物の経過状態を指定する情報の入力を受け付ける操作部の画像を表示する、請求項9〜11のいずれか1項に記載のクライアント端末。
【請求項13】
前記クライアント端末は、
外部からの取得信号に基づいて前記クライアント端末の位置情報を取得する取得部をさらに備え、
前記送信部は、前記取得部により取得した前記位置情報を、前記ユーザ指定の状況に関する情報に含めて送信する、請求項9〜12のいずれか1項に記載のクライアント端末。
【請求項14】
前記表示制御部は、前記撮像画像から人物画像を抽出し、前記抽出した人物画像を、前記受信した画像に合成して表示する、請求項9〜13のいずれか1項に記載のクライアント端末。
【請求項15】
前記表示制御部は、前記タイムシフト操作入力部から予め前記撮像対象物の経過状態を指定する情報が入力されている際、シャッターボタンの押下に応じて、前記受信部により受信したユーザ指定の状況に適合する対象物の画像を表示するよう制御する、請求項9〜14のいずれか1項に記載のクライアント端末。
【請求項16】
対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて記憶する画像情報記憶部と、
ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする検索部と、
前記検索部により検索した前記対象物の画像に基づいて表示を制御する表示制御部と、
を備え、
前記ユーザにより指定された前記対象物に対する状況は、クライアント端末においてタイムシフト操作入力部により入力された撮像対象物の経過状態を指定する情報を含む、システム。
【請求項17】
クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する処理と、
前記受信する処理により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する処理と、
前記検索する処理により検索した画像を前記クライアント端末に送信する処理と、
をコンピュータに実行させるプログラムが記録され、
前記ユーザ指定の状況は、前記クライアント端末においてタイムシフト操作入力部により入力された撮像対象物の経過状態を指定する情報を含む、記録媒体。
【請求項18】
撮像部により取得した撮像対象物の画像と、撮像対象物の状況を指定するユーザによるシフト情報の入力を受け付けるタイムシフト操作入力部により入力された前記撮像対象物の経過状態を指定する情報を、対象物に対するユーザ指定の状況に関する情報に含めてサーバに送信する処理と、
前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する処理と、
前記受信した画像を表示するよう制御する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項19】
対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて画像情報記憶部に記憶する処理と、
ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする処理と、
前記検索する処理により検索した前記対象物の画像に基づいて表示を制御する処理と、
をコンピュータに実行させるプログラムが記録され、
前記ユーザにより指定された前記対象物に対する状況は、クライアント端末においてタイムシフト操作入力部により入力された撮像対象物の経過状態を指定する情報シフト情報を含む、記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、サーバ、クライアント端末、システム、および記録媒体に関する。
【背景技術】
【0002】
近年、被写体画像をデジタル画像信号として記憶媒体に記憶して保存するデジタルカメラが普及している。このようなデジタルカメラは、ビューファインダーに表示されたその時点の画像を、記録して保存するものである。
【0003】
これに対し下記特許文献1では、特定の対象画像の過去や未来の画像を取得できるデジタルカメラが提案されている。具体的には、下記特許文献1に記載のデジタルカメラは、ユーザにより過去の年月日が指定された場合、指定された年月日およびデジタルカメラの位置情報等をサーバにアップし、サーバから該当する過去の画像をサーバから取得する。そして、デジタルカメラは、シャッターボタンが押されると、取得した過去の画像を表示する。
【0004】
また、下記特許文献1に記載のデジタルカメラは、ユーザにより未来の年月日が指定され、シャッターボタンが押された場合、指定された未来の年月日およびデジタルカメラの位置情報等をサーバにアップし、画像検索予約を行う。そして、サーバは、予約された年月日の時点で、デジタルカメラからアップされた各情報に基づいて検索した画像をデジタルカメラに送信する。
【0005】
このように、下記特許文献1では、ユーザにより指定された過去または未来の年月日に基づいて対象画像の過去や未来の画像を取得していた。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006−260338号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に開示されている技術では、年月日の指定により過去/未来の画像を取得するので、ユーザが特定の状況における撮像画像を見たい場合は、特定の状況の年月日が正確に分からなければならなかった。例えば、現在見ている景色(被写体画像)の夜景が見たい、紅葉の季節の景色が見たい、晴天での景色が見たい、または現在改修中の建物の本来の姿が見たい等の特定の状況を指定したい場合、ユーザはそれらの状況の正確な年月日を指定しなければならなかった。このような作業はユーザにとって負担であり、また、ユーザが正確な年月日が分からない場合もあった。
【0008】
そこで、本開示では、ユーザ指定の状況に適合する画像を提供することが可能な、新規かつ改良されたサーバ、クライアント端末、システム、および記録媒体を提案する。
【課題を解決するための手段】
【0009】
本開示によれば、クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する受信部と、前記受信部により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する検索部と、前記検索部により検索した画像を前記クライアント端末に送信する送信部と、を備えるサーバを提案する。
【0010】
本開示によれば、対象物に対するユーザ指定の状況に関する情報をサーバに送信する送信部と、前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する受信部と、前記受信部により受信した前記ユーザ指定の状況に適合する前記対象物の画像に基づいて表示を制御する表示制御部と、を備えるクライアント端末を提案する。
【0011】
本開示によれば、対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて記憶する画像情報記憶部と、ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする検索部と、前記検索部により検索した前記対象物の画像に基づいて表示を制御する表示制御部と、を備えるシステムを提案する。
【0012】
本開示によれば、クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する処理と、前記受信する処理により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する処理と、前記検索する処理により検索した画像を前記クライアント端末に送信する処理と、をコンピュータに実行させるプログラムが記録された記録媒体を提案する。
【0013】
本開示によれば、対象物に対するユーザ指定の状況に関する情報をサーバに送信する処理と、前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する処理と、前記受信する処理により受信した前記対象物の画像に基づいて表示を制御する処理と、をコンピュータに実行させるプログラムが記録された記録媒体を提案する。
【0014】
本開示によれば、対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて画像情報記憶部に記憶する処理と、ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする処理と、前記検索する処理により検索した前記対象物の画像に基づいて表示を制御する処理と、をコンピュータに実行させるプログラムが記録された記録媒体を提案する。
【発明の効果】
【0015】
以上説明したように本開示によれば、ユーザ指定の状況に適合する画像を提供することが可能となる。
【図面の簡単な説明】
【0016】
図1】本開示の一実施形態によるタイムシフト表示システムの概要を説明するための図である。
図2】本開示の一実施形態によるサーバの構成を示すブロック図である。
図3】本開示の一実施形態によるデジタルカメラの構成を示すブロック図である。
図4】本開示の一実施形態によるタイムシフト表示システムの動作処理を示すフローチャートである。
図5】本開示の昼夜シフトにおいて、指定状況に適合する夜景画像を複数表示する画面例を示す図である。
図6】本開示の季節シフトを説明するための図である。
図7】本開示の季節シフトにおいて、桜ダイヤルによりさらに状況を指定する場合について説明するための図である。
図8】本開示の天候シフトを説明するための図である。
【発明を実施するための形態】
【0017】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0018】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるタイムシフト表示システムの概要
2.基本構成
3.動作処理
4.各状況のタイムシフト
4−1. 昼夜シフト
4−2. 季節シフト
4−3. 天候シフト
4−4. 工事シフト
5.まとめ
【0019】
<1.本開示の一実施形態によるタイムシフト表示システムの概要>
まず、本開示の一実施形態によるタイムシフト表示システムの概要について図1を参照して説明する。図1に示すように、本開示の一実施形態によるタイムシフト表示システムは、サーバ1、およびクライアント端末であるデジタルカメラ2を有する。また、サーバ1およびデジタルカメラ2は、ネットワーク3を介して接続することが可能である。
【0020】
図1に示すように、ユーザがデジタルカメラ2で被写体を撮影した際、ユーザは、表示装置31に表示される現在の被写体(対象物)の撮影画像のみならず、特定の状況における被写体画像を見たい場合もある。
【0021】
具体的には、例えばユーザが観光地などを訪問したときに、時間帯や天候によって所望の景観が見られず不満である場合や、現在の景観には満足していても、異なる状況下の景観を見てみたいという欲求がある場合がある。
【0022】
例えば、
・昼間に来たが、夜景はどうなのだろう
・夜に来たが、日中の風景はどうなのだろう
・紅葉の時期より早く来てしまったが、紅葉の景色はどうなのだろう
・ここの雪景色はどうなのだろう
・天気が悪くて山や湖がぼやけてしまっているが、澄み渡った晴れの日の風景はどうなのだろう
・改修中で建物に覆いがかぶさっているが、本来はどんな建物なのだろう
といったユーザニーズがある。
【0023】
例えば図1に示す例では、ユーザが昼間に撮影を行うと、表示装置31には、現在の、すなわち昼間の町並み(撮像画像4)が表示される。しかし、ユーザには、この町並みの夜の風景も見てみたいという欲求がある場合もある。
【0024】
そこで、本開示の一実施形態によれば、昼夜シフトモードにおいて、ユーザが夜景シフトボタン41を選択して対象物に対する状況を指定した場合、図1に示すように、デジタルカメラ2は、この町並みの夜景の画像4Sを表示することができる。
【0025】
本開示の一実施形態によるタイムシフト表示システムでは、このようにユーザニーズに応えることでユーザの満足度を高めることができる。また、本実施形態によるタイムシフト表示システムでは、ユーザは現在の景観が見られるだけでなく、所望の状況(シチュエーション)の景観を見ることができる。また、本実施形態によるタイムシフト表示システムは、特に旅行者にとっては好適な表示システムである。
【0026】
上記ユーザニーズに応えるために、本実施形態によるデジタルカメラ2は、対象物に対するユーザ指定の状況に適合した画像をネットワーク上から取得する(サーバ1から提供される)必要がある。以下、図1に示す例を用いて、ユーザが所望する夜景の画像4Sの取得について簡潔に説明する。
【0027】
図1に示すように、デジタルカメラ2は、ユーザにより指定された対象物の状況に関する情報(ここでは、夜景指定、およびデジタルカメラ2の位置情報)をサーバ1に送信する。サーバ1は、当該対象物の状況に関する情報に基づいて、適合する画像を検索する。
【0028】
具体的には、例えばサーバ1は、デジタルカメラ2の位置情報から、デジタルカメラ2の被写体である対象物を推定し、推定した対象物のユーザ指定の状況(ここでは、夜景)に適合する画像(推定された対象物の夜景の画像4S)を検索する。
【0029】
そしてサーバ1は、検索した夜景の画像4Sをデジタルカメラ2に送信する。デジタルカメラ2は受信した夜景の画像4Sを表示し、ユーザは所望する状況における対象物の画像を見ることができる。
【0030】
このように、本実施形態によるタイムシフト表示システムでは、デジタルカメラ2は、対象物に対するユーザ指定の状況に適合した画像をネットワーク上から取得し(サーバ1から提供され)、表示することができる。
【0031】
以上、本開示の一実施形態におけるタイムシフト表示システムの概要について説明した。以下、タイムシフト表示システムに含まれるサーバ1、およびデジタルカメラ2(クライアント端末)の構成について詳細に説明する。
【0032】
なお、図1では、クライアント端末としてデジタルカメラ2を示すが、本実施形態によるクライアント端末はこれに限定されず、例えばビデオカメラ、カメラ付きのスマートフォン、PDA(Personal Digital Assistants)、PC(Personal Computer)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。また、本実施形態によるクライアント端末はカメラ付きの装置に限定されず、例えばGPS付きの装置など、対象物を推定する情報を取得できる装置にはいずれも適用可能である。
【0033】
<2.基本構成>
[2−1.サーバ1]
図2は、本実施形態によるサーバ1の構成を示すブロック図である。図1に示すように、サーバ1は、CPU10、ROM11、RAM12、画像データベース(DB)13、検索エンジン14、およびネットワークインターフェース(I/F)15を有する。以下、各構成について説明する。
【0034】
(画像DB13)
画像DB13は、撮像画像を、撮像された時の情報(年、月、日、時、分、秒)、撮影場所の情報(位置情報/経度および緯度)、および撮像方位の情報などのメタ情報と対応付けた状態で格納する。
【0035】
また、本実施形態によるメタ情報は、上述した例の他、撮像時におけるデジタルカメラ2の高度、方位、仰角、対象物との距離、および倍率の情報、対象物(自然物/人工物)の状態や、撮影時の周囲の状況である。以下、「対象物(自然物/人工物)の状態」、および「撮影時の状況」について、さらに具体例を列挙して説明する。
【0036】
・対象物(自然物)の状態
始まり以前−始まり−3分−5分−8分−最盛期−盛り過ぎ−終わり
(A)対象物が桜の場合;青葉−開花−3分咲き−5分咲き−8分咲き−満開−散り始め−散り終わり
(B)対象物が紅葉の場合;青葉−色づき始め−5分−見ごろ−色あせ始め−落葉
【0037】
・対象物(人工物)の状態
建物の建設、改築、改修、補修、修理などの工事における工程の状態
(C)大分類;工事前−工事中−工事後
(D)中分類;工事前−工事初期−工事中期−工事後期−工事後
【0038】
・撮影時の状況
「昼夜」
(E)大分類;朝−昼−夜
(F)中分類;日の出−早朝−朝−正午−14時−夕方−日の入−晩−夜−深夜
「季節」
(G)大分類;春−夏−秋−冬
(H)中分類;早春−春−晩春−初夏−盛夏−晩夏−初秋−秋−晩秋−初冬−冬−晩冬
「天候」
(I)大分類;晴れ−曇り−雨−雪−霧
(J)中分類;快晴−晴−雲の多い晴−薄い雲−曇り−雨雲−小雨−雨−大雨−雷雨
【0039】
以上説明したような種々のメタ情報は、画像DB13に格納する撮像画像に予め付加されていたメタ情報であってもよいし、撮像画像の解析結果として取得されてもよいし、ユーザより入力されてもよい。
【0040】
(検索エンジン14)
検索エンジン14は、画像DB13に格納されている画像の中から、デジタルカメラ2から受信した、対象物に対するユーザ指定の状況に関する情報(以下、指定情報とも称す)に適合する画像を検索する。
【0041】
ここで、指定情報には、対象物の撮像画像、または撮影場所の情報(デジタルカメラ2の位置情報)が少なくとも含まれる。検索エンジン14は、指定情報に含まれる撮像画像と画像DB13に格納される画像の一致度または類似度マッチングを行うことにより、画像DB13から適合する画像を検索してもよい。また、画像の一致度または類似度マッチングは、例えば画像の輪郭情報を用いて行われる。
【0042】
また、検索エンジン14は、指定情報に含まれる位置情報と画像DB13に格納されるメタ情報に含まれる撮影場所の位置情報をマッチングすることにより、画像DB13から適合する画像を検索してもよい。例えば、指定情報に含まれる位置情報が、富士山の位置情報と近い場合、検索エンジン14は、対象物は富士山と推定し、画像DB13を検索する。
【0043】
さらに、指定情報には、ユーザ指定の状況を示す情報が少なくとも含まれる。検索エンジン14は、ユーザ指定の状況を示す情報と適合するメタ情報を画像DB13から検索し、検索されたメタ情報に対応する対象物の画像を検索結果とする。
【0044】
このように、検索エンジン14は、指定情報に含まれる対象物の撮像画像または/および位置情報に基づいて推定される対象物の画像を検索し、さらにユーザ指定の状況に適合する画像を検索結果とする。
【0045】
さらに、撮像時におけるデジタルカメラ2の高度、方位、仰角、対象物との距離、および倍率等が指定情報に含まれている場合、検索エンジン14は、これらの情報に基づき、ユーザが撮影した撮像画像により近いアングルの適合画像を検索することができる。
【0046】
(ネットワークI/F15)
ネットワークI/F15は、ネットワーク3を通じてクライアント端末(デジタルカメラ2)との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態によるネットワークI/F15は、デジタルカメラ2から指定情報を受信したり、指定情報に適合する画像(検索結果)をデジタルカメラ2に送信したりする。
【0047】
(CPU10、ROM11、およびRAM12)
ROM11は、上述した検索エンジン14による適合画像の検索や、検索結果を指定情報の送信元のデジタルカメラ2にネットワークI/F15により送信するためのソフトウェアプログラム等が記憶されている。CPU10は、ROM11に記憶されている上記ソフトウェアプログラムにしたがって、RAM12をワークエリアとして用いて処理を実行する。
【0048】
[2−2.デジタルカメラ2(クライアント端末)]
次に、クライアント端末の構成について図3を参照して説明する。図3に示すクライアント端末は、無線通信機能を有する撮像装置、この例ではデジタルカメラ2の構成である。なお、本実施形態では、静止画を撮像するデジタルカメラの場合として説明するが、動画も合わせて撮像記録することができるデジタルカメラであってもよい。
【0049】
図3に示すように、デジタルカメラ2は、CPU20、ROM21、RAM22、高度センサ23、方位センサ24、仰角センサ25、GPS測位部26、カメラモジュール27、カメラ操作入力部28、撮像画像メモリ29、表示制御部30、表示装置31、ネットワークインターフェース(I/F)32、およびタイムシフト操作入力部35を有する。以下、各構成について説明する。
【0050】
ROM21には、撮像機能を遂行するためのプログラムの他、サーバ1へ指定情報を送信し、サーバ1から当該指定情報に応じて送られてくる適合画像を取得して表示および記録処理するためのプログラムなどが記憶されている。ROM21に記憶されているプログラムは、CPU20により、RAM22をワークエリアとして用いながら実行されるものである。
【0051】
高度センサ23は、デジタルカメラ2が現在存在している場所の高度を検知し、検知した高度の情報を出力する。
【0052】
方位センサ24は、カメラモジュール27のレンズ光学系の光軸の方向、つまり、撮像方向を検知し、検知した撮像方向の情報を出力する。
【0053】
仰角センサ25は、カメラモジュール27のレンズ光学系の光軸の方向と、水平面とのなす角(仰角または伏角)、つまり、デジタルカメラ2の撮像方向の上下方向のアングル(いわゆる撮像アングル)を検知し、検知した撮像アングルの情報を出力する。
【0054】
GPS(Global Positioning System)測位部26は、GPS衛星からの電波を受信して、デジタルカメラ2が存在している位置を検知し、検知した位置の情報を出力する。なお、GPS測位部26は、外部からの取得信号に基づいてデジタルカメラ2の位置を検知することにより位置情報を取得する取得部の一例である。本実施形態による取得部は、GPS測位部26の他、例えばWiFi、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等であってもよい。
【0055】
本実施形態では、これら高度センサ23からの高度情報、方位センサ24からの撮像方向情報、仰角センサ25からの撮像アングルの情報、およびGPS測位部26からの位置情報は、撮像画像と共に当該撮像画像のメタ情報として撮像画像メモリ29に記録される。
【0056】
カメラモジュール27は、撮像素子、撮像レンズを含む撮像光学系、および撮像画像信号処理部を含み、デジタル信号とされた撮像画像のデータを出力する。なお、撮像素子は、例えばCCD(Charge Coupled Device)イメージャやCMOS(Complementary Metal Oxide Semiconductor)イメージャにより実現される。また、カメラモジュール27は、撮像時の倍率の情報を出力し、本実施形態では、撮像時の倍率の情報が撮像画像のメタ情報として撮像画像メモリ29に記憶される。
【0057】
カメラ操作入力部28は、ズームキーやシャッターボタンなどの撮像のために操作するキー群を含む。CPU20は、カメラ操作入力部28において、いずれのキーが操作されたかを監視して、操作されたキーに応じた処理を、ROM21のプログラムにしたがって実行する。
【0058】
表示制御部30は、ROM21のプログラムに基づくCPU20による制御にしたがって、これに接続される表示装置31に表示する表示画面の表示内容を表示制御する。表示装置31は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより実現される。
【0059】
カレンダー時計部33は、年、月、日、時、分、秒のカレンダー時計情報を発生するものである。このカレンダー時計情報は、撮像時に、その撮像時間情報として保持される。また、タイマー動作をする場合には、このカレンダー時計部33からの時刻情報に基づいて、タイマー時間が計測される。
【0060】
ネットワークI/F27は、ネットワーク3を通じてサーバ1との間でデータの送受信を行なうための通信モジュールである。例えば、本実施形態によるネットワークI/F27は、サーバ1に指定情報を送信したり、サーバ1から指定情報に応じた適合画像(検索結果)を受信したりする。
【0061】
撮像画像メモリ29は、例えば、カード型メモリなどのフラッシュメモリが用いられる。また、DVD(Digital Versatile Disc)などの記録媒体であっても良い。さらには、このようなリムーバルなメモリ媒体ではなく、ハードディスク装置を用いても良い。また、撮像画像メモリ29は、カメラモジュール27から出力された撮像画像と共に、上述した高度情報、撮像方向(方位)情報、撮像アングル(仰角)の情報、位置情報および倍率等を、当該撮像画像のメタ情報として記録する。
【0062】
タイムシフト操作入力部35は、ユーザが対象物に対する状況の指定を行う際に用いられるスイッチ、ボタン、およびダイヤル等である。ユーザは、タイムシフト操作入力部35により、昼夜、季節、天候および工事工程等における所望の状況を指定する。タイムシフト操作入力部35により入力されたユーザ指定の状況の情報は、撮像画像や当該撮像画像のメタ情報と共にネットワークI/F32からサーバ1に送信される。
【0063】
なお、タイムシフト操作入力部35を構成するスイッチ、ボタン、およびダイヤル等は物理的なものであってもよいし、表示装置31に表示される画像であってもよい。本実施形態では、ユーザによる操作入力を検知できるタッチパネルが表示装置31上に積層され設けられる。これにより、ユーザは、タイムシフト操作入力用に表示されたボタン等を操作し、状況指定を行なうことがきる。
【0064】
以上、本開示の一実施形態によるクライアント端末(デジタルカメラ2)の構成について詳細に説明した。続いて、本実施形態によるタイムシフト表示システムの具体的な動作処理について説明する。
【0065】
<3.動作処理>
上述したように、本実施形態によるタイムシフト表示システムでは、デジタルカメラ2がユーザ指定された状況に適合する画像をネットワーク上から取得し、表示する。このようなタイムシフト表示システムの動作処理について図4を参照して説明する。
【0066】
図4は、本実施形態によるタイムシフト表示システムの動作処理を示すフローチャートである。図4に示すように、まず、ステップS103において、デジタルカメラ2は画像撮影処理を行う。具体的には、ユーザによりシャッターボタン(不図示)が押下されると、カメラモジュール27により対象物を撮像し、カメラモジュール27から出力される撮像画像を撮像画像メモリ29に記憶し、さらに、表示装置31に表示する。
【0067】
次いで、ステップS106において、デジタルカメラ2は、GPS測位部26によりデジタルカメラ2が現在存在している位置を検知し、GPS測位部26から出力される位置情報を、上記ステップS103において撮像した撮像画像のメタ情報として撮像画像メモリ29に記憶する。
【0068】
次に、ステップS109において、タイムシフト操作入力部35から、ユーザにより対象物(被写体)に対する状況の指定が行われると、続くステップS112において、デジタルカメラ2は、ユーザ指定の状況に関する情報をサーバ1に送信する。ユーザ指定の状況に関する情報は、例えば撮像画像、位置情報、および指定された状況の情報である。
【0069】
次いで、ステップS115において、サーバ1は、デジタルカメラ2から受信したユーザ指定の状況に関する情報に基づいて、ユーザ指定の状況に適合する対象物の画像をサーバ1の画像DB13から検索する。
【0070】
次に、ステップS118において、サーバ1は、検索した適合画像を、ユーザ指定の状況に関する情報の送信元であるデジタルカメラ2に送信する。
【0071】
次いで、ステップS121において、デジタルカメラ2は、サーバ1から受信した適合画像に基づいて表示制御を行い、ユーザが指定した状況における対象物の画像を表示する。
【0072】
なお、上記ステップS115において、ユーザ指定の状況に適合する対象物の画像が画像DB13から検索できなかった場合、ステップS118において、サーバ1は、適合画像が無い旨をデジタルカメラ2に送信してもよい。この場合、ステップS121において、デジタルカメラ2は、適合画像が無い旨を表示し、ユーザに通知する。
【0073】
以上、本実施形態によるタイムシフト表示システムの動作処理について詳細に説明した。続いて、上記ステップS109におけるタイムシフト操作において、ユーザによりどのような状況の指定が行われ得るか、以下具体例を挙げて説明する。
【0074】
<4.各状況のタイムシフト>
上述したように、ユーザは、対象物に対する状況指定として、昼夜、季節、および天候等において所望する状況を指定することができる。以下、ユーザによる状況指定により現在の撮像画像が変化するタイムシフトの具体例について説明する。
【0075】
[4−1. 昼夜シフト]
昼夜シフトでは、昼景または夜景といった1日の時間帯の区分を指定することができる。例えば、ユーザが観光地の函館に昼間に来た際に、「夜景はどうなのだろう。綺麗なら夜も来たいな」というニーズがある場合がある。
【0076】
そこで、ユーザがタイムシフト操作入力部35から夜景指定を行うと、デジタルカメラ2は、対象物に対して指定された状況に適合する画像、ここでは函館の過去の夜景画像をサーバ1から取得し、表示する。これにより、ユーザは、所望した函館の夜景画像を見ることができる。
【0077】
(夜景シフトボタン)
ここで、夜景指定を行うためのタイムシフト操作入力部35は、例えば図1に示すような夜景シフトボタン41であってもよい。また、昼夜シフトモードにおいて、デジタルカメラ2は、時間情報や撮像画像の解析結果に基づいて、現在の時間帯の区分が昼間であることを判断した場合、昼夜切替ボタンとして図1に示すような夜景シフトボタン41のみを表示してもよい。
【0078】
また、タイムシフト操作入力部35からは、上述した昼夜の指定の他、朝の指定や、さらに時間帯の区分を細分化して、日の出、早朝、および日の入等を指定できるようにしてもよい。
【0079】
(複数表示)
また、デジタルカメラ2は、サーバ1から対象物に対して指定された状況に適合する画像を複数受信した場合、表示装置31にこれら複数の適合画像を表示してもよい。
【0080】
例えば、図5に示すように、対象物に対する夜景指定に適合する過去の複数の夜景画像4S−1、4S−2、4S−3を一画面に表示したり、スライドショーで表示したりしてもよい。
【0081】
[4−2. 季節シフト]
季節シフトでは、春夏秋冬といった季節の状況を指定することができる。例えば、ユーザが観光地の京都・嵐山に、2011年の夏に来た際に、「紅葉になったらどうなのだろう。秋にまた京都に来ようかな」というニーズがある場合がある。
【0082】
そこで、ユーザがタイムシフト操作入力部35から秋指定を行うと、デジタルカメラ2は、対象物に対して指定された状況に適合する画像、ここでは京都・嵐山の、例えば去年の秋の画像をサーバ1から取得し、表示する。これにより、ユーザは、所望した嵐山の秋の画像を見ることができる。
【0083】
(季節シフトボタン)
ここで、季節指定を行うためのタイムシフト操作入力部35は、例えば図6に示すような季節シフトボタン51であってもよい。また、季節シフトモードにおいて、デジタルカメラ2は、時間情報や撮像画像の解析結果に基づいて、現在の季節が冬であることを判断した場合、季節切替ボタンとして図6に示すような、「冬」を除いた「春夏秋」のみの季節シフトボタン51を表示してもよい。
【0084】
このような季節シフトボタン51に対して、例えば春シフトボタン51aを選択すると、図6に示すように、現在の、すなわち冬の撮像画像5に代わり、サーバ1から取得した、ユーザが居る場所の過去の春の画像5Sが表示される。
【0085】
また、ユーザ指定の状況を含む一連の画像を取得し、一画面に並べて表示してもよいし、スライドショーにより表示してもよい。これにより、ユーザは現在居る場所の季節の変化を見ることができる。なお、「一連の画像」とは、複数の静止画であってもよいし、単数または複数の動画であってもよい。
【0086】
また、タイムシフト操作入力部35からは、上述した春夏秋冬の指定の他、さらに季節を細分化して、初夏・盛夏・晩夏等を指定できるようにしてもよい。
【0087】
(桜ダイヤル)
また、さらに季節を細分化して状況指定できるよう、対象物に応じたタイムシフト操作入力部35を実現してもよい。例えば、対象物が桜の木であった場合、図7に示すように、桜の木の撮像画像6と共に、桜ダイヤル61を表示し、「つぼみ−開花−3分咲き−5分咲き−満開−散り始め−散り終わり」を指定できるようにしてもよい。桜ダイヤル61は、ユーザのタッチ操作によりダイヤル61aが回り、ユーザは桜の状況指定を行うことができる。
【0088】
また、同様に、対象物が新緑であれば新緑ダイヤル、対象物が紅葉であれば紅葉ダイヤルによりタイムシフト操作入力部35を実現してもよい。
【0089】
[4−3. 天候シフト]
天候シフトでは、晴れ、曇、および雨等の天候の状況を指定することができる。例えば、ユーザが観光名所の北海道・摩周湖に来た際、摩周湖が霧で覆われていた場合、「『霧の摩周湖』は有名だけども、晴天の摩周湖も見てみたかったな」というニーズがある場合がある。
【0090】
そこで、ユーザがタイムシフト操作入力部35から晴れ指定を行うと、デジタルカメラ2は、対象物に対して指定された状況に適合する画像、ここでは北海道・摩周湖の過去の晴れた日の画像をサーバ1から取得し、表示する。これにより、ユーザは、所望した摩周湖の晴れの日の画像を見ることができる。
【0091】
(天候シフトボタン)
ここで、天候指定を行うためのタイムシフト操作入力部35は、例えば図8に示すような天候シフトボタン71であってもよい。また、天候シフトモードでは、デジタルカメラ2は、時間情報や撮像画像の解析結果に基づいて現在の天候が晴れであることを判断した場合、天候切替ボタンとして図8に示すような、「晴れ」を除いた「曇、雨、雪、雷」のみの天候シフトボタン71を表示してもよい。
【0092】
このような天候シフトボタン71に対して、例えば雨シフトボタン71aを選択すると、図8に示すように、現在の、すなわち晴れの撮像画像7に代わり、サーバ1から取得した、ユーザが居る場所の過去の雨の日の画像7Sが表示される。
【0093】
[4−4. 工事シフト]
工事シフトでは、工事前、工事中、工事後等の工事の工程を指定することができる。ここで、本明細書において工事とは、建造物の改修、改装、改築、および新築等を広く含む。
【0094】
例えば、ユーザが観光名所の兵庫県・姫路城に来た際、姫路城が改修工事中であった場合、「別名『白鷺城』とも呼ばれる名城の全貌が見たかったな」というニーズがある場合がある。
【0095】
そこで、ユーザがタイムシフト操作入力部35から改修工事前の工程を指定すると、デジタルカメラ2は、対象物に対して指定された状況に適合する画像、ここでは姫路城の改修工事前の画像(姫路城の全貌画像)をサーバ1から取得し、表示する。また、姫路城の改修工事後の完成予想写真や完成予想イラストを表示してもよい。これにより、ユーザは、所望した姫路城の全貌を画像で見ることができる。
【0096】
<5.まとめ>
上述したように、本実施形態によるタイムシフト表示システムでは、デジタルカメラ2においてユーザにより指定された対象物に対する状況に適合した画像がサーバ1から提供され、デジタルカメラ2において表示することができる。これにより、現在の景観だけでなく、ユーザが所望の状況(シチュエーション)の景観を提供することができる。
【0097】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0098】
例えば、上述したデジタルカメラ2がサーバ1から取得する画像は静止画に限られず、例えば動画であってもよい。
【0099】
また、適合画像の取得先は、図1に示すような特定のサーバ1に限定されず、画像DB13および検索エンジン14の機能を有する、インターネット上の不特定多数のサーバやPC(パーソナルコンピュータ)であってもよい。
【0100】
また、上述した例では、デジタルカメラ2の表示制御部30は、撮像画像に代えて、サーバ1から取得した適合画像を表示している。しかし、本実施形態による表示制御はこれに限定されず、例えば表示制御部30は、撮像画像から、人物など撮像画像の一部を抜き出し、適合画像に合成した上で表示してもよい。また、表示制御部30は、適合画像のアングル等を、撮像画像に応じて調整した上で表示してもよい。このようにサーバ1から取得した適合画像を加工して表示することで、よりリアルに、現在とは異なる状況(過去/未来)を撮影したような画像を表示することができる。
【0101】
また、図4を参照して説明した動作処理では、シャッターボタン押下により対象物を撮像した後に、ユーザが対象物に対して特定の状況を指定しているが、本実施形態による動作処理はこれに限定されない。例えば、予め各シフト(昼夜シフト、季節シフト、および天候シフト等)のモードにおいて状況を指定した後、シャッターボタンを押下すると、デジタルカメラ2は、撮像画像および指定情報等をサーバ1に送信し、サーバ1から取得した適合画像を表示する。これにより、ユーザは、シャッターボタンを押下して所望の状況における対象物を撮影したかのような感覚を得ることができる。
【0102】
また、本実施形態によるクライアント端末の構成は、図3に示す例に限られない。例えば、クライアント端末は、さらに画像DB、および検索エンジンを有してもよい。このような構成を有するクライアント端末では、クライアント端末内の画像DBから、ユーザ指定の状況に適合する画像を検索し、検索した適合画像を表示制御することが可能である。
【0103】
なお、本技術は以下のような構成も取ることができる。
(1)
クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する受信部と、
前記受信部により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する検索部と、
前記検索部により検索した画像を前記クライアント端末に送信する送信部と、
を備えるサーバ。
(2)
前記対象物に対するユーザ指定の状況に関する前記情報は、前記クライアント端末の位置情報を含み、
前記検索部は、前記クライアント端末の位置情報と、前記対象物の画像に対応付けられている前記対象物の位置情報をマッチングすることにより、前記対象物の画像を検索する、前記(1)に記載のサーバ。
(3)
前記対象物に対するユーザ指定の状況に関する前記情報は、さらに前記クライアント端末の方位、高度、仰角、または倍率の情報を含み、
前記検索部は、前記位置情報のマッチングに加え、前記クライアント端末の方位、高度、仰角、または倍率の情報に基づき前記対象物の画像を検索する、前記(2)に記載のサーバ。
(4)
前記対象物に対するユーザ指定の状況に関する前記情報は、前記クライアント端末により撮像された前記対象物の撮像画像を含み、
前記検索部は、前記撮像画像と、前記対象物の画像の一致度または類似度マッチングにより、前記対象物の画像を検索する、前記(1)から前記(3)のいずれか1項に記載のサーバ。
(5)
前記一致度または類似度マッチングは、画像の輪郭情報を用いて行われる、前記(4)に記載のサーバ。
(6)
前記対象物に対するユーザ指定の状況に関する前記情報は、前記クライアント端末の位置情報、および前記クライアント端末により撮像された前記対象物の撮像画像を含み、
前記検索部は、前記クライアント端末の位置情報と前記対象物の画像に対応付けられている前記対象物の位置情報のマッチング、および前記撮像画像と前記対象物の画像の一致度または類似度マッチングに基づき、前記対象物の画像を検索する、前記(1)から前記(5)のいずれか1項に記載のサーバ。
(7)
前記対象物に対するユーザ指定の状況に関する前記情報は、前記対象物に対する時間帯の区分指定、季節指定、天候指定、または工事の工程指定の情報を含む、前記(1)から前記(6)のいずれか1項に記載のサーバ。
(8)
前記送信部は、前記検索部により前記対象物の画像が検索できなかった場合、適合する前記対象物の画像がなかった旨を前記クライアント端末に送信する、前記(1)から前記(7)のいずれか1項に記載のサーバ。
(9)
対象物に対するユーザ指定の状況に関する情報をサーバに送信する送信部と、
前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する受信部と、
前記受信部により受信した前記ユーザ指定の状況に適合する前記対象物の画像に基づいて表示を制御する表示制御部と、
を備えるクライアント端末。
(10)
前記クライアント端末は、
外部からの取得信号に基づいて前記クライアント端末の位置情報を取得する取得部をさらに備え、
前記送信部は、前記取得部により取得した前記位置情報を、前記ユーザ指定の状況に関する情報に含めて送信する、前記(9)に記載のクライアント端末。
(11)
前記受信部は、前記サーバから前記ユーザ指定の状況に適合する前記対象物の複数の画像を受信し、
前記表示制御部は、前記複数の画像に基づいて表示を制御する、前記(9)または前記(10)に記載のクライアント端末。
(12)
前記受信部は、前記サーバから前記ユーザ指定の状況に適合する前記対象物の一連の過程の画像を受信し、
前記表示制御部は、前記一連の過程の画像に基づいて表示を制御する、前記(9)から前記(10)のいずれか1項に記載のクライアント端末。
(13)
前記クライアント端末は、
前記対象物の撮像画像を取得する撮像部をさらに備え、
前記送信部は、前記撮像部により取得した前記撮像画像を、前記ユーザ指定の状況に関する情報に含めて送信する、前記(9)から前記(12)のいずれか1項に記載のクライアント端末。
(14)
前記表示制御部は、前記撮像画像から一部を抽出し、前記抽出した前記撮像画像の一部を前記ユーザ指定の状況に適合する前記対象物の画像に合成して表示する、前記(13)に記載のクライアント端末。
(15)
前記クライアント端末は、
前記対象物に対する状況を指定するための操作入力部をさらに備え、
前記送信部は、前記操作入力部からユーザにより指定された状況の情報を、前記ユーザ指定の状況に関する情報に含めて送信する、前記(9)から前記(14)のいずれか1項に記載のクライアント端末。
(16)
対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて記憶する画像情報記憶部と、
ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする検索部と、
前記検索部により検索した前記対象物の画像に基づいて表示を制御する表示制御部と、
を備えるシステム。
(17)
クライアント端末から対象物に対するユーザ指定の状況に関する情報を受信する処理と、
前記受信する処理により受信した前記対象物に対するユーザ指定の状況に適合する前記対象物の画像を検索する処理と、
前記検索する処理により検索した画像を前記クライアント端末に送信する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。
(18)
対象物に対するユーザ指定の状況に関する情報をサーバに送信する処理と、
前記サーバから前記ユーザ指定の状況に適合する前記対象物の画像を受信する処理と、
前記受信する処理により受信した前記対象物の画像に基づいて表示を制御する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。
(19)
対象物の画像、および前記対象物の状況を示すメタ情報を対応付けて画像情報記憶部に記憶する処理と、
ユーザにより指定された前記対象物に対する状況と適合する状況を示すメタ情報を、前記画像情報記憶部から検索し、検索されたメタ情報に対応する前記対象物の画像を検索結果とする処理と、
前記検索する処理により検索した前記対象物の画像に基づいて表示を制御する処理と、
をコンピュータに実行させるプログラムが記録された記録媒体。
【符号の説明】
【0104】
1 サーバ
2 デジタルカメラ(クライアント端末)
3 ネットワーク
4、5、6、7 撮像画像
4S、4S−1、4S−2、4S−3 夜景画像
13 画像データベース(DB)
14 検索エンジン
15、32 ネットワークインターフェース(I/F)
23 高度センサ
24 方位センサ
25 仰角センサ
26 GPS測位部
27 カメラモジュール
28 カメラ操作入力部
29 撮像画像メモリ
30 表示制御部
31 表示装置
33 カレンダー時計部
35 タイムシフト操作入力部
41 夜景シフトボタン
51 季節シフトボタン
71 天候シフトボタン
図1
図2
図3
図4
図5
図6
図7
図8