IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 関西電力株式会社の特許一覧 ▶ 株式会社 気象工学研究所の特許一覧

<>
  • 特許-通信システム 図1
  • 特許-通信システム 図2
  • 特許-通信システム 図3
  • 特許-通信システム 図4
  • 特許-通信システム 図5
  • 特許-通信システム 図6
  • 特許-通信システム 図7
  • 特許-通信システム 図8
  • 特許-通信システム 図9
  • 特許-通信システム 図10
  • 特許-通信システム 図11
  • 特許-通信システム 図12
  • 特許-通信システム 図13
  • 特許-通信システム 図14
  • 特許-通信システム 図15
  • 特許-通信システム 図16
  • 特許-通信システム 図17
  • 特許-通信システム 図18
  • 特許-通信システム 図19
  • 特許-通信システム 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-29
(45)【発行日】2022-08-08
(54)【発明の名称】通信システム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20220801BHJP
   G06T 3/00 20060101ALI20220801BHJP
【FI】
G06T1/00 285
G06T3/00 780
【請求項の数】 3
(21)【出願番号】P 2018045344
(22)【出願日】2018-03-13
(65)【公開番号】P2019159777
(43)【公開日】2019-09-19
【審査請求日】2021-01-19
(73)【特許権者】
【識別番号】000156938
【氏名又は名称】関西電力株式会社
(73)【特許権者】
【識別番号】505072638
【氏名又は名称】株式会社 気象工学研究所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】大恵 慎平
(72)【発明者】
【氏名】大部 孝
(72)【発明者】
【氏名】谷澤 弘一
(72)【発明者】
【氏名】逸見 行宏
(72)【発明者】
【氏名】那須 哲嗣
(72)【発明者】
【氏名】高田 望
(72)【発明者】
【氏名】小久保 鉄也
【審査官】松浦 功
(56)【参考文献】
【文献】特開2016-025620(JP,A)
【文献】特開2013-021468(JP,A)
【文献】特開2010-098720(JP,A)
【文献】特開2004-040351(JP,A)
【文献】特開2002-185953(JP,A)
【文献】特開2002-077854(JP,A)
【文献】米国特許出願公開第2010/0046803(US,A1)
【文献】稲本奈穂 外1名,視点位置の内挿に基づく3次元サッカー映像の自由視点観賞システム,映像情報メディア学会誌,(社)映像情報メディア学会,2004年04月01日,第58巻,第4号,pp.529-539
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 3/00
H04N 5/222 - 5/257
H04N 7/18
H04N 21/00 -21/858
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
サーバと、ディスプレイを有する情報処理端末とを備えた通信システムであって、
前記情報処理端末は、前記ディスプレイに地図が表示された状態で、地点を指定するユーザ操作を受け付けると、前記指定された地点を前記サーバに通知し、
前記サーバは、
複数の地点の各上空の画像を表す画像データを、レンズが上空を向くように設置された複数のカメラから受信し、
前記情報処理端末によって第1の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第1の地点に応じた複数の第1の画像データを抽出し、
抽出された前記第1の画像データ同士を合成して、第1の合成画像データを生成し、
前記第1の合成画像データを前記情報処理端末に送信し、
前記情報処理端末は、
前記第1の合成画像データに基づく第1の合成画像を、東西南北のうちの1つの方角を指定するための第1のオブジェクトとともに、前記ディスプレイに表示し、
前記第1のオブジェクトを選択するユーザ操作をさらに受け付けることにより、前記東西南北のうち前記第1のオブジェクトに対応付けられた方角の第2の地点を指定し、
前記サーバは、
前記情報処理端末によって前記第2の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第2の地点に応じた複数の第2の画像データを抽出し、
抽出された前記第2の画像データ同士を合成して、第2の合成画像データを生成し、
前記第2の合成画像データを前記情報処理端末に送信し、
前記情報処理端末は、前記第2の合成画像データに基づく第2の合成画像を前記ディスプレイに表示する、通信システム
【請求項2】
前記情報処理端末は、前記第2の合成画像を第2のオブジェクトとともに前記ディスプレイに表示し、
前記サーバは、
前記情報処理端末が前記第2のオブジェクトを選択するユーザ操作をさらに受け付けたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記複数の第2の画像データよりも1周期前の前記第2の地点に応じた複数の第3の画像データを抽出し、
抽出された前記第3の画像データ同士を合成して、第3の合成画像データを生成し、
前記第3の合成画像データを前記情報処理端末に送信し、
前記情報処理端末は、前記第3の合成画像データに基づく第3の合成画像を第2のオブジェクトとともに前記ディスプレイに表示する、請求項1に記載の通信システム
【請求項3】
情報処理端末が、前記情報処理端末のディスプレイに地図が表示された状態で、地点を指定するユーザ操作を受け付けると、前記指定された地点をサーバに通知するステップと、
前記サーバが、複数の地点の各上空の画像を表す画像データを、レンズが上空を向くように設置された複数のカメラから受信するステップと、
前記サーバが、前記情報処理端末によって第1の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第1の地点に応じた複数の第1の画像データを抽出するステップと、
前記サーバが、抽出された前記第1の画像データ同士を合成して第1の合成画像データを生成し、かつ、前記第1の合成画像データを前記情報処理端末に送信するステップと、
前記情報処理端末が、前記第1の合成画像データに基づく第1の合成画像を、東西南北のうちの1つの方角を指定するためのオブジェクトとともに、前記ディスプレイに表示するステップと、
前記情報処理端末が、前記オブジェクトを選択するユーザ操作をさらに受け付けることにより、前記東西南北のうち前記オブジェクトに対応付けられた方角の第2の地点を指定するステップと、
前記サーバが、前記情報処理端末によって前記第2の地点が指定されたことに基づき、前記複数の地点の各上空の画像を表す画像データから、前記第2の地点に応じた複数の第2の画像データを抽出するステップと
前記サーバが、抽出された前記第2の画像データ同士を合成して、第2の合成画像データを生成し、かつ前記第2の合成画像データを前記情報処理端末に送信するステップと、
前記情報処理端末が、前記第2の合成画像データに基づく第2の合成画像を前記ディスプレイに表示するステップとを備える、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サーバ、通信システム、および情報処理方法に関する。
【背景技術】
【0002】
従来、たとえば特許文献1,2に示すように、カメラによる撮像によって得られた映像データを、ネットワークを介して受信側の装置が受信するシステムが知られている。特許文献1では、さらに、受信側の装置から当該映像データが端末装置に送信される。
【0003】
また、特許文献3に示すように、空を撮影する撮像装置と、前記撮像装置で撮影された撮像画像から空模様を判定する判定装置とを備えたシステムも知られている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2006-101279号公報
【文献】特開2016-015584号公報
【文献】特開2012-008097号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来では、広い範囲の空模様を確認することはできない。
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、広範囲の空模様を確認可能とするサーバ、通信システム、および情報処理方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明のある局面に従うと、サーバは、第1の地点の上空の画像を表す第1の画像データと、第1の地点の上空の画像と連続または一部が重複する第2の地点の上空の画像を表す第2の画像データとを受信する受信手段と、第1の地点の上空の画像と第2の地点の上空の画像とが連続するように、第1の画像データと第2の画像データとを合成する合成手段と、合成により得られた合成画像データを、情報処理端末宛に送信する送信手段とを備える。
【発明の効果】
【0007】
上記の発明によれば、情報処理端末のユーザは、広範囲の空模様を確認可能となる。
【図面の簡単な説明】
【0008】
図1】通信システムの概略構成を表した図である。
図2】カメラの設置場所を説明するための図である。
図3】カメラの設置地点を説明するための図である。
図4】カメラの画角と、上空の撮像領域とを説明するための図である。
図5】通信システムにおける処理の概要を説明するための図である。
図6】複数のカメラのうち、指定された地点の周囲のカメラを説明するための図である。
図7】画像の合成の例を表した図である。
図8】サーバのハードウェア構成の典型例を表した図である。
図9】スマートフォンのハードウェア構成の典型例を表した図である。
図10】サーバとスマートフォンとの機能的構成を説明するための図である。
図11】スマートフォンの画面遷移を説明するための図である。
図12】スマートフォンにおいて合成画像が表示された後の画面遷移例を表した図である。
図13】スマートフォンにおいて合成画像が表示された後の他の画面遷移例を表した図である。
図14】通信システムにおける処理の流れを説明するためのシーケンス図である。
図15】パーソナルコンピュータが、上述したアプリケーションを実行したときに表示される画面を表している。
図16】パーソナルコンピュータが合成画像を表示したときの画面を表した図である。
図17】合成画像が表示された後の画面遷移例を表した図である。
図18】オブジェクトが選択された後に、パーソナルコンピュータで表示される画面を表した図である。
図19】合成画像が表示された後の他の画面遷移例を表した図である。
図20】オブジェクトが選択された後に、パーソナルコンピュータで表示される画面を表した図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しつつ、本発明の各実施の形態に係るシステムについて説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0010】
<A.システム構成>
図1は、本実施の形態にかかる通信システム1の概略構成を表した図である。
【0011】
図1を参照して、通信システム1は、複数のカメラ10_1,10_2,10_3,10_4,10_5,…,10_N(Nは、自然数)と、サーバ20と、スマートフォン30と、パーソナルコンピュータ40とを備える。
【0012】
なお、スマートフォン30は、携帯可能な情報処理端末の一例であって、これに限定されるものではない。情報処理端末としては、たとえば、タブレット端末であってもよい。
【0013】
また、以下では、説明の便宜上、複数のカメラ10_1,10_2,10_3,10_4,10_5,…,10_Nのうちの任意の1つのカメラを、「カメラ10」と称する。
【0014】
複数のカメラ10の各々は、サーバ20と通信可能に接続されている。各カメラ10は、撮像により得られた映像データ(動画像データ)を、リアルタイムにサーバ20に送信する。フレームレート(単位時間あたりに処理させるフレーム数,静止画像数,コマ数)は、たとえば、6fps(frames per second)あるいは30fpsである。
【0015】
スマートフォン30およびパーソナルコンピュータ40は、サーバ20と通信可能に接続されている。スマートフォン30およびパーソナルコンピュータ40と、サーバ20との間で送受信されるデータについては後述する。
【0016】
以下では、まず、スマートフォン30およびパーソナルコンピュータ40のうち、スマートフォン30を利用する構成について説明する。次いで、パーソナルコンピュータ40を使用する構成について説明する。
【0017】
図2は、カメラ10の設置場所を説明するための図である。詳しくは、カメラ10を設置する構造物を説明するための図である。
【0018】
図2(A)を参照して、カメラ10は、一例として、ビル50の屋上に設置される。詳しくは、カメラ10によってビル50の上空を撮像するため、カメラ10のレンズが上空を向くように、カメラ10が図示しない固定部材に固定される。具体的には、カメラ10のレンズの光軸が鉛直方向になるように、カメラの姿勢が決定される。
【0019】
図2(B)を参照して、カメラ10は、他の例として、電柱60に設置される。詳しくは、カメラ10によって電柱60の上空を撮像するため、カメラ10のレンズが上空を向くように、カメラ10が図示しない固定部材に固定される。
【0020】
図2(C)を参照して、カメラ10は、一例として、送電線用の鉄塔70の屋上に設置される。詳しくは、カメラ10によって鉄塔70の上空を撮像するため、カメラ10のレンズが上空を向くように、カメラ10が図示しない固定部材に固定される。
【0021】
図1で示した複数のカメラ10の各々は、典型的には、ビル50、電柱60、鉄塔70のいずれかに設置され得る。カメラ10によって撮像された映像に、周囲の建物等が写り込まない場所に設置することが好ましい。カメラ10を、地面に対して高い位置に設置すること、あるいは周囲に高い建物が存在しない場所に設置することが好ましい。
【0022】
図3は、カメラ10の設置地点を説明するための図である。以下では、説明の便宜上、大阪市と、大阪市近辺とを例に挙げて説明する。
【0023】
図3を参照して、カメラ10は、おおよそ一定の間隔をあけて、分散して配置される。一例として、通信システム1では、複数のカメラ10が、約5km四方に配置されている。カメラ10の配置の間隔は、カメラ10のレンズの画角等によって、決定される。
【0024】
本実施の形態では、カメラ10が所定の画角の広角レンズを備える構成を例に挙げて説明する。なお、広角レンズの代わりに、魚眼レンズを用いてもよい。
【0025】
本例の場合、大阪市内に、9つのカメラ10(具体的には、カメラ10_6,10_7,10_8,10_10,10_11,10_12,10_14,10_15,10_16)が設置されている。図3では、塗潰(ハッチング処理)した黒丸として、これらのカメラ10を表記している。
【0026】
また、大阪市の周囲にも、大阪市内のカメラ10に隣接した状態で複数のカメラ10(具体的には、カメラ10_1~10_5,10_9,10_13,10_17~10_21)がさらに設置されている。図3では、白抜きの黒丸として、これらのカメラ10を表記している。
【0027】
なお、カメラ10は、図3に示したものだけではなく、全国各地に配置され得る。
図4は、カメラ10の画角と、上空の撮像領域とを説明するための図である。
【0028】
図4を参照して、隣接する2つのカメラ10は、画角θの広角レンズを有している。隣接する2つのカメラ10は、被写体である上空の一部が重複するような場所に設置されている。これにより、一方のカメラ10による撮像によって得られた映像は、他方のカメラ10よる撮像によって得られる映像の一部と重複することになる。
【0029】
なお、図4においては、説明を簡略化するために2つのカメラ10に着目したが、これらのカメラ10の周囲にもカメラ10が設置されているため、サーバ20は、隣接するカメラ10同士から、一部分が重複した映像を取得することになる。
【0030】
以下、このような通信システム1を用いて実行される各種の処理について、説明する。
<B.処理の概要>
図5は、通信システム1における処理の概要を説明するための図である。
【0031】
図5を参照して、スマートフォン30によって任意の地点が指定される。地点が指定されたことに基づき、スマートフォン30によって、当該地点の位置情報がサーバ20に送信される(処理(i))。
【0032】
地点の指定は、たとえば、スマートフォン30に予めインストールされた所定のアプリケーションを用いて行われる。あるいは、スマートフォン30の位置情報(GPS(Global Positioning System)による位置データ)が用いられる。
【0033】
サーバ20は、複数のカメラ10の各々から、リアルタイムに映像データを取得している。映像データには時刻情報が関連付けされている。これにより、サーバ20は、映像データを構成する各画像データ(フレーム,静止画)が取得されたときの時刻が判別できる。
【0034】
サーバ20は、スマートフォン30から、指定された地点の位置情報を取得すると、当該地点の周囲のカメラ10による撮像によって得られた画像データを、同時刻のN個の画像データの中から抽出する(処理(ii))。
【0035】
図6は、複数のカメラ10のうち、指定された地点の周囲のカメラ10を説明するための図である。
【0036】
図6を参照して、サーバ20は、指定された地点から所定の半径の円の内側に位置するカメラ10を特定する。図6の例の場合、サーバ20は、スマートフォン30によって地点P1が指定されると、複数のカメラ10のうちから、地点P1から所定の半径の円C1の内側に位置する4台のカメラ10_7,10_8,10_11,10_12を特定する。
【0037】
再び、図5に戻り、サーバ20は、特定された4台のカメラ10によって取得された同時刻(たとえば、時刻t1)の4つの画像データを、同時刻に撮像されたN個の被写体の画像データから抽出する(処理(ii))。
【0038】
サーバ20は、抽出された4つの画像データを合成し、当該時刻(たとえば、時刻t1)における1つの合成画像データを得る(処理(iii))。サーバ20は、合成を行うと、合成画像データをスマートフォン30に送信する(処理(iv))。これ以後、処理(ii),(iii),(iv)が繰り返される。スマートフォン30が、連続して受信する合成画像データを再生することにより、スマートフォン30のユーザは、リアルタイムに、スマートフォン30によって指定した地点を含む広範囲の上空の模様を確認可能となる。
【0039】
図7は、画像の合成の例を表した図である。なお、以下では、説明の便宜上、スマートフォン30によって地点P1(図6参照)が指定されたものとする。
【0040】
図7を参照して、画像データG_7は、カメラ10_7による撮像により得られたものである。同様に、画像データG_8,G_11,G_12は、画像データG_7と同時刻に、それぞれ、カメラ10_8,10_11,10_12による撮像によって得られたものである。
【0041】
サーバ20は、画像データG_7と、画像データG_8と、画像データG_11と、画像データG_12とを合成して、合成画像データZを得る。
【0042】
サーバ20は、カメラ10_7(詳しくは、カメラ10_7が設置されている地点)の上空の画像と、カメラ10_8の上空の画像と、カメラ10_11の上空の画像と、カメラ10_12の上空の画像とが連続するように、4つの画像データG_7,G_8,G_11,G_12を合成する。
【0043】
<C.ハードウェア構成>
図8は、サーバ20のハードウェア構成の典型例を表した図である。
【0044】
図8を参照して、サーバ20は、主たる構成要素として、プログラムを実行するプロセッサ251と、データを不揮発的に格納するROM252と、プロセッサ251によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するRAM253と、データを不揮発的に格納するHDD254と、通信IF(Interface)255と、操作キー256と、電源回路257と、ディスプレイ258とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信IF255は、他の機器と間における通信を行なためのインターフェイスである。
【0045】
サーバ20における処理は、各ハードウェアおよびプロセッサ251により実行されるソフトウェアによって実現される。このようなソフトウェアは、HDD254に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信IF255等を介してダウンロードされた後、HDD254に一旦格納される。そのソフトウェアは、プロセッサ251によってHDD254から読み出され、RAM253に実行可能なプログラムの形式で格納される。プロセッサ251は、そのプログラムを実行する。
【0046】
同図に示されるサーバ20を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM253、HDD254、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ20の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0047】
なお、パーソナルコンピュータ40は、サーバ20と同様な構成を備えるため、パーソナルコンピュータ40のハードウェア構成については、繰り返し説明しない。
【0048】
図9は、スマートフォン30のハードウェア構成の典型例を表した図である。図9を参照して、スマートフォン30は、主たる構成要素として、プログラムを実行するプロセッサ351と、データを不揮発的に格納するROM352と、プロセッサ351によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するRAM353と、データを不揮発的に格納するフラッシュメモリ354と、通信IF355と、電源回路356と、タッチスクリーン357と、操作キー358と、アンテナ359とを含む。構成要素351~358は、相互にデータバスによって接続されている。
【0049】
タッチスクリーン357は、ディスプレイ3571と、タッチパネル3572により構成される。アンテナ359は、通信IF355用のアンテナである。通信IF355は、たとえば、サーバ20に対するデータの送信処理およびサーバ20から送信されたデータの受信処理を行なう。タッチスクリーン357は、各種のデータを表示し、かつ操作入力を受け付けるためのデバイスである。
【0050】
スマートフォン30における処理は、各ハードウェアおよびプロセッサ351により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリ354に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信IF355等を介してダウンロードされた後、フラッシュメモリ354に一旦格納される。そのソフトウェアは、プロセッサ351によってフラッシュメモリ354から読み出され、RAM353に実行可能なプログラムの形式で格納される。プロセッサ351は、そのプログラムを実行する。
【0051】
同図に示されるスマートフォン30を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM353、フラッシュメモリ354、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、スマートフォン30の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0052】
<D.機能的構成>
図10は、サーバ20とスマートフォン30との機能的構成を説明するための図である。
【0053】
図10を参照して、サーバ20は、制御部21と、記憶部22と、通信部23とを備える。制御部21は、抽出処理部211と、合成処理部212とを有する。通信部23は、受信部231と、送信部232とを有する。制御部21は、サーバ全体の動作を制御する。記憶部22は、画像データを含む各種の情報を記憶する。通信部23は、各カメラ10とスマートフォン30との通信を行なう。
【0054】
スマートフォン30は、制御部31と、通信部32と、操作入力部33と、表示部34とを備える。制御部31は、スマートフォン30の全体的な動作を制御する。通信部32は、サーバ20との通信を行なう。操作入力部33は、ユーザからの操作を受け付ける。表示部34は、合成画像を含む各種の情報を表示する。
【0055】
以下、サーバ20およびスマートフォン30の各機能ブロックについて、より具体的に説明する。
【0056】
(d1.各カメラ10からの画像データの受信)
サーバ20の通信部23は、各カメラ10と通信するためのインターフェイスとして機能する。
【0057】
通信部23の受信部231は、カメラ10が設置された地点の上空の画像を表す画像データを、各カメラ10から受信する。詳しくは、受信部231は、画像データを各カメラ10から予め定められた周期で受信する。当該周期は、典型的には、カメラ10のフレームレートと同じ周期である。より詳しくは、受信部231は、画像データを各カメラ10による撮像時刻を表す時刻情報と関連付けて受信する。
【0058】
各カメラ10から受信した画像データは、時刻情報に関連付けられた状態で記憶部22に記憶される。
【0059】
(d2.スマートフォン30からの地点情報の受信)
スマートフォン30では、上記アプリケーションを実行すると、表示部34に地図が表示される。典型的には、スマートフォン30は、スマートフォン30の現在位置を含む地図を表示する。あるいは、スマートフォン30は、スマートフォン30のユーザが前回指定した位置を含む地図を表示する。
【0060】
スマートフォン30のユーザが地図上で地点を指定すると、指定された地点を特定するための地点情報が通信部32を介して、サーバ20に送信される。典型的には、地点情報の送信は、地点の指定後、操作入力部33から特定の入力(たとえば、操作ボタンの選択)が行われたことにより実行される。なお、スマートフォン30では、地図の拡大縮小、地図のスクロール等が可能に構成されている。
【0061】
なお、上記において、地図を用いて地点を指定する構成を例に挙げて説明したが、これに限定されない。たとえば、スマートフォン30は、GPS機能を用いてスマートフォン30の現在位置を、上記地点情報としてサーバ20に送信してもよい。
【0062】
(d3.サーバ20における画像データの抽出および合成)
制御部21の抽出処理部211は、スマートフォン30によって地点が指定されたことに基づき、複数の地点の各上空の画像を表す画像データから、当該指定された地点に応じた複数の画像データを抽出する。
【0063】
詳しくは、抽出処理部211は、地点情報に基づき、各カメラ10から受信した画像データのうちから、上記周期毎に、複数の画像データを抽出する。典型的には、抽出処理部211は、記憶部22に記憶された画像データから、スマートフォン30から受信した地点情報の地点の周囲の4台のカメラ10(図6の例の場合、地点P1の近隣のカメラ10_7,10_8,10_11,10_12)によって撮像された画像データを、周期毎に抽出する。
【0064】
合成処理部212は、抽出処理部211によって4つの画像データが抽出される度に、当該4つの画像データを合成する。具体的には、図7に示したように、合成処理部212は、各地点の上空の画像が連続するように、4つの画像データを合成する。
【0065】
なお、抽出処理部211によって、時刻情報が一致する4つの画像データが抽出されているため、合成処理部212は、結果として、時刻情報が一致する4つの画像データを合成することになる。
【0066】
(d4.合成画像データの表示)
サーバ20の通信部23における送信部232は、合成処理部212による合成処理により得られた合成画像データを、スマートフォン30宛に送信する。具体的には、送信部232は、合成が行われる度に、当該合成により得られた合成画像データを、地点情報の送信元であるスマートフォン30宛に送信する。
【0067】
スマートフォン30の制御部31は、通信部32を介して合成画像データをサーバ20から受信すると、表示部34に当該合成画像データに基づく合成画像(空模様の画像)を表示させる。表示部34に表示される合成画像は、合成画像データを受信する度に、更新される。これにより、スマートフォン30のユーザは、リアルタイムに更新される広範囲の空模様の画像を視認可能となる。特に、当該ユーザは、ユーザが指定した地点の上空を含む広範囲の空模様を、画面を介してリアルタイムに確認可能となる。
【0068】
なお、制御部21における各処理は、典型的には、プロセッサ251がHDD254等に格納されたプログラムを実行することにより、実現される。また、制御部31における各処理は、典型的には、プロセッサ351がフラッシュメモリ354等に格納されたプログラムを実行することにより、実現される。
【0069】
(d5.小括)
以下、通信システム1において実行される上述した処理を、さらに種々の観点から説明することによって、通信システム1における特有の処理を小括する。なお、以下では、4つのカメラ10で撮像された4つの画像データを合成する構成について説明するが、本開示は、これに限定されず、2つ以上の画像データを合成する構成であればよい。
【0070】
(1)複数の上空画像を合成
サーバ20の受信部231は、第1の地点の上空の画像を表す第1の画像データと、第1の地点の上空の画像と一部が重複する第2の地点の上空の画像を表す第2の画像データとを受信する。また、受信部231は、少なくとも第1の地点の上空の画像と一部が重複する第3の地点の上空の画像を表す第3の画像データを受信する。さらに、受信部231は、少なくとも第2の地点の上空の画像および第3の地点の上空の画像と一部が重複する第4の地点の上空の画像を表す第4の画像データとを受信する。
【0071】
一例として4台のカメラ10_7,10_8,10_11,10_12(図6参照)に着目すると、受信部231は、(i)カメラ10_7が設置された地点(第1の地点の一例)の上空の画像を表す画像データG_7(第1の画像データの一例)と、(ii)カメラ10_8が設置された地点の上空の画像を表す画像データG_8(第2の画像データの一例)と、(iii)カメラ10_11が設置された地点(第3の地点の一例)の上空の画像を表す画像データG_11(第3の画像データの一例)と、(iv)カメラ10_12が設置された地点の上空の画像を表す画像データG_12(第4の画像データの一例)と、を受信する(図7参照)。
【0072】
合成処理部212は、図7に示したように、4つの地点の上空の画像が互いに連続するように、4つの画像データG_7,G_8,G_11,G_12を合成する。一例として、画像データG_7,G_8に着目すれば、合成処理部212は、カメラ10_7が設置された地点の上空の画像と、カメラ10_8が設置された地点の上空の画像とが連続するように、画像データG_7と画像データG_8とを合成する。
【0073】
送信部232は、合成により得られた合成画像データZ(図7参照)を、スマートフォン30に送信する。
【0074】
スマートフォン30は、合成画像データZを受信すると、合成画像データZに基づく合成画像を、ディスプレイ3571に表示する。
【0075】
このような構成によれば、スマートフォン30のユーザは、画像データを合成しない構成に比べて、広範囲の空模様を確認することができる。
【0076】
(2)リアルタイムの映像(動画)
詳しくは、受信部231は、画像データG_7をカメラ10_7から予め定められた周期で受信し、かつ画像データG_8をカメラ10_8から当該予め定められた周期で受信する。同様に、受信部231は、画像データG_11をカメラ10_11から予め定められた周期で受信し、かつ画像データG_12をカメラ10_12から当該予め定められた周期で受信する。
【0077】
合成処理部212は、画像データG_7と画像データG_8と画像データG_11と画像データG_12とが通信部23で受信される度に(4つの画像データの受信に成功すると)、上述した合成を行う。
【0078】
送信部232は、合成処理部212において合成が行われる度に、当該合成により得られた合成画像データを、スマートフォン30宛に送信する。
【0079】
このような構成によれば、スマートフォン30のユーザは、広範囲の時々刻々と変化する空模様を確認することが可能となる。また、予め定められた周期を短くすれば、ユーザは、リアルタイムに確認することが可能となる。
【0080】
(3)画像データの同期
受信部231は、画像データG_7をカメラ10_7による撮像時刻を表す時刻情報と関連付けて受信し、かつ画像データG_8をカメラ10_8による撮像時刻を表す時刻情報と関連付けて受信する。また、受信部231は、画像データG_11をカメラ10_11による撮像時刻を表す時刻情報と関連付けて受信し、かつ画像データG_12をカメラ10_12による撮像時刻を表す時刻情報と関連付けて受信する。
【0081】
合成処理部212は、時刻情報が一致する、4つの画像データG_7,G_8,G_11,G_12を合成する。
【0082】
このような構成によれば、スマートフォン30のユーザは、同期の得られた4つの画像データに基づく合成画像を、ディスプレイ3571で確認することができる。
【0083】
(4)地点の指定
受信部231は、上記第1の地点および上記第2の地点を少なくとも含む複数の地点の各上空の画像を表す画像データを受信する。具体的には、受信部231は、複数のカメラ10の各々から、各カメラ10が設置された地点の上空の画像を表す画像データを受信する。
【0084】
サーバ20の抽出処理部211は、スマートフォン30によって地点が指定されたことに基づき、上記複数の地点の各上空の画像を表す画像データから、当該指定された地点に応じた複数の画像データを抽出する。
【0085】
抽出処理部211は、たとえば、スマートフォン30によって地点P1(図6参照)が指定されたことに基づき、上記複数の地点の各上空の画像を表す画像データから、当該指定された地点に応じた複数の画像データG_7、G_8,G_11,G_12(図7参照)を抽出する。
【0086】
合成処理部212は、抽出された画像データ同士を合成することにより、合成画像データZ(図7参照)を生成する。
【0087】
なお、スマートフォン30は、表示部34(ディスプレイ3571)に地図が表示された状態で、地点を指定するユーザ操作を受け付ける。スマートフォン30は、指定された地点をサーバに通知する。
【0088】
このような構成によれば、スマートフォン30のユーザは、当該ユーザが指定した地点の上空を含む合成画像を確認することが可能となる。
【0089】
日本においては、偏西風によって天気は西から変わる。それゆえ、スマートフォン30のユーザが、スマートフォン30の現在位置よりも西の地点を指定して当該地点の現在の空模様をスマートフォン30で確認することにより、ユーザは、当該現在地における後の時刻(たとえば、1時間後)の空模様を推測することも可能となる。
【0090】
(5)画像データの抽出処理の具体例
抽出処理部211は、スマートフォン30によって地点が指定されたことに基づき、上記複数の地点のうちから、当該指定された地点に一番近い地点と二番目に近い地点とを少なくとも含む所定数の地点を特定する。たとえば、抽出処理部211は、地点P1(図6参照)が指定されたことに基づき、指定された地点に一番近い地点(カメラ10_11の設置地点)と二番目に近い地点(カメラ10_8の設置地点)とを少なくとも含む4個の地点を特定する。
【0091】
抽出処理部211は、複数の地点の各上空の画像を表す画像データから、上記特定された各地点の上空の画像データG_7、G_8,G_11,G_12(図7参照)を抽出する。
【0092】
このような構成によれば、スマートフォン30のユーザは、指定された地点付近の空模様を確実に確認することが可能となる。
【0093】
なお、通信システム1において実行される処理は、上述した処理に限定されるものではない。たとえば、スマートフォン30のユーザは、所定の操作入力を行うことにより、表示部34に表示させる上空の画像を、操作入力に応じた変更することができる。これらの具体例については、以下の「<E.ユーザインターフェイス>」の項目等で説明する。
【0094】
<E.ユーザインターフェイス>
スマートフォン30で表示されるユーザインターフェイス(表示画面)の例について、説明する。
【0095】
図11は、スマートフォン30の画面遷移を説明するための図である。
図11を参照して、状態(A)に示すように、スマートフォン30のディスプレイ3571に地図361を表示させた状態で、ユーザが自身の指900で地図361上の地点を指定するためのタッチ操作を行う。このようなタッチ操作が行われると、スマートフォン30は、指定された地点の位置情報(地点情報)をサーバ20に通知する。
【0096】
スマートフォン30は、地点情報を送信したことに基づき、サーバ20から合成画像を受信する。スマートフォン30は、合成画像を受信すると、ディスプレイ3571に表示する画面を、状態(A)から状態(B)に遷移する。
【0097】
スマートフォン30は、状態(B)に示すように、地図361に重畳させるような表示形式で、サーバ20から受信した合成画像371を表示する。さらに、スマートフォン30は、複数の選択可能なオブジェクト381,382,383,384,385を合成画像上に表示する。また、スマートフォン30は、2個の選択可能なオブジェクト391,392を、地図361上に表示する。これらの選択可能なオブジェクトに割り当てられた機能については後述する。
【0098】
なお、状態(B)では、地図361の一部が画面の上部と下部とに表示されている画面を例に挙げて説明したが、これに限定されるものではない。状態(B)においては、地図361の表示は必須ではない。
【0099】
図12は、スマートフォン30において合成画像が表示された後の画面遷移例を表した図である。
【0100】
図12を参照して、状態(A)のように合成画像が表示されている状態において、ユーザが、タッチパネル3572にて「東の空」を表すオブジェクト381を選択すると、スマートフォン30は、オブジェクト381に関連付けられた指令をサーバ20に通知する。
【0101】
この場合、スマートフォン30は、スマートフォン30によって既に指定されている地点から東の方角の空の模様を表した画像データをサーバ20から取得し、図12の状態(B)に示すように、当該画像データに基づいた画像をディスプレイ3571に表示する。当該画像は、合成画像であってもよいし、合成前される前の1つの画像データであってもよい。
【0102】
図12の状態(B)において、ユーザが「全空へ」を表すオブジェクト385を選択すると、スマートフォン30は、ディスプレイ3571に表示する画面を、図12の状態(B)から図12の状態(A)に戻す。
【0103】
また、図12の状態(A)において、ユーザが「西の空」を表すオブジェクト382を選択すると、スマートフォン30は、指定されている地点から西の方角の空の模様を表した画像を表示する。ユーザが「南の空」を表すオブジェクト383を選択すると、スマートフォン30は、指定されている地点から南の方角の空の模様を表した画像を表示する。ユーザが「北の空」を表すオブジェクト384を選択すると、スマートフォン30は、指定されている地点から北の方角の空の模様を表した画像を表示する。
【0104】
以上のように、スマートフォン30は、ディスプレイ3571に合成画像が表示された状態で、方角を指定するためのユーザ操作をさらに受け付けると、当該指定された方角を向いた合成画像をディスプレイ3571に表示する。このような構成によれば、ユーザは、確認したい方角に対応付けられたオブジェクトをタッチ操作で選択するだけで、当該方向の空模様を確認することが可能となる。
【0105】
図13は、スマートフォン30において合成画像が表示された後の他の画面遷移例を表した図である。
【0106】
図13を参照して、状態(A)のように合成画像が表示されている状態において、ユーザが、タッチパネル3572にて「前の画像」を表すオブジェクト391を指900等で選択すると、スマートフォン30は、オブジェクト391に関連付けられた指令をサーバ20に通知する。
【0107】
この場合、スマートフォン30は、1周期前の合成画像をディスプレイ3571に表示する。スマートフォン30は、典型的には、ユーザがオブジェクト391を選択している間、時間を遡る形式で過去の合成画像を逐次表示させる。つまり、スマートフォン30は、巻き戻し再生のような表示を行う。
【0108】
同様に、巻き戻しが行われた状態において、ユーザが、「次の画像」を表すオブジェクト392を指900等で選択すると、現在表示されているよりも1つ後の周期の後の画像が表示される。スマートフォン30は、典型的には、ユーザがオブジェクト392を選択している間、早送りの形式で合成画像を再生する。
【0109】
このように、ユーザは、過去の空模様を選択的に確認することが可能となる。なお、スマートフォン30は、当該過去の空模様がいつの時点のものであるかをユーザが確認することが可能となるように、過去の空模様の画像とともに、日時についてもディスプレイ3571に表示することが好ましい。
【0110】
以上のように、スマートフォン30は、ディスプレイ3571に合成画像が表示された状態で、予め定められたユーザ操作をさらに受け付けると、サーバ20から過去の合成画像を受信し、ディスプレイ3571に表示させる合成画像を、現在表示されている合成画像から過去の合成画像に切り換える。このような構成によれば、スマートフォン30のユーザは、現在の合成画像のみならず、過去の合成画像も確認することができる。
【0111】
<F.処理シーケンス>
図14は、通信システム1における処理の流れを説明するためのシーケンス図である。
【0112】
図14を参照して、シーケンスSQ1において、スマートフォン30は、ユーザの操作に基づき、地図をディスプレイ3571に表示する。シーケンスSQ2において、スマートフォン30は、ユーザ操作に基づき、地図上の地点の指定を受け付ける。シーケンスSQ3において、スマートフォン30は、指定された地点の位置情報(地点情報)を、サーバ20に送信する。
【0113】
シーケンスSQ4において、サーバ20は、受信した地点情報を用いて、複数の画像データ(N個のカメラ10による撮像により得られたN個の画像データ)から、4つの画像データを抽出する。シーケンスSQ5において、サーバ20は、抽出した4つの画像データを合成する。
【0114】
シーケンスSQ6において、サーバ20は、直前のシーケンスSQ5の処理で得られた合成画像データをスマートフォン30に送信する。シーケンスSQ7において、スマートフォン30は、サーバ20から受信した合成画像データに基づく合成画像(指定した地点の上空の画像を含む、広範囲の空模様を表した画像)をディスプレイ3571に表示する。
【0115】
以降、シーケンスSQ4,SQ5,SQ6,SQ7の処理が、上述した予め定められた周期で実行される。つまり、カメラ10の撮像周期(たとえば、6fps毎)に実行される。
【0116】
<G.パーソナルコンピュータへの適用>
上記においては、スマートフォン30のディスプレイ3571に合成画像が表示される例を説明したが、これに限定されるものではない。たとえば、パーソナルコンピュータ40(図1参照)が、地点情報をサーバ20に送信することにより、パーソナルコンピュータ40で合成画像を表示してもよい。
【0117】
以下、パーソナルコンピュータ40で合成画像を表示させる場合の適用例について説明する。
【0118】
図15は、パーソナルコンピュータ40が、上述したアプリケーションを実行したときに表示される画面410を表している。
【0119】
図15を参照して、画面410には、地図461と、複数の選択可能なオブジェクト491,492,493,494,495と、カーソル450とを、地図461上に表示する。これらの選択可能なオブジェクトに割り当てられた機能については後述する。
【0120】
パーソナルコンピュータ40のディスプレイに地図461を表示させた状態で、ユーザがカーソル450によって地図461上の地点を指定するための操作(マウス操作あるいはタッチ操作)を行う。このような操作が行われると、パーソナルコンピュータ40は、指定された地点の位置情報(地点情報)をサーバ20に通知する。
【0121】
図16は、パーソナルコンピュータ40が合成画像を表示したときの画面410Aを表した図である。
【0122】
パーソナルコンピュータ40は、地点情報を送信したことに基づき、サーバ20から合成画像を受信する。パーソナルコンピュータ40は、合成画像を受信すると、ディスプレイに表示する画面を、図15の画面410から図16に示す画面410Aに遷移させる。具体的には、パーソナルコンピュータ40は、画面410Aに示すように、地図461に重畳させるような表示形式で、サーバ20から受信した合成画像471を表示する。
【0123】
さらに、パーソナルコンピュータ40は、複数の選択可能なオブジェクト481,482,483,484,485,486を合成画像上に表示する。オブジェクト481,482,483,484,485は、それぞれ、スマートフォン30の例で説明したオブジェクト381,382,383,384,385(図12等)と同じ機能を有する。
【0124】
なお、図16に示した画面410Aは、スマートフォン30の例における図11の状態(B)に対応する。
【0125】
図17は、合成画像471が表示された後の画面遷移例を表した図である。図17を参照して、合成画像471が表示されている状態において、ユーザが、カーソル450にて「東の空」を表すオブジェクト481を選択すると、パーソナルコンピュータ40は、オブジェクト481に関連付けられた指令をサーバ20に通知する。
【0126】
図18は、オブジェクト481が選択された後に、パーソナルコンピュータ40で表示される画面410Bを表した図である。
【0127】
図18を参照して、パーソナルコンピュータ40は、パーソナルコンピュータ40によって既に指定されている地点から東の方角の空の模様を表した画像データをサーバ20から取得し、当該画像データに基づいた画像をディスプレイ3571に表示する。なお、図18に示した画面410Bは、スマートフォン30の例における図12の状態(B)に対応する。
【0128】
スマートフォン30の場合と同様に、図18において、ユーザが「全空へ」を表すオブジェクト485を選択すると、パーソナルコンピュータ40は、ディスプレイに表示する画面を、図18の画面410Bから図17の画面410Aに戻す。
【0129】
また、図17の画面410Aにおいて、ユーザが「西の空」を表すオブジェクト482を選択すると、パーソナルコンピュータ40は、指定されている地点から西の方角の空の模様を表した画像を表示する。ユーザが「南の空」を表すオブジェクト483を選択すると、パーソナルコンピュータ40は、指定されている地点から南の方角の空の模様を表した画像を表示する。ユーザが「北の空」を表すオブジェクト484を選択すると、パーソナルコンピュータ40は、指定されている地点から北の方角の空の模様を表した画像を表示する。
【0130】
このように、パーソナルコンピュータ40の場合も、スマートフォン30と同様な表示を実現できる。
【0131】
図19は、合成画像471が表示された後の他の画面遷移例を表した図である。図19を参照して、合成画像471が表示されている状態において、ユーザが、カーソル450にて「1時間前の画像」を表すオブジェクト493を選択すると、パーソナルコンピュータ40は、オブジェクト493に関連付けられた指令をサーバ20に通知する。
【0132】
図20は、オブジェクト493が選択された後に、パーソナルコンピュータ40で表示される画面410Cを表した図である。図20を参照して、パーソナルコンピュータ40は、1時間前の合成画像をディスプレイに表示する。
【0133】
なお、他の例として、オブジェクト493等に対する操作によって過去の空模様の画像がディスプレイに表示されている状態において、オブジェクト494がさらに選択されると、パーソナルコンピュータ40は、1時間先の合成画像をディスプレイに表示する。
【0134】
また、オブジェクト491が選択される、パーソナルコンピュータ40は、1周期前の合成画像をディスプレイ3571に表示する。
【0135】
オブジェクト491あるいはオブジェクト493に対する操作によって過去の空模様の画像がディスプレイに表示されている状態において、オブジェクト492がさらに選択されると、パーソナルコンピュータ40は、現在表示されているよりも1つ後の周期の後の画像をディスプレイに表示する。
【0136】
オブジェクト495が選択されると、現在表示されている画面に関わらず、パーソナルコンピュータ40は、現在の状態の空模様の画像をディスプレイに表示する。なお、オブジェクト495と同様のオブジェクトをスマートフォン30で表示させてもよい。
【0137】
<H.変形例>
(1)上記においては、図7に示したように、画像の一部が少なくとも1つの他の画像と重複するように、カメラ10が配置されている例を挙げて説明したが、これに限定されるものではない。画像の重複部分がないように、カメラ10を設置してもよい。
【0138】
この場合、サーバ20は、第1の地点の上空の画像を表す第1の画像データと、第1の地点の上空の画像と連続する第2の地点の上空の画像を表す第2の画像データとを受信することになる。
【0139】
(2)また、上記では空模様の連続的な変化を示すため、スマートフォン30にて、リアルタイムの動画像を表示する構成を例に挙げて説明したが、必ずしも、これに限定されるものではない。たとえば、スマートフォン30において、表示される合成画像が、カメラ10のフレームレートよりも十分に長い時間間隔(たとえば、1分間隔)で更新されるように、通信システム1を構成してもよい。
【0140】
(3)上記においては、サーバ20が、複数の画像データを合成し、かつ合成により得られた合成画像データをスマートフォン30またはパーソナルコンピュータ40に送信する構成を説明したが、これに限定されるものではない。
【0141】
たとえば、合成されていない1つの画像データをサーバ20がスマートフォン30またはパーソナルコンピュータ40に送信するように、通信システム1を構成してもよい。具体的には、サーバ20が、ユーザ等によって指定された地点に最も近いカメラ10を特定し、かつ、特定された1台のカメラ10によって取得された1つの画像データをスマートフォン30またはパーソナルコンピュータ40に逐次送信するように、通信システム1を構成してもよい。
【0142】
この場合には、スマートフォン30またはパーソナルコンピュータ40が、連続して受信する画像データを再生することにより、スマートフォン30のユーザは、リアルタイムに、指定した地点を含む上空の模様を確認可能となる。
【0143】
この場合、サーバ20は、「互いに異なる地点の上空の画像を表す複数の画像データと、指定された地点を特定するための地点情報とを受信する受信部231と、当該地点情報に基づいて、当該複数の画像データから1つの画像データを抽出する抽出処理部211と、抽出された画像データをスマートフォン30(あるいはパーソナルコンピュータ40)宛に送信する送信部232とを備える」といった構成であると言える。典型的には、サーバ20は、地点情報の送信元の情報処理端末に対して、抽出した画像データを送信する。
【0144】
また、合成画像データを受信するか、あるいは合成されていない1つの画像データを受信するかを、スマートフォン30およびパーソナルコンピュータ40が選択(指定)できるように、通信システム1を構成することが好ましい。このような構成によれば、ユーザは、スマートフォン30またはパーソナルコンピュータ40の画面表示を、合成画像データに基づく画像表示(「合成画像表示」とも称する)から1つの画像データに基づく画像表示(「単独画像表示」とも称する)に切り換えたり、単独画像表示から合成画像表示に切り換えることが可能となる。それゆえ、ユーザは、表示される空の範囲を広げたり、あるいは狭めたりすることが可能となる。
【0145】
(4)上記においては、サーバ20が画像データを合成する構成を例に挙げて説明したが、スマートフォン30またはパーソナルコンピュータ40が、サーバ20の代わりに画像データの合成を行ってもよい。
【0146】
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0147】
1 通信システム、10 カメラ、20 サーバ、30 スマートフォン、40 パーソナルコンピュータ、50 ビル、60 電柱、70 鉄塔、361,461 地図、371,471 合成画像、381~385,391,392,481~486,491~495 オブジェクト、410,410A,410B,410C 画面、450 カーソル、900 指、C1 円、P1 地点、Z 合成画像データ。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20