特許 7176277 配信装置、カメラ装置、配信システム、配信方法及び配信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】配信装置、カメラ装置、配信システム、配信方法及び配信プログラム

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20221115BHJP

   H04N 21/2343 20110101ALI20221115BHJP

   H04N 21/4728 20110101ALI20221115BHJP

   H04N 5/232 20060101ALI20221115BHJP

【ＦＩ】

H04N21/2662

H04N21/2343

H04N21/4728

H04N5/232 300

H04N5/232 380

【請求項の数】 7

(21)【出願番号】P 2018144305

(22)【出願日】2018-07-31

(65)【公開番号】P2020022065

(43)【公開日】2020-02-06

【審査請求日】2021-05-24

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(72)【発明者】

【氏名】有賀 涼

(72)【発明者】

【氏名】東條 慶春

【審査官】益戸 宏

(56)【参考文献】

【文献】国際公開第２０１６／１４００８３（ＷＯ，Ａ１）

【文献】特開２００３－０３７８３８（ＪＰ，Ａ）

【文献】特開２０１８－１１０３７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ ７／００－７／０８８

Ｈ０４Ｎ ５／２２２－５／２５７

(57)【特許請求の範囲】

【請求項1】

撮像装置で撮像された撮像画像を取得する取得部と、
取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部と、を有し、
前記生成部は、
前記受信装置に表示された前記合成画像に対して操作情報を検出した場合、該操作情報に基づき前記部分領域を変更した合成画像を生成すること
を特徴とする配信装置。

【請求項2】

前記取得部は、前記撮像装置により３６０度の画角で撮像された全天球画像を、前記撮像画像として取得すること
を特徴とする請求項１に記載の配信装置。

【請求項3】

撮像画像を撮像する撮像部と、
撮像された前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部と、を有し、
前記生成部は、
前記受信装置に表示された前記合成画像に対して操作情報を検出した場合、該操作情報に基づき前記部分領域を変更した合成画像を生成すること
を特徴とするカメラ装置。

【請求項4】

前記撮像部は、３６０度の画角の全天球画像を撮像すること
を特徴とする請求項３に記載のカメラ装置。

【請求項5】

撮像画像を撮像する撮像装置と、
前記撮像装置で撮像された撮像画像を取得する取得部と、
取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部と、を有し、
前記生成部は、
前記受信装置に表示された前記合成画像に対して操作情報を検出した場合、該操作情報に基づき前記部分領域を変更した合成画像を生成することを特徴とする配信装置と、
前記合成画像を受信する受信部と、
受信した合成画像を記憶する記憶部と、
前記記憶部に記憶された前記合成画像のうち、操作部で指定された位置に対応する前記部分領域の画像を前記記憶部から読み出して表示部に表示する表示制御部と、
前記表示部に表示された前記合成画像に対する操作情報を検出した場合、該操作情報を前記配信装置に送信する送信部と、を備えた前記受信装置と
を有する配信システム。

【請求項6】

取得部が、撮像装置で撮像された撮像画像を取得する取得ステップと、
生成部が、取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成ステップと、
送信部が、生成された前記合成画像を、前記受信装置に送信する送信ステップと、を有し、
前記生成部が、前記受信装置に表示された前記合成画像に対して操作情報を検出した場合、該操作情報に基づき前記部分領域を変更した合成画像を生成すること
を特徴とする配信方法。

【請求項7】

コンピュータを、
撮像装置で撮像された撮像画像を取得する取得部と、
取得した前記撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、前記部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、前記部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、
生成された前記合成画像を、前記受信装置に送信する送信部として機能させ、
前記生成部は、前記受信装置に表示された前記合成画像に対して操作情報を検出した場合、該操作情報に基づき前記部分領域を変更した合成画像を生成する配信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、配信装置、カメラ装置、配信システム、配信方法及び配信プログラムに関する。

【背景技術】

【0002】

近年、撮像位置を中心とした立体角３６０°の範囲である全天球を１回の撮像で撮像可能な、全天球カメラが実用化されている。また、全天球カメラで撮像した立体角３６０°の画角を持つ画像である全天球画像においては、全天球画像を観察する観察者が、任意の視点を選択することが可能である。また、この全天球画像を、ネットワークを介して受信装置に送信することで、物理的に離れた場所の現在の状況を、受信装置において任意の視点で確認することが可能な配信システムも、実用化されている。

【0003】

特許文献１（特許第３９６３２６１号公報）には、魚眼レンズを含む広角レンズを備える広角カメラと、パン及びチルト機能を備えるパンチルトカメラとを組み合わせたシステムが記載されている。特許文献１によれば、広角カメラの撮像画像から移動物体の検出を行い、パンチルトカメラの撮像方向を検出された移動物体の方向に向けることで、移動物体の追跡を可能としている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来は、送信時に通信遅延が生ずると、受信装置で受信される受信画像が低解像度となり、ユーザの操作にストレスを与える恐れがある。

【0005】

本発明は、上述の課題に鑑みてなされたものであり、通信遅延時に低解像度の受信画像となる不都合を軽減した配信装置、カメラ装置、配信システム、配信方法及び配信プログラムの提供を目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、撮像装置で撮像された撮像画像を取得する取得部と、取得した撮像画像の全領域のうち、受信装置で表示される部分的な領域である部分領域の画像を高画質化すると共に、部分領域を左右方向又は上下方向に延長した延長領域の画像を高画質化又は中画質化し、部分領域及び延長領域以外の領域の画像を低画質化した合成画像を生成する生成部と、生成された合成画像を、受信装置に送信する送信部と、を有し、前記生成部は、前記受信装置に表示された前記合成画像に対して操作情報を検出した場合、該操作情報に基づき前記部分領域を変更した合成画像を生成することを特徴とする。

【発明の効果】

【0007】

本発明によれば、通信遅延時に低解像度の受信画像となる不都合を軽減できるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態の配信システムのシステム構成を示す図である。

【図2】図２は、全天球カメラの外観の構成を示す図である。

【図3】図３は、全天球カメラのブロック図である。

【図4】図４は、全天球カメラによって撮影された映像の一例を示す図である。

【図5】図５は、全天球カメラの映像処理部による全天球画像の生成の仕方を説明するための図である。

【図6】図６は、配信装置のブロック図である。

【図7】図７は、配信装置の機能ブロック図である。

【図8】図８は、受信装置のハードウェア構成を示す図である。

【図9】図９は、受信装置の機能ブロック図である。

【図10】図１０は、配信装置の配信動作の流れを示すフローチャートである。

【図11】図１１は、全天球画像のうち、高画質化する領域を説明するための図である。

【図12】図１２は、受信装置の処理の流れを示すフローチャートである。

【図13】図１３は、指定領域を説明するための図である。

【図14】図１４は、指定領域を説明するための他の図である。

【図15】図１５は、実施の形態の第１の変形例を説明するための図である。

【図16】図１６は、実施の形態の第２の変形例を説明するための図である。

【発明を実施するための形態】

【0009】

以下、配信装置、カメラ装置、配信システム、配信方法及び配信プログラムを適用した実施の形態となる配信システムの説明をする。

【0010】

（システム構成）
図１は、実施の形態の配信システムのシステム構成を示す図である。この図１に示すように、配信システム１は、配信装置１０と受信装置４０とを含む。配信装置１０は、ネットワーク２を介して受信装置４０と接続可能とされている。例えば、受信装置４０は、無線通信が可能であって、ネットワーク２に接続されるＡＰ（アクセスポイント）３と無線通信を用いて通信して、ネットワーク２に接続される。

【0011】

配信装置１０には、撮影装置の一例である全天球カメラ２０が接続される。なお、全天球カメラ２０の代りに、通常の画角のカメラ装置を設けてもよい。

【0012】

全天球カメラ２０は、例えばそれぞれ画角が１８０°以上である２枚の魚眼レンズと、ミラーあるいはプリズムを含む光学系とを組み合わせて、画角が４π［ｓｒ］（ステラジアン）の撮影画像を取得可能となっている。以降、この全天球カメラ２０で撮影された、画角が４π［ｓｒ］（ステラジアン）の撮影画像を全天球画像と呼び、この４π［ｓｒ］の立体角の中心を画角中心と呼ぶ。また、全天球カメラ２０は、動画として撮影された全天球画像を出力可能である。全天球カメラ２０から出力された全天球画像は、配信装置１０に送信される。全天球カメラ２０は、例えば三脚２１により保持されて設置される。

【0013】

受信装置４０としては、例えばスマートフォン又はタブレット型のコンピュータ装置等を用いることができる。受信装置４０は、表示デバイスと、操作位置に応じた制御信号を出力する入力デバイスとが一体的に構成されたタッチパネル４２を有し、例えばＡＰ３から受信した受信信号に基づく画面をタッチパネル４２に表示させる。タッチパネル４２は、表示される画面に対する操作に応じた制御信号を出力する。

【0014】

このような実施の形態の配信システム１において、配信装置１０は、全天球カメラ２０から出力された全天球画像を、ネットワーク２を介して受信装置４０に送信する。受信装置４０は、配信装置１０から受信した全天球画像のうち、指定領域の画像（全体のうちの一部の画像）を、タッチパネル４２に表示する。

【0015】

ここで、受信装置４０において、タッチパネル４２に指定領域の画像が表示された状態で、タッチパネル４２上の任意の位置が、ユーザの手指４１等で接触操作された場合について考える。タッチパネル４２が手指４１等で接触操作された後、タッチパネル４２に対する手指４１の接触状態が保たれたまま手指４１の位置が移動されたとする。受信装置４０は、この手指４１のタッチパネル４２への接触状態を保った状態での移動を検知すると、移動方向および移動距離に応じて、全天球画像における指定領域の位置を移動させる。ここでは、タッチパネル４２上での手指４１の移動方向と、全天球画像における指定領域の移動方向とを一致させるものとする。これにより、ユーザは、タッチパネル４２に表示される画面により、全天球画像の所望の領域を指定して閲覧することができる。

【0016】

なお、手指４１をタッチパネル４２に接触させる行為を、「タップ」と呼ぶ。また、手指４１をタッチパネル４２に接触させた状態を保った状態でタッチパネル４２上を移動させる行為を、「スワイプ」と呼ぶ。

【0017】

次に、ユーザが、スワイプを行う手指４１の動きを、手指４１のタッチパネル４２への接触を保った状態で所定時間（例えば１秒）停止させたものとする。この場合、受信装置４０は、タッチパネル４２に表示される指定領域における手指４１の位置に対応する全天球画像の位置（座標）を取得し、取得した位置を示す位置情報を配信装置１０に送信する。

【0018】

配信装置１０は、受信装置４０から送信された位置情報を受信すると、受信した位置情報が示す位置を中心とする全天球画像が受信装置４０に送信する。後述するが、配信装置１０は、受信装置４０に送信する全天球画像のうち、中心に位置する指定領域は高画質の画像で送信する。また、配信装置１０は、指定領域の左右の領域は中画質の画像で送信する。また、配信装置１０は、指定領域及び指定領域の左右の領域の上下の領域（＝指定領域及び指定領域の左右の領域）は、低画質の画像で送信する。

【0019】

スワイプは、上下に操作される可能性よりも、左右に操作される可能性の方が高い。このため、指定領域の左右の領域の画像として中画質の画像を、配信装置１０から受信装置４０に予め送信しておくことで、左右のスワイプに応じて、中画質の画像を表示可能とすることができる。なお、この例では、指定領域の左右の領域の画像として中画質の画像を送信することとして説明するが、指定領域の左右の領域の画像として高画質の画像を送信してもよい。

【0020】

なお、高画質としては、例えばＨＤ（High Definition）画質（１２８０画素×＊７２０画素）、フルＨＤ画質（１９２０画素×１０８０画素）又は４Ｋ画質（３８４０画素×１９２０画素）等の画質である。また、中画質は、例えば「９６０画素×７２０画素」等の標準的な画質である。また、低画質は、「４８０画素×３６０画素」等の標準的な画質よりも低い画質である。このような画質の定義は、一例である。このため、高画質、中画質及び低画質は、総画素数等が「高画質＞中画質＞低画質」となるように、相対的に決定すればよい（比較によって決定すればよい）。

【0021】

（全天球カメラの外観の構成）
図２は、全天球カメラ２０の外観の構成を示す図である。このうち、図２（ａ）は、全天球カメラ２０の上面図、図２（ｂ）は、全天球カメラ２０の正面図を示している。図２（ａ）において、レンズ２１０ａおよび２１０ｂは、それぞれ全天球カメラ２０の前面側および後方側の光を、２π［ｓｒ］以上の画角で集光する。図２（ｂ）において、全天球カメラ２０の前面側には、レンズ２１０ａの他に、シャッタボタン２１１、電源ランプ２１２およびモード表示部２１３が設けられる。モード表示部２１３は、現在、選択されている全天球カメラ２０の撮影モード（静止画撮影モード又は動画撮影モード）を示す。

【0022】

図３は、全天球カメラ２０のブロック図である。この図３において、全天球カメラ２０は、撮影系の構成として、撮影ユニット２２０と、映像処理部２２３と、撮影制御部２２４とを含む。また、制御系の構成として、ＣＰＵ(Central Processing Unit)２３０と、ＲＯＭ(Read Only Memory)２３１と、ＲＡＭ(Random Access Memory)２３２と、操作Ｉ／Ｆ（インタフェース）２３３と、スイッチ２３４と、データＩ／Ｆ２３５と、無線Ｉ／Ｆ２３６と、これら各部を接続するバス２３７と、を含む。また、バス２３７には、映像処理部２２３および撮影制御部２２４も接続される。

【0023】

制御系の構成において、ＣＰＵ２３０は、ＲＯＭ２３１に予め記憶されるプログラムに従い、ＲＡＭ２３２をワークメモリとして用いて動作して、この全天球カメラ２０の全体の動作を制御する。スイッチ２３４は、上述したシャッタボタン２１１など１以上の操作子を含み、操作に応じた制御信号を出力する。スイッチ２３４から出力された制御信号は、操作Ｉ／Ｆ２３３を介してバス２３７に送られ、ＣＰＵ２３０に渡される。

【0024】

データＩ／Ｆ２３５は、ＵＳＢ(Universal Serial Bus)などのデータ通信に対応するインタフェースであって、ＣＰＵ２３０の制御に従い、外部の機器との間でデータ通信を行う。データＩ／Ｆ２３５による接続を行うためのコネクタは、例えば全天球カメラ２０の底面側に設けられる。無線Ｉ／Ｆ２３６は、ＣＰＵ２３０の制御に従い無線通信を行う。

【0025】

撮影系の構成において、撮影ユニット２２０は、全天球カメラ２０の前面側の撮影を行うための前面撮影素子２２１ａと、後方側の撮影を行うための後方撮影素子２２１ｂとを含む。前面撮影素子２２１ａおよび後方撮影素子２２１ｂは、それぞれ例えばＣＣＤ(Charge Coupled Device)を用いて構成され、レンズ２１０ａおよびレンズ２１０ｂから入射された光を電気信号に変換して撮影信号として出力する。

【0026】

撮像制御部２２４は、ＣＰＵ２３０の制御に従い、前面撮影素子２２１ａおよび後方撮影素子２２１ｂにおける撮影タイミングなど撮影処理の制御を行う。映像処理部２２３は、前面撮影素子２２１ａおよび後方撮影素子２２１ｂから出力された各信号に、ノイズ除去、レベル補正などの所定の処理を施し、その後Ａ／Ｄ変換してデジタル方式のデータによる撮影画像に変換する。さらに、映像処理部２２３は、前面撮影素子２２１ａおよび後方撮影素子２２１ｂによる各撮影画像を合成して、ＸＹ座標系による２次元の画像（全天球画像と呼ぶ）を生成する。映像処理部２２３で生成された全天球画像は、例えばデータＩ／Ｆ２３５から外部に出力することができる。

【0027】

（撮影される映像の例）
図４は、全天球カメラ２０によって撮影された映像の一例を示す図である。このうち、図４（ａ）は、全天球カメラ２０の前面撮影素子２２１ａによって撮影された映像の例、図４（ｂ）は後方撮影素子２２１ｂによって撮影された映像の例である。なお、図４（ａ）と図４（ｂ）とでは、映像の天地が逆になっている。これは、光学系を簡略化し、全天球カメラ２０の筐体の前面および後方に配置されたレンズ２１０ａおよび２１０ｂから入射した光線を１つのミラーの表裏で上下に反射し、反射光の光軸上に前面撮影素子２２１ａと後方撮影素子２２１ｂとを配置したことによる。図４（ａ）および図４（ｂ）の映像は、映像処理部２２３により１つの映像に合成され、図４（ｃ）に例示する、正距円筒図法による全天球画像が形成される。

【0028】

（全天球画像の生成の仕方）
図５は、全天球カメラ２０の映像処理部２２３による全天球画像の生成の仕方を説明するための図である。図５において、上段は、前面撮影素子２２１ａと後方撮影素子２２１ｂから得られる各映像の画素位置に対し、水平方向の角度θと垂直方向の角度φとの対応関係を示している。上段の左右では、一方の映像の天地が逆になっていることに対応し、角度φの正負が逆になっている。

【0029】

映像処理部２２３は、上段に示す各映像に含まれる各画素に対し、角度θと角度φとを直交する座標に変換するルックアップテーブルに基づいて、中段に示す各映像への変換を行う。次いで、映像処理部２２３は、中段に示す２つの映像を合成し、下段に示す、角度θが０°～３６０°である１の映像を生成する。そして、これを３角形状のポリゴンに分解し、角度θと角度φと対応付けて３次元データとする。これが全天球画像として、映像処理部２２３から出力される。

【0030】

（配信装置のハードウェア構成）
図６は、配信装置１０のブロック図である。この図６において、配信装置１０は、ＣＰＵ１０００と、ＲＯＭ１００１と、ＲＡＭ１００２と、映像出力Ｉ／Ｆ１００３と、操作部Ｉ／Ｆ１００９と、を含み、これら各部がバス１０１１に接続される。配信装置１０は、さらに、通信Ｉ／Ｆ１００４と、データＩ／Ｆ１００５と、映像入力Ｉ／Ｆ１００６および１００７と、オーディオＩ／Ｆ１００８と、を含み、これら各部がバス１０１１に接続される。このように、配信装置１０は、バス１０１１で接続されたＣＰＵ１０００、ＲＯＭ１００１およびＲＡＭ１００２を含むコンピュータが搭載されていると考えることができる。

【0031】

ＣＰＵ１０００は、ＲＯＭ１００１に予め記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて動作して、この配信装置１０の全体の動作を制御する。映像出力Ｉ／Ｆ１００３は、この配信装置１０にディスプレイを接続する際のインタフェースである。映像出力Ｉ／Ｆ１００３は、例えば、ＣＰＵ１０００からバス１０１１を介して供給された画像（映像）を、ディスプレイが対応可能な形式に変換して出力する。

【0032】

操作部Ｉ／Ｆ１００９は、操作入力部１０１０が接続される。操作入力部１０１０は、この配信装置１０を手動にて操作するための各種操作子を含み、操作に応じた制御信号を出力する。操作入力部１０１０から出力された制御信号は、操作部Ｉ／Ｆ１００９を介してバス１０１１に送られ、ＣＰＵ１０００に渡される。

【0033】

映像出力Ｉ／Ｆ１００３は、この配信装置１０にディスプレイを接続する際のインタフェースである。映像出力Ｉ／Ｆ１００３は、例えば、ＣＰＵ１０００からバス１０１１を介して供給された画像（映像）を、ディスプレイが対応可能な形式に変換して出力する。

【0034】

通信Ｉ／Ｆ１００４は、ＣＰＵ１０００の制御に従い、ネットワーク２に対する通信を制御する。データＩ／Ｆ１００５は、ＵＳＢなどのデータ通信に対応するインタフェースであって、ＣＰＵ１０００の制御に従い、外部の機器との間でデータ通信を行う事が可能である。例えば、全天球カメラ２０のデータＩ／Ｆ２３５とデータＩ／Ｆ１００５とを接続し、配信装置１０から全天球カメラ２０動作を、データＩ／Ｆ１００５を介して制御することができる。

【0035】

映像入力Ｉ／Ｆ１００６および１００７は、それぞれ、外部からの画像（映像）の入力を受け付け、入力された画像をバス１０１１に出力する。例えば、上述した全天球カメラ２０から出力された全天球画像は、映像入力Ｉ／Ｆ１００６又は１００７に入力され、ＣＰＵ１０００に渡される。なお、通信Ｉ／Ｆ１００４やデータＩ／Ｆ１００５を、映像入力Ｉ／Ｆ１００６および１００７として用いることも可能である。

【0036】

オーディオＩ／Ｆ１００８は、バス１０１１を介して供給されたデジタル方式の音声信号をＤ／Ａ変換によりアナログ方式の音声信号に変換し、さらに増幅等の処理を施して出力し、例えばスピーカに供給する。また、オーディオＩ／Ｆ１００８は、マイクロホンから入力されたアナログ方式の音声信号をＡ／Ｄ変換によりデジタル方式の音声信号に変換して、バス１０１１に出力する。

【0037】

（配信装置の機能）
図７は、配信装置１０の機能ブロック図である。この図７において、配信装置１０は、制御部１００と、通信部１０１と、生成部１０２と、取得部１０３と、を含む。これら制御部１００、通信部１０１、生成部１０２および取得部１０３は、ＣＰＵ１０００上で動作する配信プログラムにより構成される。これに限らず、制御部１００、通信部１０１、生成部１０２および取得部１０３の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

【0038】

制御部１００は、通信部１０１、生成部１０２および取得部１０３を含む配信装置１０の全体の動作を制御する。通信部１０１は、通信Ｉ／Ｆ１００４を制御して、ネットワーク２を介した通信を行う。生成部１０２は、ユーザのスワイプに応じて、上述のように高中低の各画質の画像で形成された全天球画像を形成する。

【0039】

取得部１０３は、全天球カメラ２０で撮像された全天球画像を取得する。取得部１０３により取得された情報は、制御部１００の制御により、通信部１０１を介して受信装置４０に送信される。

【0040】

このような図７に示す各機能と実現するための、配信装置１０の配信プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該配信プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該配信プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

【0041】

この配信プログラムは、制御部１００、通信部１０１、生成部１０２および取得部１０３を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がＲＯＭ１００１などの記憶媒体から当該配信プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、制御部１００、通信部１０１、生成部１０２および取得部１０３が主記憶装置上に生成されるようになっている。

【0042】

なお、実施の形態の例では、このような配信装置１０と全天球カメラ２０とは別の装置として設けられていることとして説明を進めるが、全天球カメラ２０内に配信装置１０を設けることで、全天球カメラ２０と配信装置１０とは一つの装置として設けてもよい。この場合、図１に示す構成は、全天球カメラ２０がネットワーク２を介して受信装置４０と通信を行う構成となる。

【0043】

（受信装置のハードウェア構成）
図８は、受信装置４０のハードウェア構成を示す図である。この図８において、受信装置４０は、ＣＰＵ４０００と、ＲＯＭ４００１と、ＲＡＭ４００２と、オーディオＩ／Ｆ４００３と、ストレージ４００４と、通信Ｉ／Ｆ４００５と、映像出力Ｉ／Ｆ４００６と、入力Ｉ／Ｆ４００７と、を含み、これら各部がバス４０１０により接続される。このように、受信装置４０は、バス４０１０で接続されたＣＰＵ４０００、ＲＯＭ４００１およびＲＡＭ４００２を含むコンピュータが設けられていると考えることができる。

【0044】

ストレージ４００４は、記憶部の一例であり、不揮発性メモリやハードディスクドライブといった不揮発性の記憶媒体であって、ＣＰＵ４０００が動作するためのプログラムや、各種データを記憶することができる。ＣＰＵ４０００は、ＲＯＭ４００１およびストレージ４００４に予め記憶されるプログラムに従い、ＲＡＭ４００２をワークメモリとして用いて動作して、この受信装置４０の全体の動作を制御する。

【0045】

映像出力Ｉ／Ｆ４００６は、ディスプレイ４００８ａが接続され、ＣＰＵ４０００からバス４０１０を介して供給された画像（映像）や表示制御信号を、ディスプレイ４００８ａが対応可能な形式に変換して出力する。例えば、映像出力Ｉ／Ｆ４００６は、ディスプレイ４００８ａの各画素に対応して画像を記憶するフレームメモリを含み、フレームメモリに画素単位で記憶された画像をディスプレイ４００８ａに転送する。なお、ディスプレイ４００８ａは、例えばＬＣＤ(Liquid Crystal Display)による表示デバイスと、表示デバイスを駆動する駆動回路を含む。

【0046】

入力Ｉ／Ｆ４００７は、位置に応じた制御信号を出力する入力デバイス４００８ｂが接続され、入力デバイス４００８ｂから出力された制御信号をＣＰＵ４０００が対応可能な形式に変換して、バス４０１０を介してＣＰＵ４０００に渡す。これらディスプレイ４００８ａと、入力デバイス４００８ｂとが一体的に形成されて、図１に示すタッチパネル４２が構成される。

【0047】

通信Ｉ／Ｆ４００５は、無線通信による送受信の機能を備え、ＣＰＵ４０００の制御に従い、ＡＰ３と通信を行い、ネットワーク２を介した通信を行う。オーディオＩ／Ｆ４００３は、バス４０１０から供給されたデジタル方式の音声信号をＤ／Ａ変換によりアナログ方式の音声信号に変換し、さらに、増幅などの処理を施してスピーカＳＰ４０２０に出力する。

【0048】

（受信装置の機能）
図９は、受信装置４０の機能ブロック図である。この図９において、受信装置４０は、制御部４００と、通信部４０１と、ＵＩ部４０２と、表示制御部４０３と、位置指定部４０６と、を含む。これら制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６は、ＣＰＵ４０００上で動作する受信プログラムにより構成される。これに限らず、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

【0049】

制御部４００は、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６を含む受信装置４０の全体の動作を制御する。通信部４０１は、通信Ｉ／Ｆ４００５を制御して、ネットワーク２を介した通信を行う。

【0050】

ＵＩ部４０２は、タッチパネル４２における入力デバイス４００８ｂに対する入力操作を受け付ける。例えばＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１の接触を検知し、手指４１が接触された位置を検出する。また、ＵＩ部４０２は、入力デバイス４００８ｂに対する手指４１の接触の検知結果に基づき、入力デバイス４００８ｂに対するタップ操作又はスワイプ操作の判定を行う。

【0051】

表示制御部４０３は、描画部４０４と合成部４０５とを含み、ディスプレイ４００８ａに対する静止画像および動画像の表示を制御する。描画部４０４は、フレームメモリに対して静止画像あるいは動画像を描画する。このフレームメモリに描画された画像がディスプレイ４００８ａに転送されることで、ディスプレイ４００８ａに静止画像あるいは動画像が表示される。

【0052】

合成部４０５は、ディスプレイ４００８ａに表示されている画像に対して、他の画像の合成が指定された際に、例えば描画部４０４によりフレームメモリに描画された画像を、当該他の画像により上書きすることで、当該他の画像の合成を行う。

【0053】

位置指定部４０６は、タッチパネル４２において、ディスプレイ４００８ａに表示される、全天球画像の一部である指定領域に対して入力デバイス４００８ｂにより入力された位置に対応する、当該全天球画像の位置を指定する。位置指定部４０６により指定された位置を示す位置情報は、通信部４０１により配信装置１０に送信される。

【0054】

このような受信装置４０の各機能を実現するための受信プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、フレキシブルディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該受信プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該受信プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

【0055】

この当該受信プログラムは、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ４０００がＲＯＭ４００１およびストレージ４００４などの記憶媒体から当該受信プログラムを読み出して実行することにより、上述した各部がＲＡＭ４００２などの主記憶装置上にロードされ、制御部４００、通信部４０１、ＵＩ部４０２、表示制御部４０３および位置指定部４０６が主記憶装置上に生成されるようになっている。

【0056】

（配信動作）
次に、第１の実施形態に係る配信システム１による画像の配信動作を説明する。図１０は、配信装置１０の配信動作の流れを示すフローチャートである。この図１０のフローチャートにおいて、まず、配信装置１０の取得部１０１は、通信部１０３を介して全天球カメラ２０から全天球画像を取得する（ステップS1）。次に、配信装置の生成部１０２は、例えば図１１に示すように、取得した全天球画像の全領域のうち、受信装置４０で最初に表示される領域である、例えば中央の領域ＨＲ（部分領域の一例）を高画質の画像とする。また、中央の領域ＨＲと同じ高さで水平方向にそれぞれ隣接する左右の領域（延長領域の一例）を、中画質の画像とする。これにより、図１１に示す全天球画像の中央の水平方向に帯状の領域（図１１のＢの領域）は、高画質の画像又は中画質の画像となる。さらに、生成部１０２は、高画質の画像として中央の領域、及び。中画質の画像とした中央の領域に隣接する左右の領域の上下の領域（図１１のＡ及びＣの領域）を低画質の画像とする。

【0057】

このように各解像度の画質の画像が合成された全天球画像（合成画像の一例）が生成されると、通信部１０１は、通信Ｉ／Ｆ１００４を介して受信装置４０に、この全天球画像を送信する（ステップＳ２）。

【0058】

なお、この例では、上述の左右の領域は中画質の画像としたが、これら左右の領域をそれぞれ高画質の画像としてもよい。この場合、図１１に示す全天球画像の中央の水平方向に帯状の領域（Ｂの領域）は、全て高画質の画像となる。

【0059】

次に、配信装置１０の制御部１００は、ステップＳ３において配信終了指示の有無を判別する（ステップＳ３）。配信終了が指示された場合（ステップＳ３：Ｙｅｓ）、そのまま図１０のフローチャートの処理を終了する。これに対して、配信終了の指示を検出しない場合（ステップＳ３：Ｎｏ）、図１０のフローチャートのステップＳ１に処理が戻り、取得部１０３が、引き続き、全天球カメラ２０で撮像された全天球画像を取得し、上述の中央の水平方向に帯状の領域（図１１のＢの領域）を高画質及び中画質とした合成画像を生成して受信装置４０に送信する動作を繰り返し実行する。これにより、配信終了の指示を検出するまでの間、上述の合成画像の動画（静止画像でもよい）が、受信装置４０に配信（ライブ配信）されることとなる。

【0060】

（受信装置の処理）
図１２は、受信装置４０の処理の流れを示すフローチャートである。なお、全天球カメラ２０により撮影された動画像又は静止画像としての全天球画像が、配信装置１０を介して受信装置４０で受信されてタッチパネル４２に表示されることで、この図１２のフローチャートの処理が開始される。

【0061】

ステップＳ１２０で、受信装置４０において、表示制御部４０３は、配信装置１０から送信された全天球画像を受信してストレージ４００４に記憶し、この全天球画像のうち、デフォルトの表示領域に相当する、全天球画像の中央の領域の画像を取得して、タッチパネル４２に表示する。図１１を用いて説明したように、全天球画像の中央の領域ＨＲの画像は、高画質の画像となっている。このため、タッチパネル４２には、高画質の画像が表示される。

【0062】

ステップＳ１２１では、ＵＩ部４０２が、入力デバイス４００８ｂに対する手指４１等による接触操作の有無を判定する。ＵＩ部４０２は、接触操作を検知しない場合（ステップＳ１２１：Ｎｏ）、処理をステップＳ１２１に戻す。一方、ＵＩ部４０２は、接触操作を検知した場合（ステップＳ１２１：Ｙｅｓ）、処理をステップＳ１２２に勧める。

【0063】

ステップＳ１２２では、表示制御部４０３が、ＵＩ部４０２から、接触が検知されたタッチパネル４２上の位置（接触位置）を取得し、ストレージ４００４に記憶されている全天球画像のうち、取得した接触位置に対応する指定領域の部分的な画像を読み出す。そして、描画部４０４が、接触位置に対応する指定領域の部分的な画像を、タッチパネル４２に表示するこれにより、ストレージ４００４に記憶された全天球画像のうち、スワイプ操作で指定された指定領域に相当する画像をタッチパネル４２に表示できる。

【0064】

ここで、ユーザのスワイプ操作は、指等の上下の移動操作よりも、左右の移動操作となることが多い。これに対応して、実施の形態の配信システムの場合、図１１を用いて説明したように、全天球画像のうち、中央の水平方向に帯状の領域の画像が、高画質又は中画質の画像となっている。このため、左右のスワイプ操作で指定領域が指定された際に、高確率で高画質又は中画質の画像を表示することができる。このため、配信装置１０と受信装置４０との間に通信遅延が生じても、受信装置４０側で表示する画像が低解像度の画像となる不都合を軽減することができる。

【0065】

次に、ステップＳ１２３では、表示制御部４０が、配信装置１０から新たな全天球画像を受信したか否かを判別する。新たな全天球画像を受信した場合（ステップＳ１２３：Ｙｅｓ）、制御部４００は、受信した全天球画像でストレージ４００４に記憶されている全天球画像を更新する。この更新後、処理は、ステップＳ１２０に戻る。

【0066】

（指定領域の指定動作）
次に、図１３及び図１４を用いて、全天球画像の指定領域の指定動作を説明する。図１３は、指定領域の一例を示す図である。このうち、図１４（ａ）は、Ｘ軸、Ｙ軸、Ｚ軸の関係を示している。立体球ＣＳは、上述した全天球画像が仮想的に貼り付けられている球面である。図１４（ｂ）は、指定領域の特定のための仮想カメラＣＡＭの配置の例を示している。仮想カメラＣＡＭは、立体球ＣＳの内部に配置され、仮想カメラＣＡＭで捉えられる所定領域Ｔが指定領域となる。図１４（ｃ）は、仮想カメラＣＡＭの視野を示しており、所定領域Ｔの対角線の両端を挟む角度が視野角αとなる。距離ｆは、仮想カメラＣＡＭと、所定領域Ｔの中心点ＣＰとの距離である。

【0067】

図１４は、仮想カメラＣＡＭの位置と立体球ＣＳの原点との関係を示す図である。なお、図１４において、立体球ＣＳの半径は、「１」に正規化されている。このように、原点よりも距離ｄだけ後退した位置から立体球ＣＳを眺めたものが、視野角αとなる。距離ｄの位置が立体球ＣＳの内部にある場合は、原点からの画角ωで立体球ＣＳと交わる位置と視野角αで立体球ＣＳと交わる位置とが一致するものとする。一方、距離ｄの位置が立体球ＣＳの外部にある場合は、視野角αは、立体球ＣＳに外接するものとする。距離ｄが０の場合は、原点からの画角ωと視野角αとが一致する。全天球カメラ２０は、立体球ＣＳに対して距離ｄ＝０の位置に配置されるものと考えられ、このときの全天球カメラ２０の位置が画角中心の位置とされる。

【0068】

なお、画角ωと視野角αと距離ｄとを適当に制御することで、指定領域内の画像の拡大および縮小を行うことができる。拡大／縮小の倍率は、画角ω、視野角αおよび距離ｄにより決定される。縮小していくと、表示される映像の輪郭が円形になる。

【0069】

（実施の形態の効果）
以上の説明から明らかなように、スワイプ操作は、上下に操作される可能性よりも、左右に操作される可能性の方が高い。このため、実施の形態の配信システムでは、全天球画像のうち、中央の水平方向に帯状の領域の画像の画質を高画質及び中画質とする（中央の水平方向の帯状の領域を全て、高画質の画像としてもよい）。また、この他の領域の画像は、低画質の画像とする。これにより、配信装置１０と受信装置４０との間で、全ての領域の画像を高画質とした全天球画像を送受信するよりも、大幅にデータ量を削減できる。また、左右のスワイプ操作がされた場合には、配信装置１０と受信装置４０との間の通信状態にかかわらず、中画質又は高画質の画像を表示できる。従って、配信装置１０と受信装置４０との間に通信遅延が生じても、受信装置４０側で表示する画像が低解像度の画像となる不都合を軽減することができる。

【0070】

（第１の変形例）
上述の実施の形態の説明では、全天球画像のうち中央の水平方向の帯状の領域を高画質化する例であったが、全天球画像のうち中央の上下方向の帯状の領域を高画質化してもよい。図１５（ａ）は、掘削用の動力シャベルを備えたショベルカー３０に全天球カメラ２０を設けた例である。ショベルカー３０の場合、作業にあたって、動力シャベルの上下動を確認することが重要となる。

【0071】

このため、この第１の変形例の場合、図１５（ｂ）に示すように、全天球カメラ２０は、動力シャベルを中央とする全天球画像を生成し、配信装置１０は、全天球画像のうち中央の上下方向の帯状の領域を高画質化（又は中画質化）し、それ以外の領域は低画質化して受信装置４０に送信する。これにより、ユーザにより上下方向のスワイプ操作がされた際には、このスワイプ操作に対応する位置の高画質の画像を表示することができる他、上述の実施の形態と同様の効果を得ることができる。

【0072】

（第２の変形例）
また、配信装置１０のＣＰＵ１０００が画像認識処理を行うことで、図１６（ａ）に示す動力シャベル３１の位置を特定し、特定した位置を含む領域を高画質とした全天球画像を受信装置４０に送信してもよい。これにより、図１６（ｂ）に示すように、例えばショベルカー３０の作業に重要な、動力シャベル３１周辺の画像を高画質化した全天球画像を受信装置４０に送信し、重要な部分を高画質で表示できる他、上述の実施の形態と同様の効果を得ることができる。

【0073】

なお、上述の実施の形態は、本発明の好適な実施の例ではあるが、本発明は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

【0074】

例えば、上述の実施の形態の説明では、全天球画像の中央の左右方向又は中央の上下方向の画質を高画質化することとしたが、全天球画像の中央の左右方向及び中央の上下方向の両方向の画質を高画質化してもよい。また、左右方向又は上下方向の他、斜め方向等の、他の方向の画質を高画質化してもよい。いずれの場合も、上述と同様の効果を得ることができる。

【符号の説明】

【0075】

１ 配信システム
２ ネットワーク
１０ 配信装置
２０ 全天球カメラ
４０ 受信装置
４２ タッチパネル
１００ 制御部
１０１ 通信部
１０２ 生成部
１０３ 取得部
１０００ ＣＰＵ
４００ 制御部
４０２ ＵＩ部
４０３ 表示制御部

【先行技術文献】

【特許文献】

【0076】

【文献】特許第３９６３２６１号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】