特許 7613052 撮影装置、配信システム、配信方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】撮影装置、配信システム、配信方法およびプログラム

(51)【国際特許分類】

   H04N 21/226 20110101AFI20250107BHJP

   H04N 21/2662 20110101ALI20250107BHJP

   H04N 19/42 20140101ALI20250107BHJP

【ＦＩ】

H04N21/226

H04N21/2662

H04N19/42

【請求項の数】 9

(21)【出願番号】P 2020180570

(22)【出願日】2020-10-28

(65)【公開番号】P2021078114

(43)【公開日】2021-05-20

【審査請求日】2023-08-24

(31)【優先権主張番号】P 2019203724

(32)【優先日】2019-11-11

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】戸田 善幸

(72)【発明者】

【氏名】加藤 喜永

【審査官】醍醐 一貴

(56)【参考文献】

【文献】米国特許出願公開第２０１３／００３４１４６（ＵＳ，Ａ１）

【文献】特開２００８－１９９６７７（ＪＰ，Ａ）

【文献】特開２００５－２６６０１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

複数のストリームの画像データを配信する撮影装置であって、
撮影手段によって撮影された撮影画像データを取得する取得手段と、
少なくとも一つのハードウエアエンコーダとソフトウエアエンコーダと、
前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定手段と、
決定された前記エンコード方法に基づき、前記複数のストリームのうち処理負荷が大きい前記エンコードパラメータに対応するストリームに対して前記ハードウエアエンコーダを用い、その他のストリームに対して前記ソフトウエアエンコーダを用いて、前記ストリームごとのストリーミング画像データを生成する生成手段と、
生成された複数の前記ストリーミング画像データを配信する配信手段と、
を備える撮影装置。

【請求項2】

前記エンコードパラメータは、前記ストリーミング画像データの解像度であり、
前記生成手段は、前記解像度が高いストリームに対して、前記ハードウエアエンコーダを用いて前記ストリーミング画像データを生成する請求項１に記載の撮影装置。

【請求項3】

前記エンコードパラメータは、前記ストリーミング画像データのフレームレートであり、
前記生成手段は、前記フレームレートが高いストリームに対して、前記ハードウエアエンコーダを用いて前記ストリーミング画像データを生成する請求項１または２に記載の撮影装置。

【請求項4】

前記生成手段は、前記ハードウエアエンコーダおよび前記ソフトウエアエンコーダを用いて、複数のストリーミング画像データを並行して生成する請求項１乃至３のいずれか一項に記載の撮影装置。

【請求項5】

前記ストリームごとのエンコードパラメータを設定する設定手段を備え、
前記決定手段は、設定されたエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する請求項１乃至４のいずれか一項に記載の撮影装置。

【請求項6】

前記決定手段は、設定されたエンコードパラメータが変更された場合、決定された前記エンコード方法を変更する請求項５に記載の撮影装置。

【請求項7】

複数のストリームの画像データを配信する配信システムであって、
撮影手段によって撮影された撮影画像データを取得する取得手段と、
少なくとも一つのハードウエアエンコーダとソフトウエアエンコーダと、
前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定手段と、
決定された前記エンコード方法に基づき、前記複数のストリームのうち処理負荷が大きい前記エンコードパラメータに対応するストリームに対して前記ハードウエアエンコーダを用い、その他のストリームに対して前記ソフトウエアエンコーダを用いて、前記ストリームごとのストリーミング画像データを生成する生成手段と、
を備える撮影装置と、
前記撮影装置で生成された複数の前記ストリーミング画像データを配信する配信手段と、
を備える配信システム。

【請求項8】

複数のストリームの画像データを配信する撮影装置が実行する配信方法であって、
撮影手段によって撮影された撮影画像データを取得する取得ステップと、
前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定ステップと、
決定された前記エンコード方法に基づき、前記複数のストリームのうち処理負荷が大きい前記エンコードパラメータに対応するストリームに対して前記撮影装置が備える少なくとも一つのハードウエアエンコーダを用い、その他のストリームに対して前記撮影装置が備えるソフトウエアエンコーダを用いて、前記ストリームごとのストリーミング画像データを生成する生成ステップと、
生成された複数の前記ストリーミング画像データを配信する配信ステップと、
を実行する配信方法。

【請求項9】

複数のストリームの画像データを配信する撮影装置のコンピュータに、
撮影手段によって撮影された撮影画像データを取得する取得ステップと、
前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定ステップと、
決定されたエンコード方法に基づき、前記複数のストリームのうち処理負荷が大きい前記エンコードパラメータに対応するストリームに対して前記撮影装置が備える少なくとも一つのハードウエアエンコーダを用い、その他のストリームに対して前記撮影装置が備えるソフトウエアエンコーダを用いて、前記ストリームごとのストリーミング画像データを生成する生成ステップと、
生成された複数の前記ストリーミング画像データを配信する配信ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置、配信システム、配信方法およびプログラムに関する。

【背景技術】

【0002】

近年、撮影装置を用いて撮影された撮影画像を、インターネット上の配信サービスを用いてストリーミング配信することが可能な技術が普及している。また、ＰＣやスマートフォン等の端末を介さずに、撮影装置を直接インターネットに接続させてストリーミング配信を行うことができるシステムも知られている。

【0003】

さらに、このようなストリーミング配信において、閲覧側の端末で受信するストリームを選択することができるように、画質の異なる複数のストリームの画像を同時配信する技術が知られている。この場合、配信側の装置において、配信する画像データのエンコード処理を行うための処理能力が重要となるが、例えば、特許文献１には、ソフトウエアエンコーダとハードウエアエンコーダに処理を割り振って映像データをエンコードし、エンコードされたデータを一つのストリームに合成する内容が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の方法は、ハードウエアエンコーダの数に制約のある装置ではストリームごとのエンコード処理を並行して行うことができないため、複数のストリームの画像データを同時に配信することが困難であるという課題があった。

【課題を解決するための手段】

【0005】

上述した課題を解決すべく、請求項１に係る発明は、複数のストリームの画像データを配信する撮影装置であって、撮影手段によって撮影された撮影画像データを取得する取得手段と、少なくとも一つのハードウエアエンコーダとソフトウエアエンコーダと、前記ストリームごとのエンコードパラメータに応じて、取得された前記撮影画像データのエンコード方法を決定する決定手段と、決定された前記エンコード方法に基づき、前記複数のストリームのうち処理負荷が大きい前記エンコードパラメータに対応するストリームに対して前記ハードウエアエンコーダを用い、その他のストリームに対して前記ソフトウエアエンコーダを用いて、前記ストリームごとのストリーミング画像データを生成する生成手段と、生成された複数の前記ストリーミング画像データを配信する配信手段と、を備える撮影装置である。

【発明の効果】

【0006】

本発明によれば、ハードウエアエンコーダの数に制約のある撮影装置を用いて、複数のストリームの画像データを同時に配信することができる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る配信システムのシステム構成の一例を示す図である。

【図2】第１の実施形態に係る配信システムの処理の概略の一例を示す図である。

【図3】第１の実施形態に係る撮影装置のハードウエア構成の一例を示す図である。

【図4】第１の実施形態に係る通信端末のハードウエア構成の一例を示す図である

【図5】第１の実施形態に係る配信システムの機能構成の一例を示す図である。

【図6】第１の実施形態に係るエンコードパラメータ管理テーブルの一例を示す概念図である。

【図7】第１の実施形態に係る配信システムにおける画像配信処理の一例を示すシーケンス図である。

【図8】第１の実施形態に係る画像データのエンコード処理の一例を示すフローチャートである。

【図9】（Ａ）、（Ｂ）第１の実施形態に係る第１の実施形態に係るエンコードパラメータ管理テーブルの別の例を示す概念図である。

【図10】第１の実施形態の変形例に係る画像データのエンコード処理の一例を示すフローチャートである。

【図11】第１の実施形態の変形例に係る撮影装置において対象エンコーダが変更された場合のエンコードパラメータ管理テーブルの一例について説明するための概念図である。

【図12】第２の実施形態に係る配信システムのシステム構成の一例を示す図である。

【図13】第２の実施形態に係る配信システムの処理の概略の一例を示す図である。

【図14】第２の実施形態に係る配信システムの機能構成の一例を示す図である。

【図15】第２の実施形態に係る配信システムにおける画像配信処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

【0009】

●第１の実施形態●
●システム構成
図１は、第１の実施形態に係る配信システムのシステム構成の一例を示す図である。図１に示されている配信システム１は、撮影装置１０によって撮影されて取得された画像データを、ユーザが使用する通信端末５０に対してストリーミング配信を行うことができるシステムである。

【0010】

図１に示されているように、配信システム１は、撮影装置１０および通信端末５０によって構成されている。撮影装置１０および通信端末５０は、通信ネットワーク５を介して通信可能に接続されている。通信ネットワーク５は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等によって構築されている。なお、通信ネットワーク５には、有線通信だけでなく、３Ｇ(3rd Generation)、４Ｇ（4th Generation）、５Ｇ（5th Generation）、Ｗｉ－Ｆｉ(Wireless Fidelity（登録商標）)、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。

【0011】

撮影装置１０は、被写体を撮影して撮影画像を取得することができるデジタルカメラである。撮影装置１０は、例えば、全天球（３６０°）パノラマ画像を得るための特殊なデジタルカメラである。なお、撮影装置１０は、一般的なデジタルカメラ（一眼レフカメラ、コンパクトデジタルカメラ、監視カメラ、または映像（ビデオ）カメラ等）であってもよい。撮影装置１０は、インターネット等の通信ネットワーク５を介して、撮影画像に係る画像データのストリーミング配信を行う。なお、撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影画像は、画像とともに音声を含んでもよい。

【0012】

通信端末５０は、ユーザが使用するタブレット端末等の端末装置である。通信端末５０は、インターネット等の通信ネットワーク５にアクセスすることによって、撮影装置１０とデータ通信を行う。通信端末５０は、撮影装置１０から配信されるストリーミング画像データを受信することができる。なお、通信端末５０は、タブレット端末に限られず、ＰＣ(Personal Computer)、スマートフォン、携帯電話、ウェアラブル端末、ゲーム機、ビデオ会議（テレビ会議）端末、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、テレプレゼンスロボット等であってもよい。

【0013】

●概略
ここで、第１の実施形態に係る配信システムの処理の概略について説明する。なお、図２は、第１の実施形態に係る配信システムの概略を簡略的に説明したものであり、配信システム１が実現する機能等の詳細は、後述する図面等を用いて説明する。

【0014】

図２は、第１の実施形態に係る配信システムの処理の概略の一例を示す図である。配信システム１は、撮影装置１０によって撮影されて取得された撮影画像データを複数のストリームで配信する場合、撮影装置１０が有するエンコーダを各ストリームに割り当てて並行処理することで、複数のストリームの画像データの配信を行うことができるシステムである。

【0015】

まず、撮影装置１０は、画像配信の対象となる撮影画像データを取得する。次に、撮影装置１０は、例えば、通信ネットワーク５のネットワーク帯域の状態等に応じて通信端末５０が所望の画質のデータを受信できるように、画質の異なる複数のストリームを準備する。撮影装置１０は、ストリーミング配信を行うストリーム数およびストリームごとのエンコードパラメータに基づいて、ストリームごとの画像データのエンコード方法を決定する。エンコードパラメータとは、エンコーダによって処理される画像データの画質を示す情報である。そして、撮影装置１０は、決定したエンコード方法を用いて、撮影画像データの１フレーム（例えば、フレームＸ）ごとにエンコード処理を行う。

【0016】

図２の例では、撮影装置１０は、ストリーム１に対してハードウエアエンコーダ（ＨＷ）を用いてエンコード処理を行い、ストリーム２およびストリーム３に対してソフトウエアエンコーダ（ＳＷ）を用いてエンコード処理を行う。撮影画像データの１フレームであるフレームＸは、所定の画像処理を経て三つのエンコーダに並列に入力され、それぞれのエンコーダが設定されたエンコードパラメータに応じて並行してエンコード処理を行う。

【0017】

そして、撮影装置１０は、エンコード処理された複数のストリーミング画像データをそれぞれ独立したストリームとして、通信ネットワーク５を介して通信端末５０へ配信する。この場合、例えば、ストリーム１で配信されるストリーミング画像データは、高画質のデータであり、ストリーム２で配信されるストリーミング画像データは、中画質のデータであり、ストリーム３で配信されるストリーミング画像データは、低画質のデータである。

【0018】

画質の異なる複数のストリームの画像データを同時配信する場合、配信側の装置では、専用のハードウエアエンコーダを使用することが多い。しかしながら、例えば、通常のデジタルカメラ等の撮影装置のような装置サイズもしくは装置内のレイアウト等の物理的な制約、または価格等の制約がある装置では、搭載されるハードウエアエンコーダの数に限りがあるため、複数のストリームを同時配信することが困難であった。そこで、配信システム１は、画質の異なる複数のストームを用いて画像データの配信を行う場合、ストリームごとのエンコードパラメータに応じて、ストリームごとに撮影装置１０が備えるハードウエアエンコーダおよびソフトウエアエンコーダのいずれかを割り当てエンコード処理を行う。これにより、配信システム１は、ハードウエアエンコーダの数に制約のある撮影装置１０を用いて、画質の異なる複数のストリームの画像データを配信することができる。

【0019】

●ハードウエア構成
次に、図３および図４を用いて、実施形態における撮影装置１０および通信端末５０のハードウエア構成を説明する。なお、図３および図４に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。

【0020】

○撮影装置のハードウエア構成○
まず、図３を用いて、撮影装置１０のハードウエア構成を説明する。図３は、第１の実施形態に係る撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置１０は、二つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は、二つ以上いくつでもよい。また、撮影装置１０は、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に撮影装置１０と同じ機能を有するようにしてもよい。

【0021】

図３に示すように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、ハードウエアエンコーダ１０６、マイク１０８、音処理ユニット１０９、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、外部ストレージＩ／Ｆ１１６、入出力Ｉ／Ｆ１１７、ネットワークＩ／Ｆ１１８および加速度・方位センサ１１９によって構成されている。

【0022】

これらのうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている二つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、広角レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。

【0023】

撮像素子１０３ａ，１０３ｂは、それぞれ画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。また、撮像素子１０３ａ，１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バスライン１１０を介してＣＰＵ１１１と接続される。さらに、バスライン１１０は、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、外部ストレージＩ／Ｆ１１６、入出力Ｉ／Ｆ１１７、ネットワークＩ／Ｆ１１８および加速度・方位センサ１１９と接続される。

【0024】

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込む。そして、画像処理ユニット１０４は、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像（Equirectangular）のデータを作成する。

【0025】

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

【0026】

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１０は、ディスプレイによるプレビュー表示機能、静止画や動画の表示に対応する機能を持つ場合もある。動画の場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0027】

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態において、撮影装置１０は、ディスプレイが設けられていないが、表示部を設けてもよい。

【0028】

ハードウエアエンコーダ１０６は、Ｈ.２６４またはＭＰＥＧ－４等の符号化方式を用いたエンコード処理（圧縮処理）を行うエンコーダである。ハードウエアエンコーダ１０６は、同時に実行可能なエンコーダ処理の数には限りがある。

【0029】

マイク１０８は、撮影装置１０の周辺環境から集音し、集音した音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。マイク１０８は、それぞれ周辺環境から集音する集音手段を構成する。また、図３は、マイク１０８が撮影装置１０に内蔵される場合のみを示すが、マイク１０８は、撮影装置１０に外付けされてもよい。さらに、マイク１０８の数は、一つに限られず、所定の配置構成を有する複数のマイクを有していてもよい。また、マイク１０８は、アンビソニックス・マイクロフォンであってもよい。

【0030】

ＣＰＵ１１１は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している不揮発性のメモリである。ＳＲＡＭ１１３およびＤＲＡＭ１１４は、ＣＰＵ１１１のワークエリアとして使用され、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する揮発性のメモリである。特にＤＲＡＭ１１４は、例えば、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0031】

操作部１１５は、シャッターボタン等の操作ボタンの総称である。ユーザは、操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。外部ストレージＩ／Ｆ１１６は、記録メディア等の外部ストレージに対するデータの読み出しまたは書き込み（記憶）を制御する。外部ストレージには、エンコードされたストリーミング画像データを画像ファイル（動画ファイル）として記憶されてもよい。

【0032】

入出力Ｉ／Ｆ１１７は、各種の外部機器との間で各種データまたは情報の入出力を行うために、外部機器と接続するためのインターフェースである。入出力Ｉ／Ｆ１１７は、無線、有線を問わず、例えば、ＵＳＢ（Universal Serial Bus）Ｉ／Ｆによる構成される。ネットワークＩ／Ｆ１１８は、通信ネットワーク５を介してデータ通信を行うためのインターフェースである。ネットワークＩ／Ｆ１１８は、有線ＮＩＣ（Network Interface Card）、無線ＮＩＣまたはＵＳＢＩ／Ｆによる構成される。

【0033】

加速度・方位センサ１１９は、地球の磁気から撮影装置１０の方位を算出し、方位情報を出力する。方位情報は、Ｅｘｉｆ（Exchangeable image file format）に沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時、および画像データのデータ容量の各データを含む。

【0034】

なお、撮影装置１０は、全天球（全方位）撮影装置に限られず、通常のデジタルカメラ、監視カメラ、または映像カメラ等の撮影装置であってもよい。この場合、撮影手段としての撮像ユニット１０１は、一組のレンズと撮像素子によって構成される。

【0035】

〇通信端末のハードウエア構成○
続いて、図４を用いて、通信端末５０のハードウエア構成を説明する。図４は、実施形態に係る通信端末のハードウエア構成の一例を示す図である。通信端末５０は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、入力装置５０４、ディスプレイ５０５、外部ストレージＩ／Ｆ５０６、入出力Ｉ／Ｆ５０７およびネットワークＩ／Ｆ５０８を備えている。

【0036】

ＣＰＵ５０１は、通信端末５０全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１の駆動に用いられるプログラムを記憶する不揮発性のメモリである。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される揮発性のメモリである。入力装置５０４は、ユーザによる操作入力を受け付ける入力手段の一種である。入力装置５０４は、例えば、キーボード、マウス、タッチパネル、ボタン、ダイヤルまたは音声入力のためのマイク等である。

【0037】

ディスプレイ５０５は、カーソル、メニュー、ウィンドウ、文字、アイコンまたは画像等の各種情報を表示する液晶または有機ＥＬ等の表示手段の一種である。外部ストレージＩ／Ｆ５０６は、記録メディア等の外部ストレージに対するデータの読み出しまたは書き込み（記憶）を制御する。入出力Ｉ／Ｆ５０７は、各種の外部機器との間で各種データまたは情報の入出力を行うために、外部機器と接続するためのインターフェースである。ネットワークＩ／Ｆ５０８は、通信ネットワーク５を介してデータ通信を行うためのインターフェースである。また、通信端末５０は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

【0038】

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Blu-ray（登録商標）ディスク、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、撮影装置１０は、本発明に係るプログラムが実行されることで本発明に係る配信方法を実現する。

【0039】

●機能構成
次に、図５および図６を用いて、第１の実施形態に係る配信システムの機能構成について説明する。図５は、実施形態に係る配信システムの機能構成の一例を示す図である。なお、図５には、図１に示されている装置および端末のうち、後述する処理または動作に関連しているものが示されている。

【0040】

○撮影装置の機能構成○
まず、図５を用いて、撮影装置１０の機能構成について説明する。撮影装置１０は、通信部１１、受付部１２、入出力部１３、判断部１４、撮影処理部１５、パラメータ設定部１６、画像処理部１７、エンコード処理部１８および記憶・読出部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ１１２またはＳＲＡＭ１１３からＤＲＡＭ１１４上に展開されたプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能、または機能する手段である。また、撮影装置１０は、図３に示されているＲＯＭ１１２、ＳＲＡＭ１１３またはＤＲＡＭ１１４によって構築される記憶部１０００を有している。

【0041】

通信部１１は、図３に示されているＣＰＵ１１１からの命令、およびネットワークＩ／Ｆ１１８によって実現され、通信ネットワーク５を介して、通信端末５０との間で各種データ（または情報）の送受信を行う機能である。通信部１１は、例えば、撮影処理部１５によって撮影されて取得された画像データを、通信ネットワーク５を介して、通信端末５０へ配信する。通信部１１は、配信手段の一例である。

【0042】

受付部１２は、図３に示されているＣＰＵ１１１からの命令、および操作部１１５等の入力手段によって実現され、ユーザからの各種入力を受け付ける機能である。判断部１４は、図３に示されているＣＰＵ１１１からの命令によって実現され、各種判断を行う機能である。入出力部１３は、図３に示されているＣＰＵ１１１からの命令、および入出力Ｉ／Ｆ１１７によって実現され、外部機器との間で各種データまたは情報の入出力を行う機能である。判断部１４は、例えば、ストリームごとのエンコードのパラメータに応じて、撮影画像データのエンコード方法を決定する。具体的には、判断部１４は、ストリームごとの撮影画像データをハードウエアエンコーダおよびソフトウエアエンコーダのいずれでエンコード処理を行うかを決定する。判断部１４は、決定手段の一例である。

【0043】

撮影処理部１５は、図３に示されているＣＰＵ１１１からの命令、並びに撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８および音処理ユニット１０９によって実現され、被写体や風景画像等を撮影して撮影画像データを取得する機能である。撮影処理部１５は、取得手段の一例である。

【0044】

パラメータ設定部１６は、図３に示されているＣＰＵ１１１からの命令によって実現され、ストリームごとのエンコードパラメータを設定する機能である。パラメータ設定部１６は、設定手段の一例である。画像処理部１７は、図３に示されているＣＰＵ１１１からの命令によって実現され、撮影処理部１５によって取得された撮影画像データに対して、各種処理を行う機能である。

【0045】

エンコード処理部１８は、図４に示されているＣＰＵ１１１からの命令によって実現され、決定されたエンコード方法を用いて、撮影画像データのエンコード処理を行う機能である。エンコード処理部１８は、例えば、決定されたエンコード方法を用いたエンコード処理を行い、ストリームごとのストリーミング画像データを生成する。エンコード方法がハードウエアエンコーダを用いる方法である場合、エンコード処理部１８は、図３に示されているハードウエアエンコーダ１０６を用いて、撮影画像データのエンコード処理を行う。一方で、エンコード方法がソフトウエアエンコーダを用いる方法である場合、エンコード処理部１８は、図３に示されているＣＰＵ１１１が専用ソフトウエアを実行させることで動作するソフトウエアエンコーダを用いて、撮影画像データのエンコード処理を行う。エンコード処理部１８は、生成手段の一例である。

【0046】

記憶・読出部１９は、図３に示されているＣＰＵ１１１からの命令によって実現され、記憶部１０００に各種データを記憶させ、または記憶部１０００から各種データを読み出す機能である。

【0047】

〇エンコードパラメータ管理テーブル
図６は、第１の実施形態に係るエンコードパラメータ管理テーブルの一例を示す概念図である。記憶部１０００には、図６に示されているようなエンコードパラメータ管理テーブルによって構成されているエンコードパラメータ管理ＤＢ１００１が構築されている。エンコードパラメータ管理テーブルは、エンコード処理部１８を用いたストリームごとのエンコード方法を記憶して管理している。図６に示されているエンコードパラメータ管理テーブルには、図３に示されているような一つのハードウエアエンコーダ１０６が撮影装置１０に備えられている場合の例である。また、この場合のハードウエアエンコーダ１０６が同時に実行可能なエンコード処理の数は一つである。

【0048】

エンコードパラメータ管理テーブルには、画像データを配信するストリームごとに、エンコードパラメータおよびエンコード処理に用いるエンコーダを示す対象エンコーダが関連づけて記憶されて管理されている。このうち、エンコードパラメータには、ストリームごとの画像データの画質を示す情報が示されている。画質の示す情報には、例えば、画像データの解像度およびフレームレートが含まれている。なお、エンコードパラメータには、画像データのビットレートが含まれていてもよい。また、画像データが動画像データである場合、エンコードパラメータは、画質とともに音声データの音質を示す情報として扱われる。さらに、エンコードパラメータには、エンコード処理に用いる符号化の方式が含められていてもよい、符号化方式としては、例えば、静止画であればＪＰＥＧ(Joint Photographic Experts Group)もしくはその発展系（ＪＰＥＧ２０００）、またはＧＩＦ(Graphics Interchange Format)等が挙げられ、動画像であれば、ＭＰＥＧ(Moving Picture Experts Group)またはその発展系(Ｈ．２６４、Ｈ．２６５）等が挙げられる。

【0049】

対象エンコーダは、例えば、ストリーム１～ストリーム３のうち、エンコードパラメータの処理負荷の大きい順に優先してハードウエアエンコーダ１０６が割り当てられる。エンコードパラメータ管理テーブルには、例えば、解像度が最も高いストリーム１にハードウエアエンコーダ１０６が割り当てられ、ストリーム２とストリーム３にソフトウエアエンコーダが割り当てられている。

【0050】

○通信端末の機能構成○
続いて、図５を用いて、通信端末５０の機能構成について説明する。通信端末５０は、通信部５１、受付部５２、表示制御部５３、判断部５４および記憶・読出部５９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。また、通信端末５０は、図４に示されているＲＯＭ５０２または外部ストレージによって構築される記憶部５０００を有している。

【0051】

通信部５１は、図４に示されているＣＰＵ５０１からの命令、およびネットワークＩ／Ｆ５０８によって実現され、通信ネットワーク５を介して、撮影装置１０との間で各種データまたは情報の送受信を行う機能である。

【0052】

受付部５２は、図４に示されているＣＰＵ５０１からの命令、および入力装置５０４によって実現され、ユーザからの各種入力操作を受け付ける機能である。表示制御部５３は、図３に示されているＣＰＵ５０１からの命令、およびディスプレイ５０５によって実現され、ユーザによる入力操作を受け付ける操作画面等の各種画面をディスプレイ５０５に表示させる機能である。判断部５４は、図４に示されているＣＰＵ５０１からの命令によって実現され、各種判断を行う機能である。記憶・読出部５９は、図４に示されているＣＰＵ５０１からの命令によって実行され、記憶部５０００に各種データを記憶させ、または記憶部５０００から各種データを読み出す機能である。

【0053】

●第１の実施形態の処理または動作
次に、図７乃至図１１を用いて、第１の実施形態に係る配信システムの処理または動作について説明する。まず、図７に用いて、配信システム１における処理または動作の全体的な流れについて説明する。図７は、第１の実施形態に係る配信システムにおける画像配信処理の一例を示すシーケンス図である。

【0054】

まず、通信端末５０の受付部５２は、入力装置５０４に対するユーザの所定の入力操作を受け付けることで、ストリーミング画像の配信開始要求を受け付ける（ステップＳ１１）。通信部５１は、撮影装置１０に対して、ストリーミング画像の配信を要求する旨を示す画像配信要求を送信する（ステップＳ１２）。これにより、撮影装置１０の通信部１１は、通信端末５０から送信された画像配信要求を受信する。なお、通信端末５０から送信された画像配信要求には、画像配信を要求するストリームの数、およびストリームごとのエンコードパラメータの情報が含まれていてもよい。この場合、画像配信要求に含まれる画像配信を要求するストリームの数およびストリームごとのエンコードパラメータの情報は、入力装置５０４に対するユーザ入力が行われることで受付部５２により受け付けられる。また、撮影装置１０は、操作部１１５に対するユーザ操作または撮影装置１０の電源オンをトリガーとして、自動的にデータ配信を行うための処理を開始してもよい。

【0055】

次に、撮影装置１０の撮影処理部１５は、被写体の撮影処理を実行し、撮影画像データを取得する（ステップＳ１３）。そして、撮影装置１０は、撮影処理部１５によって取得された撮影画像データに対するエンコード処理を実行する（ステップＳ１４）。

【0056】

ここで、図８を用いて、撮影装置１０による撮影画像データのエンコード処理の詳細を説明する。図８は、第１の実施形態に係る画像データのエンコード処理の一例を示すフローチャートである。

【0057】

まず、パラメータ設定部１６は、ストリーミング配信を行うストリームの数、ストリームごとのエンコードパラメータを設定する（ステップＳ１０１）。具体的には、パラメータ設定部１６は、通信部１１によって受信された画像配信要求に含まれている情報、または外部機器から入出力部１３に入力された情報に基づいて、ストリームの数およびストリームごとのエンコードパラメータを、エンコードパラメータ管理ＤＢ１００１（図６参照）に設定する。なお、パラメータ設定部１６は、予めストリーミング配信を行うために記憶された情報を、エンコードパラメータとして設定してもよい。図６に示されている例の場合、パラメータ設定部１６は、３つのストリームを設定し、それぞれのストリームに対するエンコードパラメータの情報を、エンコードパラメータ管理ＤＢ１００１に記憶する。

【0058】

次に、判断部１４は、ハードウエアエンコーダ１０６の同時処理実行可能数を決定する（ステップＳ１０２）。判断部１４は、例えば、ハードウエアエンコーダ１０６の処理能力またはステップＳ１０１で設定されたエンコードパラメータの値等に基づいて、ハードウエアエンコーダ１０６で同時に実行可能な処理の数を決定する。図６に示されているエンコードパラメータ管理テーブルの場合、判断部１４は、同時処理実行可能数が一つであると決定する。

【0059】

次に、判断部１４は、ステップＳ１０１で設定されたストリームごとの撮影画像データのエンコード方法として、各ストリームのエンコード処理を行う対象エンコーダを決定する（ステップＳ１０３）。具体的には、判断部１４は、ステップＳ１０１で設定されたエンコードパラメータを用いて、ストリームごとにハードウエアエンコーダ１０６およびソフトウエアエンコーダのいずれを用いてエンコード処理を行うかを決定する。判断部１４は、例えば、処理負荷の大きいストリームにハードウエアエンコーダ１０６が割り当てられるように対象エンコーダを決定する。ハードウエアエンコーダ１０６が割り当て可能なストリームの数は、ステップＳ１０２で決定された同時処理実行可能数に対応する。

【0060】

判断部１４は、エンコードパラメータの一つである画像データの解像度の値に応じて、処理負荷の大きい高解像度のストリームに対してハードウエアエンコーダ１０６を割り当て、その他のストリームに対してソフトウエアエンコーダを割り当てる。図６に示されているエンコードパラメータ管理テーブルを用いる場合、判断部１４は、最も解像度が高いストリーム１に対してハードウエアエンコーダ１０６を割り当て、ストリーム２およびストリーム３に対してソフトウエアエンコーダを割り当てる。

【0061】

撮影処理部１５は、撮影手段の一例である撮像ユニット１０１を用いて撮影されて取得された撮影画像データのうち、１フレーム分の撮影画像データを取り込む（ステップＳ１０４）。そして、画像処理部１７は、取り込まれた撮影画像データの画像処理を実行する（ステップＳ１０５）。そして、エンコード処理部１８は、ステップＳ１０５で処理された画像データに対する、ステップＳ１０３で決定された対象エンコーダを用いたエンコード処理を、各ストリームに設定されたエンコードパラメータに基づいて実行する（ステップＳ１０６）。そして、エンコード処理部１８は、ストリームごとに対象エンコーダを用いたエンコード処理を行い、ストリームごとのストリーミング画像データを生成する。エンコード処理部１８は、複数のストリームに係る対象エンコーダを用いたエンコード処理およびストリーミング画像データの生成を、ハードウエアエンコーダおよびソフトウエアエンコーダを用いて並列に処理する。

【0062】

そして、通信部１１は、ステップＳ１０６でエンコード処理された撮影画像データであるストリーミング画像データを、通信端末５０へ配信する（ステップＳ１０７）。なお、通信端末５０へのストリーミング画像データの配信は、通信ネットワーク５を介さずに、入出力部１３を用いて直接配信されてもよい。

【0063】

そして、撮影装置１０は、撮影処理部１５によって取得された全フレーム分の撮影画像データの配信が終了した場合（ステップＳ１０８のＹＥＳ）、処理を終了する。一方で、撮影装置１０は、撮影処理部１５によって取得された撮影画像データのうち、配信が終了していないフレームが残っている場合（ステップＳ１０８のＮＯ）、ステップＳ１０４からの処理を繰り返して、ストリーミング画像データの配信を継続する。

【0064】

これにより、撮影装置１０は、画質の異なる複数のストリームの画像データを配信する場合、ストリームごとの画像データの画質に応じて適切なエンコード方法（ハードとソフトのいずれのエンコーダを用いるか）を決定することができる。

【0065】

図７に戻り、撮影装置１０の通信部１１は、ステップＳ１０７で示されているように、ステップＳ１４でエンコード処理されて生成された複数のストリーミング画像データを、通信ネットワーク５を介して、通信端末５０へ送信（配信）する（ステップＳ１５）。

【0066】

次に、通信端末５０は、撮影装置１０から配信された複数のストリーミング画像データのうち、受信するデータを選択する（ステップＳ１６）。具体的には、通信端末５０の受付部５２は、入力装置５０４に対するユーザの所定の入力操作によって、受信するストリーミング画像データの選択を受け付ける。また、通信端末５０の判断部５４は、通信部５１によるネットワーク帯域の情報に応じて、受信するストリーミング画像データを選択する。この場合、通信部１１は、例えば、通信遅延の発生の有無等によって通信ネットワーク５の通信状態を監視する。判断部５４は、現在の通信ネットワーク５の通信状態に対応するストリーミング画像データを選択する。そして、通信端末５０の表示制御部５３は、ステップＳ１６で選択されて受信されたストリーミング画像データに係る画像を、ディスプレイ５０５に表示させる（ステップＳ１７）。

【0067】

ここで、上述した判断部１４によって決定される撮影画像データのエンコ―ド方法の別の例について説明する。まず、図９（Ａ）に示されているエンコードパラメータ管理テーブルは、図６の例と異なり、図３に示されているような一つのハードウエアエンコーダ１０６において同時実行可能なエンコード処理の数が二つである場合の例である。図９（Ａ）に示されているエンコードパラメータ管理テーブルには、例えば、解像度が最も高いストリーム１と二番目に解像度の高いストリーム２にハードウエアエンコーダが割り当てられ、ストリーム３にソフトウエアエンコーダが割り当てられている。このように、撮影装置１０は、ハードウエアエンコーダ１０６の数または一つのハードウエアエンコーダ１０６で同時実行可能な処理の数に応じて、複数のストリームのエンコード処理にハードウエアエンコーダを割り当てることが可能である。

【0068】

また、図９（Ｂ）に示されているエンコードパラメータ管理テーブルは、図６の例と異なり、エンコードパラメータのうち、フレームレートがストリームごとに異なる場合の例である。図９（Ｂ）に示されているエンコードパラメータ管理テーブルには、例えば、フレームレートが最も高いストリーム１にハードウエアエンコーダが割り当てられ、ストリーム２およびストリーム３にソフトウエアエンコーダが割り当てられている。このように、撮影装置１０は、エンコードパラメータとして撮影画像データの解像度のみならず、画像データのフレームレートを用いてエンコーダの処理負荷を判断することによって、ストリームごとのエンコード処理に用いる対象エンコーダを決定することができる。

【0069】

なお、ストリームごとの対象エンコーダ（エンコード方法）の決定に用いるエンコ―ドパラメータの種類は、任意で設定可能である。例えば、判断部５４は、複数のエンコードパラメータのうち、解像度の値を優先して対象エンコーダを決定してもよいし、フレームレートの値を優先して対象エンコーダを決定してもよい。

【0070】

●第１の実施形態の効果
したがって、第１の実施形態に係る配信システムは、画質の異なるストリームごとのエンコードパラメータに応じて決定されたエンコード方法を用いて、ストリーミング画像データを生成することで、複数のストリームの画像データを同時に配信することができる。

【0071】

●第１の実施形態の変形例
次に、図１０および図１１を用いて、第１の実施形態の変形例に係る配信システムついて説明する。なお、上述した実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。第１の実施形態の変形例に係る配信システム１ａは、上述した配信システム１によって撮影装置１０からストリーミング画像データが配信中に、画像データのエンコードパラメータを変更することができるシステムである。

【0072】

図１０は、第１の実施形態の変形例に係る画像データのエンコード処理の一例を示すフローチャートである。なお、図１０に示されているステップＳ２０１～ステップＳ２０８の処理は、図８に示されているステップＳ１０１～ステップＳ１０８の処理と同様であるため、説明を省略する。撮影装置１０は、ストリーミング画像データの配信が継続中である場合（ステップＳ２０８のＮＯ）、処理をステップＳ２０９へ移行させる。パラメータ設定部１６は、エンコードパラメータの変更の有無を判断する（ステップＳ２０９）。パラメータ設定部１６は、エンコードパラメータの変更の有無を判断し、エンコードパラメータの値を変更する。

【0073】

撮影装置１０のパラメータ設定部１６は、エンコードパラメータが変更された場合（ステップＳ２０９のＹＥＳ）、処理をステップＳ２１０へ移行させる。具体的には、パラメータ設定部１６は、通信部１１または入出力部１３によって通信端末５０からのパラメータの変更要求が受信された場合、または受付部１２によって配信者による入力操作によるパラメータの変更要求を受け付けられた場合、エンコードパラメータ管理ＤＢ１００１に記憶されたエンコードパラメータの値を変更する。図１１に示されている例の場合、パラメータ設定部１６は、フレームレートがストリームごとに異なるエンコードパラメータのうち、ストリーム２のフレームレートを「１０ｆｐｓ」から「３０ｆｐｓ」に変更する。一方で、パラメータ設定部１６は、エンコードパラメータを変更しない場合（ステップＳ２０９のＮＯ）、ステップＳ２０４からの処理を繰り返す。

【0074】

次に、判断部１４は、変更後のエンコードパラメータに応じて、ストリームごとのエンコード方法を変更して、エンコード処理に用いる対象エンコーダを変更する（ステップＳ２１０）。具体的には、図１１に示されている例の場合、ストリーム２のフレームレートが変更された場合、判断部１４は、エンコーダの割り当ての再計算を行い、最も処理負荷が大きい高フレームレートのストリーム２の対象エンコーダを、ソフトウエアエンコーダからハードウエアエンコーダに変更し、ストリーム２よりフレームレートの低いストリーム１の対象エンコーダをハードウエアエンコーダからソフトウエアエンコーダに変更する。

【0075】

そして、撮影装置１０は、変更された対象エンコーダを用いてステップＳ２０４からの処理を繰り返し、ストリーミング画像データの配信を継続する。一方で、パラメータ設定部１６は、エンコードパラメータが変更されていない場合、ステップＳ２０３によって決定された対象エンコーダを用いてエンコ―ド処理されたストリーミング画像データの配信を継続する。

【0076】

これにより、配信システム１ａは、画像データの配信中にエンコードパラメータが変更されたとしても、エンコーダの割り当てを再計算してエンコード方法に自動的に変更することができるので、最適なエンコーダ割り当てによる配信を継続することができる。

【0077】

●第２の実施形態●
続いて、図１２乃至図１５を用いて、第２の実施形態に係る配信システムの構成について説明する。なお、第１の実施形態と同一の構成および同一の機能は、同一の符号を付して、その説明を省略する。第２の実施形態に係る配信システムは、撮影装置１０によって生成されたストリーミング画像データを、配信制御装置９０を介して通信端末５０へ配信することができるシステムである。

【0078】

●システム構成
図１２は、第２の実施形態に係る配信システムのシステム構成の一例を示す図である。図１２に示されている配信システム２は、第１の実施形態に係る構成に、配信制御装置９０が追加されている。配信制御装置９０は、通信ネットワーク５を介して、撮影装置１０および通信端末５０との間で相互通信を行うことができる。

【0079】

配信制御装置９０は、サーバコンピュータであり、撮影装置１０から送信されたストリーミング画像データの配信を制御する。なお、配信制御装置９０は、単一のコンピュータによって構築されてもよいし、各部（機能または手段）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、配信制御装置９０のハードウエア構成は、図４に示されている通信端末５０と同様またはその一部が変更されたハードウエア構成であるため、説明を省略する。

【0080】

●概略
図１３は、第２の実施形態に係る配信システムの処理の概略の一例を示す図である。なお、撮影装置１０によってストリームごとのストリーミング画像データを生成する処理は、第１の実施形態において説明した処理と同様である。

【0081】

撮影装置１０は、通信ネットワーク５を介して、生成されたストリームごとのストリーミング画像データを、配信制御装置９０へ送信する。配信制御装置９０は、受信した複数のストリーミングデータを記憶部９０００に記憶する。そして、配信制御装置９０は、通信端末５０からの要求に応じて、撮影装置１０から送信されて記憶部９０００に記憶させたストリーミング画像データを通信端末５０へ配信（送信）する。

【0082】

図１３に示されているように、配信制御装置９０は、複数の通信端末５０（通信端末５０Ａおよび通信端末５０Ｂ）に対して、ストリーミング画像データを同時に配信することができる。また、配信制御装置９０は、通信端末５０からの要求に応じたストリームに対応するストリーミング画像データを配信することができるとともに、通信端末５０ごとに異なるストリームのストリーミング画像データを配信することができる。これにより、配信システム２は、配信制御装置９０を用いることで、撮影装置１０から送信されるストリーミング画像データを、通信端末５０ごとのネットワーク帯域の状態等に応じて、通信端末５０ごとに適したストリームで配信することができる。

【0083】

●機能構成
次に、第２の実施形態に係る配信システムの機能構成について説明する。図１４は、第２の実施形態に係る配信システムの機能構成の一例を示す図である。なお、撮影装置１０および通信端末５０（通信端末５０Ａ,５０Ｂ）の機能構成は、図５に示されている構成と同様であるため説明を省略する。

【0084】

配信制御装置９０は、通信部９１および記憶・読出部９９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。また、配信制御装置９０は、図４に示されているＲＯＭ５０２または外部ストレージによって構築される記憶部９０００を有している。

【0085】

通信部９１は、図４に示されているＣＰＵ５０１からの命令、およびネットワークＩ／Ｆ５０８によって実現され、通信ネットワーク５を介して、撮影装置１０および通信端末５０との間で各種データまたは情報の送受信を行う機能である。記憶・読出部９９は、図４に示されているＣＰＵ５０１からの命令によって実行され、記憶部９０００に各種データを記憶させ、または記憶部９０００から各種データを読み出す機能である。記憶部９０００は、撮影装置１０から送信されたストリーミング画像データを記憶している。

【0086】

●第２の実施形態の処理または動作
次に、図１５を用いて、第２の実施形態に係る配信システムの処理または動作について説明する。図１５は、第２の実施形態に係る配信システムにおける画像配信処理の一例を示すシーケンス図である。

【0087】

まず、配信制御装置９０の通信部９１は、撮影装置１０に対して、ストリーミング画像の取得を要求する旨を示す画像取得要求を送信する（ステップＳ５１）。これにより、撮影装置１０の通信部１１は、配信制御装置９０から送信された画像取得要求を受信する。なお、配信制御装置９０から送信される画像取得要求には、画像取得を要求するストリームの数、およびストリームごとのエンコードパラメータの情報が含まれていてもよい。この場合、配信制御装置９０は、例えば、予め記憶部９０００に記憶された情報を読み出して送信してもよいし、配信制御装置９０に対するユーザからの入力によって受け付けられた情報を送信してもよい。また、撮影装置１０は、操作部１１５に対するユーザ操作または撮影装置１０の電源オンをトリガーとして、自動的に画像取得を行うための処理を開始してもよい。

【0088】

次に、撮影装置１０の撮影処理部１５は、撮影処理を行う（ステップＳ５２）。そして、撮影装置１０は、撮影処理部１５によって取得された撮影画像データに対するエンコード処理を実行する（ステップＳ５３）。なお、ステップＳ５３によるエンコード処理は、図8に示されている内容と同様であるため、説明を省略する。

【0089】

次に、撮影装置１０の通信部１１は、ステップＳ１４でエンコード処理された生成された複数のストリーミングデータを、通信ネットワーク５を介して、配信制御装置９０へ送信（配信）する（ステップＳ５４）。これにより、配信制御装置９０の通信部９１は、撮影装置１０から送信されてきた複数のストリーミング画像データを受信する。そして、配信制御装置９０の記憶・読出部９９は、通信部９１によって受信されたストリーミング画像データを、記憶部９０００に記憶させる（ステップＳ５５）。このように、配信制御装置９０は、撮影装置１０から送信されてきたストリーミング画像データを一時的に記憶する。

【0090】

次に、通信端末５０Ａの通信部５１Ａは、受付部５２によって受け付けられたユーザからの要求に応じて、配信制御装置９０に対して、ストリーミング画像の配信を要求する旨を示す画像配信要求を送信する（ステップＳ５６）。これにより、配信制御装置９０の通信部９１は、通信端末５０Ａから送信された画像配信要求を受信する。次に、配信制御装置９０の通信部９１は、通信端末５０Ａに対して、記憶部９０００に記憶された複数のストリーミング画像データを送信（配信）する（ステップＳ５７）。

【0091】

通信端末５０Ａは、配信制御装置９０から配信された複数のストリーミング画像データのうち、受信するデータを選択する（ステップＳ５８）。具体的には、通信端末５０Ａの受付部５２Ａは、入力装置５０４に対するユーザの所定の入力操作によって、受信するストリーミング画像データの選択を受け付ける。また、通信端末５０Ａの判断部５４Ａは、通信部５１Ａによるネットワーク帯域の情報に応じて、受信するストリーミング画像データを選択する。そして、通信端末５０Ａの表示制御部５３Ａは、ステップＳ５８で選択されて受信されたストリーミング画像データに係る画像を、ディスプレイ５０５に表示させる（ステップＳ５９）。

【0092】

一方で、通信端末５０Ｂの通信部５１Ｂは、受付部５２Ｂによって受け付けられたユーザからの要求に応じて、配信制御装置９０に対して、ストリーミング画像の配信を要求する旨を示す画像配信要求を送信する（ステップＳ６０）。これにより、配信制御装置９０の通信部９１は、通信端末５０Ｂから送信された画像配信要求を受信する。次に、配信制御装置９０の通信部９１は、通信端末５０Ｂに対して、記憶部９０００に記憶された複数のストリーミング画像データを送信（配信）する（ステップＳ６１）。

【0093】

通信端末５０Ｂは、ステップＳ５８の処理と同様に、配信制御装置９０から配信された複数のストリーミング画像データのうち、受信するデータを選択する（ステップＳ６２）。そして、通信端末５０Ｂの表示制御部５３Ｂは、ステップＳ６２で選択されて受信されたストリーミング画像データに係る画像を、ディスプレイ５０５に表示させる（ステップＳ６３）。なお、ステップＳ５６乃至ステップＳ５９の処理とステップＳ６０乃至ステップＳ６３の処理の順序は前後してもよく、または並行して行われてもよい。

【0094】

●第２の実施形態の効果
したがって、第２の実施形態に係る配信システムは、配信制御装置９０を用いることで、撮影装置１０から送信されるストリーミング画像データを、通信端末５０ごとのネットワーク帯域の状態等に応じて、通信端末５０ごとに適したストリームで配信することができる。

【0095】

●まとめ●
以上説明したように、本発明の一実施形態に係る撮影装置は、複数のストリームの画像データを配信する撮影装置１０であって、撮像ユニット１０１（撮影手段の一例）によって撮影された撮影画像データを取得する撮影処理部１５（取得手段の一例）と、ストリームごとのエンコードパラメータに応じて、取得された撮影画像データのエンコード方法を決定する判断部１４（決定手段の一例）と、決定されたエンコード方法を用いて、ストリームごとのストリーミング画像データを生成するエンコード処理部１８（生成手段の一例）と、生成された複数のストリーミング画像データを配信する通信部１１（配信手段の一例）と、を備える。これにより、撮影装置１０は、画質に応じた適切なエンコード方法を用いてエンコード処理を行うことで、複数のストリームの画像データを同時配信することができる。

【0096】

また、本発明の一実施形態に係る撮影装置は、少なくとも一つのハードウエアエンコーダ１０６およびソフトウエアエンコーダを備える。そして、撮影装置１０において、エンコード処理部１８（生成手段の一例）は、処理負荷の大きい高解像度または高フレームレートのエンコードパラメータに対応するストリームに対して、ハードウエアエンコーダ１０６を用いてストリーミング画像データを生成する。これにより、撮影装置１０は、ハードウエアエンコーダの数に制約のある場合であっても、複数のストリームの画像データを同時配信することができる。

【0097】

さらに、本発明の一実施形態に係る撮影装置において、エンコード処理部１８（生成手段の一例）は、ハードウエアエンコーダ１０６およびソフトウエアエンコーダを用いて、複数のストリーミング画像データを並行して生成する。これにより、撮影装置１０は、ハードウエアエンコーダの数に制約のある撮影装置１０を用いて、複数のストリームの画像データを同時配信することができる。

【0098】

また、本発明の一実施形態に係る撮影装置は、ストリームごとのエンコードパラメータを設定するパラメータ設定部１６（設定手段の一例）を備える。そして、撮影装置１０において、判断部１４（決定手段の一例）は、設定されたエンコードパラメータが変更された場合、決定されたエンコード方法を変更する。これにより、撮影装置１０は、ストリーミング画像データの配信中にエンコードパラメータが変更されたとしても、エンコーダの割り当てを再計算してエンコード方法に自動的に変更することができるので、最適なエンコーダ割り当てによるストリーミング配信を継続することができる。

【0099】

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0100】

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

【0101】

これまで本発明の一実施形態に係る撮影装置、配信システム、配信方法および記録媒体について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0102】

１ 配信システム
５ 通信ネットワーク
１０ 撮影装置
１１ 通信部（配信手段の一例）
１４ 判断部（決定手段の一例）
１５ 撮影処理部（取得手段の一例）
１６ パラメータ設定部（設定手段の一例）
１８ エンコード処理部（生成手段の一例）
５０ 通信端末
９０ 配信制御装置
１０１ 撮像ユニット（撮影手段の一例）

【先行技術文献】

【特許文献】

【0103】

【文献】特開２０１１－７７５６４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】