特許 6127154 画像配信装置、画像配信プログラム及び画像配信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6127154

(24)【登録日】2017年4月14日

(45)【発行日】2017年5月10日

(54)【発明の名称】画像配信装置、画像配信プログラム及び画像配信方法

(51)【国際特許分類】

   H04N 19/115 20140101AFI20170424BHJP

   H04N 19/162 20140101ALI20170424BHJP

   H04N 19/176 20140101ALI20170424BHJP

   H04N 19/124 20140101ALI20170424BHJP

【ＦＩ】

   H04N19/115

   H04N19/162

   H04N19/176

   H04N19/124

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2015-549002(P2015-549002)

(86)(22)【出願日】2014年7月1日

(86)【国際出願番号】JP2014067522

(87)【国際公開番号】WO2015075961

(87)【国際公開日】20150528

【審査請求日】2015年11月6日

(31)【優先権主張番号】特願2013-243323(P2013-243323)

(32)【優先日】2013年11月25日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】太田 攻

(72)【発明者】

【氏名】畠澤 泰成

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特開２００６−１２１５７８（ＪＰ，Ａ）

【文献】 特開２０１２−１２９８４７（ＪＰ，Ａ）

【文献】 特表２０１１−５０７３４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８，

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

操作情報を取得する操作情報取得手段と、
前記操作情報に基づいて生成された画像情報を取得する画像情報取得手段と、
前記操作情報に応じた操作対象の行動を表すアクト情報に基づいて、前記画像情報の圧縮時におけるビット量の割り振りを表す割り振り情報を生成する割り振り情報生成手段と、
前記割り振り情報に基づいて、前記画像情報を圧縮する圧縮手段と、
前記圧縮した画像情報を送信する送信手段と、
を含むことを特徴とする画像配信装置。

【請求項2】

前記割り振り情報生成手段は、前記操作情報に応じた操作対象の行動を表わすアクト情報に基づいて、前記画像情報を複数のブロックで分割した際における前記各ブロックにおけるビット量の割り振りに応じた画質のレベルを表わす画質情報が関連付けられたベース情報を生成するベース情報生成手段を含み、
前記割り振り情報生成手段は、前回の前記割り振り情報と、前記ベース情報に基づいて、前記割り振り情報を生成する、
ことを特徴とする請求項１記載の画像配信装置。

【請求項3】

前記割り振り情報生成手段は、
前記前回の割り振り情報に所定の重み付けを行う重み付け手段と、
前記ベース情報に前記重み付けされた前記前回の割り振り情報を加算する加算手段と、
を含むことを特徴とする請求項２記載の画像配信装置。

【請求項4】

前記画像配信装置は、更に、前記アクト情報と前記ベース情報を関連付けたベース関連情報を記憶するベース関連情報記憶手段を含み、
前記ベース情報生成手段は、前記アクト情報及び前記ベース関連情報に基づいて、前記ベース情報を生成することを特徴とする請求項２記載の画像配信装置。

【請求項5】

前記画像配信装置は、更に、前回の前記アクト情報と、前記操作情報と、前記アクト情報が関連付けられたアクト関連情報を記憶するアクト関連情報記憶手段を含み、
前記ベース情報生成手段は、
前回の前記アクト情報を取得するアクト情報取得手段と、
前記取得された前回のアクト情報、前記操作情報、及び前記アクト関連情報に基づいて、前記アクト情報を決定するアクト情報決定手段と、
前記決定されたアクト情報に基づいて、前記ベース情報を取得するベース情報取得手段と、
を含むことを特徴とする請求項４記載の画像配信装置。

【請求項6】

前記割り振り情報は、第１のビット量を割り振る第１の領域と、前記画質情報に応じて前記第１の領域よりも割り振るビット量を減少させた第２の領域と、ビット量の割り振りを最小にする第３の領域とを含むことを特徴とする請求項２に記載の画像配信装置。

【請求項7】

前記請求項１記載の画像配信装置と、前記圧縮された画像情報を展開する端末とを含むことを特徴とする画像配信システム。

【請求項8】

操作情報を取得する操作情報取得手段、
前記操作情報に基づいて生成された画像情報を取得する画像情報取得手段、
前記操作情報に応じた操作対象の行動を表すアクト情報に基づいて、前記画像情報の圧縮時におけるビット量の割り振りを表す割り振り情報を生成する割り振り情報生成手段、
前記割り振り情報に基づいて、前記画像情報を圧縮する圧縮手段、及び、
前記圧縮した画像情報を送信する送信手段、
としてコンピュータを機能させることを特徴とする画像配信プログラム。

【請求項9】

操作情報を取得し、
前記操作情報に基づいて生成された画像情報を取得し、
前記操作情報に応じた操作対象の行動を表すアクト情報に基づいて、前記画像情報の圧縮時におけるビット量の割り振りを表す割り振り情報を生成し、
前記割り振り情報に基づいて、前記画像情報を圧縮し、
前記圧縮した画像情報を送信する、
ことを特徴とする画像配信方法。

【請求項10】

前記割り振り情報生成手段は、前記画像情報の生成と並行して、前記割り振り情報を生成することを特徴とする請求項１記載の画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像配信装置、画像配信プログラム及び画像配信方法、に関する。

【背景技術】

【0002】

ストリーミング型のクラウドゲームが知られている。当該技術においては、クラウド側でゲームプログラムを実行し、当該ゲームプログラムの実行により生成された画像情報を圧縮して端末にストリーミング配信する。

【0003】

ここで、画像情報の圧縮技術として、Scalable Video Codingや、HEVCといった技術が知られている。前者は、転送サイズを小さくすることは可能であるが、エンコードやデコード時に遅延が大きく、リアルタイム性が求められるゲームには不向きである。後者は、事前に複数の解像度のストリームを作成し、切り換えて配信することから、リアルタイム性が求められるゲームにおいて適用が困難である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上記課題に鑑みて、ゲームなどのリアルタイム性が求められるような場合においても、より遅延を防止することのできる画像配信装置等を実現することを目的とする。

【課題を解決するための手段】

【0005】

（１）本発明の画像配信装置は、操作情報を取得する操作情報取得手段と、前記操作情報に基づいて生成された画像情報を取得する画像情報取得手段と、前記操作情報に基づいて、前記画像情報の圧縮時におけるビット量の割り振りを表す割り振り情報を生成する割り振り情報生成手段と、前記割り振り情報に基づいて、前記画像情報を圧縮する圧縮手段と、前記圧縮した画像情報を送信する送信手段と、を含むことを特徴とする。

【0006】

（２）上記（１）に記載の画像配信装置において、前記割り振り情報生成手段は、前記操作情報に応じた操作対象の行動を表わすアクト情報に基づいて、前記画像情報を複数のブロックで分割した際における前記各ブロックにおけるビット量の割り振りに応じた画質のレベルを表わす画質情報が関連付けられたベース情報を生成するベース情報生成手段を含み、前記割り振り情報生成手段は、前回の前記割り振り情報と、前記ベース情報に基づいて、前記割り振り情報を生成する、ことを特徴とする。

【0007】

（３）上記（２）に記載の画像配信装置において、前記割り振り情報生成手段は、前記前回の割り振り情報に所定の重み付けを行う重み付け手段と、前記ベース情報に前記重み付けされた前記前回の割り振り情報を加算する加算手段と、を含むことを特徴とする。

【0008】

（４）上記（２）に記載の画像配信装置は、更に、前記アクト情報と前記ベース情報を関連付けたベース関連情報を記憶するベース関連情報記憶手段を含み、前記ベース情報生成手段は、前記アクト情報及び前記ベース関連情報に基づいて、前記ベース情報を生成することを特徴とする。

【0009】

（５）上記（４）に記載の画像配信装置は、更に、前回の前記アクト情報と、前記操作情報と、前記アクト情報が関連付けられたアクト関連情報を記憶するアクト関連情報記憶手段を含み、前記ベース情報生成手段は、前回の前記アクト情報を取得するアクト情報取得手段と、前記取得された前回のアクト情報、前記操作情報、及び前記アクト関連情報に基づいて、前記アクト情報を決定するアクト情報決定手段と、前記決定されたアクト情報に基づいて、前記ベース情報を取得するベース情報取得手段と、を含むことを特徴とする。

【0010】

（６）上記（２）に記載の画像配信装置において、前記割り振り情報は、第１のビット量を割り振る第１の領域と、前記画質情報に応じて前記第１の領域よりも割り振るビット量を減少させた第２の領域と、ビット量の割り振りを最小にする第３の領域とを含むことを特徴とする。

【0011】

（７）画像配信システムであって、上記（１）記載の画像配信装置と、前記圧縮された画像情報を展開する端末とを含むことを特徴とする。

【0012】

（８）本発明の画像配信プログラムは、操作情報を取得する操作情報取得手段、前記操作情報に基づいて生成された画像情報を取得する画像情報取得手段、前記操作情報に基づいて、前記画像情報の圧縮時におけるビット量の割り振りを表す割り振り情報を生成する割り振り情報生成手段、前記割り振り情報に基づいて、前記画像情報を圧縮する圧縮手段、及び、前記圧縮した画像情報を送信する送信手段、としてコンピュータを機能させることを特徴とする。

【0013】

（９）本発明の画像配信方法は、操作情報を取得し、前記操作情報に基づいて生成された画像情報を取得し、前記操作情報に基づいて、前記画像情報の圧縮時におけるビット量の割り振りを表す割り振り情報を生成し、前記割り振り情報に基づいて、前記画像情報を圧縮し、前記圧縮した画像情報を送信する、ことを特徴とする。

【0014】

(１０)上記（１）に記載の画像配信装置であって、前記割り振り情報生成手段は、前記画像情報の生成と並行して、前記割り振り情報を生成することを特徴とする。

【図面の簡単な説明】

【0015】

【図1】画像配信システムのハードウェア構成の概要を示す図である。

【図2】画像配信装置の機能的構成の一例を示す図である。

【図3】図２に示した割り振り情報生成部の機能的構成の一例を示す図である。

【図4】アクト関連情報の一例を示す図である。

【図5】ベース関連情報の一例を示す図である。

【図6】ベース情報について説明するための図である。

【図7】割り当て情報について説明するための図である。

【図8】画質情報と割り振るビット量との関係について説明するための図である。

【図9】割り振り情報の生成を説明するための模式図である。

【図10】画像情報の生成、割り振り情報の生成、圧縮のタイミングの関係について説明するための図である。

【図11】画像配信装置の処理のフローの概要を説明するための図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0017】

図１は、本発明の実施の形態における画像配信システムのハードウェア構成の概要について説明するための図である。図１に示すように、画像配信システム１００は、ネットワーク１３０（例えば、インターネット）を介して接続されたサーバ１１０及び端末１２０を有する。なお、図１においては、画像配信システム１００は、１の端末１２０のみを有しているが、その他複数の端末１２０を有してもよい。

【0018】

図１に示すように、サーバ１１０は、制御部１１１、記憶部１１２、通信部１１３を含む。また、制御部１１１、記憶部１１２、通信部１１３は、それぞれ、バス１１４を介して接続される。制御部１１１は、例えば、ＣＰＵ等であって、記憶部１１２に格納されたプログラムに従って動作する。記憶部１１２は、例えば、ハードディスクドライブやＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部１１１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１１２は、制御部１１１のワークメモリとしても動作する。通信部１１３は、例えば、ネットワークインターフェースであって、制御部１１１からの指示にしたがって、ネットワーク１３０を介して、情報を送受信する。

【0019】

端末１２０は、制御部１２１、通信部１２２、記憶部１２３、表示部１２４、操作部１２５を含む。同様に、各部１２１乃至１２５は、バス１２６を介して接続される。上述したサーバ１１０と同様に、制御部１２１は、例えば、ＣＰＵ等であって、記憶部１２３に格納されたプログラムに従って動作する。通信部１２２は、ネットワークインターフェースであって、制御部１２１からの指示にしたがって、ネットワーク１３０を介して、情報を送受信する。

【0020】

記憶部１２３は、例えば、ハードディスクやＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部１２１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１２３は、制御部１２１のワークメモリとしても動作する。表示部１２４は、例えば、液晶ディスプレイ、または、有機ＥＬディスプレイ等であって、制御部１２１からの指示に従い、情報を表示する。操作部１２５は、例えば、キーボード、マウス、コントローラ、ボタン等のインターフェースで構成され、ユーザの指示操作に応じて、当該指示操作の内容を制御部１２１に出力する。

【0021】

なお、上記制御部１１１及び１２１で処理されるプログラムは、例えば、ネットワークを介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。また、上記サーバ１１０や端末１２０の構成は一例であってこれに限定されるものではない。更に、上記画像配信システム１００の構成は一例であってこれに限定されるものではなく、例えば、いわゆるクラウド技術を用いて実現してもよい。

【0022】

図２は、画像配信装置の機能的構成の一例を示す図である。画像配信装置２００は、例えば、上記サーバ１１０により実現される。図２に示すように、画像配信装置２００は、例えば、操作情報取得部２０１、実行部２０２、プログラム記憶部２０３、割り振り情報生成部２０４、アクト情報記憶部２０５、アクト関連情報記憶部２０６、ベース関連情報記憶部２０７、割り振り情報記憶部２０８、圧縮部２０９、送信部２１０、を含む。

【0023】

操作情報取得部２０１は、操作情報を順次取得する。具体的には、例えば、ユーザの操作指示に応じた操作指示情報が画像配信装置２００に送信され、画像配信装置２００のバッファ（図示なし）に保持される。そして、当該バッファに保持された操作情報を所定のタイミングで、操作情報取得部２０１が順次取得する。

【0024】

実行部２０２は、ユーザにより指定されたゲームプログラムを実行し、取得された操作情報に基づいて画像情報を生成する。例えば、複数のゲームプログラムがプログラム記憶部２０３に記憶され、実行部２０２は、ユーザにより指定されたゲームプログラムをプログラム記憶部２０３から取得して実行する。

【0025】

割り振り情報生成部２０４は、操作情報取得部２０１により取得された操作情報に基づいて、画像情報の圧縮時におけるビット割り振りを表す割り振り情報を生成する。具体的には、図３に示すように、割り振り情報生成部２０４は、例えば、アクト情報取得部３０１、アクト情報決定部３０２、ベース情報取得部３０３、割り振り情報取得部３０４、重み付け部３０５、加算部３０６、を含む。

【0026】

アクト情報取得部３０１は、アクト情報記憶部２０５が記憶する１フレーム期間前のアクト情報(Act Type(n-1))を取得する。なお、アクト情報記憶部２０５やアクト情報の詳細については後述する。

【0027】

アクト情報決定部３０２は、操作情報取得部２０１により取得された操作情報(Command(n))及び１フレーム期間前のアクト情報(Act Type(n-1))に基づいて、後述するアクト関連情報記憶部２０６から、現在のフレームにおけるアクト情報(Act Type(n))を取得し、現在のフレームにおけるアクト情報として決定する。

【0028】

ここで、アクト情報とは、例えば、操作情報に応じた操作対象の行動を表し、例えば、右への移動を開始する行動、右への移動を継続する行動など、ゲームプログラム毎にあらかじめ設定されるものである。

【0029】

アクト関連情報記憶部２０６は、例えば、図４に示すように、１フレーム期間前のアクト情報（図中、Act Type(n-1)）、取得された操作情報（図中、Command(n)）、現在のフレームにおけるアクト情報（図中、Act Type(n)）を関連付けたアクト関連情報を記憶する。

【0030】

例えば、図４の２行目に示すように、アクト情報取得部３０１により取得された１フレーム期間前のアクト情報がNoneであって、操作情報取得部２０１により取得された操作情報がRightを表す場合、アクト情報決定部３０２は、当該１フレーム期間前のアクト情報及び関連付けられて記憶されているDirec_R_Startを現在のフレームにおけるアクト情報として取得する。なお、上記Noneのアクト情報は、例えば、１フレーム期間前のアクト情報がない場合や、アクト関連情報記憶部２０６を参照しても現在のフレームにおけるアクト情報を取得できない場合に相当する。また、Direc_R_Startは、例えば、右への移動の開始を表すアクト情報に相当する。Command(n)列、RightやLeftは、右や左への操作情報を表す。なお、これらは例示であって、本実施の形態はこれらに限られるものではない。また、図４においては、第ｎフレームの１フレーム期間前のアクト情報をAct Type(n-1)、第ｎフレームにおける操作情報をCommand(n)、第ｎフレームにおけるアクト情報をAct Type(n)として示すものとする。

【0031】

アクト情報記憶部２０５は、アクト情報決定部３０２により現在のフレームにおけるアクト情報が決定されると、当該アクト情報(Act Type(n))を記憶する。

【0032】

ベース情報取得部３０３は、決定されたアクト情報(Act Type(n))に基づいて、ベース関連情報記憶部２０７からベース情報(Base Map(n))を取得する。当該ベース関連情報記憶部２０７は、例えば、図５に示すように、現在のフレームにおけるアクト情報(Act Type(n))と当該アクト情報に対応する現在のフレームにおけるベース情報(Base Map(n))を関連付けたベース関連情報を記憶する。具体的には、例えば、上記例のように、ベース情報取得部３０３は、アクト情報がDirec_R_Startに決定された場合、Direc_R_Startに関連付けられて記憶されているRightで識別されるベース情報を取得する。

【0033】

ここで、ベース情報について説明する。図６は、ベース情報について説明するための図である。図６に示すように、ベース情報は、例えば、実行部２０２により生成された画像情報を所定のサイズのブロックで分割し、当該ブロックにおける画質のレベルを表す画質情報（QLevel(x,y)）が関連付けられているマップに相当する。具体的には、図６は、中央に位置する８ブロックの画質レベルを大きくした場合のベース情報の一例を示す。なお、図６に示したベース情報は一例であって、例えば、ブロックのサイズや数はこれらに限られるものではない。なお、ベース情報の取得は、例えば、プログラム毎に行われる。

【0034】

割り振り情報生成部２０４は、１フレーム期間前の割り振り情報(Q Map(n-1))及びベース情報取得部３０３により取得されたベース情報(Base Map(n))に基づいて、現在のフレームの割り振り情報(Q Map(n))を生成する。当該現在のフレームの割り振り情報(Q Map(n))の生成は、現在のフレーム（ｎフレームにおける画像情報）の生成と並行して行われる。

【0035】

ここで、割り振り情報について説明する。図７は、割り当て情報について説明するための図である。図７に示すように、割り当て情報は、例えば、画質レベルが高くビット量を多く割り振る領域(Bit_High)、画質情報（Q Level(x,y)）の値に応じて割り振るビット量をBit_High領域と比べて減らすように制御する領域（Bit_Middle領域）、及び、割り振るビット量を最小にする領域（Bit_Low領域）を含む。なお、画質情報と割り振るビット量との関係については、例えば、図８に示すように割り振り情報における画質情報の平均値(Q Average)に基づく。この場合、例えば、画質情報が最小の場合に、ビット量を最小とし、画質情報が最大の場合にビット量を最大とする。そして、画質情報の増加に応じて、割り当てられるビット量が増加する。

【0036】

次に、割り振り情報生成部２０４のより具体的な構成の一例について説明する。割り振り情報生成部２０４は、例えば、割り振り情報取得部３０４、重み付け部３０５及び加算部３０６を含む。

【0037】

割り振り情報取得部３０４は、１フレーム期間前の割り振り情報(Q Map(n-1)を割り振り情報記憶部２０８から、取得する。重み付け部３０５は、１フレーム期間前の割り振り情報(Q Map(n-1)に所定の重み付けを行う。加算部３０６は、ベース情報取得部３０３により取得されたベース情報に、重み付け部３０５により重み付けされた１フレーム期間前の割り振り情報(Q Map(n-1)を加算して、現在のフレームにおける割り振り情報(Q Map(n))を生成する。割り振り情報記憶部２０８は、割り振り情報生成部２０４が割り振り情報を生成した際に、当該割り振り情報(Q Map(n))を記憶する。

【0038】

図９は、上記割り振り情報の生成について模式的に説明するための図である。図９に示すように、例えば、ベース情報(Right)に、１フレーム期間前の割り振り情報(Q Map(n-1)(Center))がαで重み付けされてベース情報に加算され、現在のフレームの割り振り情報（Q Map(n)）が生成される。このようにして、割り振り情報生成部２０４は、現在のフレームの割り振り情報を生成する。具体的には、図９に示すように、例えば、フレーム画像（画像情報）の中央右下側に多くのビットを割り振るベース情報(Base Map(n))と、フレーム画像の略中央に多くのビットを割り振る１フレーム期間前の割り振り情報(Q Map(n-1))から、Bit_High領域、Bit_Middle領域、Bit_Low領域を含む現在のフレーム情報(Q Map(n))が生成される。Bit_High領域、Bit_Middle領域、Bit_Low領域等については上記のとおりである。これにより、現在の操作情報及び１フレーム期間前の割り振り情報に基づいた現在の割り振り情報の生成が可能となる。

【0039】

圧縮部２０９は、実行部２０２により生成された画像情報を、上記のように生成された割り振り情報に基づいて、圧縮(エンコード)する。なお、当該圧縮におけるビット量の割り振りについては、上記のとおりである。送信部２１０は、圧縮された画像情報を端末１２０に送信する。端末１２０においては、当該画像情報を展開（デコード）して、端末１２０の表示部１２４に表示する。なお、例えば、上記ベース関連情報、アクト関連情報、ベース情報は、アクト情報は、プログラム毎に設定される。これによりサーバ１１０は実行されるプログラムを把握していることから、プログラム毎の特徴に応じた割り振り情報の生成が可能となる。

【0040】

次に、図１０を用いて、画像情報(フレーム画像)の生成、割り振り情報の生成、圧縮のタイミングの関係について説明する。図１０に示すように、第ｎフレーム期間においては、第ｎフレームの画像情報と、割り振り情報（Q Map(n)）の生成が並行して行われる。そして、圧縮部２０９は、フレーム画像（Frame(n)）が生成された直後に、当該生成された割り振り情報（Q Map(n)）を用いて、圧縮する。

【0041】

具体的には、例えば、図１０は自動車のレースゲームにおいて右方向への移動を表す操作情報が連続して２回行われた後、移動方向を表す操作情報が入力されなかった場合におけるフレーム画像の生成、割り振り情報の生成、圧縮のタイミングの関係を表す。この場合、最初のフレーム期間において、右方向への移動を表す操作情報に応じて、例えば、図上側に示す割り振り情報（フレーム画像の右下側に多くのビットを割り振る割り振り情報）（Q Map(n)）が生成される。当該生成された割り振り情報（Q Map(n)）を用いて、フレーム画像（Frame(n)）が圧縮され送信される。当該割り振り情報の生成後、次のフレーム期間において、右方向への移動を表す操作情報が継続して入力されていることから、次のフレーム期間においては、図中央に示す上記割り振り情報よりは右下側へのビットの割合が少ないことを表す割り振り情報(Q Map(n+1))が生成される。当該生成された割り振り情報(Q Map(n+1))を用いて、フレーム画像（Frame(n+1)）が圧縮され送信される。そして、その次のフレーム期間においては、移動方向を表す操作情報が入力されないので、図下側に示すように、ビットの割り振りが全体として減少する割り振り情報(Q Map(n+2))が生成される。当該生成された割り振り情報(Q Map(n+2))を用いて、フレーム画像（Frame(n+2)）が圧縮され送信される。なお、上記において、各フレーム画像の生成と、割り振り情報の生成は並行して行われることは上記のとおりである。

【0042】

図１１は、画像配信装置の処理のフローの概要を説明するための図である。具体的には、図１１は、あるフレーム期間において画像情報が生成・圧縮等されて端末１２０に送信されるまでの画像配信装置２００の処理のフローの一例を示す。なお、図１１においては、説明の簡略化のため、１の画像情報の生成等のみについて示したが、図１１に示すフローが繰り返し行われ、順次画像情報が生成等されることはいうまでもない。

【0043】

操作情報取得部２０１は、操作情報(Command(n))を取得する。（Ｓ１０１）。実行部２０２は、ユーザにより指定されたゲームプログラムを実行し、取得された操作情報に基づいた画像情報の生成を開始する（Ｓ１０２）。

【0044】

アクト情報取得部３０１は、アクト情報記憶部２０５から１フレーム期間前のアクト情報(Act Type(n-1))を取得する（Ｓ１０３）。アクト情報決定部３０２は、操作情報取得部２０１により取得された操作情報及び１フレーム期間前のアクト情報(Act Type(n-1))に基づいて、アクト関連情報記憶部２０６から、現在のフレームにおけるアクト情報(Act Type(n))を取得し、現在のフレームにおけるアクト情報として決定する（Ｓ１０４）。アクト情報記憶部２０５は、アクト情報決定部３０２により現在のフレームにおけるアクト情報(Act Type(n))が決定されると、当該アクト情報(Act Type(n))を記憶する（Ｓ１０５）。

【0045】

ベース情報取得部３０３は、決定されたアクト情報(Act Type(n))に基づいて、ベース関連情報記憶部２０７からベース情報(Base Map(n))を取得する（Ｓ１０６）。割り振り情報取得部３０４は、割り振り情報記憶部２０８から、１フレーム期間前の割り振り情報(Q Map(n-1)を取得する（Ｓ１０７）。重み付け部３０５は、１フレーム期間前の割り振り情報(Q Map(n-1)に所定の重み付けを行う（Ｓ１０８）。加算部３０６は、ベース情報取得部３０３により取得されたベース情報に、重み付け部３０５により重み付けされた１フレーム期間前の割り振り情報(Q Map(n-1)を加算して、現在のフレームにおける割り振り情報(Q Map(n))を生成する（Ｓ１０９）。割り振り情報記憶部２０８は、割り振り情報生成部２０４が割り振り情報を生成した際に、当該割り振り情報(Q Map(n))を記憶する（Ｓ１１０）。なお、上記のように、当該Ｓ１０３乃至Ｓ１１０の処理は、Ｓ１０２で開始された画像情報の生成と並行して行われる。

【0046】

圧縮部２０９は、実行部２０２により画像情報が生成されると、上記のように生成された割り振り情報(Q Map(n))に基づいて、圧縮(エンコード)する（Ｓ１１１）。送信部２１０は、圧縮された画像情報を端末１２０に送信する（Ｓ１１２）。そして処理を終了する。なお、上記フローは一例であって、画像配信装置２００の処理のフローは上記に限定されるものではない。

【0047】

本実施の形態によれば、例えば、ゲームプログラムのようにリアルタイム性が求められるような場合においても、フレーム画像の圧縮等において遅延を生じさせることを防止することのできる画像配信装置等を実現することができる。また、圧縮画像の転送サイズを変えることなく、ユーザの興味のある領域（例えば、ユーザが注目する領域）に多くのビットを割り振ることで、ユーザの主観的な画質を向上させることができる。また、興味のある領域へのビットの割り振りについて本実施の形態を用いない場合と同じにすることで、主観的な画質を落とすことなく、圧縮画像の転送サイズを減らすことができる。更に、圧縮の際に一般的なエンコード方式を用いることができ、一般的な端末で展開（デコード）することができる。

【0048】

本発明は、上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。例えば、上記実施の形態においては、主にゲームプログラムを例として説明したが、その他のアプリケーションプログラムについて適用してもよい。また、上記実施の形態においては、１フレーム期間前の割り振り情報やアクト情報等に基づいて、現在のフレームにおける割り振り情報が生成され、アクト情報が決定される場合等について説明したが、１フレーム期間前に限られず、前回のフレーム、つまり、現在のフレームよりも前の期間におけるフレームにおける割り振り情報等に基づいて割り振り情報等が生成されるように構成してもよい。また、上記実施の形態においては、一例として１フレーム期間毎に操作情報が取得され、画像が描画され、エンコード（圧縮）される場合について説明したが、異なるフレーム期間毎に操作情報が取得され、画像が描画され、エンコードされてもよい。言い換えれば、操作情報の取得、画像の描画、エンコードのフレームレートが互いに異なるように構成してもよい。また、ベース情報の生成は、各プログラムに応じて行われ、更に、当該プログラムにおけるシーンに応じて行われるように構成してもよい。なお、特許請求の範囲におけるベース情報生成手段は、例えば、上記実施の形態における、アクト情報取得部３０１、アクト情報決定部３０２、ベース情報取得部３０３を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】