(58)【調査した分野】(Int.Cl.,DB名)
ビデオデータが符号化されることにより生成された第1のビデオビットストリームおよびオーディオデータが符号化されることにより生成された第1のオーディオビットストリームが多重化された第1のAV(Audio Visual)ビットストリームを処理するデジタルデータ記録再生装置であって、
前記デジタルデータ記録再生装置は、少なくとも2種類の動作モードを有し、
前記第1のビデオビットストリームは、ビデオ同期情報を含み、
前記第1のオーディオビットストリームは、オーディオ同期情報を含み、
前記ビデオ同期情報および前記オーディオ同期情報の各々は、前記ビデオデータと前記オーディオデータとを同期して処理するための情報であり、
前記デジタルデータ記録再生装置は、
前記第1のAVビットストリームから、前記第1のビデオビットストリームと前記第1のオーディオビットストリームとを抽出するAV分離部と、
前記第1のビデオビットストリームから前記ビデオ同期情報を抽出するビデオ同期情報抽出部と、
前記第1のオーディオビットストリームから前記オーディオ同期情報を抽出するオーディオ同期情報抽出部と、
前記第1のビデオビットストリームを復号することにより前記ビデオデータを取得し、該ビデオデータを出力するためのビデオ復号部と、
前記第1のオーディオビットストリームを復号することにより前記オーディオデータを取得し、該オーディオデータを出力するためのオーディオ復号部と、
前記ビデオデータと前記オーディオデータとを同期して処理するためのAV同期用クロックを生成するクロック生成部と、
前記ビデオデータと前記オーディオデータとが同期して処理されるための制御を行うAV同期制御部とを備え、
前記AV同期制御部は、前記ビデオ同期情報、前記オーディオ同期情報および前記AV同期用クロックを用いて、前記ビデオ復号部による前記ビデオデータの出力タイミングと、前記オーディオ復号部による前記オーディオデータの出力タイミングとが同期するように、前記ビデオ復号部および前記オーディオ復号部を制御し、
前記デジタルデータ記録再生装置は、さらに、
前記AV同期用クロックに同期したビデオ出力用クロックに合わせて前記ビデオデータを出力するビデオ出力部と、
前記AV同期用クロックに同期したオーディオ出力用クロックに合わせて前記オーディオデータを出力するオーディオ出力部と、
前記ビデオ出力部から出力された前記ビデオデータを符号化することにより第2のビデオビットストリームを生成するビデオ符号化部と、
前記オーディオ出力部から出力された前記オーディオデータを符号化することにより第2のオーディオビットストリームを生成するオーディオ符号化部と、
前記第2のビデオビットストリームと前記第2のオーディオビットストリームとを多重化することにより第2のAVビットストリームを生成するAV多重化部とを備え、
前記クロック生成部は、さらに、前記デジタルデータ記録再生装置の動作モードの種類に応じて、前記AV同期用クロックの速度を変更する、
デジタルデータ記録再生装置。
前記デジタルデータ記録再生装置は、動作モードとして、前記第1のAVビットストリームを再生するための第1モード、および、前記第1のAVビットストリームを復号し、該復号により得られたデータを符号化するための第2モードを有し、
前記クロック生成部は、前記デジタルデータ記録再生装置の動作モードが前記第2モードである場合に生成する前記AV同期用クロックの速度を、前記デジタルデータ記録再生装置の動作モードが前記第1モードである場合に生成する前記AV同期用クロックの速度より速くする、
請求項1に記載のデジタルデータ記録再生装置。
ビデオデータが符号化されることにより生成された第1のビデオビットストリームおよびオーディオデータが符号化されることにより生成された第1のオーディオビットストリームが多重化された第1のAV(Audio Visual)ビットストリームを処理するデジタルデータ記録再生装置であって、
前記第1のビデオビットストリームは、ビデオ同期情報を含み、
前記第1のオーディオビットストリームは、オーディオ同期情報を含み、
前記デジタルデータ記録再生装置は、
前記第1のAVビットストリームから、前記第1のビデオビットストリームと前記第1のオーディオビットストリームとを抽出するAV分離部と、
前記第1のビデオビットストリームから前記ビデオ同期情報を抽出するビデオ同期情報抽出部と、
前記第1のオーディオビットストリームから前記オーディオ同期情報を抽出するオーディオ同期情報抽出部と、
前記第1のビデオビットストリームを復号することにより前記ビデオデータを取得し、該ビデオデータを出力するためのビデオ復号部と、
前記第1のオーディオビットストリームを復号することにより前記オーディオデータを取得し、該オーディオデータを出力するためのオーディオ復号部と、
前記ビデオデータと前記オーディオデータとが同期して処理されるための制御を行うAV同期制御部と、
前記ビデオ復号部が復号により取得するビデオデータである復号済ビデオデータの代替となる代替ビデオデータを生成する代替ビデオデータ生成部と、
前記オーディオ復号部が復号により取得するオーディオデータである復号済オーディオデータの代替となる代替オーディオデータを生成する代替オーディオデータ生成部と、
前記復号済ビデオデータまたは前記代替ビデオデータを符号化することにより第2のビデオビットストリームを生成するビデオ符号化部と、
前記復号済オーディオデータまたは前記代替オーディオデータを符号化することにより第2のオーディオビットストリームを生成するオーディオ符号化部と、
前記第2のビデオビットストリームと前記第2のオーディオビットストリームとを多重化することにより第2のAVビットストリームを生成するAV多重化部とを備え、
前記ビデオ同期情報および前記オーディオ同期情報の各々は、前記ビデオ符号化部および前記オーディオ符号化部を制御するための情報であり、
前記AV同期制御部は、前記ビデオ同期情報と前記オーディオ同期情報とを比較し、前記ビデオ符号化部が符号化を行うタイミングと前記オーディオ符号化部が符号化を行うタイミングとが同期するように、(a)該比較結果に応じて、前記復号済ビデオデータおよび前記代替ビデオデータのいずれかを前記ビデオ符号化部に符号化させるよう前記ビデオ符号化部を制御するとともに、(b)該比較結果に応じて、前記復号済オーディオデータおよび前記代替オーディオデータのいずれかを前記オーディオ符号化部に符号化させるよう前記オーディオ符号化部を制御し、
前記ビデオ同期情報および前記オーディオ同期情報の各々は、前記AV同期制御部が制御に利用する値を示し、
前記AV同期制御部は、前記ビデオ同期情報の示す値と前記オーディオ同期情報の示す値とから得られる値が所定の条件を満たす場合、(c)前記ビデオ符号化部に前記代替ビデオデータを符号化させるよう前記ビデオ符号化部を制御する処理、および、(d)前記オーディオ符号化部に前記代替オーディオデータを符号化させるよう前記オーディオ符号化部を制御する処理のいずれかを行い、
前記所定の条件は、前記ビデオ同期情報の示す値と前記オーディオ同期情報の示す値との差の絶対値が所定の同期閾値以上であるという条件であり、
前記AV同期制御部は、
(e)前記絶対値が前記同期閾値以上であり、かつ、前記ビデオ同期情報の示す値が前記オーディオ同期情報の示す値より小さい場合、前記ビデオ符号化部に前記代替ビデオデータを符号化させるよう前記ビデオ符号化部を制御し、
(f)前記絶対値が前記同期閾値以上であり、かつ、前記オーディオ同期情報の示す値が前記ビデオ同期情報の示す値より小さい場合、前記オーディオ符号化部に前記代替オーディオデータを符号化させるよう前記オーディオ符号化部を制御する、
デジタルデータ記録再生装置。
【背景技術】
【0002】
(記録再生装置での直接記録と再符号化記録の説明)
近年、デジタルテレビ放送に従ったストリーム(AV(Audio Visual)データ)を受信して再生するとともに、受信したAVデータを、記憶媒体に記録するデジタルデータ記録再生装置が普及してきている。当該記憶媒体は、HDD(Hard Disk Drive)、BD(Blu−ray Disc)、DVD(Digital Versatile Disc)等である。以下においては、デジタルデータ記録再生装置を、単に、記録再生装置ともいう。
【0003】
記録再生装置が受信したAVデータを記録する際に、記録するデータの扱いで分類すると2種類の記録方法がある。
【0004】
1つは受信したデータをそのまま記録する方法(以下、記録方法Aという)である。記録方法Aでは常に放送時の品質で記録できるというメリットがあるが、記録時にデータサイズを任意に調整できないというデメリットがある。
【0005】
もう1つは、受信したデータを一旦復号したのちに再符号化し、再符号化後のストリームを記録する方法(以下、記録方法Bという)である。記録方法Bでは記録時のデータサイズを調整できるメリットがあるが、ビデオおよびオーディオの品質が放送時より劣化するというデメリットがある。
【0006】
民生用の記録再生装置では、ユーザの目的に応じて、記録方法A,Bを切替えられるように、記録方法A,Bの両方の機能を搭載しているものが多い。
【0007】
(ダビング動作の説明)
さらに記録再生装置によっては、受信した放送データに対して再符号化を行うのではなく、記憶媒体に記録されているデータに対して再符号化を行い記録する機能を持つものもある。
【0008】
例えば、DVDプレーヤ等で再生するためにDVDメディアにDVD−Video規格のフォーマットでAVデータを記録する場合がある。デジタルテレビ放送で採用されているストリーム形式はMPEG−2 TS(Transport Stream)であるが、DVD−Videoで採用されているストリーム形式はMPEG−2 PS(Program Stream)であり、ストリーム形式の変換が必要になる。
【0009】
特許文献1には、MPEG−TS形式のデータを、MPEG−PS形式のデータに変換する技術(以下、従来技術Aという)が開示されている。
【0010】
また、ビデオデータの記録画素数や、オーディオデータの圧縮形式(符号化形式)もデジタルテレビ放送とDVD−Video規格で異なるため、再符号化によるデータ変換が必要である。
【0011】
また、変換を行う他の理由としてデータサイズがある。ビットレート(映像単位時間当たりのデータサイズ)を低くして記録することでデータサイズを小さくし、限られた記憶容量の記憶媒体に、より長時間の映像を記録することができる。
【0012】
(再符号化時のAV同期合わせの説明)
再符号化を行う際には、ビデオデータとオーディオデータとを個別に処理する必要がある。そのため、一旦、AV分離を行い、ビデオデータおよびオーディオデータの各々を復号し、再符号化した後に多重化を行う。多重化した時点でビデオデータとオーディオデータとがずれないようにするためには以下の処理が行われる。
【0013】
まず、ストリームに付随している同期情報を用いて、復号時点でのAV同期を揃える。ここで、AV同期とは、ビデオデータとオーディオデータとの同期である。また、AV同期を揃える、または、AV同期を合わせるとは、ビデオデータとオーディオデータとを同期して処理するということである。さらに、ビデオデータとオーディオデータとが同期したタイミングで、ビデオ符号化部およびオーディオ符号化へ、それぞれ、復号済のビデオデータおよび復号済のオーディオデータが供給される。
【0014】
AV同期を揃える必要がある理由について説明する。デジタルテレビ放送を受信する場合、ビデオデータおよびオーディオデータの一方もしくは両方が、正常に復号できない状況(以下、復号異常状況ともいう)が生じる場合がある。復号異常状況は、例えば、電波の受信状態が悪いといった何らかの障害によりデータの一部が欠落することにより生じる。
【0015】
復号異常状況において復号されたAVデータを、記録再生装置において同期を考慮せずに再生すると、ビデオデータとオーディオデータとが同期していない状態、いわゆる音ずれが発生する。
【0016】
同様に、復号異常状況において復号されたAVデータを、記録再生装置において同期を考慮せずに再符号化して多重化すると、同期がずれたままのAVストリームが生成されてしまう。もし、復号前のストリームのビデオデータおよびオーディオデータの各々にAV同期情報が含まれていれば、復号時点でデータが欠落した状態であっても、ビデオデータとオーディオデータとを、同期させて、再生および再符号化を行うことができる。
【0017】
障害によるデータ欠落以外にも、例えば、AVデータを部分分割および結合し、しかるのちに再符号化するような編集を行うと、ビデオデータとオーディオデータとにずれが生じる場合がある。これは、ビデオデータを構成する単位時間と、オーディオデータを構成する単位時間とが異なるためである。しかしながら、このようなケースであっても、AV同期情報を用いて同期ずれを防ぐことが可能となる。
【0018】
(再生時、再符号化時のAV同期合わせの説明)
MPEG−2 TSまたはMPEG−2 PS方式のAVストリームでは、ストリームを構成する複数のPES(Packetized Elementary Stream)パケットのヘッダ内に時間情報としてのPTS(Presentation Time Stamp)が示される。
【0019】
PTSは、ビデオデータおよびオーディオデータの各々の表示時刻(表示タイミング)を示す。PTSを利用することにより、ビデオデータおよびオーディオデータの各々に対し、個別に復号処理しても、この時刻情報に従って、ビデオデータおよびオーディオデータをAV出力機器(TVやAVアンプ)に出力することにより、再生時の同期をあわせることが可能となる。
【0020】
出力するタイミングを取るためのシステム基準時間をSTC(System Time Clock)という。STCは所定時間経過毎に値がカウントアップされるカウンタである。
【0021】
以下においては、ビデオ用のPTSを、VPTSともいう。また、以下においては、オーディオ用のPTSを、APTSともいう。
【0022】
STCの値に対して、VPTSおよびAPTSの各々が一致したタイミングで、ビデオデータおよびオーディオデータの出力が行われるように復号部を制御することにより、ビデオデータとオーディオデータとはAV同期が合った状態となる。
【0023】
復号されたビデオデータおよびオーディオデータの各々は、一旦、対応する出力バッファに格納された後、ビデオ出力部およびオーディオ出力部により、各バッファより送出される。
【0024】
ビデオ出力部およびオーディオ出力部は、共通のクロック生成部から供給されるクロックに同期してデータを出力する。そのため、再生時にはビデオデータとオーディオデータの同期が揃った状態となる。
【0025】
再符号化の場合には、ビデオ出力部およびオーディオ出力部によりそれぞれ送出されたビデオデータおよびオーディオデータの各々は、対応する符号化部用バッファに記憶される。
【0026】
ビデオ符号化部およびオーディオ符号化部の各々は、対応する符号化部用バッファに供給されたデータを逐次符号化してゆき、対応する符号化出力用バッファに再符号化後のストリームを記憶させる。
【0027】
AV多重化部は、一方の符号化出力用バッファに記憶されたビデオストリームと他方の符号化出力用バッファに記憶されたオーディオストリームとを多重化して、MPEG−2のPSやTSストリームを生成する。前述の通り、符号化に入力される時点でのAV同期がとれているため、再符号化後に生成されたストリームもAV同期がとれていることになる。
【発明を実施するための形態】
【0059】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0060】
<第1の実施の形態>
(デジタルデータ記録再生装置の構成)
図1は、第1の実施の形態に係るデジタルデータ記録再生装置1000の構成を示すブロック図である。なお、
図1には、説明のために、デジタルデータ記録再生装置1000に含まれない記憶媒体101も示される。
【0061】
デジタルデータ記録再生装置1000は、動作モードとして、通常再生モードと、再符号化モードとを有する。通常再生モードは、符号化されたストリーム(データ)を復号することにより再生(出力)する処理(以下、通常再生処理ともいう)を行うための動作モードである。すなわち、通常再生モードは、AVビットストリームを再生するための第1モードである。
【0062】
再符号化モードは、符号化されたストリーム(データ)を復号し、復号されたデータを、再度、符号化する処理(以下、再符号化処理という)を行うための動作モードである。すなわち、再符号化モードは、AVビットストリームを復号し、該復号により得られたデータを符号化するための第2モードである。
【0063】
デジタルデータ記録再生装置1000の動作モードが通常再生モードである場合、通常再生処理が行われる。デジタルデータ記録再生装置1000の動作モードが再符号化モードである場合、再符号化処理が行われる。
【0064】
デジタルデータ記録再生装置1000は、HDDレコーダ等のAV再生装置である。デジタルデータ記録再生装置1000は、HDDレコーダに限定されず、通常再生モードおよび再符号化モードを有する装置であればどのような装置であってもよい。
【0065】
図1を参照して、デジタルデータ記録再生装置1000は、AV分離部102と、入力ビデオビットストリームバッファ部103と、入力オーディオビットストリームバッファ部104と、ビデオ復号部105と、ビデオ出力データバッファ部106と、オーディオ復号部107と、オーディオ出力データバッファ部108と、ビデオ出力部109と、ビデオ符号化入力バッファ部110と、オーディオ出力部111と、オーディオ符号化入力バッファ部112とを備える。
【0066】
デジタルデータ記録再生装置1000は、さらに、ビデオ符号化部113と、符号化ビデオビットストリームバッファ部114と、オーディオ符号化部115と、符号化オーディオビットストリームバッファ部116と、AV多重化部117とを備える。
【0067】
記憶媒体101は、BD(Blu−ray Disc)、DVD(Digital Versatile Disc)などである。
【0068】
なお、記憶媒体101は、HDD(Hard Disk Drive)等であってもよい。この場合、記憶媒体101は、デジタルデータ記録再生装置1000に含まれてもよい。
【0069】
記憶媒体101には、再符号化の対象となるAVビットストリームAVST1が記録されている。AVビットストリームAVST1は、符号化されたストリームである。当該AVビットストリームAVST1は、所定の符号化形式に従って、ビデオビットストリームVST1とオーディオビットストリームAST1とが多重化されたストリームである。当該所定の符号化形式は、例えば、MPEG−2 TSである。
【0070】
なお、所定の符号化形式は、MPEG−2 TSに限定されることなく、他の符号化形式であってもよい。ビデオビットストリームVST1およびオーディオビットストリームAST1の各々は、符号化されたストリームである。
【0071】
AVビットストリームAVST1は、複数のPES(Packetized Elementary Stream)パケットから構成される。PESパケットのヘッダには、PTS(Presentation Time Stamp)が示される。PTSは、同期処理に使用される同期情報である。PTSは、所定時間経過毎に値がカウントアップされるカウンタである。
【0072】
すなわち、ビデオビットストリームVST1およびオーディオビットストリームAST1の各々は、複数のPESから構成される。つまり、ビデオビットストリームVST1およびオーディオビットストリームAST1の各々は、複数のPTSを含む。
【0073】
以下においては、ビデオビットストリームVST1に含まれるPTSを、VPTS(ビデオ同期情報)という。また、以下においては、オーディオビットストリームAST1に含まれるPTSを、APTS(オーディオ同期情報)という。
【0074】
すなわち、VPTSおよびAPTSの各々は、所定時間経過毎に値がカウントアップされるカウンタである。また、VPTS(ビデオ同期情報)およびAPTS(オーディオ同期情報)の各々は、ビデオデータとオーディオデータとを同期して処理するための情報である。
【0075】
ビデオビットストリームVST1は、所定の動画像符号化形式に従ってビデオデータVD1が符号化されることにより生成されたストリームである。当該動画像符号化形式は、例えば、MPEG2 TSである。ビデオデータVD1は、動画像データである。すなわち、第1のビデオビットストリームとしてのビデオビットストリームVST1は、VPTS(ビデオ同期情報)を含む。
【0076】
なお、動画像符号化形式は、MPEG2 TSに限定されず、他の符号化形式であってもよい。
【0077】
オーディオビットストリームAST1は、所定の音声符号化形式に従ってオーディオデータAD1が符号化されることにより生成されたストリームである。当該音声符号化形式は、AAC(Advanced Audio Coding)である。オーディオデータAD1は、音声データである。すなわち、第1のオーディオビットストリームとしてのオーディオビットストリームAST1は、APTS(オーディオ同期情報)を含む。
【0078】
なお、音声符号化形式は、AACに限定されず、他の音声符号化形式であってもよい。
【0079】
ビデオ復号部105は、ビデオビットストリームVST1の符号化に使用された動画像符号化形式に対応する復号処理を行うことにより、ビデオビットストリームVST1を復号する。当該動画像符号化形式は、例えば、MPEG2 TSである。
【0080】
オーディオ復号部107は、オーディオビットストリームAST1の符号化に使用された音声符号化形式に対応する復号処理を行うことにより、オーディオビットストリームAST1を復号する。当該音声符号化形式は、例えば、AACである。
【0081】
ビデオ符号化部113は、ビデオビットストリームVST1の符号化に使用された動画像符号化形式と異なる動画像符号化形式(以下、動画像再符号化形式という)により、復号済みのビデオデータを符号化する。動画像再符号化形式は、例えば、MPEG2 PSである。
【0082】
なお、動画像再符号化形式は、MPEG2 PSに限定されず、他の符号化形式(例えば、H.264/AVC)であってもよい。
【0083】
なお、ビデオ符号化部113は、ビデオビットストリームVST1の符号化に使用された動画像符号化形式と同じ動画像符号化形式に従って、符号化条件(例えば、ビットレート)を変更して、符号化処理を行ってもよい。
【0084】
オーディオ符号化部115は、オーディオビットストリームAST1の符号化に使用された音声符号化形式と異なる音声符号化形式(以下、音声再符号化形式という)に従って、復号済のオーディオデータを符号化する。音声再符号化形式は、例えば、MPEG2 PSである。
【0085】
なお、音声再符号化形式は、MPEG2 PSに限定されず、他の符号化形式(例えば、AAC(Advanced Audio Coding))であってもよい。
【0086】
なお、オーディオ符号化部115は、オーディオビットストリームAST1の符号化に使用された音声符号化形式と同じ音声符号化形式に従って、符号化条件(例えば、ビットレート)を変更して、符号化処理を行ってもよい。
【0087】
ビデオ出力部109およびオーディオ出力部111の各々が行う処理の詳細は後述する。通常再生処理では、ビデオ出力部109およびオーディオ出力部111の各々は、処理したデータを、図示しない処理部へ出力する。通常再生処理では、AV分離部102からビデオ出力部109およびオーディオ出力部111までのデータの処理経路(以下、通常再生経路という)が形成される。
【0088】
再符号化処理では、ビデオ出力部109およびオーディオ出力部111は、処理したデータを、それぞれ、ビデオ符号化入力バッファ部110およびオーディオ符号化入力バッファ部112へ出力する。再符号化処理では、AV分離部102からAV多重化部117までのデータの処理経路(以下、再符号化処理経路という)が形成される。
【0089】
再符号化処理経路は、通常再生経路を含む。すなわち、通常再生処理および再符号化処理では、通常再生経路が共用される。
【0090】
入力ビデオビットストリームバッファ部103、入力オーディオビットストリームバッファ部104、ビデオ出力データバッファ部106、オーディオ出力データバッファ部108、ビデオ符号化入力バッファ部110、オーディオ符号化入力バッファ部112、符号化ビデオビットストリームバッファ部114および符号化オーディオビットストリームバッファ部116の各々は、データを一時的に記憶するためのバッファである。
【0091】
なお、AV分離部102およびAV多重化部117の処理については、後述する。
【0092】
デジタルデータ記録再生装置1000は、さらに、ビデオ同期情報抽出部118と、オーディオ同期情報抽出部119と、AV同期制御部120と、クロック生成部121とを備える。
【0093】
ビデオ同期情報抽出部118、オーディオ同期情報抽出部119、AV同期制御部120およびクロック生成部121の各々が行う処理については後述する。
【0094】
(再符号化処理におけるAVデータパス(再符号化処理経路)の説明)
次に、
図1を用いて、再符号化処理の流れについて説明する。
【0095】
再符号化処理では、まず、AV分離部102は、記憶媒体101に記憶されているAVビットストリームAVST1を読み出す。AV分離部102は、AVビットストリームAVST1から、ビデオビットストリームVST1とオーディオビットストリームAST1とを抽出する。
【0096】
AV分離部102は、ビデオビットストリームVST1を、入力ビデオビットストリームバッファ部103に記憶させるとともに、オーディオビットストリームAST1を入力オーディオビットストリームバッファ部104に記憶させる。
【0097】
ビデオ復号部105は、AV同期制御部120による後述する制御に従って、入力ビデオビットストリームバッファ部103に記憶されたビデオビットストリームVST1を復号することにより、ビデオデータVD1を取得する。ビデオデータVD1は、復号済のビデオデータである。
【0098】
そして、ビデオ復号部105は、AV同期制御部120による後述する制御に従って、ビデオデータVD1を出力するとともに、当該ビデオデータVD1をビデオ出力データバッファ部106に記憶させる。
【0099】
オーディオ復号部107は、ビデオ復号部105の処理と並行して、後述するAV同期制御部120の制御に従って、入力オーディオビットストリームバッファ部104に記憶されたオーディオビットストリームAST1を復号することにより、オーディオデータAD1を取得する。オーディオデータAD1は、復号済のオーディオデータである。
【0100】
そして、オーディオ復号部107は、AV同期制御部120による後述する制御に従って、オーディオデータAD1を出力するとともに、当該オーディオデータAD1を、オーディオ出力データバッファ部108に記憶させる。
【0101】
ビデオ出力部109は、ビデオ出力データバッファ部106に記憶されたビデオデータVD1を読出して出力するとともに、当該ビデオデータVD1をビデオ符号化入力バッファ部110に記憶させる。すなわち、ビデオデータVD1は、ビデオ出力部109により、ビデオ出力データバッファ部106からビデオ符号化入力バッファ部110へ転送される。
【0102】
オーディオ出力部111は、オーディオ出力データバッファ部108に記憶されたオーディオデータAD1を読出して出力するとともに、当該オーディオデータAD1を、オーディオ符号化入力バッファ部112に記憶させる。すなわち、オーディオデータAD1は、オーディオ出力部111により、オーディオ出力データバッファ部108からオーディオ符号化入力バッファ部112へ転送される。
【0103】
ビデオ符号化部113は、ビデオ符号化入力バッファ部110に記憶されたビデオデータVD1を符号化することにより、ビデオビットストリームVST2を生成する。つまり、ビデオ符号化部113は、ビデオ出力部109から出力されたビデオデータVD1を符号化することにより第2のビデオビットストリームとしてのビデオビットストリームVST2を生成する。
【0104】
すなわち、ビデオ符号化部113は、復号により得られたビデオデータVD1を、再符号化する。
【0105】
そして、ビデオ符号化部113は、ビデオビットストリームVST2を、符号化ビデオビットストリームバッファ部114に記憶させる。
【0106】
オーディオ符号化部115は、オーディオ符号化入力バッファ部112に記憶されたオーディオデータAD1を符号化することにより、オーディオビットストリームAST2を生成する。つまり、オーディオ符号化部115は、オーディオ出力部111から出力されたオーディオデータAD1を符号化することにより第2のオーディオビットストリームとしてのオーディオビットストリームAST2を生成する。
【0107】
すなわち、オーディオ符号化部115は、復号により得られたオーディオデータAD1を、再符号化する。
【0108】
そして、オーディオ符号化部115は、オーディオビットストリームAST2を、符号化オーディオビットストリームバッファ部116に記憶させる。
【0109】
AV多重化部117は、符号化ビデオビットストリームバッファ部114に記憶されているビデオビットストリームVST2と、符号化オーディオビットストリームバッファ部116に記憶されているオーディオビットストリームAST2とを多重化することにより、AVビットストリームAVST2を生成する。
【0110】
AV多重化部117は、例えば、MPEG−2等の形式に従った多重化を行う。そして、AV多重化部117は、AVビットストリームAVST2を記憶媒体101に記憶させる。
【0111】
以上の再符号化処理により、AVビットストリームAVST1に含まれるビデオデータVD1およびオーディオデータAD1は、再符号化される。
【0112】
(AV同期の説明)
上記で説明した再符号化処理において、同期情報(PTS)を用いたAV同期について説明する。
【0113】
ビデオ同期情報抽出部118は、入力ビデオビットストリームバッファ部103に記憶されたビデオビットストリームVST1から、ビデオ同期情報としてのVPTSを抽出し、当該VPTSを、AV同期制御部120へ送信する。
【0114】
また、オーディオ同期情報抽出部119は、入力オーディオビットストリームバッファ部104に記憶されたオーディオビットストリームAST1から、オーディオ同期情報としてのAPTSを抽出し、当該APTSを、AV同期制御部120へ送信する。
【0115】
クロック生成部121は、ビデオデータとオーディオデータとを同期して処理するためのAV同期用クロックAVCKを生成し、当該AV同期用クロックAVCKを、AV同期制御部120へ送信する。AV同期用クロックAVCKは、所定時間経過毎に値が増加するカウンタである。すなわち、AV同期用クロックAVCKが示す値は、時間経過に伴い増加する。AV同期用クロックAVCKは、データの再生(復号)時におけるSTC(System Time Clock)の役割を果たす。
【0116】
すなわち、VPTS(ビデオ同期情報)、APTS(オーディオ同期情報)およびAV同期用クロックAVCKの各々は、AV同期制御部120が制御に利用する値を示す。
【0117】
AV同期制御部120は、ビデオデータVD1とオーディオデータAD1とが同期して処理されるための制御を行う。具体的には、AV同期制御部120は、VPTS(ビデオ同期情報)、APTS(オーディオ同期情報)およびAV同期用クロックAVCKを用いて、ビデオ復号部105によるビデオデータVD1の出力タイミングと、オーディオ復号部107によるオーディオデータAD1の出力タイミングとが同期するように、ビデオ復号部105およびオーディオ復号部107を制御する。
【0118】
より具体的には、AV同期制御部120は、VPTS(ビデオ同期情報)が示す値とAV同期用クロックAVCKが示す値とが一致するタイミングにおいて、ビデオ復号部105がビデオデータVD1を出力するようにビデオ復号部105を制御する。
【0119】
また、AV同期制御部120は、APTS(オーディオ同期情報)が示す値とAV同期用クロックAVCKが示す値とが一致するタイミングにおいて、オーディオ復号部107がオーディオデータAD1を出力するように前記オーディオ復号部107を制御する。
【0120】
例えば、オーディオビットストリームAST1に異常があり、APTSの値がAV同期用クロックAVCKの値から乖離して大きい値である場合、AV同期用クロックAVCKの値が増加してAPTSの値と一致するまで、AV同期制御部120は、オーディオ復号部107に復号処理を停止させる。
【0121】
また、例えば、APTSの値がAV同期用クロックAVCKの値から乖離して小さい値である場合、AV同期制御部120は、オーディオ復号部107が全てのオーディオビットストリームAST1を復号せずに読み飛ばし(スキップ)するように、オーディオ復号部107を制御することにより、オーディオビットストリームAST1のAPTSの値がAV同期用クロックAVCKの値まで増加するようにする。
【0122】
なお、ビデオビットストリームVST1のVPTSの値に異常がある場合も、AV同期制御部120が、オーディオ復号部107に対して行う上記制御と同様な制御が、ビデオ復号部105に対し行われる。
【0123】
AV同期制御部120が、上記のような制御を行うことにより、再符号化前のAVビットストリームに欠損があり正常にPTSを取得できない場合でも、正常なAVビットストリームが入力された際にはAV同期を復帰することが可能となる。
【0124】
(AV出力部の説明)
ビデオ出力部109およびオーディオ出力部111は再生用の出力部と共用して使用される。クロック生成部121は、同一のクロック生成源から生成される同一のクロックを、ビデオ出力部109およびオーディオ出力部111へ供給する。クロック生成源は、例えば、水晶振動子である。
【0125】
以下においては、クロック生成部121からビデオ出力部109へ供給されるクロックを、ビデオ用クロックVCKと表記する。また、以下においては、クロック生成部121からオーディオ出力部111へ供給されるクロックを、オーディオ用クロックACKと表記する。
【0126】
クロック生成部121は、ビデオ用クロックVCKおよびオーディオ用クロックACKに同期したクロックである前述のAV同期用クロックAVCKを生成する。すなわち、クロック生成部121が生成する前述のAV同期用クロックAVCKは、ビデオ用クロックVCKおよびオーディオ用クロックACKに同期したクロックである。
【0127】
ビデオ出力部109は、ビデオ用クロックVCKにしたがって(あわせて)、ビデオ出力データバッファ部106に記憶されているビデオデータVD1を読出して出力するとともに、該ビデオデータVD1を、ビデオ符号化入力バッファ部110に記憶させる。
【0128】
オーディオ出力部111は、オーディオ用クロックACKにしたがって(あわせて)、オーディオ出力データバッファ部108に記憶されているオーディオデータAD1を読出して出力するとともに、該オーディオデータAD1を、オーディオ符号化入力バッファ部112に記憶させる。
【0129】
ビデオ復号部105およびオーディオ復号部107が正常に復号処理を行っている場合、ビデオデータVD1およびオーディオデータAD1は、ほぼ同時に出力される。すなわち、この場合、ビデオデータVD1およびオーディオデータAD1は、同期して出力される。
【0130】
すなわち、ビデオ出力部109は、ビデオ復号部105による復号処理が正常に行われている場合、復号済のデータ(ビデオデータVD1)を出力し、ビデオデータVD1をビデオ符号化入力バッファ部110に記憶させる。
【0131】
一方、AV同期制御部120による制御により、ビデオ復号部105による復号処理が停止している場合、ビデオ出力部109は、代替ビデオデータを出力する。代替ビデオデータは、例えば、復号処理の停止前の最終ビデオフレーム(最新のビデオフレーム)のデータである。
【0132】
すなわち、オーディオ出力部111は、オーディオ復号部107による復号処理が正常に行われている場合、復号済のデータ(オーディオデータAD1)を出力し、オーディオデータAD1をオーディオ符号化入力バッファ部112に記憶させる。
【0133】
一方、AV同期制御部120による制御により、オーディオ出力部111による復号処理が停止している場合、オーディオ出力部111は、代替オーディオデータを出力する。代替オーディオデータは、例えば、無音データである。
【0134】
これにより、ビデオ出力部109およびオーディオ出力部111の各々からは、常にデータが出力される。これにより、復号中のデータであれば、AV同期がとれた状態が保たれる。したがって、ビデオ符号化部113およびオーディオ符号化部115の各々は、AV同期を考慮せずに供給されるデータを逐次符号化するだけでAV同期を保つ(合わせる)ことができる。
【0135】
(高速な再符号化処理を実現可能な構成の説明)
上述した
図1のデジタルデータ記録再生装置1000の構成において、再符号化を高速で行うためには、再符号化処理経路を構成する各部でのデータ処理が高速で行われ必要がある。当該各部は、AV分離部102、ビデオ復号部105、オーディオ復号部107、ビデオ出力部109、オーディオ出力部111、ビデオ符号化部113、オーディオ符号化部115、AV多重化部117である。
【0136】
なお、上記各部のうち、AV分離部102およびAV多重化部117は、符号化処理や復号処理と比較して、複雑な演算処理は必要とされないため、システムのボトルネックからは除外して考えることができる。
【0137】
ビデオ復号部105およびビデオ符号化部113に関しては、ビデオデータに対する複雑な演算処理が必要であるため、ビデオ復号部105およびビデオ符号化部113は、高速な演算装置、もしくは演算専用の回路で構成されればよい。
【0138】
また、オーディオ復号部107およびオーディオ符号化部115に関しては、オーディオデータに対する複雑な演算処理が必要であるため、オーディオ復号部107およびオーディオ符号化部115は、高速な演算装置、もしくは演算専用の回路で構成されればよい。
【0139】
これにより、AV同期を保持しつつ、ビデオ復号部105、オーディオ復号部107、オーディオ復号部107およびオーディオ符号化部115の処理能力に合わせて高速な再符号化処理を行うことができる。
【0140】
また、再符号化処理が行われる場合において、クロック生成部121が生成するAV同期用クロックAVCK、ビデオ用クロックVCK、およびオーディオ用クロックACKは、通常再生処理において用いられるクロックよりも高速な(周波数の高い)クロックである。
【0141】
すなわち、クロック生成部121は、通常再生処理および再符号化処理の各々において、異なるクロックを生成する。つまり、デジタルデータ記録再生装置1000が行う処理が、通常再生処理から再符号化処理に切替えられる場合、クロック生成部121により生成されるクロックは、より高速なクロックに切替えられる。
【0142】
言い換えれば、クロック生成部121は、デジタルデータ記録再生装置1000の動作モードが第2モードとしての再符号化モードである場合に生成するAV同期用クロックAVCKの速度を、デジタルデータ記録再生装置1000の動作モードが第1モードとしての通常再生モードである場合に生成するAV同期用クロックAVCKの速度より速くする。
【0143】
つまり、クロック生成部121は、デジタルデータ記録再生装置1000の動作モードが第2モードとしての再符号化モードである場合に生成するAV同期用クロックAVCKの周波数を、デジタルデータ記録再生装置1000の動作モードが第1モードとしての通常再生モードである場合に生成するAV同期用クロックAVCKの周波数より高くする。
【0144】
これにより、再符号化処理において、ビデオ復号部105およびオーディオ復号部107の各々が、対応するデータを復号する速度を、通常再生処理における復号処理の速度より高速化できる。その結果、再符号化処理において、ビデオ出力部109およびオーディオ出力部111の各々が、対応するデータを出力する速度を、通常再生処理の場合より向上させることができる。したがって、ビデオ符号化部113およびオーディオ符号化部115の各々が、対応するデータを再符号化する速度を高速化することができる。
【0145】
なお、クロック生成部121は、デジタルデータ記録再生装置1000の動作モードが再符号化モードである場合に生成するAV同期用クロックAVCKの速度を、当該動作モードが通常再生モードである場合に生成するAV同期用クロックAVCKの速度より遅くしてもよい。これにより、再符号化処理が行われる場合におけるデジタルデータ記録再生装置1000の消費電力を低くすることができる。
【0146】
すなわち、クロック生成部121は、デジタルデータ記録再生装置1000の動作モードの種類に応じて、AV同期用クロックAVCKの速度(周波数)を変更する。
【0147】
以上説明したように、本実施の形態の再符号化処理では、通常再生処理に使用されるクロックより高速なクロックを使用して、ビデオ出力部109およびオーディオ出力部111の各々を動作させる。
【0148】
したがって、ビデオデータとオーディオデータとを同期して処理しつつ、ストリームに対する再符号化の速度を高速化することができる。すなわち、ビデオデータとオーディオデータとを同期して処理しつつ、ストリームに対する再符号化の速度を変更することができる。
【0149】
また、前述したように、再符号化処理では、通常再生処理に使用される前述した通常再生経路を流用する。すなわち、通常再生処理および再符号化処理では、通常再生経路が共用される。
【0150】
そのため、本実施の形態のデジタルデータ記録再生装置1000によれば、従来技術で示した記録再生装置の構成に対し、僅かな構成の変更だけで、高速な再符号化処理を実現することができる。
【0151】
<第2の実施の形態>
(デジタルデータ記録再生装置の構成)
図2は、第2の実施の形態に係るデジタルデータ記録再生装置1000Aの構成を示すブロック図である。なお、
図2には、説明のために、デジタルデータ記録再生装置1000Aに含まれない記憶媒体101も示される。
【0152】
デジタルデータ記録再生装置1000Aは、
図1のデジタルデータ記録再生装置1000と比較して、ビデオ復号部105、オーディオ復号部107、ビデオ符号化部113、オーディオ符号化部115およびAV同期制御部120の代わりにビデオ復号部105A、オーディオ復号部107A、ビデオ符号化部113A、オーディオ符号化部115AおよびAV同期制御部120Aを備える点と、代替ビデオデータ生成部211および代替オーディオデータ生成部212をさらに備える点と、ビデオ出力部109、オーディオ出力部111およびクロック生成部121を備えない点とが異なる。
【0153】
それ以外のデジタルデータ記録再生装置1000Aの構成は、デジタルデータ記録再生装置1000と同様なので詳細な説明は繰り返さない。
【0154】
ビデオ復号部105Aは、ビデオ復号部105と比較して、外部(例えば、AV同期制御部120A)から制御されない点が異なる。それ以外のビデオ復号部105Aの機能は、ビデオ復号部105と同様なので詳細な説明は繰り返さない。すなわち、ビデオ復号部105Aは、ビデオ復号部105と同じ復号処理を行う機能を有する。
【0155】
オーディオ復号部107Aは、オーディオ復号部107と比較して、外部(例えば、AV同期制御部120A)から制御されない点が異なる。それ以外のオーディオ復号部107Aの機能は、オーディオ復号部107と同様なので詳細な説明は繰り返さない。すなわち、オーディオ復号部107Aは、オーディオ復号部107と同じ復号処理を行う機能を有する。
【0156】
ビデオ符号化部113Aは、ビデオ符号化部113と比較して、AV同期制御部120Aにより制御される点が異なる。それ以外のビデオ符号化部113Aの機能は、ビデオ符号化部113と同様なので詳細な説明は繰り返さない。すなわち、ビデオ符号化部113Aは、ビデオ符号化部113と同じ符号化の処理を行う。
【0157】
オーディオ符号化部115Aは、オーディオ符号化部115と比較して、AV同期制御部120Aにより制御される点が異なる。それ以外のオーディオ符号化部115Aの機能は、オーディオ符号化部115と同様なので詳細な説明は繰り返さない。すなわち、オーディオ符号化部115Aは、オーディオ符号化部115と同じ符号化の処理を行う。
【0158】
代替ビデオデータ生成部211は、代替ビデオデータを生成する。当該代替ビデオデータは、ビデオデータVD1の代替となるビデオデータである。代替ビデオデータ生成部211は、ビデオ復号部105Aの状態を常に監視しており、ビデオ復号部105Aの状態が変化する毎に、ビデオ復号部105Aの最新の状態にあった代替ビデオデータを生成する。
【0159】
例えば、ビデオ復号部105Aによる復号の処理が停止した場合、代替ビデオデータ生成部211は、当該復号の処理の停止前の最終ビデオフレーム(最新のビデオフレーム)を示す代替ビデオデータを生成する。
【0160】
代替オーディオデータ生成部212は、代替オーディオデータを生成する。当該代替オーディオデータは、オーディオデータAD1の代替となるオーディオデータである。代替オーディオデータ生成部212は、オーディオ復号部107Aの状態を常に監視しており、オーディオ復号部107Aの状態が変化する毎に、オーディオ復号部107Aの最新の状態にあった代替オーディオデータを生成する。
【0161】
例えば、オーディオ復号部107Aによる復号の処理が停止した場合、代替オーディオデータ生成部212は、無音データである代替オーディオデータを生成する。
【0162】
デジタルデータ記録再生装置1000Aは、デジタルデータ記録再生装置1000と同様に、動作モードとして、通常再生モードと、再符号化モードとを有する。
【0163】
以下においては、デジタルデータ記録再生装置1000Aの動作モードを、装置動作モードともいう。
【0164】
装置動作モードが通常再生モードである場合、通常再生処理Aが行われる。装置動作モードが再符号化モードである場合、再符号化処理Aが行われる。
【0165】
再符号化処理Aでは、デジタルデータ記録再生装置1000Aにおいて、AV分離部102からAV多重化部117までのデータの処理経路(以下、再符号化処理経路Aという)が形成される。
【0166】
(再符号化処理AにおけるAVデータパス(再符号化処理経路A)の説明)
なお、再符号化処理Aにおいて、AV分離部102およびAV多重化部117の各々が行う処理は、第1の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。以下、簡単に説明する。
【0167】
再符号化処理Aでは、まず、AV分離部102が、記憶媒体101に記憶されているAVビットストリームAVST1を読み出す。AV分離部102は、AVビットストリームAVST1から、ビデオビットストリームVST1とオーディオビットストリームAST1とを抽出する。
【0168】
AV分離部102は、ビデオビットストリームVST1を、入力ビデオビットストリームバッファ部103に記憶させるとともに、オーディオビットストリームAST1を入力オーディオビットストリームバッファ部104に記憶させる。
【0169】
ビデオ復号部105Aは、入力ビデオビットストリームバッファ部103に記憶されたビデオビットストリームVST1を復号することにより、ビデオデータVD1を取得する。すなわち、ビデオデータVD1は、ビデオ復号部105Aが復号により取得するビデオデータである復号済ビデオデータである。
【0170】
そして、ビデオ復号部105Aは、ビデオデータVD1を出力するとともに、当該ビデオデータVD1をビデオ出力データバッファ部106に記憶させる。
【0171】
オーディオ復号部107Aは、ビデオ復号部105Aの処理と並行して、入力オーディオビットストリームバッファ部104に記憶されたオーディオビットストリームAST1を復号することにより、オーディオデータAD1を取得する。すなわち、オーディオデータAD1は、オーディオ復号部107Aが復号により取得するオーディオデータである復号済オーディオデータである。
【0172】
そして、オーディオ復号部107Aは、オーディオデータAD1を出力するとともに、当該オーディオデータAD1を、オーディオ出力データバッファ部108に記憶させる。
【0173】
以下においては、ビデオ復号部105Aが、前述の復号の処理により取得したビデオデータVD1を出力するタイミングを、ビデオ出力タイミングという。また、以下においては、オーディオ復号部107Aが、前述の復号の処理により取得したオーディオデータAD1を出力するタイミングを、オーディオ出力タイミングという。
【0174】
ビデオ符号化部113Aは、AV同期制御部120Aによる後述する制御に従って、ビデオ出力データバッファ部106に記憶されたビデオデータVD1または最新の代替ビデオデータを符号化することにより、ビデオビットストリームVST2を生成する。すなわち、ビデオ符号化部113Aは、復号により得られたビデオデータVD1を再符号化する処理、または、最新の代替ビデオデータを符号化する処理を行う。
【0175】
そして、ビデオ符号化部113Aは、ビデオビットストリームVST2を、符号化ビデオビットストリームバッファ部114に記憶させる。
【0176】
オーディオ符号化部115Aは、AV同期制御部120Aによる後述する制御に従って、オーディオ出力データバッファ部108に記憶されたオーディオデータAD1または最新の代替オーディオデータを符号化することにより、オーディオビットストリームAST2を生成する。すなわち、オーディオ符号化部115Aは、一度符号化されていたオーディオデータAD1を、再符号化する処理、または、最新の代替オーディオデータを符号化する処理を行う。
【0177】
そして、オーディオ符号化部115Aは、オーディオビットストリームAST2を、符号化オーディオビットストリームバッファ部116に記憶させる。
【0178】
AV多重化部117は、符号化ビデオビットストリームバッファ部114に記憶されているビデオビットストリームVST2と、符号化オーディオビットストリームバッファ部116に記憶されているオーディオビットストリームAST2とを多重化することにより、AVビットストリームAVST2を生成する。AV多重化部117は、例えば、MPEG−2等の形式に従った多重化を行う。そして、AV多重化部117は、AVビットストリームAVST2を記憶媒体101に記憶させる。
【0179】
以上の再符号化処理Aにより、AVビットストリームAVST1に含まれるビデオデータVD1およびオーディオデータAD1は、再符号化される。
【0180】
(AV同期の説明)
上記で説明した再符号化処理Aにおいて、同期情報(PTS)を用いたAV同期について説明する。
【0181】
ビデオ同期情報抽出部118およびオーディオ同期情報抽出部119の各々が行う処理は、第1の実施の形態で説明した処理と同様なので詳細な説明は繰り返さない。以下、簡単に説明する。
【0182】
ビデオ同期情報抽出部118は、入力ビデオビットストリームバッファ部103に記憶されたビデオビットストリームVST1から、ビデオ同期情報としてのVPTSを抽出し、当該VPTSを、AV同期制御部120Aへ送信する。
【0183】
また、オーディオ同期情報抽出部119は、入力オーディオビットストリームバッファ部104に記憶されたオーディオビットストリームAST1から、オーディオ同期情報としてのAPTSを抽出し、当該APTSを、AV同期制御部120Aへ送信する。
【0184】
AV同期制御部120Aは、ビデオデータとオーディオデータとが同期して処理されるための制御を行う。具体的には、AV同期制御部120Aは、VPTS(ビデオ同期情報)とAPTS(オーディオ同期情報)とを比較する。そして、AV同期制御部120Aは、ビデオ符号化部113Aが符号化を行うタイミングとオーディオ符号化部115Aが符号化を行うタイミングとが同期するようにビデオ符号化部113Aおよびオーディオ符号化部115Aを制御する。
【0185】
より具体的には、AV同期制御部120Aは、該比較結果に応じて、復号済ビデオデータおよび代替ビデオデータのいずれかをビデオ符号化部113Aに符号化させるようビデオ符号化部113Aを制御するとともに、該比較結果に応じて、復号済オーディオデータおよび前記代替オーディオデータのいずれかをオーディオ符号化部に符号化させるようオーディオ符号化部115Aを制御する。
【0186】
すなわち、VPTS(ビデオ同期情報)およびAPTS(オーディオ同期情報)の各々は、ビデオ符号化部113Aおよびオーディオ符号化部115Aを制御するための情報である。VPTS(ビデオ同期情報)およびAPTS(オーディオ同期情報)の各々は、AV同期制御部120Aが制御に利用する値を示す。
【0187】
AV同期制御部120Aは、受信したVPTSが示す値と受信したAPTSが示す値とが大きく乖離している場合、ビデオ符号化部113Aまたはオーディオ符号化部115Aへ、制御命令を発行する。
【0188】
具体的には、AV同期制御部120Aは、受信したVPTSの値と受信したAPTSの値とを比較し、当該VPTSの値と当該APTSの値との差の絶対値が、所定の同期閾値以上であり、かつ、VPTSの値がAPTSの値より小さい場合、ビデオ符号化部113Aへ、ビデオ符号化制御命令を送信する。
【0189】
ここで、同期閾値とは、ビデオデータVD1と、オーディオデータAD1とが同期して処理されているか否かを判定するための値である。当該VPTSの値と当該APTSの値との差の絶対値が、同期閾値以上である場合は、ビデオデータVD1と、オーディオデータAD1とが同期して処理されていない場合、すなわち、前述のビデオ出力タイミングと、前述のオーディオ出力タイミングとがずれている場合である。
【0190】
当該ビデオ符号化制御命令は、代替ビデオデータ生成部211が生成した最新の代替ビデオデータを、ビデオ符号化部113Aに符号化させるための命令である。
【0191】
また、AV同期制御部120Aは、受信したVPTSの値と受信したAPTSの値とを比較し、当該VPTSの値と当該APTSの値との差の絶対値が、所定の同期閾値以上であり、かつ、APTSの値がVPTSの値より小さい場合、オーディオ符号化部115Aへ、オーディオ符号化制御命令を送信する。オーディオ符号化制御命令は、代替オーディオデータ生成部212が生成した最新の代替オーディオデータを、オーディオ符号化部115Aに符号化させるための命令である。
【0192】
以下においては、VPTSの値と当該APTSの値との差の絶対値を、判定用絶対値ともいう。
【0193】
すなわち、AV同期制御部120Aは、判定用絶対値が同期閾値以上であり、かつ、VPTS(ビデオ同期情報)の示す値がAPTS(オーディオ同期情報)の示す値より小さい場合、ビデオ符号化部113Aに代替ビデオデータを符号化させるよう前記ビデオ符号化部113Aを制御する。
【0194】
また、AV同期制御部120Aは、判定用絶対値が同期閾値以上であり、かつ、APTS(オーディオ同期情報)の示す値がVPTS(ビデオ同期情報)の示す値より小さい場合、オーディオ符号化部115Aに代替オーディオデータを符号化させるようオーディオ符号化部115Aを制御する。
【0195】
つまり、AV同期制御部120Aは、VPTS(ビデオ同期情報)の示す値とAPTS(オーディオ同期情報)の示す値とから得られる値が所定の条件を満たす場合、ビデオ符号化部113Aに代替ビデオデータを符号化させるようビデオ符号化部113Aを制御する処理、および、オーディオ符号化部115Aに代替オーディオデータを符号化させるようオーディオ符号化部115Aを制御する処理のいずれかを行う。この場合、所定の条件は、VPTS(ビデオ同期情報)の示す値とAPTS(オーディオ同期情報)の示す値との差の絶対値が所定の同期閾値以上であるという条件である。
【0196】
なお、AV同期制御部120Aが、ビデオ符号化制御命令またはオーディオ符号化制御命令を送信する条件は、上記条件(判定用絶対値を利用した条件)に限定されない。例えば、AV同期制御部120Aは、当該VPTSの値と当該APTSの値との比率を算出し、当該比率に基づいて、ビデオ符号化制御命令またはオーディオ符号化制御命令を送信してもよい。
【0197】
ビデオ符号化部113Aは、ビデオ符号化制御命令を受信した場合、代替ビデオデータ生成部211が生成した最新の代替ビデオデータを符号化することにより、ビデオビットストリームVST2を生成する。
【0198】
なお、ビデオ符号化部113Aは、ビデオ符号化制御命令を受信していない場合、ビデオ出力データバッファ部106に記憶されたビデオデータVD1を符号化することにより、ビデオビットストリームVST2を生成する。
【0199】
すなわち、ビデオ符号化部113Aは、ビデオ符号化制御命令を受信した場合、符号化対象となるビデオデータを、ビデオデータVD1から、代替ビデオデータに切替える。
【0200】
オーディオ符号化部115Aは、オーディオ符号化制御命令を受信した場合、代替オーディオデータ生成部212が生成した最新の代替オーディオデータを符号化することにより、ビデオビットストリームVST2を生成する。
【0201】
なお、オーディオ符号化部115Aは、オーディオ符号化制御命令を受信していない場合、オーディオ出力データバッファ部108に記憶されたオーディオデータAD1を符号化することにより、ビデオビットストリームVST2を生成する。
【0202】
すなわち、オーディオ符号化部115Aは、オーディオ符号化制御命令を受信した場合、符号化対象となるオーディオデータを、オーディオデータAD1から、代替オーディオデータに切替える。
【0203】
ここで、具体例をあげて説明する。例えば、ビデオビットストリームVST1に欠損が存在することにより、ビデオ復号部105Aによる復号の処理が停止し、ビデオ同期情報抽出部118がビデオ同期情報としてのVPTSを取得できない状態が発生したとする。
【0204】
また、オーディオビットストリームAST1は正常なストリームであるとする。すなわち、オーディオ復号部107Aは、オーディオビットストリームAST1を、正常に受信しているとする。また、オーディオ同期情報抽出部119は、オーディオビットストリームAST1から、オーディオ同期情報としてのAPTSを抽出し、当該APTSを、AV同期制御部120Aへ送信しているとする。
【0205】
この場合、VPTSの値は変化せず、APTSの値のみが増加し、VPTSの値とAPTSの値との差の絶対値は、所定の同期閾値以上となる。すなわち、VPTSの値は、APTSの値より小さく、VPTSの値に対しAPTSの値が大きく乖離したとする。この場合、AV同期制御部120Aは、ビデオ符号化制御命令を、ビデオ符号化部113Aへ送信する。ビデオ符号化制御命令は、例えば、符号化データを補完するための制御命令である。
【0206】
ビデオ符号化部113Aは、このビデオ符号化制御命令を受信した場合、代替ビデオデータ生成部211が生成した最新の代替ビデオデータを取得し、当該代替ビデオデータを符号化する。すなわち、この場合、ビデオ符号化部113Aは、ビデオ出力データバッファ部106に記憶されたビデオデータVD1を符号化対象としないため、ビデオ出力データバッファ部106からビデオデータVD1を読み出さない。
【0207】
この場合、代替ビデオデータは、例えば、ビデオ復号部105Aによる復号の処理が停止した時点での最終復号データである。また、代替ビデオデータは、例えば、復号の処理の停止前の最終ビデオフレーム(最新のビデオフレーム)のデータである。
【0208】
また、例えば、オーディオビットストリームAST1に欠損が存在することにより、オーディオ復号部107Aによる復号の処理が停止し、オーディオ同期情報抽出部119がオーディオ同期情報としてのAPTSを取得できない状態が発生したとする。
【0209】
また、ビデオビットストリームVST1は正常なストリームであるとする。すなわち、ビデオ復号部105Aは、ビデオビットストリームVST1を、正常に受信しているとする。また、ビデオ同期情報抽出部118は、ビデオビットストリームVST1から、ビデオ同期情報としてのVPTSを抽出し、当該VPTSを、AV同期制御部120Aへ送信しているとする。
【0210】
この場合、APTSの値は変化せず、VPTSの値のみが増加し、VPTSの値とAPTSの値との差の絶対値は、所定の同期閾値以上となる。すなわち、APTSの値はVPTSの値より小さく、APTSの値に対しVPTSの値が大きく乖離したとする。この場合、AV同期制御部120Aは、オーディオ符号化制御命令を、オーディオ符号化部115Aへ送信する。オーディオ符号化制御命令は、例えば、符号化データを補完するための制御命令である。
【0211】
オーディオ符号化部115Aは、このオーディオ符号化制御命令を受信した場合、代替オーディオデータ生成部212が生成した最新の代替オーディオデータを取得し、当該代替オーディオデータを符号化する。すなわち、この場合、オーディオ符号化部115Aは、オーディオ出力データバッファ部108に記憶されたオーディオデータAD1を符号化対象としないため、オーディオ出力データバッファ部108からオーディオデータAD1を読み出さない。代替オーディオデータは、例えば、無音データ(0データ)である。
【0212】
(高速な再符号化処理Aを実現可能な構成の説明)
上述した
図2のデジタルデータ記録再生装置1000Aの構成において、再符号化を高速で行うためには、再符号化処理経路Aを構成する各部でのデータ処理が高速で行われ必要がある。当該各部は、AV分離部102、ビデオ復号部105A、オーディオ復号部107A、ビデオ符号化部113A、オーディオ符号化部115A、AV多重化部117である。
【0213】
なお、上記各部のうち、AV分離部102およびAV多重化部117は、符号化処理や復号処理と比較して、複雑な演算処理は必要とされないため、システムのボトルネックからは除外して考えることができる。
【0214】
ビデオ復号部105Aおよびビデオ符号化部113Aに関しては、ビデオデータに対する複雑な演算処理が必要であるため、ビデオ復号部105およびビデオ符号化部113は、演算プロセッサ、高速な演算装置、もしくは演算専用の回路で構成されればよい。
【0215】
また、オーディオ復号部107Aおよびオーディオ符号化部115Aに関しては、オーディオデータに対する複雑な演算処理が必要であるため、オーディオ復号部107Aおよびオーディオ符号化部115Aは、演算プロセッサ、高速な演算装置、もしくは演算専用の回路で構成されればよい。
【0216】
以上説明したように、本実施の形態の再符号化処理Aでは、VPTSと、APTSとを利用して、ビデオデータVD1と、オーディオデータAD1とが同期して処理されるように制御される。すなわち、本実施の形態の再符号化処理Aでは、第1の実施の形態の再符号化処理とは異なり、クロックに依存した処理を行なわない。すなわち、ビデオ復号部105A、オーディオ復号部107A、ビデオ符号化部113Aおよびオーディオ符号化部115Aの各々は、非同期で動作可能である。
【0217】
したがって、本実施の形態に係るデジタルデータ記録再生装置1000Aによれば、ビデオ復号部105A、ビデオ符号化部113A、オーディオ復号部107A、オーディオ符号化部115Aの各々の演算回路(演算プロセッサ)の性能を最大限にいかした高速な再符号化処理Aを実現することができる。
【0218】
なお、AV同期制御部120Aが、装置動作モードの種類に応じて、ビデオ復号部105A、ビデオ符号化部113A、オーディオ復号部107Aおよびオーディオ符号化部115Aの各々の処理速度を変更してもよい。
【0219】
以下においては、ビデオ復号部105A、ビデオ符号化部113A、オーディオ復号部107Aおよびオーディオ符号化部115Aの各々を、再符号化関連部という。
【0220】
具体的には、AV同期制御部120Aが、例えば、装置動作モードが再符号化モードである場合における各再符号化関連部の処理速度を、装置動作モードが通常再生モードである場合における各再符号化関連部の処理速度より速くなるように、各再符号化関連部を制御する。
【0221】
これにより、装置動作モードが再符号化モードである場合における再符号化処理Aの速度を、装置動作モードが再符号化モードである場合における再符号化処理Aの速度より速くすることができる。すなわち、ストリームに対する再符号化の速度を変更することが可能となる。
【0222】
なお、上記実施の形態は本発明を実施するための一例であり、本発明の要旨を逸脱しない限りは種々の変更は可能である。例えば、記憶媒体に関して、再符号化後のビットストリームの記録には、再符号化前のAVビットストリームが記録されている記憶媒体とは別の記憶媒体を使用してもよい。一例として、HDDに記録されているAVビットストリームを再符号化し、当該再符号化により得られたAVビットストリームが、Blu−rayディスクに記録されてもよい。
【0223】
また、AV同期情報の抽出をビデオ同期情報抽出部およびオーディオ同期情報抽出部が行っているが、AV同期情報の抽出を行う機能をAV分離部に持たせるといった構成も可能である。
【0224】
また、再符号化の対象となるAVビットストリームAVST1は、記憶媒体101に記録されてなくてもよく、再符号化の対象となるAVビットストリームAVST1は、例えば、放送波により受信してもよい。また、再符号化の対象となるAVビットストリームAVST1は、例えば、インターネットからストリーミング配信されたものであってもよい。
【0225】
(機能ブロック図)
図3は、デジタルデータ記録再生装置2000の特徴的な第1の機能構成を示すブロック図である。デジタルデータ記録再生装置2000は、
図1のデジタルデータ記録再生装置1000に相当する。つまり、
図3は、デジタルデータ記録再生装置1000の有する機能のうち、本発明に関わる主要な機能を示すブロック図である。
【0226】
デジタルデータ記録再生装置2000は、ビデオデータが符号化されることにより生成された第1のビデオビットストリームおよびオーディオデータが符号化されることにより生成された第1のオーディオビットストリームが多重化された第1のAVビットストリームを処理する。
【0227】
第1のビデオビットストリームは、ビデオビットストリームVST1に相当する。第1のオーディオビットストリームは、オーディオビットストリームAST1に相当する。第1のAVビットストリームは、AVビットストリームAVST1に相当する。
【0228】
デジタルデータ記録再生装置2000は、少なくとも2種類の動作モードを有する。2種類の動作モードは、それぞれ、前述の再符号化モードおよび通常再生モードである。
【0229】
第1のビデオビットストリームは、ビデオ同期情報を含む。ビデオ同期情報は、VPTSに相当する。第1のオーディオビットストリームは、オーディオ同期情報を含む。オーディオ同期情報は、APTSに相当する。ビデオ同期情報およびオーディオ同期情報の各々は、ビデオデータとオーディオデータとを同期して処理するための情報である。
【0230】
デジタルデータ記録再生装置2000は、機能的には、AV分離部2102と、ビデオ同期情報抽出部2118と、オーディオ同期情報抽出部2119と、ビデオ復号部2105と、オーディオ復号部2107と、クロック生成部2121と、AV同期制御部2120とを備える。
【0231】
AV分離部2102は、第1のAVビットストリームから、第1のビデオビットストリームと第1のオーディオビットストリームとを抽出する。ビデオ同期情報抽出部2118は、前記第1のビデオビットストリームから前記ビデオ同期情報を抽出する。オーディオ同期情報抽出部2119は、前記第1のオーディオビットストリームから前記オーディオ同期情報を抽出する。
【0232】
ビデオ復号部2105は、前記第1のビデオビットストリームを復号することにより前記ビデオデータを取得し、該ビデオデータを出力するための構成要素である。オーディオ復号部2107は、前記第1のオーディオビットストリームを復号することにより前記オーディオデータを取得し、該オーディオデータを出力するための構成要素である。
【0233】
クロック生成部2121は、前記ビデオデータと前記オーディオデータとを同期して処理するためのAV同期用クロックを生成する。AV同期用クロックは、AV同期用クロックAVCKに相当する。
【0234】
AV同期制御部2120は、前記ビデオデータと前記オーディオデータとが同期して処理されるための制御を行う。
【0235】
AV分離部2102、ビデオ同期情報抽出部2118、オーディオ同期情報抽出部2119、ビデオ復号部2105、オーディオ復号部2107、クロック生成部2121およびAV同期制御部2120は、それぞれ、AV分離部102、ビデオ同期情報抽出部118、オーディオ同期情報抽出部119、ビデオ復号部105、オーディオ復号部107、クロック生成部121およびAV同期制御部120に相当する。
【0236】
具体的には、AV同期制御部2120は、前記ビデオ同期情報、前記オーディオ同期情報および前記AV同期用クロックを用いて、前記ビデオ復号部2105による前記ビデオデータの出力タイミングと、前記オーディオ復号部2107による前記オーディオデータの出力タイミングとが同期するように、前記ビデオ復号部2105および前記オーディオ復号部2107を制御する。
【0237】
デジタルデータ記録再生装置2000は、機能的には、さらに、ビデオ出力部2109と、オーディオ出力部2111と、ビデオ符号化部2113と、オーディオ符号化部2115と、AV多重化部2117とを備える。
【0238】
ビデオ出力部2109は、前記AV同期用クロックに同期したビデオ出力用クロックに合わせて前記ビデオデータを出力する。ビデオ出力用クロックは、ビデオ用クロックVCKに相当する。
【0239】
オーディオ出力部2111は、前記AV同期用クロックに同期したオーディオ出力用クロックに合わせて前記オーディオデータを出力する。オーディオ出力用クロックは、オーディオ用クロックACKに相当する。
【0240】
ビデオ符号化部2113は、前記ビデオ出力部2109から出力された前記ビデオデータを符号化することにより第2のビデオビットストリームを生成する。第2のビデオビットストリームは、ビデオビットストリームVST2に相当する。
【0241】
オーディオ符号化部2115は、前記オーディオ出力部2111から出力された前記オーディオデータを符号化することにより第2のオーディオビットストリームを生成する。第2のオーディオビットストリームは、オーディオビットストリームAST2に相当する。
【0242】
AV多重化部2117は、前記第2のビデオビットストリームと前記第2のオーディオビットストリームとを多重化することにより第2のAVビットストリームを生成する。第2のAVビットストリームは、AVビットストリームAVST2に相当する。
【0243】
また、クロック生成部2121は、さらに、前記デジタルデータ記録再生装置2000の動作モードの種類に応じて、前記AV同期用クロックの速度を変更する。
【0244】
なお、AV分離部2102、ビデオ同期情報抽出部2118、オーディオ同期情報抽出部2119、ビデオ復号部2105、オーディオ復号部2107、クロック生成部2121、AV同期制御部2120、ビデオ出力部2109、オーディオ出力部2111、ビデオ符号化部2113、オーディオ符号化部2115およびAV多重化部2117の全てまたは一部は、LSI(Large Scale Integration:大規模集積回路)等のハードウエアで構成されてもよい。
【0245】
図4は、デジタルデータ記録再生装置3000の特徴的な第2の機能構成を示すブロック図である。デジタルデータ記録再生装置3000は、
図2のデジタルデータ記録再生装置1000Aに相当する。つまり、
図4は、デジタルデータ記録再生装置1000Aの有する機能のうち、本発明に関わる主要な機能を示すブロック図である。
【0246】
デジタルデータ記録再生装置3000は、ビデオデータが符号化されることにより生成された第1のビデオビットストリームおよびオーディオデータが符号化されることにより生成された第1のオーディオビットストリームが多重化された第1のAVビットストリームを処理する。
【0247】
第1のビデオビットストリームは、ビデオビットストリームVST1に相当する。第1のオーディオビットストリームは、オーディオビットストリームAST1に相当する。第1のAVビットストリームは、AVビットストリームAVST1に相当する。
【0248】
前記第1のビデオビットストリームは、ビデオ同期情報を含む。ビデオ同期情報は、VPTSに相当する。前記第1のオーディオビットストリームは、オーディオ同期情報を含む。オーディオ同期情報は、APTSに相当する。
【0249】
デジタルデータ記録再生装置3000は、機能的には、AV分離部3102と、ビデオ同期情報抽出部3118と、オーディオ同期情報抽出部3119と、ビデオ復号部3105Aと、オーディオ復号部3107Aと、AV同期制御部3120Aと、代替ビデオデータ生成部3211と、代替オーディオデータ生成部3212と、ビデオ符号化部3113Aと、オーディオ符号化部3115Aと、AV多重化部3117とを備える。
【0250】
AV分離部3102は、前記第1のAVビットストリームから、前記第1のビデオビットストリームと前記第1のオーディオビットストリームとを抽出する。ビデオ同期情報抽出部3118は、前記第1のビデオビットストリームから前記ビデオ同期情報を抽出する。オーディオ同期情報抽出部3119は、前記第1のオーディオビットストリームから前記オーディオ同期情報を抽出する。
【0251】
ビデオ復号部3105Aは、前記第1のビデオビットストリームを復号することにより前記ビデオデータを取得し、該ビデオデータを出力するための構成要素である。オーディオ復号部3107Aは、前記第1のオーディオビットストリームを復号することにより前記オーディオデータを取得し、該オーディオデータを出力するための構成要素である。AV同期制御部3120Aは、前記ビデオデータと前記オーディオデータとが同期して処理されるための制御を行う。
【0252】
代替ビデオデータ生成部3211は、前記ビデオ復号部3105Aが復号により取得するビデオデータである復号済ビデオデータの代替となる代替ビデオデータを生成する。代替オーディオデータ生成部3212は、前記オーディオ復号部3107Aが復号により取得するオーディオデータである復号済オーディオデータの代替となる代替オーディオデータを生成する。
【0253】
ビデオ符号化部3113Aは、前記復号済ビデオデータまたは前記代替ビデオデータを符号化することにより第2のビデオビットストリームを生成する。第2のビデオビットストリームは、ビデオビットストリームVST2に相当する。
【0254】
オーディオ符号化部3115Aは、前記復号済オーディオデータまたは前記代替オーディオデータを符号化することにより第2のオーディオビットストリームを生成する。第2のオーディオビットストリームは、オーディオビットストリームAST2に相当する。
【0255】
AV多重化部3117は、前記第2のビデオビットストリームと前記第2のオーディオビットストリームとを多重化することにより第2のAVビットストリームを生成する。第2のAVビットストリームは、AVビットストリームAVST2に相当する。
【0256】
前記ビデオ同期情報および前記オーディオ同期情報の各々は、前記ビデオ符号化部3113Aおよび前記オーディオ符号化部3115Aを制御するための情報である。
【0257】
具体的には、AV同期制御部3120Aは、前記ビデオ同期情報と前記オーディオ同期情報とを比較し、前記ビデオ符号化部3113Aが符号化を行うタイミングと前記オーディオ符号化部3115Aが符号化を行うタイミングとが同期するように、(a)該比較結果に応じて、前記復号済ビデオデータおよび前記代替ビデオデータのいずれかを前記ビデオ符号化部3113Aに符号化させるよう前記ビデオ符号化部3113Aを制御するとともに、(b)該比較結果に応じて、前記復号済オーディオデータおよび前記代替オーディオデータのいずれかを前記オーディオ符号化部3115Aに符号化させるよう前記オーディオ符号化部3115Aを制御する。
【0258】
AV分離部3102、ビデオ同期情報抽出部3118、オーディオ同期情報抽出部3119、ビデオ復号部3105A、オーディオ復号部3107AおよびAV同期制御部3120Aは、それぞれ、AV分離部102、ビデオ同期情報抽出部118、オーディオ同期情報抽出部119、ビデオ復号部105A、オーディオ復号部107AおよびAV同期制御部120Aに相当する。
【0259】
また、代替ビデオデータ生成部3211、代替オーディオデータ生成部3212、ビデオ符号化部3113A、オーディオ符号化部3115AおよびAV多重化部3117は、それぞれ、代替ビデオデータ生成部211、代替オーディオデータ生成部212、ビデオ符号化部113A、オーディオ符号化部115AおよびAV多重化部117に相当する。
【0260】
なお、AV分離部3102、ビデオ同期情報抽出部3118、オーディオ同期情報抽出部3119、ビデオ復号部3105A、オーディオ復号部3107A、AV同期制御部3120A、代替ビデオデータ生成部3211、代替オーディオデータ生成部3212、ビデオ符号化部3113A、オーディオ符号化部3115AおよびAV多重化部3117の全てまたは一部は、LSI(Large Scale Integration:大規模集積回路)等のハードウエアで構成されてもよい。
【0261】
以上、本発明におけるデジタルデータ記録再生装置1000又はデジタルデータ記録再生装置1000Aについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【0262】
また、上記のデジタルデータ記録再生装置1000又はデジタルデータ記録再生装置1000Aを構成する複数の構成要素の全てまたは一部は、ハードウエアで構成されてもよい。また、上記のデジタルデータ記録再生装置1000又はデジタルデータ記録再生装置1000Aを構成する構成要素の全てまたは一部は、CPU(Central Processing Unit)等により実行されるプログラムのモジュールであってもよい。
【0263】
また、上記のデジタルデータ記録再生装置1000又はデジタルデータ記録再生装置1000Aを構成する複数の構成要素の全てまたは一部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されてもよい。システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)及びRAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。
【0264】
例えば、
図1において、AV分離部102、入力ビデオビットストリームバッファ部103、入力オーディオビットストリームバッファ部104、ビデオ復号部105、ビデオ出力データバッファ部106、オーディオ復号部107、オーディオ出力データバッファ部108、ビデオ出力部109、ビデオ符号化入力バッファ部110、オーディオ出力部111、オーディオ符号化入力バッファ部112、ビデオ符号化部113、符号化ビデオビットストリームバッファ部114、オーディオ符号化部115、符号化オーディオビットストリームバッファ部116およびAV多重化部117は、1個のシステムLSIから構成されてもよい。
【0265】
また、本発明は、デジタルデータ記録再生装置1000又はデジタルデータ記録再生装置1000Aが備える特徴的な構成部の動作をステップとするデジタルデータ記録方法として実現してもよい。また、本発明は、そのようなデジタルデータ記録方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。
【0266】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。