特許 6358113 記録装置及び多重化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6358113

(24)【登録日】2018年6月29日

(45)【発行日】2018年7月18日

(54)【発明の名称】記録装置及び多重化方法

(51)【国際特許分類】

   H04N 5/926 20060101AFI20180709BHJP

   H04N 5/91 20060101ALI20180709BHJP

   G11B 20/10 20060101ALI20180709BHJP

   G11B 20/12 20060101ALI20180709BHJP

【ＦＩ】

   H04N5/926 100

   H04N5/91

   G11B20/10 311

   G11B20/12

   G11B20/12 103

   G11B20/10 341Z

   G11B20/10 351

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2015-17338(P2015-17338)

(22)【出願日】2015年1月30日

(65)【公開番号】特開2016-143976(P2016-143976A)

(43)【公開日】2016年8月8日

【審査請求日】2017年3月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】松永 義弘

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２００５−００６０９５（ＪＰ，Ａ）

【文献】 特開２００６−３３３０３８（ＪＰ，Ａ）

【文献】 特開２００７−３０５１７１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１１Ｂ２０／１０−２０／１６

Ｈ０４Ｎ５／７６−５／７７５

５／８０−５／９５６

(57)【特許請求の範囲】

【請求項1】

映像データを第１のデータ単位ごとに圧縮して符号化する映像符号化手段と、
音声データを前記第１のデータ単位とは時間長が異なる第２のデータ単位ごとに圧縮して符号化する音声符号化手段と、
記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する前記映像符号化手段により符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する前記音声符号化手段により符号化された音声データとを、一つの記録データとして多重化する多重化手段と
を有し、
前記音声符号化手段は、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、
前記多重化手段は、前記各映像データと、前記各映像データに対応する前記音声符号化手段により符号化された音声データと、の時間のずれ量が前記第２のデータ単位の時間長以下となるよう、前記音声符号化手段により符号化された前記音声データの中から前記第２のデータ単位で音声データを選択して多重化し、
注目する記録指示に相当する符号化された映像データの開始時点を第１の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第２のデータ単位の音声データの開始時点と前記第１の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、始端を決定し、
前記注目する記録指示に相当する符号化された映像データの終了時点を第２の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第２のデータ単位の音声データの終了時点と前記第２の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、終端を決定し、
前記オフセット量は、初期値が１回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第１の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第２の基準時点までの時間長との差が加算される記録装置。

【請求項2】

前記映像符号化手段は、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続する
請求項１に記載の記録装置。

【請求項3】

前記映像符号化手段は、各前記記録指示間においては符号化を行わない
請求項１に記載の記録装置。

【請求項4】

前記多重化手段は、ＭＰＥＧ−ＴＳに準拠して多重化を行う
請求項１〜３の何れか１項に記載の記録装置。

【請求項5】

映像データを第１のデータ単位ごとに圧縮して符号化する映像符号化ステップと、
音声データを前記第１のデータ単位とは時間長が異なる第２のデータ単位ごとに圧縮して符号化する音声符号化ステップと、
記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する符号化された音声データとを、一つの記録データとして多重化する多重化ステップと
を有し、
前記音声符号化ステップは、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、
前記多重化ステップは、前記各映像データと、前記各映像データに対応する前記音声符号化ステップにより符号化された音声データと、の時間のずれ量が前記第２のデータ単位の時間長以下となるよう、符号化された前記音声データの中から前記第２のデータ単位で音声データを選択して多重化し、
注目する記録指示に相当する符号化された映像データの開始時点を第１の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第２のデータ単位の音声データの開始時点と前記第１の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、始端を決定し、
前記注目する記録指示に相当する符号化された映像データの終了時点を第２の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第２のデータ単位の音声データの終了時点と前記第２の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、終端を決定し、
前記オフセット量は、初期値が１回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第１の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第２の基準時点までの時間長との差が加算される多重化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は記録装置及び多重化方法に関する。

【背景技術】

【0002】

ビデオカメラなどの撮像装置においては、クリップコンティニュアス記録とも呼ばれる技術が知られている。この技術では、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて数回繰り返された際に、この数回分の記録指示に対応するデータをまとめて、一つの記録データを作成する。なお、記録データは、クリップ又はストリームとも呼ばれる。その際、記録開始指示から記録停止指示までの期間に相当する各映像データと各映像データに対応する音声データとが一つの記録データとして多重化される。また、近年、ＡＶＣＨＤ（登録商標）などの規格に準拠した圧縮データについて、クリップコンティニュアス記録を行うことが、求められている。

【0003】

クリップコンティニュアス記録においては、多重化される映像データと音声データとの間の時間的なずれを抑え、映像データと音声データの同期を行うことが求められる。

【0004】

ここで、特許文献１では、符号化処理が一時停止及び再開される場合において、符号化された映像データと符号化された音声データとを時間的に対応させる技術について開示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−５４１５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載された技術では、多重化対象のデータは圧縮されたデータではなく、依然として、圧縮データを対象としたクリップコンティニュアス記録のための多重化が必要とされている。

【0007】

本発明の目的は、音声と映像との時間的なずれを抑制しつつ、圧縮データを対象としたクリップコンティニュアス記録のための多重化を行うことができる記録装置及び多重化方法を提供することにある。

【課題を解決するための手段】

【0008】

そこで、本発明は、映像データを第１のデータ単位ごとに圧縮して符号化する映像符号化手段と、音声データを前記第１のデータ単位とは時間長が異なる第２のデータ単位ごとに圧縮して符号化する音声符号化手段と、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する前記映像符号化手段により符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する前記音声符号化手段により符号化された音声データとを、一つの記録データとして多重化する多重化手段と
を有し、前記音声符号化手段は、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、前記多重化手段は、前記各映像データと、前記各映像データに対応する前記音声符号化手段により符号化された音声データと、の時間のずれ量が前記第２のデータ単位の時間長以下となるよう、前記音声符号化手段により符号化された前記音声データの中から前記第２のデータ単位で音声データを選択して多重化し、注目する記録指示に相当する符号化された映像データの開始時点を第１の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第２のデータ単位の音声データの開始時点と前記第１の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、始端を決定し、前記注目する記録指示に相当する符号化された映像データの終了時点を第２の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第２のデータ単位の音声データの終了時点と前記第２の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、終端を決定し、前記オフセット量は、初期値が１回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第１の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第２の基準時点までの時間長との差が加算される記録装置を提供する。

【0009】

また、本発明は、映像データを第１のデータ単位ごとに圧縮して符号化する映像符号化ステップと、 音声データを前記第１のデータ単位とは時間長が異なる第２のデータ単位ごとに圧縮して符号化する音声符号化ステップと、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、前記記録開始指示から前記記録停止指示までの期間に相当する符号化された各映像データを互いに連結するとともに、前記各映像データと前記各映像データに対応する符号化された音声データとを、一つの記録データとして多重化する多重化ステップとを有し、前記音声符号化ステップは、少なくとも最初の前記記録指示から最後の前記記録指示までの間、符号化を継続し、前記多重化ステップは、前記各映像データと、前記各映像データに対応する前記音声符号化ステップにより符号化された音声データと、の時間のずれ量が前記第２のデータ単位の時間長以下となるよう、符号化された前記音声データの中から前記第２のデータ単位で音声データを選択して多重化し、注目する記録指示に相当する符号化された映像データの開始時点を第１の基準時点として、累積されたオフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの始端の前記第２のデータ単位の音声データの開始時点と前記第１の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、始端を決定し、前記注目する記録指示に相当する符号化された映像データの終了時点を第２の基準時点として、累積された前記オフセット量だけ時間をずらした符号化された音声データについて、前記注目する記録指示に相当する符号化された音声データの終端の前記第２のデータ単位の音声データの終了時点と前記第２の基準時点との差が前記第２のデータ単位の時間長の半分以下となるよう、終端を決定し、前記オフセット量は、初期値が１回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差であり、前記注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された始端までの時間長と、最初の前記記録開始指示に相当する時点から前記第１の基準時点までの時間長との差が加算され、前記注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の前記記録開始指示に相当する時点から、決定された終端までの時間長と、前記第２の基準時点までの時間長との差が加算される多重化方法を提供する。

【発明の効果】

【0010】

本発明によれば、音声と映像との時間的なずれを抑制しつつ、圧縮データを対象としたクリップコンティニュアス記録のための多重化を行うことができる記録装置及び多重化方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態にかかる撮像装置の構成を示すブロック図である。

【図2】図２は、実施の形態にかかる多重化部による多重化処理の際に選択される映像データ及び音声データを示す模式図である。

【図3】図３は、実施の形態にかかる多重化部における多重化対象の選択処理の動作の流れについての一例を示すフローチャートである。

【図4】図４は、実施の形態にかかる多重化対象の選択処理に基づいて選択された映像データ及び音声データの時間的な対応関係を示す模式図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態にかかる撮像装置１の構成を示すブロック図である。図１に示されるように、撮像装置１は、撮像部１０と、音声取得部２０と、操作部３０と、記録装置４０と、記録媒体５０とを含む。

【0013】

撮像部１０は、映像データを取得する。具体的には、撮像部１０は、例えばＣＣＤ（Charge Coupled Device Image Sensor)イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子により、映像データを取得する。撮像部１０は、取得した映像データを後述する映像符号化部４０１に出力する。

【0014】

音声取得部２０は、音声データを取得する。具体的には、音声取得部２０は、例えばマイクにより、音声データを取得する。音声取得部２０は、取得した音声データを後述する音声符号化部４０３に出力する。

【0015】

操作部３０は、ボタン、タッチパネルなどにより構成され、記録開始指示及び記録停止指示からなる一組の記録指示を含むユーザからの各種指示を受付ける。なお、クリップコンティニュアス記録を行う際、最後の記録指示における記録停止指示は、記録完了指示と呼ばれてもよい。また、記録完了指示以外の記録停止指示は、記録一時停止指示と呼ばれてもよい。操作部３０は、記録指示を受付けると、後述する記録操作受付部４００に通知する。

【0016】

本実施の形態では、操作部３０は、図示しない録画ボタンを備えており、ユーザは録画ボタンを押すことにより記録開始指示及び記録停止指示の操作を行う。例えば、ユーザが録画ボタンを押すことが記録開始指示となり、再度、ユーザが録画ボタンを押すことが記録停止指示となる。また、例えばユーザが録画ボタンを長押しした場合、記録終了指示となる。

【0017】

記録装置４０は、図１に示されるように、記録操作受付部４００と、映像符号化部４０１と、映像用バッファ４０２と、音声符号化部４０３と、音声用バッファ４０４と、多重化部４０５と、多重化用バッファ４０６と、記録媒体インタフェース（Ｉ／Ｆ）部４０７とを含む。映像用バッファ４０２、音声用バッファ４０４、及び多重化用バッファ４０６は、それぞれ、例えば、ＦＩＦＯ（first-in first-out）形式またはリングバッファ形式のＲＡＭ（Random Access Memory）により構成されている。また、記録操作受付部４００、映像符号化部４０１、音声符号化部４０３及び多重化部４０５は、それぞれハードウェアにより実現されてもよいし、コンピュータがプログラムを実行することにより実現されてもよい。

【0018】

記録操作受付部４００は、操作部３０が受け付けた記録開始指示及び記録停止指示を受付け、多重化部４０５に指示を通知する。

【0019】

映像符号化部４０１は、撮像部１０が出力した映像データを予め定められたデータ単位ごとに圧縮して符号化する。例えば、映像符号化部４０１は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの予め定められたフォーマットで圧縮して符号化する。本実施の形態では、映像符号化部４０１は、１５フレームをデータ単位として符号化を行っている。なお、本実施の形態では、映像フレームレートを２９．９７Ｈｚとして、１フレームあたりの時間を３３．３ミリ秒として扱う。また、１５フレームの集まりを１つのＧＯＰ（Group Of Pictures）単位として扱う。つまり、１ＧＯＰあたりの時間が４９９．５ミリ秒となる。したがって、映像符号化部４０１は、４９９．５ミリ秒分の映像データを一つの単位として符号化している。すなわち、映像符号化部４０１は、１５フレームを含むＧＯＰ単位で符号化する。映像符号化部４０１は、符号化した映像データを映像用バッファ４０２に出力する。以下、映像符号化部４０１の符号化における上記データ単位を、第１のデータ単位と称すことがある。
なお、本実施の形態では、映像符号化部４０１は、少なくともクリップコンティニュアス記録を行う間、すなわち、最初の記録指示から最後の記録指示までの間、記録停止指示に関わらず、符号化を継続している。
映像用バッファ４０２は、映像符号化部４０１が出力した符号化された映像データを一時記憶する。

【0020】

音声符号化部４０３は、音声取得部２０が出力した音声データを予め定められたデータ単位ごとに圧縮して符号化する。例えば、音声符号化部４０３は、Ｄｏｌｂｙ Ｄｉｇｉｔａｌなどの予め定められたフォーマットで圧縮して符号化する。以下、音声符号化部４０３の符号化における上記データ単位を、第２のデータ単位と称すことがある。ここで、第２のデータ単位の時間長は、上記第１のデータ単位の時間長とは異なる。本実施の形態では、音声符号化部４０３は、１フレームを第２のデータ単位として符号化するが、Ｄｏｌｂｙ Ｄｉｇｉｔａｌの１フレームは３２ミリ分の音声データから構成されている。したがって、本実施の形態では、映像符号化部４０１が、４９９．５ミリ秒分の映像データを単位として符号化するのに対し、音声符号化部４０３は、３２ミリ秒分の音声データを単位として符号化する。音声符号化部４０３は、符号化した音声データを音声用バッファ４０４に出力する。
なお、本実施の形態では、音声符号化部４０３は、少なくともクリップコンティニュアス記録を行う間、すなわち、最初の記録指示から最後の記録指示までの間、記録停止指示に関わらず、符号化を継続している。
音声用バッファ４０４は、音声符号化部４０３が出力した符号化された音声データを一時記憶する。

【0021】

多重化部４０５は、映像用バッファ４０２に記憶されている符号化された映像データと、音声用バッファ４０４に記憶されている符号化された音声データを予め定められたフォーマットで多重化する。本実施の形態では、予め定められたフォーマットとして、ＭＰＥＧ−ＴＳ（Transport Stream）を採用しており、多重化部４０５は、ＭＰＥＧ−ＴＳに準拠して多重化を行う。多重化部４０５は、生成した多重化データを多重化用バッファ４０６に出力する。なお、多重化部４０５の詳細については、後述する。
多重化用バッファ４０６は、多重化部４０５により生成された多重化データを一時記憶する。

【0022】

記録媒体インタフェース部４０７は、多重化用バッファ４０６に記憶された多重化データを記録媒体５０に記録するためのインタフェースである。記録媒体５０は、半導体メモリカード、光ディスク、ハードディスクなどのランダムアクセス可能な記録媒体である。例えば記録媒体５０は、スロットに装着された半導体メモリカードであってもよい。

【0023】

ここで、多重化部４０５は、クリップコンティニュアス記録の場合、次のように多重化を行う。すなわち、多重化部４０５は、記録開始指示と記録停止指示からなる一組の記録指示が時間間隔をあけて繰り返された場合に、記録開始指示から記録停止指示までの期間に相当する符号化された各映像データを互いに連結するとともに、各映像データと各映像データに対応する符号化された音声データとを、一つの記録データとして多重化する。具体的には、多重化部４０５は、記録操作受付部４００から通知される記録開始指示と記録停止指示のタイミングに基づいて、映像用バッファ４０２に蓄積された符号化された映像データのうち、記録対象として採用する符号化された映像データを選択する。ここで、符号化された映像データの選択は、上記第１のデータ単位で行われる。また、多重化部４０５は、音声用バッファ４０４に蓄積された符号化された音声データのうち、各映像データに対応する符号化された音声データとして採用する符号化された音声データを選択する。ここで、符号化された音声データの選択は、上記第２のデータ単位で行われる。

【0024】

ここで、上述の通り、第１のデータ単位の時間長と、第２のデータ単位の時間長とは異なるため、クリップコンティニュアス記録の場合、記録データにおいて映像データと音声データの時間的なずれが生じる。そこで、この時間的なずれを低減するために、本実施の形態では、多重化部４０５は、以下に示すように、多重化を行う。

【0025】

多重化部４０５は、記録開始指示から記録停止指示までの期間に相当する符号化された各映像データと、各映像データに対応する符号化された音声データと、の時間のずれ量が第２のデータ単位の時間長以下となるよう、符号化された第２のデータ単位の音声データの中から第２のデータ単位で音声データを選択して多重化する。

【0026】

具体的には、本実施の形態では、多重化部４０５は、次のように多重化を行う。ここで、第１の基準時点とは、注目する記録指示に相当する符号化された映像データの開始時点である。また、第２の基準時点とは、注目する記録指示に相当する符号化された映像データの終了時点である。多重化部４０５は、累積されたオフセット量だけ時間をずらした音声データについて、注目する記録指示に相当する音声データの始端の第２のデータ単位の音声データの開始時点と第１の基準時点との差が第２のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、ここで、音声データの時間がずらされることは、音声データと映像データの本来の時間的な対応関係を崩して、音声データと映像データとを対応させることを意味する。また、多重化部４０５は、累積されたオフセット量だけ時間をずらした音声データについて、注目する記録指示に相当する符号化された音声データの終端の第２のデータ単位の音声データの終了時点と第２の基準時点との差が第２のデータ単位の時間長の半分以下となるよう、終端を決定する。ここで、オフセット量は以下のように定義される。オフセット量は、初期値が、１回目の記録開始時点の符号化された映像データの始端と符号化された音声データの始端の差である。また、オフセット量は、注目する記録指示に相当する符号化された音声データの始端の決定ごとに、最初の記録開始指示に相当する時点から、決定された始端までの時間長と、最初の記録開始指示に相当する時点から第１の基準時点までの時間長との差が加算される。また、オフセット量は、注目する記録指示に相当する符号化された音声データの終端の決定ごとに、最初の記録開始指示に相当する時点から、決定された終端までの時間長と、第２の基準時点までの時間長との差が加算される。なお、加算値は正の値のみならず負の値もとる。このため、累積されたオフセット量は、正の値又は負の値をとる。

【0027】

以下、具体例を交えて説明する。
図２は、多重化部４０５による多重化処理の際に選択される映像データ及び音声データを示す模式図である。具体的には、図２において、１段目には、符号化された映像データ系列と符号化された音声データ系列が図示されている。すなわち、１段目は、映像用バッファ４０２に蓄積される符号化された映像データ及び音声用バッファ４０４に蓄積される符号化された音声データの一例を示している。２段目では、１回目の記録指示に相当する音声データとして音声用バッファ４０４中から多重化対象の第２のデータ単位の音声データを選択する際、終端とすべき第２のデータ単位の音声データの決定方法を説明している。３段目では、２回目の記録指示に相当する音声データとして音声用バッファ４０４中から多重化対象の第２のデータ単位の音声データを選択する際、始端とすべき第２のデータ単位の音声データの決定方法を説明している。４段目では、２回目の記録指示に相当する音声データとして音声用バッファ４０４中から多重化対象の第２のデータ単位の音声データを選択する際、終端とすべき第２のデータ単位の音声データの決定方法を説明している。５段目では、３回目の記録指示に相当する音声データとして音声用バッファ４０４中から多重化対象の第２のデータ単位の音声データを選択する際、始端とすべき第２のデータ単位の音声データの決定方法を説明している。

【0028】

なお、図２において、各矩形が、第１のデータ単位の映像データ又は第２のデータ単位の音声データを示しており、ハッチングされた矩形は、多重化対象として選択されるデータを示している。

【0029】

具体的には、図２に示した例では、次のようになっている。
映像データ１００は、１回目の記録指示に相当する映像データの始端である。映像データ１０１は、１回目の記録指示に相当する映像データの終端である。映像データ１０２は、時間的に映像データ１０１に続く映像データである。映像データ１０３は、時間的に映像データ１０４のひとつ前の映像データである。映像データ１０４は、２回目の記録指示に相当する映像データの始端である。映像データ１０５は、２回目の記録指示に相当する映像データの終端である。映像データ１０６は、時間的に映像データ１０５に続く映像データである。映像データ１０７は、時間的に映像データ１０８のひとつ前の映像データである。映像データ１０８は、３回目の記録指示に相当する映像データの始端である。

【0030】

音声データ２００〜２１４は、クリップコンティニュアス記録を行う間に得られる符号化された音声データを示しており、特に音声データ２００は、１回目の記録開始指示時点の音声データである。

【0031】

図２を参照して、多重化部４０５における多重化対象の選択について、順を追って説明する。本実施の形態では多重化部４０５は、上述の通りオフセット量を用いて多重化対象を選択する。なお、図２に示した例では、オフセット量の初期値は、０である。まず、多重化部４０５は、１回目の記録指示に相当する映像データに対応する符号化された音声データの選択を行う。このとき、映像データ１００の開始時点が第１の基準時点となり、映像データ１０１の終了時点が第２の基準時点となる。オフセット量が０であるため、多重化部４０５は、音声データを時間的にずらすことなく、１回目の記録指示に相当する音声データの始端の第２のデータ単位の音声データの開始時点と第１の基準時点との差が第２のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、本実施の形態では、第２のデータ単位の時間長の半分とは、１６ミリ秒である。このため、図２の２段目に示されるように、多重化部４０５は、音声データ２００を１回目の記録指示に相当する音声データの始端と決定する。なお、最初の記録開始指示に相当する時点、すなわち映像データ１００の開始時点から、決定された始端である音声データ２００までの時間長と、最初の記録開始指示に相当する時点、すなわち映像データ１００の開始時点から第１の基準時点までの時間長との差はない。このため、１回目の記録指示に相当する音声データの始端決定後、オフセット量は加算されない。

【0032】

次に、オフセット量が引き続き０であるため、多重化部４０５は、音声データを時間的にずらすことなく、１回目の記録指示に相当する音声データの終端の第２のデータ単位の音声データの終了時点と第２の基準時点との差が第２のデータ単位の時間長の半分以下となるよう、終端を決定する。ここでは図２の２段目に示されるように、第２の基準時点付近の音声データとして音声データ２０３〜２０５がある。しかし、音声データ２０４のみが、終了時点と第２の基準時点との差が第２のデータ単位の時間長の半分以下となる。したがって、多重化部４０５は、音声データ２０４を、１回目の記録指示に相当する音声データの終端として決定する。

【0033】

終端の決定に伴い、オフセット量が更新される。具体的には、最初の記録開始指示に相当する時点、すなわち映像データ１００の開始時点から、決定された終端である音声データ２０４の終了時点までの時間長と、最初の記録開始指示に相当する時点から第２の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をＯｆｆｓｅｔ１とする。なお、図２の２段目に示されるように、Ｏｆｆｓｅｔ１は、音声データ２０４の終了時点と第２の基準時点との差に相当する。

【0034】

次に、多重化部４０５は、２回目の記録指示に相当する映像データに対応する符号化された音声データの選択を行う。このとき、映像データ１０４の開始時点が第１の基準時点となり、映像データ１０５の終了時点が第２の基準時点となる。多重化部４０５は、累積されたオフセット量、すなわちＯｆｆｓｅｔ１だけ時間をずらした音声データについて、２回目の記録指示に相当する音声データの始端の第２のデータ単位の音声データの開始時点と第１の基準時点との差が第２のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、本例では、図２の３段目に示されるように、音声データ系列は、時間的に遅延する方向、すなわち図の右方向に、Ｏｆｆｓｅｔ１だけずらされている。音声データ系列のずらす方向は、累積されたオフセット量の値の正負により決定される。本実施の形態では、累積されたオフセット量の値が正である場合、音声データは多重化対象の選択にあたって遅延する方向にずらされる。

【0035】

ここでは図２の３段目に示されるように、第１の基準時点付近の音声データとして音声データ２０６〜２０８がある。しかし、音声データ２０７のみが、開始時点と第１の基準時点との差が第２のデータ単位の時間長の半分以下となる。したがって、多重化部４０５は、音声データ２０７を、２回目の記録指示に相当する音声データの始端として決定する。

【0036】

始端の決定に伴い、オフセット量が更新される。具体的には、映像データ１００の開始時点から音声データ２０７の開始時点までの時間長と、映像データ１００の開始時点から第１の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をＯｆｆｓｅｔ２とする。なお、図２の３段目に示されるように、Ｏｆｆｓｅｔ２は、音声データ２０７の開始時点と第１の基準時点との差に相当する。

【0037】

次に、多重化部４０５は、累積されたオフセット量、すなわちＯｆｆｓｅｔ２だけ時間をずらした音声データについて、２回目の記録指示に相当する音声データの終端の第２のデータ単位の音声データの終了時点と第２の基準時点との差が第２のデータ単位の時間長の半分以下となるよう、終端を決定する。なお、本例では、図２の４段目に示されるように、音声データ系列は、時間的に早まる方向、すなわち図の左方向に、Ｏｆｆｓｅｔ２だけずらされている。

【0038】

ここでは図２の４段目に示されるように、第２の基準時点付近の音声データとして音声データ２０９〜２１１がある。しかし、音声データ２０９のみが、終了時点と第２の基準時点との差が第２のデータ単位の時間長の半分以下となる。したがって、多重化部４０５は、音声データ２０９を、２回目の記録指示に相当する音声データの終端として決定する。

【0039】

終端の決定に伴い、オフセット量が更新される。具体的には、映像データ１００の開始時点から音声データ２０９の終了時点までの時間長と、映像データ１００の開始時点から第２の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をＯｆｆｓｅｔ３とする。なお、図２の４段目に示されるように、Ｏｆｆｓｅｔ３は、音声データ２０９の終了時点と第２の基準時点との差に相当する。

【0040】

次に、多重化部４０５は、３回目の記録指示に相当する映像データに対応する符号化された音声データの選択を行う。このとき、映像データ１０８の開始時点が第１の基準時点となる。多重化部４０５は、累積されたオフセット量、すなわちＯｆｆｓｅｔ３だけ時間をずらした音声データについて、３回目の記録指示に相当する音声データの始端の第２のデータ単位の音声データの開始時点と第１の基準時点との差が第２のデータ単位の時間長の半分以下となるよう、始端を決定する。なお、本例では、図２の４段目に示されるように、音声データ系列は、時間的に早まる方向、すなわち図の左方向に、Ｏｆｆｓｅｔ３だけずらされている。

【0041】

ここでは図２の５段目に示されるように、第１の基準時点付近の音声データとして音声データ２１２〜２１４がある。しかし、音声データ２１４のみが、開始時点と第１の基準時点との差が第２のデータ単位の時間長の半分以下となる。したがって、多重化部４０５は、音声データ２１４を、３回目の記録指示に相当する音声データの始端として決定する。

【0042】

始端の決定に伴い、オフセット量が更新される。具体的には、映像データ１００の開始時点から音声データ２１４の開始時点までの時間長と、映像データ１００の開始時点から第１の基準時点までの時間長との差が加算されることにより、オフセット量が更新される。ここでは、更新後のオフセット量をＯｆｆｓｅｔ４とする。なお、図２の５段目に示されるように、Ｏｆｆｓｅｔ４は、音声データ２１４の開始時点と第１の基準時点との差に相当する。

【0043】

以降、上記と同様に、３回目の記録指示に相当する音声データの終端が決定される。多重化部４０５は、クリップコンティニュアス記録における最後の記録指示における記録停止指示、すなわち記録完了指示がなされるまで、記録指示に応じて、映像データ及び音声データの選択を繰り返す。なお、多重化部４０５は、記録完了指示があった場合には、例えば、上記選択方法ではなく、多重化対象の全ての音声データの時間長が、多重化対象の全ての映像データの時間長よりも長くなるよう、当該最後の記録指示に相当する音声データの終端を決定してもよい。

【0044】

ここで、多重化部４０５における多重化対象の選択処理の動作の流れについて、説明する。図３は、多重化部４０５における多重化対象の選択処理の動作の流れについての一例を示すフローチャートである。

【0045】

ステップ１０（Ｓ１０）において、多重化部４０５は、記録指示に相当する映像データの始端を選択する。具体的には、多重化部４０５は、記録操作受付部４００から通知された記録開始指示の指示タイミングにしたがって、始端とすべき映像データを特定する。

【0046】

ステップ１１（Ｓ１１）において、多重化部４０５は、記録指示に相当する映像データの終端を選択する。具体的には、多重化部４０５は、記録操作受付部４００から通知された記録停止指示の指示タイミングにしたがって、終端とすべき映像データを特定する。

【0047】

ステップ１２（Ｓ１２）において、多重化部４０５は、記録操作受付部４００から通知された記録指示が当該クリップコンティニュアス記録における最初の記録指示であるか否かを判定する。最初の指示である場合には、処理はステップ１３へと移行する。最初の指示ではない場合には、処理はステップ１４へと移行する。

【0048】

ステップ１３（Ｓ１３）において、多重化部４０５は、オフセット量の初期値を設定する。例えば、多重化部４０５は、初期値として０を設定する。

【0049】

ステップ１４（Ｓ１４）において、多重化部４０５は、記録指示に相当する音声データの始端を選択し、ステップ１５（Ｓ１５）において、多重化部４０５は、始端の選択結果に基づいて、オフセット量を更新する。

【0050】

また、ステップ１６（Ｓ１６）において、多重化部４０５は、記録指示に相当する音声データの終端を選択し、ステップ１７（Ｓ１７）において、多重化部４０５は、終端の選択結果に基づいて、オフセット量を更新する。なお、多重化部４０５は、記録操作受付部４００から通知された記録停止指示が記録完了指示である場合には、多重化対象の全ての音声データの時間長が、多重化対象の全ての映像データの時間長よりも長くなるよう、当該最後の記録指示に相当する音声データの終端を決定する。

【0051】

ステップ１８（Ｓ１８）において、多重化部４０５は、記録操作受付部４００から通知された記録停止指示が記録完了指示であったか否かを判定する。記録完了指示である場合には、多重化部４０５は、多重化対象の選択処理を終了する。記録完了指示ではない場合には、処理はステップ１０へと戻る。

【0052】

図４は、上述の多重化対象の選択処理に基づいて選択された映像データ及び音声データの時間的な対応関係を示す模式図である。本実施の形態に係る多重化対象の選択処理によれば、各操作指示間の映像データの繋ぎ目と音声データの繋ぎ目のずれは、最大でも第２のデータ単位の時間量である。このため、クリップコンティニュアス記録により作成される記録データは、音声と映像の時間的なずれを、いずれの時間帯においても第２のデータ単位の時間量以下に抑えることができる。すなわち、記録装置４０によれば、音声と映像との時間的なずれを抑制しつつ、圧縮データを対象としたクリップコンティニュアス記録のための多重化を行うことができる。

【0053】

以上、多重化部４０５における多重化対象の選択処理について説明したが、上記選択処理を実現する具体的な演算方法の一例を示す。なお、以下に示す演算方法は、一例であり、他の演算方法により上記選択処理が実現されてもよい。

【0054】

まず、次のように変数m_n、offset_n、m_n’、offset_n’、t_v、t_Aを定義する。
m_n：映像用バッファに４０２に蓄積された、１回目の記録指示に相当する映像データの最初から、ｎ回目の記録指示に相当する映像データの最後までの第１の単位の映像データの数
offset_n：ｎ回目の記録指示に相当する音声データの終端を決定する直前の累積オフセット量
m_n’：映像用バッファに４０２に蓄積された、１回目の記録指示に相当する映像データの最初から、ｎ回目の記録指示に相当する映像データの開始直前までの第１の単位の映像データの数
offset_n’：ｎ回目の記録指示に相当する音声データの始端を決定する直前の累積オフセット量
t_v：第１の単位の時間長
t_A：第２の単位の時間長

【0055】

例えば、ｎ＝２の場合、上記例で説明すると、m₂は映像データ１００から映像データ１０５までの第１の単位の映像データ数であり、offset₂は上記Ｏｆｆｓｅｔ２に相当する。また、ｎ＝２の場合、上記例で説明すると、m₂’は映像データ１００から映像データ１０３までの第１の単位の映像データ数であり、offset₂’は上記Ｏｆｆｓｅｔ１に相当する。また、本実施の形態では、t_v＝４９９．５ミリ秒であり、t_A＝３２ミリ秒である。

【0056】

多重化部４０５は、以下の演算を行って、ｎ回目の記録指示に相当する音声データの終端を決定する。

【0057】

多重化部４０５は、下記式（１）に示されるように、商q_nを得る。なお、q_nは、整数値であり、小数点以下の値は切り捨てた値である。
q_n =（m_n × t_v − offset_n）／ t_A ・・・（１）

【0058】

また、多重化部４０５は、下記式（２）に示されるように、剰余r_nを得る。なお、式（２）において「％」は、剰余演算子である。
r_n =（m_n × t_v − offset_n）％ t_A ・・・（２）

【0059】

多重化部４０５は、r_n = ０である場合、１回目の記録指示に相当する音声データの始端から数えてq_n番目の第２の単位の音声データをｎ回目の記録指示に相当する音声データの終端として決定する。また、多重化部４０５は、r_n = ０ではない場合、以下の式（３）が成り立つとき、１回目の記録指示に相当する音声データの始端から数えてq_n番目の第２の単位の音声データをｎ回目の記録指示に相当する音声データの終端として決定する。また、多重化部４０５は、r_n = ０ではなく、かつ、以下の式（３）が成り立たない場合、１回目の記録指示に相当する音声データの始端から数えてq_n＋１番目の第２の単位の音声データをｎ回目の記録指示に相当する音声データの終端として決定する。
（m_n × t_v） ＜ （q_n × t_A + t_A／２ + offset_n） ・・・（３）

【0060】

また、多重化部４０５は、以下の演算を行って、ｎ回目の記録指示に相当する音声データの始端を決定する。

【0061】

多重化部４０５は、下記式（４）に示されるように、商q_n’を得る。なお、q_n’は、整数値であり、小数点以下の値は切り捨てた値である。
q_n ’=（m_n’ × t_v − offset_n’）／ t_A ・・・（４）

【0062】

また、多重化部４０５は、下記式（５）に示されるように、剰余r_n’を得る。なお、式（５）において「％」は、剰余演算子である。
r_n’ =（m_n’ × t_v − offset_n’）％ t_A ・・・（５）

【0063】

多重化部４０５は、r_n’ = ０である場合、１回目の記録指示に相当する音声データの始端から数えてq_n’＋１番目の第２の単位の音声データをｎ回目の記録指示に相当する音声データの終端として決定する。また、多重化部４０５は、r_n’ = ０ではない場合、以下の式（６）が成り立つとき、１回目の記録指示に相当する音声データの始端から数えてq_n’＋１番目の第２の単位の音声データをｎ回目の記録指示に相当する音声データの終端として決定する。また、多重化部４０５は、r_n’ = ０ではなく、かつ、以下の式（６）が成り立たない場合、１回目の記録指示に相当する音声データの始端から数えてq_n’＋２番目の第２の単位の音声データをｎ回目の記録指示に相当する音声データの終端として決定する。
（m_n × t_v） ＜＝ （q_n × t_A + t_A／２ + offset_n） ・・・（６）

【0064】

以上、多重化部４０５の多重化対象の選択処理について説明した。
ここで、多重化が、ＭＰＥＧ−ＴＳに準拠した多重化である場合には、クリップコンティニュアス記録により生成された記録データに含まれる、再生するための時間情報が連続性を有する必要がある。このため、多重化部４０５は、多重化対象の映像データの時間情報が連続性を有するよう、２回目以降の各記録指示に相当する映像データについて、再生するための時間情報であるＰＴＳ（Presentation Time Stamp）及びＤＴＳ（Decoding Time Stamp）を修正する。また、多重化部４０５は、多重化対象の音声データの時間情報が連続性を有するよう、２回目以降の各記録指示に相当する音声データについて、ＰＴＳを修正する。

【0065】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、映像符号化部４０１は、クリップコンティニュアス記録を行う間、記録停止指示の有無に関わらず、符号化を継続して映像用バッファに蓄積を行っているが、記録停止指示ごとに符号化を一時停止してもよい。なお、この場合、例えば、符号化の一時停止期間に相当する時間長が第１のデータ単位の映像データにおける何個分の時間長であるかをカウントするなどすれば、上記実施の形態と同様に、多重化対象の選択処理が可能である。また、映像符号化の一時停止期間中は、撮像部１０による映像データの取得も停止されてもよい。

【0066】

また、本発明は、圧縮して符号化された映像データと圧縮して符号化された音声データを対象としたクリップコンティニュアス記録における多重化に適用可能であり、多重化のフォーマットは限定されない。例えば、上記実施の形態では、ＭＰＥＧ−ＴＳに準拠して多重化を例に説明したが、ＭＰＥＧ−ＰＳ（Program Stream）などの他のフォーマットにしたがって多重化が行われてもよい。

【0067】

また、撮像装置１のいずれかの構成をプログラムの実行により実現する場合、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【符号の説明】

【0068】

１ 撮像装置
１０ 撮像部
２０ 音声取得部
３０ 操作部
４０ 記録装置
５０ 記録媒体
４００ 記録操作受付部
４０１ 映像符号化部
４０２ 映像用バッファ
４０３ 音声符号化部
４０４ 音声用バッファ
４０５ 多重化部
４０６ 多重化用バッファ
４０７ 記録媒体インタフェース部

【図1】

【図2】

【図3】

【図4】