特許 7431549 符号化装置、撮像装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-06

(45)【発行日】2024-02-15

(54)【発明の名称】符号化装置、撮像装置、制御方法、及びプログラム

(51)【国際特許分類】

   H04N 19/13 20140101AFI20240207BHJP

   H04N 19/162 20140101ALI20240207BHJP

   H04N 19/179 20140101ALI20240207BHJP

   H04N 5/926 20060101ALI20240207BHJP

   H04N 5/222 20060101ALI20240207BHJP

【ＦＩ】

H04N19/13

H04N19/162

H04N19/179

H04N5/926 200

H04N5/222

【請求項の数】 8

(21)【出願番号】P 2019181652

(22)【出願日】2019-10-01

(65)【公開番号】P2021057846

(43)【公開日】2021-04-08

【審査請求日】2022-09-27

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】川上 雅司

【審査官】田部井 和彦

(56)【参考文献】

【文献】国際公開第２０１７／１９９８００（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１８０５１０（ＷＯ，Ａ１）

【文献】特開２０１９－０６８３８６（ＪＰ，Ａ）

【文献】国際公開第２０１７／１２６３３３（ＷＯ，Ａ１）

【文献】特開平０９－２７０９９１（ＪＰ，Ａ）

【文献】特表２０１７－５１５３６８（ＪＰ，Ａ）

【文献】特開２０１４－２０７６１３（ＪＰ，Ａ）

【文献】特開２０００－３５８１８３（ＪＰ，Ａ）

【文献】特開２０１４－０１４０７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／１３

Ｈ０４Ｎ １９／１６２

Ｈ０４Ｎ １９／１７９

Ｈ０４Ｎ ５／９２６

Ｈ０４Ｎ ５／２２２

(57)【特許請求の範囲】

【請求項1】

撮像手段から入力された画像データに対して二値化処理を含むデータ処理を行うことにより二値データを生成するデータ処理手段と、
前記二値データを算術符号化することにより算術符号データを生成する算術符号化手段と、
前記算術符号データを記録手段に記録するように制御する制御手段と、
を備え、
前記画像データが静止画連写中に生成された静止画データである場合、前記制御手段は、前記算術符号データを生成せずに前記二値データを前記記録手段に記録するように制御し、
前記記録手段に前記二値データが記録された場合、前記制御手段は、前記撮像手段による新たな画像データの入力が行われていない期間に、前記記録手段に記録されている前記二値データを算術符号化することにより前記算術符号データを生成して当該算術符号データを前記記録手段に記録するように制御する
ことを特徴とする符号化装置。

【請求項2】

前記記録手段に記録されている前記二値データから前記算術符号データが生成された後に、前記制御手段は、当該二値データを前記記録手段から削除するように制御する
ことを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記画像データが静止画連写中に生成された静止画データである場合であっても、前記算術符号化手段が他の二値データに対する算術符号化を実行中でない場合には、前記制御手段は、前記二値データから前記算術符号データを生成して当該算術符号データを前記記録手段に記録するように制御する
ことを特徴とする請求項１又は２に記載の符号化装置。

【請求項4】

前記画像データが動画撮影中に生成された動画フレームデータである場合、前記制御手段は、前記算術符号データを生成せずに前記二値データを前記記録手段に記録するように制御する
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。

【請求項5】

前記画像データが動画撮影中に生成された動画フレームデータである場合、前記制御手段は、前記算術符号データを生成して当該算術符号データを前記記録手段に記録するように制御する
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。

【請求項6】

請求項１乃至５のいずれか１項に記載の符号化装置と、
前記撮像手段と、
を備えることを特徴とする撮像装置。

【請求項7】

撮像手段から入力された画像データに対して二値化処理を含むデータ処理を行うことにより二値データを生成するデータ処理手段と、前記二値データを算術符号化することにより算術符号データを生成する算術符号化手段と、を備える符号化装置が実行する制御方法であって、
前記算術符号データを記録手段に記録するように制御する制御工程を備え、
前記画像データが静止画連写中に生成された静止画データである場合、前記制御工程では、前記算術符号データを生成せずに前記二値データを前記記録手段に記録するように制御し、
前記記録手段に前記二値データが記録された場合、前記制御工程では、前記撮像手段による新たな画像データの入力が行われていない期間に、前記記録手段に記録されている前記二値データを算術符号化することにより前記算術符号データを生成して当該算術符号データを前記記録手段に記録するように制御する
ことを特徴とする制御方法。

【請求項8】

コンピュータを、請求項１乃至５のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、撮像装置、制御方法、及びプログラムに関する。

【背景技術】

【0002】

近年、デジタルカメラやデジタルカムコーダにおいて、１秒間に数十コマの撮影が可能な静止画連写性能を有する製品も出てきている。また、Ｈ．２６５に代表される高能率符号化方式が開発され、静止画フォーマットも規定されている（例えば、非特許文献１）。

【0003】

Ｈ．２６５では、エントロピー符号化としてＣＡＢＡＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が使用される。ＣＡＢＡＣは、符号化対象の入力値を二値化する二値化処理と、二値化処理により得られた二値データを算術符号化（二値算術符号化）する処理とに分かれる。後段の二値算術符号化処理は、ビット処理ゆえに圧縮率はハフマン符号化などに比べて高いが、処理速度が遅いという問題がある。

【0004】

例えば、発生符号量をフィードバックし、次に発生する符号量を予測しながら符号量制御を行うことで、画質を向上させることができる。しかし、二値算術符号化の処理が遅いため、発生符号量のフィードバックが遅れ、符号量制御の精度が落ちる課題がある。

【0005】

このような課題に対し、二値化処理までを撮像装置で行い、二値算術符号化処理を高速処理可能なクラウドなどの撮像装置外部において実行することで発生符号量のフィードバックを高速化し、符号量制御の精度を向上させる技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１５－２２６１７２号公報

【非特許文献】

【0007】

【文献】ITU-T, "SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video", Recommendation ITU-T H.265, 2018年2月

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１の技術を用いて動画像を記録する際は、記録するストリーム自体は撮像装置内の二値算術符号化処理部を用いて二値算術符号化が行われるため、処理に時間を要していた。しかし、各フレームによって発生させる符号量を調整することで平準化し、算術符号化処理が記録タイミングまでに終わるように制御していた。一方、静止画を符号化する際は、１枚当たりの符号量を所定の符号量に合わせ込む符号化制御ではなく、画質を優先した符号化制御が行われる。よって、高画質モードで静止画を撮影した場合は、情報量を大きく削減せずに符号化するため、１枚当たりの符号量は多くなる。更に、静止画連写の場合には、全てのピクチャで符号量が大量に発生し、かつ連写間隔も短くなるため、次の処理対象画像の入力までに二値算術符号化処理を終えることができず、連写速度が低下する場合があった。

【0009】

本発明はこのような状況に鑑みてなされたものであり、二値化処理及び算術符号化処理を実行可能な符号化装置において、静止画の連写速度の低下を抑制するように符号化を制御する技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明は、撮像手段から入力された画像データに対して二値化処理を含むデータ処理を行うことにより二値データを生成するデータ処理手段と、前記二値データを算術符号化することにより算術符号データを生成する算術符号化手段と、前記算術符号データを記録手段に記録するように制御する制御手段と、を備え、前記画像データが静止画連写中に生成された静止画データである場合、前記制御手段は、前記算術符号データを生成せずに前記二値データを前記記録手段に記録するように制御し、前記記録手段に前記二値データが記録された場合、前記制御手段は、前記撮像手段による新たな画像データの入力が行われていない期間に、前記記録手段に記録されている前記二値データを算術符号化することにより前記算術符号データを生成して当該算術符号データを前記記録手段に記録するように制御することを特徴とする符号化装置を提供する。

【発明の効果】

【0011】

本発明によれば、二値化処理及び算術符号化処理を実行可能な符号化装置において、静止画の連写速度の低下を抑制することが可能となる。

【0012】

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

【図面の簡単な説明】

【0013】

【図1】符号化装置１００の構成例を示すブロック図。

【図2】第１の実施形態に係る、符号化装置１００が実行する符号化処理のフローチャート。

【図3】符号化装置１００により符号化されたデータを復号する復号装置３００の構成例を示すブロック図。

【図4】第１の実施形態に係る、符号化装置１００が実行する算術符号データ生成処理のフローチャート。

【図5】第２の実施形態に係る、符号化装置１００が実行する符号化処理のフローチャート。

【図6】静止画連写中の符号化処理における、二値化部１１４、算術符号化部１１７、及び記録処理部１１８の動作のタイミングチャート。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0015】

［第１の実施形態］
図１は、第１の実施形態に係る符号化装置１００の構成例を示すブロック図である。符号化装置１００は、撮像装置に含まれていてもよいし、他の装置（例えば、パーソナルコンピュータなど）に含まれていてもよい。以下の説明において、符号化装置１００はＨ．２６５に対応しているものとするが、本実施形態はＨ．２６５に限定されない。

【0016】

符号化装置１００は、撮像部１０１、加算器１０２、直交変換部１０３、量子化部１０４、逆量子化部１０５、逆直交変換部１０６、加算器１０７、ループフィルタ１０８、フレームメモリ１０９、及び動き検出部１１０を備える。また、符号化装置１００は、動き補償部１１１、イントラ予測部１１２、スイッチ１１３、二値化部１１４、スイッチ１１５、スイッチ１１６、算術符号化部１１７、記録処理部１１８、記録媒体１１９、及び制御部１２０を備える。

【0017】

制御部１２０は、制御プログラムを格納したＲＯＭ、及びワークメモリとして使用されるＲＡＭを含み、制御プログラムに従って符号化装置１００の全体制御を行う。特に、制御部１２０は、二値化部１１４、スイッチ１１５、スイッチ１１６、算術符号化部１１７、及び記録処理部１１８を制御する。

【0018】

また、二値化部１１４、算術符号化部１１７、及び記録処理部１１８の間のデータのやり取りは、メモリ（不図示）を介して行われる。メモリは、データを格納するための、例えば揮発性メモリで構成される記憶領域である。

【0019】

撮像部１０１は、光学レンズ、絞り、フォーカス制御部、及びレンズ駆動部を含む、光学ズームが可能なレンズ光学系を有する。また、撮像部１０１は、レンズ光学系からの光情報を電気信号に変換する、ＣＣＤイメージセンサ又はＣＭＯＳセンサなどのイメージセンサを含む。撮像部１０１は、イメージセンサにより得られた電気信号をデジタル信号へ変換した画像データを生成し、デモザイク処理、ノイズ除去処理、光学歪補正処理、色補正処理等の現像処理を行うことで、符号化対象の入力画像を生成する。

【0020】

加算器１０２は、撮像部１０１から入力された入力画像と、後述するイントラ予測部１１２又は動き補償部１１１で生成された予測画像との差分画像を生成する。直交変換部１０３は、差分画像に対して直交変換を行う。直交変換は、例えば離散コサイン変換（ＤＣＴ変換）又は離散サイン変換（ＤＳＴ変換）である。

【0021】

量子化部１０４は、直交変換部１０３による直交変換により得られた変換係数に対して量子化処理を施す。これにより、入力画像の主に高周波成分の情報を削減し、情報量の圧縮を行うことができる。逆量子化部１０５は、量子化部１０４で量子化されたデータに対して逆量子化処理を行う。逆直交変換部１０６は、逆量子化されたデータに対して逆直交変換を行う。

【0022】

加算器１０７は、逆直交変換部１０６で生成された差分画像と、後述するスイッチ１１３から出力される予測画像とを加算し、局所復号画像（ローカルデコード画像）を生成する。生成したローカルデコード画像は、イントラ予測部１１２及びループフィルタ１０８に出力する。

【0023】

ループフィルタ１０８は、ローカルデコード画像に対して、ローカルデコード画像の予測の処理単位（ＰＵブロック単位）、又は、変換・量子化の処理単位（ＴＵブロック単位）でフィルタ処理を施すことにより、ブロックノイズを除去する。これにより、参照画像として使用されるローカルデコード画像の品質を向上させている。フィルタ処理後のローカルデコード画像は、フレームメモリ１０９に記憶される。フレームメモリ１０９は、ローカルデコード画像を記憶しているメモリである。記憶されているローカルデコード画像は、フレーム間予測時に参照画像として使用される。

【0024】

動き検出部１１０は、フレーム間予測を行う際に、原画像と参照画像との差分を小さくするために、ブロック毎に動きベクトルを算出する。算出された動きベクトルは、動き補償部１１１及び二値化部１１４に出力する。動き補償部１１１は、入力された動きベクトル及び参照画像に基づき、予測画像を生成する。生成した予測画像はスイッチ１１３に出力される。

【0025】

イントラ予測部１１２は、フレーム内予測を行う。イントラ予測部１１２は、加算器１０７の出力であるローカルデコード画像と、撮像部１０１の出力である入力画像とを入力し、フレーム内予測を行うことにより予測画像を生成する。イントラ予測部１１２は、予測画像をスイッチ１１３に出力し、予測モードなどの情報を二値化部１１４に出力する。

【0026】

スイッチ１１３は、フレーム内予測時は、イントラ予測部１１２から出力された予測画像を選択し、フレーム間予測時は、動き補償部１１１から出力された予測画像を選択し、選択した予測画像を加算器１０２に出力する。前述した通り、加算器１０２において、入力画像と予測画像との間の差分画像が生成される。

【0027】

二値化部１１４は、変換係数、及び、動きベクトルや予測モードなどの符号化過程で生じる符号化パラメータを入力とし、規格で定められた手順で二値化処理を行うことにより二値データを生成し、スイッチ１１５に出力する。

【0028】

スイッチ１１５は、制御部１２０の制御信号に応じて出力先を切り替える。スイッチ１１６も同様に、制御部１２０の制御信号に応じて入力先を切り替える。スイッチ１１５及びスイッチ１１６の制御方法については後述する。

【0029】

算術符号化部１１７は、二値化部１１４で生成された二値データを入力として算術符号化処理を行うことにより圧縮処理を行う。算術符号化処理は、アルゴリズム上、１サイクルで二値データの１ビットのみを処理可能であり、二値データのビットレートに比例して処理時間が必要となる。

【0030】

二値化部１１４の二値化と算術符号化部１１７の算術符号化とを合わせてエントロピー符号化と呼ぶ。

【0031】

記録処理部１１８は、二値化部１１４で生成された二値データ、又は算術符号化部１１７で生成された算術符号データを記録媒体１１９に記録する。記録媒体１１９は、例えば不揮発性メモリで構成される記録媒体である。

【0032】

図２は、符号化装置１００が実行する符号化処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１２０が制御プログラムに従って符号化装置１００の各部を制御することにより実現される。

【0033】

Ｓ２０１で、制御部１２０は、撮像部１０１から入力された画像データに対して、二値化部１１４による二値化処理を含むデータ処理を行うように制御する。これにより、二値データが生成される。データ処理は、二値化処理に加えて、直交変換部１０３による直交変換処理、量子化部１０４による量子化処理なども含む。また、処理対象の画像データが動画撮影中に生成された動画フレームデータである場合、データ処理は、動き補償部１１１又はイントラ予測部１１２を用いた予測処理も含む。また、処理対象の画像データが静止画データである場合も、必要に応じて、データ処理は、動き補償部１１１又はイントラ予測部１１２を用いた予測処理を含んでもよい。例えば、処理対象の画像データが静止画連写中に生成された静止画データである場合、この静止画データに対して動画フレームデータの場合と同様の予測処理を行うことができる。或いは、静止画連写の場合は、得られた複数の静止画データの全てについて、イントラ予測部１１２を用いたフレーム内予測処理を行う構成を採用してもよい。この場合、静止画データを単独で（他の静止画データを参照せずに）復号することが可能になる。

【0034】

Ｓ２０２で、制御部１２０は、撮像部１０１が静止画を連続して撮影する静止画連写を実行中であるか否かを判定する。撮像部１０１が静止画連写を実行中でない場合（即ち、処理対象の画像データが静止画単写により生成された静止画データである場合や、処理対象の画像データが動画撮影中に生成された動画フレームデータである場合など）、処理はＳ２０３に進む。撮像部１０１が静止画連写を実行中である場合（即ち、処理対象の画像データが静止画連写中に生成された静止画データである場合）、処理はＳ２０５に進む。

【0035】

Ｓ２０３で、算術符号化部１１７は、Ｓ２０２において生成された二値データを算術符号化することにより算術符号データを生成する。このとき、制御部１２０は、二値化部１１４から出力される二値データが算術符号化部１１７に入力されるようにスイッチ１１５及びスイッチ１１６を制御する。

【0036】

Ｓ２０４で、記録処理部１１８は、算術符号化部１１７により生成された算術符号データを記録媒体１１９に記録する。

【0037】

Ｓ２０５で、記録処理部１１８は、Ｓ２０２において生成された二値データを記録媒体１１９に記録する。このとき、制御部１２０は、二値化部１１４から出力される二値データが記録処理部１１８に入力されるようにスイッチ１１５を制御する。このように、処理対象の画像データが静止画連写中に生成された静止画データである場合には、算術符号データを生成せずに二値データをそのまま記録媒体１１９に記録する制御が行われる。制御部１２０は、二値データが記録媒体１１９に記録されたことを示す情報を、記録媒体１１９又は制御部１２０内の不揮発性メモリに記録しておく。

【0038】

Ｓ２０６で、制御部１２０は、画像データの入力が終了したか否かを判定する。画像データの入力が終了していない場合、制御部１２０は、次の画像データを処理対象の画像データとして、再びＳ２０１からの処理を実行する。画像データの入力が終了した場合、本フローチャートの符号化処理は終了する。

【0039】

静止画データを符号化装置１００により符号化する場合、設定される画質モードによって二値化部１１４の出力データ量が変わる。高画質モードであるほど量子化部１０４において使用される量子化値が小さくなるため、二値化部１１４の出力データ量が増える。この場合に算術符号化を実行すると、算術符号化部１１７の入力データ量が増える。算術符号化部１１７は１ビット処理しかできないため、処理時間が増加する。この処理時間の増加がボトルネックとなり、連写速度の低下につながる。本実施形態では、上述の通り、静止画連写中は算術符号データを生成せずに二値データをそのまま記録媒体１１９に記録する制御が行われる。従って、算術符号化に伴うボトルネックの発生を防ぎ、連写速度の低下を抑制することができる。

【0040】

なお、上の説明では、処理対象の画像データが動画撮影中に生成された動画フレームデータである場合には、処理がＳ２０２からＳ２０３へ遷移して算術符号化が行われた。しかしながら、処理対象の画像データが動画撮影中に生成された動画フレームデータである場合も、処理がＳ２０２からＳ２０５へ遷移する構成、即ち、算術符号データを生成せずに二値データをそのまま記録媒体１１９に記録する構成を採用してもよい。これにより、動画のフレームレートを高速化したり、画質を向上させたりすることが可能となる。

【0041】

次に、図３を参照して、符号化装置１００により符号化されたデータを復号する復号装置３００の構成例について説明する。復号装置３００は、符号化装置１００と共に撮像装置の中に含まれていてもよいし、符号化装置１００を含む撮像装置とは異なる再生装置の中に含まれていてもよい。

【0042】

復号装置３００は、記録媒体３０１、読出処理部３０２、スイッチ３０３、算術復号部３０４、スイッチ３０５、二値復号部３０６、逆変換部３０７、及び加算器３０８を備える。また、復号装置３００は、ループフィルタ３０９、フレームメモリ３１０、予測部３１１、表示部３１２、及び制御部３１３を備える。

【0043】

制御部３１３は、制御プログラムを格納したＲＯＭ、及びワークメモリとして使用されるＲＡＭを含み、制御プログラムに従って復号装置３００の全体制御を行う。特に、制御部３１３は、スイッチ３０３、スイッチ３０５、算術復号部３０４、及び二値復号部３０６を制御する。

【0044】

記録媒体３０１は、符号化装置１００で符号化された二値データ又は算術符号データを記録している、不揮発性メモリで構成される記録媒体である。読出処理部３０２は、記録媒体３０１に記録された二値データ又は算術符号データを読み出して出力する。

【0045】

スイッチ３０３は、制御部３１３の制御信号に応じて出力先を切り替える。スイッチ３０５も同様に、制御部３１３の制御信号に応じて入力先を切り替える。スイッチ３０３及びスイッチ３０５の制御方法については後述する。

【0046】

算術復号部３０４は、算術符号化部１１７において符号化された算術符号データを復号する。復号したデータは、二値化部１１４で生成された二値データと一致する。

【0047】

二値復号部３０６は、記録媒体３０１に記録されていた二値データ、又は算術復号部３０４で生成された二値データのいずれかを入力として、二値データを復号する。復号された情報は、量子化部１０４で生成される量子化係数や、動き検出部１１０で生成された動きベクトルに代表される補助情報などを含む。

【0048】

逆変換部３０７は、復号された量子化係数に対して逆量子化及び逆変換を行い、差分画像を生成する。予測部３１１は、二値復号部３０６で復号された補助情報を用いてフレーム間予測又はフレーム内予測を行い、予測画像を生成する。

【0049】

加算器３０８は、差分画像と予測画像を加算して復号画像を生成する。表示部３１２は、復号した画像や入力画像を表示する、撮像装置に付属する表示デバイスである。フレームメモリ３１０は、復号された画像を記録するメモリである。ループフィルタ３０９は、復号画像に対してフィルタ処理を施し、表示部３１２に出力すると共にフレームメモリ３１０に出力する。

【0050】

続いて、スイッチ３０３及びスイッチ３０５の制御、及び、算術復号部３０４及び二値復号部３０６の動作説明を行う。符号化装置１００において静止画の連写撮影が行われ記録媒体３０１に二値データが記録されたということを示す情報は、符号化時に制御部１２０によって記録媒体１１９又は不揮発性メモリに記録される。そのため、制御部３１３は、記録媒体３０１又は不揮発性メモリに記録された情報を参照することにより、記録媒体３０１に二値データが存在するか否かを判断できる。なお、記録媒体１１９と記録媒体３０１とは同じ記録媒体であるものとする。

【0051】

復号装置３００に対して記録画像の再生の指示があった場合、制御部３１３は、再生対象の画像が二値データとして記録媒体３０１に記録されているかどうかを判定する。再生対象の画像が二値データとして記録されている場合、制御部３１３は、読出処理部３０２により二値データが二値復号部３０６に入力されるように、スイッチ３０３及びスイッチ３０５を制御する。一方、再生対象の画像が算術符号データとして記録されている場合、制御部３１３は、読出処理部３０２により算術符号データが算術復号部３０４に入力されるようにスイッチ３０３を制御し、算術復号部３０４の出力が二値復号部３０６に入力されるようにスイッチ３０５を制御する。

【0052】

このように制御することで、記録媒体１１９（記録媒体３０１）に二値データを記録しても、復号装置３００により画像を再生する場合は再生可能である。

【0053】

しかし、復号装置３００を持たない再生装置で画像の再生を行う場合、二値データのままでは正しく画像データを復号できない。そこで、符号化装置１００は、復号装置３００を持たない再生装置でも画像データを復号できるようにするために、二値データから算術符号データを生成する処理を行う。

【0054】

図４は、符号化装置１００が実行する算術符号データ生成処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１２０が制御プログラムに従って符号化装置１００の各部を制御することにより実現される。撮像部１０１による撮影が行われる度に、本フローチャートの算術符号データ生成処理が実行される。

【0055】

Ｓ４０１で、制御部１２０は、撮像部１０１から新たな画像データが入力されているか否かを判定する。撮像部１０１から新たな画像データが入力されていない場合（例えば、撮影待機状態である場合など）、処理はＳ４０２に進み、撮像部１０１から新たな画像データが入力されている場合、処理はＳ４０６に進む。

【0056】

Ｓ４０２で、制御部１２０は、記録媒体１１９に二値データが記録されているかどうかを判定する。図２のＳ２０５で説明したように、記録媒体１１９に二値データが記録されていることを示す情報は、記録媒体１１９又は制御部１２０内の不揮発性メモリに記録されている。そのため、制御部１２０は、記録媒体１１９又は不揮発性メモリの所定の領域を参照することで、記録媒体１１９に二値データが記録されているかどうかを判定可能である。記録媒体１１９に二値データが記録されている場合、処理はＳ４０３に進む。記録媒体１１９に二値データが記録されていない場合、本フローチャートの算術符号データ生成処理は終了する。但し、撮像部１０１により再び撮影が行われた場合、再び本フローチャートの算術符号データ生成処理が開始する。

【0057】

Ｓ４０３で、記録処理部１１８は、記録媒体１１９に記録されている二値データを読み出す。このとき、制御部１２０は、記録媒体１１９から読み出された二値データが算術符号化部１１７に入力されるように、スイッチ１１６を制御する。

【0058】

Ｓ４０４で、算術符号化部１１７は、記録媒体１１９から読み出された二値データを算術符号化することにより、算術符号データを生成する。

【0059】

Ｓ４０５で、記録処理部１１８は、算術符号化部１１７により生成された算術符号データを記録媒体１１９に記録する。その後、記録処理部１１８は、二値データを記録媒体１１９から削除してもよい。

【0060】

Ｓ４０６で、制御部１２０は、符号化装置１００の電源をＯＦＦにする指示が行われたか否かを判定する。電源をＯＦＦにする指示が行われていない場合、処理はＳ４０１に戻る。電源をＯＦＦにする指示が行われた場合、本フローチャートの算術符号データ生成処理は終了する。

【0061】

このように、符号化装置１００は、撮像部１０１による新たな画像データの入力が行われていない期間に、記録媒体１１９に記録されている二値データを算術符号化することにより算術符号データを生成して記録媒体１１９に記録する。これにより、復号装置３００を持たない再生装置でも復号可能なデータを記録媒体１１９に記録することが可能である。

【0062】

以上説明したように、第１の実施形態によれば、符号化装置１００は、撮像部１０１から入力された画像データに対して二値化処理を含むデータ処理を行うことにより二値データを生成する。そして、画像データが静止画連写中に生成された静止画データである場合、符号化装置１００は、算術符号データを生成せずに二値データを記録媒体１１９に記録するように制御する。これにより、静止画の連写速度の低下を抑制することが可能となる。

【0063】

［第２の実施形態］
第２の実施形態では、静止画連写中であっても、他の二値データに対する算術符号化が実行中でない場合には、処理対象の画像データに対応する二値データの算術符号化を行うことにより算術符号データを生成する構成について説明する。第２の実施形態において、符号化装置１００及び復号装置３００の基本的な構成は、第１の実施形態と同様である（図１及び図３参照）。以下、主に第１の実施形態と異なる点について説明する。

【0064】

図５は、符号化装置１００が実行する符号化処理のフローチャートである。図５において、図２と同一又は同様の処理が行われるステップには図２と同一の符号を付し、説明を省略する。本フローチャートの各ステップの処理は、特に断らない限り、制御部１２０が制御プログラムに従って符号化装置１００の各部を制御することにより実現される。

【0065】

Ｓ２０５において静止画連写中である（即ち、処理対象の画像データが静止画連写中に生成された静止画データである）と判定された場合、Ｓ５０１で、制御部１２０は、算術符号化部１１７が動作中であるか否かを判定する。算術符号化部１１７が動作中でない場合（即ち、算術符号化部１１７が他の二値データに対する算術符号化を実行中でない場合）、処理はＳ２０３に進む。算術符号化部１１７が動作中である場合（即ち、算術符号化部１１７が他の二値データに対する算術符号化を実行中である場合）、処理はＳ２０５に進む。

【0066】

次に、図６を参照して、第１の実施形態に係る静止画連写中の符号化処理（図２）と第２の実施形態に係る静止画連写中の符号化処理（図５）との違いについて説明する。図６は、静止画連写中の符号化処理における、二値化部１１４、算術符号化部１１７、及び記録処理部１１８の動作のタイミングチャートである。図６において四角で示している部分は、各処理部が動作中であることを示しており、四角内の数値は、符号化装置１００に入力された順に付けたフレーム番号である。例えば、＃０の四角は、１フレーム目の処理時間を示している。

【0067】

図６（ａ）は、第１の実施形態（図２）に対応する。時刻Ｔ１において、二値化部１１４が１フレーム目（＃０）の二値化処理を開始している。二値化処理中に二値データが生成されるので、随時二値データを記録媒体１１９に記録するために、時刻Ｔ２において記録処理部１１８が二値データを記録媒体１１９に記録する動作を開始する。図６（ａ）では説明を簡単にするために記録処理部１１８が常に動作しているように見える。しかしながら、実際には、二値データはバッファリングされて記録媒体１１９に記録されるので、記録処理部１１８は常に記録媒体１１９に対して二値データを記録する動作を行っている訳ではない。

【0068】

図６（ａ）に示したタイミングチャートにおいて、例えば時刻Ｔ１から時刻Ｔ３までが１秒だとすると、１秒間に＃０から＃９まで１０フレームの静止画データを符号化及び記録しているので、１０コマ／秒の連写を行っていることを示している。

【0069】

次に、図６（ｂ）について説明する。図６（ｂ）は第２の実施形態（図５）に対応する。図６（ｂ）では、図５を参照して説明したように、算術符号化部１１７が動作中でなければ、算術符号化部１１７を動作させる制御を行う。

【0070】

時刻Ｔ４において、二値化部１１４が１フレーム目（＃０）の二値化処理を開始している。また、時刻Ｔ４のタイミングにおいて、制御部１２０は、算術符号化部１１７が動作しているかどうかを判定する。時刻Ｔ４では算術符号化部１１７が動作していないので、１フレーム目（＃０）の二値データは算術符号化部１１７に送られることになる。時刻Ｔ５から、二値化部１１４で生成された二値データを算術符号化する処理が開始される。二値データは、不図示のバッファに記録され、算術符号化処理が終わる時刻Ｔ８まで保持されているものとする。算術符号化部１１７で生成された算術符号データを記録媒体１１９に記録するために、時刻Ｔ６において、記録処理部１１８が算術符号データを記録媒体１１９に記録する動作を開始する。

【0071】

時刻Ｔ７からは、２フレーム目（＃１）の二値化処理が開始される。このとき、算術符号化部１１７は１フレーム目（＃０）の算術符号化処理を行っているため、算術符号化部１１７は動作中であると判定される。そこで、制御部１２０は、２フレーム目（＃１）については算術符号データを生成せずに二値データを記録媒体１１９に記録するように制御する。

【0072】

時刻Ｔ７から時刻Ｔ８の期間において、記録処理部１１８は、算術符号データと二値データの両方を記録媒体１１９に記録する。図６（ｂ）では説明を簡単にするため両方のデータを同時に記録しているかのように見える。しかしながら、実際には不図示の記憶領域に両方のデータをバッファリングし、時分割で記録媒体１１９にデータを記録していくことで、記録媒体１１９への書き込みが可能となる。

【0073】

図６（ａ）の場合と同様に、時刻Ｔ４から時刻Ｔ９までを１秒だとすると、１０コマ／秒の静止画連写処理が行われていることになる。図５及び図６（ｂ）を参照して説明したように制御を行うことで、算術符号化部１１７を動作させても１秒間のコマ数（連写速度）は図６（ａ）と比較して低下することはない。

【0074】

また、図６（ｂ）のように、１フレーム目（＃０）、５フレーム目（＃４）、８フレーム目（＃７）については、算術符号化された結果（算術符号データ）が記録媒体１１９に記録されることになる。算術符号データは、復号装置３００を持たない再生装置でも復号可能なデータである。このように、第２の実施形態では、間欠的ではあるが、復号装置３００を持たない再生装置との互換性のあるデータを生成することが可能となる。

【0075】

以上説明したように、第２の実施形態によれば、静止画連写中であっても、他の二値データに対する算術符号化が実行中でない場合には、符号化装置１００は、処理対象の画像データに対応する二値データの算術符号化を行う。これにより、静止画の連写速度の低下を抑制しつつ、一部の静止画については算術符号データを生成することが可能になる。

【0076】

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0077】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0078】

１００…符号化装置、１０１…撮像部、１０３…直交変換部、１０４…量子化部、１１１…動き補償部、１１２…イントラ予測部、１１４…二値化部、１１７…算術符号化部、１１８…記録処理部、１１９…記録媒体、１２０…制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】