特許 7563378 ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラム

(51)【国際特許分類】

   H04N 5/92 20060101AFI20241001BHJP

   G11B 27/00 20060101ALI20241001BHJP

   H04N 23/60 20230101ALI20241001BHJP

【ＦＩ】

H04N5/92 010

G11B27/00 E

H04N23/60 300

【請求項の数】 19

(21)【出願番号】P 2021509079

(86)(22)【出願日】2020-03-16

(86)【国際出願番号】 JP2020011363

(87)【国際公開番号】W WO2020196006

(87)【国際公開日】2020-10-01

【審査請求日】2023-01-19

(31)【優先権主張番号】P 2019063995

(32)【優先日】2019-03-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】舩元 大輔

(72)【発明者】

【氏名】伊藤 亮吾

(72)【発明者】

【氏名】磯部 幸雄

(72)【発明者】

【氏名】石坂 敏弥

(72)【発明者】

【氏名】松井 裕司

(72)【発明者】

【氏名】山田 崇晴

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１２－０３８３７５（ＪＰ，Ａ）

【文献】特開２０１４－０４５３５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７６ － ５／９５６

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｇ１１Ｂ ２７／００ － ２７／０６

(57)【特許請求の範囲】

【請求項1】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを生成するファイル制御部を備え、
前記特定情報は、前記外部データに対して割り当てられる情報である
ファイル生成装置。

【請求項2】

前記ファイル制御部は、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルに格納する
請求項１に記載のファイル生成装置。

【請求項3】

前記ファイル制御部は、前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納する
請求項２に記載のファイル生成装置。

【請求項4】

前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
請求項１に記載のファイル生成装置。

【請求項5】

前記外部データは、RAWファイルである
請求項１に記載のファイル生成装置。

【請求項6】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを生成することを含み、
前記特定情報は、前記外部データに対して割り当てられる情報である
ファイル生成方法。

【請求項7】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを生成するファイル制御部を備え、
前記特定情報は、前記外部データに対して割り当てられる情報である
ファイル生成装置として、コンピュータを機能させるためのプログラム。

【請求項8】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを生成するファイル制御部を備え、
前記ファイル制御部は、
前記特定情報を、前記関連付け型HEIFファイルのmdatボックスに格納し、
前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックスに格納する
ファイル生成装置。

【請求項9】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部を備え、
前記ファイル制御部は、前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックを、前記関連付け型HEIFファイルのmdatボックスに格納する
ファイル生成装置。

【請求項10】

前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられる
請求項９に記載のファイル生成装置。

【請求項11】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを再生するファイル制御部を備え、
前記特定情報は、前記外部データに対して割り当てられる情報であり、
前記ファイル制御部は、前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出す
ファイル再生装置。

【請求項12】

前記関連付け型HEIFファイルには、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報が格納され、
前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を読み出す
請求項１１に記載のファイル再生装置。

【請求項13】

前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納され、
前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を、前記metaボックス、又は、mdatボックスから読み出す
請求項１２に記載のファイル再生装置。

【請求項14】

前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
請求項１１に記載のファイル再生装置。

【請求項15】

前記外部データは、RAWファイルである
請求項１１に記載のファイル再生装置。

【請求項16】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを再生することを含み、
前記特定情報は、前記外部データに対して割り当てられる情報であり、
前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出すことを含む
ファイル再生方法。

【請求項17】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを再生するファイル制御部を備え、
前記特定情報は、前記外部データに対して割り当てられる情報であり、
前記ファイル制御部は、前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出す
ファイル再生装置として、コンピュータを機能させるためのプログラム。

【請求項18】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを再生するファイル制御部を備え、
前記ファイル制御部は、前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出し、
前記特定情報が、前記関連付け型HEIFファイルのmdatボックスに格納され、
前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックスに格納され、
前記ファイル制御部は、前記metaボックスに格納された前記関連付け情報において、所定の前記画像のアイテムIDに対応付けられた前記特定情報のアイテムIDにより特定される前記特定情報を、前記mdatボックスから読み出す
ファイル再生装置。

【請求項19】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部を備え、
前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックが、前記関連付け型HEIFファイルのmdatボックスに格納され、
前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられ、
前記ファイル制御部は、所定のフレームのタイムライン上の時刻情報、又は、前記所定のフレームのトラックに配置される順番に対する前記特定情報を、前記特定情報のトラックから取得する
ファイル再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、ファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラムに関し、特に、例えば、ファイルに格納される画像と、ファイル外の外部データとを関連付けることができるようにするファイル生成装置、ファイル生成方法、ファイル再生装置、ファイル再生方法、及び、プログラムに関する。

【背景技術】

【0002】

画像を、効率的に格納するファイルフォーマットとして、HEIF(High Efficiency Image File Format)がある。

【先行技術文献】

【非特許文献】

【0003】

【文献】ISO/IEC 23008-12:2017, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 12: Image File Format

【発明の概要】

【発明が解決しようとする課題】

【0004】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイルについては、HEIFファイル内に格納される画像と、HEIFファイル外の外部データとを関連付けることができれば、便利である。

【0005】

本技術は、このような状況に鑑みてなされたものであり、HEIFファイル内に格納される画像と、HEIFファイル外の外部データとを関連付けることができるようにするものである。

【課題を解決するための手段】

【0006】

本技術のファイル生成装置、又は、第１のプログラムは、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを生成するファイル制御部を備え、前記特定情報は、前記外部データに対して割り当てられる情報であるファイル生成装置、又は、そのようなファイル生成装置として、コンピュータを機能させるためのプログラムである。

【0007】

本技術のファイル生成方法は、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを生成することを含み、前記特定情報は、前記外部データに対して割り当てられる情報であるファイル生成方法である。

【0008】

本技術のファイル生成装置、ファイル生成方法、及び、第１のプログラムにおいては、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルが生成される。また、前記特定情報は、前記外部データに対して割り当てられる情報とされる。

【0009】

本技術のファイル再生装置、又は、第２のプログラムは、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを再生するファイル制御部を備え、前記特定情報は、前記外部データに対して割り当てられる情報であり、前記ファイル制御部は、前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出すファイル再生装置、又は、そのようなファイル再生装置として、コンピュータを機能させるためのプログラムである。

【0010】

本技術のファイル再生方法は、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルを再生することを含み、前記特定情報は、前記外部データに対して割り当てられる情報であり、前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出すことを含むファイル再生方法である。

【0011】

本技術のファイル再生装置、ファイル再生方法、及び、第２のプログラムにおいては、HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付ける関連付け情報を格納した関連付け型HEIFファイルが再生される。また、前記特定情報は、前記外部データに対して割り当てられる情報とされ、前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報が読み出される。

【0012】

なお、ファイル生成装置やファイル再生装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【0013】

また、第１のプログラムや第２のプログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。

【図面の簡単な説明】

【0014】

【図1】本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

【図2】JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。

【図3】ISOベースメディアファイルフォーマットの例を示す図である。

【図4】HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。

【図5】イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。

【図6】iprpボックスの例を示す図である。

【図7】イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。

【図8】trakボックスの例を示す図である。

【図9】主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。

【図10】第１の関連付け型コレクションファイルの例を示す図である。

【図11】第２の関連付け型コレクションファイルの例を示す図である。

【図12】第３の関連付け型コレクションファイルの例を示す図である。

【図13】主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。

【図14】関連付け型シーケンスファイルの例を示す図である。

【図15】関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。

【図16】関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。

【図17】コレクションファイルを再生する再生処理の例を説明するフローチャートである。

【図18】ステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。

【図19】ステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。

【図20】ステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。

【図21】第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図22】第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図23】第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図24】コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。

【図25】シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。

【図26】関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図27】外部データとして、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【図28】外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【図29】外部データとして、主画像のWAVファイルを採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【図30】外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【図31】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

＜本技術を適用したディジタルカメラの一実施の形態＞

【0016】

図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

【0017】

ディジタルカメラ１０は、光学系１１、イメージセンサ１２、信号処理部１３、メディア１４、インタフェース１５及び１６、ボタン／キー１７、タッチパネル１８、液晶パネル１９、ビューファインダ２０、並びに、インタフェース２１等を有する。

【0018】

光学系１１は、被写体からの光を、イメージセンサ１２に集光する。

【0019】

イメージセンサ１２は、光学系１１からの光を受光し、光電変換する撮像を行うことで、電気信号としての画像のデータを生成し、信号処理部１３に供給する。

【0020】

信号処理部１３は、光学系／イメージセンサ制御部４１、符号化制御部４２、ファイル制御部４３、メディア制御部４４、操作制御部４５、表示制御部４６、及び、UI制御部４７を有する。

【0021】

光学系／イメージセンサ制御部４１は、光学系１１及びイメージセンサ１２を制御し、その制御に従って行われる撮像により得られる画像（のデータ）を、符号化制御部４２に供給する。

【0022】

符号化制御部４２は、光学系／イメージセンサ制御部４１からの画像を表示制御部４６に供給するとともに、必要に応じて符号化し、ファイル制御部４３に供給する。また、符号化制御部４２は、ファイル制御部４３から供給される画像を必要に応じて復号し、表示制御部４６に供給する。

【0023】

ファイル制御部４３は、符号化制御部４２から供給される画像を格納したファイルを生成し、メディア制御部４４に供給する。また、ファイル制御部４３は、メディア制御部４４から供給されるファイルの再生、すなわち、ファイルに格納された画像等のデータの読み出しを行う。例えば、ファイルから読み出された画像は、ファイル制御部４３から符号化制御部４２に供給される。

【0024】

メディア制御部４４は、メディア１４、並びに、インタフェース１５及び１６との間でのファイルのやりとりを制御する。例えば、メディア制御部４４は、ファイル制御部４３からのファイルを、メディア１４に記録させ、又は、インタフェース１５及び１６から送信させる。また、メディア制御部４４は、メディア１４からファイルを再生し、又は、インタフェース１５及び１６にファイルを受信させ、ファイル制御部４３に供給する。

【0025】

操作制御部４５は、ユーザによるボタン／キー１７やタッチパネル１８の操作に応じて、その操作に対応する操作信号を、必要なブロックに供給する。

【0026】

表示制御部４６は、符号化制御部４２から供給される画像等を、液晶パネル１９や、ビューファインダ２０、インタフェース２１に供給して表示させる表示制御等を行う。

【0027】

UI制御部４７は、UI(User Interface)制御をつかさどる。

【0028】

メディア１４は、例えば、SDカード等の記憶媒体である。インタフェース１５は、例えば、WiFi（登録商標）やイーサネット（登録商標）等のLAN(Local Area Network)のインタフェースである。インタフェース１６は、例えば、USB(Universal Serial Bus)のインタフェースである。ボタン／キー１７及びタッチパネル１８は、ディジタルカメラ１０に指令その他の情報を入力するときに、ユーザによって操作される。タッチパネル１８は、液晶パネル１９と一体的に構成することができる。液晶パネル１９及びビューファインダ２０は、表示制御部４６から供給される画像等を表示する。インタフェース２１は、HDMI(High-Definition Multimedia Interface)（登録商標）やDP(Display Port)等の少なくとも画像を伝送するインタフェースである。

【0029】

以上のように構成されるディジタルカメラ１０では、符号化制御部４２は、イメージセンサ１２の撮像により得られるRAWデータの画像（以下、RAW画像ともいう）から、例えば、そのRAW画像と同一の解像度（画素数）のYUVの画像（以下、主画像ともいう）を生成する。さらに、符号化制御部４２は、YUVの主画像から、液晶パネル１９や外部のディスプレイでの表示の用途用に、主画像に基づく第１の他の画像としての、例えば、主画像よりも解像度が低いYUVの画像（以下、スクリーンネイル画像ともいう）を生成するとともに、一覧表示の用途用に、主画像に基づく第２の他の画像としての、例えば、スクリーンネイル画像よりも解像度が低いYUVの画像（以下、サムネイル画像ともいう）を生成する。符号化制御部４２は、例えば、スクリーンネイル画像を、表示制御部４６を介して、液晶パネル１９に供給し、いわゆるスルー画として表示させる。サムネイル画像としては、例えば、長辺が320ピクセル以下のサイズの画像を採用することができる。主画像と、主画像に基づく第１の他の画像としてのスクリーンネイル画像、又は、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズ（ピクセル数）の比率は、例えば、200倍以下にすることができる。主画像に基づく第１の他の画像としてのスクリーンネイル画像と、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズの比率も、同様に、200倍以下とすることができる。スクリーンネイル画像としては、例えば、解像度が4K以上の画像を採用することができる。また、スクリーンネイル画像としては、例えば、ユーザの選択に応じて、4K（QFHD）又はFHDの画像を採用することができる。さらに、本画像とスクリーンネイル画像としては、同一の解像度の画像を採用することができる。本画像とスクリーンネイル画像として、同一の解像度の画像を採用する場合、HEIFファイルには、本画像とスクリーンネイル画像との両方を格納することもできるし、スクリーンネイル画像を格納せずに、本画像を格納することができる。HEIFファイルに、スクリーンネイル画像を格納せずに、本画像を格納する場合には、本画像をリサイズして、スクリーンネイル画像として用いることができる。

【0030】

また、符号化制御部４２は、RAW画像に対応する主画像、スクリーンネイル画像、及び、サムネイル画像（RAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）を、必要に応じて符号化し、RAW画像とともに、ファイル制御部４３に供給する。

【0031】

ファイル制御部４３は、RAW画像が格納されたRAWファイルを生成するとともに、対応する主画像、スクリーンネイル画像、及び、サムネイル画像（同一のRAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）が格納されたHEIFファイル、又は、JPEGファイルを生成し、メディア制御部４４に供給する。HEIFファイルとは、HEIF(High Efficiency Image File Format)に準拠したファイルであり、JPEGファイルとは、JPEG(Joint Photographic Experts Group)に準拠したファイルである。

【0032】

メディア制御部４４は、ファイル制御部４３からのRAWファイルと、HEIFファイル又はJPEGファイルとを、メディア１４に記録し、あるいは、インタフェース１５又は１６から送信させる。

【0033】

ファイル制御部４３において、HEIFファイル、及び、JPEGファイルのうちのいずれを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルには、後述するように、イメージアイテム形式とイメージシーケンス形式とがあるが、イメージアイテム形式とイメージシーケンス形式とのいずれを採用するかは、例えば、ユーザの操作に応じて選択することができる。さらに、ファイル制御部４３では、ユーザの操作に応じて、HEIFファイルとJPEGファイルとの間の相互変換を行うことができる。

【0034】

さらに、ファイル制御部４３では、HEIFファイルの生成にあたって、HEIFファイル外の外部データ（HEIFファイルに格納されていないデータ）と関連付けるHEIFファイル内の内部データ（HEIFファイルに格納されたデータ）と、その外部データを特定する特定情報とを関連付けて、HEIFファイルに格納することができる。内部データと、その内部データと関連付ける外部データの特定情報とが関連付けられて格納されたHEIFファイルを、関連付け型HEIFファイルともいう。関連付け型HEIFファイルには、例えば、内部データと特定情報とを関連付ける関連付け情報を格納すること等によって、内部データと特定情報とを関連付けて格納することができる。

【0035】

＜JPEGファイル＞

【0036】

図２は、JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。

【0037】

JPEGファイルは、例えば、Exifのメタデータ、サムネイル画像、XMP(Extensible Metadata Platform)（登録商標）のメタデータ、主画像及び簡易表示用画像の格納場所（位置）等を表すMPF、主画像、並びに、簡易表示用画像が格納されて構成される。簡易表示用画像としては、例えば、スクリーンネイル画像を採用することができる。

【0038】

＜ISOベースメディアファイルフォーマット＞

【0039】

図３は、ISOベースメディアファイルフォーマットの例を示す図である。

【0040】

HEIF(ISO/IEC 23008-12)は、ISOベースメディアファイルフォーマット(ISO/IEC 14496-12)に準拠したファイルフォーマットであり、したがって、HEIFファイルは、ISOベースメディアファイルフォーマットに準拠する。

【0041】

ISOベースメディアファイルフォーマットは、データを格納するコンテナとしてのボックス(box)と呼ばれる単位で構成され、ボックス構造と呼ばれる構造を有する。

【0042】

ボックスは、タイプ(box type)、及び、実データ(data)等を有する。タイプは、ボックス内の実データの種類を表す。実データとしては、画像（静止画、動画）や、オーディオ、字幕（サブタイトル）等の再生可能なメディアデータ、属性名（フィールド名）とその属性名（で表される変数）の属性値（フィールド値）、その他の各種のデータを採用することができる。

【0043】

さらに、実データとしては、ボックスを採用することができる。すなわち、ボックスは、実データとして、ボックスを持つことができ、これにより、階層構造にすることができる。

【0044】

ISOベースメディアファイルフォーマットに準拠したベースメディアファイルは、ftypボックス、moovボックス(MovieBox)、metaボックス(MetaBox)、及び、mdatボックス(MediaDataBox)等を有することができる。ftypボックスには、ファイルフォーマットを識別する識別情報が格納される。moovボックスは、trakボックス等を格納することができる。metaボックスは、iinfボックス、iprpボックス、irefボックス、ilocボックス等を格納することができる。mdatボックスは、メディアデータ（AVデータ）、その他任意のデータを格納することができる。

【0045】

HEIFは、以上のようなISOベースメディアファイルフォーマットに準拠する。

【0046】

＜HEIFファイル＞

【0047】

図４は、HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。

【0048】

HEIFファイルには、大きく分けて、イメージアイテム形式と、イメージシーケンス形式とがある。さらに、イメージアイテム形式には、後述するアイテムを１つだけ有するシングルイメージ形式と、アイテムを複数有するイメージコレクション形式とがある。

【0049】

イメージアイテム形式のHEIFファイルは、ftypボックス、metaボックス、及び、mdatボックスを有する。

【0050】

イメージシーケンス形式のHEIFファイルは、ftypボックス、moovボックス、及び、mdatボックスを有する。

【0051】

なお、HEIFファイルは、metaボックス及びmoovボックスのうちの一方だけでなく、両方を有することもできる。

【0052】

ftypボックスには、ファイルフォーマットを識別する識別情報、例えば、ファイルがイメージアイテム形式又はイメージシーケンス形式のHEIFファイルであること等が格納される。

【0053】

metaボックス及びmoovボックスには、mdatボックスに格納されるメディアデータの再生や管理等に必要な、例えば、メディアデータの格納場所等のメタデータが格納される。

【0054】

mdatボックスには、メディアデータ（AVデータ）等が格納される。

【0055】

ディジタルカメラ１０において、イメージアイテム形式とイメージシーケンス形式とのHEIFファイルのうちのいずれのHEIFファイルを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルのmdatに、画像を符号化して格納する場合には、イメージアイテム形式については、イントラ符号化のみが許され、イメージシーケンス形式については、イントラ符号化及びインター符号化が許される。したがって、例えば、HEIFファイルに格納されたデータへの高速アクセスを優先する場合には、イメージアイテム形式のHEIFファイルの生成を選択し、HEIFファイルのサイズ（データ量）を小さくすることを優先する場合には、イメージシーケンス形式のHEIFファイルの生成を選択することができる。

【0056】

図５は、イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。

【0057】

イメージアイテム形式のHEIFファイルでは、ftypボックスに、イメージアイテム形式のHEIFファイルであることを表す情報、例えば、mif1等が（属性値として）格納される。

【0058】

metaボックスには、iinfボックス、irefボックス、iprpボックス、及び、ilocボックスが格納される。

【0059】

iinfボックスには、mdatボックスに格納されたメディアデータ（AVデータ）であるアイテムの数（を表す属性名と属性値）等が格納される。アイテムとは、イメージアイテム形式のHEIFファイルのmdatボックスに格納される１つのデータであり、例えば、１枚（画面）の画像が、アイテムである。本明細書では、静止画及び動画にかかわらず、画像の１枚を、フレームともいう。１フレームは、１アイテムである。

【0060】

irefボックスには、アイテムどうしの関連を表す情報が格納される。例えば、mdatボックスには、対応する主画像、スクリーンネイル画像、及び、サムネイル画像のそれぞれをアイテムとして格納することができる。mdatボックスに、主画像としてのアイテムI1、スクリーンネイル画像としてのアイテムI2、及び、サムネイル画像としてのアイテムI3が格納される場合、irefボックスには、アイテムI2がアイテムI1としての主画像のスクリーンネイル画像であることを表す情報や、アイテムI3がアイテムI1としての主画像のサムネイル画像であることを表す情報が格納される。

【0061】

iprpボックスには、アイテムのプロパティに関する情報が格納される。

【0062】

ilocボックスには、mdatボックスに格納されたアイテムの格納場所に関する情報が格納される。

【0063】

イメージアイテム形式の（HEIFファイルの）mdatボックスには、アイテムとしての、例えば、画像のフレームが格納される。mdatボックスには、１個以上のアイテムを格納することができる。また、mdatボックスには、アイテムとしてのフレームを符号化して格納することができる。但し、イメージアイテム形式のmdatボックスに格納するアイテムとしてのフレームの符号化は、イントラ符号化に制限される。アイテムとしてのフレームを符号化する符号化方式（コーデック）としては、例えば、HEVC等を採用することができる。

【0064】

図６は、図５のiprpボックスの例を示す図である。

【0065】

iprpボックスには、アイテムのプロパティに関するipcoボックス及びipmaボックスが格納される。ipcoボックスには、mdatボックスに格納されたアイテムのプロパティ、例えば、アイテムとしての画像のコーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクス（ポインタ）が格納される。

【0066】

図７は、イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。

【0067】

イメージシーケンス形式のHEIFファイルでは、ftypボックスに、イメージシーケンス形式のHEIFファイルであることを表す情報、例えば、msf1等が格納される。

【0068】

moovボックスには、trakボックスが格納される。trakボックスには、mdatボックスに格納されるトラックに関する情報が格納される。

【0069】

トラックは、画像や音声等の１つの独立した、タイムラインに従って再生されるメディアデータで構成される。例えば、トラックは、エレメンタリストリームとなる１フレーム以上の画像で構成される。mdatボックスに格納されるトラックについては、複数のトラック、例えば、同時に記録された画像及び音声それぞれのトラックを、同時に再生することができる。

【0070】

トラックのメディアデータは、サンプルと呼ばれる単位で構成される。サンプルとは、HEIFファイル内のメディアデータにアクセスする場合の、最小の単位（アクセス単位）である。したがって、サンプルより細かい単位で、HEIFファイル内のメディアデータにアクセスすることはできない。

【0071】

画像のメディアデータについては、例えば、１フレーム等が、１サンプルとなる。また、音声のメディアデータについては、例えば、その音声のメディアデータの規格で定められた１オーディオフレーム等が、１サンプルとなる。

【0072】

イメージシーケンス形式の（HEIFファイルの）mdatボックスにおいて、トラックのメディアデータは、チャンク(chunk)と呼ばれる単位で配置される。チャンクは、論理的に連続したアドレスに配置される１以上のサンプルの集合である。

【0073】

mdatボックスに、メディアデータとしての複数のトラックが格納される場合、その複数のトラックは、チャンク単位で、インターリーブして配置される。

【0074】

moovボックスには、mdatボックスに格納されるトラックそれぞれを管理するtrakボックスが格納される。

【0075】

イメージシーケンス形式のmdatボックスには、画像や音声等のメディアデータで構成される１以上のトラックが格納される。mdatボックスには、トラックを構成する画像のフレームを符号化して格納することができる。イメージシーケンス形式のmdatボックスに格納するトラックを構成するフレームの符号化には、GOP(Group of Picture)として、long GOPを採用するとともに、イントラ符号化及びインター符号化のいずれをも採用することができる。トラックを構成するフレームを符号化するコーデックとしては、例えば、HEVC等を採用することができる。

【0076】

図８は、trakボックスの例を示す図である。

【0077】

trakボックスには、tkhdボックス及びmdiaボックスを格納することができる。tkhdボックスには、trakボックスが管理するトラックの作成日時等の、トラックのヘッダ情報が格納される。mdiaボックスには、minfボックス等が格納される。minfボックスには、stblボックスが格納される。stblボックスには、トラックのサンプル、ひいては、チャンクにアクセスするための情報が格納されるstsdボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。stsdボックスには、トラックのコーデックに関するコーデック情報が格納される。stscボックスには、チャンクサイズ（1チャンクのサンプル数）が格納される。stszボックスには、サンプルサイズが格納される。stcoボックスには、チャンクオフセット、すなわち、mdatボックスに格納されたトラックの各チャンクの配置位置のオフセットが格納される。

【0078】

ここで、イメージアイテム形式のHEIFファイルを、コレクションファイルともいい、イメージシーケンス形式のHEIFファイルを、シーケンスファイルともいう。さらに、イメージアイテム形式の関連付け型HEIFファイルを、関連付け型コレクションファイルともいい、イメージシーケンス形式の関連付け型HEIFファイルを、関連付け型シーケンスファイルともいう。

【0079】

ディジタルカメラ１０では、主画像、さらには、必要なスクリーンネイル画像、及び、サムネイル画像のうちの一方又は両方が格納されたHEIFファイル（関連付け型HEIFファイルを含む）を生成することができる。

【0080】

＜コレクションファイル＞

【0081】

図９は、主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。

【0082】

ここで、通常のコレクションファイルとは、コレクションファイル内の内部データと、外部データの特定情報とが関連付けられていないコレクションファイルを意味する。

【0083】

いま、コレクションファイルのmdatボックスには、フレーム（アイテム）がHEVCで符号化されて格納されることとする。

【0084】

ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージアイテム形式であることと、コーデックがHEVCであることとを表すheicが格納される。

【0085】

iinfボックスには、mdatボックスに格納されたアイテムの数（アイテム数）が格納される。図９では、アイテムID#1で特定される主画像（以下、主画像Item#1のようにも記載する）、主画像Item#2、アイテムID#101で特定されるサムネイル画像（以下、サムネイル画像Item#101のようにも記載する）、サムネイル画像Item#102の合計で４個のアイテム（フレーム）が、mdatボックスに格納されている。したがって、アイテム数は４である。なお、サムネイル画像Item#101は、主画像Item#1のサムネイル画像であり、サムネイル画像Item#102は、主画像Item#2のサムネイル画像である。

【0086】

iinfボックスには、さらに、例えば、mdatボックスに格納されたアイテムごとに、infeボックスが格納される。infeボックスには、アイテムを特定するアイテムIDと、アイテムタイプとが登録される。図９では、主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びIteｍ#102それぞれのInfeボックスが存在する。

【0087】

irefボックスには、mdatボックスに格納されたアイテムどうしを関連付ける情報として、例えば、thmbボックスが格納される。thmbボックスは、主画像とその主画像のサムネイル画像とを関連付ける情報としての参照元と参照先とが対応付けられて格納される。thmbボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のサムネイル画像のアイテムIDを表す。したがって、参照元に対応付けられている参照先によれば、参照元が表すアイテムIDで特定される主画像のサムネイル画像のアイテムIDを認識することができる。また、参照先に対応付けられている参照元によれば、参照先が表すアイテムIDで特定されるサムネイル画像の主画像のアイテムIDを認識することができる。

【0088】

iprpボックスには、図６で説明したように、ipcoボックス及びipmaボックスが格納される。ipcoボックスには、図６で説明したように、mdatボックスに格納されたアイテムとしてのフレームプロパティ、例えば、コーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、図６で説明したように、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクスが格納される。

【0089】

ilocボックスには、図６で説明したようにmdatボックスにおけるアイテムの格納場所に関する情報が格納される。図９では、ilocボックスには、アイテム数が４であることが格納されている。さらに、ilocボックスには、mdatボックスに格納された主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びIteｍ#102それぞれの格納場所へのオフセット及びサイズがアイテムIDと対応付けられて格納されている。

【0090】

以下、図９の通常のコレクションファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型コレクションファイルを説明する。

【0091】

図１０は、第１の関連付け型コレクションファイルの例を示す図である。

【0092】

ここで、以下では、HEIFファイル内の内部データとしての主画像と関連付ける外部データとして、例えば、その主画像のRAW画像が格納されたRAWファイルを採用することとする。

【0093】

第１の関連付け型コレクションファイルには、内部データとしての主画像と、外部データとしてのRAWファイル（内部データとしての主画像のRAW画像が格納されたRAWファイル）の特定情報とを関連付ける関連付け情報を格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。さらに、第１の関連付け型コレクションファイルでは、関連付け情報が、metaボックスに格納される。

【0094】

外部データとしてのRAWファイルの特定情報としては、RAWファイルのファイル名や、RAWファイルに対して発行されたuuid(Universally Unique Identifier)、URL(Uniform Resource Locator)、その他、RAWファイルを特定することができる任意の情報を採用することができる。

【0095】

第１の関連付け型コレクションファイルについては、metaボックスに格納される新たなボックスとして、関連付け情報が格納される関連付け情報格納ボックスが定義され、metaボックスに格納される。第１の関連付け型コレクションファイルの関連付け情報格納ボックスには、例えば、主画像を特定するアイテムIDと、その主画像に関連付けるRAWファイルを特定する特定情報としてのuuidとが対応付けられた関連付け情報が格納される。さらに、関連付け情報格納ボックスには、RAWファイルと関連付けられる主画像の数（主画像数）が格納される。関連付け情報格納ボックスに格納される主画像数は、RAWファイルと関連付けられる主画像の数であるので、mdatボックスに格納されている主画像の数以下の値になる。

【0096】

図１０では、主画像Item#1のRAWファイルのuuidが、UUID#1になっており、主画像Item#2のRAWファイルのuuidが、UUID#2になっている。いま、uuidがUUID#iのRAWファイルを、RAWファイルUUID#iと記述することとすると、図１０では、主画像Item#1のアイテムID#1とRAWファイルUUID#1のuuidとが対応付けられ、かつ、主画像Item#2のアイテムID#2とRAWファイルUUID#2のuuidとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。

【0097】

図１１は、第２の関連付け型コレクションファイルの例を示す図である。

【0098】

第２の関連付け型コレクションファイルには、第１の関連付けコレクションファイルと同様に、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第２の関連付け型コレクションファイルでは、関連付け情報が、mdatボックスに格納される。

【0099】

第２の関連付け型コレクションファイルについては、例えば、第１の関連付けコレクションファイルの場合と同様の関連付け情報が、アイテムとして、mdatボックスに格納される。図１１では、関連付け情報が、アイテムID#201のアイテムとして、mdatボックスに格納されている。

【0100】

以上のように、第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報が、mdatボックスに格納されることに応じて、metaボックスに格納される情報が、図９の通常のコレクションファイルの場合と異なる。第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報のメタデータが、metaボックスに格納される。

【0101】

具体的には、第２の関連付け型コレクションファイルでは、iinfボックス及びilocボックスに格納されるアイテム数が、図９の場合の４から、その４に、アイテムItem#201の１を加えた５になる。さらに、iinfボックスに、アイテムItem#201に対するinfeボックスが追加されるとともに、ilocボックスに、アイテムItem#201の格納場所へのオフセット及びサイズが追加される。アイテムItem#201に対するinfeボックスには、アイテムItem#201のアイテムID#201と、アイテムItem#201が関連付け情報であることを表すアイテムタイプIDIF(identifying data info)とが格納される。IDIFは、アイテムが関連付け情報であることを表す、新たに定義された属性値（フィールド値）である。

【0102】

図１２は、第３の関連付け型コレクションファイルの例を示す図である。

【0103】

第３の関連付け型コレクションファイルでは、外部データとしてのRAWファイルの特定情報を、特定情報ごとに、アイテムとして、mdatボックスに格納するとともに、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を、metaボックスに格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第３の関連付け型コレクションファイルでは、関連付け情報は、アイテムとしての主画像のアイテムIDと、アイテムとしての（RAWファイルの）特定情報のアイテムIDとを対応付けた情報であり、metaボックス内のirefボックスに格納されるcdscボックスに格納される。

【0104】

cdscボックスには、主画像とその主画像のRAWファイルの特定情報それぞれとしてのアイテムどうしとを関連付ける情報としての参照元と参照先とを対応付けて格納することができる。cdscボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のRAWファイルのアイテムとしての特定情報のアイテムIDを表す。

【0105】

図１２では、主画像Item#1のRAWファイルの特定情報としてのuuidであるUUID#1が、アイテムItem#201として、mdatに格納され、主画像Item#2のRAWファイルの特定情報としてのuuidであるUUID#2が、アイテムItem#202として、mdatに格納されている。さらに、主画像Item#1のアイテムID#1と、特定情報UUID#1のアイテムID#201とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納され、主画像Item#2のアイテムID#2と、特定情報UUID#2のアイテムID#202とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。

【0106】

＜シーケンスファイル＞

【0107】

図１３は、主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。

【0108】

ここで、通常のシーケンスとは、シーケンスファイル内の内部データと、外部データの特定情報とが関連付けられていないシーケンスファイルを意味する。

【0109】

いま、シーケンスファイルのmdatボックスには、フレームがHEVCで符号化されて格納されることとする。

【0110】

ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージシーケンス形式であることと、コーデックがHEVCであることとを表すhevcが格納される。

【0111】

moovボックスには、図７で説明したように、mdatボックスに格納されるトラックそれぞれを管理するtrakボックスが格納される。図１３では、トラックID#1で特定される主画像のトラック（以下、トラック#1のようにも記載する）、及び、トラック#1の主画像のサムネイル画像のトラック#2が、mdatボックスに格納されている。したがって、moovボックスには、トラック#1を管理するtrakボックスと、トラック#2を管理するtrakボックスとが格納される。トラック#2の（先頭から）n番目のサムネイル画像（のフレーム）は、トラック#1のn番目の主画像のサムネイル画像である。

【0112】

シーケンスファイルは、例えば、ディジタルカメラ１０で連写が行われた場合に、その連写で得られる複数フレームの主画像及びサムネイル画像を、それぞれ、1トラックとして記録する場合等に有用である。

【0113】

主画像のトラック#1を管理するtrakボックスのtkhdボックスには、トラック#1を特定するトラックID#1、トラック#1を構成する主画像の画サイズ、主画像が撮像されたときのディジタルカメラ１０の向きを表す回転情報、及び、トラック#1の作成日時が格納される。サムネイル画像のトラック#2を管理するtrakボックスのtkhdボックスには、トラック#2を特定するトラックID#2、及び、トラック#2の作成日時が格納される。

【0114】

trakボックスには、図７で説明したtkhdボックス及びmdiaボックスの他に、trefボックスを格納することができる。trefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラックと関連する他のトラックを特定するトラックID、及び、トラックの内容を表す情報等が格納される。図１３では、トラック#2を管理するtrakボックスの中に、trefボックスが設けられている。そして、そのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#2を構成するデータがサムネイル画像であること（トラック#2がサムネイル画像のトラックであること）(type=thmb)を表す情報が格納されている。

【0115】

trakボックスのmdiaボックスには、図８で説明したminfボックスの他、hdlrボックスを格納することができる。hdlrボックスには、そのhdlrボックスが格納されたtrakボックスが管理するトラックを構成するデータの種別を表す情報が格納される。主画像のトラック#1を管理するtrakボックスに（格納されるmdiaボックスに）格納されるhdlrボックスには、トラック#1を構成するデータがピクチャ（フレーム）であることを表す情報(pict)が格納され、サムネイル画像のトラック#2を管理するtrakボックスに格納されるhdlrボックスには、トラック#2を構成するデータがピクチャであることを表す情報が格納される。

【0116】

minfボックスについては、図８で説明した通りである。

【0117】

以下、図１３の通常のシーケンスファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型シーケンスファイルを説明する。

【0118】

図１４は、関連付け型シーケンスファイルの例を示す図である。

【0119】

関連付け型シーケンスファイルでは、外部データとしてのRAWファイルの特定情報としてのuuidの（エレメンタリ）ストリーム(Meta ES)のトラック#3が、mdatボックスに追加されるとともに、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。

【0120】

ここで、トラック#1は、タイムライン上に並ぶ主画像の１フレーム以上の時系列であり、トラック#3は、タイムライン上に並ぶ、主画像の各フレームのRAWファイルのuuidの時系列である。

【0121】

トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目の主画像のフレームのRAWファイルの特定情報である。また、mdatボックスに格納された複数のトラック（のデータ）は、１つのタイムライン上の時刻情報に従って同期して再生することができる。したがって、主画像のトラック#1と、トラック#1を構成する主画像の各フレームのRAWファイルのuuid（のストリーム）のトラック#3とを、mdatボックスに格納することで、トラック#1のn番目の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、関連付けられて格納される。この場合、トラック#1の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、タイムライン上の時刻情報により関連付けられるということができる。

【0122】

なお、トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目のフレームのRAWファイルの特定情報であり、トラック#1を構成する主画像（のフレーム）と、トラック#3を構成するuuidとは、トラックに配置される順番によって関連付けられると捉えることもできる。

【0123】

関連付け型シーケンスファイルでは、RAWファイルのuuidのトラック#3が、mdatボックスに追加されることに応じて、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。

【0124】

RAWファイルのuuidのトラック#3を管理するtrakボックスには、tkhdボックス、trefボックス、及び、mdiaボックス等が格納される。

【0125】

トラック#3を管理するtrakボックスのtkhdボックスには、トラック#3を特定するトラックID#3、及び、トラック#3の作成日時が格納される。

【0126】

トラック#3を管理するtrakボックスのtrefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラック#3と関連する他のトラックを特定するトラックID、及び、トラック#3の内容を表す情報等が格納される。トラック#3を構成するuuidは、トラック#1を構成する主画像のRAWファイルの特定情報であり、トラック#3は、トラック#1と関連しているので、図１４のトラック#3を管理するtrakボックスのtrefボックスには、トラック#3と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#3がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)を表す情報が格納される。

【0127】

トラック#3を管理するtrakボックスのmdiaボックスには、hdlrボックス及びminfボックスが格納される。トラック#3を管理するtrakボックスにおいて、hdlrボックスには、トラック#3を構成するデータが（主画像の）メタデータであることを表す情報(meta)が格納され、minfボックスには、トラック#3についてのstscボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。

【0128】

＜HEIFファイルの生成及び再生＞

【0129】

図１５は、関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。

【0130】

生成処理では、ステップＳ１１において、ファイル制御部４３は、主画像のフレームのRAWファイルの特定情報としてのuuidを生成し、処理は、ステップＳ１２に進む。

【0131】

ステップＳ１２では、ファイル制御部４３は、ステップＳ１１で生成したuuidを、主画像のフレームのRAWファイルに割り当て、処理は、ステップＳ１３に進む。

【0132】

ステップＳ１３では、ファイル制御部４３は、HEIFファイルに主画像のフレームと、そのフレームのRAWファイルのuuidとを関連付けて格納した関連付け型HEIFファイルを生成し、生成処理を終了する。

【0133】

図１６は、関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。

【0134】

再生処理では、ステップＳ２１において、ファイル制御部４３は、例えば、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームの個々を識別するハンドルのハンドルリストを生成し、処理は、ステップＳ２２に進む。

【0135】

ここで、主画像のフレームのハンドルは、そのフレームが格納されたHEIFファイルのファイル名を含む。コレクションファイルに格納された主画像のフレーム（アイテム）のハンドルは、さらに、そのフレームのアイテムIDを含む。シーケンスファイルに格納された主画像のフレームのハンドルは、そのフレームの時刻情報を含む。主画像のフレームのハンドルによれば、そのハンドルに対するフレームを、一意に識別（特定）することができる。

【0136】

なお、シーケンスファイルに格納された主画像のフレームのハンドルには、フレームの時刻情報に代えて、フレームを含むトラックのトラックIDと、そのトラックにおけるフレームの順番（何番目のフレームであるか）を含めることができる。

【0137】

シーケンスファイルに格納される、主画像のフレームで構成されるトラックが、１つであっても複数であっても、各フレームの時刻情報はユニークである。したがって、フレームの時刻情報によれば、シーケンスファイルに複数のトラックが格納されていても、その複数のトラックそれぞれを構成するフレームから、ハンドルに含まれる時刻情報のフレームを、一意に特定することができる。そのため、主画像のフレームのハンドルに、そのフレームの時刻情報を含める場合には、そのフレームが存在するトラックのトラックIDがなくても、時刻情報に対するフレームを、一意に特定することができる。

【0138】

ハンドルリストは、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームすべてを対象に生成することもできるし、特定の作成日時のフレーム等の、特定の条件で絞り込んだフレームのみを対象に生成することもできる。

【0139】

ファイル制御部４３において、ハンドルリストの生成後、HEIFファイルへのアクセスは、必要に応じて、ハンドルリストを参照して行われる。

【0140】

ステップＳ２２では、例えば、ユーザが、サムネイル画像の表示を行うように、ディジタルカメラ１０を操作すること等を待って、UI制御部４７は、サムネイル画像の表示を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのサムネイル画像の表示の要求に応じて、ハンドルリストのハンドルにより識別される主画像のフレームのサムネイル画像（のフレーム）を、HEIFファイルから読み出す。そして、ファイル制御部４３は、HEIFファイルから読み出されたサムネイル画像の一覧を、例えば、液晶パネル１９（図１）に表示させ、処理は、ステップＳ２２からステップＳ２３に進む。

【0141】

ステップＳ２３では、例えば、ユーザが、サムネイル画像の一覧から、所望のサムネイル（のフレーム）を選択すること等を待って、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からの主画像の要求に応じて、その主画像を、HEIFファイルから読み出す。ファイル制御部４３は、HEIFファイルから読み出された主画像を、必要に応じて、液晶パネル１９に表示させることができる。

【0142】

又は、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像のRAWファイルのuuidを、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのuuidの要求に応じて、そのuuidを、関連付け型HEIFファイルから読み出す。ファイル制御部４３は、必要に応じて、関連付け型HEIFファイルから読み出されたuuidにより特定されるRAWファイルにアクセスすることができる。

【0143】

図１７は、コレクションファイルを再生する再生処理の例を説明するフローチャートである。

【0144】

ステップＳ３１において、ファイル制御部４３は、再生対象の画像（アイテム）である再生対象画像のアイテムID（以下、再生対象アイテムIDともいう）の取得を行い、処理は、ステップＳ３２に進む。

【0145】

再生対象アイテムIDの取得では、例えば、ハンドルリストの任意のハンドルにより識別される主画像や、その主画像のサムネイル画像、サムネイル画像の一覧からユーザが選択したサムネイル画像（以下、選択サムネイル画像ともいう）、選択サムネイル画像の主画像等を、再生対象画像として、その再生対象画像のアイテムID（再生対象アイテムID）が取得される。

【0146】

ステップＳ３２では、ファイル制御部４３は、ステップＳ３１で取得された再生対象アイテムIDに応じて、再生対象画像の読み出しを行う。

【0147】

再生対象画像の読み出しでは、再生対象アイテムIDにより特定される再生対象画像が、コレクションファイルから読み出される。

【0148】

図１８は、図１７のステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。

【0149】

ステップＳ４１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のilocボックスから、再生対象アイテムIDを検索し、処理は、ステップＳ４２に進む。

【0150】

ステップＳ４２では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ４１で検索された再生対象アイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ４３に進む。

【0151】

ステップＳ４３では、ファイル制御部４３は、再生対象アイテムIDに対応付けられているオフセット及びサイズに応じて、コレクションファイルのmdatボックスに格納された再生対象画像を読み出し、処理は終了する。

【0152】

図１９は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。

【0153】

すなわち、図１９は、サムネイル画像を再生対象画像として、その再生対象画像であるサムネイル画像のアイテムIDの取得の例を示している。

【0154】

なお、図１９では、ファイル制御部４３は、例えば、ハンドルから、再生対象画像としてサムネイル画像の主画像のアイテムIDを認識していることとする。

【0155】

ステップＳ５１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照元が主画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ５２に進む。

【0156】

ステップＳ５２では、ファイル制御部４３は、ステップＳ５１で検索された、参照元が主画像のアイテムIDに一致するthmbボックス内の参照先を、再生対象画像としてのサムネイル画像のアイテムIDとして読み出し、処理は終了する。

【0157】

図２０は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。

【0158】

すなわち、図２０は、主画像を再生対象画像として、その再生対象画像である主画像のアイテムIDの取得の例を示している。

【0159】

なお、図２０では、例えば、ユーザが、サムネイル画像の一覧からサムネイル画像（選択サムネイル画像）を選択し、ファイル制御部４３は、その選択サムネイル画像のアイテムIDを認識していることとする。

【0160】

ステップＳ６１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ６２に進む。

【0161】

ステップＳ６２では、ファイル制御部４３は、ステップＳ６１で検索された、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックス内の参照元を、再生対象画像としての主画像のアイテムIDとして読み出し、処理は終了する。

【0162】

図２１は、図１０の第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0163】

なお、図２１では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。

【0164】

ステップＳ７１において、ファイル制御部４３は、第１の関連付け型コレクションファイル（図１０）の関連付け情報格納ボックスの関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ７２に進む。

【0165】

ステップＳ７２では、ファイル制御部４３は、関連付け情報において、ステップＳ７１で検索された所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。

【0166】

ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0167】

図２２は、図１１の第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0168】

なお、図２２では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。

【0169】

ステップＳ８１において、ファイル制御部４３は、第２の関連付け型コレクションファイル（図１１）のiinfボックス内のinfeボックスから、アイテムが関連付け情報であることを表すアイテムタイプIDIFのinfeボックスを検索し、処理は、ステップＳ８２に進む。

【0170】

ステップＳ８２では、ファイル制御部４３は、ステップＳ８１で検索された、アイテムタイプIDIFのinfeボックスから、アイテムとしての関連付け情報のアイテムIDを読み出し、処理は、ステップＳ８３に進む。

【0171】

ステップＳ８３では、ファイル制御部４３は、第２の関連付け型コレクションファイルのilocボックスから、ステップＳ８２で読み出された、関連付け情報のアイテムIDを検索し、処理は、ステップＳ８４に進む。

【0172】

ステップＳ８４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ８３で検索された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ８５に進む。

【0173】

ステップＳ８５では、ファイル制御部４３は、ステップＳ８４で読み出された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第２の関連付け型コレクションファイルのmdatボックスに格納されたアイテムとしての関連付け情報を読み出し、処理は、ステップＳ８６に進む。

【0174】

ステップＳ８６では、ファイル制御部４３は、ステップＳ８５で読み出された関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ８７に進む。

【0175】

ステップＳ８７では、ファイル制御部４３は、関連付け情報において、ステップＳ８６で検索された、所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。

【0176】

ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0177】

図２３は、図１２の第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0178】

なお、図２３では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。

【0179】

ステップＳ９１において、ファイル制御部４３は、第３の関連付け型コレクションファイル（図１２）のirefボックス内のcdscボックスから、参照元が所定の主画像のアイテムIDに一致するcdscボックスを検索し、処理は、ステップＳ９２に進む。

【0180】

ステップＳ９２では、ファイル制御部４３は、ステップＳ９１で検索された、参照元が所定の主画像のアイテムIDに一致するcdscボックス内の参照先を、アイテムとしての、所定の主画像のRAWファイルの特定情報のアイテムIDとして読み出し、処理は、ステップＳ９３に進む。

【0181】

ステップＳ９３では、ファイル制御部４３は、第３の関連付け型コレクションファイルのilocボックスから、ステップＳ９２で読み出された、アイテムとしての特定情報のアイテムIDを検索し、処理は、ステップＳ９４に進む。

【0182】

ステップＳ９４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ９３で検索された、特定情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ９５に進む。

【0183】

ステップＳ９５では、ファイル制御部４３は、ステップＳ９４で読み出された、特定情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第３の関連付け型コレクションファイルのmdatボックスに格納された、所定の主画像のRAWファイルの特定情報としてのuuidを読み出し、処理は終了する。

【0184】

ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0185】

図２４は、コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。

【0186】

コレクションファイルから主画像のアイテムIDのリストを取得する処理は、例えば、ハンドルリストを生成する場合等に行われる。

【0187】

ステップＳ１０１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のiinfボックス内のすべてのinfeボックスから、アイテムIDを読み出し、主画像のアイテムIDのリスト（以下、主画像リストともいう）に登録して、処理は、ステップＳ１０２に進む。

【0188】

ステップＳ１０２では、ファイル制御部４３は、コレクションファイルのirefボックス内のすべてのボックスから、参照先になっているアイテムIDを読み出し、主画像リストから除外して、処理は終了する。

【0189】

以上の処理後、主画像リストに登録されているアイテムIDが、主画像のアイテムIDとなる。

【0190】

図２５は、シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。

【0191】

なお、図２５では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。

【0192】

ステップＳ１１１において、ファイル制御部４３は、シーケンスファイル（図１３及び図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータがサムネイル画像であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがthmbになっているtrakボックスを、所定の時刻情報に対する主画像のサムネイル画像のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１１２に進む。

【0193】

ステップＳ１１２では、ファイル制御部４３は、ステップＳ１１１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、所定の時刻情報に対する主画像のサムネイル画像のトラックのトラックIDとして読み出し、処理は、ステップＳ１１３に進む。

【0194】

ステップＳ１１３では、ファイル制御部４３は、ステップＳ１１２で読み出されたトラックIDのトラックを再生し、そのトラックから、所定の時刻情報（又は順番）に対するサムネイル画像（のフレーム）を、所定の時刻情報に対する主画像のサムネイル画像として取得して、処理は終了する。

【0195】

なお、シーケンスファイルに格納された画像を再生する処理は、MP4ファイルの動画再生の処理と同様である。

【0196】

図２６は、関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0197】

なお、図２６では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。

【0198】

ステップＳ１２１において、ファイル制御部４３は、関連付け型シーケンスファイル（図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータが特定情報であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがcdscになっているtrakボックスを、特定情報のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１２２に進む。

【0199】

ステップＳ１２２では、ファイル制御部４３は、ステップＳ１２１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、特定情報のトラックのトラックIDとして読み出し、処理は、ステップＳ１２３に進む。

【0200】

ステップＳ１２３では、ファイル制御部４３は、ステップＳ１２２で読み出されたトラックIDのトラックから、所定の主画像の時刻情報（又は順番）に対する特定情報としてのuuidを、所定の主画像のRAWファイルのuuidとして取得して、処理は終了する。

【0201】

ファイル制御部４３は、以上のように取得されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0202】

以上のように、ファイル制御部４３では、HEIFに準拠したHEIFファイルに、HEIFファイル内の主画像と、その主画像と関連付ける、HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルの生成及び再生を行うので、HEIFファイル内に格納される主画像と、HEIFファイル外の外部データとを関連付けることができる。

【0203】

また、特定情報として、uuidを用いる場合には、外部データのファイル名が変更されても、uuidにより、HEIFファイル内の主画像と、ファイル名の変更後の外部データとの関連付けを維持することができる。

【0204】

＜外部データに割り当てられた特定情報の格納＞

【0205】

図２７は、外部データとして、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【0206】

なお、図２７では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。

【0207】

RAWファイルは、メタデータとしてのExifの付属情報を格納する領域の一部の領域として、マーカノート(MakerNote)と呼ばれる領域を有する。

【0208】

ファイル制御部４３は、RAWファイルに割り当てられたuuidを、そのRAWファイルの、例えば、マーカノートに格納することができる。

【0209】

図２７では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#iには、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのRAWファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるRAWファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。

【0210】

図２８は、外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【0211】

ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２７で説明した関連付け型コレクションファイルを生成する場合と同様に、RAWファイルに割り当てられたuuidを、そのRAWファイルのマーカノートに格納することができる。

【0212】

図２８では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。

【0213】

以上のように、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのRAWファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。

【0214】

以上においては、外部データとして、主画像のRAWファイルを採用したが、外部データとしては、その他のデータを採用することができる。外部データとしては、例えば、主画像の撮像とともに録音した音声（音）を格納したファイル等を採用することができる。音声を格納したファイルとしては、例えば、WAVフォーマットのWAVファイルや、MP4フォーマットのMP4ファイル等を採用することができる。以下では、音声を格納したファイルとしては、例えば、WAVファイルを採用することとする。

【0215】

図２９は、外部データとして、主画像のWAVファイル（主画像の撮像とともに録音された音声が格納されたWAVファイル）を採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【0216】

なお、図２９では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。

【0217】

WAVファイルは、メタデータを記述する領域の一部の領域として、Listチャンクと呼ばれる領域を有する。

【0218】

ファイル制御部４３は、WAVファイルに割り当てられたuuidを、そのWAVファイルの、例えば、Listチャンクに格納することができる。

【0219】

図２９では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#iには、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのWAVファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるWAVファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。

【0220】

図３０は、外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【0221】

ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２９で説明した関連付け型コレクションファイルを生成する場合と同様に、WAVファイルに割り当てられたuuidを、そのWAVファイルのListチャンクに格納することができる。

【0222】

図３０では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。

【0223】

以上のように、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのWAVファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。

【0224】

なお、本技術は、HEIFファイルの他、HEIFファイル以外のボックス構造を有する、例えば、ISOベースメディアファイルや、MP4ファイル、Miafファイル等に適用することができる。

【0225】

また、本技術は、その他、例えば、ボックス構造を有しない、画像（主画像）と、その画像の解像度を低下させた他の画像とを格納するファイル等に適用することができる。

【0226】

さらに、本技術は、外部データを、HEIFファイル内の主画像に関連付ける場合の他、HEIFファイル内のスクリーンネイル画像やサムネイル画像に関連付ける場合に適用することができる。

【0227】

また、本技術は、その他、例えば、外部データを、HEIFファイル内の主画像等の画像以外の内部データに関連付ける場合に適用することができる。

【0228】

＜本技術を適用したコンピュータの説明＞

【0229】

次に、上述したファイル制御部４３その他の信号処理部１３（図１）を構成する各ブロックの一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、コンピュータ等にインストールされる。

【0230】

図３１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0231】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

【0232】

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0233】

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0234】

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

【0235】

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

【0236】

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

【0237】

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0238】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0239】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0240】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0241】

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0242】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0243】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0244】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0245】

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0246】

なお、本技術は、以下の構成をとることができる。

【0247】

＜１＞
HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部を備える
ファイル生成装置。
＜２＞
前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報を格納した前記関連付け型HEIFファイルを生成する
＜１＞に記載のファイル生成装置。
＜３＞
前記ファイル制御部は、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルに格納する
＜２＞に記載のファイル生成装置。
＜４＞
前記ファイル制御部は、前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納する
＜３＞に記載のファイル生成装置。
＜５＞
前記ファイル制御部は、
前記特定情報を、前記関連付け型HEIFファイルのmdatボックスに格納し、
前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報を、前記関連付け型HEIFファイルのmetaボックスに格納する
＜２＞に記載のファイル生成装置。
＜６＞
前記ファイル制御部は、前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックを、前記関連付け型HEIFファイルのmdatボックスに格納する
＜１＞に記載のファイル生成装置。
＜７＞
前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられる
＜６＞に記載のファイル生成装置。
＜８＞
前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
＜１＞ないし＜７＞のいずれかに記載のファイル生成装置。
＜９＞
HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成することを含む
ファイル生成方法。
＜１０＞
HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを生成するファイル制御部
として、コンピュータを機能させるためのプログラム。
＜１１＞
HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部を備える
ファイル再生装置。
＜１２＞
前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報を格納した前記関連付け型HEIFファイルから、所定の前記画像に関連付けられた前記外部データの特定情報を読み出す
＜１１＞に記載のファイル再生装置。
＜１３＞
前記関連付け型HEIFファイルには、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報が格納され、
前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を読み出す
＜１２＞に記載のファイル再生装置。
＜１４＞
前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックス、又は、mdatボックスに格納され、
前記ファイル制御部は、前記関連付け情報において、所定の前記画像のアイテムIDと対応付けられた前記特定情報を、前記metaボックス、又は、mdatボックスから読み出す
＜１３＞に記載のファイル再生装置。
＜１５＞
前記特定情報が、前記関連付け型HEIFファイルのmdatボックスに格納され、
前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報が、前記関連付け型HEIFファイルのmetaボックスに格納され、
前記ファイル制御部は、前記metaボックスに格納された前記関連付け情報において、所定の前記画像のアイテムIDに対応付けられた前記特定情報のアイテムIDにより特定される前記特定情報を、前記mdatボックスから読み出す
＜１２＞に記載のファイル再生装置。
＜１６＞
前記画像のトラックを構成する各フレームに関連付ける前記外部データの特定情報のトラックが、前記関連付け型HEIFファイルのmdatボックスに格納され、
前記画像のトラックを構成する各フレームと、前記特定情報のトラックを構成する特定情報とは、タイムライン上の時刻情報、又は、トラックに配置される順番により関連付けられ、
前記ファイル制御部は、所定のフレームのタイムライン上の時刻情報、又は、前記所定のフレームのトラックに配置される順番に対する前記特定情報を、前記特定情報のトラックから取得する
＜１１＞に記載のファイル再生装置。
＜１７＞
前記関連付け型HEIFファイルには、前記画像と、前記画像に基づく他の画像とが格納される
＜１１＞ないし＜１６＞のいずれかに記載のファイル再生装置。
＜１８＞
HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生することを含む
ファイル再生方法。
＜１９＞
HEIF(High Efficiency Image File Format)に準拠したHEIFファイル内の画像と、その画像と関連付ける、前記HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルを再生するファイル制御部
として、コンピュータを機能させるためのプログラム。

【符号の説明】

【0248】

１０ ディジタルカメラ， １１ 光学系， １３ 信号処理部， １４ メディア， １５，１６ インタフェース， １７ ボタン／キー， １８ タッチパネル， １９ 液晶パネル， ２０ ビューファインダ， ２１ インタフェース， ４１ 光学系／イメージセンサ制御部， ４２ 符号化制御部， ４３ ファイル制御部， ４４ メディア制御部， ４５ 操作制御部， ４６ 表示制御部， ４７ UI制御部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】