特許 7589683 ファイル処理装置、ファイル処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】ファイル処理装置、ファイル処理方法、及び、プログラム

(51)【国際特許分類】

   G06F 16/13 20190101AFI20241119BHJP

   H04N 5/92 20060101ALI20241119BHJP

   H04N 5/76 20060101ALI20241119BHJP

【ＦＩ】

G06F16/13 200

H04N5/92 010

H04N5/76

【請求項の数】 10

(21)【出願番号】P 2021527602

(86)(22)【出願日】2020-06-05

(86)【国際出願番号】 JP2020022381

(87)【国際公開番号】W WO2020255757

(87)【国際公開日】2020-12-24

【審査請求日】2023-04-13

(31)【優先権主張番号】P 2019112519

(32)【優先日】2019-06-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】舩元 大輔

(72)【発明者】

【氏名】伊藤 亮吾

(72)【発明者】

【氏名】磯部 幸雄

(72)【発明者】

【氏名】石坂 敏弥

(72)【発明者】

【氏名】松井 裕司

(72)【発明者】

【氏名】山田 崇晴

【審査官】原 秀人

(56)【参考文献】

【文献】特開２０１１－０４１２３０（ＪＰ，Ａ）

【文献】米国特許第０９７８４６１５（ＵＳ，Ｂ１）

【文献】国際公開第２０１７／１４０９３９（ＷＯ，Ａ１）

【文献】Information technology -- High efficiency coding and media delivery in heterogeneous environments --Part 12: Image File Format，ＩＳＯ標準文書（ＩＳ－ＳＣ２９），First edition，スイス，ISO，2017年12月，pp. 33-36

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｈ０４Ｎ ５／９２

Ｈ０４Ｎ ５／７６

(57)【特許請求の範囲】

【請求項1】

HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成するファイル制御部を備え、
前記ファイル制御部は、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルを生成する
ファイル処理装置。

【請求項2】

前記ファイル制御部は、前記特定情報が前記mdatボックスに格納され、前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報がmetaボックスに格納された前記HEIFファイルを生成する
請求項１に記載のファイル処理装置。

【請求項3】

前記ファイル制御部は、前記HEIFファイルに格納される画像ごとに、前記特定情報を生成し、前記特定情報を含む関係情報が格納された前記HEIFファイルを生成する
請求項１に記載のファイル処理装置。

【請求項4】

HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成することと、
前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルを生成することと
を含むファイル処理方法。

【請求項5】

HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成するファイル制御部を備え、
前記ファイル制御部は、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルを生成する
ファイル処理装置として、コンピュータを機能させるためのプログラム。

【請求項6】

HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むファイル制御部を備え、
前記ファイル制御部は、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
ファイル処理装置。

【請求項7】

前記ファイル制御部は、前記特定情報が前記mdatボックスに格納され、前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
請求項６に記載のファイル処理装置。

【請求項8】

前記ファイル制御部は、前記HEIFファイルに格納される画像ごとに生成された前記特定情報を含む前記関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
請求項６に記載のファイル処理装置。

【請求項9】

HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むことと、
前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むことと
を含むファイル処理方法。

【請求項10】

HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むファイル制御部を備え、
前記ファイル制御部は、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
ファイル処理装置として、コンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、ファイル処理装置、ファイル処理方法、及び、プログラムに関し、特に、例えば、ファイルに格納される画像と、ファイル外の外部データとを関連付けることができるようにするファイル処理装置、ファイル処理方法、及び、プログラムに関する。

【背景技術】

【0002】

画像を、効率的に格納するファイルフォーマットとして、HEIF(High Efficiency Image File Format)がある（非特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】ISO/IEC 23008-12:2017, Information technology -- High efficiency coding and media delivery in heterogeneous environments -- Part 12: Image File Format

【発明の概要】

【発明が解決しようとする課題】

【0004】

HEIF(High Efficiency Image File Format)に準拠したHEIFファイルについては、HEIFファイル内に格納される画像と、HEIFファイル外の外部データとを関連付けることができれば、便利である。

【0005】

本技術は、このような状況に鑑みてなされたものであり、HEIFファイル内に格納される画像と、HEIFファイル外の外部データとを関連付けることができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の第１のファイル処理装置、又は、プログラムは、HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成するファイル制御部を備え、前記ファイル制御部は、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルを生成するファイル処理装置、又は、そのようなファイル処理装置として、コンピュータを機能させるためのプログラムである。

【0007】

本技術の第１のファイル処理方法は、HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成することと、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルを生成することとを含むファイル処理方法である。

【0008】

本技術の第１のファイル処理装置、ファイル処理方法、及び、プログラムにおいては、HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルが生成される。また、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルが生成される。

【0009】

本技術の第２のファイル処理装置、又は、プログラムは、HEIF(High Efficiency Image
File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むファイル制御部を備え、前記ファイル制御部は、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むファイル処理装置、又は、そのようなファイル処理装置として、コンピュータを機能させるためのプログラムである。

【0010】

本技術の第２のファイル処理方法は、HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むことと、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むこととを含むファイル処理方法である。

【0011】

本技術の第２のファイル処理装置、ファイル処理方法、及び、プログラムは、HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報が、前記外部データが格納されたファイルに書き込まれる。また、前記外部データの特定情報がmdatボックスに格納され、前記画像と、前記mdatボックスに格納された前記特定情報とを関連付ける関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報が、前記外部データが格納されたファイルに書き込まれる。

【0012】

なお、第１及び第２のファイル処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【0013】

また、第１及び第２のプログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。

【図面の簡単な説明】

【0014】

【図1】本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

【図2】JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。

【図3】ISOベースメディアファイルフォーマットの例を示す図である。

【図4】HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。

【図5】イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。

【図6】iprpボックスの例を示す図である。

【図7】イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。

【図8】trakボックスの例を示す図である。

【図9】主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。

【図10】第１の関連付け型コレクションファイルの例を示す図である。

【図11】第２の関連付け型コレクションファイルの例を示す図である。

【図12】第３の関連付け型コレクションファイルの例を示す図である。

【図13】主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。

【図14】関連付け型シーケンスファイルの例を示す図である。

【図15】関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。

【図16】関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。

【図17】コレクションファイルを再生する再生処理の例を説明するフローチャートである。

【図18】ステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。

【図19】ステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。

【図20】ステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。

【図21】第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図22】第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図23】第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図24】コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。

【図25】シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。

【図26】関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【図27】外部データとして、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【図28】外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【図29】外部データとして、主画像のWAVファイルを採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【図30】外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【図31】HEIFファイルの生成後の内部データとしての画像と外部データとの関連付けを説明する図である。

【図32】領域確保法の例の概要を説明する図である。

【図33】領域確保法により生成された第１の関連付け型コレクションファイル内の内部データとしての主画像と、外部データとを、第１の関連付け型コレクションファイルの生成後に関連付ける関連付け処理の例を説明する図である。

【図34】事前格納法の例の概要を説明する図である。

【図35】事前格納法により生成された第１の関連付け型コレクションファイル内の内部データとしての主画像と、外部データとを、第１の関連付け型コレクションファイルの生成後に関連付ける関連付け処理の例を説明する図である。

【図36】事前格納法の他の例の概要を説明する図である。

【図37】事前格納法のさらに他の例の概要を説明する図である。

【図38】領域確保法及び事前格納法のそれぞれについての、使用可能な特定情報、及び、内部データと外部データとの関連付けを説明する図である。

【図39】領域確保法により生成された第１の関連付け型コレクションファイルを対象とした１対Ｎの関連付けを行う関連付け処理の例を説明する図である。

【図40】事前格納法により生成された第１の関連付け型コレクションファイルを対象とした１対Ｎの関連付けを行う関連付け処理の例を説明する図である。

【図41】領域確保法により生成された第１の関連付け型コレクションファイルを対象としたＮ対１の関連付けを行う関連付け処理の例を説明する図である。

【図42】事前格納法により生成された第１の関連付け型コレクションファイルを対象としたＮ対１の関連付けを行う関連付け処理の例を説明する図である。

【図43】外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第１の例を示す図である。

【図44】外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第２の例を示す図である。

【図45】外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第３の例を示す図である。

【図46】外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第４の例を示す図である。

【図47】外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第５の例を示す図である。

【図48】外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第６の例を示す図である。

【図49】領域確保法により生成される第１の関連付け型コレクションファイルと、その第１の関連付け型コレクションファイルの関連付け処理後の状態との第１の例を説明する図である。

【図50】領域確保法により生成される第１の関連付け型コレクションファイルと、その第１の関連付け型コレクションファイルの関連付け処理後の状態との第２の例を説明する図である。

【図51】領域確保法により生成される第１の関連付け型コレクションファイルと、その第１の関連付け型コレクションファイルの関連付け処理後の状態との第３の例を説明する図である。

【図52】領域確保法により生成される第２の関連付け型コレクションファイルと、その第２の関連付け型コレクションファイルの関連付け処理後の状態との第１の例を説明する図である。

【図53】領域確保法により生成される第２の関連付け型コレクションファイルと、その第２の関連付け型コレクションファイルの関連付け処理後の状態との第２の例を説明する図である。

【図54】領域確保法により生成される第３の関連付け型コレクションファイルと、その第３の関連付け型コレクションファイルの関連付け処理後の状態との第１の例を説明する図である。

【図55】領域確保法により生成される第３の関連付け型コレクションファイルと、その第３の関連付け型コレクションファイルの関連付け処理後の状態との第２の例を説明する図である。

【図56】領域確保法により生成される関連付け型シーケンスファイルと、その関連付け型シーケンスファイルの関連付け処理後の状態との第１の例を説明する図である。

【図57】領域確保法により生成される関連付け型シーケンスファイルと、その関連付け型シーケンスファイルの関連付け処理後の状態との第２の例を説明する図である。

【図58】領域確保法による関連付け型HEIFファイルの生成の処理の例を説明するフローチャートである。

【図59】領域確保法により生成された関連付け型HEIFファイルを対象とする関連付け処理の例を説明するフローチャートである。

【図60】領域確保法により生成された第１の関連付け型コレクションファイルを対象とする関連付け処理の例を説明するフローチャートである。

【図61】領域確保法により生成された第１の関連付け型コレクションファイルを対象とする関連付け処理の他の例を説明するフローチャートである。

【図62】事前格納法による関連付け型HEIFファイルの生成の処理の例を説明するフローチャートである。

【図63】事前格納法により生成された関連付け型HEIFファイルを対象とする関連付け処理の例を説明するフローチャートである。

【図64】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

＜本技術を適用したディジタルカメラの一実施の形態＞

【0016】

図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

【0017】

ディジタルカメラ１０は、光学系１１、イメージセンサ１２、信号処理部１３、メディア１４、インタフェース１５及び１６、ボタン／キー１７、タッチパネル１８、液晶パネル１９、ビューファインダ２０、並びに、インタフェース２１等を有する。

【0018】

光学系１１は、被写体からの光を、イメージセンサ１２に集光する。

【0019】

イメージセンサ１２は、光学系１１からの光を受光し、光電変換する撮像を行うことで、電気信号としての画像のデータを生成し、信号処理部１３に供給する。

【0020】

信号処理部１３は、光学系／イメージセンサ制御部４１、符号化制御部４２、ファイル制御部４３、メディア制御部４４、操作制御部４５、表示制御部４６、及び、UI制御部４７を有する。

【0021】

光学系／イメージセンサ制御部４１は、光学系１１及びイメージセンサ１２を制御し、その制御に従って行われる撮像により得られる画像（のデータ）を、符号化制御部４２に供給する。

【0022】

符号化制御部４２は、光学系／イメージセンサ制御部４１からの画像を表示制御部４６に供給するとともに、必要に応じて符号化し、ファイル制御部４３に供給する。また、符号化制御部４２は、ファイル制御部４３から供給される画像を必要に応じて復号し、表示制御部４６に供給する。

【0023】

ファイル制御部４３は、符号化制御部４２から供給される画像を格納したファイルを生成し、メディア制御部４４に供給する。また、ファイル制御部４３は、メディア制御部４４から供給されるファイルの再生、すなわち、ファイルに格納された画像等のデータの読み出し等を行う。例えば、ファイルから読み出された画像は、ファイル制御部４３から符号化制御部４２に供給される。

【0024】

メディア制御部４４は、メディア１４、並びに、インタフェース１５及び１６との間でのファイルのやりとりを制御する。例えば、メディア制御部４４は、ファイル制御部４３からのファイルを、メディア１４に記録させ、又は、インタフェース１５及び１６から送信させる。また、メディア制御部４４は、メディア１４からファイルを読み出し、又は、インタフェース１５及び１６にファイルを受信させ、ファイル制御部４３に供給する。

【0025】

操作制御部４５は、ユーザによるボタン／キー１７やタッチパネル１８の操作に応じて、その操作に対応する操作信号を、必要なブロックに供給する。

【0026】

表示制御部４６は、符号化制御部４２から供給される画像等を、液晶パネル１９や、ビューファインダ２０、インタフェース２１に供給して表示させる表示制御等を行う。

【0027】

UI制御部４７は、UI(User Interface)制御をつかさどる。

【0028】

メディア１４は、例えば、SDカード等の記憶媒体である。インタフェース１５は、例えば、WiFi（登録商標）やイーサネット（登録商標）等のLAN(Local Area Network)のインタフェースである。インタフェース１６は、例えば、USB(Universal Serial Bus)のインタフェースである。ボタン／キー１７及びタッチパネル１８は、ディジタルカメラ１０に指令その他の情報を入力するときに、ユーザによって操作される。タッチパネル１８は、液晶パネル１９と一体的に構成することができる。液晶パネル１９及びビューファインダ２０は、表示制御部４６から供給される画像等を表示する。インタフェース２１は、HDMI(High-Definition Multimedia Interface)（登録商標）やDP(Display Port)等の少なくとも画像を伝送するインタフェースである。

【0029】

以上のように構成されるディジタルカメラ１０では、光学系／イメージセンサ制御部４１は、イメージセンサ１２の撮像により得られるRAWデータの画像（以下、RAW画像ともいう）から、例えば、そのRAW画像と同一の解像度（画素数）のYUVの画像を、HEIFファイルの主画像として生成し、符号化制御部４２に供給する。

【0030】

符号化制御部４２は、YUVの主画像から、液晶パネル１９や外部のディスプレイでの表示の用途用に、主画像に基づく第１の他の画像としての、例えば、主画像よりも解像度が低いYUVの画像（以下、スクリーンネイル画像ともいう）を生成するとともに、一覧表示の用途用に、主画像に基づく第２の他の画像としての、例えば、スクリーンネイル画像よりも解像度が低いYUVの画像（以下、サムネイル画像ともいう）を生成する。符号化制御部４２は、例えば、スクリーンネイル画像を、表示制御部４６を介して、液晶パネル１９に供給し、いわゆるスルー画として表示させる。サムネイル画像としては、例えば、長辺が320ピクセル以下のサイズの画像を採用することができる。主画像と、主画像に基づく第１の他の画像としてのスクリーンネイル画像、又は、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズ（ピクセル数）の比率は、例えば、200倍以下にすることができる。主画像に基づく第１の他の画像としてのスクリーンネイル画像と、主画像に基づく第２の他の画像としてのサムネイル画像とのサイズの比率も、同様に、200倍以下とすることができる。スクリーンネイル画像としては、例えば、解像度が4K以上の画像を採用することができる。また、スクリーンネイル画像としては、例えば、ユーザの選択に応じて、4K（QFHD）又はFHDの画像を採用することができる。さらに、主画像とスクリーンネイル画像としては、同一の解像度の画像を採用することができる。主画像とスクリーンネイル画像として、同一の解像度の画像を採用する場合、HEIFファイルには、主画像とスクリーンネイル画像との両方を格納することもできるし、スクリーンネイル画像を格納せずに、主画像を格納することができる。HEIFファイルに、スクリーンネイル画像を格納せずに、主画像を格納する場合には、主画像をリサイズして、スクリーンネイル画像として用いることができる。

【0031】

また、符号化制御部４２は、RAW画像に対応する主画像、スクリーンネイル画像、及び、サムネイル画像（同一のRAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）を、必要に応じて符号化し、RAW画像とともに、ファイル制御部４３に供給する。

【0032】

ファイル制御部４３は、RAW画像が格納されたRAWファイルを生成するとともに、対応する主画像、スクリーンネイル画像、及び、サムネイル画像（同一のRAW画像から生成された主画像、スクリーンネイル画像、及び、サムネイル画像）が格納されたHEIFファイル、又は、JPEGファイル等を生成し、メディア制御部４４に供給する。HEIFファイルとは、HEIF(High Efficiency Image File Format)に準拠したファイルであり、JPEGファイルとは、JPEG(Joint Photographic Experts Group)に準拠したファイルである。

【0033】

メディア制御部４４は、ファイル制御部４３からのRAWファイルと、HEIFファイル又はJPEGファイルとを、メディア１４に記録し、あるいは、インタフェース１５又は１６から送信させる。

【0034】

ファイル制御部４３において、HEIFファイル、及び、JPEGファイルのうちのいずれを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルには、後述するように、イメージアイテム形式とイメージシーケンス形式とがあるが、イメージアイテム形式とイメージシーケンス形式とのいずれを採用するかは、例えば、ユーザの操作に応じて選択することができる。さらに、ファイル制御部４３では、ユーザの操作に応じて、HEIFファイルとJPEGファイルとの間の相互変換を行うことができる。

【0035】

さらに、ファイル制御部４３では、HEIFファイルの生成にあたって、HEIFファイル外の外部データ（HEIFファイルに格納されていないデータ）と関連付けるHEIFファイル内の内部データ（HEIFファイルに格納されたデータ）と、その外部データを特定する特定情報とを関連付けて、HEIFファイルに格納することができる。内部データと、その内部データと関連付ける外部データの特定情報とが関連付けられて格納されたHEIFファイルを、関連付け型HEIFファイルともいう。関連付け型HEIFファイルには、例えば、内部データと特定情報とを関連付ける関連付け情報を格納すること等によって、内部データと特定情報とを関連付けて格納することができる。

【0036】

＜JPEGファイル＞

【0037】

図２は、JPEG(Joint Photographic Experts Group)に準拠したJPEGファイルのフォーマットの例を示す図である。

【0038】

JPEGファイルは、例えば、Exifのメタデータ、サムネイル画像、XMP(Extensible Metadata Platform)（登録商標）のメタデータ、主画像及び簡易表示用画像の格納場所（位置）等を表すMPF、主画像、並びに、簡易表示用画像が格納されて構成される。簡易表示用画像としては、例えば、スクリーンネイル画像を採用することができる。

【0039】

＜ISOベースメディアファイルフォーマット＞

【0040】

図３は、ISOベースメディアファイルフォーマットの例を示す図である。

【0041】

HEIF(ISO/IEC 23008-12)は、ISOベースメディアファイルフォーマット(ISO/IEC 14496-12)に準拠したファイルフォーマットであり、したがって、HEIFファイルは、ISOベースメディアファイルフォーマットに準拠する。

【0042】

ISOベースメディアファイルフォーマットは、データを格納するコンテナとしてのボックス(box)と呼ばれる単位で構成され、ボックス構造と呼ばれる構造を有する。

【0043】

ボックスは、タイプ(box type)、及び、実データ(data)等を有する。タイプは、ボックス内の実データの種類を表す。実データとしては、画像（静止画、動画）や、オーディオ、字幕（サブタイトル）等の再生可能なメディアデータ、属性名（フィールド名）とその属性名（で表される変数）の属性値（フィールド値）、その他の各種のデータを採用することができる。

【0044】

さらに、実データとしては、ボックスを採用することができる。すなわち、ボックスは、実データとして、ボックスを持つことができ、これにより、階層構造にすることができる。

【0045】

ISOベースメディアファイルフォーマットに準拠したベースメディアファイルは、ftypボックス、moovボックス(MovieBox)、metaボックス(MetaBox)、及び、mdatボックス(MediaDataBox)等を有することができる。ftypボックスには、ファイルフォーマットを識別する識別情報が格納される。moovボックスは、trakボックス等を格納することができる。metaボックスは、iinfボックス、iprpボックス、irefボックス、ilocボックス等を格納することができる。mdatボックスは、メディアデータ（AVデータ）、その他任意のデータを格納することができる。

【0046】

HEIFは、以上のようなISOベースメディアファイルフォーマットに準拠する。

【0047】

＜HEIFファイル＞

【0048】

図４は、HEIFに準拠したHEIFファイルのフォーマットの例を示す図である。

【0049】

HEIFファイルには、大きく分けて、イメージアイテム形式と、イメージシーケンス形式とがある。さらに、イメージアイテム形式には、後述するアイテムを１つだけ有するシングルイメージ形式と、アイテムを複数有するイメージコレクション形式とがある。

【0050】

イメージアイテム形式のHEIFファイルは、ftypボックス、metaボックス、及び、mdatボックスを有する。

【0051】

イメージシーケンス形式のHEIFファイルは、ftypボックス、moovボックス、及び、mdatボックスを有する。

【0052】

なお、HEIFファイルは、metaボックス及びmoovボックスのうちの一方だけでなく、両方を有することもできる。

【0053】

ftypボックスには、ファイルフォーマットを識別する識別情報、例えば、ファイルがイメージアイテム形式又はイメージシーケンス形式のHEIFファイルであること等が格納される。

【0054】

metaボックス及びmoovボックスには、mdatボックスに格納されるメディアデータの再生や管理等に必要な、例えば、メディアデータの格納場所等のメタデータが格納される。

【0055】

mdatボックスには、メディアデータ（AVデータ）等が格納される。

【0056】

ディジタルカメラ１０において、イメージアイテム形式とイメージシーケンス形式とのHEIFファイルのうちのいずれのHEIFファイルを生成するかは、例えば、ユーザの操作に応じて選択することができる。また、HEIFファイルのmdatボックスに、画像を符号化して格納する場合には、イメージアイテム形式については、イントラ符号化のみが許され、イメージシーケンス形式については、イントラ符号化及びインター符号化が許される。したがって、例えば、HEIFファイルに格納されたデータへの高速アクセスを優先する場合には、イメージアイテム形式のHEIFファイルの生成を選択し、HEIFファイルのサイズ（データ量）を小さくすることを優先する場合には、イメージシーケンス形式のHEIFファイルの生成を選択することができる。

【0057】

図５は、イメージアイテム形式のHEIFファイルのフォーマットの例を示す図である。

【0058】

イメージアイテム形式のHEIFファイルでは、ftypボックスに、イメージアイテム形式のHEIFファイルであることを表す情報、例えば、mif1等が（属性値として）格納される。

【0059】

metaボックスには、iinfボックス、irefボックス、iprpボックス、及び、ilocボックスが格納される。

【0060】

iinfボックスには、mdatボックスに格納されたメディアデータ（AVデータ）であるアイテムの数（を表す属性名と属性値）等が格納される。アイテムとは、イメージアイテム形式のHEIFファイルのmdatボックスに格納される１つのデータであり、例えば、１枚（画面）の画像が、アイテムである。本明細書では、静止画及び動画にかかわらず、画像の１枚を、フレームともいう。１フレームは、１アイテムである。

【0061】

irefボックスには、アイテムどうしの関連を表す情報が格納される。例えば、mdatボックスには、対応する主画像、スクリーンネイル画像、及び、サムネイル画像のそれぞれをアイテムとして格納することができる。mdatボックスに、主画像としてのアイテムI1、スクリーンネイル画像としてのアイテムI2、及び、サムネイル画像としてのアイテムI3が格納される場合、irefボックスには、アイテムI2がアイテムI1としての主画像のスクリーンネイル画像であることを表す情報や、アイテムI3がアイテムI1としての主画像のサムネイル画像であることを表す情報が格納される。

【0062】

iprpボックスには、アイテムのプロパティに関する情報が格納される。

【0063】

ilocボックスには、mdatボックスに格納されたアイテムの格納場所に関する情報が格納される。

【0064】

イメージアイテム形式の（HEIFファイルの）mdatボックスには、アイテムとしての、例えば、画像のフレームが格納される。mdatボックスには、１個以上のアイテムを格納することができる。また、mdatボックスには、アイテムとしてのフレームを符号化して格納することができる。但し、イメージアイテム形式のmdatボックスに格納するアイテムとしてのフレームの符号化は、イントラ符号化に制限される。アイテムとしてのフレームを符号化する符号化方式（コーデック）としては、例えば、HEVC等を採用することができる。

【0065】

図６は、図５のiprpボックスの例を示す図である。

【0066】

iprpボックスには、アイテムのプロパティに関するipcoボックス及びipmaボックスが格納される。ipcoボックスには、mdatボックスに格納されたアイテムのプロパティ、例えば、アイテムとしての画像のコーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクス（ポインタ）が格納される。

【0067】

図７は、イメージシーケンス形式のHEIFファイルのフォーマットの例を示す図である。

【0068】

イメージシーケンス形式のHEIFファイルでは、ftypボックスに、イメージシーケンス形式のHEIFファイルであることを表す情報、例えば、msf1等が格納される。

【0069】

moovボックスには、trakボックスが格納される。trakボックスには、mdatボックスに格納されるトラックに関する情報が格納される。

【0070】

トラックは、画像や音声等の１つの独立した、タイムラインに従って再生されるメディアデータで構成される。例えば、トラックは、エレメンタリストリームとなる１フレーム以上の画像で構成される。mdatボックスに格納されるトラックについては、複数のトラック、例えば、同時に記録された画像及び音声それぞれのトラックを、同時に再生することができる。

【0071】

トラックのメディアデータは、サンプルと呼ばれる単位で構成される。サンプルとは、HEIFファイル内のメディアデータにアクセスする場合の、最小の単位（アクセス単位）である。したがって、サンプルより細かい単位で、HEIFファイル内のメディアデータにアクセスすることはできない。

【0072】

画像のメディアデータについては、例えば、１フレーム等が、１サンプルとなる。また、音声のメディアデータについては、例えば、その音声のメディアデータの規格で定められた１オーディオフレーム等が、１サンプルとなる。

【0073】

イメージシーケンス形式の（HEIFファイルの）mdatボックスにおいて、トラックのメディアデータは、チャンク(chunk)と呼ばれる単位で配置される。チャンクは、論理的に連続したアドレスに配置される１以上のサンプルの集合である。

【0074】

mdatボックスに、メディアデータとしての複数のトラックが格納される場合、その複数のトラックは、チャンク単位で、インターリーブして配置される。

【0075】

以上のように、イメージシーケンス形式のmdatボックスには、画像や音声等のメディアデータで構成される１以上のトラックが格納される。

【0076】

mdatボックスには、トラックを構成する画像のフレームを符号化して格納することができる。イメージシーケンス形式のmdatボックスに格納するトラックを構成するフレームの符号化には、GOP(Group of Picture)として、long GOPを採用するとともに、イントラ符号化及びインター符号化のいずれをも採用することができる。トラックを構成するフレームを符号化するコーデックとしては、例えば、HEVC等を採用することができる。

【0077】

図８は、trakボックスの例を示す図である。

【0078】

trakボックスには、tkhdボックス及びmdiaボックスを格納することができる。tkhdボックスには、trakボックスが管理するトラックの作成日時等の、トラックのヘッダ情報が格納される。mdiaボックスには、minfボックス等が格納される。minfボックスには、stblボックスが格納される。stblボックスには、トラックのサンプル、ひいては、チャンクにアクセスするための情報が格納されるstsdボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。stsdボックスには、トラックのコーデックに関するコーデック情報が格納される。stscボックスには、チャンクサイズ（1チャンクのサンプル数）が格納される。stszボックスには、サンプルサイズが格納される。stcoボックスには、チャンクオフセット、すなわち、mdatボックスに格納されたトラックの各チャンクの配置位置のオフセットが格納される。

【0079】

ここで、イメージアイテム形式のHEIFファイルを、コレクションファイルともいい、イメージシーケンス形式のHEIFファイルを、シーケンスファイルともいう。さらに、イメージアイテム形式の関連付け型HEIFファイルを、関連付け型コレクションファイルともいい、イメージシーケンス形式の関連付け型HEIFファイルを、関連付け型シーケンスファイルともいう。

【0080】

ディジタルカメラ１０では、主画像、さらには、必要なスクリーンネイル画像、及び、サムネイル画像のうちの一方又は両方が格納されたHEIFファイル（関連付け型HEIFファイルを含む）を生成することができる。

【0081】

＜コレクションファイル＞

【0082】

図９は、主画像及びサムネイル画像が格納された通常のコレクションファイルの例を示す図である。

【0083】

ここで、通常のコレクションファイルとは、コレクションファイル内の内部データと、外部データの特定情報とが関連付けられていないコレクションファイルを意味する。

【0084】

いま、コレクションファイルのmdatボックスには、フレーム（アイテム）がHEVCで符号化されて格納されることとする。

【0085】

ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージアイテム形式であることと、コーデックがHEVCであることとを表すheicが格納される。

【0086】

iinfボックスには、mdatボックスに格納されたアイテムの数（アイテム数）が格納される。図９では、アイテムID#1で特定される主画像（以下、主画像Item#1のようにも記載する）、主画像Item#2、アイテムID#101で特定されるサムネイル画像（以下、サムネイル画像Item#101のようにも記載する）、サムネイル画像Item#102の合計で４個のアイテム（フレーム）が、mdatボックスに格納されている。したがって、アイテム数は４である。なお、サムネイル画像Item#101は、主画像Item#1のサムネイル画像であり、サムネイル画像Item#102は、主画像Item#2のサムネイル画像である。

【0087】

iinfボックスには、さらに、例えば、mdatボックスに格納されたアイテムごとに、infeボックスが格納される。infeボックスには、アイテムを特定するアイテムIDと、アイテムタイプとが登録される。図９では、主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びIteｍ#102それぞれのinfeボックスが存在する。

【0088】

irefボックスには、mdatボックスに格納されたアイテムどうしを関連付ける情報として、例えば、thmbボックスが格納される。thmbボックスは、主画像とその主画像のサムネイル画像とを関連付ける情報としての参照元と参照先とが対応付けられて格納される。thmbボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のサムネイル画像のアイテムIDを表す。したがって、参照元に対応付けられている参照先によれば、参照元が表すアイテムIDで特定される主画像のサムネイル画像のアイテムIDを認識することができる。また、参照先に対応付けられている参照元によれば、参照先が表すアイテムIDで特定されるサムネイル画像の主画像のアイテムIDを認識することができる。

【0089】

iprpボックスには、図６で説明したように、ipcoボックス及びipmaボックスが格納される。ipcoボックスには、図６で説明したように、mdatボックスに格納されたアイテムとしてのフレームのプロパティ、例えば、コーデックに関するコーデック情報やサイズに関する画サイズ情報が格納される。ipmaボックスには、図６で説明したように、mdatボックスに格納されたアイテムの、ipcoボックスに格納されたプロパティへのインデクスが格納される。

【0090】

ilocボックスには、図６で説明したようにmdatボックスにおけるアイテムの格納場所に関する情報が格納される。図９では、ilocボックスには、アイテム数が４であることが格納されている。さらに、ilocボックスには、mdatボックスに格納された主画像Item#1及びItem#2、並びに、サムネイル画像Item#101及びIteｍ#102それぞれの格納場所へのオフセット及びサイズがアイテムIDと対応付けられて格納されている。

【0091】

以下、図９の通常のコレクションファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型コレクションファイルについて説明する。

【0092】

図１０は、第１の関連付け型コレクションファイルの例を示す図である。

【0093】

ここで、以下では、HEIFファイル内の内部データとしての主画像と関連付ける外部データとして、例えば、その主画像のRAW画像（が格納されたRAWファイル）を採用することとする。

【0094】

第１の関連付け型コレクションファイルには、内部データとしての主画像と、外部データとしてのRAW画像が格納されたRAWファイル（に格納されたRAW画像）の特定情報とを関連付ける関連付け情報を格納することで、主画像とRAW画像が格納されたRAWファイルの特定情報とが関連付けられて格納される。さらに、第１の関連付け型コレクションファイルでは、関連付け情報が、metaボックスに格納される。

【0095】

外部データとしてのRAW画像が格納されたRAWファイルの特定情報としては、RAWファイルのファイル名や、RAWファイルに対して発行されたuuid(Universally Unique Identifier)、URL(Uniform Resource Locator)、その他、RAWファイル（に格納されたRAW画像）を特定することができる任意の情報を採用することができる。

【0096】

第１の関連付け型コレクションファイルについては、metaボックスに格納される新たなボックスとして、関連付け情報が格納される関連付け情報格納ボックスが定義され、metaボックスに格納される。第１の関連付け型コレクションファイルの関連付け情報格納ボックスには、例えば、主画像を特定するアイテムIDと、その主画像に関連付ける（RAW画像が格納された）RAWファイル（に格納されたRAW画像）を特定する特定情報としてのuuidとが対応付けられた関連付け情報が格納される。さらに、関連付け情報格納ボックスには、RAWファイル（に格納されたRAW画像）と関連付けられる主画像の数（主画像数）が格納される。関連付け情報格納ボックスに格納される主画像数は、RAWファイルと関連付けられる主画像の数であるので、mdatボックスに格納されている主画像の数以下の値になる。

【0097】

図１０では、主画像Item#1のRAWファイルのuuid（主画像Item#1と関連付けられたRAW画像のuuid）が、UUID#1になっており、主画像Item#2のRAWファイルのuuidが、UUID#2になっている。いま、uuidがUUID#iのRAWファイルを、RAWファイルUUID#iと記述することとすると、図１０では、主画像Item#1のアイテムID#1とRAWファイルUUID#1のuuidとが対応付けられ、かつ、主画像Item#2のアイテムID#2とRAWファイルUUID#2のuuidとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。

【0098】

図１１は、第２の関連付け型コレクションファイルの例を示す図である。

【0099】

第２の関連付け型コレクションファイルには、第１の関連付けコレクションファイルと同様に、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第２の関連付け型コレクションファイルでは、関連付け情報が、mdatボックスに格納される。

【0100】

第２の関連付け型コレクションファイルについては、例えば、第１の関連付けコレクションファイルの場合と同様の関連付け情報が、アイテムとして、mdatボックスに格納される。図１１では、関連付け情報が、アイテムID#201のアイテムとして、mdatボックスに格納されている。

【0101】

以上のように、第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報が、mdatボックスに格納されることに応じて、metaボックスに格納される情報が、図９の通常のコレクションファイルの場合と異なる。第２の関連付け型コレクションファイルでは、アイテムItem#201としての関連付け情報のメタデータが、metaボックスに格納される。

【0102】

具体的には、第２の関連付け型コレクションファイルでは、iinfボックス及びilocボックスに格納されるアイテム数が、図９の場合の４から、その４に、アイテムItem#201の１を加えた５になる。さらに、iinfボックスに、アイテムItem#201に対するinfeボックスが追加されるとともに、ilocボックスに、アイテムItem#201の格納場所へのオフセット及びサイズが追加される。アイテムItem#201に対するinfeボックスには、アイテムItem#201のアイテムID#201と、アイテムItem#201が関連付け情報であることを表すアイテムタイプIDIF(identifying data info)とが格納される。IDIFは、アイテムが関連付け情報であることを表す、新たに定義された属性値（フィールド値）である。

【0103】

図１２は、第３の関連付け型コレクションファイルの例を示す図である。

【0104】

第３の関連付け型コレクションファイルでは、外部データとしてのRAWファイルの特定情報を、特定情報ごとに、アイテムとして、mdatボックスに格納するとともに、内部データとしての主画像と、外部データとしてのRAWファイルの特定情報とを関連付ける関連付け情報を、metaボックスに格納することで、主画像とRAWファイルの特定情報とが関連付けられて格納される。但し、第３の関連付け型コレクションファイルでは、関連付け情報は、アイテムとしての主画像のアイテムIDと、アイテムとしての（RAWファイルの）特定情報のアイテムIDとを対応付けた情報であり、metaボックス内のirefボックスに格納されるcdscボックスに格納される。

【0105】

cdscボックスには、主画像とその主画像のRAWファイルの特定情報それぞれとしてのアイテムどうしとを関連付ける情報としての参照元と参照先とを対応付けて格納することができる。cdscボックスにおいて、参照元は、主画像のアイテムIDを表し、参照先は、参照元のアイテムIDで特定される主画像のRAWファイルのアイテムとしての特定情報のアイテムIDを表す。

【0106】

図１２では、主画像Item#1のRAWファイルの特定情報としてのuuidであるUUID#1が、アイテムItem#201として、mdatボックスに格納され、主画像Item#2のRAWファイルの特定情報としてのuuidであるUUID#2が、アイテムItem#202として、mdatボックスに格納されている。さらに、主画像Item#1のアイテムID#1と、特定情報UUID#1のアイテムID#201とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納され、主画像Item#2のアイテムID#2と、特定情報UUID#2のアイテムID#202とを、それぞれ参照元と参照先として対応付けた関連付け情報が格納されたcdscボックスが、irefボックスに格納されている。

【0107】

＜シーケンスファイル＞

【0108】

図１３は、主画像のトラック及びその主画像のサムネイル画像のトラックが格納された通常のシーケンスファイルの例を示す図である。

【0109】

ここで、通常のシーケンスとは、シーケンスファイル内の内部データと、外部データの特定情報とが関連付けられていないシーケンスファイルを意味する。

【0110】

いま、シーケンスファイルのmdatボックスには、フレームがHEVCで符号化されて格納されることとする。

【0111】

ftypボックスには、ファイルフォーマットを識別する識別情報として、イメージシーケンス形式であることと、コーデックがHEVCであることとを表すhevcが格納される。

【0112】

moovボックスには、図７で説明したように、mdatボックスに格納されるトラックそれぞれを管理するtrakボックスが格納される。図１３では、トラックID#1で特定される主画像のトラック（以下、トラック#1のようにも記載する）、及び、トラック#1の主画像のサムネイル画像のトラック#2が、mdatボックスに格納されている。したがって、moovボックスには、トラック#1を管理するtrakボックスと、トラック#2を管理するtrakボックスとが格納される。トラック#2の（先頭から）n番目のサムネイル画像（のフレーム）は、トラック#1のn番目の主画像のサムネイル画像である。

【0113】

シーケンスファイルは、例えば、ディジタルカメラ１０で連写が行われた場合に、その連写で得られる複数フレームの主画像及びサムネイル画像を、それぞれ、1トラックとして記録する場合等に有用である。

【0114】

主画像のトラック#1を管理するtrakボックスのtkhdボックスには、トラック#1を特定するトラックID#1、トラック#1を構成する主画像の画サイズ、主画像が撮像されたときのディジタルカメラ１０の向きを表す回転情報、及び、トラック#1の作成日時が格納される。サムネイル画像のトラック#2を管理するtrakボックスのtkhdボックスには、トラック#2を特定するトラックID#2、及び、トラック#2の作成日時が格納される。

【0115】

trakボックスには、図７で説明したtkhdボックス及びmdiaボックスの他に、trefボックスを格納することができる。trefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラックと関連する他のトラックを特定するトラックID、及び、トラックの内容を表す情報等が格納される。図１３では、トラック#2を管理するtrakボックスの中に、trefボックスが設けられている。そして、そのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#2を構成するデータがサムネイル画像であること（トラック#2がサムネイル画像のトラックであること）(type=thmb)を表す情報が格納されている。

【0116】

trakボックスのmdiaボックスには、図８で説明したminfボックスの他、hdlrボックスを格納することができる。hdlrボックスには、そのhdlrボックスが格納されたtrakボックスが管理するトラックを構成するデータの種別を表す情報が格納される。主画像のトラック#1を管理するtrakボックスに（格納されるmdiaボックスに）格納されるhdlrボックスには、トラック#1を構成するデータがピクチャ（フレーム）であることを表す情報(pict)が格納され、サムネイル画像のトラック#2を管理するtrakボックスに格納されるhdlrボックスには、トラック#2を構成するデータがピクチャであることを表す情報が格納される。

【0117】

minfボックスについては、図８で説明した通りである。

【0118】

以下、図１３の通常のシーケンスファイルに、内部データと外部データの特定情報とを関連付けて格納した関連付け型シーケンスファイルについて説明する。

【0119】

図１４は、関連付け型シーケンスファイルの例を示す図である。

【0120】

関連付け型シーケンスファイルでは、外部データとしてのRAWファイルの特定情報としてのuuidの（エレメンタリ）ストリーム(Meta ES)のトラック#3が、mdatボックスに追加されるとともに、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。

【0121】

ここで、トラック#1は、タイムライン上に並ぶ主画像の１フレーム以上の時系列であり、トラック#3は、タイムライン上に並ぶ、主画像の各フレームのRAWファイルのuuidの時系列である。

【0122】

トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目の主画像のフレームのRAWファイルの特定情報である。また、mdatボックスに格納された複数のトラック（のデータ）は、１つのタイムライン上の時刻情報に従って同期して再生することができる。したがって、主画像のトラック#1と、トラック#1を構成する主画像の各フレームのRAWファイルのuuid（のストリーム）のトラック#3とを、mdatボックスに格納することで、トラック#1のn番目の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、関連付けられて格納される。この場合、トラック#1の主画像のフレームと、その主画像（のフレーム）のRAWファイルのuuidとは、タイムライン上の時刻情報により関連付けられるということができる。

【0123】

なお、トラック#3の（先頭から）n番目のuuidは、トラック#1のn番目のフレームのRAWファイルの特定情報であり、トラック#1を構成する主画像（のフレーム）と、トラック#3を構成するuuidとは、トラックに配置される順番によって関連付けられると捉えることもできる。

【0124】

関連付け型シーケンスファイルでは、RAWファイルのuuidのトラック#3が、mdatボックスに追加されることに応じて、そのトラック#3を管理するtrakボックスが、moovボックスに追加される。

【0125】

RAWファイルのuuidのトラック#3を管理するtrakボックスには、tkhdボックス、trefボックス、及び、mdiaボックス等が格納される。

【0126】

トラック#3を管理するtrakボックスのtkhdボックスには、トラック#3を特定するトラックID#3、及び、トラック#3の作成日時が格納される。

【0127】

トラック#3を管理するtrakボックスのtrefボックスには、そのtrefボックスが格納されたtrakボックスが管理するトラック#3と関連する他のトラックを特定するトラックID、及び、トラック#3の内容を表す情報等が格納される。トラック#3を構成するuuidは、トラック#1を構成する主画像のRAWファイルの特定情報であり、トラック#3は、トラック#1と関連しているので、図１４のトラック#3を管理するtrakボックスのtrefボックスには、トラック#3と関連する他のトラックがトラック#1であること(track_ID=1)、及び、トラック#3がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)を表す情報が格納される。

【0128】

トラック#3を管理するtrakボックスのmdiaボックスには、hdlrボックス及びminfボックスが格納される。トラック#3を管理するtrakボックスにおいて、hdlrボックスには、トラック#3を構成するデータが（主画像の）メタデータであることを表す情報が格納され、minfボックスには、トラック#3についてのstscボックス、stscボックス、stszボックス、及び、stcoボックスが格納される。

【0129】

＜HEIFファイルの生成及び再生＞

【0130】

図１５は、関連付け型HEIFファイルを生成する生成処理の例の概要を説明するフローチャートである。

【0131】

生成処理では、ステップＳ１１において、ファイル制御部４３は、主画像のフレームのRAWファイル（RAW画像）の特定情報としてのuuidを生成し、処理は、ステップＳ１２に進む。

【0132】

ステップＳ１２では、ファイル制御部４３は、ステップＳ１１で生成したuuidを、主画像のフレームのRAWファイル（RAW画像）に割り当て、処理は、ステップＳ１３に進む。

【0133】

ステップＳ１３では、ファイル制御部４３は、HEIFファイルに主画像のフレームと、そのフレームのRAWファイルのuuidとを関連付けて格納した関連付け型HEIFファイルを生成し、生成処理を終了する。

【0134】

図１６は、関連付け型HEIFファイルを再生する再生処理の例の概要を説明するフローチャートである。

【0135】

再生処理では、ステップＳ２１において、ファイル制御部４３は、例えば、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームの個々を識別するハンドルのハンドルリストを生成し、処理は、ステップＳ２２に進む。

【0136】

ここで、主画像のフレームのハンドルは、そのフレームが格納されたHEIFファイルのファイル名を含む。コレクションファイルに格納された主画像のフレーム（アイテム）のハンドルは、さらに、そのフレームのアイテムIDを含む。シーケンスファイルに格納された主画像のフレームのハンドルは、さらに、そのフレームの時刻情報を含む。主画像のフレームのハンドルによれば、そのハンドルに対するフレームを、一意に識別（特定）することができる。

【0137】

なお、シーケンスファイルに格納された主画像のフレームのハンドルには、フレームの時刻情報に代えて、フレームを含むトラックのトラックIDと、そのトラックにおけるフレームの順番（何番目のフレームであるか）とを含めることができる。

【0138】

シーケンスファイルに格納される、主画像のフレームで構成されるトラックが、１つであっても複数であっても、各フレームの時刻情報はユニークである。したがって、フレームの時刻情報によれば、シーケンスファイルに複数のトラックが格納されていても、その複数のトラックそれぞれを構成するフレームから、ハンドルに含まれる時刻情報のフレームを、一意に特定することができる。そのため、主画像のフレームのハンドルに、そのフレームの時刻情報を含める場合には、そのフレームが存在するトラックのトラックIDがなくても、時刻情報に対するフレームを、一意に特定することができる。

【0139】

ハンドルリストは、メディア１４に記憶されたHEIFファイルに格納された主画像のフレームすべてを対象に生成することもできるし、特定の作成日時のフレーム等の、特定の条件で絞り込んだフレームのみを対象に生成することもできる。

【0140】

ファイル制御部４３において、ハンドルリストの生成後、HEIFファイルへのアクセスは、必要に応じて、ハンドルリストを参照して行われる。

【0141】

ステップＳ２２では、例えば、ユーザが、サムネイル画像の表示を行うように、ディジタルカメラ１０を操作すること等を待って、UI制御部４７は、サムネイル画像の表示を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのサムネイル画像の表示の要求に応じて、ハンドルリストのハンドルにより識別される主画像のフレームのサムネイル画像（のフレーム）を、HEIFファイルから読み出す。そして、ファイル制御部４３は、HEIFファイルから読み出されたサムネイル画像の一覧を、例えば、液晶パネル１９（図１）に表示させ、処理は、ステップＳ２２からステップＳ２３に進む。

【0142】

ステップＳ２３では、例えば、ユーザが、サムネイル画像の一覧から、所望のサムネイル（のフレーム）を選択すること等を待って、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像を、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からの主画像の要求に応じて、その主画像を、HEIFファイルから読み出す。ファイル制御部４３は、HEIFファイルから読み出された主画像を、必要に応じて、液晶パネル１９に表示させることができる。

【0143】

又は、UI制御部４７は、ユーザが選択したサムネイル画像に対応する主画像のRAWファイルのuuidを、ファイル制御部４３に要求する。ファイル制御部４３は、UI制御部４７からのuuidの要求に応じて、そのuuidを、関連付け型HEIFファイルから読み出す。ファイル制御部４３は、必要に応じて、関連付け型HEIFファイルから読み出されたuuidにより特定されるRAWファイルにアクセスすることができる。

【0144】

図１７は、コレクションファイルを再生する再生処理の例を説明するフローチャートである。

【0145】

ステップＳ３１において、ファイル制御部４３は、再生対象の画像（アイテム）である再生対象画像のアイテムID（以下、再生対象アイテムIDともいう）の取得を行い、処理は、ステップＳ３２に進む。

【0146】

再生対象アイテムIDの取得では、例えば、ハンドルリストの任意のハンドルにより識別される主画像や、その主画像のサムネイル画像、サムネイル画像の一覧からユーザが選択したサムネイル画像（以下、選択サムネイル画像ともいう）、選択サムネイル画像の主画像等を、再生対象画像として、その再生対象画像のアイテムID（再生対象アイテムID）が取得される。

【0147】

ステップＳ３２では、ファイル制御部４３は、ステップＳ３１で取得された再生対象アイテムIDに応じて、再生対象画像の読み出しを行う。

【0148】

再生対象画像の読み出しでは、再生対象アイテムIDにより特定される再生対象画像が、コレクションファイルから読み出される。

【0149】

図１８は、図１７のステップＳ３２の再生対象画像の読み出しの処理の例を説明するフローチャートである。

【0150】

ステップＳ４１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のilocボックスから、再生対象アイテムIDを検索し、処理は、ステップＳ４２に進む。

【0151】

ステップＳ４２では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ４１で検索された再生対象アイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ４３に進む。

【0152】

ステップＳ４３では、ファイル制御部４３は、再生対象アイテムIDに対応付けられているオフセット及びサイズに応じて、コレクションファイルのmdatボックスに格納された再生対象画像を読み出し、処理は終了する。

【0153】

図１９は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第１の例を説明するフローチャートである。

【0154】

すなわち、図１９は、サムネイル画像を再生対象画像として、その再生対象画像であるサムネイル画像のアイテムIDの取得の例を示している。

【0155】

なお、図１９では、ファイル制御部４３は、例えば、ハンドルから、再生対象画像としてサムネイル画像の主画像のアイテムIDを認識していることとする。

【0156】

ステップＳ５１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照元が主画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ５２に進む。

【0157】

ステップＳ５２では、ファイル制御部４３は、ステップＳ５１で検索された、参照元が主画像のアイテムIDに一致するthmbボックス内の参照先を、再生対象画像としてのサムネイル画像のアイテムIDとして読み出し、処理は終了する。

【0158】

図２０は、図１７のステップＳ３１の再生対象アイテムIDの取得の処理の第２の例を説明するフローチャートである。

【0159】

すなわち、図２０は、主画像を再生対象画像として、その再生対象画像である主画像のアイテムIDの取得の例を示している。

【0160】

なお、図２０では、例えば、ユーザが、サムネイル画像の一覧からサムネイル画像（選択サムネイル画像）を選択し、ファイル制御部４３は、その選択サムネイル画像のアイテムIDを認識していることとする。

【0161】

ステップＳ６１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のirefボックスの中のthmbボックスから、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックスを検索し、処理は、ステップＳ６２に進む。

【0162】

ステップＳ６２では、ファイル制御部４３は、ステップＳ６１で検索された、参照先が選択サムネイル画像のアイテムIDに一致するthmbボックス内の参照元を、再生対象画像としての主画像のアイテムIDとして読み出し、処理は終了する。

【0163】

図２１は、図１０の第１の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0164】

なお、図２１では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。

【0165】

ステップＳ７１において、ファイル制御部４３は、第１の関連付け型コレクションファイル（図１０）の関連付け情報格納ボックスの関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ７２に進む。

【0166】

ステップＳ７２では、ファイル制御部４３は、関連付け情報において、ステップＳ７１で検索された所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。

【0167】

ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0168】

図２２は、図１１の第２の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0169】

なお、図２２では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。

【0170】

ステップＳ８１において、ファイル制御部４３は、第２の関連付け型コレクションファイル（図１１）のiinfボックス内のinfeボックスから、アイテムが関連付け情報であることを表すアイテムタイプIDIFのinfeボックスを検索し、処理は、ステップＳ８２に進む。

【0171】

ステップＳ８２では、ファイル制御部４３は、ステップＳ８１で検索された、アイテムタイプIDIFのinfeボックスから、アイテムとしての関連付け情報のアイテムIDを読み出し、処理は、ステップＳ８３に進む。

【0172】

ステップＳ８３では、ファイル制御部４３は、第２の関連付け型コレクションファイルのilocボックスから、ステップＳ８２で読み出された、関連付け情報のアイテムIDを検索し、処理は、ステップＳ８４に進む。

【0173】

ステップＳ８４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ８３で検索された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ８５に進む。

【0174】

ステップＳ８５では、ファイル制御部４３は、ステップＳ８４で読み出された、関連付け情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第２の関連付け型コレクションファイルのmdatボックスに格納されたアイテムとしての関連付け情報を読み出し、処理は、ステップＳ８６に進む。

【0175】

ステップＳ８６では、ファイル制御部４３は、ステップＳ８５で読み出された関連付け情報から、所定の主画像のアイテムIDを検索し、処理は、ステップＳ８７に進む。

【0176】

ステップＳ８７では、ファイル制御部４３は、関連付け情報において、ステップＳ８６で検索された、所定の主画像のアイテムIDに対応付けられているuuidを読み出し、処理は終了する。

【0177】

ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0178】

図２３は、図１２の第３の関連付け型コレクションファイルから所定の主画像のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0179】

なお、図２３では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像のアイテムIDを認識していることとする。

【0180】

ステップＳ９１において、ファイル制御部４３は、第３の関連付け型コレクションファイル（図１２）のirefボックス内のcdscボックスから、参照元が所定の主画像のアイテムIDに一致するcdscボックスを検索し、処理は、ステップＳ９２に進む。

【0181】

ステップＳ９２では、ファイル制御部４３は、ステップＳ９１で検索された、参照元が所定の主画像のアイテムIDに一致するcdscボックス内の参照先を、アイテムとしての、所定の主画像のRAWファイルの特定情報のアイテムIDとして読み出し、処理は、ステップＳ９３に進む。

【0182】

ステップＳ９３では、ファイル制御部４３は、第３の関連付け型コレクションファイルのilocボックスから、ステップＳ９２で読み出された、アイテムとしての特定情報のアイテムIDを検索し、処理は、ステップＳ９４に進む。

【0183】

ステップＳ９４では、ファイル制御部４３は、ilocボックスにおいて、ステップＳ９３で検索された、特定情報のアイテムIDに対応付けられているオフセット及びサイズを読み出し、処理は、ステップＳ９５に進む。

【0184】

ステップＳ９５では、ファイル制御部４３は、ステップＳ９４で読み出された、特定情報のアイテムIDに対応付けられているオフセット及びサイズに応じて、第３の関連付け型コレクションファイルのmdatボックスに格納された、所定の主画像のRAWファイルの特定情報としてのuuidを読み出し、処理は終了する。

【0185】

ファイル制御部４３は、以上のように読み出されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0186】

図２４は、コレクションファイルから主画像のアイテムIDのリストを取得する処理の例を説明するフローチャートである。

【0187】

コレクションファイルから主画像のアイテムIDのリストを取得する処理は、例えば、ハンドルリストを生成する場合等に行われる。

【0188】

ステップＳ１０１において、ファイル制御部４３は、コレクションファイル（図９ないし図１２）のiinfボックス内のすべてのinfeボックスから、アイテムIDを読み出し、主画像のアイテムIDのリスト（以下、主画像リストともいう）に登録して、処理は、ステップＳ１０２に進む。

【0189】

ステップＳ１０２では、ファイル制御部４３は、コレクションファイルのirefボックス内のすべてのボックスから、参照先になっているアイテムIDを読み出し、主画像リストから除外して、処理は終了する。

【0190】

以上の処理後、主画像リストに登録されているアイテムIDが、主画像のアイテムIDとなる。

【0191】

図２５は、シーケンスファイルから所定の時刻情報に対する主画像（のフレーム）のサムネイル画像を再生する処理の例を説明するフローチャートである。

【0192】

なお、図２５では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。

【0193】

ステップＳ１１１において、ファイル制御部４３は、シーケンスファイル（図１３及び図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータがサムネイル画像であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがthmbになっているtrakボックスを、所定の時刻情報に対する主画像のサムネイル画像のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１１２に進む。

【0194】

ステップＳ１１２では、ファイル制御部４３は、ステップＳ１１１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、所定の時刻情報に対する主画像のサムネイル画像のトラックのトラックIDとして読み出し、処理は、ステップＳ１１３に進む。

【0195】

ステップＳ１１３では、ファイル制御部４３は、ステップＳ１１２で読み出されたトラックIDのトラックを再生し、そのトラックから、所定の時刻情報（又は順番）に対するサムネイル画像（のフレーム）を、所定の時刻情報に対する主画像のサムネイル画像として取得して、処理は終了する。

【0196】

なお、シーケンスファイルに格納された画像のトラックを再生する処理は、MP4ファイルの動画再生の処理と同様である。

【0197】

図２６は、関連付け型シーケンスファイルから所定の主画像（のフレーム）のRAWファイルの特定情報としてのuuidを取得する処理の例を説明するフローチャートである。

【0198】

なお、図２６では、例えば、ファイル制御部４３は、ハンドルリスト等によって、所定の主画像の時刻情報（又は順番）を認識していることとする。

【0199】

ステップＳ１２１において、ファイル制御部４３は、関連付け型シーケンスファイル（図１４）のmoovボックス内のtrakボックスから、trefボックスに、トラックを構成するデータが特定情報であることを表す情報が格納されたtrakボックス、すなわち、trefボックス内のtypeがcdscになっているtrakボックスを、特定情報のトラックを管理するtrakボックスとして検索し、処理は、ステップＳ１２２に進む。

【0200】

ステップＳ１２２では、ファイル制御部４３は、ステップＳ１２１で検索されたtrakボックス内のtkhdボックス内のトラックIDを、特定情報のトラックのトラックIDとして読み出し、処理は、ステップＳ１２３に進む。

【0201】

ステップＳ１２３では、ファイル制御部４３は、ステップＳ１２２で読み出されたトラックIDのトラックから、所定の主画像の時刻情報（又は順番）に対する特定情報としてのuuidを、所定の主画像のRAWファイルのuuidとして取得して、処理は終了する。

【0202】

ファイル制御部４３は、以上のように取得されたuuidにより、所定の主画像のRAWファイルにアクセスすることができる。

【0203】

以上のように、ファイル制御部４３では、HEIFに準拠したHEIFファイルに、HEIFファイル内の主画像と、その主画像と関連付ける、HEIFファイル外の外部データを特定する特定情報とを関連付けて格納した関連付け型HEIFファイルの生成及び再生を行うので、HEIFファイル内に格納される主画像と、HEIFファイル外の外部データとを関連付けることができる。

【0204】

また、特定情報として、uuidを用いる場合には、外部データのファイル名が変更されても、uuidにより、HEIFファイル内の主画像と、ファイル名の変更後の外部データとの関連付けを維持することができる。

【0205】

＜外部データに割り当てられた特定情報の格納＞

【0206】

図２７は、外部データ（が格納されたファイル）として、主画像のRAWファイルを採用し、関連付け型コレクションファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【0207】

なお、図２７では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。

【0208】

RAWファイルは、メタデータとしてのExifの付属情報を格納する領域の一部の領域として、マーカノート(MakerNote)と呼ばれる領域を有する。

【0209】

ファイル制御部４３は、RAWファイル（RAW画像）に割り当てられたuuidを、そのRAWファイルの、例えば、マーカノートに格納することができる。

【0210】

図２７では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#i（RAW画像）には、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのRAWファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるRAWファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。

【0211】

図２８は、外部データとして、主画像のRAWファイルを採用し、関連付け型シーケンスファイルを生成する場合の、RAWファイルへのuuidの格納の例を示す図である。

【0212】

ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２７で説明した関連付け型コレクションファイルを生成する場合と同様に、RAWファイルに割り当てられたuuidを、そのRAWファイルのマーカノートに格納することができる。

【0213】

図２８では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のRAW画像が格納されたRAWファイル#1, #2, #3, #4が生成されている。そして、RAWファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、RAWファイル#iのUUID#iが、RAWファイル#i（RAW画像）に対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。

【0214】

以上のように、RAWファイル#iのUUID#iが、RAWファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのRAWファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。

【0215】

以上においては、外部データとして、主画像のRAWファイル（RAW画像）を採用したが、外部データとしては、その他のデータを採用することができる。外部データとしては、例えば、主画像の撮像とともに録音した音声（音）等を採用することができる。音声を格納するファイルとしては、例えば、WAVフォーマットのWAVファイルや、MP4フォーマットのMP4ファイル等を採用することができる。以下では、音声を格納したファイルとして、例えば、WAVファイルを採用することとする。

【0216】

図２９は、外部データ（が格納されたファイル）として、主画像のWAVファイルを採用し、関連付け型コレクションファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【0217】

なお、図２９では、関連付け型コレクションファイルとして、第１の関連付け型コレクションファイルが採用されている。

【0218】

WAVファイルは、メタデータを記述する領域の一部の領域として、Listチャンクと呼ばれる領域を有する。

【0219】

ファイル制御部４３は、WAVファイル（音声）に割り当てられたuuidを、そのWAVファイルの、例えば、Listチャンクに格納することができる。

【0220】

図２９では、関連付け型コレクションファイルに、４個のアイテムとしての主画像Item#1, Item#2, Item#3, Item#4が格納され、主画像Item#1, Item#2, Item#3, Item#4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#i（音声）には、UUID#iが割り当てられ、主画像Item#iとその主画像Item#iのWAVファイル#iのUUID#iとを関連付ける関連付け情報として、主画像Item#iを特定するアイテムID#iと、その主画像Item#iに関連付けるWAVファイル#iのUUID#iとが対応付けられた関連付け情報が、関連付け情報格納ボックスに格納されている。

【0221】

図３０は、外部データとして、主画像のWAVファイルを採用し、関連付け型シーケンスファイルを生成する場合の、WAVファイルへのuuidの格納の例を示す図である。

【0222】

ファイル制御部４３は、関連付け型シーケンスファイルを生成する場合も、図２９で説明した関連付け型コレクションファイルを生成する場合と同様に、WAVファイルに割り当てられたuuidを、そのWAVファイルのListチャンクに格納することができる。

【0223】

図３０では、関連付け型シーケンスファイルに、４個のフレームとしての主画像#1, #2, #3, #4で構成されるトラック#1が格納され、主画像#1, #2, #3, #4のWAVファイル#1, #2, #3, #4が生成されている。そして、WAVファイル#iには、UUID#iが割り当てられ、関連付け型シーケンスファイルには、WAVファイル#iのUUID#iが、WAVファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて構成されるトラック#3が格納されている。

【0224】

以上のように、WAVファイル#iのUUID#iが、WAVファイル#iに対応する主画像#iと同一の時刻情報を有するように配置されて、トラック#3が構成されることで、トラック#1のi番目の主画像#iとトラック#3のi番目のUUID#i、すなわち、主画像#iのWAVファイル#iのUUID#iとは、関連付けられて、関連付け型シーケンスファイルに格納される。

【0225】

なお、本技術は、HEIFファイルの他、HEIFファイル以外のボックス構造を有する、例えば、ISOベースメディアファイルや、MP4ファイル、Miafファイル等に適用することができる。

【0226】

また、本技術は、その他、例えば、ボックス構造を有しない、画像（主画像）と、その画像の解像度を低下させた他の画像とを格納するファイル等に適用することができる。

【0227】

さらに、本技術は、外部データを、HEIFファイル内の主画像に関連付ける場合の他、HEIFファイル内のスクリーンネイル画像やサムネイル画像に関連付ける場合に適用することができる。

【0228】

また、本技術は、その他、例えば、外部データを、HEIFファイル内の主画像等の画像以外の内部データに関連付ける場合に適用することができる。

【0229】

＜HEIFファイルの生成後の内部データとしての画像と外部データとの関連付け＞

【0230】

図３１は、HEIFファイルの生成後の内部データとしての画像と外部データとの関連付けを説明する図である。

【0231】

HEIFファイルを生成する時点で、そのHEIFファイルに格納される内部データとしての画像（主画像）に関連付ける外部データが存在する場合には、内部データとしての画像と、外部データの特定情報とを関連付けて、HEIFファイルに格納することで、関連付け型HEIFファイルを生成することができる。

【0232】

しかしながら、HEIFファイルを生成する時点では、内部データとしての画像と関連付けたい外部データが存在しなかったが、HEIFファイルの生成後、外部データが生成され、内部データとしての画像と、その外部データとを関連付けたい場合には、HEIFファイルの生成後に、内部データとしての画像と、外部データの特定情報との関連付けに関係する関係情報を、HEIFファイルに格納し、関連付け型HEIFファイルを生成する必要がある。また、HEIFファイルを生成する時点で、外部データが存在する場合であっても、HEIFファイルの生成後に、内部データとしての画像と、既に存在する外部データとを関連付けたくなることがある。この場合も、HEIFファイルの生成後に、関係情報を、HEIFファイルに格納し、関連付け型HEIFファイルを生成する必要がある。

【0233】

なお、HEIFファイルの生成後、外部データが生成され、内部データとしての画像と、その外部データとを関連付けたい場合としては、例えば、ディジタルカメラ１０で撮像された画像に、外部データとしての音声やテキストによるコメントを付与したい場合等がある。HEIFファイルの生成後に、内部データとしての画像と、既に存在する外部データとを関連付けたい場合としては、例えば、ディジタルカメラ１０で撮像された画像に、外部データとしてのBGM(Back Ground Music)を付与したい場合等がある。

【0234】

ここで、関係情報とは、上述のように、内部データとしての画像と、外部データの特定情報との関連付けに関係する情報である。関係情報としては、例えば、第１の関連付け型コレクションファイル（図１０）の関連付け情報格納ボックスに格納される関連付け情報がある。さらに、関係情報としては、例えば、第２の関連付け型コレクションファイル（図１１）のmdatボックスに格納されるアイテムItem#201としての関連付け情報、並びに、メタボックスのiinfボックスに格納されるアイテムItem#201に対するinfeボックス、及び、metaボックスのilocボックスに格納されるアイテムItem#201の格納場所へのオフセット等がある。また、関係情報としては、例えば、第３の関連付け型コレクションファイル（図１２）でのmdatボックスに格納されるアイテムとしての特定情報、及び、metaボックスのirefボックスのcdscボックスに格納されるアイテムとしての主画像のアイテムIDと、アイテムとしての特定情報のアイテムIDとを対応付けた関連付け情報がある。さらに、関係情報としては、例えば、関連付け型シーケンスファイル（図１４）のmdatボックスに格納される特定情報のトラック#3、及び、moovボックスに格納される、特定情報のトラック#3を管理するtrakボックスがある。

【0235】

以上のように、HEIFファイルの生成後に、内部データとしての画像と、外部データとを関連付ける場合、HEIFファイルに関係情報を格納する必要がある。この場合、関係情報を格納するための何らの措置も施していないときには、HEIFファイルに関係情報を格納するにあたり、mdatボックスに格納されたデータのオフセットがずれることがある。

【0236】

mdatボックスに格納されたデータのオフセットがずれる場合、mdatボックスに格納されたデータのそれぞれについて、オフセットのずれ量を算出し、そのずれ量を反映したオフセットで、ilocボックスを書き直す必要があり、内部データとしての画像と、外部データとを関連付ける関連付け処理の負荷が大になる。

【0237】

以上のようなmdatボックスに格納されたデータのオフセットのずれ、ひいては、関連付け処理の負荷が大になることを防止する方法としては、例えば、内部データと外部データを特定する特定情報との関連付けに関係する関係情報が格納されるリザーブ領域が確保されたHEIFファイルを、関連付け型HEIFファイルとして生成する方法（以下、領域確保法ともいう）と、外部データに割り当てられる前の特定情報を含む関係情報が格納されたHEIFファイルを、関連付け型HEIFファイルとして生成する方法（以下、事前格納法ともいう）とがある。

【0238】

HEIFファイルの生成後に、外部データが生成される場合において、特定情報として、URLやファイル名等の外部データ（のファイル）の生成時に生成される情報を用いるときには、HEIFファイルの生成時に、特定情報を得ることができないため、将来的に、任意の特定情報を含む関係情報を格納することができるように、関係情報が格納されるリザーブ領域が確保された関連付け型HEIFファイルを生成する領域確保法を採用することができる。外部データの生成時に生成される特定情報としては、URLやファイル名の他、例えば、外部データを入力として生成されるhash値や、外部データがMP4ファイルに格納されるトラックのデータである場合の、そのトラックのトラックID（トラック番号）等がある。

【0239】

また、特定情報として、UUID等の外部データの生成前に生成可能な情報を用いるときには、外部データに割り当てられる前の特定情報を、HEIFファイルの生成時に事前（外部データに割り当てられる前）に生成しておき、その特定情報を含む関係情報が格納された関連付け型HEIFファイルを生成する事前格納法を採用することができる。外部データに割り当てられる前の特定情報は、関連付け型HEIFファイル生成の時点では、外部データに割り当てられていない特定情報である、ともいうことができる。なお、事前格納法を採用することができるケースでは、領域確保法を採用することもできる。

【0240】

領域確保法又は事前格納法により、関連付け型HEIFファイルを生成することにより、HEIFファイルの生成後に、関連付け処理を行う場合に、mdatボックスに格納されたデータのオフセットがずれることを防止することができる。その結果、関連付け処理の負荷が大になることを防止し、内部データとしての画像と外部データとを、容易に関連付けることができる。

【0241】

以下、領域確保法と事前格納法とについて説明する。

【0242】

図３２は、領域確保法の例の概要を説明する図である。

【0243】

なお、図３２では、領域確保法により第１の関連付け型コレクションファイルを生成することとする。

【0244】

ファイル制御部４３は、図１０の場合と同様の第１の関連付け型コレクションファイルを生成する。図３２では、１フレームの主画像と、その主画像のサムネイル画像とがmdatボックスに格納された第１の関連付け型コレクションファイルが生成されている。主画像及びサムネイル画像のアイテムIDは、それぞれ、アイテムID#1及びアイテムID#1001になっている。

【0245】

但し、領域確保法では、関連付け情報格納ボックスには、関連付け情報が格納されるのではなく、将来、関係情報としての関連付け情報を書き込む（格納（上書き）する）ためのリザーブ領域としてのパディング領域が確保される。

【0246】

なお、図３２では、関連付け情報格納ボックスには、リザーブ領域の他に、関連付け情報数が設けられている。関連付け情報数は、関連付け情報格納ボックスに格納されている関連付け情報（ここでは、１フレームの主画像と１つの特定情報とを関連付ける個々の情報）の数を表す。領域確保法では、第１の関連付け型コレクションファイルの生成時、関連付け情報数は、初期値としての０に設定され、関連付け情報格納ボックスのリザーブ領域への関連付け情報の書き込みに応じて、関連付け情報格納ボックスに格納されている関連付け情報の数に更新される（書き換えられる）。

【0247】

図３３は、領域確保法により生成された第１の関連付け型コレクションファイル内の内部データとしての主画像と、外部データとを、第１の関連付け型コレクションファイルの生成後に関連付ける関連付け処理の例を説明する図である。

【0248】

なお、図３３では、図３２の第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内のアイテムID#1の主画像（主画像Item#1）と、外部データとしてのWAVファイル（に格納された音声）とを関連付ける関連付け処理を行うこととする。

【0249】

関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1と関連付けるWAVファイルについて、そのWAVファイル（に格納された音声）の特定情報としてのファイル名(DSC00001.WAV)を取得（認識）し、そのファイル名と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を生成する。そして、ファイル制御部４３は、WAVファイルについて生成した関連付け情報を、関連付け情報格納ボックス内のパディング領域（の一部）に上書きするとともに、関連付け情報数を、現在の値から１だけインクリメントした値（ここでは１）に更新する。

【0250】

図３４は、事前格納法の例の概要を説明する図である。

【0251】

なお、図３２では、事前格納法により第１の関連付け型コレクションファイルを生成することとする。

【0252】

ファイル制御部４３は、図１０の場合と同様の第１の関連付け型コレクションファイルを生成する。図３４では、図３２と同様に、１フレームの主画像Item#1と、その主画像Item#1のサムネイル画像Item#1001とがmdatボックスに格納された第１の関連付け型コレクションファイルが生成されている。

【0253】

但し、いまの場合、第１の関連付け型コレクションファイル内の主画像Item#1と関連付ける外部データは、決まっていない。そのため、ファイル制御部４３は、第１の関連付け型コレクションファイル内の（すべて又は一部の）主画像Item#1について、将来、その主画像Item#1と関連付ける外部データを特定する、外部データに割り当てられる前の特定情報を含む関係情報が格納された関連付け型HEIFファイルを生成する。

【0254】

具体的には、ファイル制御部４３は、将来、主画像Item#1と関連付ける外部データを特定する特定情報としてのuuidであるUUID#1を、事前に生成し、すなわち、そのUUID#1を割り当てる外部データが決まっていない状態で生成し、そのUUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を生成する。そして、ファイル制御部４３は、UUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報、及び、その関連付け情報の数を表す関連付け情報数が格納された関連付け情報格納ボックスが設けられた第１の関連付け型コレクションファイルを生成する。

【0255】

なお、図３４では、主画像Item#1とUUID#1とを対応付けた１つの関連付け情報が、関連付け情報格納ボックスに格納されるため、関連付け情報数は１となる。

【0256】

図３５は、事前格納法により生成された第１の関連付け型コレクションファイル内の内部データとしての主画像と、外部データとを、第１の関連付け型コレクションファイルの生成後に関連付ける関連付け処理の例を説明する図である。

【0257】

なお、図３５では、図３４の第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、外部データとしてのWAVファイル（音声）とを関連付ける関連付け処理を行うこととする。

【0258】

関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を、主画像Item#1と関連付けるWAVファイル（音声）に割り当て、WAVファイルに割り当てたUUID#1を、そのWAVファイルの、例えば、Listチャンクに格納する（書き込む）。これにより、WAVファイルへのUUID#1の割り当てが維持（保存）される。

【0259】

なお、関連付け情報について、その関連付け情報に含まれる特定情報が外部データに割り当て済みであること、及び、未割り当てであることを、それぞれ、有効及び無効ということとすると、事前格納法では、第１の関連付け型コレクションファイルが生成されたときには、事前に生成された特定情報を含む関連付け情報は、すべて無効になっている。そして、外部データに未割り当ての特定情報が、外部データに割り当てられることで、その特定情報を含む関連付け情報が有効になる。事前格納法では、関連付け情報が有効であるか又は無効であるかを表す情報を、関連付け情報格納ボックスに、さらに格納することができる。

【0260】

図３６は、事前格納法の他の例の概要を説明する図である。

【0261】

なお、図３６では、図３４と同様に、事前格納法により第１の関連付け型コレクションファイルを生成することとする。

【0262】

ファイル制御部４３は、図１０の場合と同様の第１の関連付け型コレクションファイルを生成する。図３６では、４フレームの主画像Item#1ないしItem#4と、その４フレームの主画像Item#1ないしItem#4のサムネイル画像Item#1001ないしItem#1004とがmdatボックスに格納された第１の関連付け型コレクションファイルが生成されている。

【0263】

但し、第１の関連付け型コレクションファイルの生成時に、主画像Item#iと関連付ける外部データは、決まっていない。そのため、ファイル制御部４３は、第１の関連付け型コレクションファイル内の各主画像Item#iについて、将来、その主画像Item#iと関連付ける外部データを特定する、外部データに割り当てられる前の特定情報としてのUUID#iを、事前に生成し、そのUUID#iと、主画像Item#iのアイテムID#iとを対応付けた関連付け情報を生成する。そして、ファイル制御部４３は、UUID#iと、主画像Item#iのアイテムID#iとを対応付けた関連付け情報、及び、その関連付け情報の数を表す関連付け情報数が格納された関連付け情報格納ボックスが設けられた第１の関連付け型コレクションファイルを生成する。図３６では、主画像Item#1ないしItem#4の数に応じて、４つの関連付け情報が、関連付け情報格納ボックスに格納され、関連付け情報数は４になっている。

【0264】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1ないしItem#4と、外部データとしてのWAVファイル#1ないし#4とをそれぞれ関連付ける関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#iついて事前に生成された、主画像Item#iと関連付けるWAVファイルの特定情報としてのUUID#iを、主画像Item#iと関連付けるWAVファイル#iに割り当て、WAVファイル#iに割り当てたUUID#iを、そのWAVファイル#iの、例えば、Listチャンクに格納する。これにより、WAVファイル#iへのUUID#iの割り当てが維持される。

【0265】

図３７は、事前格納法のさらに他の例の概要を説明する図である。

【0266】

なお、図３７では、事前格納法により関連付け型シーケンスファイルを生成することとする。

【0267】

ファイル制御部４３は、図１４の場合と同様の関連付け型シーケンスファイルを生成する。

【0268】

図３７では、４フレームの主画像からなるトラック#１と、その４フレームの主画像のサムネイル画像からなるトラック#２とが、mdatボックスに格納されるとともに、トラック#１及び#２をそれぞれ管理するtrakボックスが、moovボックスに格納された関連付け型コレクションファイルが生成されている。

【0269】

但し、図３７では、関連付け型シーケンスファイルの生成時に、４フレームの主画像と関連付ける外部データは、決まっていない。そして、関連付け型シーケンスファイル内の４フレームの各主画像について、将来、その主画像と関連付ける外部データを特定する、外部データに割り当てられる前の特定情報としてのUUID#iが、事前に生成され、そのUUID#iからなるトラック#３が、mdatボックスに格納されるとともに、トラック#３を管理するtrakボックスが、moovボックスに格納された関連付け型シーケンスファイルが生成されている。図３７では、４フレームの主画像のうちのi番目の主画像と関連付けられる外部データの特定情報として、UUID#iが採用されている。なお、関連付け型シーケンスファイルでは、mdatボックスに、主画像からなるトラック（主画像トラック）、及び、特定情報からなるトラック（特定情報トラック）のそれぞれを複数格納することができる。関連付け型シーケンスファイルにおいて、mdatボックスに、複数の主画像トラック及び複数の特定情報トラックが格納される場合、主画像トラックと、その主画像トラックの主画像と関連付けられる外部データに割り当てられる前の特定情報を有する特定情報トラックとを対応付ける情報が、関連付け型シーケンスファイルに格納される。主画像トラックと特定情報トラックとを対応付ける情報は、例えば、関連付け型シーケンスファイルのmoovボックスに格納することができる。この点、領域確保法により生成された関連付け型シーケンスファイルの生成後に関連付け処理を行う場合も同様である。

【0270】

関連付け型シーケンスファイルの生成後に、その関連付け型シーケンスファイル内のトラック#１のi番目の主画像と、外部データとしてのWAVファイル#i（音声）とを関連付ける関連付け処理では、ファイル制御部４３は、関連付け型シーケンスファイル内のトラック#１のi番目の主画像ついて事前に生成された、そのi番目の主画像と関連付けるWAVファイルの特定情報としてのUUID#iを、i番目の主画像と関連付けるWAVファイル#iに割り当て、WAVファイル#iに割り当てたUUID#iを、そのWAVファイル#iの、例えば、Listチャンクに格納する。これにより、WAVファイル#iへのUUID#iの割り当てが維持される。

【0271】

図３８は、領域確保法及び事前格納法のそれぞれについての、使用可能な特定情報、及び、内部データと外部データとの関連付けを説明する図である。

【0272】

使用可能な特定情報については、領域確保法では、リザーブ領域には、任意の情報を書き込むことができるため、任意の特定情報を採用することができる。例えば、外部データを入力として生成されるhash値や、外部データの生成以後に、外部データに割り当てられる情報（URLや、ファイル名、外部データが格納されるMP4ファイルのトラックID等）を、特定情報として採用することができる。

【0273】

但し、uuid等のように、外部データのファイル（外部データが格納されたファイル）に書き込む必要がある特定情報を採用する場合、外部データのファイルは、別途生成された特定情報を書き込む（格納する）ことができる（特定情報の割り当てを維持することができる）フォーマットのファイルに制限される。

【0274】

URL等の、外部データのファイルに書き込む必要がない特定情報を採用する場合、任意の外部データ（のファイル）を採用することができる。

【0275】

一方、事前格納法では、特定情報が事前に（内部データと外部データとの関連付けの前に）生成されるため、内部データと関連付ける外部データのファイルは、事前に生成される特定情報を書き込むことができるファイル（RAWファイルや、WAVファイル、MP4ファイル、HEIFファイル等）に制限される。

【0276】

さらに、内部データと関連付ける外部データが決まってから生成することができる特定情報（外部データを入力として生成されるhash値等）を採用することはできない。

【0277】

なお、領域確保法及び事前格納法のいずれでも、外部データは、関連付け型HEIFファイルが生成されるまでに生成されたデータでも良いし、関連付け型HEIFファイルが生成された後に生成されたデータでも良い。

【0278】

１つの内部データと、１以上の外部データとを関連付ける１対Ｎの関連付けについては、領域確保法では、特定情報として、外部データを入力とするhash値等の、外部データごとに異なる情報が採用される場合、１つの内部データに関連付ける外部データの数に比例して、特定情報のデータ量が増加するため、１つの内部データに関連付ける外部データの数は、リザーブ領域の容量に応じて制限される。

【0279】

一方、事前格納法では、１つの内部データに関連付ける各外部データが格納されたファイルに、その１つの内部データについて事前に生成された特定情報が書き込まれるため、１つの内部データに関連付ける外部データの数は、制限されない。

【0280】

１以上の内部データと、１つの外部データとを関連付けるＮ対１の関連付けについては、領域確保法では、１つの外部データに関連付ける内部データの数に比例して、特定情報のデータ量が増加するため、１つの外部データに関連付ける外部データの数は、リザーブ領域の容量に応じて制限される。

【0281】

一方、事前格納法では、１つの外部データが格納されたファイルに書き込むことができる特定情報の数が制限される場合には、その１つの外部データに関連付ける内部データの数が、１つの外部データが格納されたファイルに書き込むことができる特定情報の数に応じて制限される。

【0282】

図３９は、領域確保法により生成された第１の関連付け型コレクションファイルを対象とした１対Ｎの関連付けを行う関連付け処理の例を説明する図である。

【0283】

ファイル制御部４３は、領域確保法により、例えば、図３２で説明したパディング領域が確保された第１の関連付け型コレクションファイルを生成する。

【0284】

図３９では、図３２と同様に、１フレームの主画像Item#1と、その主画像Item#1のサムネイル画像Item#1001とがmdatボックスに格納された第１の関連付け型コレクションファイルが生成されている。

【0285】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、外部データとしての２個のWAVファイル#1及び#2（に格納された音声）とを関連付ける１対２の関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1と関連付けるWAVファイル#1及び#2それぞれについて、特定情報としてのファイル名を取得し、そのファイル名と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を生成する。WAVファイル#１及び#２のファイル名は、それぞれ、DSC00001.WAV及びDSC00002.WAVであり、したがって、関連付け情報としては、アイテムID#1とファイル名DSC00001.WAVとを対応付けた情報、及び、アイテムID#１とファイル名DSC00002.WAVとを対応付けた情報が生成される。そして、ファイル制御部４３は、WAVファイル#１及び#２について生成した関連付け情報を、関連付け情報格納ボックス内のパディング領域に上書きするとともに、関連付け情報数を、現在の値から、パディング領域に上書きした関連付け情報の数２だけインクリメントした値（ここでは２）に更新する。これにより、主画像Item#1とWAVファイル#１及び#２とを関連付けることができる。

【0286】

特定情報として、例えば、外部データとしてのWAVファイルごとに異なるファイル名が採用される場合、１つの内部データとしての主画像Item#1に関連付けるWAVファイルの数に比例して、特定情報、ひいては、特定情報と主画像Item#1のアイテムID#１とを対応付けた関連付け情報のデータ量が増加するため、１つの内部データとしての主画像Item#1に関連付けるWAVファイル（外部データ）の数は、リザーブ領域としてのパディング領域の容量に応じて制限される。

【0287】

図４０は、事前格納法により生成された第１の関連付け型コレクションファイルを対象とした１対Ｎの関連付けを行う関連付け処理の例を説明する図である。

【0288】

ファイル制御部４３は、事前格納法により、例えば、図３４で説明した第１の関連付け型コレクションファイルを生成する。

【0289】

図４０では、図３４と同様に、１フレームの主画像Item#1と、その主画像Item#1のサムネイル画像Item#1001とがmdatボックスに格納された第１の関連付け型コレクションファイルが生成されている。さらに、図４０では、図３４と同様に、将来、主画像Item#1と関連付ける外部データを特定する特定情報としてのUUID#1が、事前に生成され、そのUUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報が生成される。そして、UUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報、及び、その関連付け情報の数を表す関連付け情報数が格納された関連付け情報格納ボックスが設けられた第１の関連付け型コレクションファイルが生成される。

【0290】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、外部データとしての２つのWAVファイル#1及び#2とを関連付ける１対２の関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を、主画像Item#1と関連付けるWAVファイル#１及び#２に割り当て、WAVファイル#１及び#２に割り当てたUUID#1を、そのWAVファイル#１及び#２それぞれのListチャンクに格納する（書き込む）。これにより、主画像Item#1とWAVファイル#１及び#２（に格納された音声）とを関連付けることができる。

【0291】

以上のように、事前格納法により生成される第１の関連付け型コレクションファイルについては、外部データとしてのWAVファイルに、主画像Item#1について事前に生成された特定情報としてのUUID#1を書き込むことで、WAVファイルへのUUID#１の割り当てを維持することにより、主画像Item#1には、任意の数の外部データとしてのWAVファイルを関連付けることができる。

【0292】

図４１は、領域確保法により生成された第１の関連付け型コレクションファイルを対象としたＮ対１の関連付けを行う関連付け処理の例を説明する図である。

【0293】

ファイル制御部４３は、領域確保法により、例えば、図３２で説明したパディング領域が確保された第１の関連付け型コレクションファイルを生成する。

【0294】

図４１では、２フレームの主画像Item#1及びItem#2と、その主画像Item#1及びItem#2のサムネイル画像Item#1001及びItem#1002とがmdatボックスに格納された第１の関連付け型コレクションファイルが生成されている。

【0295】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1及びItem#2それぞれと、外部データとしての１個のWAVファイル#1（に格納された音声）とを関連付ける２対１の関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1及びItem#2と関連付けるWAVファイル#1について、特定情報としてのファイル名を取得し、そのファイル名と、主画像Item#1のアイテムID#1及び主画像Item#2のアイテムID#2それぞれとを対応付けた関連付け情報を生成する。WAVファイル#１のファイル名が、DSC00001.WAVである場合、アイテムID#1とファイル名DSC00001.WAVとを対応付けた関連付け情報、及び、アイテムID#2とファイル名DSC00001.WAVとを対応付けた関連付け情報の、合計で２つの関連付け情報が生成される。そして、ファイル制御部４３は、WAVファイル#１について生成した２つの関連付け情報を、関連付け情報格納ボックス内のパディング領域に上書きするとともに、関連付け情報数を、現在の値から、パディング領域に上書きした関連付け情報の数２だけインクリメントした値（ここでは２）に更新する。これにより、主画像Item#1とWAVファイル#１（に格納された音声）とを関連付けることができるとともに、主画像Item#2とWAVファイル#１とを関連付けることができる。

【0296】

領域確保法により生成された関連付け型HEIFファイルについては、外部データとしての１つのWAVファイル#1に関連付ける主画像の数に比例して、主画像のアイテムIDとWAVファイル#iの特定情報とを対応付けた関連付け情報のデータ量が増加するため、１つの外部データとしてのWAVファイル#1に関連付ける主画像の数は、リザーブ領域としてのパディング領域の容量に応じて制限される。

【0297】

図４２は、事前格納法により生成された第１の関連付け型コレクションファイルを対象としたＮ対１の関連付けを行う関連付け処理の例を説明する図である。

【0298】

ファイル制御部４３は、事前格納法により、例えば、図３４で説明した第１の関連付け型コレクションファイルを生成する。

【0299】

図４２では、２フレームの主画像Item#1及びItem#2と、その主画像Item#1及びItem#2のサムネイル画像Item#1001及びItem#1002とがmdatボックスに格納された第１の関連付け型コレクションファイルが生成されている。さらに、図４２では、図３４と同様に、将来、主画像Item#1及びItem#2それぞれと関連付ける外部データを特定する特定情報としてのUUID#1及びUUID#2が、事前に生成され、UUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報、及び、UUID#2と、主画像Item#2のアイテムID#2とを対応付けた関連付け情報の２つの関連付け情報が生成される。そして、その２つの関連付け情報、及び、その２つの関連付け情報の数を表す関連付け情報数が格納された関連付け情報格納ボックスが設けられた第１の関連付け型コレクションファイルが生成される。

【0300】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1及びItem#2それぞれと、外部データとしての１つのWAVファイル#1とを関連付ける２対１の関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1、及び、主画像Item#2について事前に生成された、主画像Item#2と関連付ける外部データの特定情報としてのUUID#2を、主画像Item#1及びiterm#2と関連付けるWAVファイル#１（音声）に割り当て、WAVファイル#１に割り当てたUUID#1及びUUID#2を、そのWAVファイル#１のListチャンクに格納する。これにより、主画像Item#1及びItem#2それぞれとWAVファイル#１とを関連付けることができる。

【0301】

以上のように、事前格納法により生成される第１の関連付け型コレクションファイルについては、外部データとしての（音声が格納された）WAVファイルに、主画像について事前に生成された特定情報としてのuuidが書き込まれるので、１つのWAVファイルに書き込むことができる特定情報の数が制限される場合には、その１つのWAVファイル（に格納された音声）に関連付ける主画像の数が、１つのWAVファイルに書き込むことができる特定情報の数に応じて制限される。

【0302】

＜外部データを格納するファイルとして、MP4ファイルを採用する場合＞

【0303】

図４３は、外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第１の例を示す図である。

【0304】

ここで、WAVファイルでは、１つ（一連）の音声が格納される。これに対して、moovボックス及びmdatボックス等で構成されるMP4ファイルでは、１つの音声を１トラックとして、マルチトラックとすること、すなわち、複数の音声をまとめて格納することができる。したがって、外部データとしての音声をMP4ファイルに格納する場合には、１以上の画像（フレーム）を格納することができるHEIFファイルに格納された主画像と、外部データとしての複数の音声とを関連付けるときに、その外部データとしての複数の音声をマルチトラックによりMP4ファイルに格納することで、ファイル単位では、HEIFファイルの1ファイルと、MP4ファイルの１ファイルとを対応させるという、いわば１対１の対応関係を実現することができる。

【0305】

内部データとしての主画像と、外部データとしての複数の音声とを関連付ける場合には、外部データとしての複数の音声をMP4ファイルに格納することにより、その複数の音声をまとめて扱うことができるので、便利である。例えば、関連付け型HEIFファイル内の主画像と複数の音声とを関連付ける場合に、音声を、WAVファイルに格納するときには、複数の音声に等しい数のWAVファイルが必要となる。その結果、関連付けられた主画像と複数の音声とを送信する場合に、主画像が格納された関連付け型HEIFファイルと、音声が格納された複数のWAVファイルとを送信する必要がある。

【0306】

これに対して、関連付け型HEIFファイル内の主画像と複数の音声とを関連付ける場合に、音声を、MP4ファイルに格納するときには、複数の音声を１つのMP4ファイルに格納することができる。その結果、関連付けられた主画像と複数の音声とを送信する場合に、主画像が格納された関連付け型HEIFファイルの１ファイルと、音声が格納されたMP4ファイルの１ファイルとを送信するだけで済む。

【0307】

なお、外部データとしての複数の音声としては、例えば、異なる言語で、内容が同一の音声等を採用することができる。

【0308】

図４３は、第１の関連付け型コレクションファイルに格納された１つの主画像と、MP4ファイルに格納された１つの音声との関連付けの例を示している。

【0309】

第１の関連付け型コレクションファイルは、例えば、事前格納法により生成される。図４３の第１の関連付け型コレクションファイルでは、１つ（１フレーム）の主画像Item#1と、その主画像Item#1のサムネイル画像Item#1001とが、mdatボックスに格納されている。さらに、図４３では、図３４と同様に、将来、主画像Item#1と関連付ける外部データを特定する特定情報としてのUUID#1が、事前に生成され、UUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報が生成され、その関連付け情報、及び、その関連付け情報の数を表す関連付け情報数が関連付け情報格納ボックスに格納されている。

【0310】

一方、主画像Item#1と関連付ける１つの音声#１が格納されるMP4ファイルでは、mdatボックスに、音声#１のトラック#１が格納されるとともに、moovボックスに、トラック#１を管理するtrakボックスが格納される。ここで、トラックIDがiに設定されたtkhdボックスを有するtrakボックスが、トラック#iを管理するtrakボックスである。

【0311】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、MP4ファイル内の音声#１とを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を、主画像Item#1と関連付ける音声#１に割り当て、音声#１に割り当てたUUID#1を、音声#１が格納されたMP4ファイルに格納する（書き込む）。

【0312】

すなわち、ファイル制御部４３は、MP4ファイルについて、UUID#1のトラック#2を生成し、mdatボックスに格納するとともに、トラック#2を管理するtrakボックスを生成し、moovボックスに格納する。

【0313】

トラック#2を管理するtrakボックスは、tkhdボックス及びtrefボックスを有する。トラック#2を管理するtrakボックスのtkhdボックスには、管理対象のトラック#2を特定するトラックIDが2であることが設定される。

【0314】

さらに、トラック#2を管理するtrakボックスのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(トラック_ID=1)、及び、トラック#2がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)が設定される。

【0315】

以上のように、主画像Item#1について事前に生成された特定情報としてのUUID#1を、音声#1が格納されたMP4ファイルに格納することで、主画像Item#1と音声#1とを関連付けることができる。

【0316】

図４４は、外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第２の例を示す図である。

【0317】

図４４は、第１の関連付け型コレクションファイルに格納された４つの主画像と、MP4ファイルに格納された４つの音声との関連付けの例を示している。

【0318】

第１の関連付け型コレクションファイルは、例えば、事前格納法により生成される。図４４の第１の関連付け型コレクションファイルでは、４つの主画像Item#1ないしItem#4と、その主画像Item#1ないしItem#4それぞれのサムネイル画像Item#1001ないしItem#1004とが、mdatボックスに格納されている。さらに、図４４では、図３４と同様に、将来、主画像Item#i(ここでは、i=1,2,3,4)と関連付ける外部データを特定する特定情報としてのUUID#iが、事前に生成され、UUID#iと、主画像Item#iのアイテムID#iとを対応付けた４つの関連付け情報が生成される。そして、その４つの関連付け情報の数を表す関連付け情報数が関連付け情報格納ボックスに格納されている。

【0319】

一方、主画像Item#iと関連付ける音声#iが格納されるMP4ファイルでは、mdatボックスに、４つの音声#iそれぞれのトラック#2i-1が格納されるとともに(i=1,2,3,4)、moovボックスに、トラック#2i-１を管理するtrakボックス（トラックIDが2i-1に設定されたtkhdボックスを有するtrakボックス）が格納される。

【0320】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#iと、MP4ファイル内の音声#iとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#iについて事前に生成された、主画像Item#iと関連付ける外部データの特定情報としてのUUID#iを、主画像Item#iと関連付ける音声#iに割り当て、音声#iに割り当てたUUID#iを、音声#iが格納されたMP4ファイルに格納する。

【0321】

すなわち、ファイル制御部４３は、MP4ファイルについて、UUID#iのトラック#2iを生成し、mdatボックスに格納するとともに、トラック#2iを管理するtrakボックスを生成し、moovボックスに格納する。

【0322】

トラック#2iを管理するtrakボックスは、tkhdボックス及びtrefボックスを有する。トラック#2iを管理するtrakボックスのtkhdボックスには、管理対象のトラック#2iを特定するトラックIDが2iであることが設定される。

【0323】

さらに、トラック#2iを管理するtrakボックスのtrefボックスには、トラック#2iと関連する他のトラックがトラック#2i-1であること(トラック_ID=2i-1)、及び、トラック#2iがメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)が設定される。

【0324】

以上のように、主画像Item#1について事前に生成された特定情報としてのUUID#iを、音声#iが格納されたMP4ファイルに格納することで、主画像Item#iと音声#iとを関連付けることができる。

【0325】

図４５は、外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第３の例を示す図である。

【0326】

図４５は、関連付け型シーケンスファイルに格納された４つの主画像と、MP4ファイルに格納された４つの音声との関連付けの例を示している。

【0327】

関連付け型シーケンスファイルは、例えば、事前格納法により生成される。図４５の関連付け型シーケンスファイルでは、４つの主画像からなるトラック#1と、その４つの主画像それぞれのサムネイル画像からなるトラック#2とが、mdatボックスに格納されている。

【0328】

さらに、図４５では、図３７と同様に、将来、トラック#1の１ないし４番目の主画像それぞれと関連付ける外部データを特定する特定情報としてのUUID#1,#2,#3,#4が、事前に生成され、そのUUID#1ないし#4が、対応する４つの主画像と同一の順番で並べられたトラック#3が生成される。そして、そのUUID#1ないし#4からなるトラック#3が、mdatボックスに格納されている。

【0329】

また、図４５の関連付け型シーケンスファイルでは、moovボックスに、mdatボックスに格納されたトラック#1ないし#3をそれぞれ管理するtrakボックスが格納される。トラック#1ないし#3をそれぞれ管理するtrakボックスは、そのtrakボックスが管理対象とするトラックのトラックIDが設定されるtkhdボックスを有する。

【0330】

トラック#2及び#3をそれぞれ管理するtrakボックスは、さらに、trefボックスを有する。トラック#2を管理するtrakボックスのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(トラック_ID=1)、及び、トラック#2がサムネイル画像のトラックであること(type=thmb)が設定される。トラック#3を管理するtrakボックスのtrefボックスには、トラック#3と関連する他のトラックがトラック#1であること(トラック_ID=1)、及び、トラック#3がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)が設定される。

【0331】

一方、関連付け型シーケンスファイル内の４つの主画像とそれぞれ関連付ける４つの音声#1ないし#4が格納されるMP4ファイルは、図４４の場合と同様に構成される。

【0332】

関連付け型シーケンスファイルの生成後に、その関連付け型シーケンスファイル内のトラック#1の４つの主画像それぞれと、MP4ファイル内の４つの音声#1ないし#4それぞれとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、関連付け型シーケンスファイル内のトラック#1の４つの主画像それぞれについて事前に生成された、外部データの特定情報としてのUUID#1ないし#4を、４つの主画像と関連付ける４つの音声#1ないし#4にそれぞれ割り当て、音声#1ないし#4にそれぞれ割り当てたUUID#1ないし#4を、音声#1ないし#4が格納されたMP4ファイルに格納する。

【0333】

すなわち、ファイル制御部４３は、MP4ファイルについて、UUID#iのトラック#2iを生成し、mdatボックスに格納するとともに、トラック#2iを管理するtrakボックスを生成し、moovボックスに格納する。

【0334】

トラック#2iを管理するtrakボックスは、tkhdボックス及びtrefボックスを有する。トラック#2iを管理するtrakボックスのtkhdボックスには、管理対象のトラック#2iを特定するトラックIDが2iであることが設定される。

【0335】

さらに、トラック#2iを管理するtrakボックスのtrefボックスには、トラック#2iと関連する他のトラックがトラック#2i-1であること(トラック_ID=2i-1)、及び、トラック#2iがメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)が設定される。

【0336】

以上のように、関連付け型シーケンスファイル内のトラック#1の４つの主画像について事前に生成された特定情報としてのuuidを、音声#1ないし#4が格納されたMP4ファイルに格納することで、４つの主画像と音声#1ないし#4とを関連付けることができる。

【0337】

図４６は、外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第４の例を示す図である。

【0338】

図４６は、第１の関連付け型コレクションファイルに格納された１つの主画像と、MP4ファイルに格納された４つの音声との関連付けの例を示している。

【0339】

第１の関連付け型コレクションファイルは、例えば、事前格納法により生成され、図４３の場合と同様に構成される。

【0340】

関連付け型シーケンスファイル内の１つの主画像と関連付ける４つの音声#1ないし#4が格納されるMP4ファイルは、図４４の場合と同様に構成される。

【0341】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、MP4ファイル内の音声#1ないし#4とを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を、主画像Item#1と関連付ける音声#1ないし#4に割り当て、音声#1ないし#4に割り当てたUUID#1を、音声#1ないし#4が格納されたMP4ファイルに格納する。

【0342】

すなわち、ファイル制御部４３は、MP4ファイルについて、音声#1ないし#4それぞれに割り当てられたUUID#1のトラック#2,#4,#6,#8を生成し、mdatボックスに格納するとともに、トラック#2,#4,#6,#8をそれぞれ管理するtrakボックスを生成し、moovボックスに格納する。

【0343】

トラック#2i（i=1,2,3,4）を管理するtrakボックスは、tkhdボックス及びtrefボックスを有する。トラック#2iを管理するtrakボックスのtkhdボックスには、管理対象のトラック#2iを特定するトラックIDが2iであることが設定される。

【0344】

さらに、トラック#2iを管理するtrakボックスのtrefボックスには、トラック#2iと関連する他のトラックがトラック#2i-1であること(トラック_ID=2i-1)、及び、トラック#2iがメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)が設定される。

【0345】

以上のように、主画像Item#1について事前に生成された特定情報としてのUUID#1を、音声#1ないし#4が格納されたMP4ファイルに格納することで、１つの主画像Item#1と、複数としての４つの音声#1ないし#4とを関連付けることができる。

【0346】

図４６では、音声#1ないし#4は、同一内容の音声であるが、音声#1は日本語の音声に、音声#2は英語の音声に、音声#3はフランス語の音声に、音声#4は中国語の音声に、それぞれなっている。したがって、図４６の関連付け処理によれば、主画像Item#1と、同一内容であるが言語が異なる４つの音声#1ないし#4とを関連付けることができる。

【0347】

図４７は、外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第５の例を示す図である。

【0348】

図４７は、第１の関連付け型コレクションファイルに格納された１つの主画像と、MP4ファイルに格納された４つの音声との関連付けの例を示している。

【0349】

第１の関連付け型コレクションファイルは、例えば、事前格納法により生成され、図４３の場合と同様に構成される。

【0350】

関連付け型シーケンスファイル内の１つの主画像と関連付ける４つの音声#1ないし#4が格納されるMP4ファイルは、図４４の場合と同様に構成される。但し、図４７のMP4ファイルでは、音声#1のトラック#1を管理するtrakボックスには、トラック#1がプライマリのトラックであることが設定され、音声#2ないし#4それぞれのトラック#3,#5,#7を管理するtrakボックスには、トラック#3,#5,#7が、トラック#1をプライマリとするセカンダリのトラックであることが設定されている。

【0351】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、MP4ファイル内の音声#1ないし#4とを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を、主画像Item#1と関連付ける音声#1ないし#4のうちのプライマリの音声#1に割り当て、音声#1に割り当てたUUID#1を、音声#1ないし#4が格納されたMP4ファイルに格納する。

【0352】

すなわち、ファイル制御部４３は、MP4ファイルについて、プライマリの音声#1に割り当てられたUUID#1のトラック#2を生成し、mdatボックスに格納するとともに、トラック#2を管理するtrakボックスを生成し、moovボックスに格納する。

【0353】

トラック#2を管理するtrakボックスは、tkhdボックス及びtrefボックスを有する。トラック#2を管理するtrakボックスのtkhdボックスには、管理対象のトラック#2を特定するトラックIDが2であることが設定される。

【0354】

さらに、トラック#2を管理するtrakボックスのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(トラック_ID=1)、及び、トラック#2がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)が設定される。

【0355】

以上のように、主画像Item#1について事前に生成された特定情報としてのUUID#1を、音声#1ないし#4が格納されたMP4ファイルに格納することで、１つの主画像Item#1と、複数としての４つの音声#1ないし#4とを関連付けることができる。

【0356】

ここで、図４７では、MP4ファイルに格納されたセカンダリの音声#2ないし#4には、UUID#1が割り当てられていないため、主画像Item#1と、セカンダリの音声#2ないし#4それぞれとは、いわば直接的には関連付けられていない。

【0357】

但し、MP4ファイルでは、上述のように、音声#2ないし#4（のトラック）が、トラック#1の音声#1をプライマリとするセカンダリの音声（のトラック）であることが設定されており、そのMP4ファイルの設定により、主画像Item#1と、セカンダリの音声#2ないし#4それぞれとは、主画像Item#1とプライマリの音声#1との関連付けを介して、いわば間接的に関連付けられる。

【0358】

図４８は、外部データとしての音声を格納するファイルとして、MP4ファイルを採用する場合の、内部データとしての主画像と外部データとしての音声との関連付けの第６の例を示す図である。

【0359】

図４８は、第１の関連付け型コレクションファイルに格納された１つの主画像と、MP4ファイルに格納された４つの音声との関連付けの例を示している。

【0360】

第１の関連付け型コレクションファイルは、例えば、事前格納法により生成され、図４３の場合と同様に構成される。但し、図４８の第１の関連付け型コレクションファイルでは、主画像Item#1（のアイテムID）と、UUID#1とを対応付けた関連付け情報の他に、主画像Item#1と、UUID#1とは異なるUUID#2とを対応付けた関連付け情報が、関連付け情報格納ボックスに格納され、関連付け情報数が、１ではなく、２になっている。

【0361】

関連付け型シーケンスファイル内の２つの主画像と関連付ける４つの音声#1ないし#4が格納されるMP4ファイルは、図４７の場合と同様に構成される。

【0362】

但し、図４７のMP4ファイルでは、音声#1及び#2それぞれのトラック#1及び#3をそれぞれ管理するtrakボックスには、トラック#1及び#3がプライマリのトラックであることがそれぞれ設定されている。また、音声#3のトラック#5を管理するtrakボックスには、トラック#5が、トラック#1をプライマリとするセカンダリのトラックであることが設定され、音声#4のトラック#7を管理するtrakボックスには、トラック#7が、トラック#3をプライマリとするセカンダリのトラックであることが設定されている。

【0363】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、MP4ファイル内の音声#1及び#2とを関連付けるとともに、主画像Item#1と、MP4ファイル内の音声#3及び#4とを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を、主画像Item#1と関連付ける音声#1及び#2のうちのプライマリの音声#1に割り当て、音声#1に割り当てたUUID#1を、音声#1及び#2が格納されたMP4ファイルに格納する。

【0364】

さらに、ファイル制御部４３は、第１の関連付け型コレクションファイル内の主画像Item#1について事前に生成された、主画像Item#1と関連付ける外部データの特定情報としてのUUID#2を、主画像Item#2と関連付ける音声#3及び#4のうちのプライマリの音声#3に割り当て、音声#3に割り当てたUUID#2を、音声#3及び#4が格納されたMP4ファイルに格納する。

【0365】

すなわち、ファイル制御部４３は、MP4ファイルについて、プライマリの音声#1に割り当てられたUUID#1のトラック#2を生成し、mdatボックスに格納するとともに、トラック#2を管理するtrakボックスを生成し、moovボックスに格納する。

【0366】

トラック#2を管理するtrakボックスは、tkhdボックス及びtrefボックスを有する。トラック#2を管理するtrakボックスのtkhdボックスには、管理対象のトラック#2を特定するトラックIDが2であることが設定される。

【0367】

さらに、トラック#2を管理するtrakボックスのtrefボックスには、トラック#2と関連する他のトラックがトラック#1であること(トラック_ID=1)、及び、トラック#2がメタデータ（ここでは、特定情報）のトラックであること(type=cdsc)が設定される。

【0368】

ファイル制御部４３は、MP4ファイルについて、プライマリの音声#3に割り当てられたUUID#2のトラック#4を生成し、mdatボックスに格納するとともに、トラック#4を管理するtrakボックスを生成し、moovボックスに格納する。

【0369】

トラック#4を管理するtrakボックスは、tkhdボックス及びtrefボックスを有する。トラック#4を管理するtrakボックスのtkhdボックスには、管理対象のトラック#4を特定するトラックIDが4であることが設定される。

【0370】

さらに、トラック#4を管理するtrakボックスのtrefボックスには、トラック#4と関連する他のトラックがトラック#3であること(トラック_ID=3)、及び、トラック#4がメタデータのトラックであること(type=cdsc)が設定される。

【0371】

以上のように、主画像Item#1について事前に生成された複数の異なる特定情報としてのUUID#1及び#2を、音声#1ないし#4が格納されたMP4ファイルに格納することで、主画像Item#1に、２つの音声#1及び#2を関連付けるとともに、２つの音声#3及び#4を関連付けること、すなわち、主画像Item#1と４つの音声#1ないし#4とを関連付けることができる。

【0372】

ここで、図４８では、図４７で説明したように、セカンダリの音声#2には、UUID#1が割り当てられておらず、主画像Item#1と、セカンダリの音声#2とは直接的に関連付けられてはいないが、音声#2が、音声#1をプライマリとするセカンダリの音声であることのMP4ファイルの設定により、主画像Item#1と、セカンダリの音声#2とは、主画像Item#1とプライマリの音声#1との関連付けを介して、間接的に関連付けられる。同様に、セカンダリの音声#4には、UUID#2が割り当てられておらず、主画像Item#1と、セカンダリの音声#4とは直接的に関連付けられてはいないが、音声#4が、音声#3をプライマリとするセカンダリの音声であることのMP4ファイルの設定により、主画像Item#1と、セカンダリの音声#4とは、主画像Item#1とプライマリの音声#3との関連付けを介して、間接的に関連付けられる。

【0373】

＜領域確保法により生成される関連付け型HEIFファイルと、関連付け処理後の関連付け型HEIFファイル＞

【0374】

図４９は、領域確保法により生成される第１の関連付け型コレクションファイルと、その第１の関連付け型コレクションファイルの関連付け処理後の状態との第１の例を説明する図である。

【0375】

なお、以降では、関連付け型HEIFファイルの生成において、画像等のメディアデータ及びメディアデータのトラックの、mdatボックスへの格納については、説明を、適宜省略する。

【0376】

領域確保法による第１の関連付け型コレクションファイルの生成では、ファイル制御部４３は、例えば、関連付け情報数が０に設定され、リザーブ領域としての空の領域（パディング領域）を有する関連付け情報格納ボックスを生成し、その関連付け情報格納ボックスがmetaボックスに格納された第１の関連付け型コレクションファイルを生成する。

【0377】

関連付け情報格納ボックスに、有効な関連付け情報が格納（設定）されているかどうかは、関連付け情報数により認識することができる。

【0378】

また、関連付け情報格納ボックスには、その関連付け情報格納ボックスに、有効な関連付け情報が格納されているかどうかを表すフラグを設けることができ、そのフラグにより、関連付け情報格納ボックスに、有効な関連付け情報が格納されているかどうかを認識することができる。

【0379】

以下では、例えば、関連付け情報数により、関連付け情報格納ボックスに、有効な関連付け情報が格納されているかどうかを認識することとする。

【0380】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を生成し、そのUUID#１と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を生成する。

【0381】

さらに、ファイル制御部４３は、関連付け情報を、関連付け情報格納ボックス内のリザーブ領域としての空き領域に上書きするとともに、関連付け情報数を、現在の値から１だけインクリメントした値（ここでは１）に更新する。

【0382】

図４９の第１の関連付け型コレクションファイルにおいて、関連付け情報格納ボックスへの関連付け情報の書き込みは、関連付け情報格納ボックス内の空き領域の容量の範囲で行うことができる。

【0383】

以上のように、リザーブ領域を有する関連付け情報格納ボックスがmetaボックスに格納された第１の関連付け型コレクションファイルを生成し、その第１の関連付け型コレクションファイルの生成後に行われる関連付け処理において、外部データの特定情報としてのUUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を、関連付け情報格納ボックス内のリザーブ領域に書き込む（上書きする）ことで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0384】

図５０は、領域確保法により生成される第１の関連付け型コレクションファイルと、その第１の関連付け型コレクションファイルの関連付け処理後の状態との第２の例を説明する図である。

【0385】

領域確保法による第１の関連付け型コレクションファイルの生成では、ファイル制御部４３は、例えば、リザーブ領域としての空の領域（パディング領域）を有するfreeボックスを生成し、そのfreeボックスがmetaボックスに格納された第１の関連付け型コレクションファイルを生成する。freeボックスとは、任意のデータを格納することができるボックスであり、本実施の形態では、freeボックスは、空の領域を、リザーブ領域として有する。

【0386】

第１の関連付け型コレクションファイルの生成後に、その第１の関連付け型コレクションファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を生成し、そのUUID#１と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を生成する。

【0387】

また、ファイル制御部４３は、生成した関連付け情報の数を設定した関連付け情報数を生成し、その関連付け情報数と関連付け情報とを格納した関連付け情報格納ボックスを生成する。

【0388】

そして、ファイル制御部４３は、関連付け情報格納ボックスを、freeボックスのリザーブ領域を利用して、metaボックス内に上書きし、freeボックスの容量（サイズ）を、関連付け情報格納ボックスの容量だけ削減する。

【0389】

図５０の第１の関連付け型コレクションファイルにおいて、関連付け情報格納ボックスの書き込みは、第１の関連付け型コレクションファイルの生成時のfreeボックスの容量の範囲で行うことができる。

【0390】

以上のように、リザーブ領域を有するfreeボックスがmetaボックスに格納された第１の関連付け型コレクションファイルを生成し、その第１の関連付け型コレクションファイルの生成後に行われる関連付け処理において、外部データの特定情報としてのUUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を格納した関連付け情報格納ボックスを、freeボックスのリザーブ領域を利用して書き込むことで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0391】

図５１は、領域確保法により生成される第１の関連付け型コレクションファイルと、その第１の関連付け型コレクションファイルの関連付け処理後の状態との第３の例を説明する図である。

【0392】

図５１では、freeボックスが、metaボックスではなく、metaボックスとmdatボックスとの間のファイル階層に格納された第１の関連付け型コレクションファイルが生成される点を除き、図５０の場合と同様の処理が行われる。

【0393】

図５１の場合も、図５０の場合と同様に、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0394】

図５２は、領域確保法により生成される第２の関連付け型コレクションファイルと、その第２の関連付け型コレクションファイルの関連付け処理後の状態との第１の例を説明する図である。

【0395】

領域確保法による第１の関連付け型コレクションファイルの生成では、ファイル制御部４３は、例えば、０に設定された関連付け情報数を有し、リザーブ領域としての空の領域を有する関連付け情報用の領域がアイテムとしてmdatボックスに格納された第２の関連付け型コレクションファイルを生成する。

【0396】

アイテムとしての関連付け情報用の領域が、有効な関連付け情報を有するかどうかは、関連付け情報数により認識することができる。また、アイテムとしての関連付け情報用の領域には、そのアイテムとしての関連付け情報用の領域が、有効な関連付け情報を有するかどうかを表すフラグを設けることができ、そのフラグにより、アイテムとしての関連付け情報用の領域が、有効な関連付け情報を有するかどうかを認識することができる。

【0397】

以下では、例えば、関連付け情報数により、アイテムとしての関連付け情報用の領域が、有効な関連付け情報を有するどうかを認識することとする。

【0398】

第２の関連付け型コレクションファイルの生成後に、その第２の関連付け型コレクションファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を生成し、そのUUID#１と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を生成する。

【0399】

さらに、ファイル制御部４３は、関連付け情報を、アイテムとしての関連付け情報用の領域が有するリザーブ領域としての空き領域に上書きするとともに、関連付け情報数を、現在の値から１だけインクリメントした値（ここでは１）に更新する。

【0400】

図５２の第２の関連付け型コレクションファイルにおいて、関連付け情報用の領域への関連付け情報の書き込みは、関連付け情報用の領域の空き領域の容量の範囲で行うことができる。

【0401】

以上のように、リザーブ領域を有する関連付け情報用の領域がアイテムとしてmetaボックスに格納された第２の関連付け型コレクションファイルを生成し、その第２の関連付け型コレクションファイルの生成後に行われる関連付け処理において、外部データの特定情報としてのUUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を、関連付け情報用の領域のリザーブ領域に書き込むことで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0402】

図５３は、領域確保法により生成される第２の関連付け型コレクションファイルと、その第２の関連付け型コレクションファイルの関連付け処理後の状態との第２の例を説明する図である。

【0403】

領域確保法による第２の関連付け型コレクションファイルの生成では、ファイル制御部４３は、例えば、freeボックスを生成し、そのfreeボックスがmetaボックスとmdatボックスとの間のファイル階層に格納された第２の関連付け型コレクションファイルを生成する。

【0404】

なお、図５３で生成されるコレクションファイルは、生成直後においては、mdatボックスに関連付け情報が格納されていないため、mdatボックスに関連付け情報がアイテムとして格納された第２の関連付け型コレクションファイルの体をなしていないが、将来的に、関連付け処理が行われることにより、第２の関連付け型コレクションファイルの体をなすので、便宜上、第２の関連付け型コレクションファイルと呼ぶ。

【0405】

第２の関連付け型コレクションファイルの生成後に、その第２の関連付け型コレクションファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を生成し、そのUUID#１と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報を生成する。

【0406】

また、ファイル制御部４３は、生成した関連付け情報の数を設定した関連付け情報数を生成し、その関連付け情報数と関連付け情報とを、１つのアイテムとして、mdatボックスの最後のアイテムの後に追加する形で格納する。

【0407】

さらに、ファイル制御部４３は、mdatボックスに追加したアイテムとしての関連付け情報数及び関連付け情報に関するメタデータ（iinfボックスやilocボックス等に格納されるべきメタデータ）を、metaボックスに追加する。

【0408】

metaボックスへのメタデータの追加により、metaボックスの容量（データ量）は増加するが、その容量の増加分のデータは、freeボックスのリザーブ領域を利用して書き込まれる。したがって、mdatボックスに追加されたアイテムとしての関連付け情報数及び関連付け情報に関するメタデータは、freeボックスのリザーブ領域に書き込まれるとみなすことができる。

【0409】

ファイル制御部４３は、以上の主画像Item#1と外部データとの関連付けに関係する関係情報、すなわち、UUID#１と主画像Item#1のアイテムID#1とを対応付けた関連付け情報、関連付け情報数、及び、metaボックスに追加したメタデータのうちの、metaボックスに追加したメタデータのデータ量だけ、freeボックスの容量を削減する。

【0410】

ここで、図５３では、アイテムとしての関連付け情報数と関連付け情報とは、mdatボックスの最後のアイテムの後に追加する形で格納される（書き込まれる）ため、freeボックスのリザーブ領域を消費しない。したがって、mdatボックスの最後のアイテムの後に追加されるアイテムとしての関連付け情報数と関連付け情報とによっては、freeボックスの容量は変化（減少）しない。

【0411】

図５３の第２の関連付け型コレクションファイルにおいて、関係情報の書き込みは、関係情報のうちのmetaボックスに追加されるメタデータの容量が第２の関連付け型コレクションファイルの生成時のfreeボックスの容量を超えない範囲で行うことができる。

【0412】

以上のように、リザーブ領域を有するfreeボックスが格納された第２の関連付け型コレクションファイルを生成し、その第２の関連付け型コレクションファイルの生成後に行われる関連付け処理において、外部データの特定情報としてのUUID#1と、主画像Item#1のアイテムID#1とを対応付けた関連付け情報をmdatボックスの最後のアイテムとして格納するとともに、その関連付け情報に関するメタデータを、freeボックスのリザーブ領域を利用してmetaボックスに追加することで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0413】

なお、図５３において、freeボックスは、ファイル階層ではなく、metaボックス内に設けることができる。

【0414】

図５４は、領域確保法により生成される第３の関連付け型コレクションファイルと、その第３の関連付け型コレクションファイルの関連付け処理後の状態との第１の例を説明する図である。

【0415】

領域確保法による第３の関連付け型コレクションファイルの生成では、ファイル制御部４３は、例えば、特定情報となる１以上の情報それぞれがアイテムとしてmdatボックスに格納された第３の関連付け型コレクションファイルを生成する。

【0416】

mdatボックスに格納された特定情報となる情報の領域（特定情報用の領域）は、特定情報が（将来）格納されるリザーブ領域であり、例えば、無効な値でパディングしておくことができる。例えば、特定情報として、uuidを採用する場合には、オールゼロを無効な値として採用することができる。

【0417】

第３の関連付け型コレクションファイルの生成では、ファイル制御部４３が、例えば、uuidとして無効な値を生成し、その無効な値を、アイテムとして、mdatボックスに書き込むことで、特定情報が格納されるリザーブ領域が確保される。

【0418】

なお、第３の関連付け型コレクションファイルの生成時には、アイテムとしての特定情報となる情報（無効な値）に関するメタデータも生成され、metaボックスに格納される。

【0419】

アイテムとしての特定情報となる情報に関するメタデータには、特定情報となる情報のアイテムIDや、オフセット、サイズ、内部データとしての主画像と外部データの特定情報とを関連付ける関連付け情報、すなわち、主画像のアイテムIDと、アイテムとしての特定情報となる情報のアイテムIDとを、それぞれ参照元と参照先として対応付けた関連付け情報（図１２で説明したirefボックスに格納される関連付け情報）等がある。

【0420】

また、アイテムとしての特定情報となる情報は、例えば、第３の関連付け型コレクションファイルが有する内部データとしての主画像の数（アイテム数）以下の数だけ、mdatボックスに格納することができる。

【0421】

第３の関連付け型コレクションファイルの生成後に、その第３の関連付け型コレクションファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、主画像Item#1と関連付ける外部データの有効な特定情報としてのUUID#1を生成し、そのUUID#１を、metaボックス内のメタデータによって主画像Item#1のアイテムID#１と関連付けられているアイテムとしての特定情報となる情報（の領域）に書き込む（無効な値に上書きする）。

【0422】

図５４の第３の関連付け型コレクションファイルにおいて、有効な特定情報の書き込みは、第３の関連付け型コレクションファイルの生成時に、mdatボックスに格納された特定情報となる情報の数の範囲で行うことができる。

【0423】

以上のように、特定情報が格納されるリザーブ領域がmdatボックスに確保された第３の関連付け型コレクションファイル、すなわち、特定情報となる情報がmdatボックスに格納された第３の関連付け型コレクションファイルを生成し、その第３の関連付け型コレクションファイルの生成後に行われる関連付け処理において、外部データに割り当てる特定情報としてのUUID#1を、主画像Item#1のアイテムID#1と対応付けられた特定情報となる情報に書き込むことで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0424】

なお、第３の関連付け型コレクションファイルの生成時において、mdatボックスには、特定情報となる情報（無効な値）に代えて、例えば、uuid等の有効な特定情報（有効な値の特定情報）を格納することができる。

【0425】

mdatボックスに有効な特定情報が格納された第３の関連付け型コレクションファイルの生成は、外部データに割り当てられる前の特定情報が格納された第３の関連付け型コレクションファイルの生成であるので、事前格納法による第３の関連付け型コレクションファイルの生成となる。

【0426】

この場合、特定情報については、例えば、その特定情報が、外部データに割り当て済み又は未割り当てであるかどうかを表すフラグを設け、そのフラグにより、特定情報が割り当て済み又は未割り当てであることを認識することができる。

【0427】

図５５は、領域確保法により生成される第３の関連付け型コレクションファイルと、その第３の関連付け型コレクションファイルの関連付け処理後の状態との第２の例を説明する図である。

【0428】

領域確保法による第３の関連付け型コレクションファイルの生成では、ファイル制御部４３は、例えば、freeボックスを生成し、そのfreeボックスがmetaボックスとmdatボックスとの間のファイル階層に格納された第３の関連付け型コレクションファイルを生成する。

【0429】

なお、図５５で生成されるコレクションファイルは、生成直後においては、アイテムとしての特定情報がmdatボックスに格納されておらず、したがって、アイテムとしての特定情報に関するメタデータも、metaボックスに格納されていないため、mdatボックスに特定情報がアイテムとして格納された第３の関連付け型コレクションファイルの体をなしていないが、将来的に、関連付け処理が行われることにより、第３の関連付け型コレクションファイルの体をなすので、便宜上、第３の関連付け型コレクションファイルと呼ぶ。

【0430】

第３の関連付け型コレクションファイルの生成後に、その第３の関連付け型コレクションファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、主画像Item#1と関連付ける外部データの特定情報としてのUUID#1を生成し、そのUUID#１を、１つのアイテムとして、mdatボックスの最後のアイテムの後に追加する形で格納する。

【0431】

さらに、ファイル制御部４３は、mdatボックスに追加したアイテムとしてのUUID#１に関するメタデータ（iinfボックスや、irefボックス、ilocボックス等に格納されるべきメタデータ）を、metaボックスに追加する。

【0432】

metaボックスへのメタデータの追加により、metaボックスの容量は増加するが、その容量の増加分のデータは、freeボックスのリザーブ領域を利用して書き込まれる。したがって、mdatボックスに追加したアイテムとしての特定情報に関するメタデータは、freeボックスのリザーブ領域に書き込まれるとみなすことができる。

【0433】

ファイル制御部４３は、以上の主画像Item#1と外部データとの関連付けに関係する関係情報、すなわち、アイテムとしてのUUID#１と、そのUUID#１に関するメタデータのうちの、UUID#１に関するメタデータのデータ量だけ、freeボックスの容量を削減する。

【0434】

ここで、図５５では、図５３の場合と同様に、アイテムとしてのUUID#１は、mdatボックスの最後のアイテムの後に追加する形で格納されるため、freeボックスのリザーブ領域を消費しない。したがって、mdatボックスの最後のアイテムの後に追加されるアイテムとしてのUUID#１によっては、freeボックスの容量は変化しない。

【0435】

図５５の第３の関連付け型コレクションファイルにおいて、関係情報の書き込みは、関係情報のうちのアイテムとしての特定情報に関するメタデータの容量が第３の関連付け型コレクションファイルの生成時のfreeボックスの容量を超えない範囲で行うことができる。

【0436】

以上のように、freeボックスが格納された第３の関連付け型コレクションファイルを生成し、その第３の関連付け型コレクションファイルの生成後に行われる関連付け処理において、外部データの特定情報としてのUUID#1をmdatボックスの最後のアイテムとして格納するとともに、その特定情報に関するメタデータを、freeボックスのリザーブ領域を利用してmetaボックスに追加することで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0437】

なお、図５３において、freeボックスは、ファイル階層ではなく、metaボックス内に設けることができる。

【0438】

図５６は、領域確保法により生成される関連付け型シーケンスファイルと、その関連付け型シーケンスファイルの関連付け処理後の状態との第１の例を説明する図である。

【0439】

領域確保法による関連付け型シーケンスファイルの生成では、ファイル制御部４３は、例えば、特定情報となる情報のトラックがmdatボックスに格納された関連付け型シーケンスファイルを生成する。

【0440】

mdatボックスに格納された特定情報となる情報のトラックの領域（特定情報用の領域）は、特定情報が（将来）格納されるリザーブ領域であり、例えば、無効な値でパディングしておくことができる。例えば、特定情報として、uuidを採用する場合には、オールゼロを無効な値として採用することができる。

【0441】

関連付け型コレクションファイルの生成では、ファイル制御部４３が、例えば、uuidとして無効な値を生成し、その無効な値のトラックを、mdatボックスに書き込むことで、特定情報が格納されるリザーブ領域が確保される。

【0442】

なお、関連付け型シーケンスの生成時には、特定情報となる情報（無効な値）のトラックを管理するメタデータも生成され、metaボックス（のtrakボックス）に格納される。

【0443】

特定情報となる情報のトラックを管理するメタデータには、特定情報となる情報のトラックのトラックIDや、オフセット、サイズ、特定情報となる情報のトラックと関連する他のトラック（ここでは、主画像のトラック）のトラックID等（図１４で説明した特定情報のトラック#3を管理するtrakボックスに格納される情報）がある。

【0444】

また、特定情報となる情報のトラックは、例えば、関連付け型シーケンスファイルが有する内部データとしての主画像の数（フレーム数）に等しい数の特定情報となる情報で構成することができる。

【0445】

関連付け型シーケンスファイルの生成後に、その関連付け型シーケンスファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、主画像Item#1と関連付ける外部データの有効な特定情報としてのUUID#1を生成し、そのUUID#１を、特定情報となる情報のトラックにおいて、metaボックス内のメタデータ、及び、タイムライン上の時刻情報によって主画像Item#1と関連付けられている特定情報となる情報（の領域）に書き込む（無効な値に上書きする）。

【0446】

図５６の関連付け型シーケンスファイルにおいて、有効な特定情報の書き込みは、関連付け型シーケンスファイルの生成時に、mdatボックスに格納された特定情報となる情報のトラックを構成するその情報の数の範囲で行うことができる。

【0447】

以上のように、特定情報が格納されるリザーブ領域がmdatボックスに確保された関連付け型シーケンスファイル、すなわち、特定情報となる情報のトラックがmdatボックスに格納された関連付け型シーケンスファイルを生成し、その関連付け型シーケンスファイルの生成後に行われる関連付け処理において、外部データに割り当てる特定情報としてのUUID#1を、主画像Item#1と関連付けられた特定情報となる情報に書き込むことで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0448】

なお、関連付け型シーケンスファイルの生成時において、mdatボックスには、特定情報となる情報（無効な値）に代えて、例えば、uuid等の有効な特定情報のトラックを格納することができる。

【0449】

mdatボックスに有効な特定情報のトラックが格納された関連付け型シーケンスファイルの生成は、外部データに割り当てられる前の特定情報が格納された関連付け型シーケンスファイルの生成であるので、事前格納法による関連付け型シーケンスファイルの生成となる。

【0450】

この場合、特定情報については、例えば、その特定情報が、外部データに割り当て済み又は未割り当てであるかどうかを表すフラグを設け、そのフラグにより、特定情報が割り当て済み又は未割り当てであることを認識することができる。

【0451】

図５７は、領域確保法により生成される関連付け型シーケンスファイルと、その関連付け型シーケンスファイルの関連付け処理後の状態との第２の例を説明する図である。

【0452】

領域確保法による関連付け型シーケンスファイルの生成では、ファイル制御部４３は、例えば、freeボックスを生成し、そのfreeボックスがmetaボックスとmdatボックスとの間のファイル階層に格納された関連付け型シーケンスファイルを生成する。

【0453】

なお、図５７で生成されるシーケンスファイルは、生成直後においては、特定情報のトラックがmdatボックスに格納されておらず、したがって、特定情報のトラックを管理するメタデータも、moovボックスに格納されていないため、mdatボックスに特定情報のトラックが格納された関連付け型シーケンスファイルの体をなしていないが、将来的に、関連付け処理が行われることにより、関連付け型コレクションファイルの体をなすので、便宜上、関連付け型シーケンスファイルと呼ぶ。

【0454】

関連付け型シーケンスファイルの生成後に、その関連付け型シーケンスファイル内の主画像Item#1と、外部データとを関連付ける関連付け処理が要求された場合、関連付け処理では、ファイル制御部４３は、特定情報となる１以上の情報からなるトラック（以下、追加情報トラックともいう）を、mdatボックスの最後のトラックの後に追加する形で格納する。追加情報トラックを構成する特定情報となる情報としては、例えば、図５６の場合と同様の無効な値を採用することができる。

【0455】

さらに、ファイル制御部４３は、mdatボックスに追加した追加情報トラックを管理するメタデータを格納したtrakボックスを生成し、metaボックスに追加する。

【0456】

追加情報トラックを管理するtrakボックスの生成では、追加情報トラックのトラックIDや、オフセット、サイズ、追加情報トラックと関連する他のトラック（ここでは、主画像のトラック）のトラックID等が格納されたtrakボックス（図１４で説明した特定情報のトラック#3を管理するtrakボックス）が生成される。

【0457】

ファイル制御部４３は、主画像Item#1と関連付ける外部データの有効な特定情報としてのUUID#1を生成し、そのUUID#１によって、追加情報トラックにおいて、metaボックス内のメタデータ、及び、タイムライン上の時刻情報によって主画像Item#1と関連付けられている特定情報となる情報を書き換える（無効な値に上書きする）。

【0458】

metaボックスへの、追加情報トラックを管理する（メタデータを格納した）trakボックスの追加により、metaボックスの容量は増加するが、その容量の増加分のデータは、freeボックスのリザーブ領域を利用して書き込まれる。したがって、追加情報トラックを管理するtrakボックスは、freeボックスのリザーブ領域に書き込まれるとみなすことができる。

【0459】

ファイル制御部４３は、以上の主画像Item#1と外部データとの関連付けに関係する関係情報、すなわち、追加情報トラックと、その追加情報トラックを管理するtrakボックスとのうちの、追加情報トラックを管理するtrakボックスのデータ量だけ、freeボックスの容量を削減する。

【0460】

ここで、図５７では、追加情報トラックは、mdatボックスの最後のトラックの後に追加する形で格納されるため、freeボックスのリザーブ領域を消費しない。

【0461】

図５７の関連付け型シーケンスファイルにおいて、関係情報の書き込みは、関係情報のうちの、追加情報トラックを管理するtrakボックスのデータ量が関連付け型シーケンスファイルの生成時のfreeボックスの容量を超えない範囲で行うことができる。

【0462】

以上のように、freeボックスが格納された関連付け型シーケンスファイルを生成し、その関連付け型シーケンスファイルの生成後に行われる関連付け処理において、追加情報トラックを、mdatボックスの最後のトラックとして格納するとともに、追加情報トラックを管理するtrakボックスを、freeボックスのリザーブ領域を利用してmetaボックスに追加し、かつ、外部データの特定情報としてのUUID#1によって、追加情報トラックを構成する特定情報となる情報を書き換えることで、mdatボックスに既に格納されているデータのオフセットがずれることを防止しつつ、後から、内部データと外部データとを関連付けることができる。

【0463】

なお、図５７において、freeボックスは、ファイル階層ではなく、metaボックス内に設けることができる。

【0464】

また、追加情報トラックとしては、追加情報トラックの生成時に、外部データと関連付ける主画像の数に等しい数の情報からなるトラックを生成すること、又は、追加情報トラックの最初の生成時に、主画像のトラックを構成する主画像の数に等しい数の情報からなるトラックを生成することができる。

【0465】

但し、追加情報トラックの生成時に、外部データと関連付ける主画像の数に等しい数の情報からなるトラックを、追加情報トラックとして生成する場合には、関連付け処理が行われるたびに、追加情報トラックを追加する必要があり、追加情報トラックの管理や、追加情報トラックに書き込まれた特定情報と主画像との関連付け等が複雑になる。

【0466】

追加情報トラックの最初の生成時に、主画像のトラックを構成する主画像の数に等しい数の情報からなるトラックを、追加情報トラックとして生成する場合には、その後の関連付け処理では、追加情報トラックにおいて、主画像と関連付けられている特定情報となる情報を、外部データの有効な特定情報によって書き換えるだけで良い。

【0467】

さらに、関連付け型シーケンスファイルの生成時において、mdatボックスには、特定情報となる情報（無効な値）に代えて、例えば、uuid等の有効な特定情報で構成される追加情報トラックを格納することができる。

【0468】

mdatボックスに有効な特定情報で構成される追加情報トラックが格納された関連付け型シーケンスファイルの生成は、外部データに割り当てられる前の特定情報が格納された関連付け型シーケンスファイルの生成であるので、事前格納法による関連付け型シーケンスファイルの生成となる。

【0469】

この場合、特定情報については、例えば、その特定情報が、外部データに割り当て済み又は未割り当てであるかどうかを表すフラグを設け、そのフラグにより、特定情報が割り当て済み又は未割り当てであることを認識することができる。

【0470】

図５８は、領域確保法による関連付け型HEIFファイルの生成の処理の例を説明するフローチャートである。

【0471】

ステップＳ２１１において、ファイル制御部４３は、リザーブ領域の容量として、必要な容量（以下、必要容量ともいう）を決定し、ステップＳ２１２に進む。

【0472】

ここで、freeボックス等のリザーブ領域を有するボックスを生成する場合には、ボックスには、少なくとも、サイズ及びタイプを格納するための８バイトが必要であるため、ボックスのサイズは、リザーブ領域の必要容量に８バイトを加算した値以上になる。

【0473】

例えば、freeボックスを格納したHEIFファイルを生成する場合に、図５３又は図５５に示したように、関連付け処理において、アイテムとしての関連付け情報又は特定情報を、mdatボックスに追加するときには、アイテムとしての関連付け情報又は特定情報の追加に伴い、そのアイテムとしての関連付け情報又は特定情報に関するメタデータを、metaボックスに追加する必要がある。この場合、必要容量は、metaボックスに追加するメタデータのデータ量以上の値に決定される。

【0474】

また、例えば、freeボックスを格納したHEIFファイルを生成する場合に、図５７に示したように、関連付け処理において、追加情報トラックを、mdatボックスに追加するときには、追加情報トラックの追加に伴い、その追加情報トラックを管理するメタデータを、moovボックスに追加する必要がある。この場合、必要容量は、moovボックスに追加するメタデータのデータ量以上の値に決定される。

【0475】

必要容量は、その他、１つの特定情報のデータ量や、HEIFファイルに格納された主画像の数（外部データに関連付け得る主画像の数）、主画像に関連付け得る外部データの数等のうちの１以上に応じて決定することができる。

【0476】

必要容量は、特定情報のデータ量が大であるほど大になる。外部データに関連付け得る主画像の数は、例えば、HEIFファイル内の主画像の数の範囲内に決定することができる。外部データに関連付け得る主画像の数が大であるほど、必要容量は大になる。主画像に関連付け得る外部データの数は、任意の数に決定することができる。

【0477】

特定情報として、例えば、uuid等の、複数の外部データに同一の値を割り当てることができる情報を採用する場合、１つの主画像に関連付け得る外部データの数の増減は、必要容量に影響しない。特定情報として、外部データごとに異なる、例えば、外部データを入力とするhash値やファイル名等の特定情報を採用する場合、主画像に関連付け得る外部データの数が大であるほど、必要容量は大になる。

【0478】

必要容量は、例えば、１つの特定情報のデータ量と、外部データを関連付け得る主画像の数との積に応じて決定することができる。

【0479】

１つの特定情報のデータ量は、特定情報の種類によって、例えば、特定情報が、URL、uuid、又は、hash値等であるかによって決定することができる。

【0480】

外部データを関連付け得る主画像の数は、例えば、HEIFファイルを格納するメディアの残容量に応じて、その残容量が多いほど大きな値に決定することができる。また、外部データを関連付け得る主画像の数は、例えば、１つのHEIFファイルに格納し得る主画像の最大数を定め、その最大数に応じて、最大数が多いほど大きな値に決定することができる。さらに、外部データを関連付け得る主画像の数は、例えば、ファイル制御部４３において、HEIFファイルに格納される主画像を評価し、評価が良い主画像の数に応じて、評価が良い主画像の数が多いほど大きな値に決定することができる。主画像の評価では、例えば、主画像のS/Nや鮮鋭度等の画質に関する情報を求め、S/Nや鮮鋭度等が閾値以上の主画像を、評価が良い主画像に決定することができる。その他、外部データを関連付け得る主画像の数は、上述のメディアの残容量等の複数の要素に応じて決定することができる。

【0481】

ステップＳ２１２では、ファイル制御部４３は、必要容量のリザーブ領域を確保した、図４９ないし図５７で説明した関連付け型HEIFファイルを生成し、処理を終了する。

【0482】

図５９は、領域確保法により生成された関連付け型HEIFファイルを対象とする関連付け処理の例を説明するフローチャートである。

【0483】

ステップＳ２２１において、ファイル制御部４３は、外部データの特定情報を取得し、処理は、ステップＳ２２２に進む。

【0484】

例えば、外部データが、シングルトラックのMP4ファイル又はWAVファイルに格納されたデータである場合、特定情報としては、uuidや、外部データが格納されたMP4ファイル又はWAVファイルのhash値（又は、外部データそのもののhash値）、URL等を採用することができる。

【0485】

また、例えば、外部データが、マルチトラックのMP4ファイルである場合、特定情報としては、外部データが格納されたMP4ファイルのURLと外部データのトラックのトラックIDとのセットや、外部データが格納されたMP4ファイルのURLと外部データのタイムライン上の時刻情報とのセット、外部データが格納されたMP4ファイルのURLと外部データのトラックのhash値とのセット等を採用することができる。uuidや、hash値、URLは、生成することにより取得される。トラックIDや時刻情報は、外部データが格納されたMP4ファイルを参照することにより取得される。

【0486】

ステップＳ２２２では、ファイル制御部４３は、特定情報を含み、主画像と外部データ（の特定情報）との関連付けに関係する関係情報を、領域確保法により生成された関連付け型HEIFファイルにあらかじめ確保されたリザーブ領域を利用して書き込み、これにより、関係情報が格納された関連付け型HEIFファイルを生成して、処理は、ステップＳ２２３に進む。

【0487】

ステップＳ２２３では、ファイル制御部４３は、特定情報を、外部データ（が格納されたファイル）に書き込む必要があるかどうかを判定する。

【0488】

ステップＳ２２３において、特定情報を、外部データに書き込む必要がないと判定された場合、例えば、特定情報が、外部データ等を入力として生成されるhash値等の、外部データに書き込むことなく、外部データを特定することができる情報である場合、処理は、ステップＳ２２４をスキップして終了する。すなわち、特定情報を、外部データに書き込む必要がない場合、関連付け型HEIFファイルへの関係情報の書き込みにより、主画像と外部データとの関連付けは完了する。

【0489】

また、ステップＳ２３３において、特定情報を、外部データに書き込む必要があると判定された場合、例えば、特定情報が、uuid等の、外部データに書き込むことで、外部データを特定することができる情報である場合、処理は、ステップＳ２２４に進む。

【0490】

ステップＳ２２４では、ファイル制御部４３は、外部データが格納されたファイルに、ステップＳ２２１で取得された特定情報を書き込み（格納し）、処理は終了する。すなわち、特定情報を、外部データに書き込む必要がある場合、関連付け型HEIFファイルへの関係情報の書き込みと、外部データが格納されたファイルへの特定情報の書き込みとにより、主画像と外部データとの関連付けが完了する。

【0491】

なお、領域確保法により生成された関連付け型HEIFファイルに格納された主画像と関連付ける外部データが格納されたファイルは、関連付け処理が行われる前に生成されていても良いし、関連付け処理の実行と並列して生成されても良い。外部データが格納されたファイルが、関連付け処理の実行と並列して生成される場合、例えば、ステップＳ２２４において、外部データとともに、特定情報を格納したファイルが生成される。

【0492】

図６０は、領域確保法により生成された第１の関連付け型コレクションファイルを対象とする関連付け処理の例を説明するフローチャートである。

【0493】

図６０では、例えば、図５１に示した、freeボックスがmetaボックスに設けられた第１の関連付け型コレクションファイルを、関連付け処理の対象とし、外部データに書き込む必要がない特定情報を用いることとする。

【0494】

ステップＳ２３１において、ファイル制御部４３は、外部データの特定情報を取得し、処理は、ステップＳ２３２に進む。

【0495】

例えば、ファイル制御部４３は、外部データが格納されたファイルを入力として、SHA-256でhash値を計算することにより生成し、そのhash値を、外部データの特定情報として取得する。

【0496】

ステップＳ２３２では、ファイル制御部４３は、領域確保法により生成された図５１の第１の関連付け型コレクションファイルからmetaボックスを読み出すことにより取得し、処理は、ステップＳ２３３に進む。

【0497】

ステップＳ２３３では、ファイル制御部４３は、図５１の第１の関連付け型コレクションファイルのfreeボックス内のリザーブ領域の残容量を取得し、その残容量が、主画像と外部データとの関連付けに関係する関係情報の追加、すなわち、図５１の関連付け情報数と関連付け情報とを格納した関連付け情報格納ボックスの追加に足りることを確認し、処理は、ステップＳ２３４に進む。

【0498】

なお、ステップＳ２３３において、リザーブ領域の残容量が、主画像と外部データとの関連付けに関係する関係情報の追加に足りない場合は、例えば、その旨が液晶パネル１９に表示され、処理は終了する。

【0499】

ステップＳ２３４では、ファイル制御部４３は、外部データの特定情報と、metaボックスの情報とを用いて、図５１の関連付け情報数と関連付け情報とを格納した関連付け情報格納ボックスを生成し、さらに、その関連付け情報格納ボックスを格納した新たなmetaボックスを生成する。

【0500】

さらに、ファイル制御部４３は、その新たなmetaボックスによって、第１の関連付け型コレクションファイルのmetaボックスを書き換え、処理は、ステップＳ２３４からステップＳ２３５に進む。

【0501】

ステップＳ２３５では、ファイル制御部４３は、書き換え前のmetaボックスに対する新たなmetaボックスのサイズ（データ量）の増加分だけサイズを減少させた新たなfreeボックスを生成する。

【0502】

さらに、ファイル制御部４３は、新たなfreeボックスによって、第１の関連付け型コレクションファイルのfreeボックスを書き換え、処理は終了する。

【0503】

図６１は、領域確保法により生成された第１の関連付け型コレクションファイルを対象とする関連付け処理の他の例を説明するフローチャートである。

【0504】

図６１では、例えば、図６０と同様に、図５１に示した、freeボックスがmetaボックスに設けられた第１の関連付け型コレクションファイルを、関連付け処理の対象とすることとする。さらに、図６１では、外部データに書き込む必要がある特定情報を用いることとする。

【0505】

ステップＳ２４１において、ファイル制御部４３は、外部データの特定情報を取得し、処理は、ステップＳ２４２に進む。例えば、ファイル制御部４３は、uuidを生成し、そのuuidを、外部データの特定情報として取得する。

【0506】

ステップＳ２４２では、ファイル制御部４３は、外部データが格納されたファイルに、ステップＳ２２１で取得された特定情報としてのuuidを書き込み（格納し）、処理は、ステップＳ２４３に進む。

【0507】

例えば、外部データが格納されたファイルが、WAVファイルである場合、ファイル制御部４３は、図２９等で説明したように、WAVファイルのLISTチャンクに、uuidを書き込む。また、例えば、外部データが格納されたファイルが、MP4ファイルである場合、図４３等で説明したように、MP4ファイルのmdatボックスに、uuidのトラックを書き込む。

【0508】

ステップＳ２４３ないしＳ２４６では、図６１のステップＳ２３２ないしＳ２３５とそれぞれ同様の処理が行われ、処理は終了する。

【0509】

図６２は、事前格納法による関連付け型HEIFファイルの生成の処理の例を説明するフローチャートである。

【0510】

ステップＳ２５１において、ファイル制御部４３は、関連付け型HEIFファイルに格納される主画像ごとに、特定情報を取得し、処理は、ステップＳ２５２に進む。

【0511】

例えば、ファイル制御部４３は、関連付け型HEIFファイルに格納される主画像ごとに、特定情報としてのuuidを生成することにより取得する。

【0512】

ステップＳ２５２では、ファイル制御部４３は、ステップＳ２５１で取得された、外部データに割り当てられる前の特定情報を含み、主画像と外部データ（の特定情報）との関連付けに関係する関係情報が格納された関連付け型HEIFファイル（見かけ上は、主画像と外部データとが関連付けられた図１０ないし図１２、又は、図１４の関連付け型HEIFファイルと同様の関連付け型HEIFファイル）を生成し、処理を終了する。

【0513】

図６３は、事前格納法により生成された関連付け型HEIFファイルを対象とする関連付け処理の例を説明するフローチャートである。

【0514】

ステップＳ２６１において、ファイル制御部４３は、事前格納法により生成された関連付け型HEIFファイルから、外部データと関連付けたい主画像に関連付けられた特定情報としての、例えば、uuidを取得し、処理は、ステップＳ２６２に進む。

【0515】

例えば、事前格納法により生成された関連付け型HEIFファイルが、第１の関連付け型コレクションファイルである場合、その第１の関連付け型コレクションファイルからの、所定の主画像に関連付けられた特定情報の取得は、図２１のフローチャートで説明したように行うことができる。

【0516】

ステップＳ２６２では、ファイル制御部４３は、外部データに、ステップＳ２６１で取得された特定情報を割り当て、すなわち、外部データの特定情報を、ステップＳ２６１で取得された特定情報に決定し、ステップＳ２６３に進む。

【0517】

ステップＳ２６３では、ファイル制御部４３は、外部データが格納されたファイルに、ステップＳ２２１で取得された特定情報としてのuuidを書き込み（格納し）、処理は終了する。

【0518】

例えば、外部データが格納されたファイルが、WAVファイルである場合、ファイル制御部４３は、図２９等で説明したように、WAVファイルのLISTチャンクに、uuidを書き込む。また、例えば、外部データが格納されたファイルが、MP4ファイルである場合、図４３等で説明したように、MP4ファイルのmdatボックスに、uuidのトラックを書き込む。

【0519】

事前格納法により生成された関連付け型HEIFファイルを対象とする関連付け処理では、外部データが格納されたファイルへの特定情報の書き込みにより、主画像と外部データとの関連付けが完了する。

【0520】

＜本技術を適用したコンピュータの説明＞

【0521】

次に、上述したファイル制御部４３その他の信号処理部１３（図１）を構成する各ブロックの一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、コンピュータ等にインストールされる。

【0522】

図６４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0523】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

【0524】

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0525】

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0526】

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

【0527】

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

【0528】

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

【0529】

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0530】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0531】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0532】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0533】

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0534】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0535】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0536】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0537】

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0538】

なお、本技術は、以下の構成をとることができる。

【0539】

＜１＞
HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成するファイル制御部を備える
ファイル処理装置。
＜２＞
前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報が格納された前記HEIFファイルを生成する
＜１＞に記載のファイル処理装置。
＜３＞
前記ファイル制御部は、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報が格納された前記HEIFファイルを生成する
＜２＞に記載のファイル処理装置。
＜４＞
前記ファイル制御部は、前記関連付け情報がmetaボックス、又は、mdatボックスに格納された前記HEIFファイルを生成する
＜３＞に記載のファイル処理装置。
＜５＞
前記ファイル制御部は、前記特定情報がmdatボックスに格納され、前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報がmetaボックスに格納された前記HEIFファイルを生成する
＜２＞に記載のファイル処理装置。
＜６＞
前記ファイル制御部は、前記画像のトラックを構成するフレームに関連付ける前記外部データの特定情報のトラックがmdatボックスに格納された前記HEIFファイルを生成する
＜１＞に記載のファイル処理装置。
＜７＞
前記ファイル制御部は、前記HEIFファイルに格納される画像ごとに、前記特定情報を生成し、前記特定情報を含む関係情報が格納された前記HEIFファイルを生成する
＜１＞ないし＜６＞のいずれかに記載のファイル処理装置。
＜８＞
HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成する
ことを含むファイル処理方法。
＜９＞
HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルを生成するファイル制御部
として、コンピュータを機能させるためのプログラム。
＜１０＞
HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むファイル制御部を備える
ファイル処理装置。
＜１１＞
前記ファイル制御部は、前記画像と前記外部データの特定情報とを関連付ける関連付け情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
＜１０＞に記載のファイル処理装置。
＜１２＞
前記ファイル制御部は、前記画像を特定するアイテムIDと前記特定情報とを対応付けた前記関連付け情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
＜１１＞に記載のファイル処理装置。
＜１３＞
前記ファイル制御部は、前記関連付け情報がmetaボックス、又は、mdatボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
＜１２＞に記載のファイル処理装置。
＜１４＞
前記ファイル制御部は、前記特定情報がmdatボックスに格納され、前記画像を特定するアイテムIDと、前記mdatボックスに格納された前記特定情報を特定するアイテムIDとを対応付けた前記関連付け情報がmetaボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
＜１１＞に記載のファイル処理装置。
＜１５＞
前記ファイル制御部は、前記画像のトラックを構成するフレームに関連付ける前記外部データの特定情報のトラックがmdatボックスに格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
＜１０＞に記載のファイル処理装置。
＜１６＞
前記ファイル制御部は、前記HEIFファイルに格納される画像ごとに生成された前記特定情報を含む前記関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
＜１０＞ないし＜１５＞のいずれかに記載のファイル処理装置。
＜１７＞
HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込む
ことを含むファイル処理方法。
＜１８＞
HEIF(High Efficiency Image File Format)ファイルに格納される画像と関連付ける前記HEIFファイル外の外部データを特定する、前記外部データに割り当てられる前の特定情報を含み、前記画像と前記特定情報との関連付けに関係する関係情報が格納された前記HEIFファイルに格納された前記特定情報を、前記外部データが格納されたファイルに書き込むファイル制御部
として、コンピュータを機能させるためのプログラム。

【符号の説明】

【0540】

１０ ディジタルカメラ， １１ 光学系， １３ 信号処理部， １４ メディア， １５，１６ インタフェース， １７ ボタン／キー， １８ タッチパネル， １９ 液晶パネル， ２０ ビューファインダ， ２１ インタフェース， ４１ 光学系／イメージセンサ制御部， ４２ 符号化制御部， ４３ ファイル制御部， ４４ メディア制御部， ４５ 操作制御部， ４６ 表示制御部， ４７ UI制御部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】