特開 2023-180871 記録装置、記録装置の制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180871

(43)【公開日】2023-12-21

(54)【発明の名称】記録装置、記録装置の制御方法、プログラム

(51)【国際特許分類】

   H04N 5/92 20060101AFI20231214BHJP

   G06F 3/0481 20220101ALI20231214BHJP

【ＦＩ】

H04N5/92 010

G06F3/0481

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022094525

(22)【出願日】2022-06-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】小松 夏希

【テーマコード（参考）】

5C053

5E555

【Ｆターム（参考）】

5C053FA08

5C053GB06

5C053GB36

5C053GB37

5C053JA21

5C053LA01

5C053LA04

5C053LA06

5E555AA13

5E555AA25

5E555AA29

5E555BA05

5E555BA06

5E555BA18

5E555BA72

5E555BA73

5E555BA84

5E555BB05

5E555BB06

5E555BB18

5E555BC18

5E555CA41

5E555CA42

5E555CB23

5E555CB45

5E555CC21

5E555DA01

5E555DB51

5E555DC13

5E555DC84

5E555DD07

5E555EA07

5E555EA11

5E555EA22

5E555FA00

(57)【要約】

【課題】 被写体に適した単位をアノテーション情報に記録すること。
【解決手段】 画像から被写体を検出する検出手段と、画像から広さなどを共通単位で計測する計測手段と、ユーザーが記録する業界の分野を選択する選択手段と、前記検出手段から出力された被写体情報と、計測手段から出力された計測結果と、選択手段で選択された業界情報とをまとめて、数値と単位を決定する判断手段と、前記の判断手段から出力された数値および単位と、計測結果と、業界情報とをまとめてアノテーション情報に記録する記録手段と、を有し、前記記録手段は、標準アノテーション情報には共通単位で記録し、業界用のアノテーション情報には業界に応じた単位で記録する、ことを特徴とする。
【選択図】 図４

【特許請求の範囲】

【請求項1】

画像から被写体を検出する検出手段と、
画像から広さや長さを共通単位で計測する計測手段と、
業界の分野を選択する選択手段と、
前記検出手段から出力された被写体情報と、
計測手段から出力された計測結果と、選択手段で選択された業界に関する情報とをまとめて、数値と単位を決定する判断手段と、
前記の判断手段から出力された数値および単位と、計測結果と、業界に関する情報とをまとめてアノテーション情報に記録する記録手段と、を有し、
標準アノテーション情報には共通単位と数値を記録し、業界用のアノテーション情報には業界に応じた単位と数値を記録する記録装置。

【請求項2】

記録された画像の被写体に紐づけられた標準アノテーション情報と業界用アノテーション情報を表示することを特徴とする請求項１に記載の記録装置。

【請求項3】

ユーザーが業界用のアノテーション情報として記録をする際に被写体を判別して、適した単位を表示することを特徴とする請求項１に記載の記録装置。

【請求項4】

ユーザーが標準アノテーション情報または業界用アノテーション情報の数値を修正した際に、他方のアノテーション情報にて使用している単位に合わせて数値変換して、他方のアノテーション情報に記録することを特徴とする請求項１に記載の記録装置。

【請求項5】

記録装置の制御方法であって、
画像から被写体を検出する検出ステップと、
画像から広さや長さを共通単位で計測する計測ステップと、
業界の分野を選択する選択ステップと、
前記検出ステップで検出された被写体に関する被写体情報と、計測手段から出力された計測結果と、選択手段で選択された業界に関する情報とをまとめて、数値と単位を決定する判断ステップと、
前記の判断ステップで出力された数値および単位と、計測結果と、業界に関する情報とをまとめてアノテーション情報に記録する記録ステップと、を有し、
標準アノテーション情報には共通単位と数値を記録し、業界用のアノテーション情報には業界に応じた単位と数値を記録する記録装置の制御方法。

【請求項6】

記録された画像の被写体に紐づけられた標準アノテーション情報と業界用アノテーション情報を表示することを特徴とする請求項５に記載の記録装置の制御方法。

【請求項7】

ユーザーが業界用のアノテーション情報として記録をする際に被写体を判別して、適した単位を表示することを特徴とする請求項１に記載の記録装置の制御方法。

【請求項8】

ユーザーが標準アノテーション情報または業界用アノテーション情報の数値を修正した際に、他方のアノテーション情報にて使用している単位に合わせて数値変換して、他方のアノテーション情報に記録することを特徴とする請求項１に記載の記録装置の制御方法。

【請求項9】

コンピュータを請求項１乃至５のいずれか１項に記載の記録装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラなどで撮像された画像を処理する記録装置に関するものである。

【背景技術】

【0002】

従来、ある被写体を撮影したとき、被写体に関するデータは画像とは別のデータで保存されていた。例えば、被写体が部屋であるとき、その部屋の広さが被写体に関するデータにあたる。だが、時間の経過とともにどの画像がどのデータであったかわからなくなってしまう。これを解決するには、画像に直接データを紐づけさせるアノテーション情報が有効である。例えば、特許文献１では、実在の対象とそれに関する情報とを対応付けて、対象同士の位置関係を記録・保管する方法が開示されている。

【0003】

しかしながら、上述の特許文献１に開示された従来技術では、被写体が「何か」を判別しないため、アノテーション情報に記録される単位及び数値が被写体に適したものになっていない場合がある。また、ユーザーや使用する業界によって同じ被写体であっても使用する単位が異なる場合がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特願２０１９―１８１９２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は上記問題点を鑑みてなされたものであり、被写体に適した単位をアノテーション情報に記録することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の画像処理装置は、画像から被写体を検出する検出手段と、画像から広さや長さを共通単位で計測する計測手段と、ユーザーが記録する業界の分野を選択する選択手段と、前記検出手段から出力された被写体情報と、計測手段から出力された計測結果と、選択手段で選択された業界情報とをまとめて、数値と単位を決定する判断手段と、前記の判断手段から出力された数値および単位と、計測結果と、業界情報とをまとめてアノテーション情報に記録する記録手段と、を有し、標準アノテーション情報には共通単位で記録し、業界用のアノテーション情報には業界に応じた単位で記録する、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、アノテーション情報に記録される被写体の数値とその単位が適切なものとなる。加えて、アノテーション情報の修正時に単位変換とそれに伴う数値変換の手間を省ける。

【図面の簡単な説明】

【0008】

【図1】本実施形態におけるデジタルカメラの概略構成を示すブロック図

【図2】本実施形態におけるデジタルカメラの画像にアノテーション情報を記録する処理全体を示すフローチャート

【図3】本実施形態におけるデジタルカメラの画像と被写体情報を取得する処理パターンを示すフローチャート

【図4】本実施形態におけるデジタルカメラの画像に記録される画像ファイルの記録内容の概要を示す図

【図5】本実施形態におけるデジタルカメラの画像とアノテーション情報の表示方法を示す図

【図6】本実施形態におけるアノテーション情報を修正する処理を示すフローチャート

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

また、以下の説明では、推論モデルを使用し、被写体分類を行う画像出力装置として、デジタルカメラを例示するが、本発明の画像出力装置がデジタルカメラに限られないことは言うまでもない。本発明の画像出力装置は、記録装置に記録されている画像を読み出して表示装置に表示する画像出力装置であればいかなる機器であってもよく、例えば、スマートフォン、タブレットＰＣなどであってもよい。

【0011】

図１は、本発明の実施形態にかかるデジタルカメラ１００の構成例を示すブロック図である。

【0012】

バリア１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護部材であり、バリア制御部４３により動作が制御される。撮影レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は、絞り機能を備える。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳセンサ等で構成され、シャッター１２を介して撮影レンズ１１により撮像面上に結像された光学像を電気信号に変換する。

【0013】

Ａ／Ｄ変換器１５は、撮像素子１３から出力されたアナログの画像信号をデジタルの画像信号に変換する。Ａ／Ｄ変換器１５で変換されたデジタルの画像信号は、所謂ＲＡＷ画像データとして、メモリ２５に書き込まれる。併せて、撮影時の情報を基に各ＲＡＷ画像データに対応する現像パラメータが生成され、メモリ２５に書き込まれる。現像パラメータは、露光設定、ホワイトバランス、色空間、コントラストなど、ＪＰＥＧ方式などを記録するための画像処理で使用する各種パラメータから構成される。

【0014】

タイミング発生器１４は、メモリ制御部２２及びシステム制御部５０により制御され、撮像素子１３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給する。

【0015】

画像処理部２０は、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理、画像合成処理などの各種画像処理を行う。また、画像処理部２０は、撮像して得られた画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果をシステム制御部５０に提供する。システム制御部５０は、提供された演算結果に基づいて露光制御部４０および焦点制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。

【0016】

また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。さらに、画像処理部２０は、メモリ２５に格納された画像データを読み込んで圧縮処理或いは伸長処理を行う。ここではＪＰＥＧ方式やＭＰＥＧ－４ ＡＶＣまたはＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、非圧縮のＲＡＷデータに対する可逆圧縮などを行う。そして、画像処理部２０は、処理を終えた画像データをメモリ２５に書き込む。

【0017】

また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、各種画像データの編集処理を行う。具体的には、画像データの周囲にある不要な部分を非表示にすることで画像の表示範囲やサイズを調整するトリミング処理、画像データや画面の表示要素などを拡大や縮小して大きさを変更するリサイズ処理を行うことができる。更に、非圧縮のＲＡＷデータに対する可逆圧縮など、圧縮処理或いは伸長処理を行ったデータに対して色変換などの画像処理を加え、ＪＰＥＧ方式に変換して画像データを作成するＲＡＷ現像を行うことができる。また、ＭＰＥＧ－４などの動画フォーマットの指定フレームを切り出してＪＰＥＧ方式に変換して保存する動画切り出し処理を行うことができる。

【0018】

また、画像処理部２０は、複数の画像データを合成する合成処理回路を備える。本実施形態では、単純な加算合成あるいは加算平均合成だけでなく、合成対象の画像データの各領域において最も明るいまたは暗い値を持つ画像を選択して、それらを合成して１枚の画像データを生成する比較明合成処理、比較暗合成処理が可能である。

【0019】

また、画像処理部２０は、表示用の画像データと共に、表示部２３に表示するメニューや任意の文字等のＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を重畳させる処理等も行う。

【0020】

さらに、画像処理部２０では、入力された画像データや撮影時の撮像素子１３などから得られる被写体との距離情報などを利用して、画像データ内に存在する被写体を検出して、その被写体領域を検出する被写体検出処理を行う。検出できる情報として、画像内における位置、大きさといった領域や傾き、確からしさなどの検出情報を得ることができる。

【0021】

メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生器１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５により生成されたＲＡＷ画像データは、画像処理部２０、メモリ制御部２２を介して、或いは、直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。

【0022】

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介してＴＦＴ ＬＣＤなどにより構成される表示部２３に表示される。表示部２３を用いて撮像して得られた画像データを逐次表示すれば、ライブ画像を表示する電子ファインダ機能を実現することが可能である。

【0023】

メモリ２５は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備え、撮影した静止画像や動画像を格納する。また、メモリ２５はシステム制御部５０の作業領域としても使用することが可能である。

【0024】

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能も有する。焦点制御部４１は、システム制御部５０からの指示に基づいて撮影レンズ１１に含まれる不図示のフォーカスレンズを駆動することで、焦点調節を行う。ズーム制御部４２は、撮影レンズ１１に含まれる不図示のズームレンズを駆動することで、ズーミングを制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

【0025】

システム制御部５０は、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。なお、不揮発性メモリ５１には、プログラムだけでなく、地図情報等も記録されている。

【0026】

シャッタースイッチ６１（ＳＷ１）は、シャッターボタン６０の操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などの動作開始を指示する。シャッタースイッチ６２（ＳＷ２）は、シャッターボタン６０の操作完了でＯＮとなり、露光処理、現像処理、記録処理を含む一連の撮影動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号を、Ａ／Ｄ変換器１５、メモリ制御部２２を介して、ＲＡＷ画像データとしてメモリ２５に書き込む。現像処理では、画像処理部２０やメモリ制御部２２での演算を用いて、メモリ２５に書き込まれたＲＡＷ画像データを現像し、画像データとしてメモリ２５に書き込む。記録処理では、メモリ２５から画像データを読み出し、画像処理部２０により圧縮を行い、圧縮した画像データをメモリ２５に格納した後にカードコントローラ９０を介して外部記録媒体９１に書き込む。

【0027】

操作部６３は、各種ボタンやタッチパネルなどの操作部材を備える。例えば、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替えスイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、例えば、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなどを含む。

【0028】

メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に、撮影時の情報を基に、画像データに添付するＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）規格などの様々なメタデータを生成する。また、メタデータ生成・解析部７０は、外部記録媒体９１に記録されている画像データを読み込んだ際に、画像データに付与されているメタデータの解析を行う。メタデータとしては、例えば、撮影時の撮影時設定情報、画像データに関する画像データ情報、画像データに含まれる被写体の特徴情報などが挙げられる。また、動画像データを記録する際には、メタデータ生成・解析部７０は、各フレームについてメタデータを生成し、付与することもできる。

【0029】

電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。

【0030】

カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００が撮影した画像（静止画、動画）を記録する。

【0031】

推論エンジン７３は、推論モデル記録部７２に記録された推論モデルを用いて、システム制御部５０を介して入力された画像データに対して推論を行う。推論モデルには、外部装置１０１などの外部から通信部７１を通じて入力し、推論モデル記録部７２に記録されたものや、学習部７４によって再学習を行って得られた推論モデルを使用することができる。なお、推論モデルは、外部からの更新や学習部７４によって再学習を行って更新された場合に、それぞれの推論モデルが識別できるように、推論モデル記録部７２などで管理バージョンを保持していることとする。また、推論エンジン７３は、ニューラルネットワーク・デザイン７３ａを有する。

【0032】

ニューラルネットワーク・デザイン７３ａは、入力層と出力層の間に中間層（ニューロン）が配置されている。入力層にはシステム制御部５０から画像データが入力される。中間層としては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。中間層は、推論モデル記録部７２に記録された推論モデルに基づいて、重み付けがなされる。出力層には、入力層に入力された画像データに応じたアノテーション情報が出力される。

【0033】

本実施形態では、画像に含まれる被写体がどのようなものであるかの分類を推論する推論モデルを想定する。様々な被写体の画像データと、その分類（例えば、犬、猫などの動物の分類や、人、動物、植物、建物など被写体分類など）結果を教師データとして、深層学習により生成された推論モデルを利用する。

【0034】

学習部７４は、システム制御部５０等から依頼を受けて、推論モデルの再学習を行う。学習部７４は、教師データ記録部７４ａを有し、教師データ記録部７４ａは、推論エンジン７３への教師データに関する情報を記録する。学習部７４は教師データ記録部７４ａに記録されている教師データを用いて、推論エンジン７３を再学習させ、推論モデル記録部７２を用いて、推論エンジン７３を更新することができる。

【0035】

通信部７１は、送信および受信を行うための通信回路を有する。通信回路は、具体的にはＷｉ－ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信でも良いし、イーサネットやＵＳＢなどの有線通信でも良い。

【0036】

本実施形態での画像から被写体の長さや広さを計測する計測処理について説明する。深度センサ７５を用いて、撮像時に被写体の深度情報（奥行き情報）を計測する。撮像された画像の各画素に深度情報として深度値が対応付けられている。各画素が有する深度値は、カメラの視点から被写体までの距離を示す情報であり、深度値はメートル等の物理的単位で直接的に表現されたものでもよいし、カメラの視点から被写体までの距離が０～１の範囲で正規化表現されたものでもよい。設定された解像度の値をもとに、１ピクセルあたりの長さを算出する。そして、撮像後の画像を入力に、画像処理部２０にて画像の２値化などの処理を行い、被写体のエッジを検出する。抽出された被写体のエッジから、エッジ間のピクセル数をカウントして、事前に算出した１ピクセルあたりの長さをもとに、被写体の長さを計測する。なお、推論エンジン７３を用いて、被写体の推論とともに計測処理を行ってもよい。また、深度値の取得原理は限定せず、被写体の視差画像に基づく三角測量法により被写体までの距離を計測するステレオカメラであってもよい。あるいは、被写体にレーザー光を照射して、その反射光が検出されるまでの時間に基づいて被写体の距離を測定するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式のカメラであってもよい。もちろん、その他の方法により被写体までの距離を計測してもよい。

【0037】

次に、図２～図５を用いて、本実施形態におけるデジタルカメラ１００の画像にアノテーション情報を記録するまでの処理について説明する。

【0038】

図２は本実施例を説明する全体フローチャートの一例である。

【0039】

図３（ａ）～（ｄ）は、本実施形態における撮影処理と被写体情報取得手段Ｓ２０１の内部処理を示すもので、処理パターンの一例である。

【0040】

図４は、本実施形態において記録される画像ファイルの記録内容の概要である。

【0041】

図５（ａ）、（ｂ）は、本実施形態におけるデジタルカメラの画像とアノテーション情報の表示方法の一例を表す図である。図５（ａ）は、被写体が和室であるとき、図５（ｂ）は、被写体が洋室であるとき、の画像とアノテーション情報を示す。

【0042】

デジタルカメラ１００はユーザーによるシャッターボタン６０の押下操作に応答し、シャッタースイッチ６１（ＳＷ１）及びシャッタースイッチ６２（ＳＷ２）がＯＮとなったとき、撮影処理と被写体情報取得手段（Ｓ２０１）を実施する。Ｓ２０１内の詳細処理フローを、図３（ａ）を用いて説明する。なお、図３（ｂ）、（ｃ）、（ｄ）は図３（ａ）の処理順序を変更したものであり、処理順序はこれに限定しない。

【0043】

システム制御部５０Ａは、ユーザーが操作部６３でメニュー画面を表示して、業界／分野情報を設定すると、メモリ２５に業界／分野情報を記録する（Ｓ３０１）。

【0044】

次に、デジタルカメラ１００は、ユーザーによるシャッターボタン６０の押下操作に応答する。すなわち、シャッタースイッチ６１（ＳＷ１）及びシャッタースイッチ６２（ＳＷ２）がＯＮとなって撮影開始指示がある場合（Ｓ３０２：Ｙｅｓ）は、撮影処理を開始する（Ｓ３０３）。

【0045】

撮影処理（Ｓ３０３）では、焦点制御部４１や露光制御部４０を用いて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行ったうえで、撮像素子１３からＡ／Ｄ変換機１５を介して出力される画像信号をメモリ２５に保存する。この時、同時に震度センサ７５で計測した深度値も画像信号とともにメモリ２５に保存する。さらに、メモリ２５に保存した画像信号に対して、ユーザーの設定に合わせて、画像処理部２０に含まれる圧縮処理でＪＰＥＧ形式やＭＰＥＧ－４ ＨＥＶＣ形式で圧縮した画像データを作成する。
次に、メモリ２５に保存された画像信号に対して、画像処理部２０により被写体検出処理を行い、画像に含まれる被写体の検出情報を取得する（Ｓ３０４）。

【0046】

次に、メモリ２５に保存された画像信号に対して、推論エンジン７３を用いて被写体推論処理を行う。メモリ２５に保存された画像信号データとＳ３０４で取得した被写体検出情報から画像データ内に含まれる被写体領域を特定し、被写体領域に含まれる被写体の分類結果を出力する（Ｓ３０５）。推論時に、推論結果以外に推論途中の動作上のデバッグ所法、ログなど推論処理に関連する情報を出力しても構わない。

【0047】

次に、Ｓ３０３で計測された深度値、Ｓ３０４で取得した被写体検出情報、Ｓ３０５で取得した推論結果を入力に、計算部７６において被写体の高さ、長さ、広さなどを計測する（Ｓ３０６）。なお、計測の際は共通単位で数値を算出する。

【0048】

次に、デジタルカメラ１００は、ユーザーによるシャッターボタン６０の押下操作に応答する。すなわち、シャッタースイッチ６１（ＳＷ１）及びシャッタースイッチ６２（ＳＷ２）がＯＮとなって撮影指示が継続されている場合（Ｓ３０７：Ｎｏ）は、撮影処理を開始する（Ｓ３０３）。その後、シャッタースイッチ６２（ＳＷ２）がＯＦＦとなって撮影指示が継続されていない場合（Ｓ３０７：Ｙｅｓ）は、撮影処理を終了する（Ｓ２０１終了）。

【0049】

次に、Ｓ３０４で取得した被写体検出情報、Ｓ３０６で取得した被写体計測情報、Ｓ３０１で取得した業界／分野情報に基づき、判断部７７にて業界用アノテーション情報に記録する単位を判断し、単位に合わせて被写体計測結果の数値を変換する（Ｓ２０２）。その際、標準アノテーションの記録用に共通単位での数値も保持する。なお、もしＳ３０１でユーザーが業界／分野情報を設定しなかった場合は、標準アノテーション情報の記録用に共通単位での数値のみ保持する。

【0050】

次に、メモリ２５に保存された画像信号データと、Ｓ２０２で算出された標準アノテーション情報と業界用アノテーション情報のそれぞれの数値および単位を、外部記録媒体９１に記録する（Ｓ２０３）。ここで記録される画像ファイルは、図４に示すような形式で記録される。

【0051】

本実施形態で記録される画像サイズファイル４００は、少なくとも以下の４領域から構成される。すなわち、Ｅｘｉｆ規格に従ったメタデータを記憶する領域４０１、圧縮された画像データを記録する画像データ領域４０８、アノテーション情報を記録する標準アノテーション情報４０９、業界用アノテーション情報４１０である。業界用アノテーション情報４１０は、業界ごとに必ず１つアノテーション情報が存在する。画像ファイル４００は、例えば、ユーザーからＪＰＥＧ形式での記録が指示されていれば、Ｓ３０３で作成された画像データをＪＰＥＧ形式で画像データ領域４０８に記録し、Ｅｘｉｆデータ４０１はＡＰＰ１マーカーなどに記録されている。また、標準アノテーション情報４０９や業界用アノテーション情報４１０はＡＰＰ１マーカーなどに記録されている。また、ユーザーからＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式での記録が指示された場合、ＨＥＩＦファイル形式で記録される。そして、Ｅｘｉｆデータ４０１やアノテーション情報４１０は、ＭｅｔａデータＢｏｘなどに記録される。また、ＲＡＷ形式での記録が指示された場合も同様に、Ｅｘｉｆデータ４０１や標準アノテーション情報４０９や業界用アノテーション情報４１０は、ＭｅｔａデータＢｏｘなどの所定の領域に記録される。

【0052】

被写体検出情報（Ｓ３０４で取得）は、メタデータ生成・解析部７０を用いて、Ｅｘｉｆデータ４０１に含まれる製造メーカー固有のメタデータが原則非公開の形式で記載できるＭａｒｋｅｒＮｏｔｅ４０５内に記録される。また、Ｓ３０５で取得した推論結果である被写体の分類結果と、推論モデル記録部７２で保持している現在の推論モデルの管理バージョンやデバッグ情報などがあれば、それらを推論モデル管理情報４０７としてＭｅｒｋｅｒＮｏｔｅ４０５内に記録する。

【0053】

推論結果（Ｓ３０５で取得）は、標準アノテーション情報４０９や業界用アノテーション情報４１０に記録される。標準アノテーション情報４０９や業界用アノテーション情報４１０は、アノテーションリンク情報格納タグ４０２内の標準アノテーション情報ｌｉｎｋ４０３や業界用アノテーション情報ｌｉｎｋ４０４で示す位置に記録される。本実施例では、アノテーション情報はＸＭＬやＪＳＯＮなどのテキスト形式で記載することを想定している。

【0054】

本実施形態で記録された画像サイズファイル４００は、図５（ａ）～（ｄ）のように表示される。画像データ領域４０８にて保存されたＪＰＥＧ形式の画像データは、和室の画像５００と洋室の画像５０３のように表示される。標準アノテーション情報４０９は図５（ａ）の５０１または図５（ｃ）の５０４のように、内部に保持した被写体情報とその被写体の計測情報を標準単位（今回の例はｍ^２）で表示される。業界用アノテーション情報４１０は、図５（ｂ）の５０２または図５（ｄ）の５０５のように内部に保持した被写体情報とその被写体の計測情報を業界用単位（今回の例は、和室は畳、洋室はｍ^２）で表示される。表示するアノテーション情報はＳ３０１のユーザー操作によって決定する。これにより、業界用アノテーション情報に記録される被写体の数値とその単位が業界に合った適切なものとなる。なお、図５（ａ）～（ｄ）のような表示形式はあくまで一例であり、表示場所や表示方法はこれに限定しない。

【0055】

次に、図６を用いて、本実施形態における記録されたアノテーション情報を修正する時の処理について説明する。

【0056】

図６はユーザーがアノテーション情報を修正するフローチャートの一例である。

【0057】

デジタルカメラ１００は、図５（ａ）や（ｂ）のような再生画面においてユーザーによる操作部６３に応答し、ユーザーが選択した座標に被写体がある場合（Ｓ６０１：Ｙｅｓ）は、既に設定済の業界／分野情報を確認する（Ｓ６０２）。

【0058】

Ｓ６０１で選択された座標情報に該当する被写体検出情報とＳ６０２で取得した業界／分野情報をもとに、画像ファイル４００に保存されている該当の業界のアノテーション情報内の被写体情報（数値および単位）を表示する（Ｓ６０３）。例えば、Ｓ６０２で取得した業界／分野情報が標準アノテーション情報の場合、標準アノテーション情報４０９の被写体情報を共通単位と数値で表示する。また、Ｓ６０２で取得した業界／分野情報が業界用アノテーション情報の場合、業界用アノテーション情報４１０の被写体情報を業界単位と数値で表示する。

【0059】

次に、ユーザーによる操作部６３に応答し、ユーザーによる数値の修正が完了した場合（Ｓ６０４：Ｙｅｓ）、表示中でない他方のアノテーション情報の数値を、該当のアノテーション情報に保存されている単位に合わせて数値変換を行う。例えば、標準アノテーション情報４０９が表示されており、ユーザーによって被写体Ａの数値情報が修正された時、業界用アノテーション情報４１０の被写体Ａの数値情報が業界単位に合わせて修正される。また、業界用アノテーション情報が複数ある場合は、すべての業界用アノテーション情報に対して同様の処理が実行される。これにより、アノテーション情報の修正時に単位変換とそれに伴う数値変換の手間を省ける。なお、図６の処理順序はこれに限定しない。

【0060】

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0061】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】