知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5683863
(24)【登録日】2015年1月23日
(45)【発行日】2015年3月11日
(54)【発明の名称】画像再生装置及び画像再生装置の音情報出力方法
(51)【国際特許分類】
H04N 5/225 20060101AFI20150219BHJP
H04N 5/91 20060101ALI20150219BHJP
H04N 5/93 20060101ALI20150219BHJP
【ＦＩ】
H04N5/225 F
H04N5/91 R
H04N5/93 G
【請求項の数】4
【全頁数】14
(21)【出願番号】特願2010-177877(P2010-177877)
(22)【出願日】2010年8月6日
(65)【公開番号】特開2012-39394(P2012-39394A)
(43)【公開日】2012年2月23日
【審査請求日】2013年7月31日
(73)【特許権者】
【識別番号】504371974
【氏名又は名称】オリンパスイメージング株式会社
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(72)【発明者】
【氏名】笠井 翼
【審査官】
榎 一
(56)【参考文献】
【文献】
特開２００７−０１３７８３（ＪＰ，Ａ）
【文献】
特開２００６−１７８２６８（ＪＰ，Ａ）
【文献】
特開２００８−１５８７８８（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２２２〜２５７
Ｈ０４Ｎ ５／９１
Ｈ０４Ｎ ５／９３
(57)【特許請求の範囲】
【請求項1】
画像再生装置において、
画像中の被写体についての特徴を求めることで上記被写体を検出する被写体特徴検出部と、
検出された上記被写体に対して音情報を割当てる音情報割当て部と、
上記被写体を含む画像に対応させて、上記音情報割当て部が割当てた上記音情報を出力する出力制御部と、
上記被写体を含む画像の表示に対応させて、上記出力制御部が出力した上記音情報に基づく音響を出力する音響出力部と、
上記画像再生装置が傾斜しているか否かを判定する姿勢判定部と、
上記画像再生装置が傾斜していると上記姿勢判定部が判定した場合には上記音情報を順次読み出して再生し、上記画像再生装置の傾きが元に戻された場合には該再生を停止するよう制御する制御部と、
を具備したことを特徴とする画像再生装置。
画像中の被写体についての特徴を求めることで上記被写体を検出する被写体特徴検出部と、
検出された上記被写体に対して音情報を割当てる音情報割当て部と、
上記被写体を含む画像に対応させて、上記音情報割当て部が割当てた上記音情報を出力する出力制御部と、
上記被写体を含む画像の表示に対応させて、上記出力制御部が出力した上記音情報に基づく音響を出力する音響出力部と、
上記画像再生装置が傾斜しているか否かを判定する姿勢判定部と、
上記画像再生装置が傾斜していると上記姿勢判定部が判定した場合には上記音情報を順次読み出して再生し、上記画像再生装置の傾きが元に戻された場合には該再生を停止するよう制御する制御部と、
を具備したことを特徴とする画像再生装置。
【請求項2】
上記画像再生装置の上記傾斜が大きいほど上記音情報の再生が高速に出力されることを特徴とする請求項１に記載の画像再生装置。
【請求項3】
上記制御部は、上記画像再生装置が上記傾斜とは逆に傾斜された場合には、上記音情報の再生順を逆順にするよう制御することを特徴とする請求項２に記載の画像再生装置。
【請求項4】
画像再生装置の音情報出力方法において、
被写体特徴検出部が、画像中の被写体についての特徴を求めることで上記被写体を検出するステップと、
音情報割当て部が、検出された上記被写体に対して音情報を割当てるステップと、
出力制御部が、上記被写体を含む画像に対応させて、上記音情報割当て部が割当てた上記音情報を出力するステップと、
音響出力部が、上記被写体を含む画像の表示に対応させて、上記出力制御部が出力した上記音情報に基づく音響を出力するステップと、
姿勢判定部が、上記画像再生装置が傾斜しているか否かを判定するステップと、
制御部が、上記画像再生装置が傾斜していると上記姿勢判定部が判定した場合には上記音情報を順次読み出して再生し、上記画像再生装置の傾きが元に戻された場合には該再生を停止するよう制御するステップと、
を具備したことを特徴とする画像再生装置の音情報出力方法。
被写体特徴検出部が、画像中の被写体についての特徴を求めることで上記被写体を検出するステップと、
音情報割当て部が、検出された上記被写体に対して音情報を割当てるステップと、
出力制御部が、上記被写体を含む画像に対応させて、上記音情報割当て部が割当てた上記音情報を出力するステップと、
音響出力部が、上記被写体を含む画像の表示に対応させて、上記出力制御部が出力した上記音情報に基づく音響を出力するステップと、
姿勢判定部が、上記画像再生装置が傾斜しているか否かを判定するステップと、
制御部が、上記画像再生装置が傾斜していると上記姿勢判定部が判定した場合には上記音情報を順次読み出して再生し、上記画像再生装置の傾きが元に戻された場合には該再生を停止するよう制御するステップと、
を具備したことを特徴とする画像再生装置の音情報出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記録された画像に音情報を付加する画像再生装置及び画像再生装置の音情報出力方法に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては、撮像画像を圧縮して半導体メモリ等の記録媒体に記憶させるものが多い。圧縮技術及び記録媒体の記録容量の増大に伴い、記録媒体内には膨大な画像が蓄積される傾向にある。このような膨大な量の画像から所望の画像を短時間で検索することは、極めて困難である。
【0003】
そこで、特許文献１においては、画像から検索用の情報を抽出する技術が開示されている。これにより、特許文献１の発明においては、所望の内容や構成の撮影画像を検索することができるようになっている。
【先行技術文献】
【特許文献】
【0004】
特開２００７−９６３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１の発明においては、検索用の設定が極めて煩雑であるという欠点がある。また、特許文献１の発明における検索方法は論理的であり直感的な検索方法ではなく、ユーザフレンドリとは言えない。また、人間の持つ五感を有効に利用できていない。
【0006】
本発明は、直感的で且つ迅速に画像を検索することができる画像再生装置及び画像再生装置の音情報出力方法を提供することを目的とする。また、画像を音声に変換して、視覚以外の五感の刺激をも可能にするので、機器の利用を促進できる。
【課題を解決するための手段】
【0007】
本発明の一態様の画像再生装置は、画像再生装置において、画像中の被写体についての特徴を求めることで上記被写体を検出する被写体特徴検出部と、検出された上記被写体に対して音情報を割当てる音情報割当て部と、上記被写体を含む画像に対応させて、上記音情報割当て部が割当てた上記音情報を出力する出力制御部と、上記被写体を含む画像の表示に対応させて、上記出力制御部が出力した上記音情報に基づく音響を出力する音響出力部と、上記画像再生装置が傾斜しているか否かを判定する姿勢判定部と、上記画像再生装置が傾斜していると上記姿勢判定部が判定した場合には上記音情報を順次読み出して再生し、上記画像再生装置の傾きが元に戻された場合には該再生を停止するよう制御する制御部と、を具備する。本発明の一態様の画像再生装置の音情報出力方法は、画像再生装置の音情報出力方法において、被写体特徴検出部が、画像中の被写体についての特徴を求めることで上記被写体を検出するステップと、音情報割当て部が、検出された上記被写体に対して音情報を割当てるステップと、出力制御部が、上記被写体を含む画像に対応させて、上記音情報割当て部が割当てた上記音情報を出力するステップと、音響出力部が、上記被写体を含む画像の表示に対応させて、上記出力制御部が出力した上記音情報に基づく音響を出力するステップと、姿勢判定部が、上記画像再生装置が傾斜しているか否かを判定するステップと、制御部が、上記画像再生装置が傾斜していると上記姿勢判定部が判定した場合には上記音情報を順次読み出して再生し、上記画像再生装置の傾きが元に戻された場合には該再生を停止するよう制御するステップと、を具備する。
【発明の効果】
【0008】
本発明によれば、直感的で且つ迅速に画像を検索することができるという効果を有する。
【図面の簡単な説明】
【0009】
【図1】本発明の第１の実施の形態に係る画像記録再生装置が組み込まれた撮影機器を示すブロック図。
【図2】制御部１による人物と音情報との関連付けの一例を示す説明図。
【図7】撮影機器１０のメインフローを示すフローチャート。
【図9】音情報登録画面を示す説明図。
【図11】再生モード時の動作を説明するためのフローチャート。
【図12】楽譜の表示例を示す説明図。
【図13】画像の表示例を示す説明図。
【図14】本発明の第２の実施の形態に係る音情報付加装置を示すブロック図。
【図15】本発明の第３の実施の形態に係る音情報付加装置を示すブロック図。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0012】
撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、撮像素子の撮像面に結像した被写体光学像を電気信号に変換して、画像信号を制御部１に出力するようになっている。
【0013】
制御部１は、撮像部２からの画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。制御部１は記録再生制御部１ｄを備えており、記録再生制御部１ｄは、制御部１において信号処理された画像信号及び音声信号等に符号化処理を施して、圧縮した画像情報及び音声情報等を記録部３に与えて記録させることができる。
【0014】
なお、記録再生制御部１ｄとしては例えばカードインターフェースを採用することができ、記録再生制御部１ｄはメモリカード等の記録部３に画像情報及び音声情報等を記録可能である。また、記録再生制御部１ｄは、記録媒体に記録された画像情報及び音声情報を読み出して制御部１に供給することができる。制御部１は、記録再生制御部１ｄからの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【0015】
また、撮影機器１０には、時計部４、操作部５及びタッチパネル６も配設されている。時計部４は制御部１が用いる時間情報を発生する。操作部５は、撮影機器１０に設けられた図示しないレリーズボタンや撮影モード設定等の図示しない各種スイッチ等によって構成される。操作部５及びタッチパネル６は、ユーザ操作に基づく操作信号を発生して、制御部１に出力するようになっている。制御部１は、操作信号に基づいて、各部を制御する。
【0016】
撮影機器１０には、姿勢判定部７も設けられている。姿勢判定部７は、加速度センサ等によって構成することができ、撮影機器１０本体の姿勢を検出する。例えば、姿勢判定部７は、撮影機器１０本体の傾きやぶれを検出して検出結果を制御部１に与えるようになっている。
【0017】
また、制御部１には、表示制御部１ｂが設けられている。表示制御部１ｂは、撮像部２からの撮像画像や記録再生制御部１ｄからの再生画像が制御部１から供給されて、これらの画像表示を表示部８に対して行うことができる。また、表示制御部１ｂは、撮影機器１０の操作を行うためのメニュー表示等を表示部８に表示させることもできるようになっている。
【0018】
また、制御部１には、音声制御部１ｃが設けられている。音声制御部１ｃは、記録再生制御部１ｄによって再生された音声情報が制御部１から供給されて、音響出力をスピーカ９に対して行うことができる。
【0019】
本実施の形態においては、制御部１には、物特徴量検出部としての顔検出部１ａが設けられている。顔検出部１ａは、撮像部２から画像信号が与えられ、画像内に人間の顔の特徴を有する陰影パターンが存在するか否かをコマ（フレーム）毎に検出する。顔検出部１ａは、検出した顔領域についての特徴量を記録再生制御部１ｄによって記録部３に与えて記録させる。顔の特徴量は人物毎に異なり、顔検出部１ａは、新たな人物に対応する特徴量を検出した場合にのみ、その特徴量を記録部３に記録するようになっている。
【0020】
記録部３は、顔特徴情報記録領域３ａ、音情報記録領域３ｂ及び画像・音声情報記録領域３ｃを有している。顔特徴情報記録領域３ａには、顔検出部１ａによって検出された顔の特徴量を人物毎に記録する。記録部３の音情報記録領域３ｂには、音情報が記録されている。
【0021】
音情報としては、例えば、所定の音階上の任意の音、即ち、楽音を音響出力するための情報が用いられる。また、音情報としては、周波数（音階）の情報だけでなく、音量、音色等の情報を含んでもよい。
【0022】
本実施の形態においては、制御部１は、顔の特徴量によって特定される人物（顔）に対して、所定の音情報を割当てることができるようになっている。
【0024】
図２の例では、３人の顔Ａ〜Ｃに対して夫々音Ｇ，Ｂ，Ｄ（英語音名表記）を対応させた例を示している。なお、ここでは、後述するように音を再生する場合の響きを考慮して、協和和音となる音を選択する例を示したが、不協和和音となる音を選択してもよい。なお、協和和音は、２つの音の音程が完全１度、完全８度、完全５度、完全４度、長３度、長６度、短３度又は短６度になる協和音程の関係を有する音のみを用いて構成された和音であり、通常、人は協和和音を聞くと、聞き慣れた和音、或いは心地よい和音と感じることが多い。
【0025】
更に、制御部１は、顔が検出されなかった画像（以下、背景画像という）に対して音情報を割り当てることもできる。また、制御部１は音情報として和音を割り当てることもできる。図２の例では、背景画像に対して、３つの和音Ｅ，Ｃ，Ｆ（コードネーム）を割り当て可能であることを示している。図２の例では、制御部１は、例えば画像の明るさに応じて３つの和音のうちの１つを選択的に割り当てる。
【0026】
制御部１は、各画像毎に、割り当てた音情報を関連づける。音情報は、記録再生制御部１ｄによって記録部３の画像・音声情報記録領域３ｃに各画像の画像情報に対応付けられて記録させる。画像・音声情報記録領域３ｃは、画像と音情報とが関連付けられて記録される領域である。
【0027】
なお、制御部１は、顔と音情報との割当てを予め決定していてもよい。例えば、検出された顔の順に、周波数順に音を順次割り当ててもよい。また、検出された顔のサイズに応じて、周波数順に音を順次割り当ててもよい。或いは、制御部１は、顔の特徴量から顔の表情を検出し、笑顔程高い周波数の音情報を割り当てるようにしてもよい。更に、制御部１は、新たな人物の顔が検出される毎に、ユーザに割り当てる音情報を選択させるようにしてもよい。また、更に、制御部１は、検出された顔の特徴量に応じて、音量や音色等を変化させるようにしてもよい。例えば、画像中の顔のサイズが大きいほど大きな音量の音を割当てたり、顔のサイズに応じて相互に異なる楽器に対応する音を割当ててもよい。更に、制御部１は、周波数、音量、音色等の全てを検出された顔毎に異なる値に設定してもよい。
【0028】
同様に、制御部１は、背景画像に対する音情報の割当てを予め決定していてもよい。例えば、背景画像の明るさに応じて周波数順に音を順次割り当ててもよい。また、制御部１は、背景画像毎に、ユーザに割り当てる音情報を選択させるようにしてもよい。
【0029】
なお、制御部１は、必ずしも全ての顔又は背景画像に音情報を割り当てる必要はない。例えば、予め設定された数の音情報を顔及び背景画像に割り当て可能に構成することも可能である。或いは、制御部１は、音情報を割り当てない顔及び背景画像をユーザに選択させるようにしてもよい。
【0030】
更に、制御部１は、顔検出部１ａだけでなく、特徴量検出部を設けることにより、顔以外の特定の物を検出可能に構成して、特定の物に夫々音情報を割り当てるようにしてもよい。
【0031】
制御部１は、音声制御部１ｃを制御して、画像の再生に際して、各画像に関連付けられた音情報を読み出して音響出力することが可能である。
【0033】
制御部１は、記録再生制御部１ｄ及び表示制御部１ｂを制御して、記録部３に記録されている画像情報を読み出して表示部８に通常表示又はサムネイル表示等により表示させることができる。この表示に際して、制御部１は、画像に対応付けて記録されている音情報を読み出し、音声制御部１ｃを制御してスピーカ９から音響出力させることができる。
【0034】
図３（ａ）は図２の顔Ｃが含まれる画像を示している。この画像の表示に際して、制御部１は、図３（ｂ）に示す音Ｄを音響出力する。また、図４（ａ）は図２の顔Ａ〜顔Ｃの３人の顔が含まれる画像を示している。この画像の表示に際して、制御部１は、図４（ｂ）に示す音Ｇ，Ｂ，Ｄを同時に音響出力する。なお、制御部１は、音Ｇ，Ｂ，Ｄを同時ではなく順番に音響出力するようにしてもよい。 音情報記録領域３ｂには、優先して割り当てる音情報情報である優先音情報も記録されている。制御部１は、複数の音情報を割当てる場合には、優先音情報を優先的に割当てるようにしてもよい。例えば、優先音情報は、各音情報に基づく音同士が協和音程を構成するように設定される。優先音情報を用いると、画像中に複数の顔が含まれる場合には、協和和音が音響出力されることになり、ユーザは聞き慣れた和音、或いは心地よい和音を聞くことができる。
【0035】
図５は背景画像に対する音情報の割当ての一例を示す説明図である。図５（ａ），（ｃ）は横軸に輝度をとり縦軸に画素数をとって、画像内における各輝度毎の画素数を示すヒストグラムである。図５（ａ）は比較的低い輝度の画素が多い画像、即ち、比較的暗い画像を示し、図５（ｃ）は比較的高い輝度の画素が多い画像、即ち、比較的明るい画像を示している。制御部１は、比較的暗い画像については、音情報として比較的低い周波数の音からなる和音を割当て、比較的明るい画像については、音情報として比較的高い周波数の音からなる和音を割当てる。図５（ｂ）は図５（ａ）のように比較的暗い画像に割り当てられる和音（Ｇ）を示し、図５（ｄ）は図５（ｃ）のように比較的明るい画像に割り当てられる和音（Ｆ）を示している。
【0036】
なお、制御部１が、暗い画像に低い周波数の音からなる３和音を割当て、明るい画像に高い周波数の音からなる３和音を割当てる例を示したが、音情報の割当て方法は種々考えられる。例えば、制御部１は、暗い画像にマイナーコードを割当て、明るい画像にメジャーコードを割当ててもよく、特に明るい画像にはテンションコード等を割当るようにしてもよい。また、図５では画像の明るさによって和音を割り当てる例を示したが、絵柄の細かさに応じて音情報を割り当ててもよい。例えば、絵柄が細かいほど、高い周波数の音からなる和音を割り当ててもよい。なお、制御部１は、背景画像に単音の音を割り当てることも可能である。
【0037】
図６は連続的に再生される画像に対する音響出力の一例を示す説明図である。図６（ａ）は連続的に再生表示される画像を示している。四角の枠が各画像を示し、無地の枠は顔が検出されない背景画像であることを示している。図６（ｂ）は図６（ａ）の各画像の再生表示に対応して出力される音響を示している。即ち、図６（ｂ）は、図６（ａ）の左から５枚の画像に対して、和音Ｇ，Ｃ，Ｃ，Ｇ，Ｆが順次音響出力され、顔Ａを含む画像の表示に対応させて単音の音Ｇが音響出力され、図６（ａ）の右２枚の画像に対して、和音Ｇ，Ｆが順次音響出力されることを示している。
【0038】
ユーザは、順次出力される音響を耳で確認する。ユーザは、例えば単音の音Ｇが出力されることによって、顔Ａを含む画像が再生されることを認識することができる。人間の耳は、時間軸方向には、極めて短い時間間隔で音を聞き分けることが可能であり、ユーザは、例えば、膨大な画像の中から顔Ａを含む画像を極めて短時間に検出することが可能である。
【0040】
撮影機器１０に電源が投入されると、制御部１は、図７のステップＳ１において、撮像画像と音情報とを関連付けて記録するモード（以下、音画像モードという）が指示されたか否かを判定する。音画像モードが指示されていない場合には、制御部１は、ステップＳ２において別モードが指示されたか否かの判定を行う。例えば再生モードが指示された場合には、制御部１は、ステップＳ３において再生モードに移行し、撮影画像の再生を行う。別モードが指定されていない場合には、制御部１はステップＳ４においてシャットダウン操作されたか否かを判定する。制御部１は、シャットダウン操作されると処理を終了し、そうでない場合には処理をステップＳ１に戻して音画像モードが指示されたか否かの判定を繰り返す。
【0041】
音画像モードが指示されると、制御部１は、ステップＳ１０において、撮影を開始する。即ち、制御部１は、撮像部２からの撮像信号に基づいて、表示部８に撮像画像（スルー画）を表示させる。次に、制御部１は、レリーズボタンが押下されたか否かを判断する（ステップＳ１１）。
【0042】
レリーズボタンが押下されると、制御部１はステップＳ１２において撮像画像の記録を行う。制御部１は撮像部２からの撮像画像に所定の信号処理を施した後符号化処理を行う。記録再生制御部１ｄは、圧縮した画像情報を記録部３に与えて記録する。
【0043】
次に、顔検出部１ａは、記録した画像について画像認識処理を行い、画像中に含まれる顔を検出する（ステップＳ１３）。制御部１は、顔が検出されると、処理をステップＳ１４からステップＳ１５に移行して、顔検出時音情報決定処理を実行する。なお、制御部１は、画像中に顔が検出されない場合には、処理をステップＳ１６に移行して、顔未検出時音情報決定処理を実行する。
【0044】
顔検出時音情報決定処理においては、画像から検出された顔に音情報を割当てる処理が行われる。また、顔未検出時音情報決定処理においては、背景画像に音情報を割り当てる処理が行われる。制御部１は、次のステップＳ１７において、画像に対応させて割り当てられた音情報を画像に対応させて記録する。ステップＳ１８においては、制御部１は撮影終了か否かを判定する。撮影が終了すると、処理をステップＳ４に移行し、撮影が終了しない場合には、処理をステップＳ１１に戻してレリーズボタンの押下を待つ。
【0046】
画像中に顔が検出された場合には、制御部１はステップＳ２１において、検出された顔に音情報が登録済みであるか否かを判定する。登録済みの場合には、ステップＳ２２において、制御部１は検出された顔に登録済みの音情報を設定する。
【0047】
一方、登録済みでない場合には、制御部１は、ステップＳ２３において、顔に割り当てる音情報を登録するための画面表示を行う。
【0048】
図９はこのような音情報登録画面を示す説明図である。図９においては、画像２１上に画像から検出された１つの顔２２が表示されている。この顔２２に対応させて登録すべき音情報が楽譜２４，２６として表示されている。画像２１上には、「登録しますか？」という登録表示２３又は「登録しない」という非登録表示２５が表示されている。登録表示２３の下方には登録すべき音情報が楽譜２４上の音符によって示されている。なお、図９の楽譜２４上にはまだ一度も登録されていない音情報に基づく音符のみが表示されているものとする。また、非登録表示２５の下方には、非登録時の音情報が楽譜２６上の音符によって示されている。
【0049】
ユーザが音符２４のいずれかの音符を選択する操作を行うと、制御部１によって選択された音符に対応する音情報が顔２２に割り当てられて登録される。この場合には、制御部１は、処理をステップＳ２４からステップＳ２１に戻し、更に、ステップＳ２２において検出された顔に登録された音情報を設定する。
【0050】
一方、ユーザが楽譜２６上の音符を選択する操作を行うことによって、検出された顔に対して音情報を登録しないことが指示される。この場合には、制御部１は、ステップＳ２５において検出された顔に規定の音（図９の例では音Ｅ）を割当てる。なお、この場合の規定の音情報としては無音の情報であってもよい。
【0051】
制御部１は、ステップＳ２６において、１画像中の各顔に対応して設定された１つ以上の音情報を和音化する。なお、上述したように、制御部１は１画像中に複数の顔が検出され、各顔にそれぞれ音情報が割り当てられた場合でも、割り当てられた音を和音化することなく時分割に出力するようにしてもよい。
【0052】
なお、図９の例では、登録可能な音情報が３つの音Ｇ，Ｂ，Ｄであり、未登録時の規定の音が音Ｅである例を示したが、ユーザによって任意の高さの音を選択可能に構成してもよい。この場合には、既登録の音情報については選択不能としてもよく、また、既登録の音情報を複数の顔に割当て可能にしてもよい。
【0054】
画像中に顔が検出されない場合には、制御部１はステップＳ３１において、画像の平均輝度を算出する。次に、制御部１は平均輝度が夜景の明るさに相当するか否かを判定する（ステップＳ３２）。平均輝度が夜景の明るさに相当する場合には、制御部１は、ステップＳ３６において背景画像に低音の和音（例えば図２の和音Ｇ）を設定する。
【0055】
次に、制御部１は平均輝度が室内の明るさに相当するか否かを判定する（ステップＳ３３）。平均輝度が室内の明るさに相当する場合には、制御部１は、ステップＳ３５において背景画像に中音の和音（例えば図２の和音Ｃ）を設定する。
【0056】
次に、制御部１はステップＳ３３において平均輝度が室内の明るさに相当しない、即ち、昼間の室外の明るさに相当すると判定した場合には、ステップＳ３４において、背景画像に高音の和音（例えば図２の和音Ｆ）を設定する。こうして、背景画像については、画像の明るさに応じた高さの和音が設定される。
【0057】
次のステップＳ１７における音情報記録処理において、制御部１は、記録再生制御部１ｄを制御して、記録部３の画像・音声情報記録領域３ｃに、各画像と各画像に対して割当てられた音情報とを記録する。なお、上記例では、制御部１は、顔に単音を割当て、背景画像に和音を割り当てたが、顔に和音を割当て、背景画像に単音を割当ててもよい。また、上記例では、制御部１は、顔に比較的高い周波数の音を割当て、背景画像に比較的低い周波数の音を割り当てたが、顔に高音を割当て、背景画像に低音を割当ててもよい。或いは、制御部１は、背景画像に無音を割当てることも可能である。
【0058】
次に、図１１を参照して再生モード時の動作について説明する。
【0059】
ステップＳ４１において再生モードが指示されたことを検出すると、制御部１は再生画像を表示する（ステップＳ４２）。即ち、制御部１は、記録再生制御部１ｄを制御して、記録部３に記録されている画像を読み出す。制御部１は、読み出した画像に復号処理等を施した後、表示制御部１ｂを制御して、表示部８に表示させる。
【0060】
次に、制御部１はステップＳ４３において撮影機器１０が傾斜しているか否かを判定する。制御部１は姿勢判定部７の出力によって撮影機器１０の傾斜角度を把握することができる。制御部１は、撮影機器１０が所定角度傾斜していない場合には、ステップＳ４８において再生画像の送り、戻し動作を行う。
【0061】
ここで、ユーザが撮影機器１０を所定角度以上傾斜させるものとする。そうすると、制御部１はステップＳ４３から処理をステップＳ４４に移行して、所定の再生順の各画像に対応した各音情報について、現在表示中の画像に対応する音情報から順次読み出して再生する。即ち、制御部１は、音声制御部１ｃを制御して、順次読み出した音情報に基づく音響をスピーカ９から出力させる。この場合には、制御部１は、撮影機器１０の傾斜角度に対応する再生速度で音の出力を行う。即ち、撮影機器１０の傾斜角度が大きいほど、各音が高速に出力され、傾斜角度が小さいほど各音が低速に出力される。例えば、制御部１が１秒間に１０画像に対応する１０個の音を出力させる場合には、１００枚の画像に対応した音については１０秒で出力することができる。ユーザはスピーカ９から出力される音を聞くことで、各画像に顔（人物）が含まれるか否か、顔が含まれる場合には誰の顔か、或いは明るい画像か暗い画像か等を、音によって瞬時に判断することができる。
【0062】
また、この場合には、制御部１は、表示制御部１ｂを制御して、順次出力される音に対応する楽譜を表示してもよい。図１２はこの場合の表示例を示す説明図である。図１２に示すように、画像３１上には、楽譜３２が表示されている。楽譜３２は現在順次出力されている音に対応しており、音の再生に合わせて楽譜３２も変化するようになっている。図１２のマーカ３３は現在出力中の音に対応する音符の位置を示している。また、制御部１は、現在出力中の音については他の音と異なる色で表示するようにしてもよい。
【0063】
また、制御部１は、撮影機器１０の傾斜方向が逆になった場合には、音の再生順を逆順にするようにしてもよい。また、制御部１は図１２の楽譜に代えて画像３１上に再生中の音に対応する画像を表示させるようにしてもよい。
【0064】
制御部１はステップＳ４５において撮影機器１０の傾斜角度が所定の角度以下になったか否かを判定する。音の再生処理は撮影機器１０の傾斜角度を所定の角度以下に戻すまで続けられる。撮影機器１０の傾きを元に戻す操作によって、制御部１は音の再生を停止させる（ステップＳ４６）。
【0065】
音の再生を停止すると、制御部１は、最後に出力した音に対応する画像の情報読出して、表示部８に表示させる（ステップＳ４７）。図１３はこの場合の表示例を示す説明図である。図１３に示すように、画像３１上には、最後に出力した音に対応する画像３４が表示されている。
【0066】
ステップＳ４９において再生の終了が指示されると、制御部１は図７のメイン処理に処理を戻す。
【0067】
なお、図１１では、音を再生させるための操作として撮影機器１０を傾斜させる方法を採用した例を説明したが、音再生用のボタンを操作する等、適宜の方法を採用することが可能である。
【0068】
このように本実施の形態においては、画像中の顔や背景画像に音情報を対応させて記録する。再生時に音を読み出して順次再生することにより、ユーザは再生される音によって画像中の顔（人物）や背景画像を認識することができる。即ち、本実施の形態においては、聴覚を補助に使って、迅速に画像を探すことが出来るようになる。人間は、ひとつの音を１／５０秒程度で聞き分けられるので、画面に目を凝らさなくても、１００枚の画像の内容を２秒で判定することも可能である。これにより、記録部に記録されている膨大な量の画像から、希望する画像を極めて短時間に検索することが可能である。
【0069】
なお、上記実施の形態においては、顔が検出された画像については、その背景の画像に音情報を割当てていないが、顔及びその背景の画像の両方に音情報を割当ててもよい。
【0071】
第１の実施の形態においては、撮影機器に適用して画像の撮像に際して音情報を各画像に付加した。これに対し、本実施の形態は既に記録されている画像に対して音情報を付加して記録するコンピュータに適用した例を示している。
【0072】
画像記録再生部５１には複数の画像が記録されている。コンピュータ５２は画像記録再生部５１によって再生された画像を読み出す。コンピュータ５２には特徴量検出部５３及び音情報割当て部５４が設けられている。特徴量検出部５３は、画像中の顔や背景画像等の特徴量を求める。音情報割当て部５４は、図１の制御部１及び記録部３と同様の構成であり、画像中の顔や背景画像に対して音情報を割当てるようになっている。なお、音情報割当て部５４は、検出した顔や背景画像について所定の規則で順次音情報を割当ててもよく、ユーザの設定に従って音情報を割当てもよい。コンピュータ５２は音情報割当て部５４において割当てた音情報を対応する画像と共に記録部５５において記録する。
【0073】
モニタ５６はコンピュータ５２が記録部５５から読み出した画像を表示すると共に、コンピュータ５２が読み出した音情報を順次音響出力することができる。
【0074】
他の構成及び作用・効果は第１の実施の形態と同様である。
【0076】
本実施の形態は既に記録されている画像に対して音情報を付加して出力するテレビジョン表示装置に適用した例を示している。
【0077】
画像記録再生部５１には複数の画像が記録されている。テレビジョン表示装置６１は画像記録再生部５１によって再生された画像を読み出す。テレビジョン表示装置６１には特徴量検出部６２及び音情報割当て部６３が設けられている。特徴量検出部６２は、画像中の顔や背景画像等の特徴量を求める。音情報割当て部６３は、図１の制御部１及び記録部３と同様の構成であり、画像中の顔や背景画像に対して音情報を割当てるようになっている。本実施の形態においては、テレビジョン表示装置６１は、割当てた音情報を順次スピーカ制御部６４に与えて音響出力させることができる。
【0078】
これにより本実施の形態においては、画像記録再生部５１に記録されている画像に対応した音情報に基づく音を順次再生させることができ、膨大な量の画像が記録された画像記録再生部５１にどのような画像が記録されているかを、短時間に検索することができる。
【0079】
他の作用効果は第１及び第２の実施の形態と同様である。
【符号の説明】
【0080】
１…制御部、２…撮像部、３…記録部、５…操作部、７…姿勢判定部、８…表示部、９…スピーカ。