(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
図1〜
図9を参照して本発明の実施形態を説明する。
本実施形態は、端末装置としてカメラ機能付き携帯電話機に適用した場合を例示したもので、
図1は、カメラ機能付き携帯電話機の基本的な構成要素を示したブロック図である。
携帯電話機は、例えば、2つの筐体(操作部筐体、表示部筐体)を折り畳み自在に取り付けた折り畳みタイプの携帯電話機で、音声通話機能、電子メール機能、インターネット接続機能(Webアクセス機能)のほか、一連の画像(動画像、連写静止画像)を撮影するカメラ機能などを備えている。
【0011】
携帯電話機は、図示省略するが、最寄りの基地局から無線通信網に接続されると、この無線通信網を介して他の携帯電話機(図示省略)との間で通話可能な状態となる。また、携帯電話機は、無線通信網を介してインターネットに接続されると、Webサイトをアクセスして閲覧可能となり、また、サーバ装置(画像配信装置)から一連の画像(動画像、静止画像、テレビ映像)や地図情報、住所情報などをインターネット及び無線通信網を介してダウンロード受信が可能となる。このように画像配信装置から一連の画像を受信取得する以外にも、上述のカメラ機能で撮像された一連の画像を取得したり、外部記録媒体から一連の画像をコピー取得したりすることができるようになっている。
【0012】
制御部1は、二次電池を備えた電源部2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこの携帯電話機の全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。記憶部3は、ROM、RAMなどの内部メモリで、図示しないプログラム領域とデータ領域とを有し、この記憶部3内のプログラム領域には、後述する
図4〜
図7に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部3内のデータ領域には、各種のフラグ情報、携帯電話機の動作に必要な各種の情報が記憶される。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、あるいは図示しない所定の外部サーバ上に記憶部3を有する構成であってもよい。
【0013】
操作部4は、ダイヤル入力、文字入力、コマンド入力などを行うもので、この操作部4には、図示しないが、通話用のオフフックキー、オンフックキーのほか、カメラ機能をオン/オフさせるキー、シャッタキーなどが設けられている。制御部1は、操作部4からの操作信号に応じた処理として、例えば、発信処理、電子メール受信処理、カメラ処理など、各種の処理を行う。表示部5は、例えば、高精細液晶あるいは有機ELを使用し、例えば、待受画像、アイコン、日時情報のほか、テキストデータ、メール、Webページなどを表示するほか、カメラ機能の使用時においてはライブビュー画像を表示するファインダ画面となる。
【0014】
無線通信部6は、図示しない無線部、ベースバンド部、多重分離部などを備え、例えば、音声通話機能、電子メール機能、インターネット接続機能の動作時に最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して制御部1に与え、制御部1は、電話部7を介して通話用スピーカSPから音声出力させ、また、通話用マイクMCからの入力音声データを電話部7から取り込み、送信ベースバンド信号に符号化した後、ベースバンド部の送信側に与えてアンテナAT1から発信出力させる。
【0015】
撮像部8は、カメラ機能を構成する構成要素で、静止画撮影のほかに動画撮影も可能なもので、図示しないが、カメラレンズ部、撮像素子(例えば、CCDあるいはCMOS)、画像信号処理部、アナログ処理部、圧縮伸張部、各種センサ部(測距センサ、光量センサなど)などを有し、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したり、シャッタ速度(露光時間)を測定したりする。動画像再生部9は、上述したようにカメラ機能で撮像された動画像を再生したり、サーバ装置(画像配信装置)からダウンロード受信した動画像を再生したり、外部記録媒体からコピー取得した動画像を再生したりする動作を行うもので、早送り機能、ジャンプ機能などを備えている。
【0016】
位置取得部10は、アンテナAT2を有したGPS受信部(Global Positioning System)を構成するもので、GPS信号に基づいて現在位置(経緯度情報)を受信取得する。移動速度検出部11は、ユーザの歩行などにより携帯電話機が移動しているか静止しているかを検出すると共に、携帯電話機が移動しているときには、どのくらいの速さで移動しているかを携帯電話機に加わる振動に基づいて検出するもので、例えば、3軸タイプの加速度センサを有する構成となっている。保持角度検出部12は、携帯電話機がユーザに保持されている状態において重力方向に対する携帯電話機の保持角度(傾き角)を検出するもので、例えば、3軸タイプの加速度センサを有し、互いに直交する3軸方向(X・Y・Z方向)の加速度成分に基づいて重力方向に対して携帯電話機がどれだけ傾いているかの保持角度(傾き角)を検出するようにしている。時計部13は、現在の日時を計数する。
【0017】
図2は、記憶部3に記憶されているアドレス帳AD、チャプタフラグF1、チャプタ情報フラグF2、位置情報フラグF3、シーン変化テーブルSTを説明するための図である。
アドレス帳ADは、
図2(1)に示すように通信相手に関する情報を記憶するもので、「名前」、「メールアドレス」、「電話番号」、「画像」、…を記憶する構成となっている。「画像」は、通信相手の顔を撮像した相手画像である。チャプタフラグF1は、
図2(2)に示すように一連の画像(動画像あるいは連写静止画像)の場面(シーン)が変化する毎にチャプタ(場面の区切り)を設定するか否かを示すフラグで、その値が“0”のときには、“シーン変化を判別してチャプタを設定しない”ことを示し、“1”のときには、“シーン変化を判別してチャプタを設定する”ことを示し、その内容はユーザ操作により任意に設定されたものである。
【0018】
チャプタ情報フラグF2は、チャプタフラグF1が“1”のとき、つまり、場面が変化する毎にチャプタ情報(区切り情報)を設定する場合に、
図2(3)に示すように、設定するチャプタ情報の種類を示すフラグで、その値が“0”のときには、“チャプタ設定理由に応じた情報”、“1”のときには、“ユーザ選択画像”を示し、ユーザ操作により任意に設定されたものである。“チャプタ設定理由に応じた情報”は、どのような理由で区切るのかを示すチャプタ情報であり、後述するシーン変化テーブルSTに定義されている理由のいずれかである。“ユーザ選択画像”は、例えば、予め用意されている各種の画像の中からチャプタ情報としてユーザ操作により任意に選択された画像である。
【0019】
シーン変化テーブルSTは、
図2(4)に示すように、一連の画像を区切るか否かを判定するための判定基準と、チャプタ情報をどのような理由で設定したのかを示す理由を複数種記憶するもので、識別番号”0〜4”に対応して5種類の判定基準(設定理由)を記憶する構成となっている。なお、図示の例では判定基準と設定理由とを同一に記憶する場合を示したが、これに限らず、例えば、判定基準よりも詳細な内容を設定理由としたり、簡素化な内容を設定理由としたりしてもよく、また、判定基準と設定理由とを別々に記憶するようにしてもよい。
【0020】
図示の例において、シーン変化テーブルSTには、識別番号“0”に対応する判定基準(設定理由)として、“撮影画像内/再生対象画像内の被写体の明るさに所定値以上の変化が検出された”が記憶されている。つまり、この設定理由は、一連の画像(撮影画像あるいは再生対象画像)を解析した結果、その画像内に含まれている被写体の明るさが急激に変化した場合(単位時間当たりの変化状態が所定値以上の場合、以下同様)に設定されるチャプタ情報であることを示している。
【0021】
識別番号“1”に対応する判定基準(設定理由)として、“位置取得部による撮影位置に所定値以上の変化が検出された”が記憶されている。つまり、この設定理由は、撮像部8による撮影時に位置取得部10により検出された現在位置(撮影位置)が急激に変化した場合(単位時間当たりの変化状態が所定値以上の場合)に設定されるチャプタ情報であることを示している。識別番号“2”に対応する判定基準(設定理由)として、“撮影画像内/再生対象画像内の特定被写体の動き量に所定値以上の変化が検出された”が記憶されている。つまり、この設定理由は、一連の画像(撮影画像あるいは再生対象画像)を解析した結果、その画像内に含まれている特定の被写体(例えば、ユーザ操作により選択された任意の被写体)が急激に大きく動いた場合(単位時間当たりの変化状態が所定値以上の場合)に設定されるチャプタ情報であることを示している。
【0022】
識別番号“3”に対応する判定基準(設定理由)として、“移動速度検出部による当該端末装置の動きに所定値以上の変化が検出された”が記憶されている。つまり、この設定理由は、移動速度検出部11により検出された当該携帯電話の移動速度が急激に変化した場合(変化状態が所定値以上の場合)に設定されるチャプタ情報であることを示している。識別番号“4”に対応する判定基準(設定理由)として、“保持角度検出部による当該端末装置の向きに所定値以上の変化が検出された”が記憶されている。つまり、この設定理由は、保持角度検出部12により検出された当該携帯電話の保持角度が急激に変化した場合(変化状態が所定値以上の場合)に設定されるチャプタ情報であることを示している。
【0023】
位置情報フラグF3は、シーン変化テーブルSTに定義されている理由が撮影位置の急激な変化の場合に、
図2(5)に示すように現在位置(撮影位置)に対応する地図情報を取得してチャプタ情報として設定するか、住所情報を取得してチャプタ情報として設定するかを示すフラグで、“0”に対応して“現在位置の地図情報を取得して設定”が記憶され、“1”に対応して“現在位置の住所情報を取得して設定”が記憶されている。この位置情報フラグF3は、ユーザ操作により任意に設定されたものである。
【0024】
図3は、一連の画像(動画像あるいは連写静止画像)のシーンが変化する毎にチャプタ情報を設定した場合を概念的に説明するための図である。なお、図中、上側の一連の画像は、動画像を示し、下側の一連の画像は、連写静止画像を示している。
制御部1は、一連の画像を場面毎に区切るための所定の変化状態になったか否かを判別し、所定の変化状態になった場合には、一連の画像を場面毎に区切るためのチャプタ位置(区切り位置)を検出すると共に、この区切り位置(チャプタ位置)に対応付けてチャプタ情報(区切り情報)を設定するが、その際、検出した各チャプタ位置に対応付けてそのチャプタ情報を、該一連の画像の付加情報としてそのヘッダ部に一括記憶するようにしている。更に、このヘッダ部には、チャプタ位置に対応付けてチャプタ情報が記憶されるほか、一連の画像にチャプタ情報を設定済みであることを示すチャプタ設定済みフラグF4が記憶される。
【0025】
次に、本実施形態における携帯電話機の動作概念を
図4〜
図7に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
【0026】
図4〜
図6は、電源投入に応じて実行開始される携帯電話機の動作(本実施形態の特徴的な動作)を説明するためのメインのフローチャートである。
先ず、制御部1は、電源投入操作に応じてメモリなどをクリアする初期化処理を実行した後、待ち受け画像を表示させるなどの待ち受け状態となる(
図4のステップA1)。いま、電話着信を検出したときには(ステップA2でYES)、この着信に対する応答操作(オフフック操作)によって(ステップA3でYES)、通話可能状態とする通話処理を開始させる(ステップA4)。その後のオンフック操作によって(ステップA5でYES)、回線接続を遮断して通話を終了する終話処理を実行した後(ステップA6)、上述の着信有無をチェックするステップA2に戻る。
【0027】
待ち受け状態において、動画像/連写静止画像の撮影操作が行われたかを調べたり(
図5のステップA9)、動画像/連写静止画像の再生操作が行われたかを調べたり(
図6のステップA24)、その他の操作が行われたかを調べたりする(
図4のステップA7)。いま、その他の操作が行われたときには(
図4のステップA7でYES)、操作に応じた処理として、例えば、発信処理、メール送信処理などを行った後(ステップA8)、上述の着信有無をチェックするステップA2に戻る。
【0028】
動画像/連写静止画像の撮影を指示する撮影操作が行われたときには(
図5のステップA9でYES)、撮像部8を起動させて動画像の撮影あるいは連写静止画像の撮影を開始させた後(ステップA10)、撮像部8により撮影された一連の画像を取り込んでライブビュー画像としてファインダ画面に表示すると共に、この取り込んだ画像を逐次記憶する撮影処理に移る(ステップA11)。そして、チャプタフラグF1を参照して、その値は“1”か、つまり、“シーン変化を判別してチャプタを設定する”ことが指定されているか否かを調べる(ステップA12)。
【0029】
チャプタフラグF1が“0”であれば(ステップA12でNO)、動画像/連写静止画像の撮影終了が指示されたかを調べる(ステップA20)。この終了指示は、ユーザ操作による終了指示又は記憶量不足や電池不足などによる強制的な終了指示であり、撮影終了の指示がなければ(ステップA20でNO)、撮影処理を継続するためにステップA11に戻る。いま、撮影終了が指示されたときには(ステップA20でYES)、動画像の撮影あるいは連写静止画像の撮影を終了させた後(ステップA21)、チャプタフラグF1は“1”であるかを調べるが(ステップA22)、いま、“0”であるので(ステップA22でNO)、上述の着信有無をチェックする
図4のステップA2に戻る。
【0030】
チャプタフラグF1の値が“1”であれば(ステップA12でYES)、被写体選択操作が行われたかを調べる(ステップA13)。ここで、撮影者は、ファインダ画面に表示されているライブビュー画像の中に所望する被写体(人物)が写っている場合に、その被写体を選択するための操作を行う。この被写体選択操作は、上述した判定基準(設定理由)の識別番号“2”、つまり、“撮影画像内/再生対象画像内における特定の被写体の動き量に所定値以上の変化が検出された”場合に行われる操作である。なお、このような被写体選択操作が行われなければ(ステップA13でNO)、後述するステップA17に移る。
【0031】
いま、被写体選択操作が行われたときには(ステップA13でYES)、ライブビュー画像からその選択被写体(人物)を抽出すると共に、この人物画像に基づいてアドレス帳ADの各「画像」を参照し(ステップA14)、特徴的に類似する類似画像(同一人物)が登録されているかを調べ(ステップA15)、類似画像(同一人物)が登録されていれば(ステップA15でYES)、その選択被写体の「名前」及び「画像」をアドレス帳ADから読み出し取得する(ステップA16)。その後、ステップA17に移る。なお、「名前」及び「画像」は、上述した判定基準(設定理由)の識別番号が“2”であることを示すチャプタ情報を生成する際に使用される。
【0032】
上述のステップA17においては、シーン変化テーブルSTを参照しながら一連の画像を場面毎に区切る所定の変化状態になったか否かを判別するシーン判別処理を行う。すなわち、制御部1は、一連の画像を解析することにより被写体の明るさの変化状態を検出したり、特定被写体の動き量の変化状態を検出したり、位置取得部10から取得した現在位置(撮影位置)に基づいて撮影位置の変化状態を検出したり、移動速度検出部11で検出された携帯電話機(端末装置)の動きに基づいてその変化状態を検出したり、保持角度検出部12で検出された携帯電話機(端末装置)の向きに基づいてその変化状態を検出したりする。そして、制御部1は、検出した変化状態がシーン変化テーブルST内のいずれかの判定基準に該当するか否か、つまり、検出した変化状態が所定の変化状態であるか否かを調べ(ステップA18)、いずれかの判定基準に該当する所定の変化状態であれば(ステップA18でYES)、チャプタ情報設定処理に移る(ステップA19)。
【0033】
図7は、チャプタ情報設定処理(
図6のステップA19など)を詳述するためのフローチャートである。
先ず、制御部1は、一連の画像を場面毎に区切るための所定の変化状態になった場合(シーン変化テーブルST内のいずれかの判定基準に該当する場合)に、その位置(画像の記憶位置)をチャプタ位置として検出取得する(ステップB1)。なお、チャプタ位置は、所定の変化状態になったときの画像の記憶位置に限らず、例えば、撮影開始してからの経過時間などであってもよい。そして、チャプタ情報フラグF2を参照して、その値は“1”であるかを調べる(ステップB2)。
【0034】
いま、チャプタ情報フラグF2の値が“ユーザ選択画像”を示す“1”であれば(ステップB2でYES)、ユーザ操作により任意の画像をチャプタ情報として選択する処理を行う(ステップB3)。この場合、例えば、予め用意されている各種の画像の中から任意の画像を選択するようにしているが、予めユーザ操作により選択されていた画像を読み出すようにしてもよい。そして、チャプタ位置に対応付けてチャプタ情報(任意選択のチャプタ画像)を一連の画像のヘッダ部に記憶させる(ステップB4)。
【0035】
また、チャプタ情報フラグF2の値が“チャプタ設定理由に応じた情報”を示す“0”であれば(ステップB2でNO)、シーン変化テーブルSTから該当する判定基準に対応のチャプタ設定理由を読み出し取得した後(ステップB5)、その判定基準(設定理由)の識別番号は“2”、つまり、“撮影/再生対象画像内における特定の被写体の動き量に所定値以上の変化が検出された”場合であるかを調べる(ステップB6)。ここで、判定基準(設定理由)の識別番号が“2”であれば(ステップB6でYES)、上述したように
図5のステップA16においてアドレス帳ADから選択被写体の「名前」及び「画像」を取得することができたか、つまり、選択被写体の「名前」及び「画像」を特定することができたかを調べる(ステップB7)。いま、選択被写体を特定することができた場合には(ステップB7でYES)、この選択被写体の「名前」及び「画像」を含む画像をチャプタ情報(チャプタ画像)として生成する(ステップB8)。
【0036】
そして、撮影中か否かを調べるが(ステップB9)、いま、撮影中であるから(ステップB9でYES)、時計部13から現在日時を取得した後(ステップB10)、判定基準(設定理由)の識別番号は“1”、つまり、“位置取得部による撮影位置に所定値以上の変化が検出された”場合であるかを調べる(ステップB11)。ここで、判定基準(設定理由)の識別番号が“1”でなければ(ステップB11でNO)、チャプタ位置に対応付けて現在日時情報と共にチャプタ情報を一連の画像のヘッダ部に記憶させる(ステップB12)。
【0037】
この場合、判定基準(設定理由)の識別番号が“0”であれば、被写体の明るさ変化による区切りである旨を示す理由(固定メッセージ)がチャプタ情報として記憶される。また、判定基準(設定理由)の識別番号が“2”であれば、特定被写体の動き変化による区切りである旨を示す理由(メッセージ)にその被写体「名前」及び「画像」を含めた生成画像がチャプタ情報として記憶される。また、判定基準(設定理由)の識別番号が“3”であれば、当該端末装置(携帯電話機)の動き(携帯電話の移動速度)変化による区切りである旨を示す理由(固定メッセージ)がチャプタ情報として記憶される。また、判定基準(設定理由)の識別番号の識別番号が“4”であれば、当該端末装置の向きき変化による区切りである旨を示す理由(固定メッセージ)がチャプタ情報として記憶される。
【0038】
判定基準(設定理由)の識別番号が“1”であれば(ステップB11でYES)、位置取得部10から現在位置を取得した後(ステップB13)、位置情報フラグF3を参照し、その値は“1”か、つまり、“現在位置の住所情報を取得して設定”であるかを調べる(ステップB14)。いま、位置情報フラグF3が“1”であれば(ステップB14でYES)、現在位置に対応する住所情報を、インターネットを介してサーバ装置(画像配信装置)からダウンロード取得したり、記憶部3に住所データベースが記憶されていれば、この記憶部3から住所情報を読み出し取得したりした後(ステップB15)、チャプタ位置に対応付けて現在日時情報と共にチャプタ情報(住所情報)を一連の画像のヘッダ部に記憶させる(ステップB16)。
【0039】
位置情報フラグF3が“0”であれば(ステップB14でNO)、現在位置に対応する地図情報を、インターネットを介してサーバ装置(画像配信装置)からダウンロード取得したり、記憶部3に地図データベースが記憶されていれば、この記憶部3から地図情報を読出し取得したりすると共に、この地図情報を含む画像をチャプタ情報として生成する(ステップB17)。そして、チャプタ位置に対応付けて現在日時情報と共にチャプタ情報(生成した地図のチャプタ画像)を一連の画像のヘッダ部に記憶させる(ステップB18)。
【0040】
このようなチャプタ情報設定処理が終わると、撮影処理を継続するために
図5のステップA11に戻り、以下、チャプタフラグF1の値が“1”であることを条件に、上述の動作を繰り返す。ここで、上述のステップA17を実行した結果、いずれかの判定基準にも該当しない所定の変化状態でなければ(ステップA18でNO)、上述の撮影終了をチェックするステップA20に移る。ここで、撮影終了が指示されなければ(ステップA20でNO)、撮影処理を継続するために
図5のステップA11に戻るが、撮影終了が指示されたときには(ステップA20でYES)、動画像の撮影あるいは連写静止画像の撮影を終了させる(ステップA21)。そして、チャプタフラグF1が“1”であることを条件に(ステップA22でYES)、チャプタ設定済みフラグF4を“1”とした後(ステップA23)、上述の着信有無をチェックする
図4のステップA2に戻る。
【0041】
一方、撮像部8により撮影された一連の画像(動画像/連写静止画像)に対して再生を指示する再生操作が行われたときには(
図6のステップA24でYES)、ユーザ操作により再生対象として選択された撮影済みの一連の画像(動画像/連写静止画像)を読み出して(ステップA25)、表示部5から逐次出力させる再生動作を開始させる(ステップA26)。この場合、再生対象が動画像であれば、動画像再生部9を起動させる。そして、再生対象として選択された一連の画像のヘッダ部に付加されているチャプタ設定済みフラグF4を参照し、その値は“1”か、つまり、チャプタ設定済みであるかを調べる(ステップA27)。いま、チャプタ設定済みフラグF4が“1”、つまり、チャプタ設定済みであれば(ステップA27でYES)、チャプタサーチ操作の有無を調べる(ステップA36)。
【0042】
このチャプタサーチ操作は、チャプタ位置を順次サーチしてそのチャプタ位置から再生すべきことを指示するもので、チャプタサーチ操作が行われたときには(ステップA36でYES)、一連の画像のヘッダ部を検索し(ステップA37)、検索したチャプタ位置に対応付けて記憶されているチャプタ情報を読み出して表示部5に表示させると共に(ステップA38)、検索したチャプタ位置にジャンプしてそのチャプタ位置から再生を開始する(ステップA39)。そして、上述のステップA26に戻り、以下、チャプタサーチ操作が行われる毎に(ステップA36でYES)、チャプタ位置を順次サーチしながらそのチャプタ情報を表示させると共に、サーチしたチャプタ位置にジャンプしてそのチャプタ位置から再生を開始させる動作を繰り返す。
【0043】
図8は、撮影された動画像/連写静止画像の再生時に表示されるチャプタ情報の表示例を示した図である。
図8(1)〜(7)は、チャプタ情報フラグF2が“0”の場合を示し、更に、
図8(1)は、設定理由が“0”の場合で、被写体の明るさ変化による区切りである旨を示す理由(固定メッセージ)が現在日時と共に表示される。
図8(2)は、設定理由が“1”で、かつ位置情報フラグF3が“0”の場合で、現在位置に対応する地図情報を含む生成画像が現在日時と共に表示される。
図8(3)は、設定理由の識別番号が“1”で、かつ位置情報フラグF3が“1”の場合で、現在位置に対応する住所情報が現在日時と共に表示される。
【0044】
図8(4)は、設定理由の識別番号が“2”で選択被写体の「名前」及び「画像」を特定できた場合で、特定被写体の動き変化による区切りである旨を示す理由(固定メッセージ)にその被写体「名前」及び「画像」を含めた生成画像が表示される。
図8(5)は、設定理由の識別番号が“2”で選択被写体の「名前」及び「画像」を特定できなかった場合で、特定被写体の動き変化による区切りである旨を示す理由(固定メッセージ)が表示される。
図8(6)は、設定理由の識別番号が“3”の場合で、当該端末の動き変化による区切りである旨を示す理由(固定メッセージ)が表示される。
図8(7)は、設定理由の識別番号が“4”の場合で、当該端末の向きき変化による区切りである旨を示す理由(固定メッセージ)が表示される。
図8(8)は、チャプタ情報フラグF2が“1”の場合で、ユーザ選択画面が表示される。
【0045】
また、チャプタサーチ操作が行われなければ(ステップA36でNO)、動画像/連写静止画像の再生終了が指示されたかを調べる(ステップA40)。この場合の終了指示は、ユーザ操作による終了指示又は記憶量不足や電池不足などによる強制的な終了指示であり、再生終了が指示されなければ(ステップA40でNO)、再生処理を継続するためにステップA26に戻る。また、再生終了が指示されたときには(ステップA40でYES)、動画像の撮影あるいは連写静止画像の撮再生を終了させた後(ステップA41)、チャプタフラグF1は“1”であるかを調べるが(ステップA42)、いま、チャプタフラグF1が“0”であれば(ステップA42でNO)、上述の着信有無をチェックする
図4のステップA2に戻る。
【0046】
他方、撮像部8により撮影され、チャプタ設定済みでない一連や、他のチャプタ設定済みでない画像以外の画像に対する再生操作、例えば、サーバ装置(画像配信装置)からインターネットを介してダウンロード受信したり、外部記録媒体からコピー取得したりした一連の画像(動画像/連写静止画像)に対する再生操作が行われたときには、チャプタ設定済みフラグF4は“0”、つまり、チャプタ設定済みではないことが判別されるため(ステップA27でNO)、チャプタフラグF1を参照して、その値は“1”か、つまり、“シーン変化を判別してチャプタを設定する”場合か否かを調べる(ステップA28)。ここで、チャプタフラグF1が“0”であれば(ステップA28でNO)、上述のチャプタサーチ操作の有無をチェックするステップA36に移るが、チャプタフラグF1の値が“1”であれば(ステップA28でYES)、以下、上述した撮影時の場合と同様の動作を行う。
【0047】
すなわち、被写体選択操作が行われたときには(ステップA29でYES)、アドレス帳ADを参照し(ステップA30)、特徴的に類似する類似画像(同一人物)が登録されていれば(ステップA31でYES)、その選択被写体の「名前」及び「画像」をアドレス帳ADから読み出し取得する(ステップA32)。そして、シーン変化テーブルSTを参照し、一連の画像を場面毎に区切るための所定の変化状態になったか否かを判別する処理を行い(ステップA33)、いずれかの判定基準に該当する所定の変化状態になったか否かを調べ(ステップA34)、所定の変化状態になったときには(ステップA34でYES)、チャプタ情報設定処理に移る(ステップA35)。
【0048】
この場合のチャプタ情報設定処理も
図7のフローチャートにしたがって実行される。すなわち、制御部1は、チャプタ位置を検出取得した後(
図7のステップB1)、チャプタ情報フラグF2を参照して、その値は“1”であるかを調べる(ステップB2)。いま、チャプタ情報フラグF2が“1”であれば(ステップB2でYES)、ユーザ操作により任意の画像をチャプタ情報として選択した後(ステップB3)、チャプタ位置に対応付けてチャプタ情報(任意選択のチャプタ画像)を一連の画像のヘッダ部に記憶させる(ステップB4)。
【0049】
また、チャプタ情報フラグF2が“0”であれば(ステップB2でNO)、シーン変化テーブルSTから該当する判定基準に対応のチャプタ設定理由を読み出し取得した後(ステップB5)、その判定基準(設定理由)の識別番号は、“2”であるかを調べ(ステップB6)、2”であれば(ステップB6でYES)、アドレス帳ADから選択被写体の「名前」及び「画像」を特定することができたことを条件に(ステップB7でYES)、「名前」及び「画像」を含む画像をチャプタ情報として生成する(ステップB8)。そして、撮影中か否かを調べるが(ステップB9)、いま、撮影中ではないので(ステップB9でNO)、チャプタ位置に対応付けてチャプタ情報を一連の画像のヘッダ部に記憶させる(ステップB19)。
【0050】
このようなチャプタ情報設定処理が終わると、再生処理を継続するために
図6のステップA26に戻り、以下、チャプタフラグF1の値が“1”であることを条件に、上述の再生動作を繰り返す。ここで、上述のステップA33を実行した結果、所定の変化状態でなければ(ステップA34でNO)、上述の再生終了をチェックするステップA40に移る。ここで、再生終了が指示されなければ(ステップA40でNO)、再生処理を継続するためにステップA26に戻るが、再生終了が指示されたときには(ステップA40でYES)、動画像の撮影あるいは連写静止画像の再生を終了させる(ステップA41)。そして、チャプタフラグF1が“1”であることを条件に(ステップA42でYES)、チャプタ設定済みフラグF4を“1”とした後(ステップA43)、上述の着信有無をチェックする
図4のステップA2に戻る。
【0051】
このようにしてダウンロード受信又は外部記録媒体からコピー取得した一連の画像(動画像/連写静止画像)に対してチャプタ設定した後、その画像の再生が指示された場合には(
図6のステップA24)、その再生処理の実行に移るが(ステップA25、A26)、この場合、その画像のチャプタ設定済みフラグF4は“1”であるから(ステップA27でYES)、以下、チャプタサーチ操作が行われる毎に(ステップA36でYES)、チャプタ位置を順次サーチしながらそのチャプタ情報を表示させると共に、サーチしたチャプタ位置にジャンプしてそのチャプタ位置から再生を開始する動作が行われる(ステップA37〜A39)。
【0052】
図9は、例えば、ダウンロード受信又は外部記録媒体からコピー取得した一連の画像(動画像/連写静止画像)の再生時におけるチャプタ情報の表示例を示した図である。
図9(1)〜(6)は、チャプタ情報フラグF2が“0”の場合を示し、更に、
図9(1)は、設定理由の識別番号が“0”の場合で、被写体の明るさ変化による区切りである旨を示す理由(固定メッセージ)が表示される。
図9(2)は、設定理由の識別番号が“1”の場合で、現在位置(撮影位置)の変化による区切りである旨を示す理由(固定メッセージ)が表示される。以下、
図9(3)〜(6)は、現在日時が表示されない点を除き、
図8(4)〜(7)の場合と同様である。
図9(7)は、チャプタ情報フラグF2が“1”の場合で、
図8(8)の場合と同様である。
【0053】
以上のように、本実施形態において制御部1は、一連の画像を場面毎に区切るための所定の変化状態になった場合に、どのような理由で区切るのかを示す区切り情報(チャプタ情報)を区切り位置(チャプタ位置)に対応付けて記憶するようにしたので、ユーザにあっては区切り情報(チャプタ情報)を何時でも自由に読み出すことができ、一連の画像がどのような理由で区切られたのかを容易に確認することができ、利便性に富んだものとなる。
【0054】
撮像部8による一連の画像の撮影時にその画像が所定の変化状態になった場合に区切るようにしたので、撮影中にその画像を適切な場面でチャプタ設定を行うことができる。
【0055】
撮像部8により撮影した一連の画像の再生時にその画像が所定の変化状態になった場合に区切るようにしたので、撮影された画像の再生中にその画像を適切な場面でチャプタ設定を行うことができる。
【0056】
一連の画像を受信時にその画像が所定の変化状態になった場合に区切るようにしたので、画像受信中にその画像を適切な場面でチャプタ設定を行うことができる。
【0057】
シーン変化テーブルSTに記憶されている判定基準に該当する場合に所定の変化状態になったとして、その判定基準に対応するチャプタ情報をシーン変化テーブルSTから読み出すようにしたので、判定基準毎に適切な内容のチャプタ情報を得ることができる。
【0058】
一連の画像を解析することにより被写体の明るさが所定の変化状態になった場合に区切るようにしたので、被写体の急激な明るさ変化を場面の変化として捉えることができ、適切な場面でチャプタ設定を行うことができる。
【0059】
撮像部8による撮影中に位置取得部10から取得した現在位置(撮影位置)が所定の変化状態になった場合に区切るようにしたので、撮影位置の急激な変化を場面の変化として捉えることができ、適切な場面でチャプタ設定を行うことができる。
【0060】
撮像部8による撮影中に撮影中にその画像内に含まれている被写体の動きが所定の変化状態になった場合に区切るようにしたので、被写体の急激な動きを場面の変化として捉えることができ、適切な場面でチャプタ設定を行うことができる。
【0061】
移動速度検出部11により検出された当該端末装置の動き(携帯電話の移動速度)が所定の変化状態になった場合に区切るようにしたので、被当該端末装置の移動を場面の変化として捉えることができ、適切な場面でチャプタ設定を行うことができる。
【0062】
保持角度検出部12により検出された当該端末装置の向きが所定の変化状態になった場合に区切るようにしたので、被当該端末装置の向きを場面の変化として捉えることができ、適切な場面でチャプタ設定を行うことができる。
【0063】
チャプタ位置が検出された場合に、どのような理由で区切るのかを示すチャプタ情報として、位置取得部10により取得した現在位置に対応する地図情報あるいは住所情報を取得するようにしたので、具体的で分かり易いチャプタ情報を得ることができる。
【0064】
チャプタ位置が検出された場合に、どのような理由で区切るのかを示すチャプタ情報の一部として、時計部13からの現在日時を取得するようにしたので、チャプタ情報の補助情報として適切な情報を得ることができる。
【0065】
チャプタ情報をチャプタ位置に対応付けて記憶する場合に、一連の画像の付加情報(ヘッダ部の情報)として記憶するようにしたので、一連の画像と一体不可分の関係となり、チャプタ情報及びチャプタ位置の管理が容易なものとなる。
【0066】
チャプタ位置の場面に関連する情報をチャプタ情報として生成するようにしたので、場面に関連する適切なチャプタ情報を得ることができる。
【0067】
チャプタ情報としてユーザ操作により任意に選択された情報を選択取得するようにしたので、ユーザの好みに合った適切なチャプタ情報を得ることができる。
【0068】
チャプタ情報がチャプタ位置に対応付けて記憶されている状態において、チャプタ検索指示に応答して一連の画像内のチャプタ位置を検索し、そのチャプタ位置対応のチャプタ情報を表示するようにしたので、ユーザにあってはチャプタ位置毎にチャプタ情報を何時でも自由に知ることができる。
【0069】
なお、上述した実施形態においては、チャプタ情報をチャプタ位置に対応付けて記憶する場合に、一連の画像(動画像/連写静止画像)のヘッダ部に記憶するようにしたが、一連の画像を記憶する記憶部とは異なる他の記憶部にリンクして記憶させるようにしてもよい。なお、記憶部とは、別の記憶媒体に限らず、同一の記憶媒体内の記憶領域、ファイル、フォルダであってもよい。
【0070】
図10は、一連の画像(動画像/連写静止画像)を記憶する記憶部とは別の記憶部に、チャプタ情報をチャプタ位置に対応付けて記憶した状態を概念的に示した図である。なお、図中、上側の一連の画像が動画像を示し、下側の一連の画像が連写静止画像を示している。図示の例では、別の記憶部としてチャプタ情報ファイルCPを示している。この場合、一連の画像のヘッダ部にチャプタ位置を記憶させ、チャプタ情報ファイルCPにチャプタ情報をチャプタ位置に対応付けて記憶することによりチャプタ位置がリンク情報となっている。
【0071】
このように一連の画像を記憶する記憶部とは異なる他の記憶部に、チャプタ情報をチャプタ位置に対応付けて記憶するようにすれば、記憶部の容量不足などでも、それらを分散して記憶管理することができるなど、柔軟性に富んだものとなる。
【0072】
また、上述した実施形態においては、チャプタ情報をチャプタ位置に対応付けて記憶する場合に、一連の画像(動画像/連写静止画像)のヘッダ部に記憶するようにしたが、一連の画像内のチャプタ位置に対応するチャプタ情報(チャプタ静止画像)を挿入記憶するようにしてよい。
【0073】
図11は、一連の画像(動画像/連写静止画像)内にチャプタ情報を挿入記憶した状態を概念的に示した図である。なお、図中、上側の一連の画像が動画像を示し、下側の一連の画像が連写静止画像を示している。図示の例において“CI”は、チャプタ位置に挿入されたチャプタ情報(チャプタ静止画像)を示している。この場合においても、一連の画像のヘッダ部にチャプタ位置を記憶させ、チャプタ情報ファイルCPにチャプタ情報をチャプタ位置に対応付けて記憶することによりチャプタ位置がリンク情報となっている。なお、チャプタ情報が固定メッセージ文、住所、日時などのように文字列のみからなる場合でもその文字列を画像化することにより得られたチャプタ静止画像である。
【0074】
このように一連の画像のうちチャプタ位置にチャプタ情報(チャプタ静止画像)を挿入記憶するようにすれば、一連の画像の再生中にチャプタ情報(チャプタ静止画像)が表示されるため、ユーザにあってはチャプタ位置及びその理由を明確に知ることができるようになる。
【0075】
また、上述した実施形態においては、チャプタ設定を行う判定基準(設定理由)として、被写体の明るさが急激に変化した場合、撮影位置が急激に変化した場合、特定の被写体が急激に大きく動いた場合、携帯電話の移動速度が急激に変化した場合、携帯電話の保持角度が急激に変化した場合の個々を基準としたが、それら2以上の組み合わせを判定基準(設定理由)としてもよい。
【0076】
また、上述した実施形態においては、一連の画像内のチャプタ位置を検索して、そのチャプタ位置対応のチャプタ情報を表示するようにしたが、その表示の仕方は任意であり、再生画面の全面に表示させたり、一部に表示されたりするほか、音声メッセージを発生出力させてもよい。
【0077】
また、上述した実施形態においては、一連の画像内のチャプタ位置を検索してチャプタ情報を表示する機能を携帯電話機に備えるようにしたが、検索と再生を別の機器(パーソナルコンピュータやPDA)などで行うようにしてもよい。すなわち、チャプタの設定を携帯電話機側で行い、チャプタ設定された一連の画像の再生を別の機器で行うようにしてもよい。
【0078】
また、上述した実施形態においては、端末装置として携帯電話機に適用した場合を示したが、カメラ機能付きパーソナルコンピュータ・PDA・デジタルカメラ・音楽プレイヤーなどであってもよく、勿論、デジタルカメラ自体であってもよい。
【0079】
また、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。