(58)【調査した分野】(Int.Cl.,DB名)
前記検索部による検索範囲の前記複数の画像ファイルが、画像であるイメージデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、撮影された高度を表す高度データと、撮影された時刻を表す撮影時刻データと、を有し、
前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件とからなり、
前記連想検索条件は、高度に関する高度検索条件と、撮影時刻に関する撮影時刻検索条件と、イメージデータに関するイメージデータ検索条件とのうち少なくとも1つを含み、
前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記連想検索条件を満たした高度データ、撮影時刻データ及びイメージデータの少なくとも1つを有する画像ファイルを検索することを特徴とする請求項1乃至3の何れか一項に記載の画像検索装置。
前記検索部による検索範囲の前記複数の動画ファイルが、動画のストリームデータであるビデオデータと、音声のストリームデータであるオーディオデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、を有し、
前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件とからなり、
前記連想検索条件は、オーディオに関するオーディオデータ検索条件を含み、
前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記オーディオデータ検索条件を満たしたオーディオデータを有する動画ファイルを検索することを特徴とする請求項6乃至8の何れか一項に記載の動画検索装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、予め登録された複数の画像ファイルの画像を順次表示する技術は一般的である。その場合、画像ファイルのファイル名順に画像が表示される。しかし、画像ファイルのファイル名順に画像が表示されると、表示中の画像と次の表示される画像に何ら関連性がなく、興趣性に欠ける。
そこで、本発明が解決しようとする課題は、表示中の画像と次に表示される画像や動画が関連性を持つようにすることである。
【課題を解決するための手段】
【0005】
以上の課題を解決するための本発明に係る画像検索装置は、
キーワー
ドから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件と
からなる検索条件
を、前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
を備える
ことを特徴とする。
【0006】
本発明に係る動画検索装置は、
複数のキーワー
ドから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件と
からなる検索条件
を、前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
を備える
ことを特徴とする。
【0007】
本発明に係る画像検索方法は、コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワー
ドから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件
とからなる検索条件
を、前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の画像ファイルの中から、前記取得処理によって取得された検索条件を満たす画像ファイルを検索する検索処理と、
前記検索処理によって検索された画像ファイルの画像を前記表示部に表示させる第二表示処理と、
を実行することを特徴とする。
【0008】
本発明に係る動画検索方法は、コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワー
ドから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件
とからなる検索条件
を、前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の動画ファイルの中から、前記取得処理によって取得された検索条件を満たす動画ファイルを検索する検索処理と、
前記検索処理によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示処理と、
を実行することを特徴とする。
【0009】
本発明に係るプログラムは、コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワー
ドから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件
とからなる検索条件
を、前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段と、
を機能させる
ことを特徴とする。
【0010】
本発明に係るプログラムは、コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワー
ドから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件
とからなる検索条件
を、前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段と、
を機能させる
ことを特徴とする。
【発明の効果】
【0011】
本発明によれば、第一表示手段によって表示された画像と、第二表示手段によって表示された画像又は動画とが関連性を有するようになる。
【発明を実施するための形態】
【0013】
以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
【0014】
〔第1の実施の形態〕
図1は、画像検索装置1の正面図である。
図2は、画像検索装置1のブロック図である。本実施形態では、画像検索装置1が、卓上に設置されるデジタルフォトフレームに適用される。なお、画像検索装置1が表示ディスプレイ付き携帯電話機、表示ディスプレイ付きデジタルデジタルカメラ、表示ディスプレイ付き電子辞書、表示ディスプレイ付きデジタルオーディオプレーヤー、表示ディスプレイ付きカーナビゲーション、パーソナルコンピュータ、テレビ、ゲーム機その他の電子機器に適用されてもよい。
【0015】
この画像検索装置1は、マイクロコンピュータ2、ディスプレイ3、記憶部4、リーダー・ライター5、入力装置6及び筐体7等を備える。
【0016】
ディスプレイ3は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他の表示部である。ディスプレイ3が筐体7に取り付けられ、ディスプレイ3の表示面が筐体7の前面に配置されている。ディスプレイ3の表示面は、露出され、又は透明な板によって覆われている。ディスプレイ3は、マイクロコンピュータ2から出力された映像信号を入力して、入力した映像信号に従った映像を表示する。なお、画像検索装置1がディスプレイを有さなくてもよい。その場合、画像検索装置1のマイクロコンピュータ2がケーブルや無線によって映像信号をテレビ、プロジェクタその他の映像機器に出力し、映像信号に従った映像が映像機器によって投影又は表示される。
【0017】
入力装置6は、キーボード、マウス、タッチパネル、タッチパッド、複数の押しボタン、ダイヤルその他の入力装置である。入力装置6がタッチパネルである場合、
図1に示すようにその入力装置6がディスプレイ3の表示画面に貼着されていてもよい。入力装置6がユーザによって操作されると、入力装置6がその操作内容に応じた信号をマイクロコンピュータ2に出力する。
【0018】
リーダー・ライター5は、筐体7に内蔵されている。リーダー・ライター5のコネクタ5aが筐体7の側面又は背面等に配置され、外部記憶部8がリーダー・ライター5のコネクタ5aに対して着脱可能となっている。リーダー・ライター5は、外部記憶部8から情報を読み出したり、マイクロコンピュータ2から転送された情報を外部記憶部8に記録したりする。リーダー・ライター5によって読み出された情報は、マイクロコンピュータ2に転送される。
【0019】
外部記憶部8には、複数の画像ファイル80が格納されている。例えば、画像ファイル80は、Exif(Exchangeable image file format)仕様のJPEG(Joint Photographic Experts Group)形式の画像ファイル、Exif仕様のTIFF(Tagged Image File Format)形式の画像ファイル、付帯情報(メタデータ)付きのRAWフォーマット画像ファイルその他の付帯情報付き画像ファイルである。画像ファイル80は、イメージデータ80aを有するとともに、付帯情報であるサムネイルイメージデータ80b、撮影時刻データ80c、緯度データ80d、経度データ80e及び高度データ80f等を有する。イメージデータ80aは、デジタルカメラ等の撮像によって得られた画像である。サムネイルイメージデータ80bは、イメージデータ80aの解像度を低下させた画像である。撮影時刻データ80cは、画像ファイル80に含まれるイメージデータ80aがデジタルカメラ等によって撮像された時刻(例えば、年月日時分秒)を表す。緯度データ80dは、画像ファイル80に含まれるイメージデータ80aがデジタルカメラ等によって撮像された緯度を表す。経度データ80eは、画像ファイル80に含まれるイメージデータ80aがデジタルカメラ等によって撮像された経度を表す。高度データ80fは、画像ファイル80に含まれるイメージデータ80aがデジタルカメラ等によって撮像された高度を表す。画像ファイル80に含まれる付帯情報は、サムネイルイメージデータ80b、撮影時刻データ80c、緯度データ80d、経度データ80e及び高度データ80fに限るものではない。例えば、画像ファイル80がExif仕様である場合、Exifで規格された各種メタデータ(タグ)が画像ファイル80に含まれる。
【0020】
マイクロコンピュータ2は、筐体7に内蔵されている。マイクロコンピュータ2は、CPU2a、RAM2b及びROM2c等を有する。CPU2aは中央処理装置であり、各種の数値処理、演算処理、情報処理、機器制御などを行う。RAM2aは、ランダムアクセスメモリであって、CPU2aに一時的な記憶領域を提供する。ROM2cは、リードオンリーメモリであって、CPU2aの主記憶装置として使用されている。ROM2cには、CPU2aによって読取可能・実行可能なシステムプログラム等が格納されている。
【0021】
記憶部4は、筐体7に内蔵されている。記憶部4は、半導体不揮発性メモリ、ハードディスクドライブ(HDD)、ディスクドライブその他の読み書き可能な記憶装置である。記憶部4には、マイクロコンピュータ2(主に、CPU2a)によって読取可能・実行可能な画像検索プログラム40が格納されている。また、記憶部4には、マイクロコンピュータ2によって読取可能な参照テーブル41が格納されている。なお、画像検索プログラム40と参照テーブル41の何れか一方又は両方が、記憶部としてのROM2cに格納されていてもよい。
【0022】
外部から転送された複数の画像ファイル80が記憶部4に記憶されていてもよい。記憶部4に格納された画像ファイル80は、外部記憶部8に格納された画像ファイル80と同様に、イメージデータ80a、サムネイルイメージデータ80b、撮影時刻データ80c、緯度データ80d、経度データ80e及び高度データ80f等を有する。緯度データ80d、経度データ80eは、撮影したカメラの位置の撮影位置情報である。記憶部4に画像ファイル80が格納されている場合、外部記憶部8がリーダー・ライター5から取り外されていてもよい。
【0023】
図3は、参照テーブル41のデータ構造を示した図面である。
図3に示すように、参照テーブル41は、複数のキーワードに検索条件をそれぞれ対応付けしたものである。
【0024】
キーワードに対応付けられる検索条件は、撮影位置に関する検索条件(以下、「撮影位置検索条件」ということもある。)と、キーワードから連想されることに関する検索条件(以下、「連想検索条件」ということもある。)との論理積(and)である。
【0025】
撮影位置検索条件は、緯度データに関する検索条件(以下、「緯度検索条件」ということもある。)と、経度データに関する検索条件(以下、「経度検索条件」ということもある。)との論理積である。
【0026】
連想検索条件は、高度データに関する検索条件(以下、「高度検索条件」ということもある。)と、撮影時刻に関する検索条件(以下、「撮影時刻検索条件」ということもある。)と、イメージデータに関する検索条件(以下、「イメージデータ検索条件」いうこともある。)とを含む。連想検索条件が高度検索条件、撮影時刻検索条件、イメージデータ検索条件のうち2種類又は3種類を含む場合、これらの検索条件が論理和(or)となっていてもよいし、論理積(and)となっていてもよい。
【0027】
例えば、
図3を参照すると、キーワードが「A山」である場合には(「A山」とは、固有名詞である地名又は山の名称である。)、それに対応づけられた検索条件は、「北緯35.0〜35.5°」という緯度検索条件と、「東経138.1〜138.7°」という経度検索条件と、「2000〜4000m」という高度検索条件との論理積である。
【0028】
キーワードに対応付けられた撮影位置検索条件の値又は内容は、キーワードに関連する。例えば、
図3を参照すると、キーワードが「A山」である場合には、緯度検索条件及び経度検索条件の値又は内容は、「A山」に関連する。具体的には、緯度検索条件及び経度検索条件の値又は内容は、「A山」の山頂の緯度・経度を中心とした範囲である。
【0029】
キーワードに対応付けられた連想検索条件の値又は内容は、キーワードから連想されるものである。キーワードが「A山」である場合には、それに対応付けられた高度検索条件の値又は内容(2000〜4000m)は、「A山」の高さから連想される高度である。また、キーワードが「B海水浴場」である場合には(「B海水浴場」とは、固有名詞である地名又は海水浴場の名称である。)、それに対応付けられた撮影時刻検索条件の値又は内容(7月〜8月)は、「B海水浴場」から連想される利用時期であり、それに対応付けられたイメージデータ検索条件の値又は内容は、「B海水浴場」から連想される色の配色である。
【0030】
参照テーブル41は、画像検索プログラム40に組み込まれていてもよいし、画像検索プログラム40とは別に記憶部4又はROM2cに格納されていてもよい。
なお、ユーザが入力装置6を操作することによって、キーワードとそれに対応付けられた検索条件を参照テーブル41に追加してもよい。
【0031】
画像検索プログラム40に従ってマイクロコンピュータ2が行う処理内容について説明する。
【0032】
マイクロコンピュータ2が、記憶部4と外部記憶部8の一方又は両方に格納された複数の画像ファイル80のうち何れか一つを読み込み、その画像ファイル80に含まれるイメージデータ80aに基づく映像信号をディスプレイ3に出力して、イメージデータ80aの画像をディスプレイ3に表示させる。ディスプレイ3に画像が表示された時に、マイクロコンピュータ2が画像検索プログラム40に従って
図4に示す処理を行う。
図4は、画像検索プログラム40に従ってマイクロコンピュータ2が行う処理内容を示したフローチャートである。
【0033】
以下の説明において、ディスプレイ3に表示された画像の画像ファイル80を処理中画像ファイル80といい、処理中画像ファイル80に含まれるイメージデータ80a、サムネイルイメージデータ80b、撮影時刻データ80c、緯度データ80d、経度データ80e、高度データ80fをそれぞれ処理中イメージデータ80a、処理中サムネイルイメージデータ80b、処理中撮影時刻データ80c、処理中緯度データ80d、処理中経度データ80e、処理中高度データ80fという。
【0034】
まず、マイクロコンピュータ2が、処理中画像ファイル80に含まれる処理中イメージデータ80aの画像からキーワードを抽出する(ステップS1)。具体的には、マイクロコンピュータ2が、ステップS2、ステップS3及びステップS4の処理を順に行う。
【0035】
ステップS2において、マイクロコンピュータ2は、処理中画像ファイル80に含まれる処理中イメージデータ80aに含まれる語の画像を抽出する(ステップS2)。
【0036】
次に、マイクロコンピュータ2は、抽出した語の画像を予め定められた文字パターンと対比することによって、抽出した語の画像を文字として認識する(ステップS3)。文字として認識された語は、キーワードである。予め定められた文字パターンは、画像検索プログラム40に組み込まれている。
【0037】
次に、マイクロコンピュータ2は、処理中画像ファイル80に含まれる処理中イメージデータ80aから抽出したキーワードの文字サイズを認識する(ステップS4)。
【0038】
マイクロコンピュータ2がキーワードの抽出処理(ステップS1)によってキーワードの抽出を行えなかった場合には(ステップS5:No)、マイクロコンピュータ2が処理中画像ファイル80に含まれる処理中イメージデータ80aに基づく映像信号の出力を継続して、処理中イメージデータ80aの画像をディスプレイ3に表示させる(ステップS6)。一方、マイクロコンピュータ2がキーワードの抽出処理(ステップS1)によってキーワードの抽出を行えた場合には(ステップS5:Yes)、マイクロコンピュータ2の処理がステップS7に移行する。
【0039】
ステップS7において、マイクロコンピュータ2は、キーワード抽出処理(ステップS1)において抽出した複数のキーワードの文字サイズ(ステップS4で認識済み)を対比することによって、これらのキーワードの中から最も文字サイズの大きな一つのキーワードを選択する。なお、マイクロコンピュータ2がキーワード抽出処理(ステップS1)において抽出した一つのキーワードを抽出した場合には、ステップS7では、マイクロコンピュータ2がその一つのキーワードを選択する。
【0040】
次に、マイクロコンピュータ2は、参照テーブル41を参照して、選択したキーワードに対応付けられた検索条件(撮影位置検索条件と連想検索条件の論理積)を参照テーブル41から取得する(ステップS8)。
【0041】
次に、マイクロコンピュータ2は、記憶部4と外部記憶部8の一方又は両方に格納された複数の画像ファイル80の中から、ステップS8で取得した撮影位置検索条件及び連想検索条件の両方を満たす画像ファイル80を検索する(ステップS9)。具体的には、マイクロコンピュータ2は、各画像ファイル80に含まれる緯度データ80d及び経度データ80eが撮影位置検索条件を満たすか否かチェックすることによって、撮影位置検索条件を満たす緯度データ80d及び経度データ80eを有する画像ファイル80を検索する。更に、マイクロコンピュータ2は、撮影位置検索条件を満たす各画像ファイル80に含まれるイメージデータ80a、撮影時刻データ80c、高度データ80fが連想検索条件を満たすか否かをチェックすることによって、連想検索条件を満たすイメージデータ80a、撮影時刻データ80c、高度データ80fを含む画像ファイル80を検索する。なお、検索範囲は、記憶部4に格納された全ての画像ファイル80又はそれらの中の一部であってもよいし、外部記憶部8に格納された全ての画像ファイル80又はそれらの中の一部であってもよいし、記憶部4及び外部記憶部8に格納された全ての画像ファイル80又はそれらの中の一部であってもよい。また、検索方式は、Grep型の検索方式でもよいし、インデックス型の検索方式でもよい。
【0042】
次に、マイクロコンピュータ2は、ステップS9で検索した一又は複数の画像ファイル80に含まれるイメージデータ80a又はサムネイルイメージデータ80bに基づく映像信号をディスプレイ3に出力して、イメージデータ80a又はサムネイルイメージデータ80bの画像をディスプレイ3に表示させる(ステップS10)。複数の画像ファイル80が検索された場合には、マイクロコンピュータ2が次の(a)〜(c)の何れかのような表示処理を行う。
【0043】
(a) マイクロコンピュータ2は、ステップS9で検索した複数の画像ファイル80に含まれるイメージデータ80aの画像をディスプレイ3に順次表示させる。
【0044】
(b) マイクロコンピュータ2は、ステップS9で検索した複数の画像ファイル80に含まれるイメージデータ80aの画像を縮小して、これらを一括してディスプレイ3に表示させる。なお、ステップS9で検索した全ての画像ファイル80に含まれるイメージデータ80aの画像を一回で一括して表示できない場合には、マイクロコンピュータ2は、ステップS9で検索した複数の画像ファイル80を幾つかのグループに分け、グループ毎にイメージデータ80aの画像を縮小して、一括表示させる。
【0045】
(c) マイクロコンピュータ2は、ステップS9で検索した複数の画像ファイル80に含まれるサムネイルイメージデータ80bの画像を一括してディスプレイ3に表示させる。なお、ステップS9で検索した全ての画像ファイル80に含まれるサムネイルイメージデータ80bの画像を一回で一括して表示できない場合には、マイクロコンピュータ2は、ステップS9で検索した複数の画像ファイル80を幾つかのグループに分け、グループ毎にサムネイルイメージデータ80bの画像を一括表示させる。
【0046】
その後、画像検索プログラム40に基づく処理が終了する。
【0047】
以上の実施の形態によれば、表示中の画像と、その次に表示される画像(ステップS10において表示される画像)が関連性を持つようになる。例えば、表示中の画像の中から抽出されたキーワードが「A山」である場合、その「A山」で撮影された画像がステップS10において表示される。従って、画像の表示順序についての興趣性が向上する。
【0048】
ステップS1で抽出されたキーワードの数が複数である場合、最も文字サイズの大きなキーワードに関連する画像が次に表示される(ステップS10)。表示中の画像の中で大きく描画された文字は、その画像の主要テーマを表すキーワードであることが多い。そのため、ステップS10で表示される画像と、その前に表示された画像との関連性が高くなる。
【0049】
〔第2の実施の形態〕
図5は、動画検索装置1Aのブロック図である。
図5に示す動画検索装置1Aと
図2に示す画像検索装置1との間で互いに対応する部分には、同一符号を付す。以下、動画検索装置1Aと画像検索装置1の相違点について説明し、一致点についての説明を省略する。
【0050】
動画検索装置1Aは、画像検索装置1と同様に、マイクロコンピュータ2、ディスプレイ3、記憶部4、リーダー・ライター5、入力装置6及び筐体7等を備える。動画検索装置1Aのディスプレイ3、リーダー・ライター5、入力装置6及び筐体7と、画像検索装置1のディスプレイ3、リーダー・ライター5、入力装置6及び筐体7とはそれぞれ一致する。
【0051】
また、動画検索装置1Aは、電気音響変換器であるスピーカー9を有する。
【0052】
動画検索装置1Aの記憶部4及び外部記憶部8と、画像検索装置1の記憶部4及び外部記憶部8は、記憶内容を除いて、一致する。
【0053】
第1の実施の形態に係る画像検索装置1では、画像検索プログラム40及び参照テーブル41が記憶部4に格納されているのに対し、第2の実施の形態に係る動画検索装置1Aでは、動画検索プログラム42及び参照テーブル43が記憶部4に格納されている。また、第2の実施の形態に係る動画検索装置1Aでは、複数の画像ファイル80に加えて複数の動画ファイル81が外部記憶部8と記憶部4のうちの一方又は両方に格納されている。
【0054】
動画ファイル81は、ビデオデータ81a、オーディオデータ81bを有するとともに、撮影時刻データ81c、緯度データ81d、経度データ81e及び高度データ80f等を有する。ビデオデータ81aは、動画のストリームデータである。オーディオデータ81bは、音声のストリームデータである。撮影時刻データ81cは、動画ファイル81に含まれるビデオデータ81a及びオーディオデータ81bがデジタルムービーカメラ等によって記録された時刻(例えば、年月日時分秒)を表す。緯度データ81dは、動画ファイル81に含まれるビデオデータ81a及びオーディオデータ81bがデジタルムービーカメラ等によって記録された緯度を表す。経度データ81eは、動画ファイル81に含まれるビデオデータ81a及びオーディオデータ81bがデジタルムービーカメラ等によって記録された経度を表す。高度データ81fは、動画ファイル81に含まれるビデオデータ81a及びオーディオデータ81bがデジタルムービーカメラ等によって記録された高度を表す。
【0055】
図6は、参照テーブル43のデータ構造を示した図面である。
図6に示すように、参照テーブル43は、複数のキーワードに検索条件をそれぞれ対応付けしたものである。
【0056】
キーワードに対応付けられる検索条件は、撮影位置に関する検索条件(以下、「撮影位置検索条件」ということもある。)と、キーワードから連想されることに関する検索条件(以下、「連想検索条件」ということもある。)との論理積(and)である。
【0057】
撮影位置検索条件は、緯度データに関する検索条件(以下、「緯度検索条件」ということもある。)と、経度データに関する検索条件(以下、「経度検索条件」ということもある。)との論理積である。
【0058】
連想検索条件は、オーディオデータに関する検索条件(以下、「オーディオデータ検索条件」ということもある。)である。
【0059】
例えば、
図6を参照すると、キーワードが「猫」である場合には(「猫」とは、普通名詞である。)、それに対応づけられた撮影位置検索条件は、「表示した画像ファイルの緯度データと同じ」という緯度検索条件と、「表示した画像ファイルの経度データと同じ」という経度検索条件との論理積であり、それに対応付けられたオーディオデータ検索条件は、「猫の鳴き声」という検索条件である。
【0060】
キーワードに対応付けられたオーディオデータ検索条件は、キーワードに関連する。例えば、
図6を参照すると、キーワードが「猫」であるから、それに対応付けられたオーディオデータ検索条件が猫の鳴き声となっている。
【0061】
参照テーブル43は、動画検索プログラム42に組み込まれていてもよいし、動画検索プログラム42とは別に記憶部4又はROM2cに格納されていてもよい。
【0062】
動画検索装置1Aのマイクロコンピュータ2は、画像検索装置1のマイクロコンピュータ2と同様の構成である。動画検索装置1Aのマイクロコンピュータ2が動画検索プログラム42に従って行う処理内容と、画像検索装置1のマイクロコンピュータ2が画像検索プログラム40に従って行う処理内容とが相違する。そこで、動画検索プログラム42によって動画検索装置1Aのマイクロコンピュータ2が行う処理内容について説明する。
【0063】
マイクロコンピュータ2が、記憶部4と外部記憶部8の一方又は両方に格納された複数の画像ファイル80のうち何れか一つを読み込み、その画像ファイル80に含まれるイメージデータ80aに基づく映像信号をディスプレイ3に出力して、イメージデータ80aの画像をディスプレイ3に表示させる。ディスプレイ3に画像が表示された時に、マイクロコンピュータ2が動画検索プログラム42に従って
図7に示す処理を行う。
図7は、動画検索プログラム42に従ってマイクロコンピュータ2が行う処理内容を示したフローチャートである。
【0064】
ステップS21〜ステップS27の処理は、第1実施形態におけるステップS1〜ステップS27の処理とそれぞれ同様である。
【0065】
ステップS28では、マイクロコンピュータ2は、参照テーブル43を参照して、選択したキーワードに対応付けられた検索条件を参照テーブル43から取得する。
【0066】
次に、マイクロコンピュータ2は、記憶部4と外部記憶部8の一方又は両方に格納された複数の動画ファイル81の中から、ステップS28で取得した撮影位置検索条件及びオーディオデータ検索条件(連想検索条件)の両方を満たす動画ファイル81を検索する(ステップS29)。具体的には、マイクロコンピュータ2は、各動画ファイル81に含まれる緯度データ81d及び経度データ81eが撮影位置検索条件を満たすか否かチェックすることによって、撮影位置検索条件を満たす緯度データ81d及び経度データ81eを含む動画ファイル81を検索する。更に、マイクロコンピュータ2は、撮影位置検索条件を満たす動画ファイル81に含まれるオーディオデータ81bがオーディオデータ検索条件を満たすか否かをチェックすることによって、オーディオデータ検索条件を満たすオーディオデータ81bを含む動画ファイル81を検索する。なお、検索範囲は、記憶部4に格納された全ての動画ファイル81又はそれらの中の一部であってもよいし、外部記憶部8に格納された全ての動画ファイル81又はそれらの中の一部であってもよいし、記憶部4及び外部記憶部8に格納された全ての動画ファイル81又はそれらの中の一部であってもよい。
【0067】
次に、マイクロコンピュータ2は、ステップS29で検索した一又は複数の動画ファイル81に含まれるビデオデータ81aを再生して、ビデオデータ81aに従った映像をディスプレイ3に表示させる(ステップS30)。ビデオデータ81aの再生と同時に、マイクロコンピュータ2は、ステップS29で検索した一又は複数の動画ファイル81に含まれるオーディオデータ81bを再生して、オーディオデータ81bに従った音声をスピーカー9に出力する(ステップS30)。なお、ステップS29で検索した動画ファイル81の数が複数である場合、マイクロコンピュータ2は、ステップS29で検索した複数の動画ファイル81に含まれるビデオデータ81a及びオーディオデータ81bを順次再生する。
【0068】
その後、動画検索プログラム42に基づく処理が終了する。
【0069】
以上の実施の形態によれば、表示中の画像と、その次に再生される動画や音声(ステップS20において表示される動画や音声)が関連性を持つようになる。例えば、表示中の画像の中から抽出されたキーワードが「猫」である場合、猫の鳴き声がステップS30において再生される。従って、画像・動画の表示順序についての興趣性が向上する。
【0070】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載された発明を付記する。付記に記載された請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
を備えることを特徴とする画像検索装置。
<請求項2>
更に、前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段を備えることを特徴とする請求項1に記載の画像検索装置。
<請求項3>
前記検索部による検索範囲の前記複数の画像ファイルが、画像であるイメージデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、撮影された高度を表す高度データと、撮影された時刻を表す撮影時刻データと、を有し、
前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件の論理積であり、
前記連想検索条件は、高度に関する高度検索条件と、撮影時刻に関する撮影時刻検索条件と、イメージデータに関するイメージデータ検索条件とのうち少なくとも1つを含み、
前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記連想検索条件を満たした高度データ、撮影時刻データ及びイメージデータの少なくとも1つを有する画像ファイルを検索することを特徴とする請求項1又は2に記載の画像検索装置。
<請求項4>
前記キーワード抽出部によって抽出されたキーワードの数が複数である場合、それらの中から最も文字サイズの大きなキーワードを選択する選択部を更に備え、
前記取得部が、前記キーワード抽出部によって抽出された複数のキーワードのうち前記選択部によって選択されたキーワードに対応付けられた検索条件を前記参照テーブルから取得することを特徴とする請求項1乃至3の何れか一項に記載の画像検索装置。
<請求項5>
複数のキーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
を備えることを特徴とする動画検索装置。
<請求項6>
更に、前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段を備えることを特徴とする請求項5に記載の動画検索装置。
<請求項7>
前記検索部による検索範囲の前記複数の動画ファイルが、動画のストリームデータであるビデオデータと、音声のストリームデータであるオーディオデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、を有し、
前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件の論理積であり、
前記連想検索条件は、オーディオに関するオーディオデータ検索条件を含み、
前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記オーディオデータ検索条件を満たしたオーディオデータを有する動画ファイルを検索することを特徴とする請求項5又は6に記載の動画検索装置。
<請求項8>
前記キーワード抽出部によって抽出されたキーワードの数が複数である場合、それらの中から最も文字サイズの大きなキーワードを選択する選択部を更に備え、
前記取得部が、前記キーワード抽出部によって抽出された複数のキーワードのうち前記選択部によって選択されたキーワードに対応付けられた検索条件を前記参照テーブルから取得することを特徴とする請求項5乃至7の何れか一項に記載の動画検索装置。
<請求項9>
コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の画像ファイルの中から、前記取得処理によって取得された検索条件を満たす画像ファイルを検索する検索処理と、
前記検索処理によって検索された画像ファイルの画像を前記表示部に表示させる第二表示処理と、
を実行することを特徴とする画像検索方法。
<請求項10>
コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の動画ファイルの中から、前記取得処理によって取得された検索条件を満たす動画ファイルを検索する検索処理と、
前記検索処理によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示処理と、
を実行することを特徴とする動画検索方法。
<請求項11>
コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段と、
を機能させるプログラム。
<請求項12>
コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段と、
を機能させるプログラム。