(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下、本発明の実施形態に係る検出装置及び検出方法を、図面を参照しながら詳細に説明する。尚、図中同一又は同等の部分には同じ符号を付す。
【0014】
本実施形態に係る検出装置は、
図1に示すように構成される。検出装置1は、撮像部10と、処理部20と、インタフェース30と、を備える。
【0015】
撮像部10は、後述する操作部32が受け付けた操作者による操作に従って被写体を撮像することによって、被写体を撮像した撮像画像(ライブビュー画像、スルー画像)を生成する。
【0016】
撮像部10は、光学レンズ11と、イメージセンサ12と、を含む。
【0017】
光学レンズ11は、被写体から射出された光を集光するレンズと、焦点、露出、ホワイトバランス等の撮像設定パラメータを調整するための周辺回路と、を備える。
【0018】
イメージセンサ12は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備える。イメージセンサ12は、光学レンズ11が光を集光することによって結像した被写体の光学像を取得して、取得した光学像の電圧情報をアナログ/デジタル変換器(図示せず)によりデジタル画像データに変換する。そして、得られたデジタル画像データを、画像出力部24へ出力する。
【0019】
処理部20は、撮像部10が生成した撮像画像に対して、後述する検出処理を施す。また、処理部20は、種々のプログラムを実行することにより、検出装置1の各種機能を実現する。
【0020】
処理部20は、CPU(Central Processing Unit)21と、一時記憶部22と、主記憶部23と、画像出力部24と、を含む。
【0021】
CPU21は、主記憶部23に記憶された制御プログラムを実行することにより検出装置1全体を制御する。また、CPU21は、主記憶部23に記憶された、輪郭検出プログラムや形態素解析プログラムを含む各種プログラムを実行することにより、検出装置1の各種機能を実現する。
【0022】
一時記憶部22は、例えばRAM(Random Access Memory)等を備える。一時記憶部22は、CPU21のワークメモリとして機能し、撮像部10によって生成されたライブビュー画像を含む種々の画像データや、音声処理部34から供給された音声データ、及びプログラム等を一時的に記憶する。
【0023】
主記憶部23は、不揮発性メモリ(例えば、フラッシュメモリやハードディスク)を備え、検出装置1全体の制御に必要な制御プログラムや形態素解析プログラムを含む種々のプログラム、及び、照合画像データを含む種々の固定データ等を固定的に記憶する。主記憶部23は、記憶しているプログラムやデータを、CPU21や画像出力部24へ供給する。
【0024】
画像出力部24は、撮像部10が撮像した画像データに所定の処理(例えば、解像度を低下させる処理)を施すことによりライブビュー画像を生成する。画像出力部24は、撮像部10よる撮像画像を一時記憶部22へ供給し記憶させると共に、生成したライブビュー画像を後述する表示部31へ供給し表示させる。
【0025】
また、画像出力部24は、一時記憶部21や主記憶部23に記憶された画像データを読み出し、この画像データに対応するRGB(R(Red、赤)、G(Green、緑)、B(Blue、青))信号を生成して、後述する表示部31へ出力する。
【0026】
インタフェース30は、外部からの操作入力や画像及び音声データ入力を受け付けると共に、音声データや画像データを外部へ出力する。
【0027】
インタフェース30は、表示部31と、操作部32と、音声入力部33と、音声処理部34と、音声出力部35と、外部インタフェース36と、を含む。
【0028】
表示部31は、例えばLCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)、有機EL(Electro Luminescence)ディスプレイ等を備え、画像出力部24から供給された画像データに基づいて、ライブビュー画像を含む種々の画像を表示する。
【0029】
操作部32は、操作者による操作入力を受け付ける。操作部32は、キーボードと共に、シャッターボタン、キャンセルボタン、検出装置1の動作モードを選択するためのモード選択ボタン等を含む種々の操作ボタンを備える。操作部32は、受け付けた操作入力を、撮像部10やCPU21等へ供給する。
【0030】
なお、表示部31と操作部32とは、互いに重畳して配置されたいわゆるタッチパネルによって構成されてもよい。
【0031】
音声入力部33は、マイクを備え、操作者の声を含むアナログ音声信号の入力を外部から受け付ける。入力されたアナログ音声信号は、音声処理部34へ送出される。
【0032】
音声処理部34は、音声入力部33から供給されたアナログ音声信号をデジタル音声信号へ変換し、一時記憶部22へ供給する。また、音声処理部34は、一時記憶部22や主記憶部23に記憶されていたデジタル音声信号を読み出し、アナログ音声信号に変換して音声出力部35へ送出する。
【0033】
音声出力部35は、スピーカやヘッドフォン等を備え、音声処理部34から供給されたアナログ音声信号を外部へ出力する。
【0034】
外部インタフェース36は、検出装置1の外部の機器とデータをやり取りするためのインタフェースである。外部インタフェース36は、例えば、撮影画像を、USB(Universal Serial Bus)規格のデータに変換して、USBケーブルを介して外部の機器との間でデータを送受信する。
【0035】
検出装置1は、機能的には、
図2に示すように構成される。検出装置1は、認識部101と、距離測定部102と、入力部103と、抽出部104と、判別部105と、選択部106と、特徴情報記憶部107と、検出部108と、実行部109と、撮影部110と、を備える。
【0036】
尚、検出装置1は、通常のカメラと同様に、目つぶり検出機能や人物検出機能等を有するものの、以下では、本実施形態に特徴的な、撮像画像から、操作者によって音声入力された言葉によって指定される検出対象を検出する機能を中心に説明する。
【0037】
認識部101は、撮像部10が生成した撮像画像をターゲット画像として、ターゲット画像に対してオブジェクト・色・顔認識処理を施して、ターゲット画像に含まれる対象物OBを認識する。ターゲット画像とは、検出装置1が実行する検出処理の対象となる画像である。
【0038】
ターゲット画像は、例えば、後述する
図8〜
図12に示すターゲット画像TGa〜TGe(以下、ターゲット画像TGと総称する。)のように、撮像部10が撮像した様々な対象物OB1a〜OB4a,OB1b〜OB3b,OB1c〜OB3c,OB1d〜OB9d,OB1e(以下、対象物OBと総称する。)を含む画像である。
【0039】
認識部101は、ターゲット画像TGに含まれる不特定の対象物OBを、色や形状等の複数の属性に係る特徴に基づいて認識する。
【0040】
具体的には、認識部101は、任意の公知技術を用い、ターゲット画像TGの色の分布、形状(例えば、輪郭や模様)等を解析して、ターゲット画像TGに含まれる対象物OBを認識する。そして、認識部101は、認識した対象物OBの面積、ターゲット画像TG内における広がり方向の位置を示す情報を取得して、認識した対象物OBの大きさや位置を取得する。更に、認識部101は、顔検出に係る任意の公知技術を用い、ターゲット画像TGから顔画像領域(被写体人物の顔を表す画像領域)を認識する。
【0041】
このように、認識部101は、ターゲット画像TG内のどの位置(広がり方向と奥行き方向とを含む)にどのような色、形状、大きさの対象物OBがあるか、そしてその対象物OBが人の顔であるか否か、についての情報を取得する。
【0042】
認識部101は、CPU21によって実現される。
【0043】
距離測定部102は、認識部101によって認識された対象物OBまでの距離を測定し、測定した距離を示す情報を生成する。そして、認識部101は、この生成された距離を示す情報に基づき、認識した対象物OBのターゲット画像TG内における奥行き方向の位置を示す情報を取得する。
【0044】
距離測定部102は、上述のCPU21と撮像部10との協働によって実現される。具体的には、撮像部10が、CPU21の制御に従って、撮像部10のフォーカス位置を変化させて、対象物OBにフォーカスが合った時のフォーカス位置に基づいて、対象物OBまでの距離を取得する。
【0045】
入力部103は、検出対象を指定する言葉の入力を受け付ける。より具体的には、入力部103は、音声(音声信号)の入力を受け付ける音声入力部33と、音声入力部33により入力された音声を言葉に変換することにより、検出対象を指定する言葉を取得する変換部103aと、を含む。
【0046】
ここで、検出対象を指定する言葉(キーワード、キーフレーズ、指示語)とは、操作者が検出を所望している検出対象(操作者が撮影を所望する被写体、注目被写体)を指定する情報である。例えば、操作者は、「メロン」や「赤い」等、1つ以上の単語を含んだ言葉を音声で入力することにより、検出対象を指定する。
【0047】
変換部103aは、音声処理部34によって実現される。
【0048】
抽出部104は、変換部103aにより変換された検出対象を指定する言葉から、検出対象を検出するための特徴を抽出する。例えば、抽出部104は、音声入力部33が音声入力を受け付けた言葉の中から、任意の公知技術(例えば、形態素解析)により、「メロン」や「アカ」等の単語を抽出することにより、言葉が有する属性に係る特徴を抽出する。
【0049】
抽出部104は、CPU21によって実現される。
【0050】
判別部105は、入力部103により入力された言葉から検出対象の指定に係る属性を判別する。具体的には、判別部105は、抽出部104が抽出した各単語を、予め記憶している属性判別情報と照合して、抽出した各単語の検出対象の指定に係る属性を判別する。
【0051】
属性判別情報は、
図3(a)〜(c)に示すように、入力された言葉から抽出される可能性がある単語と、各単語の属性「名称」「色」「形状」「大きさ」「広がり方向の位置関係」及び「奥行き方向の位置関係」に係る評価値と、をそれぞれ対応付けて格納している。ここで、各単語の各属性値に係る評価値は、各単語が当該属性に係る特徴である可能性(各単語が当該属性の有する属性値の一である可能性)を示す。
【0052】
例えば、単語「メロン」は、
図3(a)に示すように、属性「名称」に係る評価値が最も高い。これは、単語「メロン」が属性「名称」に係る特徴である可能性が高いことを意味している。属性「名称」に係る評価値が所定の閾値(例えば、50%)以上であれば、判別部105は、単語「メロン」の検出対象の指定に係る属性が「名称」であると判別する。
また、単語「アカ」は、
図3(b)に示すように、属性「色」に係る評価値が最も高い。これは、単語「アカ」が属性「色」に係る特徴である可能性が高いことを意味している。属性「色」に係る評価値が所定の閾値以上であれば、判別部105は、単語「アカ」の検出対象の指定に係る属性が「色」であると判別する。
また、単語「ミドリ」は、
図3(c)に示すように、属性「名称」に係る評価値と属性「色」に係る評価値とが共に高い。これは、単語「ミドリ」が、属性「名称」に係る特徴である可能性と属性「色」に係る特徴である可能性とが共に高いことを意味している。属性「名称」に係る評価値と属性「色」に係る評価値と共に所定の閾値以上であれば、判別部105は、単語「ミドリ」の検出対象の指定に係る属性が「名称」及び「色」であると判別する。
【0053】
尚、属性判別情報は、予め任意の方法で適宜作成し、判別部105に記憶させておけばよい。例えば、テキストマイニング等により各単語がどのような意味で用いられているかを統計的に解析することにより属性判別情報を作成することができる。
【0054】
判別部105は、検出対象の指定に係る属性を判別する際に、認識部101が行ったオブジェクト・色・顔認識処理の結果を参酌してもよい。
【0055】
例えば、単語「ミドリ」は、「緑」という「色」を指す場合と、「緑」或いは「みどり」という人名(名称)を指す場合と、がある。認識部101が行ったオブジェクト・色・顔認識処理の結果として、ターゲット画像TGから顔画像領域が認識されなかったとき、ターゲット画像TGは人物を被写体として含まない可能性が高く、従って、単語「ミドリ」が名称(人名)を指している可能性は低い。すなわち、単語「ミドリ」の検出対象の指定に係る属性が「名称」である可能性は低い。このような場合、判別部105は、単語「ミドリ」の属性「名称」に係る評価値を低下させる等の操作を行い、検出対象の指定に係る属性が「名称」であると判別される可能性を低下させることにより、単語の属性をより正確に判別することができる。また、他の例として、単語「マルイ」は、「丸い」という形状を示す場合と「丸井」という人名(名称)を指す場合と、がある。
【0056】
また、判別部105は、任意の公知技術を用いて、入力された言葉から取得した単語の間に係り受けがあるか否かを判別することにより、検出対象の指定に係る属性が複数の属性の組み合わせであるか否かを判別する。
【0057】
判別部105は、CPU21と主記憶部23との協働によって実現される。
【0058】
選択部106は、判別部105によって判別された、検出対象の指定に係る属性に応じて検出対象の検出方法を選択する。
【0059】
具体的には、検出対象の指定に係る属性が「名称」であると判別部105によって判別された場合、選択部106は、検出対象の検出方法として「オブジェクト検出」による検出方法を選択する。
検出対象の指定に係る属性が「色」であると判別部105によって判別された場合、選択部106は、検出対象の検出方法として「色検出」による検出方法を選択する。
検出対象の指定に係る属性が「形状」であると判別部105によって判別された場合、選択部106は、検出対象の検出方法として「形状検出」による検出方法を選択する。
検出対象の指定に係る属性が「大きさ」であると判別部105によって判別された場合、選択部106は、検出対象の検出方法として「大きさ検出」による検出方法を選択する。
検出対象の指定に係る属性が「広がり方向の位置関係」であると判別部105によって判別された場合、選択部106は、検出対象の検出方法として「広がり方向の位置関係検出」による検出方法を選択する。
検出対象の指定に係る属性が「奥行き方向の位置関係」であると判別部105によって判別された場合、選択部106は、検出対象の検出方法として「奥行き方向の位置関係検出」による検出方法を選択する。
検出対象の指定に係る属性が複数の属性の組み合わせであると判別部105によって判別された場合(入力された言葉から取得された単語間に係り受け構造が存在すると判別部105によって判別された場合)、選択部106は、検出対象の検出方法として「組み合わせ検出」による検出方法を選択する。
【0060】
選択部106は、CPU21によって実現される。
【0061】
特徴情報記憶部107は、特徴情報を記憶する。特徴情報は、検出対象を指定する言葉として入力される可能性がある単語の特徴を示す情報である。
【0062】
具体的に説明すると、特徴情報は、特徴情報テーブルと、検出優先度テーブルと、を含む。
【0063】
図4(a)に、フルーツに分類される単語の特徴情報テーブルの例を示す。特徴情報テーブルFEは、属性「名称」に係る単語のそれぞれについて、分類と、「画像」、「色」、「形状」、「同類物」、及び「関連用語」の各属性に係る特徴と、を互いに対応付けて格納している。
【0064】
「画像」とは、ターゲット画像TG内の認識された対象物OBと画像照合を行うための画像データを示す。例えば「スイカ」に対応付けられた「照合画像#1」は、予め撮影されたスイカの画像データである。
「色」及び「形状」とは、各単語が示す物の典型的な色及び形状である。例えば「スイカ」の色として「緑、黒」が、「スイカ」の形状として「丸い」が予め設定される。
「同類物」とは、各単語が示す物に類似した別の物である。例えば「スイカ」の同類物として「メロン」が予め設定される。
「関連用語」とは、各単語と関連する用語である。例えば「スイカ」の関連用語として「縞々、種、夏」の用語が予め設定される。
特徴情報テーブルFEは、このような特徴情報を、「スイカ」、「バナナ」等の各単語に対応付けて、予め格納しておく。
【0065】
図4(b)に、検出優先度テーブルの例を示す。検出優先度テーブルPRは、後述する検出方法の一である名称検出方法により検出を行う際に使用されるテーブルである。検出優先度テーブルPRは、「フルーツ」、「建物」、「乗り物」等の分類毎に、どの属性の検出方法を用いて検出対象を検出するかを示す優先順位を格納している。例えば、例えば「メロン」や「スイカ」等、「フルーツ」に分類される名称を示す言葉が操作者から入力された場合、選択部106は、「画像」、「色」、「形状」、「同類物」、及び「関連用語」の順で検出方法を選択する。一方、「建物」に分類される名称を示す言葉が操作者から入力された場合、選択部106は、「画像」、「形状」、「色」、「同類物」、及び「関連用語」の順で検出方法を選択する。検出部108は、選択部106が選択した順序で、各検出方法により、検出対象の検出を試みる。また、各優先順位には、優先順位が高いほど高くなるように、基準値が設定されている。
【0066】
特徴情報記憶部107は、主記憶部23によって実現される。
【0067】
検出部108は、選択部106によって選択された検出方法により検出対象を検出する。具体的には、検出部108は、名称検出部108aと、色検出部108bと、形状検出部108cと、位置・大きさ検出部108dと、同類物検出部108eと、関連用語検出部108fと、を含む。検出部108は、これらの検出エンジンの中から選択部106によって選択された検出エンジンを用いた検出方法により、検出対象を検出する。各検出エンジンの詳細については、後述する。
【0068】
検出部108は、CPU21によって実現される。
【0069】
実行部109は、検出部108によって検出された検出対象に対して、撮影部110による撮影のためのAF(Auto Foucus、オートフォーカス)処理を実行する。すなわち、実行部109は、検出部108によって検出された検出対象を囲むフォーカス枠を表示し、撮影部110を制御して、該検出対象にフォーカス(焦点)を合わせて撮影させる。
【0070】
実行部109は、CPU21、及び表示部31の協働によって実現される。
【0071】
撮影部110は、実行部109が実行したAF処理に従い、撮像部10を制御して、検出対象にフォーカス(焦点)が合わされた状態で被写体を撮影する。
【0072】
撮影部110は、撮像部10及びCPU21の協働によって実現される。
【0073】
次に、上述のハードウェア構成及び機能構成を有する検出装置1が行う撮像処理について、
図5のフローチャートを参照しながら説明する。
【0074】
検出対象を指定する言葉を音声入力し、検出装置1に検出対象を検出させて撮影することを所望する場合、操作者は、操作部32が備えるモード選択ボタンを操作し、検出装置1が備える手ブレ防止撮像モードや赤目防止撮像モード等の複数の動作モードの1つである「音声入力モード」を選択する。
【0075】
上述の操作に応答して、撮像部10は、対象物OBの撮像を開始し、撮像した画像データを画像出力部24へ供給する。
【0076】
画像出力部24は、供給された画像データに基づいてライブビュー画像を生成する。画像出力部24は、供給された撮像画像を定期的に一時記憶部22に格納すると共に、生成したライブビュー画像を表示部31へ供給する。表示部31は、供給されたライブビュー画像を表示する。
【0077】
このようにライブビュー画像の取得を開始すると、CPU21は、
図5のフローチャートに示す撮像処理を開始する。
【0078】
まず、認識部101が、1フレーム分の撮像画像を一時記憶部22からターゲット画像TGとして取得し、オブジェクト・色・顔認識処理を施す(ステップS1)。
【0079】
オブジェクト・色・顔認識処理において、認識部101は、任意の公知技術を用いて、ターゲット画像TGの色の分布、形状(例えば、輪郭や模様)等を解析して、ターゲット画像TGに含まれる対象物OBを認識する。また、認識部101は、顔検出に係る任意の公知技術を用い、ターゲット画像TGから顔画像領域を認識する。
【0080】
オブジェクト・色・顔認識処理を実行した後、撮影部110は、フォーカス対象をデフォルトに設定する(ステップS2)。具体的には、ステップS1のオブジェクト・色・顔認識処理において顔画像領域が認識された場合は当該顔画像領域をフォーカス対象に設定し、顔画像領域がされなかった場合はステップS2で取得したターゲット画像TGの中心をフォーカス対象に設定する。
【0081】
次に、入力部103は、言葉の入力を入力部103が受け付けたか否かを判別する(ステップS3)。言葉の入力を受け付けていないと判別した場合(ステップS3;No)、処理はステップS5へ移行する。
【0082】
言葉の入力を受け付けたと判別した場合(ステップS3;Yes)、CPU21は、オブジェクト検出処理を実行することにより検出対象を検出する(ステップS4)。
ここで、ステップS4のオブジェクト検出処理の詳細を、
図6のフローチャートを参照しながら説明する。
【0083】
図6のオブジェクト検出処理を開始すると、まず、抽出部104が、ステップS3において入力を受け付けた言葉から、検出対象を検出するための特徴を抽出し(ステップS41)、判別部105が、抽出された特徴から、検出対象の指定に係る属性を判別する(ステップS42)。
【0084】
具体的には、抽出部104は、まず、任意の公知技術(例えば、形態素解析)を用いて、ステップS3において入力を受け付けた言葉から、「メロン」や「アカイ」等の単語を抽出する。抽出部104は、入力を受け付けた言葉が「アカイリンゴ」等のような複数の特徴を含む場合には、入力を受け付けた言葉に含まれる複数の特徴を全て抽出する。
【0085】
判別部105は、ステップS1におけるオブジェクト・色・顔認識処理の結果と、予め記憶していた属性判別情報と、に基づいて、抽出した各単語から、属性を判別する。より具体的には、判別部105は、属性判別情報において評価値が所定の閾値(例えば、50%)以上である全ての属性を、各単語の検出対象の指定に係る属性として判別する。
【0086】
ステップS3で入力された言葉から取得した全ての単語の属性を判別した後、判別部105は、任意の公知技術を用いて、単語間に係り受けがあるか否かを判別することにより、検出対象の指定に係る属性が複数の属性の組み合わせであるか否かを判別し、ステップS42の処理を終了する。
【0087】
次に、選択部106が、ステップS42で判別された検出対象の指定に係る属性に応じて、検出対象の検出方法を選択する(ステップS43)。具体的には、選択部106は、判別部105が判別した検出対象の指定に係る属性に応じて、「名称検出」、「色検出」、「形状検出」、「大きさ検出」、「広がり方向の位置関係検出」、「奥行き方向の位置関係検出」、又は「組み合わせ検出」のいずれかによる検出方法を選択する。
【0088】
次に、検出部108が、ステップS43において選択部106が選択した検出方法により検出対象を検出する。
【0089】
ステップS43において「名称検出」による検出方法が選択された場合、検出部108が備える名称検出部108aが、「名称検出処理」を実行する(ステップS44)。具体的には、検出部108は、
図5のフローチャートのステップS1のオブジェクト・色・顔認識処理において認識された対象物OBの特徴と、入力された言葉からステップS42において抽出部104が抽出した特徴と、を照合することにより検出対象を検出する。
ここで、ステップS44の「名称検出処理」の詳細について、
図7のフローチャートを参照しながら説明する。
【0090】
名称検出処理を開始すると、まず、名称検出部108aは、特徴情報記憶部107が記憶している「名称」に係る特徴情報に含まれる検出優先度テーブルPRから、属性「画像」、「色」、「形状」、「同類物」、及び「関連用語」の優先順位及び基準値を取得する(ステップS441)。
【0091】
具体的には、名称検出部108aは、
図6のフローチャートのステップS42において検出対象の指定に係る属性が「名称」であると判別された単語の一を選択し、「名称」に係る特徴情報に含まれる特徴情報テーブルFEを参照することにより、当該単語に対応付けて格納されている「分類」を取得し、次に、検出優先度テーブルPRを参照し、取得した「分類」に対応付けて格納されている属性の優先順位及び基準値を取得する。
【0092】
次に、名称検出部108aは、特徴情報テーブルFEを参照することにより、ステップS441において選択した単語に対応付けて格納されている、当該単語の、「画像」、「色」、「形状」、「同類物」、及び「関連用語」の各属性に係る特徴を取得する(ステップS442)。
【0093】
次に、選択部106は、ステップS441において取得した属性の優先順位に基づいて、検出対象の検出方法を選択する(ステップS443)。具体的には、まず、優先順位が1番目に設定されている属性に対応する検出方法を選択する。
【0094】
検出部108は、ステップS443において選択した検出方法にて検出を実行することにより(ステップS444)、
図5のフローチャートのステップS1において認識された対象物OBそれぞれについて、ステップS1のオブジェクト・色・顔認識処理において取得された各対象物OBの特徴と、
図6のフローチャートのステップS41において言葉から抽出された特徴と、の間の合致度を取得する。
【0095】
ステップS444において検出を実行した後、名称検出部108aは、評価値を算出する(ステップS445)。具体的には、名称検出部108aは、ステップS441で取得した、各優先順位に対応付けて格納されていた基準値と、ステップS444において取得した合致度と、を乗算することにより、対象物OBごとに評価値を算出する。
【0096】
評価値を算出すると、名称検出部108aは、評価値が第2閾値以上である対象物OBが存在するか否かを判別する(ステップS446)。この第2閾値は、算出した評価値がステップS42において言葉から抽出された特徴に合致すると判別するのに使用するか否かの基準となり、評価値が低い場合は、合致の誤判別を防止するために使用しないと判別する。
【0097】
算出した評価値が第2閾値以上である対象物OBが存在する場合(ステップS446;Yes)、名称検出部108aは、第2閾値以上である評価値の累計値を算出する(ステップS447)。具体的には、名称検出部108aは、対象物OBごとに、算出した評価値を、それ以前に取得した評価値に加算することにより、評価値の累計値を算出する。ここでは、優先順位が1番目に設定されている属性による検出が行われたので、それ以前に取得した評価値は存在しないため、ステップS445で算出された評価値と同じ値となる。
【0098】
算出した評価値が第2閾値以上である対象物OBが存在しない場合(ステップS446;No)、名称検出部108aは、名称検出部108aは、「名称」に係る特徴情報に格納されている、優先順位及び基準値が設定されている属性の全てについて、対応する検出方法による検出を実行済みか否か判別する(ステップS452)。
【0099】
ここでは、優先順位が1番目に設定されている属性による検出が行われたので、「名称」に係る特徴情報に格納されている属性のうち、対応する検出方法による検出を未だ実行していないものがあると判別し(ステップS452;No)、ステップS443へ戻る。
【0100】
ステップS447で累計値を算出した後、名称検出部108aは、算出した累計値が第1閾値以上である対象物OBが存在するか否かを判別する(ステップS448)。この第1閾値は、ステップS42において言葉から抽出された特徴に合致すると判別できるか否かの基準となる。累計値が高い場合に、抽出された特徴に合致すると判別する。累計値が第1閾値以上である対象物OBが1つも無い場合(ステップS448;No)、処理はステップS452へ移行する。
【0101】
累計値が第1閾値以上である対象物OBがあると判別された場合(ステップS448;Yes)、名称検出部108aは、累計値が第1閾値以上である対象物OBは複数であるか否かを判別する(ステップS449)。累計値が第1閾値以上である対象物OBは複数ではないと判別された場合(ステップS449;No)、当該唯一の対象物OBを検出対象として検出し(ステップS450)、名称検出処理を終了する。
【0102】
評価値の累計値が第1閾値以上である対象物OBが複数であると判別された場合(ステップS449;Yes)、複数の対象物OBのうち、評価値の累計値が最大の対象物OBを検出対象として検出し(ステップS451)、名称検出処理を終了する。
【0103】
ステップS448において、評価値の累計値が第1閾値以上である対象物OBが1つも無いと判別された場合(ステップS448;No)、名称検出部108aは、「名称」に係る特徴情報に格納されている、優先順位及び基準値が設定されている属性の全てについて、対応する検出方法による検出を実行済みか否か判別する(ステップS452)。
【0104】
「名称」に係る特徴情報に格納されている全ての属性について、対応する検出方法による検出を実行済みであると判別した場合(ステップS452;Yes)、検出対象を検出しなかった旨の情報を生成し(ステップS453)、名称検出処理を終了する。
【0105】
「名称」に係る特徴情報に格納されている属性のうち、対応する検出方法による検出を未だ実行していないものがあると判別した場合(ステップS452;No)、処理はステップS443へ戻る。そして、選択部106が、「名称」に係る特徴情報に格納されている属性のうち、優先順位が2番目の属性に対応する検出方法を選択する。
そして、評価値の累計値が第1閾値以上である対象物OBが存在すると判別されるか、「名称」に係る特徴情報に格納されている全ての属性について、対応する検出方法による検出を実行済みであると判別されるまで、上述の処理を繰り返す。
【0106】
ここで、「名称検出処理」を、
図8のターゲット画像TGaを例に、検出対象を指定する言葉として単語「メロン」が
図5のフローチャートのステップS3において入力されたと仮定して具体的に説明する。
【0107】
ここで、ターゲット画像TGaは、
図8に示すように、対象物OB1a〜OB4aを含む。対象物OB1aは橙色のミカン、対象物OB2aは緑色のリンゴ、対象物OB3aはメロン、対象物OB4aは赤いリンゴである。
【0108】
ステップS44の「名称検出処理」を開始すると、名称検出部108aは、「名称」に係る特徴情報が含む特徴情報テーブルFEを参照して、名称に係る単語「メロン」に対応付けて格納されている分類「フルーツ」を取得する。
【0109】
次に、名称検出部108aは、「名称」に係る特徴情報が含む検出優先度テーブルPRを参照して、分類「フルーツ」に対応付けて記憶されている、「画像」、「色」、「形状」、「同類物」、「関連用語」の各属性の優先順位及び基準値を取得する。
【0110】
そして、名称検出部108aは、より高い優先順位の属性から順番に合致度を判別して(ステップS444)、合致度と基準値とから評価値を算出し(ステップS445)、以下の計算式を満たした時点で、その計算式を満たした対象物OBを検出された対象物と判別する(ステップS446−S448)。
<計算式>
(優先順位1番の属性の合致度×基準値)+(優先順位2番の属性の合致度×基準値)+(優先順位3番の属性の合致度×基準値)+(優先順位4番の属性の合致度×基準値)+(優先順位5番の属性の合致度×基準値)≧第1閾値
(但し、(合致度×基準値)<第2閾値 の場合は累計の対象から除外する(ステップS446)。)
【0111】
具体的に、入力単語「メロン」(分類「フルーツ」)の場合であって、第1閾値が80、第2閾値が20である場合について説明する。
図4(b)に示すように、検出優先度テーブルPRにおいて、優先順位が1番目に設定された属性は「画像」である。そこで、名称検出部108aは、優先順位1番の属性「画像」に対応する検出方法である「画像照合処理」で、
図4(a)の特徴情報テーブルFEにおいて単語「メロン」に対応付けて格納されている、属性「画像」に係る特徴である照合画像#4との合致度を取得することで検出を試みる。
(1)属性「画像」による検出の結果、照合画像#4と対象物OB3aとの合致度が85%の場合、評価値は、「基準値100×合致度85%=85」と計算される。この評価値「85」は、第1閾値「80」よりも大きいため、名称検出部108aは、対象物OB3aが該当する対象物として検出されたと判別する。
(2)属性「画像」による検出の結果、照合画像#4と対象物OB3aとの合致度が60%の場合、評価値は、「基準値100×合致度60%=60」と計算される。この評価値「60」は、第1閾値「80」よりも小さい。この場合、名称検出部108aは、評価値「60」を累計値として一時記憶する。
次に、名称検出部108aは、優先順位2番の属性「色」に対応する検出方法である「色検出処理」で、
図4(a)の特徴情報テーブルFEにおいて単語「メロン」に対応付けて格納されている、属性「色」に係る特徴である「緑」で検出を試みる。その結果、特徴「緑」と対象物OB3aのとの合致度が90%の場合、評価値は、
「基準値80×合致度90%=72」と計算される。この評価値が一時記憶された累計値「60」に加算されることにより、累計値は、「60+72=132」と更新される。この累計値「132」は、第1閾値「80」よりも大きいため、名称検出部108aは、対象物OB3aが該当する対象物として検出されたと判別する。
(3)属性「画像」による検出の結果、照合画像#4と対象物OB3aとの合致度が40%の場合、評価値は、「基準値100×合致度40%=40」と計算される。この評価値「40」は第1閾値「80」より小さいので、名称検出部108aは、評価値「40」を累計値として一時記憶する。
次に、名称検出部108aは、優先順位2番の属性「色」に係る特徴「緑」で検出を試みる。その結果、特徴「緑」と対象物OB3aのとの合致度が45%の場合、評価値は、「基準値80×合致度45%=36」と計算され、累計値は、「累計値40+36=76」と更新される。この累計値「76」は、第1閾値「80」よりも小さいため、名称検出部108aは、累計値「76」をさらに一時記憶する。
次に、名称検出部108aは、優先順位3番の属性「形状」に対応する検出方法である「形状検出処理」で、
図4(a)の特徴情報テーブルFEにおいて単語「メロン」に対応付けて格納されている、属性「形状」に係る特徴である「丸い」で検出を試みる。その結果、特徴「丸い」と対象物OB3aのとの合致度が80%の場合、評価値は、「基準値60×合致度80%=48」と計算され、累計値は、「76+48=124」と更新される。この累計値「124」は、第1閾値「80」よりも大きいため、名称検出部108aは、対象物OB3aが該当する対象物として検出されたと判別する。
(4)「画像」による検出の結果、照合画像#4と対象物OB3aとの合致度が15%の場合、評価値は、「基準値100×合致度15%=15」と計算される。この評価値「15」は、第2閾値「20」よりも小さいため、名称検出部108aは、この評価値を使用すべきないと判別して、累計値に加算しない。続けて、名称検出部108aは、次の優先順位の属性で検出を行う。名称検出部108aは、他の優先順位の属性の場合も、同様に、第2閾値以上でない評価値を累計値に加算しない。
【0112】
以下、同様にして、名称検出部108aは、評価値の累計値が第1閾値以上である対象物OBが存在すると判別されるか、「名称」に係る特徴情報に格納されている全ての属性について、対応する検出方法による検出を実行済みであると判別されるまで、優先順位4番の属性「同類物」に対応する検出方法である「同類物検出処理」で、
図4(a)の特徴情報テーブルFEにおいて単語「メロン」に対応付けて格納されている、属性「同類物」に係る特徴である特徴「スイカ」で検出を試み、更に、優先順位5番の属性「関連用語」に対応する検出方法である「関連用語検出処理」で、
図4(a)の特徴情報テーブルFEにおいて単語「メロン」に対応付けて格納されている、属性「関連用語」に係る特徴である特徴「種」「網」「高価」で検出を試みる。その結果、「名称」に係る特徴情報に格納されている全ての属性について、対応する検出方法による検出を実行しても、上記計算式「(優先順位1番の属性の合致度×基準値)+(優先順位2番の属性の合致度×基準値)+(優先順位3番の属性の合致度×基準値)+(優先順位4番の属性の合致度×基準値)+(優先順位5番の属性の合致度×基準値)≧第1閾値」を満たす対象物OBが存在しなかった場合は、名称検出部108aは、検出対象を検出できなかったと判別する。
【0113】
以下、「名称検出処理」の一部として実行される、属性ごとの検出方法を詳述する。属性「色」に対応する検出方法である「色検出処理」、及び属性「形状」に対応する検出方法である「形状検出処理」については、詳細に後述する。ここでは、属性「同類物」に対応する検出方法である「同類物検出処理」、及び属性「関連用語」に対応する検出方法である「関連用語検出処理」について説明する。
【0114】
「同類物検出処理」は、検出部108が備える同類物検出部108eによって実行される。
【0115】
図5のフローチャートのステップS3において検出対象の指定に係る言葉として「メロン」が入力され、
図8のターゲット画像TGaに対して「同類物検出処理」を実行する場合、同類物検出部108eは、まず、
図4(a)の特徴情報テーブルFEを参照し、単語「メロン」に対応付けて格納されている、属性「同類物」に係る特徴である単語「スイカ」を取得する。
【0116】
次に、同類物検出部108eは、
図4(a)の特徴情報テーブルFEを参照し、取得された単語「スイカ」に対応付けて格納されている、属性「画像」に係る特徴である照合画像#1を取得する。
【0117】
同類物検出部108eは、
図5のフローチャートのステップS1におけるオブジェクト・色・顔認識処理において認識された各対象物OBを表す画像データと、照合画像#1と、を照合することにより検出対象を検出する。
【0118】
このように、「同類物検出処理」において、同類物検出部108eは、特徴情報テーブルFEにおいて各単語に対応付けて格納されている、属性「同類物」に係る特徴として、他の単語を取得する。そして、特徴情報テーブルFEにおいて当該他の単語に対応付けて格納されている、属性「画像」に係る特徴として照合画像を取得し、該照合画像と、
図5のフローチャートのステップS1におけるオブジェクト・色・顔認識処理によって認識された各対象物OBを表す画像データと、を照合することにより検出対象を検出する。
【0119】
「関連用語検出処理」は、検出部108が備える関連用語検出部108fによって実行される。
【0120】
図5のフローチャートのステップS3において検出対象の指定に係る言葉として「メロン」が入力され、
図8のターゲット画像TGaに対して「関連用語検出処理」を実行する場合、関連用語検出部108fは、まず、
図4(a)の特徴情報テーブルFEを参照し、単語「メロン」に対応付けて格納されている、属性「関連用語」に係る特徴である単語「種」「網」「高価」を取得する。
【0121】
次に、関連用語検出部108fは、特徴情報テーブルFEを参照し、単語「種」「網」「高価」に対応付けて格納されている単語であって、単語「メロン」とは異なる単語である「スイカ」「リンゴ」「ブドウ」を取得する。
【0122】
次に、関連用語検出部108fは、特徴情報テーブルFEを参照し、取得した単語「スイカ」「リンゴ」「ブドウ」に対応付けて格納されている、属性「画像」に係る特徴である照合画像#1、照合画像#5、照合画像#6を取得する。関連用語検出部108fは、
図5のフローチャートのステップS1におけるオブジェクト・色・顔認識処理によって認識された対象物OBを表す画像データと、照合画像#1、照合画像#5、照合画像#6と、を照合することにより検出対象の検出を試みる。
【0123】
このように、「関連用語検出処理」において、関連用語検出部108fは、特徴情報テーブルFEにおいて各単語に対応付けて格納されている、属性「関連用語」に係る特徴を取得する。そして、当該取得された単語に対応付けて格納されている他の単語を取得する。そして、当該他の単語に対応付けて特徴情報テーブルFEに属性「画像」に係る特徴として格納されている照合画像を取得し、該照合画像と、
図5のフローチャートのステップS1におけるオブジェクト・色・顔認識処理によって認識された各対象物OBを表す画像データと、を照合することにより検出対象を検出する。
【0124】
図6のフローチャートに戻り、ステップS44の「名称検出処理」が終了した後、処理はステップS51へ移行する。
【0125】
ステップS43において「色検出」が検出方法として選択された場合、検出部108が備える色検出部108bは、「色検出処理」を実行する(ステップS45)。
【0126】
色検出部108bが実行する「色検出処理」を、
図9のターゲット画像TGbを例に、検出対象を指定する言葉として単語「アカイ」が
図5のフローチャートのステップS3において入力されたと仮定して具体的に説明する。ターゲット画像TGbは、互いに色が異なる複数の対象物OB1b〜OB3bを含んでいる。対象物OB1bは緑色、対象物OB2bは赤色、対象物OB3bは青色である。
【0127】
ステップS45の「色検出処理」において、色検出部108bは、ステップS1において認識部101が認識した各対象物OBの色の分布を示す情報に基づいて、抽出部104がステップS41において抽出し、ステップS42において属性を判別した属性が色である「赤い」という特徴に類似する特徴を有する対象物OBを検出する。具体的には、色検出部108bは、ターゲット画像TGb内の各対象物OBの領域内の画素値を解析して、「赤い」に対応する所定範囲の画素値を有する対象物OBを検出する。ターゲット画像TGbに対する色検出の例では、検出部108は、ターゲット画像TGb内の3つの対象物OB1b〜OB3bのうち、赤色の対象物OB2bを、検出対象として検出する。
【0128】
ステップS45の「色検出処理」が終了した後、処理はステップS51へ移行する。
【0129】
ステップS43において「形状検出」が検出方法として選択された場合、検出部108が備える形状検出部108cは、「形状検出処理」を実行する(ステップS46)。
【0130】
形状検出部108cが実行する「形状検出処理」を、
図10のターゲット画像TGcを例に、検出対象を指定する言葉として単語「マルイ」が
図5のフローチャートのステップS3において入力されたと仮定して具体的に説明する。ターゲット画像TGcは、互いに形状が異なる複数の対象物OB1c〜OB3cを含んでいる。対象物OB1cは丸い形状、対象物OB2cは円筒形状、対象物OB3cは直方体である。
【0131】
ステップS45の「形状検出処理」において、形状検出部108cは、ステップS1において認識部101が認識した各対象物OBの形状を示す情報に基づいて、抽出部104がステップS41において抽出し、ステップS42において属性を判別した属性が形状である「丸い」という特徴に類似する特徴を有する対象物OBを検出する。具体的には、形状検出部108cは、ターゲット画像TGc内の各対象物OBの輪郭から形状を解析して、「丸い」に対応する形状を有する対象物OBを検出する。ターゲット画像TGcに対する形状検出の例では、検出部108は、ターゲット画像TGc内の3つの対象物OB1c〜OB3cのうち、丸い形状の対象物OB1cを、検出対象として検出する。
【0132】
ステップS45の「形状検出処理」が終了した後、処理はステップS51へ移行する。
【0133】
ステップS43において「大きさ検出」が検出方法として選択された場合、検出部108が備える位置・大きさ検出部108dは、「大きさ検出処理」を実行する(ステップS47)。
【0134】
位置・大きさ検出部108dが実行する「大きさ検出処理」を、
図11のターゲット画像TGdを例に、検出対象を指定する言葉として単語「オオキイ」が
図5のフローチャートのステップS3において入力されたと仮定して具体的に説明する。ターゲット画像TGdは、大きさが異なる複数の対象物OB1d〜OB9dを含んでいる。具体的には、対象物OB1d〜OB3dの大きさは最も大きく、対象物OB4d〜OB6dの大きさは中程度であって、対象物OB7d〜OB9dの大きさは最も小さい。
【0135】
ステップS47の「大きさ検出処理」において、位置・大きさ検出部108dは、ステップS1において認識部101が認識した対象物の中から、抽出部104がステップS41において抽出し、ステップS42において属性を判別した属性が大きさである「大きい」という特徴に類似する特徴を有する対象物OBを検出する。具体的には、位置・大きさ検出部108dは、ターゲット画像TGd内の各対象物OBの領域の面積を比較して、相対的に大きい対象物OBを検出する。ターゲット画像TBdに対する大きさ検出の例では、検出部108は、ターゲット画像TBd内の9つの対象物OB1d〜OB9dのうち、最も大きい対象物OB1d〜OB3dを、検出対象として検出する。
【0136】
ステップS47の「大きさ検出処理」が終了した後、処理はステップS51へ移行する。
【0137】
ステップS43において「広がり方向位置検出」が検出方法として選択された場合、検出部108が備える位置・大きさ検出部108dは、「広がり方向位置検出処理」を実行する(ステップS48)。
【0138】
位置・大きさ検出部108dが実行する「広がり方向位置検出処理」を、
図11のターゲット画像TGdを例に、検出対象を指定する言葉として単語「ミギガワ」が
図5のフローチャートのステップS3において入力されたと仮定して具体的に説明する。ターゲット画像TGbは、互いにターゲット画像TGd内における位置が異なる複数の対象物OB1d〜OB9dを含んでいる。
【0139】
ステップS48の「広がり方向位置検出処理」において、検出部107は、ステップS1において認識部101が認識した対象物OBの中から、抽出部104がステップS41において抽出し、ステップS42において属性を判別した属性が広がり方向の位置関係である「右側」という特徴に類似する特徴を有する対象物OBを検出する。具体的には、位置・大きさ検出部108dは、ターゲット画像TGd内の各対象物OBの領域の位置を比較して、相対的に右側に位置している対象物OBを検出する。ターゲット画像TBdに対する広がり方向位置検出の例では、検出部108は、ターゲット画像TBd内の9つの対象物OB1d〜OB9dのうち、最も右側に位置している対象物OB9dを、検出対象として検出する。
【0140】
ステップS48の「広がり方向位置検出処理」が終了した後、処理はステップS51へ移行する。
【0141】
ステップS43において「奥行き方向位置検出」が検出方法として選択された場合、検出部108が備える位置・大きさ検出部108dは、「奥行き方向位置検出処理」を実行する(ステップS49)。
【0142】
位置・大きさ方向検出部108dが実行する「奥行き方向位置検出処理」を、
図11のターゲット画像TGdを例に、検出対象を指定する言葉として単語「オク」が
図5のフローチャートのステップS3において入力されたと仮定して具体的に説明する。ターゲット画像TGdは、距離の異なる複数の対象物OB1d〜OB9dを含んでいる。
【0143】
ステップS49の「奥行き方向位置検出処理」において、位置・大きさ検出部108dは、ステップS1において認識部101が認識した対象物OBの中から、抽出部104がステップS41において抽出し、ステップS42において属性を判別した属性が奥行き方向の位置関係である「奥」という特徴に類似する特徴を有する対象物OBを検出する。具体的には、位置・大きさ検出部108dは、距離測定部102によって測定された各対象物OBまでの距離を比較して、相対的に奥に位置している、すなわち距離測定部102によって測定された距離が相対的に大きい対象物OBを検出する。ターゲット画像TBdに対する奥行き方向位置検出の例では、検出部108は、ターゲット画像TBd内の9つの対象物OB1d〜OB9dのうち、最も奥に位置している対象物OB7d〜OB9dを、検出対象として検出する。
【0144】
ステップS49の「奥行き方向位置検出処理」が終了した後、処理はステップS51へ移行する。
【0145】
ステップS43において「組み合わせ検出」が検出方法として選択された場合、検出部108は、「組み合わせ検出処理」を実行する(ステップS50)。具体的には、検出部108は、検出対象の指定に係る属性を構成する複数の属性ごとの検出方法を組み合わせて検出対象を検出する。
【0146】
具体的には、検出部108は、
図6のフローチャートのステップS41において抽出された係り受けを構成する単語のうち、被修飾語である単語の検出対象の指定に係る属性に対応する検出方法によって検出を実行する。次いで、検出部108は、該検出によって検出された対象物OBを対象として、ステップS41において抽出された係り受けを構成する単語のうち、修飾語である単語それぞれの検出対象の指定に係る属性に対応する検出方法を用いて順次、検出を実行する。
【0147】
ここで、検出部108が実行する「組み合わせ検出処理」を、
図12のターゲット画像TGeを例に、検出対象を指定する言葉として「テマエノハナビラ」が
図5のフローチャートのステップS3において入力されたと仮定して具体的に説明する。
【0148】
ここで、ターゲット画像TGeは、
図12に示すように、対象物OB1eを含んでいる。対象物OB1eは、花びらを含む花である。
【0149】
図6のフローチャートのステップS41において、抽出部104は、係り受けを構成する単語として、修飾語である「テマエノ」と、被修飾語である「ハナビラ」と、を抽出する。次にステップS42において属性を判別し、属性が奥行き方向の位置関係である「手前の」と属性が名称である「花びら」により、ステップS50の「組み合わせ検出」を開始すると、検出部108は、被修飾語である「花びら」の検出対象の指定に係る属性「名称」に対応する検出方法である「名称検出」を実行することによって、ターゲット画像TGに含まれる対象物OB1eの花びら部分を検出する。
【0150】
次に、検出部108は、係り受けを構成する単語のうち修飾語である「手前の」の検出対象の指定に係る属性「奥行き方向の位置関係」に対応する検出方法「奥行き方向の位置検出」を実行する。この際に、検出部108は、先の「名称検出」によって検出した、対象物OB1eの複数の花びらのうち、手前に位置する花びら(
図12において矢印で示した花びら)を検出対象として検出する。
【0151】
ステップS50の「組み合わせ検出処理」が終了した後、処理はステップS51へ移行する。
【0152】
図6のフローチャートのステップS51の処理において、検出部108は、検出対象の指定に係る属性としてステップS42で判別された全ての属性について、対応する検出方法による検出を実行したか否かを判別する(ステップS51)。
【0153】
検出対象の指定に係る属性としてステップS42において判別された属性のうち、対応する検出方法による検出を未だ実行していない属性があると判別した場合(ステップS51;No)、処理はステップS43へ戻る。そして、選択部106は、未だ対応する検出方法による検出を実行していない属性について、対応する検出方法を選択する。
【0154】
最終的に、検出部108が全ての属性に対応する検出方法で検出を実行済みであると判別すると(ステップS51;Yes)、オブジェクト検出処理を終了する。
【0155】
図5のフローチャートに戻って、ステップS4のオブジェクト検出処理を終了した後、オブジェクト検出処理において検出対象が検出されたか否かを判別する(ステップS5)。
【0156】
ステップS4のオブジェクト検出処理において検出対象が検出されなかったと判別された場合(ステップS5;No)、実行部109は、デフォルトのフォーカス対象を囲むフォーカス枠を表示し(ステップS6)、処理はステップS7へ移る。具体的には、実行部109は、ステップS6において、
図5のフローチャートのステップS1におけるオブジェクト・色・顔認識処理において顔画像領域が認識されていた場合は当該顔画像領域を囲むフォーカス枠を表示し、認識していなかった場合は、ステップS1で取得したターゲット画像TGの中心を囲むフォーカス枠を表示する。
【0157】
ステップS4のオブジェクト検出処理において検出対象が検出されたと判別された場合(ステップS5;Yes)、実行部109は、検出された検出対象をフォーカス対象に設定し(ステップS8)、当該検出対象を囲むフォーカス枠を表示して(ステップS9)、処理はステップS7へ移る。なお、オブジェクト検出処理において検出対象が複数検出された場合は、ライブビュー画像のより中心に位置する対象物OBを検出対象とする。
【0158】
ステップS7では、CPU21は、シャッターボタンが押下されたか否かを判別する(ステップS7)。シャッターボタンが押下されていないと判別した場合(ステップS7;No)、CPU21は、その後キャンセルボタンが押下されるまで、ステップS3〜S9を繰り返す。すなわち、CPU21は、引き続き、検出対象を指定する言葉の入力を受け付け、入力された言葉から検出対象を検出する処理を実行する。
【0159】
シャッターボタンが押下されたと判別した場合(ステップS7;Yes)、実行部109は、設定されたフォーカス対象へフォーカス(焦点)を合わせるAF(オートフォーカス)処理を実行する(ステップS10)。そして、撮影部110は、フォーカス対象を撮影して(ステップS11)、生成した撮影画像を表示部31に表示させると共に主記憶部23に格納し、撮影処理を終了する。
【0160】
以上説明したように、本実施形態に係る検出装置1は、操作者によって音声入力された言葉によって指定されるフォーカス対象をターゲット画像TGから検出して、検出したフォーカス対象にオートフォーカスする。一度撮影した後やセルフタイマーを起動させた後でもフォーカス対象を簡単に変更でき、また自由に音声を入力してフォーカス対象を指定することができるので、指定に時間がかからず、類似する複数の被写体がある場合にも的確にフォーカス対象を指定することができる。
【0161】
(変形例)
本実施形態において、検出装置1は、指定対象を指定する言葉の音声による入力を受け付けた。しかし、言葉は、音声入力に限らず、キーボードを用いた入力等の任意の方法により入力することができる。
【0162】
本実施形態において、検出装置1は、撮像した画像をターゲット画像TGとして取得した。しかし、ターゲット画像TGは、検出装置1が撮像した画像に限らず、検出装置1が予め撮像し記憶していた画像でもよいし、検出装置1の外部の装置から取得した画像でもよい。
【0163】
本実施形態において、検出装置1は、検出した検出対象を囲むフォーカス枠を表示し、当該検出対象にフォーカスを合わせるAF(オートフォーカス)処理を実行した。しかし、本発明に係る検出装置は、AF処理以外の任意の処理を検出対象に施すことができる。例えば、検出装置1は、自動的に露出を調節するAE(自動露出、オートエクスポージャ)処理や、自動的にホワイトバランスを調節するAWB(オートホワイトバランス)処理等を検出対象に施してもよい。
【0164】
上述の実施形態では、本発明に係る検出装置及び検出方法を、撮影機能を備えた装置を例に用いて説明した。しかし、本発明に係る検出装置及び検出方法は、カメラ等の撮影機能を備えた装置に限らず、コンピュータ、携帯電話機、デジタルカメラ、PDA(Personal Digital Assistance)等の任意の電子機器によって実現することができる。そして、実行部109は、検出部108により検出された検出対象に対して、撮影部110による撮影のためのAF、AE、AWB等の処理以外の所定の処理を実行してもよい。例えば、複数の検出対象を含む画像を表示画面に表示する電子機器において、実行部109は、検出部108により検出された検出対象が表示画面の中心に位置するように、位置を変えて画像を表示するようにしてもよい。このように、検出部108により検出された検出対象に対して実行部109が様々な処理を実行することで、操作者の操作性を向上させることができる。
【0165】
具体的には、コンピュータ、携帯電話機、デジタルカメラ、PDA等を本発明に係る検出装置として機能させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体(例えば、メモリカードやCD−ROM(Compact Disc Read−Only Memory)、DVD−ROM(Digital Versatile Disc Read−Only Memory)等)に格納して配布し、インストールすることにより本発明に係る検出装置を実現することができる。
【0166】
或いは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置(例えば、ディスク装置等)に格納しておき、コンピュータ、携帯電話機、デジタルカメラ、PDA等がこのプログラムをダウンロードすることによって本発明に係る検出装置を実現してもよい。
【0167】
また、本発明に係る検出装置の機能を、オペレーティングシステム(OS)とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0168】
また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る検出装置を実現してもよい。
【0169】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
【0170】
(付記1)
画像から検出対象を検出する検出装置であって、
前記検出対象を指定する言葉を入力する入力手段と、
前記入力手段により入力された言葉から前記検出対象の指定に係る属性を判別する判別手段と、
前記判別手段により判別された属性に応じて、前記検出対象の検出方法を選択する選択手段と、
前記選択手段により選択された検出方法により、前記画像から前記検出対象を検出する検出手段と、を備える、
ことを特徴とする検出装置。
【0171】
(付記2)
前記判別手段は、前記入力手段により入力された言葉が有する属性に係る特徴から、前記検出対象の指定に係る属性に係る特徴を、更に、判別する、
ことを特徴とする付記1に記載の検出装置。
【0172】
(付記3)
前記検出手段は、前記選択手段により選択された検出方法により、前記画像から前記判別手段により判別された属性に係る特徴が一致する検出対象を検出する、
ことを特徴とする付記2に記載の検出装置。
【0173】
(付記4)
前記画像に含まれる不特定の対象物を、属性に係る特徴に基づいて認識する認識手段を備え、
前記検出手段は、前記認識手段により認識された対象物の中から、前記判別手段により判別された属性に係る特徴が一致する検出対象を検出する、
ことを特徴とする付記2又は3に記載の検出装置。
【0174】
(付記5)
対象物の名称と検出のための特徴情報とを対応づけて記憶する特徴情報記憶手段を、更に備え、
前記判別手段は、前記入力手段により入力された言葉から、前記検出対象の指定に係る属性の一として、名称を判別し、
前記選択手段は、前記判別手段により前記検出対象の指定に係る属性が名称であると判別された場合に、前記特徴情報記憶手段により名称に対応づけて記憶されている前記特徴情報に基づく検出方法を選択し、
前記検出手段は、前記認識手段により認識された対象物から、前記選択手段により選択された前記特徴情報に基づく検出方法により前記検出対象を検出する、
ことを特徴とする付記4に記載の検出装置。
【0175】
(付記6)
前記特徴情報記憶手段は、前記特徴情報として優先順位の付けられた複数の属性に係る特徴を、前記対象物の名称に対応づけて記憶し、
前記選択手段は、前記判別手段により前記検出対象の指定に係る属性が名称であると判別された場合に、前記特徴情報記憶手段により名称に対応づけて記憶されている前記特徴情報における前記複数の属性に基づく検出方法を、前記優先順位の順に選択し、
前記検出手段は、前記選択手段により前記優先順位の順に選択された検出方法により、前記認識手段により認識された対象物から、前記検出対象を検出する、
ことを特徴とする付記5に記載の検出装置。
【0176】
(付記7)
前記判別手段は、前記入力手段により入力された言葉から、前記検出対象の指定に係る属性の一として、色を判別し、
前記選択手段は、前記判別手段により前記検出対象の指定に係る属性が色であると判別された場合に、色に基づく検出方法を選択し、
前記検出手段は、前記選択手段により選択された検出方法として、前記認識手段により認識された対象物の色の分布を解析して前記検出対象を検出する、
ことを特徴とする付記4乃至6の何れか1つに記載の検出装置。
【0177】
(付記8)
前記判別手段は、前記入力手段により入力された言葉から、前記検出対象の指定に係る属性の一として、形状を判別し、
前記選択手段は、前記判別手段により前記検出対象の指定に係る属性が形状であると判別された場合に、形状に基づく検出方法を選択し、
前記検出手段は、前記選択手段により選択された検出方法として、前記認識手段により認識された対象物の輪郭から形状を解析して前記検出対象を検出する、
ことを特徴とする付記4乃至7の何れか1つに記載の検出装置。
【0178】
(付記9)
前記判別手段は、前記入力手段により入力された言葉から、前記検出対象の指定に係る属性の一として、大きさを判別し、
前記選択手段は、前記判別手段により前記検出対象の指定に係る属性が大きさであると判別された場合に、大きさに基づく検出方法を選択し、
前記検出手段は、前記選択手段により選択された検出方法として、前記認識手段により認識された対象物の面積を比較して前記検出対象を検出する、
ことを特徴とする付記4乃至8の何れか1つに記載の検出装置。
【0179】
(付記10)
前記判別手段は、前記入力手段により入力された言葉から、前記検出対象の指定に係る属性の一として、広がり方向の位置関係を判別し、
前記選択手段は、前記判別手段により前記検出対象の指定に係る属性が広がり方向の位置関係であると判別された場合に、広がり方向の位置関係に基づく検出方法を選択し、
前記検出手段は、前記認識手段により認識された対象物の前記画像内における位置を比較して検出対象を検出する、
ことを特徴とする付記4乃至9の何れか1つに記載の検出装置。
【0180】
(付記11)
前記認識手段により認識された対象物までの距離を測定する距離測定手段を更に備え、
前記判別手段は、前記入力手段により入力された言葉から、前記検出対象の指定に係る属性の一として、奥行き方向の位置関係を判別し、
前記選択手段は、前記判別手段により前記検出対象の指定に係る属性が奥行き方向の位置関係であると判別された場合に、奥行き方向の位置関係に基づく検出方法を選択し、
前記検出手段は、前記距離測定手段により測定された距離を比較して検出対象を検出する、
ことを特徴とする付記4乃至10の何れか1つに記載の検出装置。
【0181】
(付記12)
前記判別手段は、前記入力手段により入力された言葉から、前記検出対象の指定に係る属性が複数の属性の組み合わせであると判別し、
前記選択手段は、前記判別手段により判別された組み合わせを構成する複数の属性ごとの検出方法を選択し、
前記検出手段は、前記選択手段により選択された複数の検出方法を組み合わせて、前記画像から前記検出対象を検出する、
ことを特徴とする付記1乃至11の何れか1つに記載の検出装置。
【0182】
(付記13)
前記入力手段は、
音声を入力する音声入力手段と、
前記音声入力手段により入力された音声を言葉に変換することにより、前記検出対象を指定する言葉を取得する変換手段と、
を備える、
ことを特徴とする付記1乃至12の何れか1つに記載の検出装置。
【0183】
(付記14)
前記検出手段により検出された前記検出対象に対して、所定の処理を実行する実行手段を、更に備える、
ことを特徴とする付記1乃至13の何れか1つに記載の検出装置。
【0184】
(付記15)
撮影手段を更に備え、
前記実行手段は、前記所定の処理として、前記撮影手段による撮影のためのオートフォーカス、オートエクスポージャ、又はオートホワイトバランスのいずれかの処理を実行する、
ことを特徴とする付記14に記載の検出装置。
【0185】
(付記16)
画像から検出対象を検出する検出装置であって、
音声を入力する音声入力手段により入力された音声を言葉に変換する変換手段と、
前記変換手段により変換された言葉から特徴を抽出する抽出手段と、
前記抽出手段により抽出された特徴に類似する特徴を有する前記検出対象を、前記画像から検出する検出手段と、を備える、
ことを特徴とする検出装置。
【0186】
(付記17)
前記抽出手段は、前記変換手段により変換された言葉から、名称、色、形状、大きさ或いは位置関係の内の少なくとも一である属性に係る特徴を抽出し、
前記検出手段は、前記抽出手段により抽出された属性に係る特徴に類似する特徴を有する前記検出対象を、前記画像から検出する、
ことを特徴とする付記16に記載の検出装置。
【0187】
(付記18)
画像から検出対象を検出する検出方法であって、
前記検出対象を指定する言葉を入力する入力処理と、
前記入力処理により入力された言葉から前記検出対象の指定に係る属性を判別する判別処理と、
前記判別処理により判別された属性に応じて、前記検出対象の検出方法を選択する選択処理と、
前記選択処理により選択された検出方法により、前記画像から前記検出対象を検出する検出処理と、を含む、
ことを特徴とする検出方法。
【0188】
(付記19)
コンピュータを、画像から検出対象を検出する検出装置として機能させるプログラムであって、
前記検出対象を指定する言葉を入力する入力機能と、
前記入力機能により入力された言葉から前記検出対象の指定に係る属性を判別する判別機能と、
前記判別機能により判別された属性に応じて、前記検出対象の検出方法を選択する選択機能と、
前記選択機能により選択された検出方法により、前記画像から前記検出対象を検出する検出機能と、をコンピュータに実現させる、
ことを特徴とするプログラム。
【0189】
(付記20)
画像から検出対象を検出する検出方法であって、
音声を入力する音声入力処理により入力された音声を言葉に変換する変換処理と、
前記変換処理により変換された言葉から特徴を抽出する抽出処理と、
前記抽出処理により抽出された特徴に類似する特徴を有する前記検出対象を、前記画像から検出する検出処理と、を含む、
ことを特徴とする検出方法。
【0190】
(付記21)
コンピュータを、画像から検出対象を検出する検出装置として機能させるプログラムであって、
音声を入力する音声入力機能により入力された音声を言葉に変換する変換機能と、
前記変換機能により変換された言葉から特徴を抽出する抽出機能と、
前記抽出機能により抽出された特徴に類似する特徴を有する前記検出対象を、前記画像から検出する検出機能と、をコンピュータに実現させる、
ことを特徴とするプログラム。