(58)【調査した分野】(Int.Cl.,DB名)
複数の撮像画像を撮影する撮像部と、撮影された前記複数の撮像画像を分類するためのグループを生成し、各撮像画像の属するグループを算出するグループ算出部と、前記撮像画像を格納するための第1のバッファ及び第2のバッファと、を有する携帯端末における画像分類方法であって、
直前に生成された第1のグループに属するいずれか1の画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定するグループ化ステップ
を備え、
前記グループ化ステップでは、
前記第1の撮像画像を前記第1のバッファに格納し、前記第2の撮像画像を前記第2のバッファに格納し、前記第1の撮像画像および前記第2の撮像画像が同一のグループに属すると判定している間は、前記第2の撮像画像に続いて撮影された前記撮像画像を新たな前記第2の撮像画像として、前記第2のバッファに格納されている前記第2の撮像画像と
入れ替える画像分類方法であって、
前記第1のバッファ及び前記第2のバッファの他に、処理能力に応じて設けるバッファの数を増加させることを特徴とする画像分類方法。
【発明を実施するための形態】
【0013】
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。
図1は本実施の形態にかかる携帯端末1の構成を示すブロック図である。携帯端末1は、撮像部101と、適合度付与部102と、バッファ103と、バッファ104と、グループ算出部105と、縮小処理部106と、エンコード部107と、手動保存処理部110と、を備える。手動保存処理部110は、一次保存メモリ111と、代表画像抽出部112と、表示部113と、を備える。携帯端末1は、フラッシュメモリ201との接続インターフェイスを有する。
【0014】
撮像部101は、動画像及び静止画像を撮像するためのカメラ機能を含んだ処理部である。当該カメラ機能は、連写機能を備える。ここで、連写機能とは1回のシャッターボタンを押した際に複数の画像が撮像する機能と、シャッターボタンを素早く押すことにより押したタイミングの画像を撮像する機能と、を含む概念である。撮像部101は、撮像した画像をバッファ103またはバッファ104に格納する。この際、撮像部101は、グループ算出部105により指定されたバッファに対して撮像画像を入力する。
【0015】
なお、撮像部101は、連続撮像を行うモードであるか否かに応じて画像の出力先を変更してもよい。たとえば連続撮像を行わないモードである場合、撮像部101は、撮像画像をそのままフラッシュメモリ201に格納してもよい。
【0016】
適合度付与部102は、撮像部101が撮像した画像の各々に対して適合度を付与する処理部である。適合度とは、所望の条件に対する適合性を示す指標となる情報である。たとえば、適合度は撮像対象の人間が笑顔になっているか、手ぶれの無い良質な画像であるか等の情報である。適合度付与部102は、撮像部101が出力した画像を解析し、適合度を付与する。なお、適合度付与部102は、画像に対してその他のメタデータを付与することも可能である。
【0017】
図2は、適合度が付与された画像の概念を示す図である。適合度付与部102は、撮像部101が撮像した画像に対して、適合度項目毎に適合度を示す数値を付与する。たとえば、
図2の画像1には、笑顔指数"10"及び良質画像指数"80"が付与されている。
【0018】
バッファ103及びバッファ104は、適合度が付された画像が格納される記憶領域である。バッファ103及びバッファ104のいずれか一方には、後に入力される画像(第2の撮像画像)のグループ分けに用いられる画像(第1の撮像画像)が格納される。グループ分けに用いる画像(第1の撮像画像)には、後述のグループ算出部105によってグループ番号が付されている。
【0019】
グループ算出部105は、撮像部101が撮像した画像をグループ化する(画像にグループ番号を付与する)ための処理部である。グループ算出部105は、グループ算出部105は、バッファ103及びバッファ104から画像を読み取り、両画像の類似度を算出する。グループ算出部105が読み取った両画像のうち、一方の画像にはグループ番号を付されている。当該類似度の算出は、両画像の画素値を算出し、当該画素値を比較することにより行う。また、両画像から複数の画素を抽出し、当該複数の画素の平均値を夫々算出し、算出した平均値同士を比較することにより行ってもよい。
【0020】
算出した類似度が十分に高い場合、グループ算出部105は一方の画像に付与されているグループ番号と同じ番号を、グループ番号が付されていない他方の画像に付与する。そして、新たにグループ番号を付与した画像が入っていたバッファを次の画像の入力先としてカメラ部101に通知する。
【0021】
算出した類似度が高くない場合、グループ算出部105は一方の画像に付与されているグループ番号と異なる番号を、グループ番号が付されていない他方の画像に付与する。本例では、グループ算出部105は一方の画像に付与されているグループ番号に1を加算した値をグループ番号が付されていない他方の画像に付与する。そして、新たにグループ番号を付与した画像が入っていたバッファとは異なるバッファを次の画像の入力先としてカメラ部101に通知する。
【0022】
なお、類似度が高いか否かの判定には、ユーザが指定した閾値を用いることも可能である。たとえば、ユーザが閾値を高く設定した場合、比較する両画像の画素値が相当程度類似していなければ両者が類似するものとして判定されない。
【0023】
具体的な動作例を以下に説明する。連写機能により撮像した1枚目の画像がバッファ103に格納される。グループ算出部105は、1枚目の画像にグループ番号1を付与する。またグループ算出部105は、続いて入力される画像をバッファ104に格納することを撮像部101に通知する。
【0024】
続いて撮像した2枚目の画像がバッファ104に格納される。グループ算出部105は、バッファ103及びバッファ104から画像を読み出し、両者の類似度を算出する。ここで両者の類似度が高い場合、グループ算出部105は2枚目の画像(バッファ104に格納されていた画像)にグループ番号1を付与する。そして、グループ算出部105は当該画像(2枚目の画像)を縮小処理部106及びエンコード部107に出力する。この場合、続いて入力される画像(3枚目の画像)の入力先を変更しないため、グループ算出部105は撮像部101に対する通知を行わない。
【0025】
続いて、3枚目の画像がバッファ104に格納される。グループ算出部105は、バッファ103及びバッファ104から画像を読み出し、両者の類似度を算出する。ここで両者の類似度が低い場合、グループ算出部105は3枚目の画像(バッファ104に格納されていた画像)に新たなグループ番号である2を付与する。そして、グループ算出部105はバッファ103に格納されていた画像(1枚目の画像)を縮小処理部106及びエンコード部107に出力する。またグループ算出部105は、続いて入力される画像(4枚目の画像)をバッファ103に格納することを撮像部101に通知する。
【0026】
上述のように、同一グループに属する画像が両バッファに格納されている場合、グループ算出部105は先に入力された画像をバッファ内に残す。一般に、連写機能により撮像した場合、前後する画像の類似度は高くなる。そのため先に入力された画像をバッファに残すことにより、類似度が高いか否かの判定を正確に行うことが出来る。
【0027】
なお、グループ算出部105のグループ番号付与にかかる処理はこれに限られない。たとえば、1枚目の画像と2枚目の画像を比較し、上述のように2枚目の画像にグループ番号を付与する。次に、グループ算出部105は3枚目から5枚目までの画像には、2枚目の画像に付したグループ番号と同一のグループ番号を自動的に付与する。続いて、グループ算出部105は6枚目の画像と、バッファに残っている画像を比較し、6枚目の画像にグループ番号を付与する。グループ算出部105は7枚目から9枚目までの画像には、6枚目の画像に付したグループ番号と同一のグループ番号を自動的に付与する。このように、画像の比較を減らすことにより、処理速度の向上を図ることも可能である。
【0028】
縮小処理部106は、グループ算出部105がグループを付与した画像のサムネイル画像を生成する処理部である。縮小処理部106は、生成したサムネイル画像をエンコード部107に出力する。
【0029】
エンコード部107は、グループ算出部105から入力された画像と、縮小処理部106から入力されたサムネイル画像と、をエンコードする。たとえば、エンコード部107は当該画像をJPEG(Joint Photographic Experts Group)形式の画像にエンコードする。エンコード部107は、携帯電話1が自動保存モードであるか否かによりエンコードした画像の出力先を変更する。
【0030】
自動保存モードとは、撮像した画像をフラッシュメモリ201等の記憶装置に自動的に保存する動作モードである。自動保存モードに設定されている場合、ユーザは保存する画像を選択することが出来ない。一方、手動保存モードとは、撮像した画像を一時的なメモリに格納しておき、ユーザが一次的なメモリに格納された画像からフラッシュメモリ201等に格納する画像を選択する動作モードである。ユーザは、どちらの動作モードにより携帯端末1を動作させるかを指定できる。
【0031】
自動保存モード設定時には、エンコード部107はエンコード処理を行った画像をフラッシュメモリ201に格納する。なお、エンコード部107は、フラッシュメモリ201に限らず、任意の記憶装置に画像を保存することが可能である。手動保存モード設定時には、エンコード部107は、エンコード処理を行った画像を一次保存メモリ111に出力する。
【0032】
一次保存メモリ111は、手動保存モード設定時に画像が一次的に保存される記憶装置である。一次保存メモリ111に格納される画像には、グループ番号及び適合度情報が付与されている。
【0033】
代表画像抽出部112は、同一グループに属する複数の画像から適合度情報に基づいて、グループを代表する代表画像を抽出する処理部である。たとえば、代表画像抽出部112はグループ内の画像の中で笑顔指数が一番高い画像をグループの代表画像とする。なお、ユーザは代表画像を決定するためにどの適合度情報を用いるかを設定できる。さらにまた、代表画像抽出部112は複数の適合度情報の数値を加算して一番加算値が高い画像を代表画像と決定することもできる。
【0034】
表示部113は、携帯端末1の情報表示部であり、たとえば液晶ディスプレイである。表示部113には、各グループの代表画像のサムネイル画像が一覧形式により表示される。ここで、各グループの代表画像は撮像時間の順序に並べられて表示される。撮像時間の順序は、グループ番号が時系列に従って付与されているため容易に判断できる。表示部113に表示される画面の一例を
図3に示す。一覧画面には、各グループの代表画像と、撮像情報(たとえば撮像時間、撮像者情報等)が表示される。ユーザは、操作ボタン(不図示)により任意のグループを選択することが出来る。
【0035】
たとえば、ユーザがグループ2を選択した場合、表示部113にはグループ2の各画像が適合度の高い順序により表示される。ユーザは、表示順序を決定するために用いる適合度情報を変更することが可能である。たとえば、ユーザは笑顔指数の高い順序に並んでいる画像群を、手ぶれの少ない画像の順序に並べ替えて表示することが可能である。ユーザは、操作ボタン等を操作することにより保存する画像を選択する。保存対象となった画像には、保存フラグが設定される。ユーザは保存処理の実行を指示する。保存処理の実行時に保存フラグが設定されている画像は、一次記憶メモリ111から読み出され、フラッシュメモリ201に書き込まれる。なお、ユーザは、保存処理の実行が行われる前であればいつでも保存フラグの解除を指示することが出来る。
【0036】
また、ユーザは画像に対して保存フラグを設定した後に、表示順序を決定するために用いる適合度情報の変更を指示することも可能である。この場合、保存フラグが設定されている画像は、保存フラグが設定されていることが分かるように緑取り等の表示効果がかけられる。
【0037】
フラッシュメモリ201は、携帯端末1のデータ保存に用いられる二次記憶装置である。フラッシュメモリ201の一例として、スマートメディア、コンパクトフラッシュ(登録商標)、SDメモリーカード等が挙げられる。
【0038】
続いて、
図4のフローチャートを参照し、本実施の形態にかかる携帯端末の自動保存モード設定時における処理を説明する。はじめに、携帯端末1のカメラ機能が起動する(S101)。撮像部101は、ユーザのシャッターボタン操作に応じて撮像画像を生成する(S102)。適合度付与部102は、撮像画像の各々を読み込み、適合度を付与する(S103)。
【0039】
撮像部101は、適合度が付与された画像をグループ算出部105によって指定されたバッファに対して格納する(S104)。グループ算出部105は、バッファ103及びバッファ104から画像を読み出し、画像に対してグループ番号を付与する(S105)。グループ算出部105は、グループ番号が付与された画像を縮小処理部106と、エンコード部107と、に出力する。
【0040】
縮小処理部106は、入力された画像のサムネイル画像を生成する(S106)。縮小処理部106は、生成したサムネイル画像をエンコード部107に出力する。エンコード部107は、グループ算出部105から入力された画像と、縮小処理部106から入力されたサムネイル画像と、をエンコードする(S107)。エンコード部107はエンコード処理を行った画像をフラッシュメモリ201に書き込む(S108)。フラッシュメモリ201に書き込まれる画像には、適合度及びグループ番号が付与されている。
【0041】
次に、
図5のフローチャートを参照し、本実施の形態にかかる携帯端末の手動保存モード設定時における処理を説明する。
図5において、
図4と同一符号を付した処理は前述した処理と基本的に同じ処理を行う。
【0042】
携帯端末1の各処理部は、撮像部101が撮像した画像に対して適合度の付与及びグループ番号の付与を行う(S101〜S105)。そして、縮小処理部106は、当該画像のサムネイル画像の生成を行う(S106)。エンコード部107には、当該画像とサムネイル画像が入力される。エンコード部107は、この2つの画像のエンコード処理を行う(S107)。
【0043】
エンコード部107は、エンコード処理を行った画像を一次保存メモリ111に格納する(S110)。このようにして、撮像部101が撮像した画像が一次保存メモリ111に格納されていく。S102〜S110の処理は、ユーザにより撮像終了が指示されるまで継続される(S111)。
【0044】
ユーザによる撮像終了が指示された場合(S111:Yes)、代表画像抽出部112は、各グループの代表画像を抽出する(S112)。抽出された代表画像の情報を用いて表示部113に表示される一覧画像が生成され、当該一覧画像が表示部113に表示される(S113)。
【0045】
ユーザが代表画像を決定するための適合度情報の変更を指示した場合(S114:Yes)、代表画像の抽出及び表示画面の再生成が行われる(S112、S113)。ユーザが代表画像を決定するための適合度情報の変更を指示しなかった場合(S114:No)、ユーザは一覧画面から保存する画像を選択する(S115)。そして、選択された画像がフラッシュメモリ201に書き込まれる(S116)。
【0046】
続いて、本実施の形態にかかる携帯端末1の効果について説明する。グループ算出部105は、上述のように以前にグループ番号を付与した画像(第1の撮像画像)との関係性、たとえば類似度の比較により新たに入力された画像(第2の撮像画像)の属するグループを決定している。ここで、当該比較は2つの画像の比較のみにより行うことが可能であり、画像比較の処理負荷を軽減することが出来る。そのため、連続撮像を行った場合であっても、画像のグループ化を迅速に行うことが出来る。画像のグループ化を高速に行うことが出来るため、処理能力の制限された携帯端末等であっても、ユーザの操作性を損なうことがない。
【0047】
また、本実施の形態にかかる携帯端末1では、各グループの代表画像が適合度に応じて抽出される。これにより、ユーザは各グループにおける適合度が一番高い画像を容易に参照できる。
【0048】
さらにまた、表示部113には、各グループの代表画像が撮像時間の順序に並べられて表示される。そのため、ユーザは時系列に応じた画像の閲覧が可能になる。
【0049】
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。たとえば、携帯端末1の処理能力に応じて、携帯端末1内に設けるバッファの数を増加させてもよい。バッファの数を増加させることにより、多くのグループに属する画像を保持することが出来るため、グループ化の精度を向上することが出来る。
【0050】
なお、本実施の形態1にかかる携帯端末1の最小構成を
図6に示す。携帯端末1は、撮像部101及びグループ算出部105を備える。撮像部101は、動画像及び静止画像を撮像するためのカメラ機能を含んだ処理部である。当該カメラ機能は、連写機能を備える。
【0051】
グループ算出部105は、撮像部101が撮像した画像をグループ化する(画像にグループ番号を付与する)ための処理部である。グループ算出部105は、グループを適宜作成し、各撮像画像をグループに分類する。グループ算出部105は、入力された撮像画像(第2の撮像画像)を分類するために、直前に生成されたグループに属する撮像画像(第1の撮像画像)を用いる。グループ算出部105は、入力された撮像画像が直前に生成されたグループに属するか否かのみを判定する。このため、判定処理が軽減され、グループ化処理の処理速度が向上する。
【0052】
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0053】
(付記1)
撮像画像を生成する撮像部と、
前記撮像部が生成した複数の撮像画像を分類するためのグループを生成するとともに、
各撮像画像の属するグループを算出するグループ算出部と、を備え、
前記グループ算出部は、直前に生成された第1のグループに属するいずれか1の撮像画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定する携帯端末。
【0054】
(付記2)
前記グループ算出部は、前記第1の撮像画像と、前記第2の撮像画像の類似度を算出し、当該類似度に応じて前記第2の撮像画像が属するグループを算出することを特徴とする付記1に記載の携帯端末。
【0055】
(付記3)
前記第1の撮像画像または前記第2の撮像画像のいずれか一方を格納するための第1のバッファ及び第2のバッファを備えることを特徴とする付記1または付記2に記載の携帯端末。
【0056】
(付記4)
前記撮像部が生成した撮像画像の各々に、所望の条件に対する適合性を示す適合度情報を付与する適合度付与部と、
同一グループに属する複数の撮像画像から前記適合度情報に基づいて、グループを代表する代表画像を抽出する代表画像選定部と、を備えることを特徴とする付記1乃至付記3のいずれか1項に記載の携帯端末。
【0057】
(付記5)
各グループの前記代表画像を撮像時間の順序に並べた表示画面を表示する表示部を備えることを特徴とする付記1乃至付記4のいずれか1項に記載の携帯端末。
【0058】
(付記6)
前記類似度は、前記第1の撮像画像の画素値と、前記第2の撮像画像の画素値と、の差分から算出することを特徴とする付記2乃至付記5のいずれか1項に記載の携帯端末。
【0059】
(付記7)
複数の撮像画像を分類するためのグループを生成し、各撮像画像の属するグループを算出する画像分類方法であって、
直前に生成された第1のグループに属するいずれか1の画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定するグループ化ステップを備える画像分類方法。
【0060】
(付記8)
前記グループ化ステップでは、前記第1の撮像画像と、前記第2の撮像画像の類似度を算出し、当該類似度に応じて前記第2の撮像画像が属するグループを算出することを特徴とする付記7に記載の画像分類方法。
【0061】
(付記9)
前記第1の撮像画像または前記第2の撮像画像のいずれか一方を第1のバッファに格納し、
前記第1のバッファに格納されなかった他方の撮像画像を第2のバッファに格納することを特徴とする付記7または付記8に記載の画像分類方法。
【0062】
(付記10)
撮像した複数の撮像画像の各々に、所望の条件に対する適合性を示す適合度情報を付与する適合度付与ステップと、
同一グループに属する複数の撮像画像から前記適合度情報に基づいて、グループを代表する代表画像を抽出する代表画像選定ステップと、を備えることを特徴とする付記7乃至付記9のいずれか1項に記載の画像分類方法。
【0063】
(付記11)
各グループの前記代表画像を撮像時間の順序に並べた表示画面を表示する表示ステップをさらに備えたことを特徴とする付記7乃至付記10のいずれか1項に記載の画像分類方法。
【0064】
(付記12)
前記類似度は、前記第1の撮像画像の画素値と、前記第2の撮像画像の画素値と、の差分から算出することを特徴とする付記8乃至付記11のいずれか1項に記載の画像分類方法。