(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023184586
(43)【公開日】2023-12-28
(54)【発明の名称】画像処理装置、画像処理方法、プログラムおよび記録媒体
(51)【国際特許分類】
G06F 16/583 20190101AFI20231221BHJP
G06F 3/0484 20220101ALI20231221BHJP
【FI】
G06F16/583
G06F3/0484
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023182949
(22)【出願日】2023-10-25
(62)【分割の表示】P 2022063222の分割
【原出願日】2019-02-22
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【弁理士】
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】伊東 直哉
(72)【発明者】
【氏名】中川 智洋
(72)【発明者】
【氏名】横山 幸徳
(57)【要約】
【課題】画像の撮影時刻以外の条件で検索された画像の一覧の中の1の画像から、その1の画像の撮影時刻の前後に撮影された画像を時系列に表示させることができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。
【解決手段】本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体において、検索条件は、画像群の中から、撮影時刻以外の条件により画像を検索するための条件であり、画像表示部が、検索画像のみを表示部に表示させた後、ユーザからのワンアクションでの指示に応じて、検索画像と、画像群に含まれる、検索画像の撮影時刻の前後に撮影された画像の少なくとも一部と、を時系列画像として時系列により表示部に表示させる。ユーザからのワンアクションでの指示は、検索画像の閲覧画面に表示されたボタンを押すことにより入力される。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ユーザから入力された指示を取得する指示取得部と、
画像群の中から、前記ユーザからの指示に応じて入力された検索条件に一致する画像を検索画像として検索する画像検索部と、
前記画像群に含まれる画像を表示部に表示させる画像表示部と、を備え、
前記検索条件は、前記画像群の中から、撮影時刻以外の条件により画像を検索するための条件であり、
前記画像表示部は、前記検索画像のみを前記表示部に表示させた後、前記ユーザからのワンアクションでの指示に応じて、前記検索画像と、前記画像群に含まれる、前記検索画像の撮影時刻の前後に撮影された画像の少なくとも一部と、を時系列画像として時系列により前記表示部に表示させ、
前記ユーザからのワンアクションでの指示は、前記検索画像の閲覧画面に表示されたボタンを押すことにより入力される、画像処理装置。
【請求項2】
前記画像検索部は、
前記画像群に含まれる画像に付与されたタグ情報を前記表示部に表示させるタグ情報表示部と、
前記表示部に表示されたタグ情報の中から、前記ユーザからの指示に応じて選択されたタグ情報を選択タグ情報として指定するタグ情報指定部と、
前記画像群の中から、前記選択タグ情報が付与された画像を前記検索画像として抽出する画像抽出部と、を備え、
前記タグ情報表示部は、前記画像群に含まれる全ての画像に付与された全てのタグ情報の少なくとも一部を前記表示部に表示させ、
前記タグ情報指定部は、前記表示部に表示されたタグ情報の中から、前記ユーザからの指示に応じて選択された1つ目のタグ情報を第1選択タグ情報として指定し、
前記画像抽出部は、前記画像群の中から、前記第1選択タグ情報が付与された画像を第1検索画像として抽出し、
前記画像表示部は、全ての前記第1検索画像の少なくとも一部を前記表示部に表示させ、
前記タグ情報表示部は、前記全ての第1検索画像に付与された全てのタグ情報の少なくとも一部を前記表示部に表示させる、請求項1に記載の画像処理装置。
【請求項3】
前記タグ情報指定部は、前記第1選択タグ情報に加えて、前記表示部に表示されたタグ情報の中から、前記ユーザからの指示に応じて選択された2つ目のタグ情報を第2選択タグ情報として同時に指定し、
前記画像抽出部は、前記第1検索画像の中から、前記第2選択タグ情報が付与された第1検索画像を第2検索画像として抽出し、
前記画像表示部は、全ての前記第2検索画像の少なくとも一部を前記表示部に表示させ、
前記タグ情報表示部は、前記全ての第2検索画像に付与された全てのタグ情報の少なくとも一部を前記表示部に表示させる、請求項2に記載の画像処理装置。
【請求項4】
前記タグ情報指定部は、前記表示部に表示されたタグ情報の中から、前記ユーザからの指示に応じて選択された2以上の前記タグ情報を前記選択タグ情報として同時に指定し、
前記画像抽出部は、前記画像群の中から、前記2以上の選択タグ情報の全てが付与された画像を前記検索画像として抽出し、
前記画像表示部は、全ての前記検索画像の少なくとも一部を前記表示部に表示させ、
前記タグ情報表示部は、前記全ての検索画像に付与された全てのタグ情報の少なくとも一部を前記表示部に表示させる、請求項2または3に記載の画像処理装置。
【請求項5】
指示取得部が、ユーザから入力された指示を取得するステップと、
画像検索部が、画像群の中から、前記ユーザからの指示に応じて入力された検索条件に一致する画像を検索画像として検索するステップと、
画像表示部が、前記画像群に含まれる画像を表示部に表示させるステップと、を含み、
前記検索条件は、前記画像群の中から、撮影時刻以外の条件により画像を検索するための条件であり、
前記検索画像のみを前記表示部に表示させた後、前記ユーザからのワンアクションでの指示に応じて、前記検索画像と、前記画像群に含まれる、前記検索画像の撮影時刻の前後に撮影された画像の少なくとも一部と、を時系列画像として時系列により前記表示部に表示させ、
前記ユーザからのワンアクションでの指示は、前記検索画像の閲覧画面に表示されたボタンを押すことにより入力される、画像処理方法。
【請求項6】
請求項5に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項7】
請求項5に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像群の中から、検索条件に基づいて画像を検索し、その検索の結果の画像を表示部に表示させる画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【0002】
例えば、スマートフォンに保持されている画像群の中から、ユーザが所望する画像を探す場合、ユーザは、画像群に含まれる画像の一覧(サムネイル画像)を表示部に時系列に表示させ、画像の一覧を時系列に遡りながら所望の画像を探すという方法が用いられる。また、画像群の中から画像を検索するためのキーワードを入力し、タグ情報等の画像の付加情報を利用して、キーワードに一致する画像を検索する方法が知られている。
【0003】
しかし、画像の一覧を表示させて遡るという方法では、画像群に含まれる大量の画像の中から、所望の画像を探すことは非常に困難である。また、キーワードを入力して画像を検索する方法では、どのようなキーワードを使用すればよいのかが明確な場合には、所望の画像を適切に検索することができるかもしれないが、キーワードが明確ではない場合には、所望の画像を適切に検索することは非常に困難である。
【0004】
ここで、本発明に関連性のある先行技術文献として、特許文献1、2がある。
【0005】
特許文献1には、画像データに付与された付加情報に基づいて文字列検索を行うことにより、画像データの検索を行うことが記載されている。例えば、検索したいExifの文字列と、検索したい付箋の文字列と、のAND/ORのいずれかの検索を行うことにより、入力された文字列に一致する付加情報を有する画像データを検索し、検索結果に該当する画像データを表示することが記載されている。
【0006】
特許文献2には、デジタル画像に関連する複数の属性及び属性値をラベルにおいて表示し、ユーザが、ラベルにおいて表示される属性値の一を選択することにより画像の他の集合等を選択することが記載されている。また、選択された画像の集合を閲覧している際に、ユーザが、特定の人間の画像全てを検索し、それらの画像を時系列的に表示し、それらの関連するラベルを表示することが記載されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009-124270号公報
【特許文献2】特許第5216591号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1には、複数の付加情報の文字列のAND検索を行うことなどが記載されているが、ユーザが検索したい文字列を入力する必要があり、直感的に画像を検索することができない。
また、特許文献2には、1枚のデジタル画像の属性値の一を選択することにより、他の画像の集合を閲覧することなどが記載されているが、一の属性値のみに対応する画像の集合を閲覧できるのみであり、例えば複数の属性値により画像を絞り込むことはできない。
【0009】
また、従来のオンラインフォトサービスには、画像の閲覧を促す通知をユーザに送信し、ユーザが所有する過去の画像を閲覧するのを促す機能を有するものがある。
【0010】
画像の閲覧を促す通知がユーザに送信された後、ユーザにより、この通知が開封されると、
図20に示すように、例えばユーザが所有する「2015/01/10」の画像群の中から選択された数枚の画像を用いて作成されたコラージュ画像が表示部に表示される。
【0011】
続いて、ユーザにより、コラージュ画像の下側に表示されている「その他の写真を表示」というボタンが押されると、
図21に示すように、コラージュ画像で用いられている画像と同じ撮影日の「2015年1月10日(土)」の画像群が、画像の撮影時刻の降順に表示部に表示される。
【0012】
また、ユーザは、表示部に表示された画像群を上方向または下方向へ移動させることにより、その前後の撮影日に撮影された画像群を、画像の撮影時刻の順に、順次表示させることができる。
例えば、表示部に表示された画像群が上方向へ移動されると、「2015年1月10日(土)」よりも前の直近の撮影日である、例えば「2015年1月9日(金)」の画像群が表示部に表示される。一方、表示部に表示された画像群が下方向へ移動されると、「2015年1月10日(土)」よりも後の直近の撮影日である、例えば「2015年1月18日(日)」の画像群が表示部に表示される。
【0013】
このように、従来のオンラインフォトサービスには、コラージュ画像から、「その他の写真を表示」のボタンを辿っていくことにより、このコラージュ画像で用いられている画像と同じ撮影日の画像群を時系列に表示させる機能がある。
【0014】
画像の閲覧を促す通知に含まれるコラージュ画像は、「2015年1月10日(土)」という画像の撮影時刻に関する検索条件で検索され、撮影日が「2015年1月10日(土)」の画像群の中から選択された数枚の画像を用いて作成されたものである。従って、コラージュ画像から、このコラージュ画像で用いられている画像の撮影時刻の前後に撮影された、撮影日が「2015年1月10日(土)」の画像群を時系列に表示させることができる。
しかし、従来のオンラインフォトサービスには、画像の撮影時刻以外の任意の条件で検索された画像の中から、その中の1枚の画像の撮影時刻の前後に撮影された画像を時系列に表示させる機能は備えられていない。
【0015】
また、従来のオンラインフォトサービスにおいて、画像群の中から、キーワードに該当する画像を検索する場合、そのキーワードに該当する画像群が、撮影日毎に、画像の撮影時刻の降順に表示部に表示される。
画像群の中から、例えば「サッカー」というキーワードに該当する画像を検索すると、
図22に示すように、「2015年12月5日(土)」の画像群の中から、サッカーに該当する9枚の画像がヒットする。
【0016】
ここで、「2015年12月5日(土)」の表示の右側に表示された「下向き矢印」のボタンが押されると、サッカーとは関係のない画像も含めて、「2015年12月5日(土)」の画像群に含まれる全ての画像が表示され、「下向き矢印」のボタンは、「上向き矢印」のボタンに変更される。「上向き矢印」のボタンが押されると、再びサッカーに該当する9枚の画像が表示され、「下向き矢印」のボタンに戻る。
【0017】
図22に示すように、「サッカー」のキーワードで検索した場合、「サッカー」に該当する画像がヒットした「2015年12月5日(土)」よりも前において、「サッカー」に該当する画像がヒットした撮影年月日は、「2015年11月28日」である。
【0018】
ここで、画像群に含まれる全ての画像が撮影時刻の順に表示される時系列画像の一覧画面に戻り、「2015年12月5日(土)」の画像群を見た場合に、時系列画像の一覧において、「2015年12月5日(土)」の次の画像の撮影年月日は、「2015年12月6日(日)」であり、「2015年12月5日(土)」の前の画像の撮影年月日は、「2015年12月4日(金)」であったとする。
【0019】
このように、従来のオンラインフォトサービスには、画像群から、「サッカー」のキーワードで画像の検索を行った場合に、「サッカー」に該当する画像がある撮影日の画像を、その撮影日毎に表示する機能がある。
【0020】
しかし、従来のオンラインフォトサービスには、例えばボタンを押すというワンアクションで、ヒットした撮影日の画像の一覧から、その中の1枚の画像の撮影時刻の前後に撮影された画像を時系列に表示させる機能は備えられていない。言い換えると、時系列画像の一覧において表示させたい撮影日をユーザが記憶しておき、時系列画像の一覧を表示させて、表示させたい撮影日へユーザが移動させなければならない。
【0021】
本発明の目的は、画像の撮影時刻以外の条件で検索された画像の一覧の中の1の画像から、その1の画像の撮影時刻の前後に撮影された画像を時系列に表示させることができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【0022】
上記目的を達成するために、本発明は、ユーザから入力された指示を取得する指示取得部と、
画像群の中から、ユーザからの指示に応じて入力された検索条件に一致する画像を検索画像として検索する画像検索部と、
画像群に含まれる画像を表示部に表示させる画像表示部と、
表示部に表示された画像の中から、ユーザからの指示に応じて選択された1の画像を指定する画像指定部と、を備え、
検索条件は、画像群の中から、撮影時刻以外の条件により画像を検索するための条件であり、
画像指定部は、表示部に表示された検索画像の中から、ユーザからの指示に応じて選択された1の検索画像を指定検索画像として指定し、
画像表示部は、指定検索画像が指定された場合に、指定検索画像のみを表示部に表示させた後、ユーザからの指示に応じて、指定検索画像と、画像群に含まれる、指定検索画像の撮影時刻の前後に撮影された画像の少なくとも一部と、を時系列画像として時系列により表示部に表示させる、画像処理装置を提供する。
【0023】
ここで、画像表示部は、指定検索画像のみを表示部に表示させた後、ユーザからの指示が入力される毎に、検索画像の中から、指定検索画像の撮影時刻よりも前または後に撮影された1の検索画像のみを、指定検索画像の撮影時刻から時系列に撮影された検索画像の順に順次表示部に表示させることが好ましい。
【0024】
また、画像指定部は、表示部に表示された時系列画像の中から、ユーザからの指示に応じて選択された1の時系列画像を指定時系列画像として指定し、
画像表示部は、指定時系列画像が指定された場合に、指定時系列画像のみを表示部に表示させた後、ユーザからの指示が入力される毎に、画像群の中から、指定時系列画像の撮影時刻よりも前または後に撮影された1の画像のみを、指定時系列画像の撮影時刻から時系列に撮影された画像の順に順次表示部に表示させることが好ましい。
【0025】
また、画像検索部は、
画像群に含まれる画像に付与されたタグ情報を表示部に表示させるタグ情報表示部と、
表示部に表示されたタグ情報の中から、ユーザからの指示に応じて選択されたタグ情報を選択タグ情報として指定するタグ情報指定部と、
画像群の中から、選択タグ情報が付与された画像を検索画像として抽出する画像抽出部と、を備え、
タグ情報表示部は、画像群に含まれる全ての画像に付与された全てのタグ情報の少なくとも一部を表示部に表示させ、
タグ情報指定部は、表示部に表示されたタグ情報の中から、ユーザからの指示に応じて選択された1つ目のタグ情報を第1選択タグ情報として指定し、
画像抽出部は、画像群の中から、第1選択タグ情報が付与された画像を第1検索画像として抽出し、
画像表示部は、全ての第1検索画像の少なくとも一部を表示部に表示させ、
タグ情報表示部は、全ての第1検索画像に付与された全てのタグ情報の少なくとも一部を表示部に表示させることが好ましい。
【0026】
また、タグ情報指定部は、第1選択タグ情報に加えて、表示部に表示されたタグ情報の中から、ユーザからの指示に応じて選択された2つ目のタグ情報を第2選択タグ情報として同時に指定し、
画像抽出部は、第1検索画像の中から、第2選択タグ情報が付与された第1検索画像を第2検索画像として抽出し、
画像表示部は、全ての第2検索画像の少なくとも一部を表示部に表示させ、
タグ情報表示部は、全ての第2検索画像に付与された全てのタグ情報の少なくとも一部を表示部に表示させることが好ましい。
【0027】
また、タグ情報指定部は、表示部に表示されたタグ情報の中から、ユーザからの指示に応じて選択された2以上のタグ情報を選択タグ情報として同時に指定し、
画像抽出部は、画像群の中から、2以上の選択タグ情報の全てが付与された画像を検索画像として抽出し、
画像表示部は、全ての検索画像の少なくとも一部を表示部に表示させ、
タグ情報表示部は、全ての検索画像に付与された全てのタグ情報の少なくとも一部を表示部に表示させることが好ましい。
【0028】
また、本発明は、指示取得部が、ユーザから入力された指示を取得するステップと、
画像検索部が、画像群の中から、ユーザからの指示に応じて入力された検索条件に一致する画像を検索画像として検索するステップと、
画像表示部が、画像群に含まれる画像を表示部に表示させるステップと、
画像指定部が、表示部に表示された画像の中から、ユーザからの指示に応じて選択された1の画像を指定するステップと、を含み、
検索条件は、画像群の中から、撮影時刻以外の条件により画像を検索するための条件であり、
表示部に表示された検索画像の中から、ユーザからの指示に応じて選択された1の検索画像を指定検索画像として指定し、
指定検索画像が指定された場合に、指定検索画像のみを表示部に表示させた後、ユーザからの指示に応じて、指定検索画像と、画像群に含まれる、指定検索画像の撮影時刻の前後に撮影された画像の少なくとも一部と、を時系列画像として時系列により表示部に表示させる、画像処理方法を提供する。
【0029】
また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【0030】
また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【0031】
また、本発明は、ユーザから入力された指示を取得する指示取得部と、
画像群の中から、ユーザからの指示に応じて入力された検索条件に一致する画像を検索画像として検索する画像検索部と、
画像群に含まれる画像を表示部に表示させる画像表示部と、
表示部に表示された画像の中から、ユーザからの指示に応じて選択された1の画像を指定する画像指定部と、を備え、
指示取得部、画像検索部、画像表示部および画像指定部は、ハードウェア、または、プログラムを実行するプロセッサであり、
検索条件は、画像群の中から、撮影時刻以外の条件により画像を検索するための条件であり、
画像指定部は、表示部に表示された検索画像の中から、ユーザからの指示に応じて選択された1の検索画像を指定検索画像として指定し、
画像表示部は、指定検索画像が指定された場合に、指定検索画像のみを表示部に表示させた後、ユーザからの指示に応じて、指定検索画像と、画像群に含まれる、指定検索画像の撮影時刻の前後に撮影された画像の少なくとも一部と、を時系列画像として時系列により表示部に表示させる、画像処理装置を提供する。
【0032】
ここで、画像検索部は、
画像群に含まれる画像に付与されたタグ情報を表示部に表示させるタグ情報表示部と、
表示部に表示されたタグ情報の中から、ユーザからの指示に応じて選択されたタグ情報を選択タグ情報として指定するタグ情報指定部と、
画像群の中から、選択タグ情報が付与された画像を検索画像として抽出する画像抽出部と、を備え、
タグ情報表示部、タグ情報指定部および画像抽出部は、ハードウェア、または、プログラムを実行するプロセッサであり、
タグ情報表示部は、画像群に含まれる全ての画像に付与された全てのタグ情報の少なくとも一部を表示部に表示させ、
タグ情報指定部は、表示部に表示されたタグ情報の中から、ユーザからの指示に応じて選択された1つ目のタグ情報を第1選択タグ情報として指定し、
画像抽出部は、画像群の中から、第1選択タグ情報が付与された画像を第1検索画像として抽出し、
画像表示部は、全ての第1検索画像の少なくとも一部を表示部に表示させ、
タグ情報表示部は、全ての第1検索画像に付与された全てのタグ情報の少なくとも一部を表示部に表示させることが好ましい。
【発明の効果】
【0033】
本発明によれば、ユーザは、1の検索画像の撮影時刻の前後に撮影された画像を表示させるために、一旦、画像の一覧画面に戻る必要はなく、ユーザからの指示に応じて、指定検索画像の撮影時刻の前後に撮影された画像を時系列に表示させて閲覧することができる。
【図面の簡単な説明】
【0034】
【
図1】本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。
【
図2】クライアントの構成を表す一実施形態のブロック図である。
【
図3】クライアントの動作を表す一実施形態のフローチャートである。
【
図4】クライアントの表示部に表示されたアプリのホーム画面を表す一実施形態の概念図である。
【
図5】指定画像の閲覧画面を表す一実施形態の概念図である。
【
図6】指定画像の情報の閲覧画面を表す一実施形態の概念図である。
【
図7】指定画像の情報の編集画面を表す一実施形態の概念図である。
【
図8】新規なタグ情報の入力画面を表す一実施形態の概念図である。
【
図9】タグ情報の選択画面を表す一実施形態の概念図である。
【
図10】タグ情報の選択画面において、1つ目のタグ情報が選択された様子を表す一実施形態の概念図である。
【
図11】タグ情報の選択画面において、1つ目のタグ情報に応じてタグ情報の内容が更新された様子を表す一実施形態の概念図である。
【
図12】タグ情報の選択画面において、2つ目のタグ情報が選択された様子を表す一実施形態の概念図である。
【
図13】画像の一覧画面を表す一実施形態の概念図である。
【
図14】画像の一覧画面において、1の検索画像が選択された様子を表す一実施形態の概念図である。
【
図15】指定検索画像の閲覧画面を表す一実施形態の概念図である。
【
図16】時系列画像の一覧画面を表す一実施形態の概念図である。
【
図17】タグ情報の選択画面において、「タグを検索」のボタンがタップされた様子を表す一実施形態の概念図である。
【
図18】タグ情報の検索画面を表す一実施形態の概念図である。
【
図19】タグ情報の選択画面を表す一実施形態の概念図である。
【
図20】ユーザが所有する「2015/01/10」の画像群の中から選択された数枚の画像を用いて作成されたコラージュ画像を表す一例の概念図である。
【
図21】コラージュ画像で用いられている画像と同じ撮影日の「2015年1月10日(土)」の画像群を表す一例の概念図である。
【
図22】「サッカー」というキーワードに該当する画像を表す一例の概念図である。
【発明を実施するための形態】
【0035】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【0036】
図1は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。
図1に示す画像処理システム10は、サーバ12と、ネットワーク16を介して各々サーバ12に接続された複数のクライアント14と、を備えている。
【0037】
サーバ12は、画像処理システム10を利用する複数のユーザの各々が所有する画像群を取得し、各々のユーザが所有する画像群に含まれる各々の画像を保持し、その画像を各々のユーザによって指定された共有相手のみと共有する機能等を有する。
サーバ12は、1台に限らず、複数台であってもよく、制御装置、記憶装置および通信装置等を有する、ワークステーション等によって構成される。
【0038】
クライアント14は、本発明の画像処理装置であり、ユーザが所有する画像群の中から、検索条件に基づいて、より詳しくは画像に付与されたタグ情報を画像の検索条件として使用して画像を検索し、その検索の結果の画像を表示部に表示する機能等を有する。
クライアント14は、制御装置、入力装置、記憶装置、通信装置およびディスプレイ等を有する、デスクトップPC(パーソナルコンピュータ)、ノートPC、タブレットPC、あるいは、携帯電話およびスマートフォン等の携帯端末等によって構成される。
以下、クライアント14がスマートフォンの場合を例に挙げて説明する。
【0039】
図2は、クライアントの構成を表す一実施形態のブロック図である。
図2に示すクライアント14は、指示取得部18と、画像保持部20と、画像解析部22と、評価値付与部24と、タグ情報付与部26と、重み付け設定部28と、タグ情報表示部30と、タグ情報指定部32と、画像抽出部34と、タグ情報検索部36と、画像表示部38と、画像指定部40と、画像情報表示部42と、画像情報編集部44と、表示部46と、を備えている。
【0040】
クライアント14において、まず、指示取得部18は、クライアント14のユーザから入力された指示を取得する。
【0041】
ユーザは、スマートフォンのタッチパネルをタッチ操作することにより各種の指示を入力することができる。なお、タッチパネルに限らず、マウス、キーボードおよびトラックパッド等の入力装置を利用して指示を入力することもできる。
ユーザからの指示には、詳細は後述するが、タグ情報を選択する指示、画像を選択する指示、画像に付与するタグ情報を入力する指示、タグ情報の検索条件(キーワード)を入力する指示、画像を表示部46に表示させる指示等が含まれる。
【0042】
続いて、画像保持部20は、半導体メモリ等の記憶装置であり、画像群を保持する。
【0043】
画像群は、ユーザによりスマートフォンのカメラを用いて撮影されたものであり、スマートフォンの内部に保持されている。なお、画像群は特に限定されず、例えば外部からスマートフォンの内部に取り込まれた画像群、および、SNS(Social Network System:ソーシャル・ネットワーク・システム)およびオンラインストレージ等に保持されたオンラインの画像群、およびこれらの画像群の組み合わせ等でもよい。
【0044】
例えば、スマートフォンのカメラで撮影された画像は、スマートフォンからサーバ12へ自動的にアップロードされるように設定することができる。サーバ12へアップロードされた画像は、サーバ12の記憶装置内における各々のユーザの記憶領域に保持される。サーバ12へアップロードされた画像は、スマートフォンの画像保持部20に残すように設定することもできるし、消去するように設定することもできる。
また、例えばデジタルカメラで撮影された画像、PC、ノートPC、タブレットPC等に保持されている画像、および写真プリント等からスキャンされた画像(デジタル画像データ)等は、スマートフォンの内部に取り込むことができる。外部からスマートフォンの内部に取り込まれた画像は、画像保持部20に保持され、同様に画像群の一部として取り扱われる。
【0045】
続いて、画像解析部22は、画像群に含まれる各々の画像を解析する。
【0046】
画像の解析項目は特に限定されないが、例えば画像に写っている被写体の検出(人物検出およびオブジェクト検出)、人物の顔の検出、人物の表情の検出、人物の行動の検出、シーンの検出(夜景、海、砂浜、空、…)、イベントの検出(運動会、結婚式、卒業式、…)およびユーザの嗜好(趣味)の検出等の画像内容の解析、画像の明るさ、色合い、コントラストおよびボケブレの程度等の画像の画質の解析、Exif(Exchangeable Image File Format)などの画像の付加情報に含まれる時間情報(撮影時刻)および位置情報(撮影場所)等の解析等を含む。
【0047】
続いて、評価値付与部24は、各々の画像の解析の結果に基づいて、各々の画像に評価値を付与する。
【0048】
評価値付与部24が画像に評価値を付与する方法は特に限定されないが、例えば画像の各々の解析の結果にスコアを付け、複数の解析の結果のスコアの総合スコアを算出し、この総合スコアを、その画像の評価値として付与することができる。
例えば、人物が笑顔である画像は、泣いている顔および怒っている顔等よりも高いスコアを付ける。また、明るさが適切な画像は、明るすぎる画像、および、暗すぎる画像よりも高いスコアを付ける。
また、評価値付与部24は、後述するタグ情報の重み付けの設定に応じて、時間的に、より前に選択されたタグ情報が付与された画像よりも、より後に選択されたタグ情報が付与された画像の評価値を高く設定する。
【0049】
続いて、タグ情報付与部26は、各々の画像の解析の結果に基づいて、各々の画像にタグ情報を付与する。
【0050】
タグ情報は、画像に関する各種の情報であり、例えば画像の撮影年月日および撮影場所、画像に写っている被写体の名称、被写体の行動の名称、画像から読み取られるシーン、イベント、人物の感情等を表す名称、および、ユーザの嗜好の名称等を例示することができる。タグ情報はテキスト情報であり、キーワードによってタグ情報を検索することが可能である。
タグ情報は、複数の下位概念のタグ情報を有する上位概念のタグ情報を含んでいてもよい。例えば、「モンブラン」および「いちごのショートケーキ」という2つの下位概念のタグ情報を有する「スイーツ」という上位概念のタグ情報を含んでいてもよい。
また、タグ情報は、タグ情報の信頼度を表す信頼度の情報を有していてもよい。自動で付与されたタグ情報の内容は正確ではない場合もあるが、信頼度の情報に基づいて、タグ情報の内容の正確さを判断することが可能になる。
タグ情報付与部26は必須の構成要素ではないが、画像に予め付与されているタグ情報にさらにタグ情報を付与してもよいし、タグ情報が付与されていない画像に新たにタグ情報を付与してもよい。
【0051】
続いて、重み付け設定部28は、タグ情報に対して重み付けの設定をする。
【0052】
重み付け設定部28が、タグ情報に対して重み付けの設定を行う方法は特に限定されないが、ユーザが2以上のタグ情報を用いて画像を検索する場合、時間的に、より前に選択されたタグ情報よりも、より後に選択されたタグ情報の方が重要である可能性が高いと考えられる。これに応じて、重み付け設定部28は、表示部46に表示されたタグ情報の中から、ユーザからの指示に応じて同時に選択された2以上のタグ情報のうち、時間的に、より前に選択されたタグ情報よりも、より後に選択されたタグ情報の重み付けの設定を重く設定することができる。
【0053】
続いて、タグ情報表示部30は、画像群に含まれる画像に付与されたタグ情報を表示部46に表示させる。
【0054】
タグ情報表示部30が、タグ情報を表示させる方法は特に限定されないが、例えば表示部46に表示されたタグ情報を複数のカテゴリに分類して表示させることができる。これにより、タグ情報の種類毎に、タグ情報を分類して表示させることができるため、ユーザは、表示部46に表示されたタグ情報の中から、画像の検索条件として使用したいタグ情報を容易に見つけることができる。
【0055】
この場合、タグ情報表示部30は、複数のカテゴリの少なくとも1つに含まれるタグ情報を、タグ情報が付与された画像の枚数が多い順に並べて表示させることができる。これにより、多くの画像に付与されたタグ情報を優先的に表示させることができる。なお、画像の撮影年月日等のように、連続する数字で表されるタグ情報は、数字の降順または昇順に並べて表示させてもよい。
【0056】
また、タグ情報表示部30は、複数のカテゴリの少なくとも1つに含まれるタグ情報を、画像を検索するためのキーワードとして使用された回数が多い順に並べて表示させてもよいし、タグ情報が、その信頼度の情報を有する場合、複数のカテゴリの少なくとも1つに含まれるタグ情報を、タグ情報が有する信頼度の情報に基づいて、タグ情報の信頼度が高い順に並べて表示させてもよい。
【0057】
また、タグ情報表示部30は、ユーザからの指示に応じて上位概念のタグ情報が選択された場合に、上位概念のタグ情報に含まれる複数の下位概念のタグ情報を表示部46に表示させることができる。
また、タグ情報表示部30は、タグ情報をボタン(リンク)として表示部(タッチパネル)46に表示させることができる。これにより、ユーザは、タグ情報を容易に選択することができる。
【0058】
続いて、タグ情報指定部32は、表示部46に表示されたタグ情報の中から、ユーザからの指示に応じて選択されたタグ情報を選択タグ情報として指定する。
また、タグ情報指定部32は、表示部46に表示された検索タグ情報の中から、ユーザからの指示に応じて選択された検索タグ情報を選択タグ情報として指定する。
【0059】
続いて、画像抽出部34は、画像群の中から、タグ情報指定部32によって指定された選択タグ情報が付与された画像を検索画像として抽出する。
【0060】
ここで、タグ情報表示部30、タグ情報指定部32および画像抽出部34は、画像群の中から、ユーザからの指示に応じて入力された検索条件に一致する画像を検索画像として検索する本発明の画像検索部を構成する。
【0061】
続いて、タグ情報検索部36は、画像群に含まれる全ての画像に付与された全てのタグ情報の中から、ユーザからの指示に応じて入力されたキーワードと少なくとも一部が一致するタグ情報を検索タグ情報として検索する。
【0062】
続いて、画像表示部38は、画像群に含まれる画像を表示部46に表示させる。
【0063】
画像表示部38は、例えば画像群に含まれる各々の画像、画像群に含まれる画像の一覧(サムネイル画像)、検索画像の一覧(サムネイル画像)等を表示する。
画像表示部38は、画像の一覧または検索画像の一覧を表示部46に表示させる場合、画像を、その撮影時刻の順に時系列に表示させることができる。また、画像群に含まれる各々の画像が、画像の評価値の情報を有する場合、画像表示部38は、画像を、画像の評価値が高い順に表示部46に表示させることもできる。
【0064】
続いて、画像指定部40は、表示部46に表示された画像の中から、ユーザからの指示に応じて選択された1の画像を指定する。
【0065】
ユーザは、表示部46に表示された画像の一覧の中から、閲覧したい1の画像を選択することができる。1の画像が選択された場合、画像表示部38により、この選択された1の画像のみが表示部46に表示される。
【0066】
続いて、画像情報表示部42は、画像指定部40によって指定された1の画像、つまり、ユーザからの指示に応じて選択された1の画像の情報を表示部46に表示させる。
【0067】
画像の情報には、その画像に関する各種の情報が含まれる。本実施形態の場合、画像の撮影時刻および画像に付与されたタグ情報が含まれる。なお、これに限定されず、画像のファイル名、画像のサイズ、解像度、撮影場所の情報等を含んでいてもよい。
【0068】
続いて、画像情報編集部44は、ユーザからの指示に応じて、画像情報表示部42によって表示部46に表示された1の画像の情報を編集する。
【0069】
ユーザは、画像に付与されたタグ情報等を編集することができる。タグ情報付与部26によって自動で付与されたタグ情報の中には正確ではないタグ情報が含まれる可能性もある。ユーザは、正確ではないと考えられるタグ情報を修正したり、削除したりすることができる。
また、ユーザは、画像に対して新規なタグ情報を付与することもできる。この場合、画像情報編集部44は、ユーザからの指示に応じて入力された新規なタグ情報を、表示部46に表示された1の画像の情報として1の画像に付与する。
【0070】
続いて、表示部46は、各種の情報を表示する。
【0071】
表示部46には、画像、画像の情報、画像の一覧、タグ情報の一覧等が表示される。表示部46は、液晶パネル、有機EL(Electro Luminescence:エレクトロルミネッセンス)パネル等であり、本実施形態の場合、タッチパネルである。
【0072】
次に、
図3に示すフローチャートを参照しながら、クライアント14において、検索条件として、画像に付与されたタグ情報を使用して、画像群の中から所望の画像を検索する場合の動作を説明する。
【0073】
まず、1つ目のタグ情報が選択される場合の動作を説明する。
この場合、まず、タグ情報表示部30により、画像群に含まれる全ての画像に付与された全てのタグ情報の少なくとも一部が表示部46に表示される(ステップS1)。
タグ情報が表示部46に表示されると、続いて、タグ情報指定部32により、表示部46に表示されたタグ情報の中から、ユーザからの指示に応じて選択された1つ目のタグ情報が第1選択タグ情報(選択タグ情報)として指定される(ステップS2)。
第1選択タグ情報が指定されると、続いて、画像抽出部34により、画像群の中から、第1選択タグ情報が付与された画像が第1検索画像(検索画像)として抽出される(ステップS3)。
第1検索画像が抽出されると、続いて、画像表示部38により、全ての第1検索画像の少なくとも一部が表示部46に表示される(ステップS4)。
続いて、タグ情報表示部30により、全ての第1検索画像に付与された全てのタグ情報の少なくとも一部が表示部46に表示される(ステップS5)。
【0074】
次に、1つ目のタグ情報に加えて、2つ目のタグ情報が同時に選択される場合の動作を説明する。
この場合、続いて、タグ情報指定部32により、第1選択タグ情報に加えて、表示部46に表示されたタグ情報の中から、ユーザからの指示に応じて選択された2つ目のタグ情報が第2選択タグ情報(選択タグ情報)として同時に指定される(ステップS6)。
続いて、画像抽出部34により、第1検索画像の中から、第2選択タグ情報が付与された第1検索画像が第2検索画像(検索画像)として抽出される(ステップS7)。
続いて、画像表示部38により、全ての第2検索画像の少なくとも一部が表示部46に表示される(ステップS8)。
続いて、タグ情報表示部30により、全ての第2検索画像に付与された全てのタグ情報の少なくとも一部が表示部46に表示される(ステップS9)。
【0075】
なお、3以上のタグ情報が同時に選択される場合の動作も同様である。つまり、2以上のタグ情報が同時に選択される場合の動作は以下の通りである。
まず、タグ情報指定部32により、表示部46に表示されたタグ情報の中から、ユーザからの指示に応じて選択された2以上のタグ情報が選択タグ情報として同時に指定される。
続いて、画像抽出部34により、画像群の中から、2以上の選択タグ情報の全てが付与された画像が検索画像として抽出される。
続いて、画像表示部38により、全ての検索画像の少なくとも一部が表示部46に表示される。
続いて、タグ情報表示部30により、全ての検索画像に付与された全てのタグ情報の少なくとも一部が表示部46に表示される。
【0076】
以下、本発明の画像処理装置について、クライアント14がスマートフォン上で動作するアプリケーションプログラム(以下、単にアプリともいう)によって実現されている場合を例に挙げて説明する。
【0077】
図4は、クライアントの表示部に表示されたアプリのホーム画面を表す一実施形態の概念図である。
図4に示すスマートフォンの表示部46はタッチパネルで構成されており、ユーザは、タッチパネルをタッチ操作することにより、表示部(タッチパネル)46を、各種の情報を表示するだけでなく、ユーザから入力された各種の指示を取得する指示取得部18としても使用することができる。
【0078】
ホーム画面内の上部には、通知およびステータス領域50が表示され、その下側には、メニュー領域52が表示されている。また、ホーム画面内の下部には、ナビゲーション領域54が表示されている。
【0079】
ナビゲーション領域54内には、左側から右側へ向かって順に、「さがす」、「まとめる」、「ホーム」、「共有する」および「いろいろ」の各ボタンが表示されている。
「さがす」のボタンがタップ(押下)されると、タグ情報の選択画面が表示部46に表示される。
また、「まとめる」のボタンがタップされると、画像群に含まれる画像を用いてフォトアルバム等の合成画像が自動で作成される。
「ホーム」のボタンがタップされると、ホーム画面、つまり、画像群に含まれる画像の一覧が表示部46に表示される。画像の一覧において、画像は、例えば撮影時刻の順序(降順または昇順)で並べて表示される。
「共有する」のボタンがタップされると、ユーザからの指示に応じて選択された画像が他のユーザと共有される。
「いろいろ」のボタンがタップされると、ナビゲーション領域には表示されていない、その他の各種の機能を選択して実行することができる。
【0080】
メニュー領域52とナビゲーション領域54との間の領域には、画像の一覧が表示されている。画像の検索前に、検索条件としてタグ情報が何も選択されていない状態において、画像の一覧画面には、画像の一覧、例えば画像群に含まれる全ての画像の少なくとも一部が、画像の撮影時刻の順に、本実施形態の場合には撮影時刻の降順に、画像の一覧画面の上側から下側へ向かって時系列に表示されている。
【0081】
ユーザは、
図4に指印56で示すように、画像の一覧画面に表示された画像の中から閲覧したい1の画像をタップすることにより、このタップされた1の画像のみを表示部46に表示させて閲覧することができる。
【0082】
この場合、画像指定部40により、表示部46に表示された画像の一覧の中から、ユーザからの指示に応じて選択された1の画像が指定画像として指定され、画像表示部38により、指定画像のみが表示部46に表示される。
【0083】
図5は、指定画像の閲覧画面を表す一実施形態の概念図である。指定画像の閲覧画面は、表示部46の全面に表示される。
図5に示すように、指定画像の閲覧画面の左上部には、「×」のボタン58が表示され、右下部には、「情報」のボタン60が表示されている。指定画像の閲覧画面の下部には、「ゴミ箱」のボタン62および「共有」のボタン64等が表示されている。
【0084】
例えば、ユーザは、「×」のボタン58をタップすることにより、指定画像の閲覧画面を閉じて、画像の一覧画面(ホーム画面)に戻ることができる。また、ユーザは、「ゴミ箱」のボタン62をタップして指定画像を削除したり、「共有」のボタン64をタップして指定画像を他のユーザと共有したりすることができる。さらに、ユーザは、
図5に指印56で示すように、「情報」のボタン60をタップすることにより、指定画像が裏返されて、指定画像の情報を閲覧することができる。
【0085】
図6は、指定画像の情報の閲覧画面を表す一実施形態の概念図である。指定画像の情報の閲覧画面の左上部には、「×」のボタン66が表示され、右上部には、「編集」のボタン68が表示されている。また、指定画像の情報の閲覧画面の上部には、指定画像のサムネイル画像が表示され、その下側には、指定画像の撮影時刻、自動で付いたタグ、自分で付けたタグ、および、「タグを追加」のボタン70がこの順序で表示されている。
【0086】
自動で付いたタグは、カレンダー、人物、撮影場所、自動付与タグ、サービスタグの各カテゴリに分類され、自分で付けたタグは、手動付与タグのカテゴリに分類されている。
カレンダーのカテゴリには、指定画像の撮影年および撮影月として、「2018」および「12月」のタグ情報のボタンが含まれている。
人物のカテゴリには、「たろう」のタグ情報のボタンが含まれている。
撮影場所のカテゴリには、「公園」、「港区」および「お台場海浜公園」のタグ情報のボタンが含まれている。
自動付与タグのカテゴリには、「屋外」、「男の子」および「晴れ」のタグ情報のボタンが含まれている。
スキャンタグのカテゴリには、「スキャンサービス」のタグ情報のボタンが含まれている。
手動付与タグのカテゴリには、「キッズコーデ」のタグ情報のボタンが含まれている。
【0087】
例えば、ユーザは、「×」のボタン66をタップすることにより、指定画像の情報の閲覧画面を閉じて、指定画像の閲覧画面に戻ることができる。また、ユーザは、指印56で示すように、「編集」のボタン68をタップすることにより、指定画像の情報を編集することができる。
【0088】
図7は、指定画像の情報の編集画面を表す一実施形態の概念図である。
図7に示す指定画像の情報の編集画面の左上部には、「キャンセル」のボタン72が表示され、右上部には、「保存」のボタン74が表示されている。
【0089】
指定画像の情報の閲覧画面において、「編集」のボタン68がタップされた場合、指定画像の情報の編集画面において、削除可能なタグ情報のボタン内には、「×」のボタンが表示される。ユーザによりタグ情報のボタン内の「×」のボタンがタップされた場合、画像情報編集部44により、そのタグ情報のボタンは削除される。また、
図7に指印56で示すように、ユーザにより「タグを追加」のボタン70がタップされた場合、新規なタグ情報の入力画面が表示される。
【0090】
指定画像の情報の編集画面において、「キャンセル」のボタン72がタップされた場合、指定画像の情報に対する編集内容が破棄され、指定画像の情報の閲覧画面に戻る。「保存」のボタン74がタップされた場合、指定画像の情報に対する編集内容が保存される。
【0091】
図8は、新規なタグ情報の入力画面を表す一実施形態の概念図である。
図8に示す新規なタグ情報の入力画面の上部には、指定画像のサムネイル画像が表示され、その下側には、新規なタグ情報の入力欄76が表示されている。新規なタグ情報の入力欄76には、新規なタグ情報の入力を促すための「タグを追加」というメッセージが表示されている。新規なタグ情報の入力欄76の右側には、「キャンセル」のボタン78が表示されている。
【0092】
ユーザにより、新規なタグ情報の入力欄76がタップされた場合、新規なタグ情報の入力欄76の下側には、最近付与した新規なタグ情報の履歴が表示され、新規なタグ情報の入力画面の下部には、ソフトウェアキーボードが表示される。ユーザは、ソフトウェアキーボードを使用して、新規なタグ情報の入力欄76に、新規なタグ情報の名称を入力することができる。
【0093】
この場合、ユーザが新規なタグ情報の入力欄76に文字を入力する毎に、部分一致検索が行われ、画像群に含まれる全ての画像に付与された全てのタグ情報の中から、新規なタグ情報の入力欄76に入力された文字に部分一致するタグ情報が検索されて新規なタグ情報の入力画面内に表示される。ユーザは、新規なタグ情報の入力画面内に表示されたタグ情報の一覧の中から、新規なタグ情報を選択することもできる。
【0094】
ユーザにより、「キャンセル」のボタン78がタップされた場合、新規なタグ情報の入力画面が閉じられ、指定画像の情報の編集画面に戻る。
【0095】
続いて、タグ情報の選択画面について説明する。
前述の通り、「さがす」のボタンがタップされると、タグ情報の選択画面が表示部46に表示される。
【0096】
図9は、タグ情報の選択画面を表す一実施形態の概念図である。タグ情報の選択画面は、画像の一覧画面内の上側の一部の領域以外の領域の上層に重ねて下層の画像の一覧が一定の透過率で透過して見えるように表示されている。タグ情報が選択されていない状態において、タグ情報の選択画面には、画像群に含まれる全ての画像に付与された全てのタグ情報の一部が複数のカテゴリに分類されて表示されている。それぞれのタグ情報は、ボタンとしてタグ情報の選択画面内に表示されている。また、タグ情報の選択画面内の下部には、「タグを検索」のボタン80が表示されている。
【0097】
複数のカテゴリには、カレンダー、人物、撮影場所、自動付与タグ、手動付与タグ、サービスタグの各カテゴリが含まれている。
カレンダーのカテゴリには、画像の撮影年および撮影月のタグ情報のボタンが含まれる。
人物のカテゴリには、画像に写っている人物の名称のタグ情報のボタンが含まれる。
撮影場所のカテゴリには、画像が撮影された場所のタグ情報のボタンが含まれる。
自動付与タグのカテゴリには、タグ情報付与部26によって自動で付与されたタグ情報のボタンが含まれる。
手動付与タグのカテゴリには、ユーザによって手動で付与されたタグ情報のボタン、つまり、画像情報編集部44によって付与されたタグ情報のボタンが含まれる。
サービスタグのカテゴリには、例えばプリントをスキャンしてデジタル画像データを作成するなどのように、本発明に係る画像処理システム10によって提供されるサービスに関連するタグ情報のボタンが含まれる。
【0098】
タグ情報の選択画面において、カレンダーのカテゴリには、画像の撮影年として、「2018」、「2017」および「2016」のタグ情報のボタンがこの順序で左側から右側へ向かって表示され、画像の撮影月として、「12月」、「11月」、「10月」および「9月」のタグ情報のボタンがこの順序で左側から右側へ向かって表示されている。
人物のカテゴリには、人物の名称として、「たかし」、「あきら」および「富士花子」のタグ情報のボタンがこの順序で左側から右側へ向かって表示されている。
撮影場所のカテゴリには、タグ情報が含まれていない。
自動付与タグのカテゴリには、「自転車」、「ラーメン」および「飲み会」のタグ情報のボタンがこの順序で左側から右側へ向かって表示されている。
手動付与タグのカテゴリには、「サークル」、「今日のランチ」および「絶景」のタグ情報のボタンがこの順序で左側から右側へ向かって表示されている。
サービスタグのカテゴリには、「スキャン画像」のタグ情報のボタンが表示されている。
【0099】
カレンダーのカテゴリ以外の他の各カテゴリに含まれるタグ情報のボタンは、横一列に並べて表示されている。カレンダーのカテゴリには、画像の撮影年および撮影月のタグ情報のボタンがそれぞれ横一列に並べて、撮影年および撮影月の数字の降順に表示されている。その他の各カテゴリに含まれるタグ情報のボタンは、各々のタグ情報が付与された画像の枚数が多い順に表示されている。
【0100】
なお、各々のカテゴリにおいて、左右方向に全てを表示できない数のタグ情報が含まれている場合、ユーザは、各々のカテゴリに含まれるタグ情報のボタンをタップした状態で左方向または右方向にスワイプすることにより、タグ情報の選択画面に表示されたタグ情報のボタンを外側へ押し出し、かつタグ情報の選択画面に表示されていないタグ情報のボタンをタグ情報の選択画面内へ移動して表示させることができる。
【0101】
ユーザは、画像を検索するために、キーワードをタイプして入力する必要はなく、表示部46に表示されているタグ情報の中から、検索したい所望の画像に対応するタグ情報をタップして選択することができるため、直感的に検索を行うことができる。
【0102】
ここで、ユーザにより、検索条件としてタグ情報が何も選択されていない状態において、
図10に指印56で示すように、タグ情報の選択画面に表示されたタグ情報のボタンの中から1つ目のタグ情報として、「自転車」のタグ情報のボタンがタップされたとする。
【0103】
この場合、タグ情報指定部32により、ユーザからの指示に応じて選択された「自転車」のタグ情報のボタンに対応する「自転車」のタグ情報が第1選択タグ情報として指定される。また、タグ情報表示部30により、「自転車」のタグ情報のボタンの色が変更され、かつ、タグ情報の選択画面によって覆われていない画像の一覧画面の上部の領域内の左側に「自転車」と表示される。
【0104】
続いて、画像抽出部34により、画像群の中から、第1選択タグ情報である「自転車」のタグ情報が付与された画像が第1検索画像として抽出され、画像表示部38により、全ての第1検索画像の少なくとも一部が画像の一覧画面に表示される。
【0105】
また、
図11に示すように、タグ情報表示部30により、全ての第1検索画像に付与された全てのタグ情報の少なくとも一部がタグ情報の選択画面に表示される。つまり、タグ情報の選択画面に表示されたタグ情報の内容が更新される。
【0106】
本実施形態の場合、カレンダーのカテゴリは、画像の撮影年として、「2018」、「2017」および「2016」から「2018」および「2017」のタグ情報のボタンに変更される。
また、人物のカテゴリは、「たかし」、「あきら」および「富士花子」から「たかし」、「あきら」および「山田さん」のタグ情報のボタンに変更される。
自動付与タグのカテゴリは、「自転車」、「ラーメン」および「飲み会」から「自転車」、「山」および「ガードレール」のタグ情報のボタンに変更される。
手動付与タグのカテゴリは、「サークル」、「今日のランチ」および「絶景」から「サークル」、「絶景」および「チャリ旅」のタグ情報のボタンに変更される。
【0107】
つまり、タグ情報の選択画面に表示されたタグ情報のボタンの中から、「自転車」のタグ情報のボタンのみが選択された場合、画像群の中から、「自転車」のタグ情報が付与された検索画像のみに絞り込まれ、かつ、画像群に含まれる全ての画像に付与された全てのタグ情報の中から、「自転車」のタグ情報が付与された全ての検索画像に付与された全てのタグ情報のみに絞り込まれる。
【0108】
続いて、
図12に指印56で示すように、ユーザにより、タグ情報の選択画面に表示されたタグ情報のボタンの中から、1つ目の「自転車」のタグ情報のボタンに加えて、2つ目のタグ情報として、「チャリ旅」のタグ情報のボタンがタップされたとする。つまり、「自転車」のタグ情報のボタンが選択された状態において、さらに「チャリ旅」のタグ情報のボタンが追加で選択され、同時に2つのタグ情報が選択されたとする。
【0109】
この場合、タグ情報指定部32により、1つ目の「自転車」のタグ情報に加えて、ユーザからの指示に応じて選択された「チャリ旅」のタグ情報のボタンに対応する2つ目の「チャリ旅」のタグ情報が第2選択タグ情報として指定される。つまり、「自転車」および「チャリ旅」のタグ情報の両方が選択タグ情報として同時に指定される。また、タグ情報表示部30により、「自転車」のタグ情報のボタンに加えて、「チャリ旅」のタグ情報のボタンの色が変更され、かつ、タグ情報の選択画面によって覆われていない画像の一覧画面の上部の領域内に表示された「自転車」の右側に「チャリ旅」と表示される。
【0110】
続いて、画像抽出部34により、「自転車」のタグ情報が付与された第1検索画像の中から、「チャリ旅」のタグ情報が付与された第1検索画像が第2検索画像として抽出され、
図13に示すように、画像表示部38により、第2検索画像の少なくとも一部が画像の一覧画面に表示される。
また、図示省略するが、タグ情報表示部30により、全ての第2検索画像に付与された全てのタグ情報の少なくとも一部がタグ情報の選択画面に表示される。
【0111】
つまり、「自転車」および「チャリ旅」の両方のタグ情報のボタンが同時に選択された場合、画像群の中から、「自転車」および「チャリ旅」の両方のタグ情報が付与された検索画像のみに絞り込まれ、かつ、画像群に含まれる全ての画像に付与された全てのタグ情報の中から、「自転車」および「チャリ旅」の両方のタグ情報が付与された全ての検索画像に付与された全てのタグ情報のみに絞り込まれる。
【0112】
ユーザは、タグ情報の選択画面の上部に表示された下向きの矢印92を下方向へスワイプすることにより、いつでもタグ情報の選択画面を閉じることができる。タグ情報の選択画面が閉じられた場合、
図13に示すように、タグ情報の選択画面によって覆われていた領域の画像の一覧画面が表示される。これにより、ユーザは、検索画像の一覧を閲覧することができる。
【0113】
画像の一覧画面において、全てを表示できない数の検索画像が含まれている場合、ユーザは、画像の一覧画面に表示された検索画像を上下方向にスワイプして検索画像を上下方向へ移動させることにより、画像の一覧画面に表示された検索画像の一部を外側へ押し出し、かつ画像の一覧画面に表示されていない検索画像の一部を画像の一覧画面内へ移動して表示させることができる。
【0114】
また、タグ情報の選択画面が閉じられた場合、
図13に示すように、タグ情報の選択画面の上部には、上向きの矢印94が表示される。ユーザは、この上向きの矢印94を上方向へスワイプすることにより、いつでもタグ情報の選択画面を開くことができる。タグ情報の選択画面は、本実施形態の場合、
図9~12に示す全開状態、
図13に示す全閉状態、およびその中間位置の3段階に切り替えることができる。なお、タグ情報の選択画面を3段階以上の多段階に切り替えてもよい。
【0115】
また、ユーザは、画像の一覧画面が表示された状態で、「さがす」のボタンをタップすることにより、いつでもタグ情報の選択画面を表示させることができる。あるいは、ユーザは、「自転車」および「チャリ旅」の2つのタグ情報が選択された状態において、さらに他のタグ情報のボタンを追加で選択して、さらにタグ情報を絞り込むことにより、さらに画像を絞り込むこともできる。
【0116】
選択タグ情報として指定された「自転車」および「チャリ旅」の2つのタグ情報は、タグ情報指定部32により、ユーザからの指示に応じて、選択タグ情報としての指定が解除されるまで、選択タグ情報としての指定が維持される。
例えば、タグ情報の選択画面において「解除」のボタンを設けておき、ユーザが「解除」のボタンをタップすることにより、選択タグ情報として指定された「自転車」および「チャリ旅」の2つのタグ情報の選択を一括で解除できるようにしてもよい。
【0117】
また、ユーザは、タグ情報のボタンをタップする毎に、そのタグ情報の選択タグ情報としての選択と解除とを切り替えることができる。
この場合、タグ情報指定部32により、ユーザからの指示に応じて、ボタンが押下される毎に、ボタンに対応するタグ情報の選択タグ情報としての指定と、ボタンに対応するタグ情報の選択タグ情報としての指定の解除と、が切り替えられる。
【0118】
言い換えると、タグ情報の選択は、解除されるまで維持されるため、タグ情報の選択が維持された状態で、つまり、選択されたタグ情報を用いて画像の検索が行われた後、他の表示画面へ切り替えられ、再びタグ情報の選択画面に切り替えられて戻ってきた場合、選択されたタグ情報を用いて検索された結果である検索画像をいつでも閲覧することができる。
【0119】
また、ユーザは、タグ情報がボタンとして表示部46に表示された状態において、1のタグ情報のボタンを長押し(ロングタップ)することにより、長押しされた1のボタンのタグ情報の上位概念のタグ情報を選択することができる。
【0120】
この場合、表示部46に表示されたタグ情報のボタンの中から、ユーザからの指示に応じて選択された1のタグ情報のボタンが一定時間以上押下された場合に、タグ情報指定部32により、押下された1のタグ情報のボタンに対応するタグ情報の上位概念のタグ情報に含まれる全ての下位概念のタグ情報が選択タグ情報として指定される。
例えば、「モンブラン」のタグ情報のボタンが長押しされた場合、「モンブラン」の上位概念である全ての「スイーツ」のタグ情報が選択される。
【0121】
あるいは、タグ情報指定部32により、表示部46に表示されたタグ情報の中から、ユーザからの指示に応じて1のタグ情報が選択された場合に、既に指定されている他のタグ情報の指定を解除し、選択された1のタグ情報のみを選択タグ情報として指定してもよい。
【0122】
続いて、ユーザは、
図14に指印56で示すように、画像の一覧画面に表示された検索画像の中から閲覧したい1の検索画像をタップすることにより、このタップされた1の検索画像のみを表示部46に表示させて閲覧することができる。
【0123】
この場合、画像指定部40により、表示部46に表示された検索画像の中から、ユーザからの指示に応じて選択された1の検索画像が指定検索画像として指定され、画像表示部38により、指定検索画像のみが表示部46に表示される。
【0124】
図15は、指定検索画像の閲覧画面を表す一実施形態の概念図である。指定検索画像の閲覧画面は、表示部46の全面に表示される。
図15に示す指定検索画像の閲覧画面の左上部には、「×」のボタン58が表示され、左下部には、「カレンダー」のボタン82が表示され、右下部には、「情報」のボタン60が表示されている。指定検索画像の閲覧画面の下部には、「ゴミ箱」のボタン62、「共有」のボタン64および「その他」のボタン84が表示されている。
指定検索画像の閲覧画面は、その左下部に、「カレンダー」のボタン82が表示されていること以外、指定画像の閲覧画面と同じ構成である。
【0125】
例えば、ユーザは、「×」のボタン58をタップすることにより、指定検索画像の閲覧画面を閉じて、検索画像の一覧画面に戻ることができる。また、ユーザは、「ゴミ箱」のボタン62をタップして指定検索画像を削除したり、「共有」のボタン64をタップして指定検索画像を他のユーザと共有したり、「その他」のボタン84をタップしてその他の機能を実行したりすることができる。さらに、ユーザは、「情報」のボタン60をタップすることにより、指定検索画像の情報を閲覧することができる。
【0126】
また、ユーザは、検索画像を1枚ずつ順次表示させて閲覧することができる。
この場合、指定検索画像のみが表示部46に表示された後、画像表示部38により、ユーザからの指示が入力される毎に、全ての検索画像の中から、指定検索画像の撮影時刻よりも前または後に撮影された1の検索画像のみが、指定検索画像の撮影時刻から時系列に撮影された検索画像の順に順次表示部46に表示される。
【0127】
例えば、ユーザにより、指定検索画像が右側へスワイプされた場合、全ての検索画像の中から、指定検索画像よりも1つ前の撮影時刻に撮影された1の検索画像のみが表示される。これ以後、ユーザの指示に応じて検索画像が右側へスワイプされる毎に、指定検索画像の撮影時刻から時系列に撮影された検索画像の順に、1つずつ前の1の検索画像のみが順次表示される。
【0128】
一方、ユーザにより、指定検索画像が左側へスワイプされた場合、全ての検索画像の中から、指定検索画像よりも1つ後の撮影時刻に撮影された1の検索画像のみが表示される。これ以後、ユーザの指示に応じて検索画像が左側へスワイプされる毎に、指定検索画像の撮影時刻から時系列に撮影された検索画像の順に、1つずつ後の1の検索画像のみが順次表示される。
【0129】
また、ユーザは、
図15に示すように、検索画像の閲覧画面に表示された「カレンダー」のボタン82をタップすることにより、画像群の中から、指定検索画像の撮影時刻の前後に撮影された画像を表示部46に表示させて閲覧することができる。
この場合、指定検索画像が指定された場合に、指定検索画像のみが表示部46に表示された後、画像表示部38により、ユーザからの指示に応じて、指定検索画像と、画像群に含まれる、指定検索画像の撮影時刻の前後に撮影された画像の少なくとも一部と、が時系列画像として時系列により表示部46に表示される。
【0130】
このように、ユーザは、1の検索画像の撮影時刻の前後に撮影された画像を表示させるために、一旦、ホーム画面等の画像の一覧画面に戻る必要はなく、ユーザからの指示に応じて、本実施形態の場合には、「カレンダー」のボタン82をタップするというワンアクションで、指定検索画像の撮影時刻の前後に撮影された画像を時系列に表示させて閲覧することができる。
【0131】
ここで、ユーザからの指示に応じて、例えばホーム画面等の画像の一覧画面に戻って、指定検索画像の撮影時刻の前後に撮影された画像を時系列に表示させれば同じことができる。しかし、このような操作方法では、スマートフォンに数年分という大量の画像群が保存されている場合、ホーム画面等の画像の一覧画面において、所望の画像の撮影日まで何年分もの画像群の間を移動することをユーザに強いることになる。
【0132】
これに対し、本実施形態の画像処理装置を使用することにより、「カレンダー」のボタン82をタップするというワンアクションで、指定検索画像の撮影時刻の前後に撮影された画像を時系列に表示させて閲覧することが可能となり、従来の技術を使用して、前述のように、ホーム画面等の画像の一覧画面に戻って、指定検索画像の撮影時刻の前後に撮影された画像を時系列に表示させる場合と比較して大変便利である。
【0133】
図16は、時系列画像の一覧画面を表す一実施形態の概念図である。時系列画像の一覧画面は、メニュー領域52とナビゲーション領域54との間の領域に表示される。
【0134】
同様に、ユーザは、時系列画像の一覧画面に表示された時系列画像の中から閲覧したい1の時系列画像をタップすることにより、このタップされた1の時系列画像のみを表示部46に表示させて閲覧することができる。
この場合、画像指定部40により、表示部46に表示された時系列画像の中から、ユーザからの指示に応じて選択された1の時系列画像が指定時系列画像として指定され、画像表示部38により、指定時系列画像のみが表示部46に表示される。
【0135】
また、指定時系列画像が指定された場合に、指定時系列画像のみが表示部46に表示された後、画像表示部38により、ユーザからの指示が入力される毎に、画像群の中から、指定時系列画像の撮影時刻よりも前または後に撮影された1の画像のみが、指定時系列画像の撮影時刻から時系列に撮影された画像の順に順次表示部46に表示される。
指定時系列画像が右側または左側へスワイプされた場合の動作は、指定検索画像が右側または左側へスワイプされる場合の動作と同様である。
【0136】
なお、「カレンダー」のボタン82を設ける代わりに、特定のタッチ操作により「カレンダー」のボタン82と同等の機能が果たせるようにしてもよい。
【0137】
ユーザは、時系列画像の一覧画面において、「ホーム」のボタンをタップすることにより、検索画像の一覧画面に戻ることができる。
前述の通り、タグ情報の選択は、解除されるまで維持されるため、検索画像の一覧画面に戻ってきた場合、選択されたタグ情報を用いて検索された結果である検索画像の一覧が検索画像の一覧画面に表示される。
【0138】
なお、時系列画像を表示部46に表示させる前において、画像群の中から画像を検索するための検索条件は、画像群の中から、画像の撮影時刻以外の条件により画像を検索するための条件であれば特に限定されない。
画像の撮影時刻の条件とは、画像の撮影時刻だけでなく、画像の撮影年、撮影月、撮影週、撮影日および撮影時刻等のように、画像の撮影時刻に関する各種の条件を含み、画像の撮影時刻以外の条件は、画像の撮影時刻に関する条件以外のあらゆる条件を含む。
検索条件としては、画像解析部22による画像の解析内容、および、タグ情報付与部26により付与されたタグ情報の名称等を使用することができ、画像に写っている被写体の名称(人物名およびオブジェクト名)、人物の表情の名称、人物の行動の名称、人物の感情の名称、シーン名、イベント名、ユーザの嗜好の名称、撮影場所名等を例示することができる。
【0139】
また、ユーザは、タグ情報の選択画面において、検索条件として使用したいタグ情報のボタンを見るけることができない場合、
図17に指印56で示すように、「タグを検索」のボタン80をタップすることにより、キーワードを入力してタグ情報を検索することができる。
【0140】
「タグを検索」のボタン80がタップされた場合、
図18に示すように、タグ情報の検索画面が表示部46に表示される。
【0141】
タグ情報の検索画面は、画像の一覧画面の上側の一部の領域以外の領域の上層に重ねて下層の検索画像の一覧が一定の透過率で透過して見えるように表示される。タグ情報の検索画面の上部には、キーワードの入力欄86が表示されている。キーワードの入力欄86には、キーワードの入力を促すための「タグを検索」というメッセージが表示されている。キーワードの入力欄86内の右端部には、「×」のボタン88が表示され、キーワードの入力欄86の右側には、「キャンセル」のボタン90が表示されている。
【0142】
続いて、ユーザにより、キーワードの入力欄86にキーワードが入力されたとする。
【0143】
この場合、タグ情報検索部36により、画像群に含まれる全ての画像に付与された全てのタグ情報の中から、ユーザの中からの指示に応じて入力されたキーワードと少なくとも一部が一致するタグ情報が検索タグ情報として検索される。
続いて、タグ情報表示部30により、検索タグ情報の少なくとも一部が表示部46に表示される。
続いて、タグ情報指定部32により、表示部46に表示された検索タグ情報の中から、ユーザからの指示に応じて選択された1の検索タグ情報が指定される。
続いて、画像抽出部34により、画像群の中から、1の検索タグ情報が付与された画像が検索画像として抽出される。
続いて、画像表示部38により、全ての検索画像の少なくとも一部が表示部46に表示される。
続いて、タグ情報表示部30により、全ての検索画像に付与された全てのタグ情報の少なくとも一部が表示部46に表示される。
【0144】
例えば、
図18に示すように、「アイスクリーム」のタグ情報を検索するために、キーワードの入力欄86に「あ」が入力された場合、部分一致検索が行われ、画像群に含まれる全ての画像に付与された全てのタグ情報の中から、「あ」に部分一致するタグ情報が検索タグ情報として検索される。
【0145】
続いて、検索タグ情報の候補として、
図18に示すように、タグ情報の検索画面において、例えば「あいちゃん」、「あーちゃん」、「あまおう」および「アイスクリーム」のタグ情報のボタンがこの順序で上側から下側へ向かって表示される。
【0146】
タグ情報の検索画面において、全てを表示できない数の検索タグ情報が含まれている場合、ユーザは、タグ情報の検索画面に表示された検索タグ情報を上下方向にスワイプして検索タグ情報の候補の一覧を上下方向へ移動させることにより、タグ情報の検索画面に表示された検索タグ情報の一部を外側へ押し出し、かつタグ情報の検索画面に表示されていない検索タグ情報の一部をタグ情報の検索画面内へ移動して表示させることができる。
【0147】
また、ユーザは、「×」のボタン88をタップすることにより、入力欄86に入力されたキーワードを一括で削除することができる。また、「キャンセル」のボタン90をタップすることにより、タグ情報の検索画面を閉じてタグ情報の選択画面へ戻ることができる。さらに、ユーザは、タグ情報の検索画面の上部に表示された下向きの矢印96をスワイプすることにより、いつでもタグ情報の検索画面を閉じることができる。
【0148】
続いて、ユーザにより、
図18に指印56で示すように、タグ情報の検索画面に表示された検索タグ情報の候補のボタンの中から、例えば「アイスクリーム」のタグ情報のボタンがタップされたとする。
【0149】
この場合、
図19に示すように、タグ情報の選択画面が表示部46に表示される。これ以降の動作は、タグ情報が何も選択されていない状態において、「自転車」のタグ情報のボタンが選択された後の状態の場合と同様である。
【0150】
つまり、「アイスクリーム」のタグ情報が選択タグ情報として指定され、
図19に示すように、タグ情報の選択画面によって覆われていない画像の一覧画面の上部の領域の左側に「アイスクリーム」と表示される。
続いて、画像群の中から、選択タグ情報である「アイスクリーム」のタグ情報が付与された画像が検索画像として抽出され、検索画像が画像の一覧画面に表示される。
また、選択タグ情報である「アイスクリーム」のタグ情報が付与された検索画像に付与された全てのタグ情報がタグ情報の選択画面に表示される。
【0151】
これ以降の動作は、「自転車」のタグ情報のボタンが選択された状態において、さらに「チャリ旅」のタグ情報のボタンが追加でタップされる場合と同様であり、ユーザは、検索条件として使用したいタグ情報のボタンを追加で選択することができる。
【0152】
なお、ユーザにより、新たな画像が撮影されたり、画像に新たなタグ情報が付与されたり、あるいは、画像に既に付与されているタグ情報が削除されたりした場合、これらの新たな画像、新たなタグ情報、削除されたタグ情報等に基づいて、例えばAI(Artificial Intelligence:人工知能)等を利用した機械学習により、タグ情報の信頼度を向上させるようにしてもよい。
【0153】
また、例えば画像の解析、評価値の付与、タグ情報の付与、重み付けの設定、画像の抽出およびタグ情報の検索等のようなクライアント14が備える機能の少なくとも一部をサーバ12が備え、サーバ12が少なくとも一部の機能を実行するようにしてもよい。
【0154】
本発明の装置において、例えば指示取得部18、画像解析部22、評価値付与部24、タグ情報付与部26、重み付け設定部28、タグ情報表示部30、タグ情報指定部32、画像抽出部34、タグ情報検索部36、画像表示部38、画像指定部40、画像情報表示部42および画像情報編集部44等の各種の処理を実行する処理部(Processing Unit)のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。
【0155】
各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0156】
1つの処理部を、これら各種のプロセッサのうちの1つで構成してもよいし、同種または異種の2つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、または、FPGAおよびCPUの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの1つで構成してもよいし、複数の処理部のうちの2以上をまとめて1つのプロセッサを用いて構成してもよい。
【0157】
例えば、サーバおよびクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。
【0158】
さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)である。
【0159】
また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【0160】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0161】
10 画像処理システム
12 サーバ
14 クライアント
16 ネットワーク
18 指示取得部
20 画像保持部
22 画像解析部
24 評価値付与部
26 タグ情報付与部
28 重み付け設定部
30 タグ情報表示部
32 タグ情報指定部
34 画像抽出部
36 タグ情報検索部
38 画像表示部
40 画像指定部
42 画像情報表示部
44 画像情報編集部
46 表示部
50 通知およびステータス領域
52 メニュー領域
54 ナビゲーション領域
56 指印
58、66、88 「×」のボタン
60 「情報」のボタン
62 「ゴミ箱」のボタン
64 「共有」のボタン
68 「編集」のボタン
70 「タグを追加」のボタン
72、78、90 「キャンセル」のボタン
74 「保存」のボタン
76 新規なタグ情報の入力欄
80 「タグを検索」のボタン
82 「カレンダー」のボタン
84 「その他」のボタン
86 キーワードの入力欄
92、94、96 矢印