(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06F 16/58 20190101AFI20240910BHJP
G06F 16/53 20190101ALI20240910BHJP
【FI】
G06F16/58
G06F16/53
(21)【出願番号】P 2022069488
(22)【出願日】2022-04-20
【審査請求日】2023-01-27
(73)【特許権者】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】君塚 靖大
【審査官】齊藤 貴孝
(56)【参考文献】
【文献】特開2020-194472(JP,A)
【文献】特開2011-081549(JP,A)
【文献】特開2013-152543(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00-16/958
(57)【特許請求の範囲】
【請求項1】
画像と前記画像を説明する文字列とを対応づけて格納する画像情報を記憶する記憶部と、
対象画像を取得する取得部と、
前記画像情報に含まれる画像の中から、前記対象画像との類似度が所定値以上であ
る類似画像を特定する特定部と、
特定された前記類似画像に対応づけられた文字列の中から場所を示す文字列を特定し、特定した前記場所を示す文字列を、前記対象画像が撮影された撮影場所に対応する地点名称に置き換えること、又は、特定された前記類似画像に対応づけられた文字列の中から撮影時刻を示す文字列を特定し、特定した前記撮影時刻を示す文字列を、前記対象画像が撮影された撮影時刻に対応する文字列に置き換えることで、前記対象画像に付与する文字列を生成する生成部と、
前記対象画像に付与する文字列を、前記対象画像に対応づけて前記画像情報に登録する登録部と、
を有する情報処理装置。
【請求項2】
前記画像情報には、画像が撮影された撮影場所を示すメタデータが含まれており、
前記特定部は、前記対象画像が撮影された場所から所定範囲内で撮影され
た類似画像を特定する、
請求項1に記載の情報処理装置。
【請求項3】
前記画像情報には、画像が撮影された撮影時刻を示すメタデータが含まれており、
前記特定部は、前記対象画像が撮影された撮影時刻から所定時間内で撮影され
た類似画像を特定する、
請求項1に記載の情報処理装置。
【請求項4】
前記画像情報には、画像が撮影された撮影時刻を示すメタデータが含まれており、
前記特定部は、前記対象画像が撮影された撮影時刻から所定時間内で撮影され
た類似画像を特定する、
請求項2に記載の情報処理装置。
【請求項5】
前記特定部は、前記対象画像が撮影された場所から所定範囲内で撮影され、かつ、前記対象画像が撮影された撮影時刻から所定時間内で撮影された類似画像が存在しない場合、前記対象画像との類似度が所定値以上であるか否かに関わらず、前記類似画像を特定できないものとする、
請求項4に記載の情報処理装置。
【請求項6】
前記特定部は、前
記類似画像が特定できない場合、場所を示す情報と地点名称とが対応づけて格納される名称情報を参照することで前記対象画像の撮影場所に対応する地点名称を特定し、
前記対象画像に付与する文字列として、特定された地点名称を含む文字列を生成する生成部、を有する、
請求項1~5のいずれか一項に記載の情報処理装置。
【請求項7】
画像と前記画像を説明する文字列とを対応づけて格納する画像情報を記憶部に記憶させるステップと、
対象画像を取得するステップと、
前記画像情報に含まれる画像の中から、前記対象画像との類似度が所定値以上であ
る類似画像を特定するステップと、
特定された前記類似画像に対応づけられた文字列の中から場所を示す文字列を特定し、特定した前記場所を示す文字列を、前記対象画像が撮影された撮影場所に対応する地点名称に置き換えること、又は、特定された前記類似画像に対応づけられた文字列の中から撮影時刻を示す文字列を特定し、特定した前記撮影時刻を示す文字列を、前記対象画像が撮影された撮影時刻に対応する文字列に置き換えることで、前記対象画像に付与する文字列を生成するステップと、
前記対象画像に付与する文字列を、前記対象画像に対応づけて前記画像情報に登録するステップと、
を含む、情報処理装置が行う情報処理方法。
【請求項8】
画像と前記画像を説明する文字列を含むメタデータとを対応づけて格納する画像情報を記憶部に記憶させるステップと、
対象画像を取得するステップと、
前記画像情報に含まれる画像の中から、前記対象画像との類似度が所定値以上であ
る類似画像を特定するステップと、
特定された前記類似画像に対応づけられた文字列の中から場所を示す文字列を特定し、特定した前記場所を示す文字列を、前記対象画像が撮影された撮影場所に対応する地点名称に置き換えること、又は、特定された前記類似画像に対応づけられた文字列の中から撮影時刻を示す文字列を特定し、特定した前記撮影時刻を示す文字列を、前記対象画像が撮影された撮影時刻に対応する文字列に置き換えることで、前記対象画像に付与する文字列を生成するステップと、
前記対象画像に付与する文字列を、前記対象画像に対応づけて前記画像情報に登録するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
現在、スマートフォン等を利用することで簡単に画像を撮影することができる。また、特許文献1に記載されているように、撮影されることを意識していない自然な表情での撮影を実現する技術も提供されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮影した画像に対し、何を撮影した画像であるのかを説明する文字列を付与しておくと、後日画像を閲覧する際に、撮影当時を思い出すことができるため便利である。しかしながら、画像の撮影が容易になったことで、ストレージには大量の画像が蓄積されることが多い。そのため、これらの大量の画像に対して、1枚ずつ文字列を付与していくことは非常に手間であると考えられる。
【0005】
そこで、本発明は、撮影した画像に対し、画像を説明する文字列を容易に付与することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る情報処理装置は、画像と前記画像を説明する文字列とを対応づけて格納する画像情報を記憶する記憶部と、対象画像を取得する取得部と、前記画像情報に含まれる画像の中から、前記対象画像との類似度が所定値以上である1以上の類似画像を特定する特定部と、前記対象画像に付与する文字列として、特定された前記1以上の類似画像に対応づけられた1以上の文字列の中から選択された文字列、又は、ユーザにより入力された文字列を受け付ける受付部と、前記対象画像に付与する文字列を、前記対象画像に対応づけて前記画像情報に登録する登録部と、を有する。
【発明の効果】
【0007】
本発明によれば、撮影した画像に対し、画像を説明する文字列を容易に付与することを可能とする技術を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態に係る画像管理システムの一例を示す図である。
【
図2】画像処理装置及び端末のハードウェア構成例を示す図である。
【
図3】画像処理装置の機能ブロック構成例を示す図である。
【
図5】画像処理装置が行う処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0010】
<システム構成>
図1は、本実施形態に係る画像処理システムの一例を示す図である。画像処理システム1は、画像処理装置10と、1又は複数の端末20とを含む。画像処理装置10と、端末20とは、無線又は有線の通信ネットワークNを介して接続され、相互に通信を行うことができる。
【0011】
画像処理装置10は、ユーザが撮影した画像を格納するストレージを備える。また、画像処理装置10は、ストレージに格納された画像のメタデータと、当該画像を説明する文字列とを記憶する。メタデータには、例えば、画像が撮影された日時及び画像が撮影された場所を示す情報等が含まれる。画像を説明する文字列は、ユーザが任意に入力することができる。
【0012】
なお、画像を説明する文字列は、説明文、タイトル、ディスクリプション、キャプション(Caption)などとも呼ばれる。以下の説明では、画像を説明する文字列を、「ディスクリプション」と呼ぶ。なお、画像処理システム1は、ユーザが撮影した動画を管理することも可能である。そのため、本実施形態における「画像」には、静止画像に限られず動画も含むこととしてもよい。
【0013】
端末20は、ユーザが操作する端末であり、例えば、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ(PC)、カメラ、ノートPC、携帯情報端末(PDA)、家庭用ゲーム機器などであってもよい。
【0014】
本実施形態において、画像処理装置10は、ユーザにより撮影された画像をストレージに格納するとともに、ストレージに格納された画像に対し、ユーザが入力したディスクリプションを付与する。また、画像処理装置10は、ディスクリプションが付与されていない新たな画像に対し、ストレージの中から、当該新たな画像に類似する画像(以下「類似画像」と言う。)を特定し、当該類似画像に付与されたディスクリプションを、新たな画像に付与するディスクリプションの候補として表示する。ユーザは、新たな画像に付与するディスクリプションを、表示されたディスクリプションの候補の中から選択してもよいし、新たなディスクリプションを入力してもよい。「新たな画像」は、ディスクリプションを付与する対象となる画像であることから、「対象画像」と称してもよい。
【0015】
<ハードウェア構成>
図2は、画像処理装置10及び端末20のハードウェア構成例を示す図である。画像処理装置10及び端末20は、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)等のプロセッサ11、メモリ、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)等の記憶装置12、有線又は無線通信を行う通信IF(Interface)13、入力操作を受け付ける入力デバイス14、及び情報の出力を行う出力デバイス15を有する。入力デバイス14は、例えば、キーボード、タッチパネル、マウス及び/又はマイク等である。出力デバイス15は、例えば、ディスプレイ、タッチパネル及び/又はスピーカ等である。画像処理装置10は、1又は複数の物理的なサーバ等から構成されていてもよいし、ハイパーバイザー(hypervisor)上で動作する仮想的なサーバを用いて構成されていてもよいし、クラウドサーバを用いて構成されていてもよい。また、画像処理装置10は、情報処理装置と呼ばれてもよい。記憶装置12はストレージと呼ばれてもよい。
【0016】
<機能ブロック構成>
図3は、画像処理装置10の機能ブロック構成例を示す図である。画像処理装置10は、記憶部100と、取得部101と、特定部102と、受付部103と、登録部104と、表示制御部105と、生成部106とを含む。記憶部100は、画像処理装置10が備える記憶装置12を用いて実現することができる。また、取得部101と、特定部102と、受付部103と、登録部104と、表示制御部105と、生成部106とは、画像処理装置10のプロセッサ11が、記憶装置12に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体(Non-transitory computer readable medium)であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、USBメモリ又はCD-ROM等の記憶媒体であってもよい。
【0017】
記憶部100は、画像を格納する画像データDB(DataBase)100aと、メタデータ及びディスクリプションを画像と対応づけて格納する画像管理DB100bとを記憶する。なお、画像データDB100a及び/又は画像管理DB100bは、「画像情報」と呼ばれてもよい。例えば、画像情報は、画像と画像を説明する文字列とを対応づけて格納する情報であってもよいし、画像とメタデータと画像を説明する文字列とを対応づけて格納する情報であってもよい。また、画像管理DB100b(画像情報)には、画像が撮影された撮影場所を示すメタデータが含まれていてもよい。また、画像管理DB100bには、画像が撮影された撮影時刻を示すメタデータが含まれていてもよい。
【0018】
取得部101は、端末20等を介して、新たな画像(対象画像)を取得する。
【0019】
特定部102は、画像データDB100a(画像情報)に含まれる画像の中から、新たな画像との類似度が所定値以上である1以上の類似画像を特定する。
【0020】
受付部103は、ユーザから(端末20から)各種の入力を受け付ける。また、受付部103は、新たな画像(対象画像)に付与するディスクリプション(文字列)として、特定された1以上の類似画像に対応づけられた1以上のディスクリプションの中から選択されたディスクリプション、又は、ユーザにより入力されたディスクリプションを受け付ける。
【0021】
登録部104は、新たな画像に付与するディスクリプションを、新たな画像に対応づけて画像管理DB100bに登録する。
【0022】
表示制御部105は、各種画面を端末20のディスプレイに表示させる。例えば、表示制御部105は、ディスクリプションの選択又は入力を受け付ける画面を端末20のディスプレイに表示させる。
【0023】
生成部106は、新たな画像に付与するディスクリプションを生成する。また、生成部106は、新たな画像に付与するディスクリプションの一部を変更するようにしてもよい。
【0024】
図4は、画像管理DB100bの一例を示す図である。「画像ファイル名」は、画像データDB100aに格納されている画像のファイル名を示す。「撮影日時」は、画像データDB100aに格納されている画像が撮影された日時を示す。「撮影場所」は、画像データDB100aに格納されている画像が撮影された場所を示す情報(緯度及び経度)を示す。「ディスクリプション」は、画像データDB100aに格納されている画像に付与された、画像を説明する文字列を示す。なお、撮影日時及び撮影場所は、メタデータに対応する。また、メタデータには、撮影日時及び撮影場所に加えて、ディスクリプションが含まれることとしてもよい。
【0025】
<処理手順>
図5は、画像処理装置10が行う処理手順の一例を示すフローチャートである。
図5を用いて、画像処理装置10が、撮影された画像に対してディスクリプションの付与を行う際の処理手順を説明する。
【0026】
ステップS10で、取得部101は、ユーザの端末20から、ディスクリプションを付与する新たな画像を取得する。なお、画像処理装置10は、ディスクリプションを付与する新たな画像を、ユーザの端末20に代えて、他の情報処理装置から取得してもよい。
【0027】
ステップS11で、取得部101は、ステップS10で取得した画像を、画像データDB100aに格納する。
【0028】
ステップS12で、特定部102は、画像データDB100aに格納されている画像の中から、新たな画像に類似する1以上の類似画像を特定する。より具体的には、特定部102は、画像データDB100aに格納されている1以上の画像の各々と新たな画像との類似度を算出し、算出した類似度が所定値以上である1以上の画像を、類似画像として特定するようにしてもよい。類似度の算出は、どのような手法を利用してもよいが、例えば、2つの画像の類似度を出力する能力を備えた学習済みモデル、又は、第3者により提供される、類似度を出力するAPI(Application Programing Interface)等を利用することとしてもよい。
【0029】
ステップS13で、取得部101は、画像管理DB100bから、ステップS12の処理手順で特定された各類似画像に対応するディスクリプションを取得する。
【0030】
ステップS14で、表示制御部105は、ステップS13の処理手順で取得したディスクリプションを、新たな画像に付与するディスクリプションの候補として端末20に表示させる。
【0031】
ステップS15で、受付部103は、ユーザから、新たな画像に付与するディスクリプションを受け付ける。例えば、受付部103は、ステップS14の処理手順で端末20に表示させたディスクリプションの候補の中から、新たな画像に付与するディスクリプションの選択を受け付けるようにしてもよい。若しくは、受付部103は、新たな画像に付与するディスクリプションとして、任意の文字列の入力を受け付けるようにしてもよい。
【0032】
ステップS16で、登録部104は、ステップS15の処理手順で受け付けたディスクリプションを、新たな画像のファイル名と対応づけて画像管理DB100bに登録する。
【0033】
<変形例>
以下、本実施形態に係る複数の変形例を説明する。なお、以下の変形例は、任意に組み合わせることが可能である。
【0034】
(変形例1)
特定部102は、ステップS12の処理手順で1以上の類似画像を特定する場合、画像データDB100aに格納されている画像のうち、新たな画像が撮影された場所から所定範囲内で撮影され、かつ、新たな画像との類似度が所定値以上である1以上の類似画像を特定するようにしてもよい。すなわち、特定部102は、画像管理DB100bに格納されている画像のうち、撮影場所及び写っている被写体が新たな画像と類似している画像を、類似画像として特定するようにしてもよい。
【0035】
(変形例2)
特定部102は、ステップS12の処理手順で1以上の類似画像を特定する場合、画像データDB100aに格納されている画像のうち、新たな画像が撮影された撮影時刻から所定時間内で撮影され、かつ、新たな画像との類似度が所定値以上である1以上の類似画像を特定するようにしてもよい。すなわち、特定部102は、画像管理DB100bに格納されている画像のうち、撮影時刻及び写っている被写体が新たな画像と類似している画像を、類似画像として特定するようにしてもよい。
【0036】
(変形例3)
特定部102は、ステップS12の処理手順で1以上の類似画像を特定する場合、画像データDB100aに格納されている画像のうち、新たな画像が撮影された場所から所定範囲内で撮影され、新たな画像が撮影された撮影時刻から所定時間内で撮影され、かつ、新たな画像との類似度が所定値以上である1以上の類似画像を特定するようにしてもよい。すなわち、特定部102は、画像管理DB100bに格納されている画像のうち、撮影場所、撮影時刻及び写っている被写体が新たな画像と類似している画像を、類似画像として特定するようにしてもよい。
【0037】
(変形例4)
特定部102は、ステップS12の処理手順で特定された、新たな画像との類似度が所定値以上である1以上の類似画像の中で、新たな画像が撮影された撮影場所から所定範囲内で撮影され、かつ、新たな画像が撮影された撮影時刻から所定時間内で撮影された類似画像が存在しない場合、類似画像を特定することができなかったものとしてもよい。すなわち、特定部102は、新たな画像と類似する画像が画像データDB100aに存在していたとしても、撮影場所及び撮影時刻が類似していない場合は、類似画像とは扱わないようにしてもよい。これにより、新たな画像とは無関係のディスクリプションが候補として表示されることを抑制することが可能になる。
【0038】
(変形例5)
また、特定部102は、1以上の類似画像が特定できない場合、場所を示す情報(例えば緯度及び経度)と地点名称とを対応づけて格納する名称情報を参照することで、新たな画像の撮影場所に対応する地点名称を特定するようにしてもよい。また、生成部106は、新たな画像に付与する文字列として、特定された地点名称を含む文字列を生成するようにしてもよい。ここで、名称情報は、記憶部100に記憶されていてもよいし、画像処理装置10が通信可能な他の情報処理装置に記憶されていてもよい。
【0039】
例えば、特定部102は、画像データDB100aを参照しても、新たな画像に類似する画像が特定できなかった場合において、新たな画像の撮影場所と名称情報とを比較することで、新たな画像の撮影場所に対応する地点名称として、「遊園地B」を特定したものとする。この場合、生成部106は、遊園地Bの文字列を含むディスクリプションを生成するようにしてもよい。
【0040】
(変形例6)
生成部106は、新たな画像のメタデータ(撮影場所及び/又は撮影時刻)に基づいて、特定部102で特定された類似画像に対応づけられたディスクリプションの一部を変更するようにしてもよい。例えば、生成部106は、特定部102で特定された類似画像に対応づけられたディスクリプションの中から場所を示す文字列を特定し、特定した文字列を、新たな画像の撮影場所に対応する地点名称に置き換えるようにしてもよい。なお、生成部106は、例えば、ディスクリプションを形態素解析することで名詞を抽出し、抽出した名詞と地名用語辞書とを突合することで、場所を示す文字列を特定するようにしてもよい。
【0041】
例えば、変形例2で説明したように、特定部102は、画像管理DB100bに格納されている画像のうち、撮影時刻及び写っている被写体が新たな画像と類似している画像を、類似画像として特定するようにしてもよい。ここで、類似画像に対応づけられたディスクリプションは、「遊園地Aでアスレチック体験」であると仮定する。また、新たな画像が撮影された場所の地点名称は、「キャンプ場X」であるものとする。この場合、生成部106は、「遊園地Aでアスレチック体験」のディスクリプションを形態素解析することで、「遊園地A」が場所を示す文字列であることを認識し、「遊園地A」を「キャンプ場X」に置き換えることで、「キャンプ場Xでアスレチック体験」のディスクリプションを生成するようにしてもよい。
【0042】
また、生成部106は、特定部102で特定された類似画像に対応づけられたディスクリプションの中から撮影時刻を示す文字列を特定し、特定した文字列を、新たな画像の撮影時刻に対応する文字列に置き換えるようにしてもよい。なお、生成部106は、例えば、ディスクリプションを形態素解析することで名詞を抽出し、抽出した名詞と時刻用語辞書とを突合することで、撮影時刻を示す文字列を特定するようにしてもよい。
【0043】
ここで、類似画像に対応づけられたディスクリプションは、「6月にキャンプ」であると仮定する。また、新たな画像が撮影された時刻は、2月であるものとする。この場合、生成部106は、「6月にキャンプ」のディスクリプションを形態素解析することで、「6月」が撮影時刻を示す文字列であることを認識し、「6月」を「2月」や「冬」に置き換えることで、「2月にキャンプ」のディスクリプションや、「冬にキャンプ」のディスクリプションを生成するようにしてもよい。
【0044】
これにより、新たな画像に対応するディスクリプションが登録されていない場合であっても、適切なディスクリプションを生成することが可能になる。
【0045】
<画面表示例>
図6は、画面表示例を示す図である。画面P100は、ディスクリプションを付与する新たな画像を選択する画面を示す。表示制御部105は、ユーザにより画面P100で画像が選択されると、入力画面P110に遷移させる。入力画面P110には、画面P100で選択された新たな画像と、
図5のステップS13の処理手順で取得された、類似画像に対応するディスクリプションが一覧表示される。なお、入力画面P110には、新たな画像と類似画像の類似度が高い順に、類似画像に対応するディスクリプションが一覧表示されるようにしてもよい。例えば、入力画面P110の例では、「フィールドアスレチックでジップライン体験」、「ロープウェイで移動中」及び「リフトで散策」の順にディスクリプションが一覧表示されている。
【0046】
<まとめ>
以上説明した実施形態によれば、撮影した画像に対し、画像を説明する文字列を容易に付与することが可能になる。そのため、本実施形態に係る技術は、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。」
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0047】
1…画像処理システム、10…画像処理装置、11…プロセッサ、12…記憶装置、13…通信IF、14…入力デバイス、15…出力デバイス、20…端末、100…記憶部、100a…画像データDB、100b…画像管理DB、101…取得部、102…特定部、103…受付部、104…登録部、105…表示制御部、106…生成部