(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138110
(43)【公開日】2024-10-07
(54)【発明の名称】撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体
(51)【国際特許分類】
H04N 23/60 20230101AFI20240927BHJP
H04N 5/91 20060101ALI20240927BHJP
【FI】
H04N23/60 100
H04N23/60 300
H04N5/91
【審査請求】有
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2024121184
(22)【出願日】2024-07-26
(62)【分割の表示】P 2020191500の分割
【原出願日】2020-11-18
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【弁理士】
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】大島 一輝
(57)【要約】
【課題】カメラの知識が浅いユーザでも、ユーザが撮影したいと考えている通りの画像を撮影することができるようにする。
【解決手段】本発明の撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体においては、第1画像毎に、第1画像を解析して、第1画像の特徴量を取得し、第1画像と、第1画像が撮影されたときの第1通信端末の撮影に関する設定値および第1画像の特徴量を表現したテキスト形式のタグと、を関連付けてメモリに記憶し、第2通信端末からテキスト形式の検索キーを受信し、メモリに記憶された第1画像の中から、検索キーに合致したタグが付与された第1画像を検索し、メモリに記憶された設定値の中から、検索された第1画像と関連付けられた設定値を取得し、取得された設定値を第2通信端末に設定し、設定された設定値に基づいて画像を撮影する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
複数のユーザが有する複数の通信端末によってアクセスされるサーバであって、
第1プロセッサを備え、前記第1プロセッサは、
1以上の第1通信端末から、前記第1通信端末によって撮影された第1画像および前記第1画像が撮影されたときの前記第1通信端末の撮影に関する設定値を受信し、
前記第1画像毎に、前記第1画像を解析して、前記第1画像の特徴量を取得し、
前記第1画像と、前記設定値および前記第1画像の特徴量を表現したテキスト形式のタグと、を関連付けて前記メモリに記憶し、
第2通信端末からテキスト形式の検索キーを受信し、
前記メモリに記憶された第1画像の中から、前記検索キーに合致したタグが付与された
第1画像を検索し、
前記メモリに記憶された設定値の中から、前記第1プロセッサにより検索された第1画像と関連付けられた設定値を取得し、
前記第1プロセッサにより取得された設定値を前記第2通信端末へ送信する、サーバ。
【請求項2】
前記第1プロセッサは、
前記ユーザ毎に、前記第1画像と、前記設定値および前記特徴量と、を関連付けて前記メモリに記憶し、
前記メモリに記憶された前記第2通信端末のユーザの第1画像の特徴量に基づいて、前記第2通信端末のユーザの画像の嗜好を分析し、
前記メモリに記憶された第1画像の中から、前記第2通信端末のユーザの画像の嗜好に合致または類似した特徴量と関連付けられた第1画像を検索する、請求項1に記載のサーバ。
【請求項3】
前記第1プロセッサは、
前記第1通信端末から、前記第1通信端末のユーザにより前記第1画像に対して投票された肯定的な評価および否定的な評価の少なくとも一方を受信し、
前記第1画像と、前記第1画像に対して投票された全ての前記評価の数と、を関連付けて前記メモリに記憶し、
前記第2通信端末から、前記評価に基づく検索の指示を受信し、
前記指示に応じて、前記メモリに記憶された第1画像のうち、前記評価の数に基づいて、定められた数の第1画像を検索する、請求項1または2に記載のサーバ。
【請求項4】
前記第1プロセッサは、
前記第1通信端末から前記評価の投票日時を受信し、
前記第1画像と、前記評価の投票日時と、を関連付けて前記メモリに記憶し、
前記第2通信端末から前記評価の投票期間を受信し、
前記メモリに記憶された第1画像の中から、前記評価の投票期間内の投票日時に前記評価が投票された第1画像を検索する、請求項3に記載のサーバ。
【請求項5】
前記第1プロセッサは、
前記特徴量として、最も広い第1階層の概念の特徴量を取得し、nを2以上の整数として、前記第1階層の概念よりも順次狭くなる第2階層から第n階層までの概念の特徴量を取得し、
前記第1階層から前記第n階層までの概念の特徴量の少なくとも1つを使用して、前記メモリに記憶された第1画像の中から、定められた数の第1画像を検索する、請求項1ないし4のいずれか一項に記載のサーバ。
【請求項6】
前記第1プロセッサは、
前記第1プロセッサにより検索された複数の第1画像の中から、前記第2通信端末のユーザにより選択された第1画像の情報を受信し、
前記メモリに記憶された設定値の中から、前記第1画像の情報に対応する第1画像と関連付けられた設定値を取得する、請求項1ないし5のいずれか一項に記載のサーバ。
【請求項7】
前記設定値は、前記第1画像が撮影されたときの前記第1通信端末の絞り、シャッタスピード、焦点距離およびISO感度の少なくとも1つの値を含む、請求項1ないし6のいずれか一項に記載のサーバ。
【請求項8】
前記特徴量は、前記第1画像が有するヘッダ情報、前記第1画像に写っている被写体、および、前記第1画像のシーンの少なくとも1つを含む、請求項1ないし7のいずれか一項に記載のサーバ。
【請求項9】
請求項1ないし8のいずれか一項に記載のサーバと、前記複数の通信端末と、を備え、
前記第1通信端末は、第2プロセッサを備え、
前記第2通信端末は、第3プロセッサを備え、
前記第2プロセッサは、前記第1画像および前記設定値を前記サーバへ送信し、
前記第3プロセッサは、
前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第3プロセッサにより受信された設定値を前記第2通信端末に設定し、
前記第3プロセッサにより設定された設定値に基づいて画像を撮影する、撮影システム。
【請求項10】
前記通信端末は、カメラを含み、
前記第1通信端末のカメラは、前記第2プロセッサを有し、
前記第2通信端末のカメラは、前記第3プロセッサを有し、
前記第2プロセッサは、前記第1画像および前記設定値を前記サーバへ送信し、
前記第3プロセッサは、前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第3プロセッサにより受信された設定値を前記第2通信端末のカメラに設定し、
前記第3プロセッサにより設定された設定値に基づいて画像を撮影する、請求項13に記載の撮影システム。
【請求項11】
前記第3プロセッサは、前記第3プロセッサによってキャプチャされたスルー画像に写っている被写体を認識して、前記被写体の情報を出力し、
前記第3プロセッサにより前記スルー画像に写っている被写体が認識されて、異なる前記被写体の情報が出力されるたびに、
前記第3プロセッサは、前記被写体の情報を前記サーバへ送信し、
前記第1プロセッサは、
前記第2通信端末のカメラから前記被写体の情報を受信し、
前記メモリに記憶された第1画像の中から、前記被写体の情報に合致または類似した被写体の特徴量に関連付けられた第1画像を検索し、
前記メモリに記憶された設定値の中から、前記第1プロセッサにより検索された第1画像と関連付けられた設定値を取得し、
前記第1プロセッサにより取得された設定値を前記第2通信端末へ送信し、
前記第3プロセッサは、
前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第3プロセッサにより受信された設定値を前記第2通信端末のカメラに設定する、動作を繰り返す、請求項14に記載の撮影システム。
【請求項12】
前記通信端末は、通信機能を有するカメラと、通信機能を有する情報端末と、を含み、
前記第1通信端末の情報端末は、前記第2プロセッサを有し、
前記第2通信端末の情報端末は、第4プロセッサを有し、前記第2通信端末のカメラは、第5プロセッサを有し、
前記第2プロセッサは、前記通信機能により前記第1通信端末のカメラから受信された前記第1画像および前記設定値を前記サーバへ送信し、
前記第4プロセッサは、前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第5プロセッサは、前記通信機能により前記第2通信端末の情報端末から受信された設定値を前記第2通信端末のカメラに設定し、前記第5プロセッサにより設定された設定値に基づいて画像を撮影する、請求項13に記載の撮影システム。
【請求項13】
第2プロセッサを備え、前記第2プロセッサは、
前記第1画像および前記設定値を、請求項1ないし12のいずれか一項に記載のサーバへ送信し、
前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第2プロセッサにより受信された設定値を前記通信端末に設定し、
前記第2プロセッサにより設定された設定値に基づいて画像を撮影する、通信端末。
【請求項14】
複数のユーザが有する複数の通信端末と、前記複数の通信端末によってアクセスされるサーバと、を備える撮影システムにおける撮影方法であって、
1以上の第1通信端末が、前記第1通信端末によって撮影された第1画像および前記第1画像が撮影されたときの前記第1通信端末の撮影に関する設定値を前記サーバへ送信するステップと、
前記サーバの第1受信部が、前記第1通信端末から前記第1画像および前記第1画像の設定値を受信するステップと、
前記サーバの特徴量取得部が、前記第1画像毎に、前記第1画像を解析して、前記第1画像の特徴量を取得するステップと、
前記サーバのメモリが、前記第1画像毎に、前記第1画像と、前記第1画像の設定値および特徴量と、を関連付けて記憶するステップと、
前記サーバの設定値取得部が、前記メモリに記憶された設定値の中から、前記サーバの画像検索部により検索された第1画像と関連付けられた設定値を取得するステップと、
前記サーバの第1送信部が、前記設定値取得部により取得された設定値を前記第2通信端末へ送信するステップと、
前記第2通信端末の第2受信部が、前記サーバから前記設定値取得部により取得された設定値を受信するステップと、
前記第2通信端末の設定部が、前記第2受信部により受信された設定値を前記第2通信端末に設定するステップと、
前記第2通信端末の撮影部が、前記設定部により設定された設定値に基づいて画像を撮影するステップと、を含む、撮影方法。
【請求項15】
請求項14に記載の撮影方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項16】
請求項14に記載の撮影方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザが次に撮影する画像の特徴量に応じて、他のユーザによって同様の特徴量の画像が撮影されたときのカメラの撮影に関する設定値を用いて画像を撮影する撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体に関する。
【背景技術】
【0002】
カメラの知識が浅いユーザは、単に漠然と子供等の被写体に向けて、オートモードに設定されたままの状態で画像を撮影しているだけであり、本来は、カメラの設定を変更することにより、様々な表現の画像(写真)を撮影できるが、それに気付かないでいる。
または、カメラの知識が浅いユーザは、SNS(Social Networking Service:ソーシャル・ネットワーキング・サービス)等を通じて自分の好みの画像を見つけても、どのようにカメラの設定を変更すれば、このような画像を撮影できるのかが分からないため、実際に撮影する前に諦めてしまう。
【0003】
また、例えばSNS等を通じて、運動会での子供が綺麗に撮影された画像を見つけて、このような画像を撮影したくても、すぐに忘れてしまい、実際の運動会の場面になると、特に意識することなく、オートモードに設定されたままの状態で画像を撮影してしまう。
さらに、そもそも自分の好みの画像および自分が撮影したい画像を明確に把握できていないユーザも存在する。
【0004】
ここで、本発明の参考となる先行技術文献として、例えば特許文献1~5がある。
【0005】
特許文献1には、複数のデジタルカメラから、画像の色温度に関する情報を含む複数の画像の属性情報を受信し、受信した複数の画像の属性情報に基づき、複数の画像に対する画像処理に共通に用いられる共通パラメータを決定し、決定した共通パラメータを用いて画像処理が行われた複数の画像を表示部に順次表示させるネットワーク制御装置が記載されている。
【0006】
特許文献2には、他のカメラで撮影した撮像信号の検知情報を取得し、この検知情報を用いて、撮影シーンに適応した撮像制御および信号処理の制御を行う撮像装置が記載されている。
【0007】
特許文献3には、撮影しようとする被写体画像をデジタルカメラからサーバへ送り、サーバにおいて、被写体画像から被写体の特徴を抽出し、撮影条件データと関連付けて記憶された見本画像の中から、見本画像に含まれる特徴情報に基づいて、被写体画像と類似する見本画像を検索し、その撮影条件データを抽出して、サーバからデジタルカメラへ配信する撮影条件データ配信システムが記載されている。
【0008】
特許文献4には、サーバにおいて、位置情報に対応させて記憶された画像情報の中から、デジタルカメラから受信した位置情報に対応する画像情報を検索し、検索された画像情報と、これに付加されている、デジタルカメラに対して撮影条件を設定するための制御情報と、をデジタルカメラに送信し、デジタルカメラにおいて、サーバから受信された制御情報に基づき撮影条件を設定する撮像システムが記載されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2009-065448号公報
【特許文献2】特開2014-180024号公報
【特許文献3】特開2003-333498号公報
【特許文献4】特開2003-348519号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
特許文献1は、複数の画像の色味等のばらつきを軽減しようとするものであるが、それが必ずしも画像を閲覧するユーザの好みの色味等であるとは限らない。また、デジタルカメラの撮影に関する設定値を変更することができれば、画像処理では対応できない表現も可能になるが、特許文献1は、デジタルカメラの撮影に関する設定値を変更することを記載していない。
【0011】
特許文献2では、撮影シーンに適応した制御を行うために、複数のカメラが必要になる。
【0012】
特許文献3は、有名な写真家毎に、見本写真およびその撮影データを関連付けて記憶することを記載しているが、他のユーザのデジタルカメラから、他のユーザが撮影した写真およびその撮影データを取得して利用することは記載していない。また、特許文献3は、見本画像が画像データに加えて、その特徴情報を含むことを記載しているが、見本画像を解析して、見本画像の特徴量を取得することを記載していない。
【0013】
特許文献4は、制御情報が画像情報に付加されていることを記載しているが、他のユーザのデジタルカメラから、他のユーザが撮影した画像の画像情報およびその制御情報を取得して利用することは記載していない。また、特許文献4は、位置情報に対応させて画像情報を記憶することを記載しているが、画像情報を解析して、画像の位置情報を取得することを記載していない。
【0014】
本発明の目的は、カメラの知識が浅いユーザでも、ユーザが撮影したいと考えている通りの画像を撮影することができる撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【0015】
上記目的を達成するために、本発明は、複数のユーザが有する複数の通信端末によってアクセスされるサーバであって、
第1プロセッサを備え、第1プロセッサは、
1以上の第1通信端末から、第1通信端末によって撮影された第1画像および第1画像が撮影されたときの第1通信端末の撮影に関する設定値を受信し、
第1画像毎に、第1画像を解析して、第1画像の特徴量を取得し、
第1画像と、設定値および第1画像の特徴量を表現したテキスト形式のタグと、を関連付けて前記メモリに記憶し、
第2通信端末からテキスト形式の検索キーを受信し、
メモリに記憶された第1画像の中から、検索キーに合致したタグが付与された第1画像を検索し、
メモリに記憶された設定値の中から、第1プロセッサにより検索された第1画像と関連付けられた設定値を取得し、
第1プロセッサにより取得された設定値を第2通信端末へ送信する、サーバを提供する。
【0016】
ここで、第1プロセッサは、
ユーザ毎に、第1画像と、設定値および特徴量と、を関連付けてメモリに記憶し、
メモリに記憶された第2通信端末のユーザの第1画像の特徴量に基づいて、第2通信端末のユーザの画像の嗜好を分析し、
メモリに記憶された第1画像の中から、第2通信端末のユーザの画像の嗜好に合致または類似した特徴量と関連付けられた第1画像を検索することが好ましい。
【0017】
また、第1プロセッサは、
第1通信端末から、第1通信端末のユーザにより第1画像に対して投票された肯定的な評価および否定的な評価の少なくとも一方を受信し、
第1画像と、第1画像に対して投票された全ての評価の数と、を関連付けてメモリに記憶し、
第2通信端末から、評価に基づく検索の指示を受信し、
指示に応じて、メモリに記憶された第1画像のうち、評価の数に基づいて、定められた数の第1画像を検索することが好ましい。
【0018】
また、第1プロセッサは、
第1通信端末から評価の投票日時を受信し、
第1画像と、評価の投票日時と、を関連付けてメモリに記憶し、
第2通信端末から評価の投票期間を受信し、
メモリに記憶された第1画像の中から、評価の投票期間内の投票日時に評価が投票された第1画像を検索することが好ましい。
【0019】
また、第1判定モデルは、第1学習用画像と、第1学習用画像の特徴量と、を第1教師データとして、第1学習用画像と、第1学習用画像の特徴量と、の関係を、複数の第1教師データについて学習した学習済みモデルであり、
第2判定モデルは、第2学習用画像の特徴量および第3学習用画像の特徴量と、第2学習用画像の特徴量と第3学習用画像の特徴量との類似度と、を第2教師データとして、第2学習用画像の特徴量および第3学習用画像の特徴量と、第2学習用画像の特徴量と第3学習用画像の特徴量との類似度と、の関係を、複数の第2教師データについて学習した学習済みモデルであることが好ましい。
【0020】
また、第1プロセッサは、
第1画像と、設定値および特徴量と、第1画像の特徴量を表現したテキスト形式のタグと、を関連付けてメモリに記憶し、
第2通信端末からテキスト形式の検索キーを受信し、
メモリに記憶された第1画像の中から、検索キーに合致したタグが付与された第1画像を検索することが好ましい。
【0021】
また、第1プロセッサは、
特徴量として、最も広い第1階層の概念の特徴量を取得し、nを2以上の整数として、第1階層の概念よりも順次狭くなる第2階層から第n階層までの概念の特徴量を取得し、
第1階層から第n階層までの概念の特徴量の少なくとも1つを使用して、メモリに記憶された第1画像の中から、定められた数の第1画像を検索することが好ましい。
【0022】
また、第1プロセッサは、
第1プロセッサにより検索された複数の第1画像の中から、第2通信端末のユーザにより選択された第1画像の情報を受信し、
メモリに記憶された設定値の中から、第1画像の情報に対応する第1画像と関連付けられた設定値を取得することが好ましい。
【0023】
また、設定値は、第1画像が撮影されたときの第1通信端末の絞り、シャッタスピード、焦点距離およびISO感度の少なくとも1つの値を含むことが好ましい。
【0024】
また、特徴量は、第1画像が有するヘッダ情報、第1画像に写っている被写体、および、第1画像のシーンの少なくとも1つを含むことが好ましい。
【0025】
また、本発明は、前述のいずれかのサーバと、複数の通信端末と、を備え、
第1通信端末は、第2プロセッサを備え、
第2通信端末は、第3プロセッサを備え、
第2プロセッサは、第1画像および設定値をサーバへ送信し、
第3プロセッサは、
サーバから、第1プロセッサにより取得された設定値を受信し、
第3プロセッサにより受信された設定値を第2通信端末に設定し、
第3プロセッサにより設定された設定値に基づいて画像を撮影する、撮影システムを提供する。
【0026】
ここで、通信端末は、カメラを含み、
第1通信端末のカメラは、第2プロセッサを有し、
第2通信端末のカメラは、第3プロセッサを有し、
第2プロセッサは、第1画像および設定値をサーバへ送信し、
第3プロセッサは、サーバから、第1プロセッサにより取得された設定値を受信し、
第3プロセッサにより受信された設定値を第2通信端末のカメラに設定し、
第3プロセッサにより設定された設定値に基づいて画像を撮影することが好ましい。
【0027】
また、第3プロセッサは、第3プロセッサによってキャプチャされたスルー画像に写っている被写体を認識して、被写体の情報を出力し、
第3プロセッサによりスルー画像に写っている被写体が認識されて、異なる被写体の情報が出力されるたびに、
第3プロセッサは、被写体の情報をサーバへ送信し、
第1プロセッサは、
第2通信端末のカメラから被写体の情報を受信し、
メモリに記憶された第1画像の中から、被写体の情報に合致または類似した被写体の特徴量に関連付けられた第1画像を検索し、
メモリに記憶された設定値の中から、第1プロセッサにより検索された第1画像と関連付けられた設定値を取得し、
第1プロセッサにより取得された設定値を第2通信端末へ送信し、
第3プロセッサは、
サーバから、第1プロセッサにより取得された設定値を受信し、
第3プロセッサにより受信された設定値を第2通信端末のカメラに設定する、動作を繰り返すことが好ましい。
【0028】
また、通信端末は、通信機能を有するカメラと、通信機能を有する情報端末と、を含み、
第1通信端末の情報端末は、第2プロセッサを有し、
第2通信端末の情報端末は、第4プロセッサを有し、第2通信端末のカメラは、第5プロセッサを有し、
第2プロセッサは、通信機能により第1通信端末のカメラから受信された第1画像および設定値をサーバへ送信し、
第4プロセッサは、サーバから、第1プロセッサにより取得された設定値を受信し、
第5プロセッサは、通信機能により第2通信端末の情報端末から受信された設定値を第2通信端末のカメラに設定し、第5プロセッサにより設定された設定値に基づいて画像を撮影することが好ましい。
【0029】
また、本発明は、第2プロセッサを備え、第2プロセッサは、
第1画像および設定値を、サーバへ送信し、
サーバから、第1プロセッサにより取得された設定値を受信し、
第2プロセッサにより受信された設定値を通信端末に設定し、
第2プロセッサにより設定された設定値に基づいて画像を撮影する、通信端末を提供する。
【0030】
また、本発明は、複数のユーザが有する複数の通信端末と、複数の通信端末によってアクセスされるサーバと、を備える撮影システムにおける撮影方法であって、
1以上の第1通信端末が、第1通信端末によって撮影された第1画像および第1画像が撮影されたときの第1通信端末の撮影に関する設定値をサーバへ送信するステップと、
サーバの第1受信部が、第1通信端末から第1画像および第1画像の設定値を受信するステップと、
サーバの特徴量取得部が、第1画像毎に、第1画像を解析して、第1画像の特徴量を取得するステップと、
サーバのメモリが、第1画像毎に、第1画像と、第1画像の設定値および特徴量と、を関連付けて記憶するステップと、
サーバの設定値取得部が、メモリに記憶された設定値の中から、サーバの画像検索部により検索された第1画像と関連付けられた設定値を取得するステップと、
サーバの第1送信部が、設定値取得部により取得された設定値を第2通信端末へ送信するステップと、
第2通信端末の第2受信部が、サーバから設定値取得部により取得された設定値を受信するステップと、
第2通信端末の設定部が、第2受信部により受信された設定値を第2通信端末に設定するステップと、
第2通信端末の撮影部が、設定部により設定された設定値に基づいて画像を撮影するステップと、を含む、撮影方法を提供する。
【0031】
また、本発明は、前述の撮影方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【0032】
また、本発明は、前述の撮影方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【0033】
本発明によれば、ユーザは、次に撮影する画像の特徴量に合致または類似した特徴量を有する画像が撮影されたときの通信端末の設定値と同じ設定値を使って画像を撮影することができる。従って、カメラの知識が浅いユーザであっても、素早く簡単に、自分が撮影したいと考えている通りの画像を撮影することができる。
【図面の簡単な説明】
【0034】
【
図1】本発明の撮影システムの構成を表す一実施形態のブロック図である。
【
図2】サーバの構成を表す一実施形態のブロック図である。
【
図3】通信端末の構成を表す一実施形態のブロック図である。
【
図4】撮影システムの動作を表す一実施形態のフローチャートである。
【
図5】撮影システムの動作を表す一実施形態の概念図である。
【発明を実施するための形態】
【0035】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体を詳細に説明する。
【0036】
図1は、本発明の撮影システムの構成を表す一実施形態のブロック図である。
図1に示す撮影システム10は、複数のユーザが有する複数の通信端末14と、複数の通信端末14によってアクセスされるサーバ12と、を備えている。サーバ12と複数の通信端末14の各々とは、インターネット、電話回線およびWi-Fi(Wireless Fidelity:ワイファイ)等のネットワーク16を経由して相互に接続される。これにより、サーバ12と各々の通信端末14とは、相互にデータの送受信が可能である。
【0037】
サーバ12は、通信端末14によって撮影された画像およびこの画像が撮影されたときの通信端末14の撮影に関する設定値を受信し、ユーザからの要求に応じて、ユーザが次に撮影する画像の特徴量に適した設定値を、このユーザの通信端末14へ送信する。サーバ12は、
図2に示すように、第1受信部18と、特徴量取得部20と、記憶部22と、画像検索部24と、嗜好分析部26と、設定値取得部28と、第1送信部30と、を備えている。
【0038】
第1受信部18は、通信端末14から各種のデータを受信する。例えば、第1受信部18は、第1通信端末14から、第1通信端末14によって撮影された第1画像およびこの第1画像が撮影されたときの第1通信端末14の撮影に関する設定値等を受信する。また、第1受信部18は、第2通信端末14から、第2画像の特徴量等を受信する。
【0039】
第1通信端末14は、複数の通信端末14のうちの1以上の通信端末であって、第1画像およびその設定値をサーバ12へ送信する。
第1画像は、第1通信端末14によって撮影された1以上の画像である。
設定値は、第1通信端末14の撮影に関する各種の設定項目の値(撮影条件)であり、特に限定されないが、第1画像が撮影されたときの第1通信端末14の絞り、シャッタスピード、焦点距離およびISO感度の少なくとも1つの値を含むことが望ましい。また、これ以外の設定項目の値を含んでいてもよい。設定値は、例えば第1画像が有するExif(Exchangeable Image File Format:イグジフ)等のヘッダ情報の中から抽出することができる。
【0040】
第2通信端末14は、複数の通信端末14のうちの1つの通信端末であって、第2画像の特徴量をサーバ12へ送信し、サーバ12から、第2通信端末14のユーザが次に撮影する画像の特徴量に適した設定値を受信する。
第2画像は、第2通信端末14のユーザが、第2通信端末14を用いて次に撮影する画像の特徴量に合致または類似した特徴量を有する第1画像を検索するためのサンプル画像である。
【0041】
特徴量取得部20は、第1受信部18により受信された第1画像毎に、1以上の解析項目について第1画像を解析して、第1画像の特徴量を取得する。
【0042】
解析項目は、特に限定されないが、第1画像の明るさ(輝度)、色合い(彩度)、シャープネス、コントラスト、および、ボケブレ度合い等のように、第1画像の画質の解析を含んでいてもよい。
解析項目は、第1画像に写っている被写体(人物および人物以外のオブジェクト)の検出、被写体の数の検出、被写体の動きの検出、被写体の行動の検出、および、第1画像のシーンの検出等のように、第1画像の内容の解析を含んでいてもよい。
解析項目は、第1画像が有するヘッダ情報に含まれる撮影日時、撮影場所、通信端末14の機種名およびレンズ名のように、第1画像の属性の解析を含んでいてもよい。
【0043】
特徴量は、第1画像の解析の結果に基づいて、第1画像の特徴に関する各種の情報を数値で表したものであり、特に限定されないが、下記の(1)~(4)等を数値で表したものが利用可能である。
(1)第1画像の画質に関する情報。例えば、第1画像の輝度およびシャープネス等の情報。
(2)第1画像の内容に関する情報。例えば、第1画像に写っている被写体、被写体の数、被写体の数、被写体の動き、被写体の行動、および、第1画像のシーン等の情報。
(3)第1画像の属性に関する情報。第1画像が有するヘッダ情報から取得される各種の情報であって、例えば、第1画像が撮影されたときの撮影日時、撮影場所、通信端末14の機種名およびレンズ名等のように、設定値とは関係のない情報。
(4)判定モデル(学習済みモデル)によって推定される、第1画像の画質、内容および属性等の特徴量を512次元等の多次元のベクトルとして表した情報。例えば、第1画像に写っている被写体および第1画像のシーン等の情報。
【0044】
特徴量取得部20は、画像解析により1以上の解析項目の解析を行う判定プログラム等を用いて第1画像の特徴量を取得してもよいし、第1判定モデルを用いて第1画像の特徴量を推定してもよい。
ここで、第1判定モデルは、第1学習用画像と、この第1学習用画像の特徴量と、を第1教師データとして、第1学習用画像と、この第1学習用画像の特徴量と、の関係を、複数の第1教師データについて学習した学習済みモデルである。
第1判定モデルは、第1画像を入力として、この第1画像の特徴量を推定する。
【0045】
特徴量は、特に限定されないが、第1画像が有するヘッダ情報、第1画像に写っている被写体、および、第1画像のシーンの少なくとも1つを含むことが望ましい。また、これ以外の特徴量を含んでいてもよい。特徴量として使用するヘッダ情報内の項目も、特に限定されないが、第1画像が撮影されたときの撮影日時、撮影場所、第1通信端末14の機種名およびレンズ名の少なくとも1つを含むことが望ましい。また、特徴量として、これ以外のヘッダ情報内の項目を含んでいてもよい。
【0046】
記憶部22は、第1画像に関する各種のデータを含むデータベースを記憶するメモリであり、第1画像毎に、第1画像と、その設定値および特徴量と、を関連付けて記憶する。例えば、記憶部22は、これらのデータをユーザ毎に記憶する。
記憶部22は、特に限定されないが、半導体メモリ等のメモリ装置、HDD(Hard Disk Drive:ハードディスクドライブ)およびSSD(Solid State Drive:ソリッドステートドライブ)等の記憶装置が利用可能である。
【0047】
嗜好分析部26は、記憶部22に記憶された第2通信端末14のユーザの第1画像の特徴量に基づいて、第2通信端末14のユーザの画像の嗜好を分析する。
【0048】
ユーザの画像の嗜好は、このユーザが好んで撮影している画像の傾向を表す。例えば、嗜好分析部26は、第1画像の特徴量として、特定のカメラの機種名およびレンズ名が多い場合、この機種名およびレンズ名の通信端末14を使用して画像を撮影するのが好きであると分析する。また、第1画像の特徴量として、「子供」が多い場合、この「子供」の画像を撮影するのが好きであると分析する。さらに、第1画像の特徴量として、秋の「運動会」が多い場合、この季節のこの「運動会」の画像を撮影するのが好きであると分析する。
【0049】
画像検索部24は、記憶部22に記憶された第1画像の中から、第1受信部18により第2通信端末14から受信された第2画像の特徴量に合致または類似した特徴量と関連付けられた第1画像を検索する。また、画像検索部24は、記憶部22に記憶された第1画像の中から、嗜好分析部26により分析された第2通信端末14のユーザの画像の嗜好に合致または類似した特徴量と関連付けられた第1画像を検索する。
例えば、画像検索部24は、第2画像の特徴量が「子供」の場合、記憶部22に記憶された第1画像の中から、「子供」の特徴量と関連付けられた第1画像を検索する。また、画像検索部24は、嗜好分析部26によりユーザの画像の嗜好が、「子供」の画像を撮影するのが好きであると分析された場合、記憶部22に記憶された第1画像の中から、「子供」の特徴量と関連付けられた第1画像を検索する。
【0050】
設定値取得部28は、記憶部22に記憶された設定値の中から、画像検索部24により検索された第1画像と関連付けられた設定値を取得する。
例えば、設定値取得部28は、画像検索部24により1枚の第1画像が検索された場合、記憶部22に記憶された設定値の中から、この1枚の第1画像と関連付けられた設定値を取得する。一方、設定値取得部28は、画像検索部24により複数の第1画像が検索された場合、記憶部22に記憶された設定値の中から、この複数の第1画像の中から、第2通信端末14のユーザにより選択された1枚の第1画像に関連付けられた設定値を取得する。
【0051】
第1送信部30は、各種のデータを通信端末14へ送信する。例えば、第1送信部30は、設定値取得部28により取得された設定値、および、画像検索部24により検索された第1画像等を第2通信端末14へ送信する。
【0052】
通信端末14は、通信端末14によって撮影された画像およびこの画像が撮影されたときの通信端末14の設定値をサーバ12へ送信し、ユーザからの要求に応じて、ユーザが次に撮影する画像の特徴量に適した通信端末14の設定値を、サーバ12から受信する。
【0053】
通信端末14は、本実施形態の場合、通信機能を有するカメラ32と、通信機能を有する携帯情報端末34と、を備えている。カメラ32は、デジタル一眼レフカメラ等であって、
図3に示すように、設定部46と、撮影部48と、を備えている。また、携帯情報端末34は、スマートフォン等であって、同じく
図3に示すように、第2送信部36と、入力部38と、表示制御部40と、表示部42と、第2受信部44と、を備えている。
なお、カメラ32および携帯情報端末34は、上記以外の構成要素も備えているが、ここではその説明は省略する。
【0054】
カメラ32と携帯情報端末34とは、例えばUSB(Universal Serial Bus:ユニバーサル・シリアル・バス)ケーブル等による有線によって、あるいは、Bluetooth(ブルートゥース、登録商標)またはWi-Fi等による無線によって相互に接続可能であり、互いの通信機能により、相互にデータの送受信が可能である。カメラ32および携帯情報端末34の通信機能は、公知の送信部による送信機能および受信部による受信機能を含む。なお、カメラ32と携帯情報端末34との接続およびデータの送受信についての詳細な説明は省略する。
【0055】
携帯情報端末34において、第2受信部44は、サーバ12から各種のデータを受信する。例えば、第2通信端末14の第2受信部44は、サーバ12から、設定値取得部28により取得された設定値、および、画像検索部24により検索された第1画像等を受信する。
【0056】
入力部38は、ユーザから入力された各種の指示等を取得する。入力部38は、特に限定されないが、携帯情報端末34が有する物理的なボタンによって入力された指示の他、表示部42に表示された本発明を実施するアプリケーションの操作画面(グラフィカルユーザインタフェイス)において、表示部42に設けられたタッチパネルを用いてタッチ操作によりユーザから入力された各種の指示等を取得する。
例えば、第1通信端末14の入力部38は、第1画像およびその設定値をサーバ12へ送信する指示等を取得する。第2通信端末14の入力部38は、第2画像の特徴量をサーバ12へ送信する指示、表示部42に表示された第1画像の一覧の中から1枚の画像を選択する指示、および、サーバ12から受信された設定値をカメラ32に設定するか否かの指示等を取得する。
【0057】
表示制御部40は、各種の情報を表示部42に表示させる。例えば、表示制御部40は、撮影部48により撮影された画像、サーバ12から受信された第1画像の一覧、および、各種の操作画面等を表示部42に表示させる。
【0058】
表示部42は、表示制御部40の制御により、各種の情報を表示するディスプレイである。表示部42は、特に限定されないが、液晶ディスプレイおよび有機EL(Electro Luminescence:エレクトロルミネッセンス)ディスプレイ等の画像表示装置である。
【0059】
第2送信部36は、各種のデータをサーバ12へ送信する。例えば、第2送信部36は、第1画像およびその設定値と、第2画像の特徴量と、の少なくとも一方をサーバ12へ送信する。より詳しくは、第1通信端末14の第2送信部36は、第1画像およびその設定値をサーバ12へ送信し、第2通信端末14の第2送信部36は、第2画像の特徴量をサーバ12へ送信する。また、第2送信部36は、入力部38により取得された各種の指示等をサーバ12へ送信する。
【0060】
カメラ32において、設定部46は、通信機能により第2通信端末14の携帯情報端末34から受信された設定値をカメラ32に設定する。例えば、第2通信端末14の設定部46は、設定値を第2通信端末14のカメラ32に設定する。
【0061】
撮影部48は、ユーザがシャッタボタンを押した場合に画像を撮影する。例えば、第2通信端末14の撮影部48は、第2通信端末14の設定部46により設定された設定値に基づいて画像を撮影する。
【0062】
なお、携帯情報端末34の代わりに、通信機能を有するデスクトップ型PC(Personal Computer:パーソナルコンピュータ)、ノート型PC、または、タブレット型PC等の情報端末を使用してもよい。
【0063】
次に、
図4に示すフローチャートを参照しながら、撮影システム10の動作を説明する。
【0064】
まず、第1通信端末14において、ユーザは、カメラ32を用いて画像を撮影する。例えば、ユーザは、
図5の左部に示すように、運動会において、自分の子供の徒競走の画像を撮影する。この場合、ユーザがカメラ32のシャッタボタンを押すと、撮影部48により、運動会での自分の子供の画像が撮影される(ステップS1)。なお、この場合のカメラ32の設定値は特に限定されず、例えばオートモード等であってもよい。
【0065】
画像の撮影が終了した後、ユーザが、カメラ32と携帯情報端末34とを接続し、画像の送信を指示すると、入力部38により、この指示が取得される。この指示に応じて、
図5の左部に示すように、画像およびこの画像が撮影されたときのカメラ32の撮影に関する設定値が、通信機能によりカメラ32から携帯情報端末34へ送信される。本実施形態の場合、カメラ32の設定値は、シャッタスピード、絞りおよび焦点距離を含む。
続いて、同じく
図5の左部に示すように、通信機能によりカメラ32から受信された画像(第1画像)およびその設定値が、第2送信部36により携帯情報端末34からサーバ12へ送信される。
【0066】
なお、第1通信端末14において、設定値抽出部を設けておき、この第1通信端末14の設定値抽出部により、画像のヘッダ情報の中から設定値を抽出して、通信端末14からサーバ12へ送信してもよい。あるいは、サーバ12において、設定値抽出部を設けておき、このサーバ12の設定値抽出部により、第1通信端末14から受信された画像のヘッダ情報の中から設定値を抽出してもよい。
【0067】
続いて、サーバ12において、第1受信部18により、第1通信端末14から第1画像およびその設定値が受信される(ステップS2)。
続いて、第1受信部18により受信された第1画像が、特徴量取得部20により解析され、その特徴量が取得される(ステップS3)。本実施形態の場合、第1画像の特徴量として、第1画像に写っている被写体および第1画像のシーンが取得される。
続いて、表1に示すように、ユーザ毎のID(Identification:識別番号)と、画像名で表される第1画像と、カメラ32の機種名およびレンズ名と、第1受信部18により受信されたカメラ32の設定値である、シャッタスピード、絞りおよび焦点距離と、特徴量取得部20により取得された第1画像の特徴量である被写体およびシーンと、が関連付けられて記憶部22に記憶される(ステップS4)。
【0068】
【0069】
記憶部22に記憶された第1画像は、撮影システム10を利用する全てのユーザに公開される。つまり、各々のユーザは、各々のユーザの通信端末14において、記憶部22に記憶された複数のユーザの全ての第1画像を自由に閲覧することが可能である。
【0070】
ここで、撮影したい画像があるユーザ、言い換えると、次に撮影する被写体およびシーン等が明確に分かっているユーザは、カメラ32を用いて画像を撮影する場合に、記憶部22に記憶された第1画像の中から、ユーザが次に撮影する画像に合致または類似した1枚の第1画像を選択し、この選択された1枚の第1画像が撮影された時のカメラ32の設定値を使用して、次の画像を撮影することができる。
【0071】
この場合、第2通信端末14において、ユーザが、記憶部22に記憶された第1画像の一覧を閲覧する指示を入力すると、携帯情報端末34の入力部38により、この指示が取得される。
続いて、入力部38により取得された指示が、第2送信部36によりサーバ12へ送信される。
【0072】
続いて、サーバ12において、第1受信部18により、第2通信端末14から指示が受信される。この指示に応じて、第1送信部30により、記憶部22に記憶された第1画像の一覧が第2通信端末14へ送信される。
【0073】
続いて、第2通信端末14において、携帯情報端末34の第2受信部44により、サーバ12から第1画像の一覧が受信される。
そして、第2受信部44により受信された第1画像の一覧が、
図5の右部に示すように、表示制御部40の制御により、携帯情報端末34の表示部42に表示される。
【0074】
ここで、ユーザは、第2画像の特徴量として、例えばカメラ32の機種名、レンズ名、被写体およびシーン等に基づいて第1画像を検索して絞り込むことが可能である。
【0075】
この場合、第2通信端末14において、ユーザが、例えば「運動会」および「子供」を入力すると、携帯情報端末34の入力部38により、この「運動会」および「子供」が、第2画像の特徴量として取得される。
続いて、入力部38により取得された第2画像の特徴量が、第2送信部36によりサーバ12へ送信される。
【0076】
続いて、サーバ12において、第1受信部18により、第2通信端末14から第2画像の特徴量が受信される(ステップS5)。
続いて、画像検索部24により、記憶部22に記憶された第1画像の中から、第2画像の「運動会」および「子供」の特徴量に合致した特徴量、つまり、「運動会」および「子供」の特徴量と関連付けられた第1画像が検索される(ステップS6)。例えば、表1の例では、被写体の特徴量に「子供」が含まれ、シーンの特徴量に「運動会」が含まれる、画像名が「Sample1.jpg」の画像が検索される。
そして、画像検索部24により検索された第1画像の一覧が、第1送信部30により第2通信端末14へ送信される。
【0077】
続いて、第2通信端末14において、サーバ12から、画像検索部24により検索された第1画像の一覧が、携帯情報端末34の第2受信部44により受信され、
図5の右部に示すように、第2受信部44により受信された第1画像の一覧が、表示制御部40の制御により表示部42に表示される。
続いて、ユーザが、表示部42に表示された第1画像の一覧の中から、ユーザが次に撮影する画像の特徴量に最も近い特徴量を有する1枚の第1画像を選択すると(ステップS7)、ユーザにより選択された第1画像の情報が、入力部38により取得される。
続いて、入力部38により取得された第1画像の情報が、第2送信部36によりサーバ12へ送信される。
【0078】
続いて、サーバ12において、第1受信部18により、第2通信端末14から第1画像の情報が受信される。
続いて、設定値取得部28により、記憶部22に記憶された設定値の中から、第1受信部18により受信された第1画像の情報に対応する第1画像と関連付けられた設定値が取得される(ステップS8)。
続いて、設定値取得部28により取得された設定値が、第1送信部30により第2通信端末14へ送信される(ステップS9)。
【0079】
続いて、第2通信端末14において、携帯情報端末34の第2受信部44により、サーバ12から設定値が受信される。
続いて、第2受信部44により受信された設定値、および、例えば「この設定にしますか? はい/いいえ」等の設定を促すメッセージが、表示制御部40の制御により表示部42に表示される。
【0080】
これに対して、ユーザが、「いいえ」を選択した場合(ステップS10でNo)、処理は終了する。この場合、ユーザは、例えば第1画像の一覧の中から所望の画像を選び直して再度上記の動作を実行することができる。
一方、ユーザが、カメラ32と携帯情報端末34とを接続し、「はい」を選択した場合(ステップS10でYes)、
図5に示すように、第2受信部44により受信された設定値が、通信機能により携帯情報端末34からカメラ32へ送信される。
【0081】
続いて、通信機能により携帯情報端末34から受信された設定値が、カメラ32の設定部46によりカメラ32に設定される(ステップS11)。
設定値の設定が完了した後、携帯情報端末34の表示制御部40の制御により、例えば「設定が完了しました」等のメッセージが表示部42に表示される。
これに応じて、第2通信端末14のユーザは、設定部46により設定値が設定されたカメラ32を用いて、
図5の右部に示すように、次に撮影する画像、例えば、運動会において、自分の子供の徒競走の画像を撮影する(ステップS12)。
【0082】
これにより、ユーザは、次に撮影する画像の特徴量に合致または類似した特徴量を有する画像が撮影されたときのカメラ32の設定値と同じ設定値を使って画像を撮影することができる。従って、カメラの知識が浅いユーザであっても、素早く簡単に、自分が撮影したいと考えている通りの画像を撮影することができる。
【0083】
一方、撮影したい画像が特にないユーザ、言い換えると、次に撮影する被写体およびシーン等が特にないユーザは、サーバ12により、記憶部22に記憶された第1画像のうち、自動で検索されたユーザの嗜好に合致する第1画像の中から1枚の第1画像を選択し、この選択された1枚の第1画像が撮影されたときのカメラ32の設定値を使用して、画像を撮影することが可能である。
【0084】
この場合、サーバ12において、嗜好分析部26により、記憶部22に記憶された第2通信端末14のユーザの第1画像の特徴量、例えば、第2通信端末14のユーザの第1画像が撮影されたときのカメラ32の機種名およびレンズ名、第2通信端末14のユーザの第1画像に写っている被写体、および、第2通信端末14のユーザの第1画像のシーン等に基づいて、第2通信端末14のユーザの画像の嗜好が分析される。
【0085】
例えば、記憶部22に記憶された第2通信端末14のユーザの第1画像の特徴量として「子供」が多い場合、すなわち、第2通信端末14のユーザが「子供」の画像を頻繁に撮影している場合、「子供」の画像を撮影するのが好きであると分析される。
【0086】
続いて、画像検索部24により、記憶部22に記憶された第1画像の中から、嗜好分析部26により分析されたユーザの嗜好に合致または類似した特徴量と関連付けられた第1画像が検索される。
【0087】
例えば、第2通信端末14のユーザと同じ機種名のカメラおよび同じレンズ名のレンズが使われていて、第2通信端末14のユーザの画像の嗜好に合致した被写体が写っていて、現在の日付に近いイベントのシーンが撮影された画像が検索される。例えば、「子供」の画像を頻繁に撮影しているユーザの場合、2020年10月の運動会のイベントにおいて、同じ機種名のカメラおよび同じレンズ名のレンズを使用して撮影された「子供」の画像が検索される。
【0088】
続いて、画像検索部24により検索された第1画像の一覧が、第1送信部30により第2通信端末14へ送信される。
【0089】
続いて、第2通信端末14において、携帯情報端末34の第2受信部44により、サーバ12から第1画像の一覧が受信される。
そして、第2受信部44によって受信された第1画像の一覧が、表示制御部40の制御により表示部42に表示される。すなわち、ユーザの嗜好に合致した第1画像の一覧が、ユーザに対して提案される。
これ以後の動作は同じである。
【0090】
これにより、撮影したい画像が特にないユーザであっても、ユーザの嗜好に合致すると分析された画像の中から選択された1枚の画像が撮影された時のカメラ32の設定値を使用して、素早く簡単に、ユーザの嗜好に合致した画像を撮影することができる。
【0091】
なお、ユーザの嗜好に基づく画像の分析、検索および表示は、例えば1日1回、1時間に1回というように、定期的に行ってもよいし、本発明を実施するアプリケーションを起動した時または本発明を実施するウェブページを開いた時等に1回だけ実行してもよい。
【0092】
上記実施形態の場合、第2通信端末14のユーザは、携帯情報端末34において、表示制御部40の制御により、表示部42に表示された第1画像の一覧を閲覧しているが、これに限定されず、カメラ32において第1画像の一覧を閲覧することもできる。この場合、カメラ32は、携帯情報端末34と同様の入力部38、表示制御部40および表示部42を備える。カメラ32において第1画像の一覧を閲覧する場合の動作は同様である。
【0093】
また、通信端末14が、携帯情報端末34を含むことは必須ではなく、カメラ32のみを含んでいてもよい。
この場合、カメラ32は、設定部46および撮影部48に加えて、携帯情報端末34と同様の第2受信部44、入力部38、表示制御部40、表示部42および第2送信部36を備える。
まず、第1通信端末14のカメラ32の第2送信部36により、第1画像およびその設定値がサーバ12へ送信される。
一方、第2通信端末14のカメラ32の第2送信部36により、第2画像の特徴量がサーバ12へ送信される。
続いて、第2通信端末14のカメラ32の第2受信部44により、サーバ12から、設定値取得部28により取得された設定値が受信される。
続いて、第2通信端末14のカメラ32の第2受信部44により受信された設定値が、第2通信端末14のカメラ32の設定部46により第2通信端末14のカメラ32に設定される。
そして、第2通信端末14のカメラ32の設定部46により設定された設定値に基づいて、第2通信端末14のカメラ32の撮影部48により画像が撮影される。
なお、上記以外のカメラ32の入力部38、表示制御部40および表示部42の動作は、携帯情報端末34の入力部38、表示制御部40および表示部42と同様である。
【0094】
これにより、ユーザは、携帯情報端末34を備えていなくても、携帯情報端末34を備えている場合と同様に画像を撮影することができる。
【0095】
また、第2通信端末14のユーザは、第1画像の一覧を閲覧する際に、第1画像に対して投票された肯定的な評価および否定的な評価の少なくとも一方に基づいて、一覧に含まれる第1画像を検索して絞り込むことができる。
【0096】
この場合、第1通信端末14のユーザは、第1画像の一覧を閲覧する際に、第1画像の一覧の中から1枚の第1画像を選択するだけでなく、任意の第1画像に対して肯定的なまたは否定的な評価を投票するためのボタンをタップして選択することにより、この任意の第1画像に対して肯定的な評価および否定的な評価の少なくとも一方を投票する。これに応じて、第2送信部36により、この評価がサーバ12へ送信される。
【0097】
続いて、サーバ12において、第1受信部18により、第1通信端末14から、第1通信端末14のユーザにより第1画像に対して投票された評価が受信される。
続いて、第1画像と、この第1画像に対して投票された全ての評価の数と、が関連付けられて記憶部22に記憶される。例えば、第1受信部18により、第1画像に対して投票された肯定的な評価が受信されるたびに、この第1画像の肯定的な評価の数が1つずつ増加される。否定的な評価の場合も同様である。
【0098】
評価に基づいて第1画像を絞り込む場合、第2通信端末14のユーザが、評価に基づく検索の指示を入力すると、入力部38により、この指示が取得される。
続いて、第2送信部36により、この指示がサーバ12へ送信される。
続いて、サーバ12において、第1受信部18により、第2通信端末14から、この指示が受信される。
続いて、画像検索部24により、この指示に応じて、記憶部22に記憶された第1画像のうち、評価の数に基づいて、定められた数の第1画像が検索される。例えば、画像検索部24は、肯定的な評価の数が最も多い1枚の第1画像、あるいは、肯定的な評価の数が最も多い側から複数の第1画像を検索してもよい。また、否定的な評価の数が最も多い側から複数の第1画像を除外して、それ以外の第1画像を検索してもよい。さらに、肯定的な評価の数から否定的な評価の数を減算した数が最も多い1枚の第1画像、あるいは、この減算した数が最も多い側から複数の第1画像を検索してもよい。
これ以後の動作は同じである。
【0099】
これにより、第2通信端末14のユーザは、撮影したい画像が特にない場合でも、複数のユーザから人気のある画像が撮影されたときの第1通信端末14の設定値と同じ設定値を使用して画像を撮影することができる。
【0100】
また、ユーザは、第1画像の一覧を閲覧する際に、例えば直近の1週間の画像、直近の1か月間の画像、直近の一年間の画像というように、第1画像に対する評価の投票期間によって第1画像を検索して絞り込むことが可能である。
【0101】
この場合、第1通信端末14において、第2送信部36により、第1画像に対する評価の投票日時がサーバ12へ送信される。
【0102】
続いて、サーバ12において、第1受信部18により、第1通信端末14から、この投票日時が受信される。
続いて、第1画像と、第1受信部18により受信された投票日時と、が関連付けられて記憶部22に記憶される。
【0103】
評価の投票期間に基づいて第1画像を絞り込む場合、第2通信端末14のユーザが、第1画像に対する評価の投票期間を入力すると、入力部38により、この投票期間が取得される。
続いて、第2送信部36により、この投票期間がサーバ12へ送信される。
【0104】
続いて、サーバ12において、第1受信部18により、第2通信端末14から、この投票期間が受信される。
続いて、画像検索部24により、記憶部22に記憶された第1画像の中から、第1受信部18により受信された投票期間内の投票日時に評価が投票された第1画像が検索される。
これ以後の動作は同じである。
【0105】
これにより、ユーザは、評価の投票期間における傾向が反映されたトレンドな画像が撮影されたときの第1通信端末14の設定値と同じ設定値を使用して画像を撮影することができる。また、ユーザは、例えば直近の投票期間によって画像を絞り込むことにより、新発売のカメラおよびレンズ等を用いて撮影された画像に絞り込むことができるため、新発売のカメラおよびレンズ等に適した設定値を使用することができる。
【0106】
さらに、ユーザは、第1画像の一覧を閲覧する際に、第1画像に写っている被写体によって画像を検索して絞り込むことが可能である。
【0107】
この場合、第2通信端末14のカメラ32において、撮影部48によってキャプチャされたスルー画像に写っている被写体を認識して、この被写体の情報を出力する被写体認識部を設けておく。
そして、第2通信端末14において、被写体認識部によりスルー画像に写っている被写体が認識されて、異なる被写体の情報が出力されるたびに、以下の動作を繰り返す。
【0108】
まず、被写体認識部により認識された被写体の情報が、第2通信端末14のカメラ32の第2送信部36によりサーバ12へ送信される。
続いて、サーバ12において、第1受信部18により、第2通信端末14のカメラ32から被写体の情報が受信される。
続いて、画像検索部24により、記憶部22に記憶された第1画像の中から、第1受信部18により受信された被写体の情報に合致または類似した被写体の特徴量に関連付けられた第1画像が検索される。
続いて、設定値取得部28により、記憶部22に記憶された設定値の中から、画像検索部24により検索された第1画像と関連付けられた設定値が取得される。
続いて、設定値取得部28により取得された設定値が、第1送信部30により第2通信端末14へ送信される。
【0109】
続いて、第2通信端末14のカメラ32において、第2受信部44により、サーバ12から設定値が受信される。
そして、第2受信部44により受信された設定値が、例えば設定部46により第2通信端末14のカメラ32に自動で設定される。
【0110】
このように、カメラ32が、被写体認識部を有する場合、被写体認識部によりスルー画像の被写体を認識し、検索条件(第2画像の特徴量)として、例えば、予め同一被写体で、直近の1週間で、かつ、最も人気のある画像と定めておくことにより、カメラ32により背景以外の被写体がキャプチャされるたびに、サーバ12から同一の検索条件に合致した設定値を受信して、カメラ32に自動で設定することができる。
これにより、第2通信端末14のユーザは、携帯情報端末34を操作して、第1画像の一覧の中から、次に撮影する画像に合致する画像を探す手間を省き、カメラ32のみを使用して設定値を自動で設定して画像を撮影することができる。
【0111】
また、画像検索部24は、被写体およびシーン等の類似度に基づいて第1画像を検索することができる。
【0112】
この場合、サーバ12において、後述する類似度算出部を設けておく。
まず、特徴量取得部20により、第1判定モデルを用いて、第1画像毎に、第1画像の特徴量が推定され、多次元のベクトル、例えば、(f1_1, f2_1, …, f512_1)という512次元のベクトルが出力される。この512次元のベクトルに基づいて、後述する類似度または距離により、2枚の画像が類似していると人間が判断する際の感覚と同様の類似判断を行わせることができる。
【0113】
続いて、第2通信端末14において、第2送信部36により、複数の第2画像がサーバ12へ送信される。複数の第2画像は、それぞれ異なる画像であるが、いずれも第2通信端末14のユーザが、第2通信端末14を用いて次に撮影する画像の特徴量と合致または類似した特徴量を有する画像である。例えば、例えばユーザが、次に「徒競走」での自分の子供を撮影する場合、複数の第2画像は、いずれも子供の「徒競走」のシーンが撮影された画像である。
【0114】
続いて、サーバ12において、第1受信部18により、第2通信端末14から複数の第2画像が受信される。
続いて、特徴量取得部20により、第1判定モデルを用いて、第2画像毎に、第2画像の特徴量が推定され、多次元のベクトル、同様に、(f1_2, f2_2, …, f512_2)という512次元のベクトルが出力される。
【0115】
続いて、類似度算出部により、第1画像毎に、第1画像の特徴量と各々の第2画像の特徴量との類似度が推定される。
【0116】
類似度算出部は、第2判定モデルを用いて、類似度を算出することができる。
第2判定モデルは、第2学習用画像の特徴量および第3学習用画像の特徴量と、第2学習用画像の特徴量と第3学習用画像の特徴量との類似度と、を第2教師データとして、第2学習用画像の特徴量および第3学習用画像の特徴量と、第2学習用画像の特徴量と第3学習用画像の特徴量との類似度と、の関係を、複数の第2教師データについて学習した学習済みモデルである。
第2判定モデルは、第1画像の特徴量および第2画像の特徴量を入力として、第1画像毎に、第1画像の特徴量と第2画像の特徴量との類似度を推定する。
【0117】
第2判定モデルの学習の際には、第2教師データとして、例えば互いに類似している第2学習用画像の特徴量および第3学習用画像の特徴量と、第2学習用画像と第3学習用画像とがどの程度類似しているという類似度(数値)と、を含む正解データが与えられ、多数の第2教師データについて学習が繰り返される。このようにして学習された第2判定モデルを用いて、第1画像の特徴量および第2画像の特徴量を入力として与えることにより、第1画像の特徴量と第2画像の特徴量とが類似しているか否か、さらには、どの程度類似しているかという類似度(数値)を出力することができる。
【0118】
あるいは、類似度算出部は、下記式(1)を用いて、第1画像毎に、第1画像の特徴量である512次元のベクトル(f1_1, f2_1, …, f512_1)と、各々の第2画像の特徴量である512次元のベクトル(f1_2, f2_2, …, f512_2)と、の距離d1_2を算出し、この距離d1_2を第1画像の特徴量と第2画像の特徴量との類似度として使用することができる。
d1_2=√{(f1_1 - f1_2)^2 + (f2_1 - f2_2)^2 ... + (f512_1 - f512_2)^2} … 式(1)
【0119】
なお、式(1)の代わりに、2つの値の差の絶対値の和をとって距離とする等、数学で距離を算出するための各種の算出式を同様に用いることが可能である。距離が小さいほど、類似度が高いことを意味するため、距離d1_2の逆数をとって、類似度s1_2 (= 1/d1_2)として使用する方が、より取り扱いが楽である。また、さらに取り扱いを楽にするために、類似度s1_2が、0~100等の範囲となるように規格化してもよい。
【0120】
また、類似度算出部により、第1画像の特徴量と各々の第2画像の特徴量との類似度または距離に基づいて、第1画像の特徴量と複数の第2画像の特徴量との総合類似度が算出される。例えば、表2に示すように、第1画像1と第2画像Aとの類似度=85、第1画像1と第2画像Bとの類似度=87、および、第1画像1と第2画像Cとの類似度=83を加算平均することにより、総合類似度=85が算出される。
【0121】
【0122】
なお、他の第1画像2,3,…と第2画像A、BおよびCとの総合類似度も同様にして算出される。また、総合類似度の算出方法は、加算平均に限らず、第1画像と複数の第2画像との類似度を総合的に表すものであれば、どのような算出式も利用可能である。
【0123】
続いて、画像検索部24により、第2判定モデルによる類似度の推定の結果に基づいて、記憶部22に記憶された第1画像のうち、総合類似度が最も高い側から、定められた数の第1画像が検索される。例えば、総合類似度が最も高い1枚の第1画像、あるいは、総合類似度が最も高い側から複数の第1画像が検索される。
これ以後の動作は同じである。
【0124】
上記の類似度に基づく第1画像の検索では、例えば運動会において、ユーザの子供が徒競走に参加する場合、複数の第2画像として、ユーザの子供以外の他の子供の徒競走の画像を撮影してサーバ12に送信することになる。しかし、たまたまユーザの子供が徒競走の第1組の走者であった場合、他の子供の徒競走の画像を撮影してサーバ12へ送信することは難しい。
【0125】
このような場合の対処方法として、画像検索部24は、記憶部22に記憶された第1画像を検索するための検索キーによって第1画像を検索してもよい。
【0126】
この場合、第1画像と、その設定値および特徴量と、被写体およびシーン等の第1画像の特徴量を自然言語の単語または文章により表現したテキスト形式のタグと、を関連付けて記憶部22に記憶しておく。例えば、第1画像の特徴量が「子供」の場合、「子供」というテキスト形式のタグを記憶しておく。
タグを付与する方法は、特に限定されないが、サーバ12または通信端末14にタグ付与部を設けておき、このタグ付与部により、第1画像の特徴量を表現したテキスト形式のタグを自動で付与してもよい。あるいは、各々のユーザが第1画像の特徴量を表現したテキスト形式のタグを手動で付与してもよいし、タグ付与部による自動でのタグの付与およびユーザによる手動でのタグの付与の両方を組み合わせてもよい。
【0127】
続いて、第2通信端末14において、第2送信部36により、テキスト形式の検索キー、例えば「子供」がサーバ12へ送信される。
【0128】
続いて、サーバ12において、第1受信部18により、第2通信端末14から検索キーが受信される。
続いて、画像検索部24により、記憶部22に記憶された第1画像の中から、第1受信部18により受信された検索キーに合致したタグ、例えば「子供」が付与された第1画像が検索される。
これ以後の動作は同じである。
【0129】
また、特徴量取得部20は、特徴量を概念的に複数の階層に分けて取得してもよい。
【0130】
この場合、特徴量取得部20により、特徴量として、最も広い第1階層の概念の特徴量が取得され、続いて、nを2以上の整数として、第1階層の概念よりも順次狭くなる第2階層から第n階層までの概念の特徴量が取得される。
【0131】
例えば、特徴量取得部20により、第1階層の概念の「被写体」の特徴量として、「風景」、「街並」、「人物」および「乗り物」等に分けて取得することが考えられる。この場合、さらに、第2階層の「被写体」の特徴量として、個々の「人物」の中でも、「子供」、「大人」、「お年寄り」、「男性」および「女性」等に分けて取得することが考えられる。他の被写体の場合も同様である。
【0132】
また、第1階層の概念の「シーン」の特徴量として、「夜景」、「集合写真」および「イベント」等に分けて取得することが考えられる。この場合、さらに、第2階層の概念の「シーン」の特徴量として、「イベント」の中でも、「運動会」、「遠足」および「遊園地」等に分けて取得することが考えられ、さらに、第3階層の「シーン」の特徴量として、「運動会」の中でも、「徒競走」および「お遊戯」等に分けて取得することが考えられる。他のシーンの場合も同様である。
ここで、例えば「徒競走」と「お遊戯」とは、画像解析による、被写体の移動速度の算出、移動方向の算出、および、手等の体の一部の動きの検出等に基づいて区別することが可能である。具体的には、移動速度が速く、移動方向の変化が比較的少ない場合には「徒競走」と判断することができる。一方、移動速度は比較的遅いが、移動方向の変化が大きく、かつ、手の動きが多い場合には、「お遊戯」と判断することができる。
【0133】
続いて、画像検索部24により、第1階層から第n階層までの概念の特徴量の少なくとも1つを使用して、記憶部22に記憶された第1画像の中から、定められた数の第1画像が検索される。例えば、1枚の第1画像、あるいは、複数の第1画像が検索される。
これ以後の動作は同じである。
【0134】
このように、複数の階層に分けて特徴量を取得する、言い換えると、より下位の階層の概念の特徴量を取得することにより、より正確に画像の特徴を表す特徴量を取得することができる。例えば、特徴量として、第1階層の概念の「イベント」よりも第2階層の概念の「運動会」の方がより正確であり、第2階層の概念の「運動会」よりも第3階層の概念の「徒競走」の方がより正確である。
【0135】
本発明の装置において、例えば、第1受信部18、特徴量取得部20、画像検索部24、嗜好分析部26、設定値取得部28、第1送信部30、第2送信部36、入力部38、表示制御部40、第2受信部44、設定部46および撮影部48等の各種の処理を実行する処理部(Processing Unit)のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。
【0136】
各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0137】
1つの処理部を、これら各種のプロセッサのうちの1つで構成してもよいし、同種または異種の2つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、または、FPGAおよびCPUの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの1つで構成してもよいし、複数の処理部のうちの2以上をまとめて1つのプロセッサを用いて構成してもよい。
【0138】
例えば、サーバおよびクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。
【0139】
さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)である。
【0140】
また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【0141】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0142】
10 撮影システム
12 サーバ
14 通信端末
16 ネットワーク
18 第1受信部
20 特徴量取得部
22 記憶部
24 画像検索部
26 嗜好分析部
28 設定値取得部
30 第1送信部
32 カメラ
34 携帯情報端末
36 第2送信部
38 入力部
40 表示制御部
42 表示部
44 第2受信部
46 設定部
48 撮影部
【手続補正書】
【提出日】2024-08-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項10
【補正方法】変更
【補正の内容】
【請求項10】
前記通信端末は、カメラを含み、
前記第1通信端末のカメラは、前記第2プロセッサを有し、
前記第2通信端末のカメラは、前記第3プロセッサを有し、
前記第2プロセッサは、前記第1画像および前記設定値を前記サーバへ送信し、
前記第3プロセッサは、前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第3プロセッサにより受信された設定値を前記第2通信端末のカメラに設定し、
前記第3プロセッサにより設定された設定値に基づいて画像を撮影する、請求項9に記載の撮影システム。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項11
【補正方法】変更
【補正の内容】
【請求項11】
前記第3プロセッサは、前記第3プロセッサによってキャプチャされたスルー画像に写っている被写体を認識して、前記被写体の情報を出力し、
前記第3プロセッサにより前記スルー画像に写っている被写体が認識されて、異なる前記被写体の情報が出力されるたびに、
前記第3プロセッサは、前記被写体の情報を前記サーバへ送信し、
前記第1プロセッサは、
前記第2通信端末のカメラから前記被写体の情報を受信し、
前記メモリに記憶された第1画像の中から、前記被写体の情報に合致または類似した被写体の特徴量に関連付けられた第1画像を検索し、
前記メモリに記憶された設定値の中から、前記第1プロセッサにより検索された第1画像と関連付けられた設定値を取得し、
前記第1プロセッサにより取得された設定値を前記第2通信端末へ送信し、
前記第3プロセッサは、
前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第3プロセッサにより受信された設定値を前記第2通信端末のカメラに設定する、動作を繰り返す、請求項10に記載の撮影システム。
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項12
【補正方法】変更
【補正の内容】
【請求項12】
前記通信端末は、通信機能を有するカメラと、通信機能を有する情報端末と、を含み、
前記第1通信端末の情報端末は、前記第2プロセッサを有し、
前記第2通信端末の情報端末は、第4プロセッサを有し、前記第2通信端末のカメラは、第5プロセッサを有し、
前記第2プロセッサは、前記通信機能により前記第1通信端末のカメラから受信された前記第1画像および前記設定値を前記サーバへ送信し、
前記第4プロセッサは、前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第5プロセッサは、前記通信機能により前記第2通信端末の情報端末から受信された設定値を前記第2通信端末のカメラに設定し、前記第5プロセッサにより設定された設定値に基づいて画像を撮影する、請求項9に記載の撮影システム。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項13
【補正方法】変更
【補正の内容】
【請求項13】
第2プロセッサを備え、前記第2プロセッサは、
前記第1画像および前記設定値を、請求項1ないし8のいずれか一項に記載のサーバへ送信し、
前記サーバから、前記第1プロセッサにより取得された設定値を受信し、
前記第2プロセッサにより受信された設定値を前記通信端末に設定し、
前記第2プロセッサにより設定された設定値に基づいて画像を撮影する、通信端末。
【手続補正5】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項14
【補正方法】変更
【補正の内容】
【請求項14】
複数のユーザが有する複数の通信端末と、前記複数の通信端末によってアクセスされるサーバと、を備える撮影システムにおける撮影方法であって、
1以上の第1通信端末が、前記第1通信端末によって撮影された第1画像および前記第1画像が撮影されたときの前記第1通信端末の撮影に関する設定値を前記サーバへ送信するステップと、
前記サーバの第1受信部が、前記第1通信端末から前記第1画像および前記第1画像の設定値を受信するステップと、
前記サーバの特徴量取得部が、前記第1画像毎に、前記第1画像を解析して、前記第1画像の特徴量を取得するステップと、
前記サーバのメモリが、前記第1画像と、前記設定値および前記第1画像の特徴量を表現したテキスト形式のタグと、を関連付けて記憶するステップと、
前記第1受信部が、第2通信端末からテキスト形式の検索キーを受信するステップと、
前記サーバの画像検索部が、前記メモリに記憶された第1画像の中から、前記検索キーに合致したタグが付与された第1画像を検索するステップと、
前記サーバの設定値取得部が、前記メモリに記憶された設定値の中から、前記画像検索部により検索された第1画像と関連付けられた設定値を取得するステップと、
前記サーバの第1送信部が、前記設定値取得部により取得された設定値を前記第2通信端末へ送信するステップと、
前記第2通信端末の第2受信部が、前記サーバから前記設定値取得部により取得された設定値を受信するステップと、
前記第2通信端末の設定部が、前記第2受信部により受信された設定値を前記第2通信端末に設定するステップと、
前記第2通信端末の撮影部が、前記設定部により設定された設定値に基づいて画像を撮影するステップと、を含む、撮影方法。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0019
【補正方法】削除
【補正の内容】
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】削除
【補正の内容】
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0030
【補正方法】変更
【補正の内容】
【0030】
また、本発明は、複数のユーザが有する複数の通信端末と、複数の通信端末によってアクセスされるサーバと、を備える撮影システムにおける撮影方法であって、
1以上の第1通信端末が、第1通信端末によって撮影された第1画像および第1画像が撮影されたときの第1通信端末の撮影に関する設定値をサーバへ送信するステップと、
サーバの第1受信部が、第1通信端末から第1画像および第1画像の設定値を受信するステップと、
サーバの特徴量取得部が、第1画像毎に、第1画像を解析して、第1画像の特徴量を取得するステップと、
サーバのメモリが、第1画像と、設定値および第1画像の特徴量を表現したテキスト形式のタグと、を関連付けて記憶するステップと、
第1受信部が、第2通信端末からテキスト形式の検索キーを受信するステップと、
サーバの画像検索部が、メモリに記憶された第1画像の中から、検索キーに合致したタグが付与された第1画像を検索するステップと、
サーバの設定値取得部が、メモリに記憶された設定値の中から、サーバの画像検索部により検索された第1画像と関連付けられた設定値を取得するステップと、
サーバの第1送信部が、設定値取得部により取得された設定値を第2通信端末へ送信するステップと、
第2通信端末の第2受信部が、サーバから設定値取得部により取得された設定値を受信するステップと、
第2通信端末の設定部が、第2受信部により受信された設定値を第2通信端末に設定するステップと、
第2通信端末の撮影部が、設定部により設定された設定値に基づいて画像を撮影するステップと、を含む、撮影方法を提供する。