(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023150525
(43)【公開日】2023-10-16
(54)【発明の名称】画像処理システム及び撮像装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20231005BHJP
H04N 5/77 20060101ALI20231005BHJP
H04N 5/92 20060101ALI20231005BHJP
G03B 17/52 20210101ALI20231005BHJP
G03B 15/00 20210101ALI20231005BHJP
【FI】
H04N5/232 300
H04N5/77
H04N5/92 010
G03B17/52 Z
G03B15/00 Q
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022059673
(22)【出願日】2022-03-31
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】小泉 功
(72)【発明者】
【氏名】田中 康一
(72)【発明者】
【氏名】矢野 浩教
(72)【発明者】
【氏名】大鶴 基格
【テーマコード(参考)】
2H104
5C053
5C122
【Fターム(参考)】
2H104AA19
2H104BC48
5C053FA14
5C053GB06
5C053JA21
5C053LA01
5C122EA42
5C122FG13
5C122FG14
5C122FH01
5C122FH04
5C122FH11
5C122FK38
5C122FL08
5C122GA34
5C122GB05
5C122GC14
5C122GC54
5C122HA01
5C122HB01
5C122HB05
(57)【要約】
【課題】本発明の一つの実施形態は、撮像装置から画像のプリントを簡便に注文できる画像処理システム及び撮像装置を提供する。
【解決手段】本発明の一態様に係る画像処理システムにおいて、撮像装置は、ユーザ識別用の第1画像及びプリント用の第2画像を撮像し、撮像した第1画像を解析してユーザ識別情報を取得し、取得したユーザ識別情報及び第2画像と、第2画像に関するプリント指示情報とをサーバ装置に送信する。サーバ装置は、撮像装置から送信された第2画像をユーザ識別情報と紐付けして保存し、プリント指示情報をプリント装置へ転送する。プリント装置は、サーバ装置からプリント指示情報を受信した場合に第2画像をプリントする。
【選択図】
図14
【特許請求の範囲】
【請求項1】
撮像装置と、サーバ装置と、プリント装置と、を備える画像処理システムであって、
前記撮像装置は、
画像を撮像する撮像部と、
前記撮像部が撮像した第1画像を解析してユーザ識別情報を取得する識別情報取得部と、
前記ユーザ識別情報と、前記撮像部が撮像した第2画像とを、前記サーバ装置に送信する送信部と、
前記第2画像に関するプリント指示情報を前記サーバ装置に送信するプリント指示部と、
を備え、
前記サーバ装置は、
前記送信部から送信された前記第2画像を、前記ユーザ識別情報と紐付けして保存する画像保存部と、
前記プリント指示部から送信された前記プリント指示情報を前記プリント装置へ転送するプリント指示転送部と、
を備え、
前記プリント装置は、
前記サーバ装置から転送された前記プリント指示情報を受信した場合に、前記第2画像をプリントする画像プリント部を備える、
画像処理システム。
【請求項2】
前記撮像装置は、
前記ユーザ識別情報と初期認証情報とを紐づけて記憶する初期認証情報記憶部と、
第1認証情報を取得する第1認証情報取得部と、
前記第1認証情報と前記初期認証情報とを比較してユーザの認証を行う認証部と、
をさらに備える請求項1に記載の画像処理システム。
【請求項3】
前記初期認証情報記憶部は、前記撮像部が撮像した第3画像を解析して前記初期認証情報を取得し、
前記第1認証情報取得部は、前記撮像部が撮像した第4画像を解析して前記第1認証情報を取得する請求項2に記載の画像処理システム。
【請求項4】
前記撮像装置は、
前記第2画像の画像処理に関する操作履歴情報を取得する操作履歴情報取得部と、
前記操作履歴情報と前記第2画像とを紐付けて前記サーバ装置に送信する操作履歴情報送信部と、
をさらに備え、
前記サーバ装置は、
前記操作履歴情報と前記第2画像とを紐付けて保存する操作履歴情報保存部と、
前記操作履歴情報を前記プリント装置に送信する操作履歴情報送信部と、
をさらに備える、
請求項1から3のいずれか1項に記載の画像処理システム。
【請求項5】
前記撮像装置の前記操作履歴情報取得部は、前記第2画像の撮像開始より第1の時間前から、前記第2画像の撮像終了の第2の時間後までになされた操作についての前記操作履歴情報を取得する請求項4に記載の画像処理システム。
【請求項6】
前記撮像装置の前記操作履歴情報取得部は、前記第2画像の濃度、コントラスト、彩度、ホワイトバランス、輪郭強調のうち1つ以上に関する操作の情報を前記操作履歴情報として取得する請求項4または5に記載の画像処理システム。
【請求項7】
前記撮像装置の前記操作履歴情報取得部は、
前記第2画像を解析することにより、前記第2画像における主要被写体の情報、または前記第2画像におけるシャドー部の情報、または前記第2画像におけるハイライト部の情報を取得し、
前記取得した前記主要被写体の情報、または前記シャドー部の情報、または前記ハイライト部の情報を前記撮像装置のユーザに提示し、
前記提示に応じた前記撮像装置のユーザの操作についての情報を前記操作履歴情報として取得する、
請求項4から6のいずれか1項に記載の画像処理システム。
【請求項8】
前記プリント装置は、
前記サーバ装置から前記操作履歴情報を受信する操作履歴情報受信部と、
前記第2画像のプリントに関するプリント情報を発信するプリント情報発信部と、
を備え、
前記画像プリント部は、前記受信した前記操作履歴情報に基づいて前記第2画像をプリントし、
前記プリント情報発信部は、前記プリント指示情報に基づいて前記第2画像をプリントする場合に、
前記第2画像に対して施された補正、前記補正が施された後の前記第2画像、前記第2画像のプリントに関する設定のうち少なくとも1つに関する情報を含むプリント情報を発信する、
請求項4から7のいずれか1項に記載の画像処理システム。
【請求項9】
前記プリント情報発信部は、前記サーバ装置に対して前記プリント情報を送信し、
前記サーバ装置は、前記プリント情報と前記第2画像とを紐付けて保存するプリント情報保存部をさらに備える、
請求項8に記載の画像処理システム。
【請求項10】
前記サーバ装置は、前記プリント情報を前記撮像装置に送信するプリント情報送信部をさらに備える、請求項9に記載の画像処理システム。
【請求項11】
画像を撮像する撮像部と、
前記撮像部が撮像した第1画像を解析してユーザ識別情報を取得する識別情報取得部と、
前記ユーザ識別情報と、前記撮像部が撮像した第2画像とを、画像処理システムのサーバ装置に送信する送信部と、
を備える撮像装置。
【請求項12】
前記サーバ装置を介して、前記画像処理システムのプリント装置に前記第2画像のプリントを指示するプリント指示部をさらに備える請求項11に記載の撮像装置。
【請求項13】
前記ユーザ識別情報と前記撮像装置の初期認証情報とを紐づけて記憶する初期認証情報記憶部と、
第1認証情報を取得する第1認証情報取得部と、
前記第1認証情報と前記初期認証情報とを比較してユーザの認証を行う認証部と、
をさらに備える請求項11または12に記載の撮像装置。
【請求項14】
前記第2画像の画像処理に関する操作履歴情報を取得する操作履歴情報取得部と、
前記操作履歴情報と前記第2画像とを紐付けて前記サーバ装置に送信する操作履歴情報送信部と、
をさらに備える請求項11から13のいずれか1項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置から画像のプリントを注文できる画像処理システム及び撮像装置に関する。
【背景技術】
【0002】
撮像装置から画像のプリントを注文するための技術に関し、例えば特許文献1には、ユーザを特定するためのユーザIDやプリント依頼先のショップID等の入力を、デジタルカメラの撮影機能により、予め用意したカード等に記載された二次元パターン情報を撮影することで行うことが記載されている。また、特許文献2には、観光地等において複数箇所で利用者を自動撮影するフォトラリーを行い、ラリー終了後に撮影画像をプリント出力する画像プリントシステムについて記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005-110125号公報
【特許文献2】特開2018-074281号公報
【発明の概要】
【0004】
デジタルカメラ等の撮像装置で撮像した画像をプリントする場合、撮像した画像を媒体経由で、あるいは近距離無線通信等でスマートフォンやPC(パーソナルコンピュータ)等の端末装置に移してプリント指示することが一般的であり、画像の選択やプリントが労力のかかる作業となっていた。このため、撮像装置の構成や機能によっては、画像のプリントを簡便に行うことができるものではなかった。しかしながら、上述した特許文献1,2のような従来の技術は、このような事情を十分考慮したものではなかった。
【0005】
本開示の技術に係る一つの実施形態は、撮像装置から画像のプリントを簡便に注文できる画像処理システム及び撮像装置を提供する。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係る画像処理システムは、撮像装置と、サーバ装置と、プリント装置と、を備える画像処理システムであって、撮像装置は、画像を撮像する撮像部と、撮像部が撮像した第1画像を解析してユーザ識別情報を取得する識別情報取得部と、ユーザ識別情報と、撮像部が撮像した第2画像とを、サーバ装置に送信する送信部と、第2画像に関するプリント指示情報をサーバ装置に送信するプリント指示部と、を備え、サーバ装置は、送信部から送信された第2画像を、ユーザ識別情報と紐付けして保存する画像保存部と、プリント指示部から送信されたプリント指示情報をプリント装置へ転送するプリント指示転送部と、を備え、プリント装置は、サーバ装置から転送されたプリント指示情報を受信した場合に、第2画像をプリントする画像プリント部を備える。
【0007】
第2の態様に係る画像処理システムは第1の態様において、撮像装置は、ユーザ識別情報と初期認証情報とを紐づけて記憶する初期認証情報記憶部と、ユーザの第1認証情報を取得する第1認証情報取得部と、第1認証情報と初期認証情報とを比較してユーザの認証を行う認証部と、をさらに備える。第2の態様において、撮像装置の送信部は、ユーザが認証されてから、ユーザ識別情報及び第2画像をサーバ装置に送信することが好ましい。
【0008】
第3の態様に係る画像処理システムは第2の態様において、初期認証情報記憶部は、撮像部が撮像した第3画像を解析して初期認証情報を取得し、第1認証情報取得部は、撮像部が撮像した第4画像を解析して第1認証情報を取得する。
【0009】
第4の態様に係る画像処理システムは第1から第3の態様のいずれか1つにおいて、撮像装置は、第2画像の画像処理に関する操作履歴情報を取得する操作履歴情報取得部と、操作履歴情報と第2画像とを紐付けてサーバ装置に送信する操作履歴情報送信部と、をさらに備え、サーバ装置は、操作履歴情報と第2画像とを紐付けて保存する操作履歴情報保存部と、操作履歴情報をプリント装置に送信する操作履歴情報送信部と、をさらに備える。
【0010】
第5の態様に係る画像処理システムは第4の態様において、撮像装置の操作履歴情報取得部は、第2画像の撮像開始より第1の時間前から、第1画像の撮像終了の第2の時間後までになされた操作についての操作履歴情報を取得する。
【0011】
第6の態様に係る画像処理システムは第4または第5の態様において、撮像装置の操作履歴情報取得部は、第2画像の濃度、コントラスト、彩度、ホワイトバランス、輪郭強調のうち1つ以上に関する操作の情報を操作履歴情報として取得する。
【0012】
第7の態様に係る画像処理システムは第4から第6の態様のいずれか1つにおいて、撮像装置の操作履歴情報取得部は、第2画像を解析することにより、第2画像における主要被写体の情報、または第2画像におけるシャドー部の情報、または第2画像におけるハイライト部の情報を取得し、取得した主要被写体の情報、またはシャドー部の情報、またはハイライト部の情報を撮像装置のユーザに提示し、提示に応じた撮像装置のユーザの操作についての情報を操作履歴情報として取得する。「シャドー部」とは、黒つぶれ(black crushing)している領域あるいは黒つぶれに近い領域であり、全体的に暗くかつ明暗のコントラストが低い領域である。「ハイライト部」とは、白飛び(highlight clipping)している領域あるいは白飛びに近い領域であり、全体的に明るくかつ明暗のコントラストが低い領域である。
【0013】
第8の態様に係る画像処理システムは第4から第7の態様のいずれか1つにおいて、プリント装置は、サーバ装置から操作履歴情報を受信する操作履歴情報受信部と、第2画像のプリントに関するプリント情報を発信するプリント情報発信部と、を備え、画像プリント部は、受信した操作履歴情報に基づいて第2画像をプリントし、プリント情報発信部は、プリント指示情報に基づいて第2画像をプリントする場合に、第2画像に対して施された補正、補正が施された後の第2画像、第2画像のプリントに関する設定のうち少なくとも1つに関する情報を含むプリント情報を発信する。
【0014】
第9の態様に係る画像処理システムは第8の態様において、プリント情報発信部は、サーバ装置に対してプリント情報を送信し、サーバ装置は、プリント情報と第2画像とを紐付けて保存するプリント情報保存部をさらに備える。
【0015】
第10の態様に係る画像処理システムは第9の態様において、サーバ装置は、プリント情報を撮像装置に送信するプリント情報送信部をさらに備える。
【0016】
本発明の第11の態様に係る撮像装置は、画像を撮像する撮像部と、撮像部が撮像した第1画像を解析してユーザ識別情報を取得する情報取得部と、ユーザ識別情報と、撮像部が撮像した第2画像とを、画像処理システムのサーバ装置に送信する送信部と、を備える。
【0017】
第12の態様に係る撮像装置は第11の態様において、サーバ装置を介して、画像処理システムのプリント装置に第2画像のプリントを指示するプリント指示部をさらに備える。
【0018】
第13の態様に係る撮像装置は第11または第12の態様において、ユーザ識別情報と撮像装置の初期認証情報とを紐づけて記憶する初期認証情報取得部と、第1認証情報を取得する第1認証情報取得部と、第1認証情報と初期認証情報とを比較してユーザの認証を行う認証部と、をさらに備える。
【0019】
第14の態様に係る撮像装置は第11から第13の態様のいずれか1つにおいて、第2画像の画像処理に関する操作履歴情報を取得する操作履歴情報取得部と、操作履歴情報と第2画像とを紐付けてサーバ装置に送信する操作履歴情報送信部と、をさらに備える。
【図面の簡単な説明】
【0020】
【
図1】
図1は、第1の実施形態に係る画像処理システムの全体構成を示す図である。
【
図4】
図4は、撮像装置の概略構成を示すブロック図である。
【
図5】
図5は、撮像装置のプロセッサの機能構成を示す図である。
【
図6】
図6は、サーバ装置の概略構成を示す図である。
【
図7】
図7は、プリント装置の概略構成を示す図である。
【
図8】
図8は、画像解析によりユーザ識別情報を取得する様子を示すフローチャートある。
【
図9】
図9は、画像解析によりユーザの認証を行う様子を示すフローチャートである。
【
図10】
図10は、プリント装置での処理を示すフローチャートである。
【
図11】
図11は、第2の実施形態における、撮像装置のプロセッサの機能構成を示す図である。
【
図12】
図12は、第2の実施形態におけるサーバ装置の概略構成を示す図である。
【
図13】
図13は、第2の実施形態におけるプリント装置の概略構成を示す図である。
【
図14】
図14は、第2の実施形態における処理の概略を示す図である。
【
図15】
図15は、プリント装置での処理を示すフローチャートである。
【
図16】
図16は、撮像装置でエリアごとの調整指示を行う様子を示す図である。
【
図17】
図17は、エリアごとの調整処理に関するフローチャートである。
【
図18】
図18は、撮像装置でエリアごとの調整指示を行う様子を示す他の図である。
【
図19】
図19は、主要被写体の特定及び補正の処理を示すフローチャートである。
【
図20】
図20は、仕上がり具合の評価を行う様子を示す図である。
【発明を実施するための形態】
【0021】
本発明に係る画像処理システム及び撮像装置の一つの実施形態は以下の通りである。説明においては、必要に応じて添付図面が参照される。
【0022】
[第1の実施形態]
[画像処理システムの構成]
図1は、第1の実施形態に係る画像処理システム10(画像処理システム)の構成を示す図である。画像処理システム10は、撮像装置100(撮像装置)と、サーバ装置200(サーバ装置)と、プリント装置300(プリント装置)と、を備え、これらがネットワークNWを介して接続され、互いに通信することが可能である。
図1に示す画像処理システム10では、以下に説明するように、撮像装置100から画像のプリントを注文することができる。
【0023】
なお、画像処理システム10において、サーバ装置200やプリント装置300に接続される撮像装置は、1台でもよいし複数台でもよい。また、サーバ装置200やプリント装置300も、1台でもよいし複数台でもよい。画像処理システム10が複数のプリント装置300を含む場合、サーバ装置200が特定のプリント装置300(例えば、ユーザの住所または居所の最寄りの事業所にあるプリント装置、あるいはユーザが指定した場所にあるプリント装置)を選択して、そのプリント装置300でプリントを行ってもよい。
【0024】
[撮像装置の構成]
[全体構成]
図2は、撮像装置100の外観斜視図である。同図に示すように、撮像装置100はカメラ本体110と、カメラ本体110に着脱可能なレンズ装置103(光軸L1を有する)と、を備え、カメラ本体110の上面には、シャッターボタン104と、ダイヤル106と、が設けられている。シャッターボタン104は、2段階に押し込む操作が可能な2段ストローク式ボタンであり、ストロークの途中まで押し込むとフォーカスや露出の設定がロックされ、ストロークの最後まで押し込むと撮影が行われる。ダイヤル106は、シャッタースピードや露出を設定するためのダイヤルである。なお、レンズ装置103は後述する撮像部102の構成要素であり、シャッターボタン104及びダイヤル106は操作部150の構成要素である。
【0025】
図3は、撮像装置100の背面図である。同図に示すように、撮像装置100の背面には、ファインダ接眼部105と、十字ボタン107と、MENU/OKボタン108と、ディスプレイ140(表示装置)とが備えられている。ユーザは、ファインダ接眼部105を介して撮影画像を含む画像や撮影情報を視認することができ、また十字ボタン107、MENU/OKボタン108により撮影条件の設定や画像の選択、プリント指示等の操作を行うことができる。なお、撮像装置100は、ファインダ接眼部105を含む図示せぬファインダ部を備えている。ファインダ部は、電子式でもよいし、光学式でもよいし、電子式と光学式のハイブリッド型でもよい。
【0026】
ディスプレイ140には、プレビュー画像や撮影画像等、各種の情報を表示することができる。また、ディスプレイ140は図示せぬ機構により向きを変更することができる、いわゆるバリアングル式のディスプレイ(a vari-angle display)であり、撮像装置100のユーザは、このディスプレイ140を見ながら、自分自身を撮像する(いわゆる「自撮り」をする)ことができる。
【0027】
十字ボタン107及びMENU/OKボタン108は、後述する操作部150の構成要素である。また、ディスプレイ140をタッチパネル式のディスプレイにより構成し、操作部150として用いてもよい。この場合、ディスプレイ140は、表示された画像の移動、回転、拡大、縮小等を指定する操作、主要被写体やシャドー部あるいはハイライト部等の指定操作、フォーカスエリアの指定操作等を受け付けることが好ましい。
【0028】
[機能構成]
図4は、撮像装置100の機能構成を示す図である。同図に示すように、撮像装置100は撮像部102(撮像部)と、プロセッサ130(プロセッサ)と、ディスプレイ140と、操作部150と、フラッシュROM160(ROM:Read Only Memory)と、RAM170(RAM:Random Access Memory)と、メモリカード180と、を備え、操作部150を介したユーザの指示に応じて、被写体の静止画像及び動画像を撮像することができる。
【0029】
撮像部102は、
図2に示すレンズ装置103の他に、図示せぬ撮像素子、アナログ信号処理回路、デジタル信号処理回路等を含み、被写体の画像データを出力する。なお、撮像素子としては、CMOS(complementary metal-oxide semiconductor)型、CCD(charge-coupled device)型等、各種の撮像素子を用いることができる。プロセッサ130は撮像装置100における処理(撮影制御、画像処理、プリント指示等)を統括制御するプロセッサであり、その詳細な機能は後述する。メモリカード180は撮像装置100に着脱可能な、非一時的かつ有体の記録媒体であり、撮影した画像等の情報が記録される。
【0030】
[プロセッサの機能構成]
図5は、プロセッサ130の機能構成を示す図である。同図に示すように、プロセッサ130は、画像処理部130Aと、識別情報取得部130Bと、情報送受信部130Cと、プリント指示部130Dと、初期認証情報記憶部130Eと、第1認証情報取得部130Fと、認証部130Gと、表示制御部130Hと、を有する。これらの機能を用いたプリント指示等の処理については、詳細を後述する。なお、プロセッサ130は、初期認証情報、第1認証情報、ユーザ識別情報等を記憶するためのメモリ(非一時的かつ有体の記録媒体)を有していてもよい。
【0031】
プロセッサ130は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、PLD(Programmable Logic Device)等の各種のプロセッサや電気回路で構成される。これらのプロセッサや電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのコンピュータ(例えば、プロセッサを構成する各種のプロセッサや電気回路、及び/またはそれらの組み合わせ)で読み取り可能なコードをフラッシュROM160等の非一時的かつ有体の記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的かつ有体の記録媒体に記憶しておくソフトウェアは、撮像やユーザ認証、各種画像処理、プリント指示等を実行するためのプログラム(撮像プログラム、認証プログラム、画像処理プログラム、プリント指示プログラム)、及び実行に際して用いられるデータを含む。フラッシュROM160ではなくROMやEEPROM(Electronically Erasable and Programmable Read Only Memory)等の非一時的かつ有体の記録媒体にコードを記録してもよい。なお、この「非一時的かつ有体の記録媒体」は、搬送波信号や伝播信号そのもののような非有体の記録媒体を含まない。ソフトウェアを用いた処理の際にはRAM170が一時的記憶領域あるいは作業領域として用いられ、また例えば不図示のメモリに記憶されたデータを参照することもできる。
【0032】
[サーバ装置の構成]
図6は、サーバ装置200の構成を示す図である。同図に示すように、サーバ装置200はプロセッサ210と、ROM230と、RAM240と、データベース250とを備える。
【0033】
プロセッサ210は、ユーザ情報管理部211と、画像保存部212(画像保存部)と、プリント指示転送部214(プリント指示転送部)と、プリント情報送信部220(プリント情報送信部)と、プリント情報保存部222(プリント情報保存部)と、を備える。これらの各部を用いた処理については、詳細を後述する。なお、プロセッサ210は、上述したプロセッサ130と同様に、CPU、GPU、FPGA、PLD等の各種のプロセッサや電気回路で構成することができる。これらのプロセッサや電気回路がソフトウェア(プログラム)を実行する際は、ROM230に記憶されたプログラム(画像の保存、プリント指示、プリント情報の送信等を行うプログラム)やデータを参照し、一時的な記憶領域あるいは作業領域としてRAM240が用いられる。プロセッサ210は、ROM230やRAM240以外の不図示のメモリ(非一時的かつ有体の記録媒体)を参照して処理を行ってもよい。
【0034】
データベース250(画像保存部)は、ハードディスク、光磁気記録媒体、半導体メモリ等の記録媒体及びその制御装置により構成され、撮像装置100から受信した撮影画像(第2画像)、ユーザ識別情報、プリント情報等が紐付けて(関連付けて)保存される。
【0035】
なお、サーバ装置200は、動作状況やデータベース250の内容等を表示するディスプレイ(表示装置;不図示)、ユーザの操作を受け付ける操作部(不図示)等をさらに備えていてもよい。また、本実施形態における「サーバ」は、クラウド上に存在する、サーバと同様の機能を持つ装置を含む。
【0036】
[プリント装置の構成]
図7は、プリント装置300(プリント装置)の構成を示す図である。同図に示すように、プリント装置300は、プロセッサ310と、ROM330と、RAM340と、データベース350と、プリント機構360(画像プリント部)と、ディスプレイ370(表示装置)と、操作部380と、を備える。プリント装置300はプリントラボ(print laboratory)に設置することができ、ユーザもしくはプリントラボのスタッフの操作に従って、またはユーザもしくはプリントラボのスタッフの操作なしに自動的に撮影画像のプリント等の処理を行う。
【0037】
プロセッサ310は、情報受信部312(プリント指示受信部)と、プリント制御部314(画像プリント部)と、プリント情報発信部320(プリント情報発信部)と、を備える。これらの各部を用いた処理については、詳細を後述する。なお、プロセッサ310は、上述したプロセッサ130、210と同様に、CPU、GPU、FPGA、PLD等の各種のプロセッサや電気回路で構成することができる。これらのプロセッサや電気回路がソフトウェア(プログラム)を実行する際は、ROM330に記憶されたプログラム(画像のプリント、プリント情報の発信等を行うプログラム)やデータを参照し、一時的な記憶領域あるいは作業領域としてRAM340が用いられる。プロセッサ310は、ROM330やRAM340以外の不図示のメモリ(非一時的かつ有体の記録媒体)を参照して処理を行ってもよい。
【0038】
データベース350は、ハードディスク、光磁気記録媒体、半導体メモリ等の記録媒体及びその制御装置により構成され、サーバ装置200から受信した撮影画像(第2画像)やプリント指示情報、撮影画像に対する補正(画像処理)の内容等が保存される。
【0039】
プリント機構360は、プリント用紙(記録媒体)の搬送機構(不図示)や露光ヘッド(不図示)等を含み、上述したプリント制御部314と共に画像プリント部を構成する。プリントラボのスタッフは、ディスプレイ370に表示されたプリント用画像(第2画像)等を見ながら操作部380を介して細かなプリント条件(例えば、画像の濃度、コントラスト、彩度、ホワイトバランス、輪郭強調のうち1つ以上)を調節することができ、これにより第1の実施形態に係る画像処理システム10では、ユーザの嗜好に合ったプリントを得ることができる。
【0040】
[画像処理システムにおける処理]
以下、上述した構成の画像処理システム10における処理について説明する。
【0041】
[画像解析によるユーザ識別情報の取得]
図8は、画像の解析によるユーザ識別情報の取得の様子を示すフローチャートである。ユーザ識別情報の取得に先立って、ユーザは、あらかじめ氏名、ニックネーム、住所、電話番号、メールアドレスや各種SNS(social networking service)あるいはソーシャルメディア(social media)のアカウント、課金方法等のユーザ登録用情報をサーバ装置200に送信しておく。この送信は、ネットワークを介してサーバ装置200に接続されるスマートフォンやタブレット端末、パーソナルコンピュータ等を介して行ってもよい。
【0042】
サーバ装置200のユーザ情報管理部211は、それらの情報を受信してユーザのアカウントを作成し、さらに識別情報取得用画像(第1画像)を生成して、ユーザに提供する。識別情報取得用画像は、アクセス先のURL、ユーザID等の情報を含んでいてよい。また、識別情報取得用画像は、例えば、二次元バーコード等の二次元パターン画像とすることができるが、この例には限定されない。ユーザ情報管理部211は、識別情報取得用画像を上述のユーザ登録用情報を送信したスマートフォンやタブレット端末、パーソナルコンピュータ等に送信してもよいし、印刷された状態でユーザに送付してもよい。ユーザは、識別情報取得用画像をスマートフォン等のディスプレイに表示させ、または印刷物を開封して、識別情報取得用画像を視認可能な状態にする。
【0043】
撮像装置100の撮像部102は、操作部150を介したユーザの操作に応じて、この識別情報取得用画像(第1画像)を撮像する(
図8のステップS100:識別情報取得工程)。識別情報取得部130B(識別情報取得部)は、撮影した識別情報取得用画像を解析してユーザ識別情報を取得する(ステップS102:識別情報取得工程)。
【0044】
なお、情報送受信部130C(送信部)は、後述するように、取得されたユーザ識別情報と撮影画像(プリント用画像;第2画像)とを、サーバ装置200に送信する(
図9のステップS126:送信工程)。
【0045】
[ユーザの認証]
図9は、撮像装置100のユーザを認証する処理を示すフローチャートである。撮像部102は、ユーザの操作に応じて初期認証用の被写体を撮像して初期認証用画像(第3画像)を取得し、初期認証情報記憶部130E(初期認証情報取得部)は、初期認証用画像を解析して(ステップS112:初期認証情報取得工程)初期認証情報を取得する(ステップS114:初期認証情報取得工程)。撮像装置100のユーザは、初期認証用の被写体として、自分の顔や虹彩、指紋、静脈パターン等の、ユーザ自身に固有の被写体を選択することができる。自分の顔等を撮像する場合、ユーザは自分を他人に撮像してもらってもよい。また、ファインダ接眼部105の内部に、虹彩撮像用のセンサを設けてもよい。初期認証情報は、被写体画像そのものであってもよい。しかし、万一初期認証情報が窃取された場合を考慮して、、初期認証情報記憶部130Eは、被写体画像を、認証に必要な情報は保ったままで解析して、特徴量に変換して初期認証情報を得ることが好ましい。初期認証情報記憶部130Eは、上述したユーザ識別情報と初期認証情報とを紐付けて記憶する(ステップS116:情報記憶工程)。記憶先は初期認証情報記憶部130E自身が備える不図示のメモリでもよいし、フラッシュROM160でもよい。
【0046】
撮像部102は、例えばその日初めて撮像装置100を起動するときなどに、ユーザの操作に応じて第1認証用の被写体を撮像して第1認証用画像(第4画像)を取得する。第1認証情報取得部130F(第1認証情報取得部)は、第1認証用画像を解析して(ステップS120:第1認証情報取得工程)第1認証情報を取得する(ステップS122:第1認証情報取得工程)。撮像装置100のユーザは、第1認証用の被写体として、自分の顔や虹彩、指紋、静脈パターン等の被写体を選択することができるが、第1認証用の被写体は初期認証用の被写体と同一であるものとする。認証部130G(認証部)は、第1認証情報と初期認証情報とを比較して、ユーザの認証を行う(ステップS124:認証工程)。認証部130Gは、初期認証用画像及び第1認証用画像の特徴量を抽出しそれらを比較することによりユーザの認証を行ってもよいし、深層学習のような機械学習のアルゴリズムを用いて構築された比較器(学習済みモデル)によりユーザの認証を行ってもよい。比較器は、例えば畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)のようなニューラルネットワークにより構築されていてもよい。
【0047】
上述の手法によれば、スマートフォンにおけるSIMカード(Subscriber Identity Module Card)による認証機能を有していないデジタルカメラでも、ユーザの認証を行うことができる。なお、上述した初期認証情報(第3画像)及び第1認証情報(第4画像)は、個人情報漏洩防止等の観点から、決められた手順により消去可能であることが好ましい。また、サーバ装置200においても、ユーザの識別情報を消去可能とし、またユーザのアカウントを停止あるいは抹消可能とすることが好ましい。
【0048】
ユーザが認証されたら、情報送受信部130C(送信部)は、ユーザの操作に応じてユーザ識別情報とプリント用画像(第2画像)とをサーバ装置200に送信し(ステップS126:プリント指示工程)、プリント指示部130D(プリント指示部)は、ユーザのプリント指示に応じて、プリント用画像に関するプリント指示情報をサーバ装置200に送信する(ステップS126:プリント指示工程)。ユーザ識別情報、プリント用画像、及びプリント指示情報の送信は同時でもよいし、同時でなくてもよい。また、送信するプリント用画像は静止画像に限らず、動画像でもよい。動画像を送信する場合、後述するプリント指示情報は、動画像からのフレーム抽出に関する指示(例えば、決められた時間間隔でフレームを抽出してプリントする)や、プリントすべき主要被写体についての指示(例えば、その主要被写体が鮮明に写っているフレームをプリントする)を含んでいてよい。
【0049】
なお、プリントの都度プリント用画像を送信するのではなく、プリント用画像をプリント指示情報なしであらかじめサーバ装置200に送信及び蓄積しておき、その蓄積された画像から選択された画像に対しプリント指示を行うようにしてもよい。
【0050】
[プリント指示情報]
上述したプリント指示情報は、プリントの実行を示す情報それ自体に加えて、プリントする画像、枚数、画像処理の有無及び内容等の情報を含んでいてよい。また、複数の画像を加工や合成して印刷する指示を含んでいてもよい。プリント指示情報は、例えばDPOF(Digital Print Order Format)形式やその拡張形式で記録することができるが、他の形式を用いてもよい。また、プリント指示情報は画像データの一部に記録してもよいし、画像データとは独立したデータとして記録してもよい。
【0051】
[サーバ装置での処理]
サーバ装置200の画像保存部212(画像保存部)は、撮像装置100の情報送受信部130C(送信部)から送信されたプリント用画像(第2画像)を、ユーザ識別情報と紐付けして保存する(画像保存工程)。保存先は、画像保存部212が備える図示せぬメモリでもよいし、データベース250でもよい。プリント指示転送部214(プリント指示転送部)は、プリント指示部130D(プリント指示部)から送信されたプリント指示情報及びプリント用画像を、プリント装置300へ転送する(情報転送工程)。プリント指示情報及びプリント用画像の転送は同時でなくてもよい。
【0052】
なお、ユーザ情報管理部211(サーバ装置200)は、上述した処理に基づく課金処理、サービス利用ポイント(利用特典)やデコレーション用画像の付与等を行ってもよい(ユーザ情報管理工程)。
【0053】
[プリント装置での処理]
図10は、プリント装置300での処理を示す図である。情報受信部312は、サーバ装置200が送信したプリント指示及びプリント用画像(第2画像)を受信する(ステップS300:情報受信工程)。上述のように、これらプリント指示及びプリント用画像の受信は同時でなくてもよい。プリント制御部314(画像プリント部)及びプリント機構360(画像プリント部)は、サーバ装置200から転送されたプリント指示情報を受信した場合に、プリント指示情報に基づいてプリント用画像(第2画像)をプリントする(ステップS302:画像プリント工程)。
【0054】
プリント制御部314及びプリント機構360は、プリント指示情報に基づいて自動でプリントを行ってもよい。なお、このように自動でプリントを行った場合、ユーザは必ずしも仕上がりに満足しない場合がある。プリント装置300の設定値によって、プリント物(画像が用紙等の媒体にプリントされた物をいう。以下同じ。)における色や明るさ、コントラストは変化する一方で、ユーザは、例えば撮像装置100のディスプレイ140に映るプリント用画像音色や明るさ、コントラスト等を期待するからである。そこで、第1の実施形態に係る画像処理システム10では、プリントラボのスタッフ等が手動でプリント用画像の補正や調整を行い、その上でプリントしてもよい。このような手動補正及びプリントはプリント指示情報に含まれる情報に基づくユーザの操作に応じて行うことができ、これによりユーザの嗜好にあったプリント物を提供することができる。なお、このような手動補正を行うか否かは、プリント指示情報に含まれるユーザの指示、料金設定、ユーザのランク(例えば、会員登録の有無、会費の額、プリントサービスの利用回数や頻度等に基づいて決めることができる)等に応じて決めることができる。
【0055】
[プリント情報の発信]
プリント情報発信部320(プリント情報発信部)は、プリント用画像(第2画像)のプリントが終了したら、プリントに関するプリント情報を発信することができる(ステップS304:プリント情報発信工程)。プリント情報発信部320は、プリント情報をディスプレイ370に表示してもよい。プリント情報は、プリント用画像に対して施された補正、補正が施された後のプリント用画像、プリント用画像のプリントに関する設定のうち少なくとも1つに関する情報を含んでいてよい。また、プリント情報は、プリントが終了した旨を示す情報を含んでいてもよい。このような情報を含めることにより、プリント装置300のユーザや撮像装置100のユーザは、プリントが終了した旨や、プリント用画像に対する補正や設定の内容を把握することができる。プリント情報発信部320は、プリント情報をサーバ装置200経由で撮像装置100に送信してもよいし、普通紙などの媒体に印刷しプリント物と同梱してユーザに送付してもよい。
【0056】
[第1の実施形態の効果]
以上説明した第1の実施形態によれば、スマートフォンやパーソナルコンピュータ等を経由せずに、撮像装置100(撮像装置)で簡便にプリントを注文することができる。また、撮像装置100において、画像解析により容易にユーザを認証することができる。
【0057】
[第2の実施形態]
本発明に係る画像処理システム及び撮像装置の第2の実施形態について説明する。第2の実施形態は、上述した第1の実施形態に対して、撮像装置100で撮影画像(プリント用画像、第2画像)の画像に関する操作履歴情報を取得し、この操作履歴情報に基づくプリントを行う点等で相違する。第2の実施形態では、この操作履歴情報を用いて、ユーザの嗜好に合ったプリントを提供することができる。
【0058】
[画像処理システムの構成]
以下、第2の実施形態における画像処理システム及び撮像装置について、第1の実施形態との相違を中心に説明する。同様の構成には同じ参照符号を付し、詳細な説明を省略する。第2の実施形態における画像処理システムの全体構成は第1の実施形態と同様であるので(
図1を参照)、画像処理システム10として説明する。また、撮像装置は撮像装置100として、サーバ装置はサーバ装置202として、プリント装置はプリント装置302として説明する。
【0059】
[撮像装置のプロセッサ]
図11は、第2の実施形態における撮像装置100のプロセッサ132(プロセッサ)の構成を示す図である。プロセッサ132は、第1の実施形態におけるプロセッサ130(
図5を参照)と比較して、プリント用画像(撮影画像、第2画像)の画像処理に関する操作履歴情報を取得する操作履歴情報取得部130I(操作履歴情報取得部)を備える点で異なる。操作履歴情報取得部130Iは、操作履歴情報として、プリント用画像の濃度、コントラスト、彩度、ホワイトバランス、輪郭強調のうち1つ以上に関する操作の情報を取得することができる。
【0060】
操作履歴情報取得部130Iは、静止画像についての操作履歴情報を取得してもよいし、動画像についての操作履歴情報を取得してもよい。また、操作履歴情報取得部130Iは、撮影画像(プリント用画像、第2画像)の撮影に先立ってあらかじめ行われる操作(例えば、撮影モードの設定、露出条件の設定、ホワイトバランスの設定等)について操作履歴情報を取得してもよいし、撮影後に行われる操作について操作履歴情報を取得してもよい。このような操作履歴情報の取得期間は、例えば「撮影画像(第2画像)の撮像開始より第1の時間前から、撮影画像(第2画像)の撮像終了の第2の時間後まで」と規定する事ができる。
【0061】
操作履歴情報の取得の具体的な例は後述する(
図15~
図19等を参照)。
【0062】
撮像装置100のその他の構成は、第1の実施形態と同じである(
図5を参照)。なお、第2の実施形態において、情報送受信部130C(操作履歴情報送信部)は、ユーザ識別情報等に加えて操作履歴情報をサーバ装置200に送信する(
図8,9のステップS126)。
【0063】
[サーバ装置のプロセッサ]
図12は、第2の実施形態におけるサーバ装置202の構成を示す図である。第2の実施形態におけるサーバ装置202は、第1の実施形態におけるサーバ装置200(
図6を参照)と比較して、プロセッサ210Aが操作履歴情報保存部216(操作履歴情報保存部)及び操作履歴情報送信部218(操作履歴情報送信部)を有する点で相違する。操作履歴情報保存部216は操作履歴情報とプリント用画像(第2画像)とを紐付けて保存する。保存先は操作履歴情報保存部216が有する図示せぬメモリでもよいし、データベース250でもよい。また、操作履歴情報送信部218は、操作履歴情報をプリント装置300に送信する。
【0064】
[プリント装置のプロセッサ]
図13は、第2の実施形態におけるプリント装置300の構成を示す図である。同図の態様において、プリント装置300は、第1の実施形態におけるプリント装置300(
図7を参照)と比較して、プロセッサ310Aが操作履歴情報受信部316(操作履歴情報受信部)と、操作履歴情報記憶部318(操作履歴情報記憶部)と、を有する点で相違する。操作履歴情報受信部316はサーバ装置200から操作履歴情報を受信し、操作履歴情報記憶部318は、受信した操作履歴情報をプリント用画像(第2画像)と紐付けて記憶する。記憶先は操作履歴情報記憶部318が有する図示せぬメモリでもよいし、データベース350でもよい。
【0065】
プリント制御部314(画像プリント部)及びプリント機構360(画像プリント部)は、受信した操作履歴情報に基づいてプリント用画像(第2画像)をプリントする。
【0066】
[第2の実施形態における処理]
図14は、第2の実施形態における処理の概略を示す模式図である。同図に示すように、第2の実施形態では、操作履歴情報の取得や送受信、プリント評価情報の蓄積や分析等を行う(後述)。また、プリント情報発信部320は第1の実施形態と同様にプリント情報を発信するが、第2の実施形態において、プリント情報は操作履歴情報に基づく補正や調整を行った旨、及びその内容を含んでいてよい。
【0067】
[撮像装置における処理]
[操作履歴情報に関する処理]
図15は、撮像装置100における操作履歴情報取得の一例を示す図である。同図に示す例では、プリントの仕上がりに対するユーザの好みを受け付けている。ユーザは、ディスプレイ140に表示された情報を視認し、十字ボタン107及びMENU/OKボタン108を操作して、ホワイトバランス補正、コントラスト補正、彩度補正、鮮鋭度補正(輪郭強調)等の設定を行うことができる。設定は、例えば「標準」「無し」「強め」「弱め」等を選択するものであってよい。また、
図15に示す項目以外に、濃度補正を行ってもよい。操作履歴情報取得部130Iは、このようなユーザ操作に応じて、プリント用画像(第2画像)の濃度、コントラスト、彩度、ホワイトバランス、輪郭強調のうち1つ以上に関する操作の情報を操作履歴情報として取得することができる(操作履歴情報取得工程)。操作履歴情報取得部130Iは、画像の移動や回転、拡大または縮小に関する操作の情報を操作履歴情報として取得してもよい。なお、ユーザはこれらの設定を撮影に先立って行ってもよいし、撮影後プリントを注文する際に行ってもよい。また、ユーザは、これらの設定を撮像装置100の基本設定として行ってもよいし、プリントしたい複数枚の画像群に対して行ってもよいし、プリントしたい1枚の画像ごとに行ってもよい。
【0068】
[エリアごとの調整指示]
図16,
図17は、撮影画像(プリント用画像、第2画像)に対するエリアごとの調整指示を行う様子を示す図である。これらの図に示す例では、画像処理部130A及び操作履歴情報取得部130Iは、撮影画像を解析することによりまたは撮影時ないし再生時のディスプレイ140における拡大操作取得により、撮影画像における主要被写体の情報、または撮影画像におけるシャドー部の情報を取得する。操作履歴情報取得部130Iは、取得した前記主要被写体の情報またはシャドー部の情報を撮像装置100のユーザに提示する。具体的には、
図16の(a)部分に示す例では、画像処理部130A及び操作履歴情報取得部130Iは、主要被写体と推定される山体の周囲に枠F1を付加すると共に、「主要被写体はこちらですか?」とのメッセージを付加して、表示制御部130Hにより、ディスプレイ140に表示させる。また、
図16の(b)部分に示す例では、画像処理部130A及び操作履歴情報取得部130Iは、撮影画像においてシャドー部である麓部分の周囲に枠F2を付加すると共に、「シャドー部のコントラストを低くしますか?」とのメッセージを付加して、表示制御部130Hにより、ディスプレイ140に表示させる。
【0069】
画像処理部130Aは、シャドー部の面積(あるいは、撮影画像全体における比率でもよい;以下同じ)に基づいて、
図16の(b)部分に示す表示を行わせることができる。具体的には、
図17に示すように、画像処理部130Aはシャドー部の面積があらかじめ指定された閾値を超えるか否かを判断し(ステップS400)、超える場合は
図16の(b)部分に示すように枠F2を表示させて補正(画像処理)の要否をユーザに確認する(ステップS402)。画像処理部130Aは、シャドー部の面積が閾値を超えない場合(ステップS404)や、閾値を超えていてもユーザが補正不要との操作を行った場合は、シャドー部に対する特段の処理を行わない。
【0070】
なお、シャドー部のコントラストを低くする補正(画像処理)としては、例えば、「覆い焼き」の手法を用いることができる。「覆い焼き」とは、銀塩写真のプリントにおいて、印画紙の特定の領域を覆ってその領域への露光量を減らしてプリントのその領域を明るくし、それ以外の領域への露光量を増やしてプリントのその領域を暗くする処理である。シャドー部のコントラストを低くしたいときには、主要被写体領域を覆い焼きすればよい。なお、「焼き込み」という手法も知られているが、これは特定の領域への露光量を増やすことによりその領域を暗くする処理のことをいう。「焼き込み」によりシャドー部のコントラストを低くするには、シャドー部領域を焼き込みすればよい。プリント装置300においては、これらの露光量調整をデジタル的に行うことができる。なお、撮像装置100においては、画像処理部130Aによりデジタル的な画像処理として実現することができる。
【0071】
なお、ハイライト部に対する補正についても、同様の操作を行うことができる。
【0072】
画像処理部130A及び操作履歴情報取得部130Iは、撮影画像を解析することによりまたは撮影時ないし再生時のディスプレイ140における拡大操作取得により、撮影画像における主要被写体の情報、または撮影画像におけるハイライト部の情報を取得する。操作履歴情報取得部130Iは、取得した主要被写体の情報またはハイライト部の情報を撮像装置100のユーザに提示する。具体的には、
図18の(a)部分に示す例では、画像処理部130A及び操作履歴情報取得部130Iは、主要被写体と推定される海及び空の周囲に枠F3を付加すると共に、「主要被写体はこちらですか?」とのメッセージを付加して、表示制御部130Hによりディスプレイ140に表示させる。また、
図18の(b)部分に示す例では、画像処理部130A及び操作履歴情報取得部130Iは、撮影画像においてハイライト部である砂浜の周囲に枠F4を付加すると共に、「ハイライト部のコントラストを低くしますか?」とのメッセージを付加して、表示制御部130Hにより、ディスプレイ140に表示させる。
【0073】
なお、画像処理部130Aは、ハイライト部の面積に応じて異なる判断及び処理を行うことは、
図16,
図17と同様である。
【0074】
なお、ハイライト部のコントラストを低くする補正(画像処理)としては、ハイライト部に覆い焼きを行うか、主要被写体領域に焼き込みを行うか、いずれかを行えばよく、その他は
図16,
図17と同様である。
【0075】
撮像装置100のユーザは、このような表示を視認し、十字ボタン107及びMENU/OKボタン108により補正の要否を指示することができ、操作履歴情報取得部130Iは、この指示を操作履歴情報として取得することができる。
【0076】
上記実施形態においては、主要被写体におけるコントラストを高くし、かつシャドー部あるいはハイライト部のコントラストを低くした。
【0077】
しかし、主要被写体におけるコントラストが高くなるように、主要被写体に対しての露光条件を設定して、その露光条件を画像全体に適用してもよい。例えば、主要被写体が結婚式における白い衣装の花嫁と分かれば、画像全体において、花嫁におけるコントラストが高くなる露光条件とすればよい。また、主要被写体が銅像など暗い物体であれば、画像全体において、銅像におけるコントラストが高くなる露光条件とすればよい。
【0078】
画像処理においては、画像全体で明るさを調整した方がよい場合と、シャドー部あるいはハイライト部のコントラストをあえて低くして主要被写体を引き立てた方がよい場合とがあるため、限られたダイナミックレンジをどのようにプリントに生かすべきかについて、撮像装置100のユーザの判断を考慮することが好ましい。そこで、
図16及び
図18の例のように主要被写体の情報またはシャドー部及びハイライト部の情報をユーザに提示してユーザの判断(操作)を受け付けることで、ユーザの嗜好に合ったプリントを得ることができる。なお、主要被写体の情報とシャドー部の情報の両方をユーザに提示してもよい。
【0079】
[主要被写体の特定及び補正]
図19は、主要被写体の特定及び補正の処理を示すフローチャートである。画像処理部130Aは、上述のように撮影画像を解析して主要被写体の情報を取得し、撮影画像に主要被写体の位置情報が存在するか否かを判断する(ステップS410)。画像処理部130Aは、主要被写体であるか否かを、撮影時にその被写体に対するパンやチルトの操作、あるいはその被写体が存在する領域の拡大操作がされたこと等に基づいて判断することができる。また、撮影後にディスプレイ140において撮影画像を再生しているときに、拡大操作によってその撮影画像において拡大された領域に映っている被写体を主要被写体と判断することができる。また、動画像の場合、画像処理部130Aは、プレビュー画像やライブビュー画像(メモリカード180等への記録を開始する前に、ディスプレイ140に表示される動画像)に写っている被写体のうち1つ以上についてAF(auto focus)領域やAE(auto exposure)領域が設定された場合、それらAF領域やAE領域が設定された被写体を主要被写体として認識することができる。なお、主要被写体の数は特に限定されず、1つ以上でよい。
【0080】
画像処理部130A及び表示制御部130Hは、このような主要被写体の位置情報やサイズ情報、あるいは補正を実行するための情報を、上述した
図16の(a)部分のような識別表示や、ディスプレイ140へのテキストメッセージ表示等により撮像装置100のユーザに提示し、ユーザが提示に応じて補正の承認操作や選択操作を行った場合、操作履歴情報取得部130Iは、その承認操作や選択操作についての情報を操作履歴情報として取得する。
【0081】
なお、スマートフォンやタブレット端末のようなタッチパネル式のディスプレイを備えた機器では、撮影時にディスプレイに映された被写体をタップ等することで主要被写体の指定やフォーカスあるいは露出の調整、撮影指示等を行うことができる。撮像装置100でもディスプレイ140を介して同様の操作を行うことができるが、ファインダ接眼部105(ファインダ)及びシャッターボタン104により撮影を行う場合は、ユーザが撮影時にこのような操作を行うことは困難である。しかしながら、本実施形態に係る撮像装置100を含む画像処理システム10では、操作履歴情報に基づく補正により、撮影後においても主要被写体やシャドー部等に関するユーザの嗜好をプリントに反映することができる。
【0082】
なお、補正や修正を提示する内容は明るさやコントラストに限定されず、画像処理部130Aは、明るさ、コントラスト、彩度、濃度、ホワイトバランス、輪郭強調のうち1つ以上について同様の処理を行ってよい。また、画像処理部130Aは、主要被写体が決められた角度以上傾いて撮影された場合に、撮影画像を回転する補正をユーザに提示し、その提示に応じた操作の情報を操作履歴情報として取得してもよい。
【0083】
[サーバ装置における処理]
サーバ装置200において、操作履歴情報保存部216は、撮像装置100から操作履歴情報を受信してプリント用画像と紐付けて(不図示のメモリまたはデータベース250に)保存し、操作履歴情報送信部218は、操作履歴情報をプリント装置300に送信する。サーバ装置200は、操作履歴情報に基づく補正の一部または全部を行い、補正後の画像をプリント装置300に送信してもよい。
【0084】
撮影画像に主要被写体の位置情報がなければ、撮影画像に対し通常の補正(主要被写体の位置情報を考慮しない補正)用の情報を算出する(ステップS412)。位置情報がある場合、画像処理部130Aは主要被写体のサイズ情報があるか否かを判断し(ステップS414)、サイズ情報がある場合は主要被写体が存在するエリアにおける明るさ(あるいはコントラスト)を尊重した(優先した)補正を実行するための情報を算出する(ステップS416)。「主要被写体が存在するエリアにおける明るさ(あるいはコントラスト)を尊重した(優先した)補正」とは、主要被写体が存在するエリアにおける明るさ(あるいはコントラスト)を適切にする補正(その他のエリアにおける補正は、可能な範囲で行う)を意味する。一方、サイズ情報がない場合、画像処理部130Aは、撮影画像を複数の領域(例えば、4つの象限)に分け、主要被写体の位置情報に基づいて明るさ(あるいはコントラスト)を加重平均するエリアを決定し(ステップS418)、主要被写体が存在するエリアにおける明るさ(あるいはコントラスト)を尊重した(加重平均の重みを大きくした)補正を実行するための情報を算出する(ステップS416)。
【0085】
[プリント装置における処理]
プリント装置300では、受信した情報に基づいてプリント制御部314が自動補正を行う(
図14のステップS310)。あるいは、この自動補正に代えて、一次補正(自動補正)を行って(ステップS320)、その結果をユーザ(プリントラボのスタッフ等)が確認し、補正内容を調整する操作を行ってもよい(S330)。このような調整を行うのは、プリント装置300の設定値によって、プリント物における色や明るさ、コントラストは変化する一方で、ユーザは、例えば撮像装置100のディスプレイ140に映るプリント用画像音色や明るさ、コントラスト等を期待するからである。このような補正結果の調整はプリント指示情報に含まれるユーザの指示に応じて行うことができ、これによりユーザの嗜好にあったプリント物を提供することができる。なお、このような調整を行うか否かは、第1の実施形態について上述したのと同様に、プリント指示情報に含まれるユーザの指示、料金設定、ユーザのランク等に応じて決めることができる。なお、ステップS320の一次補正には、プリント評価情報に基づく嗜好情報の分析結果を反映することができる(後述)。
【0086】
プリント装置300は、プリント用画像に対し上述した自動補正、または一次補正とその調整を行ってプリントを実行し(
図14のステップS340)、第1の実施形態の場合と同様にプリント情報を発信する(ステップS304)。なお、取得した操作履歴情報に基づく補正は、サーバ装置200で行ってもよいし、プリント装置300で行ってもよい。このような操作履歴情報に基づく補正により、主要被写体やシャドー部に関するユーザの嗜好をプリントに反映することができる。
【0087】
[プリント評価情報の分析及びプリントへの反映]
図20は、プリント評価情報の入力例を示す図である。
図20の例では、撮像装置100のユーザは、ディスプレイ140、十字ボタン107、MENU/OKボタン108等を介して、プリント結果に対する評価を星の数(同図の例では4つ)で入力することができる。プリント結果に対する評価は、具体的な項目にブレークダウンしてもよい。例えば、色合い、明るさ、先鋭さ、コントラスト等に分けてもよい。また、評価を文章で入力させてもよい。情報送受信部130Cは、入力された評価を示す情報を、プリント評価情報としてサーバ装置200に送信する。
【0088】
サーバ装置200は、受信したプリント評価情報をユーザの嗜好情報としてユーザ識別情報やプリント用画像と紐付けてデータベース250に蓄積することができる。プリント装置300は、サーバ装置200に問い合わせることにより、サーバ装置200のデータベース250に蓄積された嗜好情報を呼び出して、データベース350に蓄積することができる。プリント装置300は、データベース350に蓄積された嗜好情報を、例えば機械学習により構築された分析器322(
図13を参照)により分析して、その分析結果をステップS320における補正に反映することができる。このようなプリント評価情報の分析及び補正への反映により、ユーザの利用につれてその嗜好に合ったプリントを提供できるようになり、ユーザの満足度を向上させることができる。
【0089】
なお、上述した第1,第2の実施形態では撮像装置100からプリントを注文する場合について説明している。しかし、プリント用画像や操作履歴情報等を、媒体経由でまたは近距離無線通信経由で、スマートフォンやパーソナルコンピュータ、あるいは店頭端末(画像の表示やプリント指示情報の入力、プリント等が可能な装置)に移し、それらのデバイスからプリントを注文してもよい。
【0090】
以上で本発明の実施形態について説明してきたが、本発明は上述した態様に限定されず、種々の変形が可能である。
【符号の説明】
【0091】
10 画像処理システム
100 撮像装置
102 撮像部
103 レンズ装置
104 シャッターボタン
105 ファインダ接眼部
106 ダイヤル
107 十字ボタン
108 MENU/OKボタン
110 カメラ本体
130 プロセッサ
130A 画像処理部
130B 識別情報取得部
130C 情報送受信部
130D プリント指示部
130E 初期認証情報記憶部
130F 第1認証情報取得部
130G 認証部
130H 表示制御部
130I 操作履歴情報取得部
132 プロセッサ
140 ディスプレイ
150 操作部
180 メモリカード
200 サーバ装置
202 サーバ装置
210 プロセッサ
210A プロセッサ
211 ユーザ情報管理部
212 画像保存部
214 プリント指示転送部
216 操作履歴情報保存部
218 操作履歴情報送信部
220 プリント情報送信部
222 プリント情報保存部
250 データベース
300 プリント装置
302 プリント装置
310 プロセッサ
310A プロセッサ
312 情報受信部
314 プリント制御部
316 操作履歴情報受信部
318 操作履歴情報記憶部
320 プリント情報発信部
322 分析器
350 データベース
360 プリント機構
370 ディスプレイ
380 操作部
F1 枠
F2 枠
F3 枠
F4 枠
S100~S102 ユーザ識別情報取得の各ステップ
S110~S126 ユーザ認証の各ステップ
S300~S304 プリント装置での処理の各ステップ
S310~S350 プリント装置での処理の各ステップ