IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2024-47802画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体
<>
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図1
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図2
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図3
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図4
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図5
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図6
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図7
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図8
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図9
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図10
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図11
  • 特開-画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024047802
(43)【公開日】2024-04-08
(54)【発明の名称】画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体
(51)【国際特許分類】
   H04N 23/60 20230101AFI20240401BHJP
   G06T 7/00 20170101ALI20240401BHJP
   G06V 10/70 20220101ALI20240401BHJP
【FI】
H04N5/232 220
H04N5/232 290
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】28
【出願形態】OL
(21)【出願番号】P 2022153497
(22)【出願日】2022-09-27
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【弁理士】
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】山路 啓
【テーマコード(参考)】
5C122
5L096
【Fターム(参考)】
5C122DA04
5C122EA12
5C122FH10
5C122FH11
5C122FH14
5C122GA01
5C122GB00
5C122HA13
5C122HA35
5C122HA46
5C122HB01
5C122HB05
5L096AA02
5L096AA06
5L096BA07
5L096CA02
5L096DA02
5L096KA04
(57)【要約】
【課題】 プリント物を読み取って読取画像のデータを利用するユーザを支援するための画像解析装置、システム、方法、プログラム及び記録媒体を提供する。
【解決手段】 プロセッサを備えた画像解析装置において、プロセッサは、撮影画像がプリントされたプリント物を読み取って、読取画像の画像データを取得する処理と、画像データに基づいて、プリント物の読み取りに関する第1内容を解析する処理と、第1内容の解析結果に基づいて、第1支援情報を取得する処理と、を実行する。
【選択図】図11
【特許請求の範囲】
【請求項1】
プロセッサを備えた画像解析装置であって、
前記プロセッサは、
撮影画像がプリントされたプリント物を読み取って、読取画像の画像データを取得する処理と、
前記画像データに基づいて、前記プリント物の読み取りに関する第1内容を解析する処理と、
前記第1内容の解析結果に基づいて、第1支援情報を取得する処理と、を実行する、画像解析装置。
【請求項2】
前記プロセッサは、
前記画像データに基づいて、前記撮影画像の撮影に関する第2内容を解析する処理と、
前記第2内容の解析結果に基づいて、第2支援情報を取得する処理と、をさらに実行する、請求項1に記載の画像解析装置。
【請求項3】
前記プロセッサは、前記第2内容の解析結果に基づいて、前記第1支援情報を取得する処理を実行する、請求項2に記載の画像解析装置。
【請求項4】
前記プロセッサは、前記第1支援情報を取得する処理において、前記第1内容の解析結果及び前記第2内容の解析結果に基づいて、前記第1支援情報を取得する、請求項2に記載の画像解析装置。
【請求項5】
前記プロセッサは、前記第1内容の解析結果に基づいて、前記第2支援情報を取得する処理を実行する、請求項2に記載の画像解析装置。
【請求項6】
前記プロセッサは、前記第2支援情報を取得する処理において、前記第1内容の解析結果及び前記第2内容の解析結果に基づいて、前記第2支援情報を取得する、請求項2に記載の画像解析装置。
【請求項7】
前記第1支援情報は、プリント物の読み取り方法に関する情報であり、
前記第2支援情報は、撮影画像の撮影方法に関する情報である、請求項2に記載の画像解析装置。
【請求項8】
前記プロセッサは、
前記画像データに基づいて、前記撮影画像の画質に関する第3内容を解析する処理と、
前記第3内容の解析結果に基づいて、撮影画像の撮影方法又は補正方法に関する第3支援情報を取得する処理と、をさらに実行する、請求項1に記載の画像解析装置。
【請求項9】
前記プロセッサは、前記第1内容を解析する処理において、前記読取画像における少なくとも一部の領域を対象として前記第1内容を解析する、請求項1に記載の画像解析装置。
【請求項10】
前記プロセッサは、前記第1内容を解析する処理において、前記読取画像の中から前記プリント物の存在領域を特定し、特定された前記プリント物の存在領域及び前記存在領域以外の領域のうち、少なくとも一方を対象として前記第1内容を解析する、請求項1に記載の画像解析装置。
【請求項11】
前記プリント物が、前記撮影画像を囲む枠部分を有する場合、
前記プロセッサは、前記第1内容を解析する処理において、前記読取画像の中から前記枠部分の存在領域を特定し、特定された前記枠部分の存在領域及び前記存在領域以外の領域のうち、少なくとも一方を対象として前記第1内容を解析する、請求項1に記載の画像解析装置。
【請求項12】
前記プロセッサは、前記第2内容を解析する処理において、前記読取画像の中から前記撮影画像の存在領域を特定し、特定された前記撮影画像の存在領域を対象として前記第2内容を解析する、請求項2に記載の画像解析装置。
【請求項13】
前記第1内容の解析結果が、前記第1内容に対する基準を満たしていない場合、前記プロセッサは、前記第1支援情報を取得する処理を実行する、請求項1に記載の画像解析装置。
【請求項14】
前記第2内容の解析結果が、前記第2内容に対する基準を満たしていない場合、前記プロセッサは、前記第2支援情報を取得する処理を実行する、請求項2に記載の画像解析装置。
【請求項15】
前記第1支援情報は、プリント物の読み取り方法に関するアドバイスを含む情報である、請求項1に記載の画像解析装置。
【請求項16】
前記第1支援情報は、プリント物の読み取り方法に関する支援情報の提供元に接続するための符号情報を含む、請求項15に記載の画像解析装置。
【請求項17】
前記第2支援情報は、撮影画像の撮影方法に関するアドバイスを含む情報である、請求項2に記載の画像解析装置。
【請求項18】
前記第2支援情報は、撮影画像の撮影方法に関する支援情報の提供元に接続するための符号情報を含む、請求項17に記載の画像解析装置。
【請求項19】
前記プロセッサは、前記読取画像を前記第1内容又は前記第2内容の解析結果に応じて補正して得られる補正画像を、画面に表示させる処理を実行する、請求項2に記載の画像解析装置。
【請求項20】
前記プロセッサは、前記読取画像とは異なるサンプル画像を前記第1内容又は前記第2内容の解析結果に応じて補正して得られる補正サンプル画像を、画面に表示させる処理を実行する、請求項2に記載の画像解析装置。
【請求項21】
前記プロセッサは、
ユーザが前記読取画像を補正する場合に行う補正用操作を受け付ける処理と、
受け付けた前記補正用操作に応じて、画像補正に関する第4支援情報を取得する処理と、をさらに実行する、請求項1に記載の画像解析装置。
【請求項22】
前記プロセッサは、前記第4支援情報を取得する処理において、ユーザによる前記第4支援情報の利用履歴に基づく機械学習の学習結果、又はユーザによる前記補正用操作の実施履歴に基づく機械学習の学習結果に基づいて前記第4支援情報を取得する、請求項21に記載の画像解析装置。
【請求項23】
撮影画像がプリントされたプリント物を読み取って、読取画像の画像データを取得する読取装置と、
前記画像データを受信するデータ処理装置と、を備え、
前記データ処理装置は、
前記画像データに基づいて、前記プリント物の読み取りに関する第1内容を解析する処理と、
前記第1内容の解析結果に基づいて、第1支援情報を取得する処理と、を実行する、画像解析システム。
【請求項24】
前記データ処理装置は、
前記画像データに基づいて、前記撮影画像の撮影に関する第2内容を解析する処理と、
前記第2内容の解析結果に基づいて、第2支援情報を取得する処理と、をさらに実行する、請求項23に記載の画像解析システム。
【請求項25】
プロセッサにより、撮影画像がプリントされたプリント物を読み取って、読取画像の画像データを取得するステップと、
プロセッサにより、前記画像データに基づいて、前記プリント物の読み取りに関する第1内容を解析するステップと、
プロセッサにより、前記第1内容の解析結果に基づいて、第1支援情報を取得するステップと、を含む、画像解析方法。
【請求項26】
プロセッサにより、前記画像データに基づいて、前記撮影画像の撮影に関する第2内容を解析するステップと、
プロセッサにより、前記第2内容の解析結果に基づいて、第2支援情報を取得するステップと、をさらに含む、請求項25に記載の画像解析方法。
【請求項27】
請求項25又は26に記載の画像解析方法に含まれる各ステップをコンピュータに実施させるためのプログラム。
【請求項28】
コンピュータが読み取り可能な記録媒体であって、
請求項25又は26に記載の画像解析方法に含まれる各ステップをコンピュータに実施させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一つの実施形態は、プリント物を読み取ることで取得される読取画像を解析する画像解析装置、画像解析システム、画像解析方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
撮影画像をプリントして得られるプリント物をスマートフォン等によって読み取り、その読取画像の画像データを利用する場合がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004-139603号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1等の技術のように読取画像の画像データを利用する際に、ユーザが読取操作を誤って画像の読み取りに失敗する場合がある。その場合、ユーザが読取操作を改善できなければ、以降の読取操作時においても画像の読み取りの失敗を繰り返す可能性がある。
【0005】
本発明の一つの実施形態は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。具体的には、本発明の一つの実施形態は、上記従来技術の問題点を解決し、プリント物を読み取って読取画像のデータを利用するユーザを支援するための画像解析装置、システム、方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明の一つの実施形態に係る画像解析装置は、プロセッサを備えた画像解析装置であって、プロセッサは、撮影画像がプリントされたプリント物を読み取って、読取画像の画像データを取得する処理と、画像データに基づいて、プリント物の読み取りに関する第1内容を解析する処理と、第1内容の解析結果に基づいて、第1支援情報を取得する処理と、を実行することを特徴とする。
【0007】
また、プロセッサは、画像データに基づいて、撮影画像の撮影に関する第2内容を解析する処理と、第2内容の解析結果に基づいて、第2支援情報を取得する処理と、をさらに実行してもよい。
また、プロセッサは、第2内容の解析結果に基づいて、第1支援情報を取得する処理を実行してもよい。
また、プロセッサは、第1支援情報を取得する処理において、第1内容の解析結果及び第2内容の解析結果に基づいて、第1支援情報を取得してもよい。
また、プロセッサは、第1内容の解析結果に基づいて、第2支援情報を取得する処理を実行してもよい。
また、プロセッサは、第2支援情報を取得する処理において、第1内容の解析結果及び第2内容の解析結果に基づいて、第2支援情報を取得してもよい。
また、上記の構成において、第1支援情報は、プリント物の読み取り方法に関する情報であり、第2支援情報は、撮影画像の撮影方法に関する情報であってもよい。
【0008】
また、上記の画像解析装置において、プロセッサは、画像データに基づいて、撮影画像の画質に関する第3内容を解析する処理と、第3内容の解析結果に基づいて、撮影画像の撮影方法又は補正方法に関する第3支援情報を取得する処理と、をさらに実行してもよい。
【0009】
また、プロセッサは、第1内容を解析する処理において、読取画像における少なくとも一部の領域を対象として第1内容を解析してもよい。
より具体的には、プロセッサは、第1内容を解析する処理において、読取画像の中からプリント物の存在領域を特定し、特定されたプリント物の存在領域及び当該存在領域以外の領域のうち、少なくとも一方を対象として第1内容を解析してもよい。
また、プリント物が、撮影画像を囲む枠部分を有する場合、プロセッサは、第1内容を解析する処理において、読取画像の中から枠部分の存在領域を特定し、特定された枠部分の存在領域及び当該存在領域以外の領域のうち、少なくとも一方を対象として第1内容を解析してもよい。
【0010】
また、プロセッサは、第2内容を解析する処理において、読取画像の中から撮影画像の存在領域を特定し、特定された撮影画像の存在領域を対象として第2内容を解析してもよい。
【0011】
また、第1内容の解析結果が、第1内容に対する基準を満たしていない場合、プロセッサは、第1支援情報を取得する処理を実行してもよい。
また、第2内容の解析結果が、第2内容に対する基準を満たしていない場合、プロセッサは、第2支援情報を取得する処理を実行してもよい。
【0012】
また、第1支援情報は、プリント物の読み取り方法に関するアドバイスを含む情報であってもよい。また、第1支援情報は、プリント物の読み取り方法に関する支援情報の提供元に接続するための符号情報を含んでもよい。
また、第2支援情報は、撮影画像の撮影方法に関するアドバイスを含む情報であってもよい。また、第2支援情報は、撮影画像の撮影方法に関する支援情報の提供元に接続するための符号情報を含んでもよい。
【0013】
また、プロセッサは、読取画像を第1内容又は第2内容の解析結果に応じて補正して得られる補正画像を、画面に表示させる処理を実行してもよい。
また、プロセッサは、読取画像とは異なるサンプル画像を第1内容又は第2内容の解析結果に応じて補正して得られる補正サンプル画像を、画面に表示させる処理を実行してもよい。
【0014】
また、プロセッサは、ユーザが読取画像を補正する場合に行う補正用操作を受け付ける処理と、受け付けた補正用操作に応じて、画像補正に関する第4支援情報を取得する処理と、をさらに実行してもよい。
また、プロセッサは、第4支援情報を取得する処理において、ユーザによる第4支援情報の利用履歴に基づく機械学習の学習結果、又はユーザによる補正用操作の実施履歴に基づく機械学習の学習結果に基づいて第4支援情報を取得してもよい。
【0015】
また、本発明の一つの実施形態に係る画像解析システムは、撮影画像がプリントされたプリント物を読み取って、読取画像の画像データを取得する読取装置と、画像データを受信するデータ処理装置と、を備える。そして、データ処理装置は、画像データに基づいて、プリント物の読み取りに関する第1内容を解析する処理と、第1内容の解析結果に基づいて、第1支援情報を取得する処理と、を実行する。
【0016】
また、上記のデータ処理装置は、画像データに基づいて、撮影画像の撮影に関する第2内容を解析する処理と、第2内容の解析結果に基づいて、第2支援情報を取得する処理と、をさらに実行してもよい。
【0017】
また、本発明の一つの実施形態に係る画像解析方法は、以下のステップを含む画像解析方法である。
プロセッサにより、撮影画像がプリントされたプリント物を読み取って、読取画像の画像データを取得するステップ、
プロセッサにより、画像データに基づいて、プリント物の読み取りに関する第1内容を解析するステップ、及び
プロセッサにより、第1内容の解析結果に基づいて、第1支援情報を取得するステップ
【0018】
また、上記の画像解析方法は、プロセッサにより、画像データに基づいて、撮影画像の撮影に関する第2内容を解析するステップと、プロセッサにより、第2内容の解析結果に基づいて、第2支援情報を取得するステップと、をさらに含んでもよい。
【0019】
また、本発明の一つの実施形態に係るプログラムは、上述の画像解析方法に含まれる各ステップをコンピュータに実施させるためのプログラムである。
また、本発明の一つの実施形態に係る記録媒体は、コンピュータが読み取り可能な記録媒体であって、上述の画像解析方法に含まれる各ステップをコンピュータに実施させるためのプログラムが記録された記録媒体である。
【発明の効果】
【0020】
本発明によれば、プリント物を読み取って読取画像のデータを利用するユーザを支援するための情報(第1支援情報)を作成することが可能である。
【図面の簡単な説明】
【0021】
図1】本発明の一つの実施形態に係る画像解析装置とその周辺機器を示す図である。
図2】プリント物及びその読取画像についての説明図である。
図3】本発明の一つの実施形態に係る画像解析装置のハードウェア構成を示す図である。
図4】本発明の一つの実施形態に係る画像解析装置の機能についての説明図である。
図5】第1支援情報が表示された画面例を示す図である。
図6】第2支援情報が表示された画面例を示す図である。
図7】第3支援情報が表示された画面例を示す図である。
図8】補正画像が表示された画面例を示す図である。
図9】読取画像に対する補正用操作の受付画面の一例を示す図である。
図10】第4支援情報が表示された画面例を示す図である。
図11】本発明の一つの実施形態に係る画像解析フローを示す図である。
図12】本発明の一つの実施形態に係る画像解析システムを示す図である。
【発明を実施するための形態】
【0022】
本発明の一つの具体的な実施形態について、図面を参照しながら説明する。ただし、以下に説明する実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。また、本発明は、その趣旨を逸脱しない限り、以下の実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。
【0023】
本明細書において、「装置」という概念には、特定の機能を一台で発揮する単一の装置が含まれるとともに、分散して互いに独立して存在しつつ協働(連携)して特定の機能を発揮する複数の装置の組み合わせも含まれることとする。
【0024】
また、本明細書において、「画像」は、複数の画素によって構成され、複数の画素のそれぞれの階調値によって表現される。「画像データ」は、設定された解像度にて画像を規定したデジタル画像データであり、画素毎の階調値が記録されたデータを所定の圧縮方式にて圧縮することで生成される。そして、画像データが展開されることで、画像が出力されてディスプレイ等の表示器に表示される。画像データの種類としては、例えば、JPEG(Joint Photographic Experts Group)形式のような非可逆圧縮の画像データ、並びに、GIF(Graphics Interchange Format)又はPNG(Portable Network Graphics)形式のような可逆圧縮の画像データ等が挙げられる。また、画像データには、ファイル名、撮影日時及び撮影場所等の情報を示すデータが含まれてもよい。
【0025】
また、本明細書において、「ユーザ」は、本発明の一つの実施形態に係る画像解析装置を利用するユーザである。画像解析装置を利用するとは、画像解析装置の機能を利用することであり、画像解析装置を直接操作することの他、画像解析装置の機能を、画像解析装置と通信可能な機器(例えば、ユーザ端末)を通じて利用することを含む。
【0026】
<本発明の一つの実施形態に係る画像解析装置と周辺機器について>
本発明の一つの実施形態は、撮影画像のプリント物を読み取って得られる読取画像を解析する画像解析技術であり、図1に示す画像解析装置としての情報処理端末10によって実現される。具体的には、情報処理端末10には、本発明の一つの実施形態(以下、本実施形態)に係る画像解析装置の機能を利用するためのアプリケーションプログラムであるスキャンアプリが格納されている。スキャンアプリの詳細については、後の項で説明することとする。
【0027】
情報処理端末10は、通信機能を有し、ネットワーク12上に存在する機器と通信することで、その機器から情報を入手することができる。ここで、ネットワーク12は、インターネット及びモバイル回線網等の外部通信用のネットワークであり、ネットワーク上の機器には、図1に示す情報提供サーバ14が含まれる。なお、図1では、情報提供サーバ14を1台のみ図示しているが、実際には、複数の情報提供サーバ14がネットワーク12上に存在し得る。
【0028】
情報提供サーバ14は、情報処理端末10から送られてくる送信要求に応じて情報を提供する。具体的には、情報処理端末10側で情報の提供元に接続するための符号情報、詳しくはURL(Uniform Resource Locator)が指定されると、情報提供サーバ14は、そのURLに存在するWebページの情報を情報処理端末10に向けて送信する。情報処理端末10は、ネットワーク12を通じてWebページの情報を受信(ダウンロード)する。情報提供サーバ14が提供するWebページには、企業又は公共機関が公開するもの、ブログ等を含めて個人が開設するもの、複数人からの投稿記事を掲載するSNS(Social Networking Service)用のWebページ、並びに、投稿された動画を配信するものが含まれる。
【0029】
情報処理端末10は、撮像レンズ及び電子撮像素子を含む撮像デバイスを備えており、画像がプリントされた媒体(プリント物P)を読み取るスキャン機能を有する。具体的には、情報処理端末10は、プリント物Pを撮影することで、そのプリント画像を読み取る(スキャンする)。本実施形態では、情報処理端末10が読取装置として機能し、読取画像のデータ(以下、読取画像データともいう)を取得することができる。
【0030】
情報処理端末10は、通信機能及びスキャン機能を有する機器であればよい。例えば、カメラ付きのスマートフォン及びタブレット等のスマートデバイス、カメラ付きで通信可能なパーソナルコンピュータ、又は、通信可能なその他の機器等によって情報処理端末10が構成されてもよい。その他の機器には、電子撮像素子を備えたデジタルカメラ、及び、通信により画像を受信して当該画像をフィルム等にプリント可能なプリンタ(撮像機能を備えた機器を除く)が含まれる。また、デジタルカメラには、プリンタを備えない機器と、プリンタを搭載して画像をプリント可能な機器とが含まれる。
なお、以下では、情報処理端末10がスマートデバイスにより構成されるケースを例に挙げて説明することとする。
【0031】
また、情報処理端末10は、ユーザの操作(補正用操作)に応じて画像を補正する機能を有してもよい。すなわち、情報処理端末10は、ユーザによる補正用操作を受け付け、情報処理端末10内に記憶された画像に対して、補正用操作に基づく補正処理を実行してもよい。情報処理端末10内に記憶された画像には、情報処理端末10に搭載されたカメラにより撮影された画像、情報処理端末10に予め記憶されたサンプル画像、及び、情報提供サーバ14との通信を通じて入手された画像等が含まれる。また、情報処理端末10に搭載されたカメラにより撮影された画像には、後述の読取画像が含まれる。
【0032】
補正処理は、公知の画像処理技術によって補正対象の画像の色、明るさ、鮮明度(解像感)、構図及び歪み度合い等を変更または修正する処理である。具体的な補正処理としては、例えば、色補正、階調補正、ホワイトバランス補正、ブレ又はボケを低減する補正、ノイズを除去する補正、及び台形補正等の幾何補正が挙げられる。また、被写体として人物の顔を含む画像に対する補正処理には、赤目補正、目を瞑った顔から目を開いた顔に修正する補正、表情を変更する補正、及び肌の色又は質感を変更する補正等が含まれてもよい。
【0033】
本実施形態では、図1に示すように、情報処理端末10とともに、プリンタ付きカメラ16が用いられる。プリンタ付きカメラ16は、インスタント写真方式により撮影画像のプリント物Pを出力可能なアナログカメラである。すなわち、本実施形態では、プリンタ付きカメラ16のカメラ本体内にフィルムを収容し、撮影された被写体の画像(以下、撮影画像)を光学的にフィルムに印画し、撮影画像がプリントされたフィルムをプリント物Pとして出力することができる。
【0034】
具体的には、ユーザが撮影範囲を決めて撮影ボタンを押すと、プリンタ付きカメラ16が、撮影範囲内の被写体を受像し、感光性を有するフィルム(詳しくは、インスタントカラーフィルム)に露光して潜像を形成する。その後、フィルムの端部に設けられた現像液ポットが破れてポット内の現像液がフィルム表面に展開され、当該フィルムがプリンタ付きカメラ16の外に排出される。これにより、それまで潜像であった撮影画像が現像されてフィルムに印画(プリント)され、その結果、フルカラー画像である撮影画像がプリントされたプリント物Pが取得される。
なお、撮影画像をフィルムにプリントする方式は、インスタント写真方式に限定されず、インクジェット方式、昇華型熱転写方式、あるいはトナーを用いた電子写真方式等であってもよい。また、撮影画像は、フルカラー画像に限らず、白黒画像であってもよい。
【0035】
プリント物Pは、図2に示すように、矩形状の外形形状を有し、その一方の表面に撮影画像Pcがプリントされている。本実施形態に係るプリント物Pにおいて、撮影画像Pcは、方形状の外縁を有するカラー画像であり、図2に示すように、その周囲を無地の枠部分Pfに囲まれている。枠部分Pfは、撮影画像Pcを囲む部分であり、例えば白色であり、四角枠の形状をなしている。ただし、これに限定されず、枠部分は、有色であってもよく、また、枠部分には模様が施されてもよい。また、枠部分Pfの形状は、方形枠に限定されず、例えば、枠の外縁又は内縁が四角形以外の多角形、円又は楕円、星形等であってもよい。
【0036】
プリント物Pにおいて撮影画像Pcの色は、撮影画像Pcに写る被写体の色を再現した色であるが、その色の再現性については、プリント物Pを出力する機器の能力(色再現力)を反映している。例えば、ある機種のプリンタによって出力されたプリント物Pでは、理想的な再現色に比べて所定の色(例えば、緑)の濃度が低くなる傾向がある。
【0037】
プリント物Pは、例えば情報処理端末10によって読み取られる。具体的に説明すると、ユーザは、上記の手順にてプリント物Pを取得した後、情報処理端末10にインストールされたスキャンアプリを起動する。スキャンアプリの起動後、ユーザは、情報処理端末10に搭載されたカメラの撮影範囲(画角)内にプリント物Pを配置し、そのカメラによりプリント物Pを読み取る(詳しくは撮像する)。これにより、プリント物Pの読取画像の画像データ(読取画像データ)が取得される。プリント物Pの読取画像には、図2に示すように、プリント物Pの画像と、プリント物P周辺(背景)の画像が含まれる。
【0038】
その後、情報処理端末10は、スキャンアプリの機能により、取得された読取画像データに基づいて読取画像を解析し、その解析結果に応じて支援情報を取得してユーザに提供する。支援情報は、ユーザへのアドバイス、又は、成功事例若しくは失敗事例を紹介する情報である。本実施形態において提供可能な支援情報は、プリント物Pの読み取り方法に関する第1支援情報、画像(撮影画像)の撮影方法に関する第2支援情報、及び、より高画質な画像を得るための第3支援情報を含む。第3支援情報は、撮影シーンに適した画像の撮影方法に関する情報、又は、撮影画像の補正方法に関する情報を含む。
【0039】
本実施形態において、各支援情報は、情報処理端末10が備えるディスプレイに表示させることでユーザに提供される。これにより、ユーザは、提供された支援情報を情報処理端末10にて確認することができ、その支援情報を次回以降の画像撮影又はプリント物Pの読み取り(スキャン)に活用することができる。
【0040】
<本発明の一つの実施形態に係る画像解析装置の構成例について>
本実施形態に係る画像解析装置である情報処理端末10の構成について、図3を参照しながら説明する。情報処理端末10は、図3に示すように、プロセッサ41、メモリ42、通信用インタフェース43、入力機器44、出力機器45及びストレージ46を備える。
【0041】
プロセッサ41は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、又はTPU(Tensor Processing Unit)等によって構成される。メモリ42は、例えば、ROM(Read Only Memory)及びRAM(Random Access Memory)等の半導体メモリ等によって構成される。通信用インタフェース43は、例えば、ネットワークインタフェースカード又は通信インタフェースボード等によって構成される。入力機器44は、タッチパネル及びカーソルボタン等、ユーザ操作を受け付ける機器を含む。出力機器45は、ディスプレイ等の表示器を含む。
【0042】
ストレージ46は、情報処理端末10が各種の処理を実行するために必要なデータを記憶する。なお、ストレージ46は、情報処理端末10に内蔵又は外付けされた記憶装置によって構成されてもよく、若しくはNAS(Network Attached Storage)等によって構成されてもよい。あるいは、ストレージ46が、オンラインストレージのように、情報処理端末10とネットワーク12を通じて通信可能な外部機器によって構成されてもよい。
【0043】
メモリ42には、OS(Operating System)、及びスキャンアプリを含むアプリケーションプログラムが格納されている。スキャンアプリは、情報処理端末10を本実施形態に係る画像解析装置として機能させるプログラムである。なお、アプリケーションプログラムは、コンピュータが読み取り可能な記録媒体から読み込むことで取得されてもよいし、インターネット又はイントラネット等の通信網を通じてダウンロードすることで取得されてもよい。
【0044】
また、本実施形態に係る情報処理端末10は、図3に示すように、撮像レンズ及び電子撮像素子を含む撮像デバイス47をさらに備える。撮像デバイス47は、スマートフォンに搭載されたカメラと同様の構成である。
【0045】
次に、図4を参照しながら、本実施形態に係る情報処理端末10の構成を機能面から改めて説明する。
情報処理端末10は、図4に示すように、読取部21、記憶部22、受付部23、解析部24、補正部25、学習部26、検索部27、取得部28、及び提供部29を有する。これらの機能部は、情報処理端末10が有するハードウェア機器と、スキャンアプリを含む各種プログラム(ソフトウェア)との協働により実現される。また、一部の機能(例えば、学習部26)は、人工知能(AI:Artificial Intelligence)によって実現されてもよい。
以下、各機能部について説明する。
【0046】
(読取部)
読取部21は、撮像デバイス47を制御してプリント物Pを所定の解像度にて読み取り、その読取画像の画像データを取得する。ここで、読取画像の画質、すなわちプリント物Pの読み取りの良否は、プリント物Pの読み取り方法に影響され得る。プリント物Pの読み取り方法には、読取感度、撮像デバイス47の向き、プリント物Pが置かれた空間の明るさ、光源の種類及び発光強度、合焦位置、光源とプリント物Pとの位置関係、プリント物Pの姿勢、並びにプリント物Pを把持する手の動き(ブレ)の有無等が含まれ得る。
【0047】
(記憶部)
記憶部22は、解析部24、補正部25、学習部26、及び検索部27が対応する処理を実行する際に参照する各種のデータを記憶する。例えば、記憶部22には、ユーザの操作に基づく補正処理の実行履歴、及びユーザによる支援情報の参照履歴が記憶される。また、記憶部22には、解析結果と支援情報(詳しくは、支援情報のURL)との対応関係を示すテーブルデータが記憶される。さらに、記憶部22には、学習部26による学習結果、より詳しくは、機械学習によって構築された推定又は予測用の数理モデルが記憶される。
【0048】
(受付部)
受付部23は、ユーザが入力機器44を介して操作(ユーザ操作)を受け付ける。受付部23が受け付けるユーザ操作には、各種の選択、指定、指示、要求、命令、許可又は拒否、登録及びその他の操作等が含まれる。その他の操作には、画像を補正するために行われる補正用操作が含まれる。
【0049】
(解析部)
解析部24は、読取部21によって取得された読取画像データに基づいて、読取画像を解析する。本実施形態に係る解析部24は、図4に示すように、第1特定部31、第2特定部32、第3特定部33、第1解析部34、第2解析部35、第3解析部36、判定部37及び認識部38を備えて構成されている。
【0050】
(第1特定部)
第1特定部31は、読取画像データが示す読取画像の中からプリント物Pの存在領域(以下、存在領域P1)を特定する。存在領域P1は、図2に示すように、読取画像においてプリント物Pが写っている領域である。存在領域P1を特定する方法は、特に限定されないが、例えば、読取画像のうち、最も大きな矩形若しくは台形、又は、これらに近い形状の境界を認識するとよい。この場合、認識された境界の内側の領域が存在領域P1として特定される。
【0051】
(第2特定部)
第2特定部32は、読取画像データが示す読取画像の中から、プリント物Pにおける枠部分Pfの存在領域(以下、存在領域P2)を特定する。存在領域P2は、図2に示すように、読取画像において枠部分Pfが写っている領域である。存在領域P2を特定する方法は、特に限定されないが、例えば、第1特定部31により特定された存在領域P1中、方形枠状の白色領域を公知のエッジ検出方法等によって検出するとよい。この場合、検出された領域が存在領域P2として特定される。
【0052】
(第3特定部)
第3特定部33は、読取画像データが示す読取画像の中から、プリント物Pにおける撮影画像Pcの存在領域(以下、存在領域P3)を特定する。存在領域P3は、図2に示すように、読取画像において撮影画像Pvが写っている領域である。存在領域P3を特定する場合には、例えば、第1特定部31により特定された存在領域P1から、第2特定部32により特定された存在領域P2、すなわち枠部分Pfが写った領域を除く。そして、存在領域P1から存在領域P2を除いた領域が、存在領域P3として特定される。
【0053】
なお、第2特定部32と第3特定部33とは、互いに相補的に機能してもよい。例えば、第2特定部32が、存在領域P1の中で存在領域P2を特定し、その後、第3特定部33が、存在領域P1から存在領域P2を除いた領域を存在領域P3として特定してもよい。反対に、第3特定部33が、存在領域P1内の矩形状又は台形状の領域を存在領域P3として特定し、その後、第2特定部32が、存在領域P1から存在領域P3を除いた領域を存在領域P2として特定してもよい。
【0054】
(第1解析部)
第1解析部34は、読取画像データに基づいて、プリント物Pの読み取り(スキャン)に関する第1内容を解析する。第1内容は、プリント物Pの読み取りの良否を判定するために設定された評価内容であり、定量的に数値化して評価可能な内容である。そして、第1内容の解析結果は、プリント物Pの読み取り方法及び読み取り条件等に応じて変化し、換言すると、読み取り方法及び読み取り条件等は、第1内容に反映され得る。
【0055】
第1解析部34は、第1内容を解析する際に、読取画像における少なくとも一部の領域を対象として第1内容を解析する。具体的に説明すると、第1内容は、例えば、プリント物Pを読み取る際のブレの程度、読み取り時の明るさ、読み取り範囲が正常であるか、画像の部分的欠落の程度、及び画像内のノイズの量等を含んでもよい。これらの内容は、読取画像のうち、プリント物Pの枠部分Pfの存在領域(すなわち、存在領域P2)を解析することで特定することができる。つまり、第1解析部34は、第2特定部32により特定された存在領域P2を対象として第1内容を解析してもよい。この場合には、存在領域P2から得られる情報に基づいて、プリント物Pが正常に読み取られたか否かを適切に判定することができる。
【0056】
また、第1内容は、例えば、読取画像全体の歪みの度合い(読取画像が台形補正によって正常な矩形画像となるか否か)、及び、読み取り時の光源の映り込みの有無等を含んでもよい。これらの内容は、読取画像のうち、プリント物Pの存在領域(すなわち、存在領域P1)を解析することで特定することができる。つまり、第1解析部34は、第1特定部31により特定された存在領域P1を対象として第1内容を解析してもよい。この場合には、存在領域P1から得られる情報に基づいて、プリント物Pが正常に読み取られたか否かを適切に判定することができる。
【0057】
なお、上述の第1内容を解析する手法は、特に限定されず、例えば、公知の画像解析技術(具体的には、画像各部の特徴量を算出して評価する技術等)を用いた解析手法が利用可能である。
また、第1内容の解析は、読取画像のうち、枠部分Pfの存在領域P2以外の領域、例えば、撮影画像Pcの存在領域P3を対象として行ってもよいし、枠部分Pfの存在領域P2及びそれ以外の領域の双方を対象として行ってもよい。さらに、第1内容の解析は、読取画像のうち、プリント物Pの存在領域P1以外の領域、例えば、プリント物Pの背景領域を対象として行ってもよいし、プリント物Pの存在領域P1及びそれ以外の領域の双方を対象として行ってもよい。
【0058】
(第2解析部)
第2解析部35は、読取画像データに基づいて、撮影画像の撮影に関する第2内容を解析する。第2内容は、画像撮影の良否を判定するために設定された評価内容であり、定量的に数値化して評価可能な内容である。そして、第2内容の解析結果は、撮影画像の撮影方法及び撮影条件等に応じて変化し、換言すると、撮影方法及び撮影条件等は、第2内容に反映され得る。
【0059】
第2内容は、例えば、撮影画像におけるブレ又はボケの程度、撮影画像の明るさ、露出量、合焦位置、撮影画像内の被写体の位置(詳しくは、画角との位置関係)、被写体までの距離、撮影画像におけるノイズの量、及びS/N比(信号対雑音比)等を含んでもよい。また、撮影画像内の被写体が人である場合には、目が瞑っているか否か、赤目の有無、及び顔の表情等が第2内容として含まれてもよい。
以上の第2内容は、読取画像のうち、撮影画像Pcの存在領域(すなわち、存在領域P3)を解析することで特定することができる。つまり、第2解析部35は、第3特定部33により特定された存在領域P3を対象として第2内容を解析してもよい。この場合には、存在領域P3から得られる情報に基づいて、撮影画像が正常に撮影されたか否かを適切に判定することができる。
【0060】
なお、上述の第2内容を解析する手法は、特に限定されず、例えば、公知の画像解析技術(具体的には、画像内の被写体を検出する技術、及び画像各部の特徴量を算出して画質を評価する技術等)を用いた手法が利用可能である。
【0061】
(第3解析部)
第3解析部36は、読取画像データに基づいて、撮影画像の画質に関する第3内容を解析する。第3内容は、撮影画像の画質について改善の可能性の有無を判定するために設定された評価内容であり、定量的に数値化して評価可能な内容である。そして、第3内容の解析結果は、撮影画像の撮影方法及び撮影条件等に応じて変化し、換言すると、撮影方法及び撮影条件等は、第3内容に反映され得る。
【0062】
第3内容は、例えば、撮影画像内の被写体の色味、被写体が人である場合には人の肌の色及び質感(シャープネス)、並びに、撮影方法又は画像処理(補正)によって改善し得るその他の項目等を含んでもよい。これらの内容は、読取画像のうち、撮影画像の存在領域(すなわち、存在領域P3)を解析することで特定することができる。つまり、第3解析部36は、第3特定部33によって特定された存在領域P3を対象として第3内容を解析してもよい。この場合には、存在領域P3から得られる情報に基づいて、撮影画像Pcの画質について改善の可能性があるか否かを適切に判定することができる。
【0063】
なお、上述の第3内容を解析する手法は、特に限定されず、例えば、公知の画像解析技術(具体的には、画像内の被写体を検出する技術、及び画像各部の特徴量を算出して画質を評価する技術等)を用いた手法が利用可能である。
【0064】
(判定部)
判定部37は、第1解析部34による第1内容の解析結果に基づいて、プリント物Pの読み取りの良否、換言すると、ユーザがプリント物Pの読み取りを失敗したか否かを判定する。具体的には、判定部37は、第1内容の解析結果と、第1内容に対する基準とを対比し、解析結果が基準を満たしている場合には、読み取りが正常に行われたと判定する。反対に、解析結果が基準を満たしていない場合、判定部37は、読み取りが失敗であったと判定する。第1内容に対する基準は、プリント物Pの読み取りの良否を判断するために設定された閾値であり、具体的には、プリント物Pが正常に読み取られた場合の第1内容の標準値である。
なお、第1内容に対する基準の決め方については、特に限定されないが、プリント物Pの読み取りの良否を適切に判定する上で適当な値であることが好ましい。また、プリント物Pを読み取ることで得られる読取画像データと、そのプリント物Pの読み取りの良否を示すラベルデータとを含む学習データを用いて機械学習を実施してもよい。その場合には、学習結果に基づいて上記の基準を設定することができる。
【0065】
また、判定部37は、第2解析部35による第2内容の解析結果に基づいて、撮影画像の撮影の良否、換言すると、ユーザがプリント物Pにプリントされた画像の撮影に失敗したか否かを判定する。具体的には、判定部37は、第2内容の解析結果と、第2内容に対する基準とを対比し、解析結果が基準を満たしている場合には、撮影が正常に行われたと判定する。反対に、解析結果が基準を満たしていない場合、判定部37は、撮影が失敗であったと判定する。第2内容に対する基準は、画像撮影の良否を判断するために設定された閾値であり、具体的には、撮影画像が正常に撮影された場合の第2内容の標準値である。
【0066】
なお、第2内容に対する基準の決め方については、特に限定されないが、撮影画像が正常に撮影されたか否かを適切に判定する上で適当な値であることが好ましい。また、プリント物Pの読取画像データのうち、プリント物Pに含まれる撮影画像の画像データと、その撮影画像が正常に撮影されたか否かを示すラベルデータとを含む学習データを用いて機械学習を実施してもよい。その場合には、学習結果に基づいて上記の基準を設定することができる。
また、第2内容に対する基準については、プリント物Pの作成に関する条件等に基づいて適宜変更してもよい。例えば、撮影画像を撮影する際に用いられたカメラ(撮影装置)の性能に応じて基準を設定してよい。また、プリント物Pを出力するプリンタの性能、特に色再現性に応じて基準を設定してもよい。
【0067】
(認識部)
認識部38は、第3特定部33により特定された存在領域P3、すなわち、プリント物Pにおける撮影画像Pc各部の特徴量を算出し、算出された特徴量に基づいて撮影画像の撮影シーン又は画像内の被写体を認識する。撮影シーンには、撮影画像が撮影された時間帯、場所、場面、撮影時に行われていたイベントの種類、風景画像であるか否か、及び、人物画像であるか否か等が含まれる。
なお、撮影シーン又は画像内の被写体を認識する技術としては、公知のシーン認識技術、被写体検出技術、及び被写体認識技術等が利用可能である。
【0068】
(補正部)
補正部25は、読取画像に対して画像補正を実行する。本実施形態において、補正部25は、読取画像を第1内容、第2内容又は第3内容の解析結果に応じて補正する。具体的に説明すると、第1内容の解析結果が基準を満たさない場合、補正部25は、第1内容の解析結果に応じた画像補正を読取画像に対して実行する。第1内容の解析結果に応じた画像補正には、明るさ補正、位置補正(トリミング)、ボケ補正、ブレ補正、ノイズ除去、及び台形補正等が含まれる。
【0069】
また、第2内容の解析結果が基準を満たさない場合、補正部25は、第2内容の解析結果に応じた画像補正を読取画像、詳しくは読取画像中の存在領域P3に対して実行する。第2内容の解析結果に応じた画像補正には、明るさ補正、色補正、ホワイトバランス補正、ボケ補正、ブレ補正、及びノイズ除去等が含まれる。色補正には、画像撮影時の光源に応じて色味を変更したり特定の色味を除去したりする色味補正、及び、画像の色合いを調整する色調補正等が含まれてもよい。また、画像内の被写体として人が含まれる画像に対する補正には、赤目補正、肌の色又は明るさに対する補正、顔の表情を修正する補正、及び、目が瞑った顔を目が開いた顔に修正する補正等が含まれてもよい。
【0070】
また、第3内容の解析により、撮影画像の画質について改善の可能性があることが判明した場合、補正部25は、第3内容の解析結果に応じた画像補正を読取画像、詳しくは読取画像における撮影画像の存在領域P3に対して実行する。第3内容の解析結果に応じた画像補正は、画質を向上させる補正であり、例えば、画像撮影時の光源に応じて色味を変更したり特定の色味を除去したりする色味補正等を含んでもよい。また、画像内に人が被写体として含まれる場合には、肌の色又は明るさに対する補正、例えば、光の影響で肌の一部が暗くなっている場合に、その部分を明るくする補正が含まれてもよい。
【0071】
補正部25により読取画像が補正されることにより、補正後の読取画像である補正画像が取得される。ただし、補正対象となる画像は、読取画像に限定されず、例えば、読取画像とは異なるサンプル画像でもよい。サンプル画像は、情報処理端末10に予め記憶された画像データに基づく画像でもよく、あるいは、情報処理端末10がネットワーク12経由で外部の機器から取得される画像データに基づく画像でもよい。サンプル画像に対して画像補正が実施された場合には、補正サンプル画像、すなわち補正後のサンプル画像が取得される。
【0072】
なお、取得された補正画像又は補正サンプル画像は、情報処理端末10の画面に表示可能であり、また、補正画像又は補正サンプル画像の画像データは、情報処理端末10のストレージ46に保存可能である。保存された補正画像又は補正サンプル画像の画像データは、再利用できてもよい。
【0073】
また、本実施形態において、補正部25は、読取画像を第1内容、第2内容又は第3内容の解析結果に応じて自動的に補正する。また、受付部23がユーザの補正用操作を受け付けた場合には、補正部25は、補正用操作に応じて読取画像を補正する。
さらに、補正部25は、第1内容又は第2内容の解析結果に応じて読取画像を補正することが困難である場合、例えば、読取画像(特に、プリント物Pにおける撮影画像の存在領域P3)を正常な画像に補正するのが難しい場合、読取画像の代わりにサンプル画像を補正する。具体的には、撮影画像の存在領域P3において明るさが極めて低い被写体が写っており、明るさ補正では、その被写体の明るさを正常値に修正できないとする。この場合、補正部25は、撮影画像と同じ種類の被写体が写ったサンプル画像を選定し、選定されたサンプル画像に対して明るさ補正を実施する。
【0074】
(学習部)
学習部26は、ユーザが利用(閲覧)する支援情報の傾向について機械学習を実施する。具体的に説明すると、例えば、ユーザが情報処理端末10を通じて支援情報(特に、後述の第4支援情報)を利用した場合、その利用履歴に関する情報が情報処理端末10の記憶部22に蓄積される。学習部26は、記憶部22に蓄積された履歴情報を用いて機械学習を実施する。これにより、ユーザによる支援情報の利用に関する学習結果が得られ、具体的には、ユーザがどのような支援情報を好んで利用(閲覧)するかを特定することができる。
【0075】
また、学習部26は、ユーザによる画像補正の傾向について機械学習を実施する。具体的に説明すると、ユーザが読取画像を補正するために補正用操作を行った場合、その実施履歴に関する情報が情報処理端末10の記憶部22に蓄積される。学習部26は、記憶部22に蓄積された履歴情報を用いて機械学習を実施する。これにより、ユーザによる補正用操作に関する学習結果が得られ、具体的には、ユーザがどのような画像補正を好んで実施するかを特定することができる。
【0076】
なお、上述の機械学習は、情報処理端末10の学習部26によって実施される場合に限定されず、情報処理端末10以外の他の装置、例えば、情報処理端末10と通信可能なサーバによって実施されてもよい。その場合、情報処理端末10は、上記の他の装置に対して機械学習の実施を要求し、実施された機械学習の結果を当該他の装置との通信を通じて利用することになる。
【0077】
(検索部)
検索部27は、解析部24の解析結果に応じた支援情報を検索する。具体的に説明すると、第1解析部34による第1内容の解析結果が第1内容に対する基準を満たしていないと判定部37が判定した場合、検索部27は、プリント物Pの読み取り方法に関する第1支援情報を検索する。第1支援情報は、プリント物の読み取り方法に関するアドバイスを含む情報であり、詳しくはそのアドバイスが掲載されたWebページの情報である。
【0078】
検索部27は、第1支援情報を検索する際に、第1内容の解析結果と対応する第1支援情報を検索する。詳しく説明すると、前述した複数の第1内容の各々と、第1支援情報であるWebページのURL(以下、第1支援情報のURLという)との対応関係が、テーブルデータとして記憶部22に予め記憶されている。検索部27は、そのテーブルデータを参照し、基準を満たしていない第1内容の解析結果と対応した第1支援情報のURLを特定する。例えば、読取画像のブレが基準を満たさなかった場合、検索部27は、画像読み取り時のブレに関する第1支援情報のURLを特定する。
なお、複数の第1内容には、読取画像におけるプリント物Pの存在領域P1を対象として解析可能な内容と、読取画像におけるプリント物Pの枠部分Pfの存在領域P2を対象として解析可能な内容と、を含む。これら以外にも、例えば、読取画像における撮影画像Pcの存在領域P3を対象として解析可能な内容が第1内容として含まれてもよい。
【0079】
また、検索部27は、第2解析部35による第2内容の解析結果が第2内容に対する基準を満たしていないと判定部37が判定した場合に、第2内容の解析結果に基づいて、撮影画像の撮影方法に関する第2支援情報を検索する。第2支援情報は、撮影画像の撮影方法に関するアドバイスを含む情報であり、詳しくは、そのアドバイスが掲載されたWebページの情報である。
【0080】
検索部27は、第2支援情報を検索する際に、第2内容の解析結果と対応する第2支援情報を検索する。詳しく説明すると、前述した複数の第2内容の各々と、第2支援情報であるWebページのURL(以下、第2支援情報のURLという)との対応関係が、テーブルデータとして記憶部22に予め記憶されている。検索部27は、そのテーブルデータを参照し、基準を満たしていない第2内容の解析結果と対応した第2支援情報のURLを特定する。例えば、読取画像の明るさが基準を満たさなかった場合、検索部27は、画像撮影時の明るさに関する第2支援情報のURLを特定する。
【0081】
また、本実施形態において、第2支援情報のURLを特定する際に、認識部38により認識された撮影画像の撮影シーン又は画像内の被写体を考慮してもよい。すなわち、検索部27は、第2内容の解析結果と対応した第2支援情報のうち、撮影画像の撮影シーン又は画像内の被写体に応じた第2支援情報について、そのURLを特定してもよい。例えば、撮影画像の被写体がペットである場合には、ペットの撮影に関する第2支援情報のURLを特定してもよい。
【0082】
また、第3解析部36が第3内容を解析した場合、検索部27は、第3内容の解析結果に基づいて、撮影画像の撮影方法又は補正方法に関する第3支援情報を検索する。第3支援情報は、撮影画像の画質を改善することができる撮影画像の撮影方法又は補正方法に関するアドバイスを含む情報であり、詳しくはそのアドバイスが掲載されたWebページの情報である。
【0083】
検索部27は、第3支援情報を検索する際に、第3内容の解析結果と対応する第3支援情報を検索する。詳しく説明すると、複数の第3内容の各々と、第3支援情報であるWebページのURL(以下、第3支援情報のURLという)との対応関係が、テーブルデータとして記憶部22に予め記憶されている。検索部27は、そのテーブルデータを参照し、それぞれの第3内容の解析結果と対応した第3支援情報のURLを特定する。例えば、検索部27は、撮影画像の画質を改善させる画像補正(具体的には、色補正等)に関する第3支援情報のURLを特定する。あるいは、検索部27は、撮影画像の画質を改善させる画像補正(具体的には、色補正等)に関する第3支援情報のURLを特定する。あるいは、検索部27は、画像をより良好に撮影するための撮影方法に関する第3支援情報のURLを特定する。
【0084】
また、読取画像のうち、プリント物Pにおける撮影画像の存在領域P3に対するユーザの補正用操作を受付部23が受け付けた場合、検索部27は、画像補正に関する第4支援情報を検索する。第4支援情報は、ユーザの補正用操作に応じた画像補正に関するアドバイスを含む情報であり、詳しくは、そのアドバイスが掲載されたWebページの情報である。
【0085】
検索部27は、第4支援情報を検索する際に、ユーザの補正用操作と対応する第4支援情報を検索する。詳しく説明すると、各種の補正内容と、第4支援情報であるWebページのURL(以下、第4支援情報のURLという)との対応関係が、テーブルデータとして記憶部22に予め記憶されている。検索部27は、そのテーブルデータを参照し、ユーザの補正用操作と対応した第4支援情報のURLを特定する。例えば、ユーザが補正用操作として位置調整用の操作を行った場合、検索部27は、位置調整用の補正に関する第4支援情報のURLを特定する。
【0086】
また、ユーザがこれまでに第4支援情報を複数回利用してきた場合、学習部26が、ユーザによる第4支援情報の利用履歴に基づいて機械学習を実施することがある。また、ユーザがこれまでに補正用操作を複数回行った場合、学習部26が、ユーザによる補正用操作の実施履歴に基づいて機械学習を実施することがある。そして、学習部26が機械学習を実施した場合に、検索部27は、上記の機械学習の学習結果に基づいて第4支援情報を検索してもよい。具体的には、ユーザが頻繁に利用する第4支援情報の傾向、又は、ユーザが頻繁に行う補正用操作の傾向に応じて、検索部27が第4支援情報のURLを特定してもよい。
【0087】
(取得部)
取得部28は、解析部24の解析結果に基づいて支援情報を取得する。支援情報を取得する態様としては、既存の情報を加工して支援情報を作成すること、既存の支援情報を外部の機器から入手すること(例えば、ネットワークを通じてダウンロードすること)、及び、ストレージ又はメモリに記憶された支援情報を読み出すこと等が含まれる。また、支援情報の所在又は発信源等に関する情報を入手することも、支援情報を取得する一態様に含まれ得る。
【0088】
本実施形態において、取得部28は、検索部27により検索された支援情報を、ネットワーク12を通じて情報提供サーバ14から取得する。具体的に説明すると、取得部28は、検索部27が解析部24の解析結果から特定したURLに基づいて情報提供サーバ14にアクセスし、そのURLに格納されたWebページの情報を情報提供サーバ14から受信する。
【0089】
本実施形態において、取得部28は、図4に示すように、第1取得部51、第2取得部52、第3取得部53及び第4取得部54を備えて構成されている。
(第1取得部)
第1取得部51は、第1解析部34による第1内容の解析結果に基づいて、第1支援情報を取得する。具体的には、第1取得部51は、検索部27が第1内容の解析結果から特定した第1支援情報のURLに基づいて情報提供サーバ14にアクセスし、第1支援情報であるWebページの情報を情報提供サーバ14から受信(ダウンロード)する。
【0090】
(第2取得部)
第2取得部52は、第2解析部35による第2内容の解析結果に基づいて、第2支援情報を取得する。具体的には、第2取得部52は、検索部27が第2内容の解析結果から特定した第2支援情報のURLに基づいて情報提供サーバ14にアクセスし、第2支援情報であるWebページの情報を情報提供サーバ14から受信(ダウンロード)する。
【0091】
(第3取得部)
第3取得部53は、第3解析部36による第3内容の解析結果に基づいて、第3支援情報を取得する。具体的には、第3取得部53は、検索部27が第3内容の解析結果から特定した第3支援情報のURLに基づいて情報提供サーバ14にアクセスし、第3支援情報であるWebページの情報を情報提供サーバ14から受信(ダウンロード)する。
【0092】
(第4取得部)
第4取得部54は、読取画像の所定領域(詳しくは、撮影画像の存在領域P3)に対するユーザの補正用操作を受付部23が受け付けた場合に、第4支援情報を取得する。具体的には、第4取得部54は、検索部27がユーザの補正用操作に応じて特定した第4支援情報のURLに基づいて情報提供サーバ14にアクセスし、第4支援情報であるWebページの情報を情報提供サーバ14から受信(ダウンロード)する。
【0093】
(提供部)
提供部29は、取得部28により取得された支援情報を、情報処理端末10の画面に表示することでユーザに提供する。具体的に説明すると、取得部28が第1支援情報、第2支援情報、又は第3支援情報を取得した場合、提供部29は、図5~7に示すように、取得された支援情報を表示する。これにより、ユーザは、取得された支援情報、詳しくは、すなわちアドバイスが掲載されたWebページを確認して利用することができる。
【0094】
また、取得部28が第1支援情報を複数取得する場合があり得る。例えば、2以上の第1内容のそれぞれについて、その解析結果が基準を満たしていなければ、取得部28は、第1内容毎に第1支援情報を取得することになる。この場合、複数の第1支援情報のそれぞれに対して優先度を設定し、優先度がより高い第1支援情報を優先的に提供してもよい。ここで、優先度は、解析結果が基準を満たしていない第1内容について、解析結果と基準との乖離(差分)の大きさに応じて設定されるとよい。この場合、乖離が大きいほど、優先度をより高く設定するとよい。
【0095】
同様に、2以上の第2内容のそれぞれについて、その解析結果が基準を満たしていない場合、取得部28が第2内容毎に第2支援情報を取得し、結果として、複数の第2支援情報が得られる。この場合、それぞれの第2支援情報に対して優先度を設定し、優先度がより高い第2支援情報を優先的に提供してもよい。優先度は、解析結果が基準を満たしていない第2内容について、解析結果と基準との乖離(差分)の大きさに応じて設定し、乖離が大きいほど、優先度をより高く設定するとよい。
【0096】
また、支援情報の提供に際して、提供部29は、図8に示すように、補正部25により第1内容、第2内容又は第3内容の解析結果に応じて補正された読取画像、すなわち補正画像を表示してもよい。また、第1内容又は第2内容の解析結果に応じて読取画像を補正することが困難である場合、補正部25により第1内容又は第2内容の解析結果に応じて補正されたサンプル画像、すなわち補正サンプル画像を補正画像の代わりに表示してもよい。
【0097】
また、提供部29は、画像補正の効果が視認され易くなるように、補正画像とともに補正前の読取画像を表示してもよい。この場合、補正前の読取画像は、ユーザにより補正可能な状態で表示されてもよい。すなわち、補正前の読取画像が表示される画面を通じて、ユーザによる補正用操作を受け付けることができてもよい。例えば、図8に示すように補正画像の表示画面に補正ボタンを設け、補正ボタンが押されることで、画面が図9に示す補正受付画面へ切り替わり、この画面を通じて、読取画像に対する補正用操作が行われてもよい。
【0098】
そして、補正画像を確認したユーザが、補正画像の補正とは異なる画像補正を読取画像に対して実施する目的で補正用操作を行った場合、提供部29は、図10に示すように、その補正用操作と対応した第4支援情報をユーザに提供する。具体例を挙げて説明すると、例えば、補正部25が、読取画像に対して、明るさを+3に設定する補正を行って補正画像を作成した場合に、ユーザが、読取画像に対して、明るさを変えずに位置調整(トリミング)のみを目的とした補正用操作を行ったとする。この場合、取得部28は、位置調整に関する第4支援情報を取得し、提供部29は、取得された第4支援情報をユーザに提供する。
【0099】
また、学習部26が、ユーザによる第4支援情報の利用履歴又は補正用操作の実施履歴に基づいて機械学習を実施した場合、検索部27が、機械学習の学習結果に基づいて第4支援情報を検索し、取得部28が、検索された第4支援情報を取得する。具体例を挙げて説明すると、ユーザが頻繁に位置調整の補正用操作を行う場合、取得部28は、位置調整に関する第4支援情報を取得し、提供部29は、取得された第4支援情報をユーザに提供する。また、このとき、提供部29は、第4支援情報と対応する補正(上記の例では、位置調整)が実施された読取画像、すなわち補正画像を併せて表示してもよい。
【0100】
<本発明の一つの実施形態に係る画像解析装置の動作例について>
次に、本実施形態における画像解析装置の動作例として、画像解析装置を構成する情報処理端末10による画像解析フローについて説明する。以下に説明する画像解析フローでは、本発明の画像解析方法が用いられる。つまり、以下に説明する画像解析フローにおける各ステップは、本発明の画像解析方法の構成要素に相当する。
なお、下記のフローは、あくまでも一例であり、本発明の趣旨を逸脱しない範囲において、フロー中の一部のステップを削除したり、フローに新たなステップを追加したり、フローにおける2つのステップの実行順序を入れ替えてもよい。
【0101】
本実施形態に係る画像解析フロー中の各ステップは、情報処理端末10が備えるプロセッサ41により、図11に示す手順にて実施される。つまり、画像解析フロー中の各工程において、プロセッサ41は、スキャンアプリを含む情報処理端末10に格納されたプログラムに従って、各工程と対応する処理を実行する。
【0102】
画像解析フローの開始に際して、ユーザは、撮影画像がプリントされたプリント物Pを取得する。具体的には、ユーザは、プリンタ付きカメラ16を用いて被写体を撮影し、その撮影画像をプリンタ付きカメラ16によってインスタントカラーフィルムに印画する。
【0103】
画像解析フローは、ユーザが情報処理端末10にてスキャンアプリを起動することで開始可能となる。画像解析フローでは、先ず、プロセッサ41が、情報処理端末10のカメラを制御してプリント物Pを読み取り、読取画像の画像データを取得する(S001)。
【0104】
次に、プロセッサ41は、読取画像データに基づいて、プリント物Pの読み取りに関する第1内容を解析する(S002)。より具体的に説明すると、プロセッサ41は、第1内容の解析にあたり、読取画像の中から、プリント物Pの存在領域P1、及びプリント物Pにおける枠部分Pfの存在領域P2を特定する。
【0105】
そして、プロセッサ41は、特定された存在領域P1及び存在領域P2を対象として第1内容を解析する。具体的には、読取画像中、枠部分Pfを含むプリント物Pの存在領域P1を対象として、枠部分Pfを含むプリント物P全体の領域におけるボケ又はブレの程度、明るさ、光源の映り込みの有無、及び読み取り範囲の適正度等を解析する。また、枠部分Pfを対象として、プリント物Pの読み取り時のブレの程度、明るさ、画像の部分的欠落の程度、及び画像内のノイズの量等を解析する。
【0106】
次に、プロセッサ41は、ステップS002での解析結果が第1内容に対する基準を満たしているか否かを判定する(S003)。解析結果が基準を満たしている場合には、ステップS005に移行する。
【0107】
他方、解析結果が基準を満たしていない場合、すなわち、ユーザがプリント物Pの読み取りを失敗した場合、プロセッサ41は、第1内容の解析結果に基づいて第1支援情報を取得し、取得した第1支援情報をユーザに提供する(S004)。より具体的に説明すると、プロセッサ41は、第1内容の解析結果と対応した第1支援情報を検索し、詳しくは、基準を満たしていない第1内容の解析結果と対応した第1支援情報のURLを特定する。そして、プロセッサ41は、特定したURLに格納された第1支援情報を、情報提供サーバ14から受信し、受信した第1支援情報を情報処理端末10の画面に表示させる。
【0108】
ステップS004にて提供される第1支援情報は、例えば、プリント物の読み取り方法に関するアドバイスが掲載されたWebページの情報である。ユーザは、第1支援情報であるWebページを閲覧し、プリント物の読み取り方法に関するアドバイス、特に解析結果が基準を満たさなかった第1内容に関する情報を入手することができる。これにより、ユーザは、次回以降にプリント物(厳密には、S001にて読み取ったものとは別のプリント物)を読み取る場合に、入手したアドバイスを参考にすることができる。
【0109】
一方、ステップS003からステップS005に移行した場合、プロセッサ41は、読取画像データに基づいて、撮影画像の撮影に関する第2内容を解析する。より具体的に説明すると、プロセッサ41は、第2内容の解析にあたり、読取画像の中から、プリント物Pにおける撮影画像Pcの存在領域P3を特定する。そして、プロセッサ41は、特定された存在領域P3を対象として第2内容を解析する。具体的には、撮影画像Pcにおけるボケ又はブレの程度、明るさ、撮影画像内の被写体の位置、被写体までの距離、及び画像内のノイズ量等を解析する。また、撮影画像内の被写体が人である場合、プロセッサ41は、人が目を瞑っているか否か、赤目の有無、及び顔の表情等を第2内容として解析してもよい。
【0110】
次に、プロセッサ41は、ステップS005での解析結果が第2内容に対する基準を満たしているか否かを判定する(S006)。解析結果が基準を満たしている場合には、ステップS011に移行する。
【0111】
他方、解析結果が基準を満たしていない場合、すなわち、ユーザが画像撮影を失敗した場合、プロセッサ41は、第2内容の解析結果に基づいて第2支援情報を取得し、取得した第2支援情報をユーザに提供する(S007)。より具体的に説明すると、プロセッサ41は、第2内容の解析結果と対応した第2支援情報を検索し、詳しくは、基準を満たしていない第2内容の解析結果と対応した第2支援情報のURLを特定する。そして、プロセッサ41は、特定したURLに格納された第2支援情報を、情報提供サーバ14から受信し、受信した第2支援情報を情報処理端末10の画面に表示させる。
【0112】
ステップS007にて提供される第2支援情報は、例えば、画像の撮影方法に関するアドバイスが掲載されたWebページの情報である。ユーザは、第2支援情報であるWebページを閲覧し、画像の撮影方法に関するアドバイス、特に解析結果が基準を満たさなかった第2内容に関する情報を入手することができる。これにより、ユーザは、次回以降に画像(厳密には、S001にて読み取ったプリント物Pに印画された画像とは異なる画像)を撮影する場合に、入手したアドバイスを参考にすることができる。
【0113】
画像解析フローにおいて、プロセッサ41は、撮影画像Pcの存在領域P3から、撮影画像の撮影シーン又は画像内の被写体を特定することができる。この場合、プロセッサ41は、特定された撮影シーン又は被写体に応じた第2支援情報を、ユーザに提供してもよい。このような構成であれば、ユーザは、ユーザが撮影した画像と同じ撮影シーンで画像を撮影する場合のアドバイス、又はユーザが撮影した画像と同じ被写体を撮影する場合のアドバイスを入手することができる。この結果、ユーザは、画像撮影の改善点をより把握しやすくなる。
【0114】
また、プロセッサ41は、第2支援情報を提供するに際して、第1内容又は第2内容のそれぞれの解析結果に応じて読取画像を補正して補正画像を取得し、その補正画像を情報処理端末10の画面に表示させる(S008)。このように補正画像が表示されることで、ユーザは、プリント物の読み取り又は撮影に失敗した場合の読取画像を補正して得られる補正画像を見て、画像補正の効果を確認することができる。
なお、第1内容又は第2内容の解析結果に応じて読取画像を補正することが困難である場合、プロセッサ41は、補正画像の代わりに、サンプル画像に対して画像補正を実施して得られる補正サンプル画像を情報処理端末10の画面に表示させる。
【0115】
また、プロセッサ41は、補正画像又は補正サンプル画像とともに、あるいは、補正画像又は補正サンプル画像とは別の画面にて補正前の読取画像を表示する。このとき、プロセッサ41は、補正前の読取画像を、ユーザにより補正可能な状態で表示する。すなわち、プロセッサ41は、補正前の読取画像が表示される画面(例えば、図9に示す画面)を通じて、ユーザによる補正用操作を受け付けることができる。
【0116】
そして、プロセッサ41が補正用操作を受け付けた場合(S009)、プロセッサ41は、画像補正に関する第4支援情報を取得し、取得した第4支援情報をユーザに提供する(S010)。より具体的に説明すると、プロセッサ41は、受け付けられた補正用操作と対応した第4支援情報のURLを特定する。そして、プロセッサ41は、特定したURLに格納された第4支援情報を、情報提供サーバ14から受信し、受信した第4支援情報を情報処理端末10の画面に表示させる。
【0117】
ステップS010にて提供される第4支援情報は、例えば、画像補正に関するアドバイスが掲載されたWebページの情報である。ユーザは、第4支援情報であるWebページを閲覧し、画像補正に関するアドバイスを入手することができる。これにより、ユーザは、以降に読取画像を補正する場合に、入手したアドバイスを参考にすることができる。
【0118】
画像解析フローにおいて、プロセッサ41は、ユーザの嗜好等を踏まえて第4支援情報を提供することができる。具体的には、プロセッサ41は、ユーザによる第4支援情報の利用履歴、又はユーザによる補正用操作の実施履歴に基づいて機械学習の学習結果を実施する。そして、プロセッサ41は、その機械学習の学習結果に基づいて第4支援情報を選定し、選定された第4支援情報をユーザに提供することができる。これにより、ユーザによる画像補正の傾向等を踏まえて選定された第4支援情報を、ユーザに提供することができる。
【0119】
一方、ステップS006からステップS011に移行した場合、プロセッサ41は、読取画像データに基づいて、撮影画像の画質に関する第3内容を解析する。より具体的に説明すると、プロセッサ41は、読取画像のうち、プリント物Pの撮影画像の存在領域P3を対象とし、画像補正又は撮影方法による画質改善の可能性を解析する。画像補正による画質改善の可能性は、撮影画像内の被写体の色味、被写体が人である場合には人の肌の色及び質感(シャープネス)、並びに、画像補正によって改善し得るその他の項目に基づいて特定できる。撮影方法による画質改善の可能性は、撮影画像各部の明るさ、及び撮影画像内の被写体の種類等に基づいて特定できる。
【0120】
第3内容の解析後、プロセッサ41は、第3内容の解析結果に基づいて、撮影画像の撮影方法又は補正方法に関する第3支援情報を取得し、取得した第3支援情報をユーザに提供する(S012)。より具体的に説明すると、プロセッサ41は、第3内容の解析結果と対応した第3支援情報のURLを特定し、特定したURLに格納された第3支援情報を、情報提供サーバ14から受信して情報処理端末10の画面に表示させる。
【0121】
ステップS012にて提供される第3支援情報は、例えば、撮影画像の画質を改善するための撮影方法又は画像の補正方法に関するアドバイスが掲載されたWebページの情報である。ユーザは、第3支援情報であるWebページを閲覧し、画質改善に関するアドバイスを入手することができる。これにより、ユーザは、以降の画像撮影、又は撮影画像を補正する場面において、入手したアドバイスを参考にすることができる。
【0122】
また、プロセッサ41は、第3支援情報を提供する際、読取画像を第3内容の解析結果(厳密には、画像補正に関する解析結果)に応じて補正し、その補正画像を情報処理端末10の画面に表示してもよい。これにより、ユーザは、第3内容の解析結果に応じた補正した場合の読取画像、すなわち補正画像を見て、画像補正の効果を確認することができる。
【0123】
以上までに説明してきた一連のステップが終了することで、画像解析フローが終了する。また、画像解析フローは、ユーザが情報処理端末10のスキャンアプリを起動してプリント物Pを読み取る度に実施される。ただし、これに限定されず、プリント物Pを読み取った場合に、画像解析フローの実施の要否についてユーザの意向を問合せ、ユーザが画像解析フローの実施を要求した場合に限り、画像解析フローを実施してもよい。
【0124】
<本実施形態の有効性について>
本実施形態では、上述の通り、撮影画像がプリントされたプリント物Pを読み取り、その読取画像データに基づいて、プリント物Pの読み取りに関する第1内容を解析する。そして、第1内容の解析結果から、プリント物Pの読み取りの良否を判定し、ユーザがプリント物Pの読み取りが失敗した場合には、プリント物の読み取り方法に関する第1支援情報を取得してユーザに提供する。これにより、ユーザは、それ以降に新たなプリント物を読み取る際に、第1支援情報を参考にすることができ、以降のプリント物の読み取りにおいて同じ失敗を繰り返すのを抑えることができる。
【0125】
また、本実施形態では、上記の読取画像データに基づいて、プリント物Pにプリントされた画像の撮影に関する第2内容を解析する。そして、第2内容の解析結果から、画像撮影の良否を判定し、ユーザが撮影に失敗した場合には、画像の撮影方法に関する第2支援情報を取得してユーザに提供する。これにより、ユーザは、それ以降に画像を撮影する際に、第2支援情報を参考にすることができ、以降の画像撮影において同じ失敗を繰り返すのを抑えることができる。
【0126】
また、本実施形態では、第1内容又は第2内容の解析結果に応じて読取画像を補正して補正画像を取得し、その補正画像を情報処理端末10の画面に表示させる。これにより、ユーザは、例えば、プリント物の読み取り又は撮影に失敗した場合の読取画像を補正して得られる補正画像を見て、画像補正の効果を確認することができる。
【0127】
また、本実施形態では、上記の読取画像データに基づいて、撮影画像の画質に関する第3内容を解析し、画質を改善できる可能性の有無を判定する。そして、画質を改善できる可能性がある場合には、画像の撮影方法又は補正方法に関する第3支援情報を取得してユーザに提供する。これにより、ユーザは、プリント物の読み取り及び画像の撮影に成功した場合に、第3支援情報を参考にして、撮影画像の画質をさらに良くすることができる。また、ユーザは、画像撮影に関する第3支援情報を参考にすることで、次回以降の画像撮影をより好適な方法にて行うことができる。
【0128】
また、本実施形態では、第1、第2及び第3支援情報として、プリント物の読み取り方法又は画像撮影方法に関するアドバイスが掲載されたWebページの情報を提供する。このように既存の情報であるWebページを活用することにより、第1、第2及び第3支援情報を効率よくユーザに提供することができる。
【0129】
上記の効果について具体的に説明すると、従来、画像撮影等に関するアドバイス、又はアドバイスが掲載されたWebページのURL等の情報が、カメラ(例えば、プリンタ付きカメラ16)の取扱説明書又は冊子に記載されていた。ただし、取扱説明書又は冊子の中から、ユーザにとって有用な情報を見つけ出すのは困難である。より詳しくは、ユーザは、プリント物の読み取り又は画像撮影に失敗したとしても、自分で失敗原因を特定することが難しい。さらに、ユーザは、取扱説明書又は冊子の中から、失敗を是正するための情報を見つけることが困難である。
【0130】
これに対して、本実施形態において、ユーザがプリント物の読み取り又は画像撮影に失敗した場合に、その原因を容易に認識することができる。また、ユーザは、失敗を是正するための支援情報、又は、撮影画像の画質を改善するための支援情報をより容易に入手することができる。
【0131】
また、本実施形態では、ユーザが読取画像を補正するために補正用操作を行った場合、画像補正に関する情報として、ユーザの補正用操作に応じた第4支援情報を取得してユーザに提供する。これにより、ユーザは、自分が行った画像補正に関するアドバイスを入手し、以降の画像補正において、そのアドバイスを参考にすることができる。
【0132】
<その他の実施形態>
以上までに説明してきた実施形態は、本発明の一つの実施形態に係る画像解析装置、画像解析方法、プログラム及び記録媒体について分かり易く説明するために挙げた具体例であり、あくまでも一例に過ぎず、その他の実施形態も考えられる。
【0133】
上記の実施形態では、第1~第4支援情報のそれぞれが、ネットワーク経由で取得される情報であることとしたが、これに限定されない。例えば、第1~第4支援情報が、情報処理端末10にデータベースとして蓄積されてもよい。この場合、上記のデータベースから、解析部24による解析結果に応じて取得(詳しくは、抽出)される支援情報をユーザに提供してもよい。
また、支援情報のデータベースは、情報処理端末10ではなく、クラウドサービス用のサーバに構築されてもよい。この場合、情報処理端末10からなる画像解析装置は、上記のサーバにアクセスし、解析部24による解析結果に応じて抽出される支援情報を読み出して取得(ダウンロード)し、取得した支援情報をユーザに提供するとよい。
また、スキャンアプリを情報処理端末10にインストールした際に、第1~第4支援情報を含むスキャンアプリの利用マニュアルが情報処理端末10に保存されてもよい。この場合、上記のマニュアルから、解析部24による解析結果に応じて取得される支援情報をユーザに提供してもよい。
【0134】
また、上記の実施形態では、読取画像の画像データに基づいて、プリント物の読み取りに関する第1内容を解析することとした。そして、第1内容の解析結果が第1内容に対する基準を満たす場合、その後のステップで、撮影画像の撮影に関する第2内容を解析することとした。そして、第2内容の解析結果が第2内容に対する基準を満たす場合、その後のステップで、撮影画像の画質に関する第3内容を解析することとした。ただし、第1内容、第2内容、及び第3内容を解析する順番及び手順等については、特に限定されず、例えば、第2内容を先に解析し、その後に、第1内容及び第3内容を解析してもよい。また、第1内容、第2内容及び第3内容の解析を並行して実施してもよい。
【0135】
また、上記の実施形態では、第1支援情報が、プリント物の読み取り方法に関するアドバイスが掲載されたWebページの情報であることとした。ただし、これに限定されず、例えば、第1支援情報は、プリント物の読み取り方法に関する支援情報の提供元に接続するための符号情報、詳しくは、上記のWebページを表示させるためのURLを含んでもよい。あるいは、第1支援情報が、プリント物の再読み取りを促す情報を含んでもよい。
また、上記の実施形態では、第2支援情報が、撮影画像の撮影方法に関するアドバイスが掲載されたWebページの情報であることとした。ただし、これに限定されず、例えば、第2支援情報は、撮影画像の撮影方法に関する支援情報の提供元に接続するための符号情報、詳しくは、上記のWebページを表示させるためのURLを含んでもよい。あるいは、第2支援情報が、撮影画像の撮り直しを促す情報を含んでもよい。
【0136】
また、上記の実施形態では、撮影画像の撮影に関する第2内容を解析し、その解析結果に基づいて、画像撮影方法に関する第2支援情報を取得することとした。ただし、これに限定されるものではなく、撮影画像の撮影に関する第2内容の解析結果に基づいて、第1支援情報を取得してもよい。具体的に説明すると、例えば、読取画像中の撮影画像Pc(つまり、存在領域P3)における部分的欠落の程度、光源の映り込みの有無、及び、撮影画像Pcの歪みの度合いを第2内容として解析してもよい。そして、これらの解析結果に基づいて、プリント物Pの撮影画像Pcを良好に読み取るための情報を取得するとよい。このような手順によれば、第2内容の解析結果に基づいて、プリント物の読み取り方法に関する第1支援情報として取得することができる。
【0137】
また、上記の実施形態では、第1内容の解析結果に基づいて第1支援情報を取得し、第2内容の解析結果に基づいて第2支援情報を取得することとした。ただし、これに限定されず、第1支援情報及び第2支援情報のそれぞれを、第1内容及び第2内容の双方の解析結果に基づいて取得してもよい。
具体的に説明すると、読取画像中、枠部分Pfを含むプリント物Pの存在領域P1を対象として、枠部分Pfを含むプリント物P全体の領域におけるブレの程度を第1内容として解析する。また、読取画像中、撮影画像Pcの存在領域P3を対象として、撮影画像Pcにおけるブレの程度を第2内容として解析する。その後、第1内容及び第2内容のそれぞれの解析結果を比較して、ブレの原因が、プリント物Pの読み取り、又は撮影画像Pcの撮影のいずれであるかを判定する。かかる判定結果に基づいて、第1支援情報又は第2支援情報のいずれかを取得すればよい。具体的には、第1内容として解析されたボケの程度と、第2内容として解析されたボケの程度が同じ度合いであれば、第1支援情報を取得すればよい。他方、第1内容として解析されたボケの程度が小さく、第2内容として解析されたボケの程度が大きければ、第2支援情報を取得すればよい。
【0138】
また、第1支援情報及び第2支援情報は、読取画像の利用に関する支援情報である一方で、上述した情報以外の情報であってもよい。つまり、第1支援情報及び第2支援情報は、プリント物の読み取り方法及び撮影画像の撮影方法のいずれとも異なる項目に関する支援情報、例えば、プリント物の作成方法に関する情報であってもよい。
具体的に説明すると、例えば、読取画像における撮影画像Pcの存在領域P3及び枠部分Pfの存在領域P2に基づき、撮影画像Pcの色味について、枠部分Pfの色(具体的には、白、黒又は青等)に対するバランスを第1内容として解析する。このような第1内容の解析結果に基づいて、撮影画像Pcの色味に応じた最適な枠部分Pfの色、換言すると、プリント物の作成に用いられるフィルムの色(種類)として最適なものを提案する。例えば、撮影画像Pcが明るめの色味で撮影された場合には、枠部分Pfが暗めの色であるフィルムを提案する。以上のように、撮影画像の撮影に関する第1内容の解析結果に基づいて、プリント物の作成(詳しくは、フィルムの選定方法)に関する情報を第2支援情報として取得してもよい。
【0139】
また、上記の実施形態では、支援情報が、画像解析装置を構成する情報処理端末10の画面に表示されることでユーザに提供されることとしたが、支援情報をユーザに提供する方式については、特に限定されない。例えば、支援情報を示すメールをユーザ宛に送信する方式、支援情報を表す音声を再生する方式、あるいは、SNSアカウントを有するユーザに対してはSNSでの投稿又はメッセージ交換等のSNS上のサービスを利用する方式によって支援情報を提供してもよい。また、支援情報を表示させる画面は、スキャンアプリの起動時に表示される画面でもよいし、あるいは、情報処理端末10の初期画面(待ち受け画面)でもよい。
また、ユーザに支援情報を提供する方法には、支援情報自体を表示したり利用したりする方法に限定されず、情報処理端末10により取得された支援情報がある旨を通知する方法も含まれ得る。この場合の通知手段は、特に限定されないが、例えば、情報処理端末10の発光部を点滅させたり、情報処理端末10の画面に所定のアイコン又はオブジェクトを表示させたりしてもよい。
【0140】
また、支援情報の表示画面は、情報処理端末10自体に備わったディスプレイによって構成される画面でもよく、あるいは、情報処理端末10に有線又は無線形式で接続された表示器によって構成される画面でもよい。なお、情報処理端末10に接続された表示器には、一般的な据え置き型のディスプレイの他に、VRゴーグル等のHMD(Head Mounted Display)が含まれ得る。
【0141】
また、上記の実施形態では、プリンタ付きカメラによって撮影画像のプリント物を作成することとしたが、これに限定されるものではない。撮影画像のプリント物を作成する機器については、特に限定されず、カメラによって撮影された画像の画像データを取得し、その画像データが示す画像(撮影画像)を媒体に印画できるものであればよい。例えば、カメラとは別体をなすプリンタ、具体的には、ユーザの家に設定された家庭用プリンタ、あるいは、ユーザが店舗等に来店した際に利用可能な店舗設置型のプリンタによってプリント物を作成してもよい。
【0142】
また、上記の実施形態では、プリンタ付きカメラが、撮影画像のプリントまでのプロセスを光学的に行うプリンタ付きアナログカメラであることとしたが、これに限定されるものではない。プリンタ付きカメラは、撮影画像の取得に連動して、撮影画像の画像データ(デジタル画像データ)を生成するプリンタ付きデジタルカメラであってもよい。この場合、撮影画像の画像データに基づいて撮影画像をフィルムに印画してプリント物Pを作成してもよい。
また、上記のプリンタ付きデジタルカメラが、他のデジタルカメラにて撮影された画像の画像データを取得し、取得された画像データに基づき、その画像データが示す画像をフィルムに印画してプリント物Pを作成してもよい。
【0143】
また、上記の実施形態では、プリント物Pの読み取り、読取画像の解析、及び支援情報の表示のすべてを同一の装置、すなわち一台の情報処理端末10によって実施することとしたが、これに限定されるものではない。プリント物Pの読み取り、読取画像の解析、並びに、支援情報の取得及び提供(表示)のうちの一つを実施する装置と、残りの工程を実施する装置とが、互いに異なってもよい。
また、上記の実施形態では、画像解析装置を構成する情報処理端末10にて読取画像又はサンプル画像の補正を実施することとしたが、これに限定されるものではない。例えば、画像解析装置以外の他の装置、具体的には、情報処理端末10以外のPC又はサーバコンピュータ等が画像補正を実施してもよい。
【0144】
また、上記の実施形態では、本発明の画像解析装置の機能が、情報処理端末10に備わるプロセッサ41によって発揮されることとしたが、これに限定されない。本発明の画像解析装置が備えるプロセッサは、情報処理端末10と通信するサーバ等の他のコンピュータに備わってもよい。つまり、本発明の画像解析装置に設けられた上述の機能部の一部又は全部が、情報処理端末10と通信するサーバ等の他のコンピュータに備わってもよい。
【0145】
また、上記の実施形態では、本発明の一つの実施形態として、情報処理端末10によって構成される画像解析装置について説明した。ただし、これに限定されず、本発明の他の実施形態として、複数の装置によって構成される画像解析システムを用いるケースが考えられ得る。この画像解析システム(以下、画像解析システム100)は、図12に示すように、プリンタ付きカメラ16と読取装置102とデータ処理装置104とを有する。
【0146】
プリンタ付きカメラ16は、上述した装置と同様の装置であり、撮影画像がプリントされたプリント物Pを作成する。読取装置102は、スキャナ等のようにイメージセンサを備えた装置であり、プリント物Pを読み取って、読取画像の画像データ(読取画像データ)を取得する。データ処理装置104は、パーソナルコンピュータ又はサーバコンピュータ等によって構成され、第1解析処理、第1提供処理、第2解析処理、及び第2提供処理を実行する。第1解析処理は、上記の読取画像データに基づいて、プリント物Pに関する第1内容を解析する処理である。第1提供処理は、第1内容の解析結果に基づいて、プリント物Pの読み取り方法に関する第1支援情報を取得してユーザに提供する処理である。第2解析処理は、上記の読取画像データに基づいて、撮影画像の撮影に関する第2内容を解析する処理である。第2提供処理は、第2内容の解析結果に基づいて、撮影画像の撮影方法に関する第2支援情報を取得してユーザに提供する処理である。
【0147】
なお、データ処理装置104がサーバコンピュータによって構成される場合、ユーザは、カメラ付きのスマートデバイス又はスキャナ等によってプリント物Pを読み取り、その読取画像の画像データをサーバコンピュータにアップロードすればよい。そして、サーバコンピュータのプロセッサが、アップロードされた読取画像データを用いて、第1解析処理、第1提供処理、第2解析処理、及び第2提供処理を実行する。ユーザは、第1提供処理又は第2提供処理にて提供される支援情報をダウンロードし、その支援情報を情報処理端末の画面に表示させて確認することができる。
【0148】
本発明の画像解析装置が備えるプロセッサには、各種のプロセッサが含まれる。各種のプロセッサには、例えば、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUが含まれる。
また、各種のプロセッサには、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるPLD(Programmable Logic Device)が含まれる。
さらに、各種のプロセッサには、ASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0149】
また、本発明の画像解析装置が有する1つの処理部を、上述した各種のプロセッサのうちの1つによって構成してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、若しくは、FPGA及びCPUの組み合わせ等によって構成してもよい。
また、本発明の画像解析装置が有する複数の機能部を、各種のプロセッサのうちの1つによって構成してもよいし、複数の機能部のうちの2以上をまとめて1つのプロセッサによって構成してもよい。
また、上述の実施形態のように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の機能部として機能する形態でもよい。
【0150】
また、例えば、SoC(System on Chip)等に代表されるように、本発明の画像解析装置における複数の機能部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態でもよい。また、上述した各種のプロセッサのハードウェア的な構成は、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)でもよい。
【符号の説明】
【0151】
10 情報処理端末
12 ネットワーク
14 情報提供サーバ
16 プリンタ付きカメラ
21 読取部
22 記憶部
23 受付部
24 解析部
25 補正部
26 学習部
27 検索部
28 取得部
29 提供部
31 第1特定部
32 第2特定部
33 第3特定部
34 第1解析部
35 第2解析部
36 第3解析部
37 判定部
38 認識部
41 プロセッサ
42 メモリ
43 通信用インタフェース
44 入力機器
45 出力機器
46 ストレージ
47 撮像デバイス
51 第1取得部
52 第2取得部
53 第3取得部
54 第4取得部
100 画像解析システム
102 読取装置
104 データ処理装置
P プリント物
Pc 撮影画像
Pf 枠部分
P1,P2,P3 存在領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12