IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2024-121891画像処理装置、画像処理方法、プログラム、及び、記録媒体
<>
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図1
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図2
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図3
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図4
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図5A
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図5B
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図5C
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図5D
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図6
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図7
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図8
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図9
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図10
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図11
  • 特開-画像処理装置、画像処理方法、プログラム、及び、記録媒体 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024121891
(43)【公開日】2024-09-09
(54)【発明の名称】画像処理装置、画像処理方法、プログラム、及び、記録媒体
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240902BHJP
   G06T 7/12 20170101ALI20240902BHJP
   G06V 10/22 20220101ALI20240902BHJP
   H04N 23/63 20230101ALI20240902BHJP
   H04N 23/60 20230101ALI20240902BHJP
【FI】
G06T7/00 350B
G06T7/12
G06V10/22
H04N23/63 330
H04N23/60 500
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2023029108
(22)【出願日】2023-02-28
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【弁理士】
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】水上 裕之
【テーマコード(参考)】
5C122
5L096
【Fターム(参考)】
5C122DA04
5C122DA09
5C122EA06
5C122EA61
5C122FH02
5C122FH03
5C122FH10
5C122FH11
5C122FH14
5C122FK24
5C122FK29
5C122FK37
5C122FK41
5C122GA01
5C122GB00
5C122HA13
5C122HA35
5C122HA46
5C122HA48
5C122HB01
5C122HB05
5C122HB10
5L096CA02
5L096DA01
5L096FA06
5L096GA51
5L096HA13
(57)【要約】
【課題】 プリント物の撮影画像からプリント物に対応する画像をより適切に抽出するための画像処理装置、画像処理方法、プログラム、及び記録媒体を提供する。
【解決手段】プリント物に対応する画像を撮影画像から抽出する画像処理装置が、プロセッサを備え、プロセッサは、プリント物に関する機械学習によって構築された範囲推定モデルを撮影画像に適用することにより、撮影画像のうち、プリント物を含む第1範囲を推定する推定処理を実行する。
【選択図】図6
【特許請求の範囲】
【請求項1】
撮影画像から、プリント物に対応する画像を抽出する画像処理装置であって、
プロセッサを備え、
前記プロセッサは、前記プリント物に関する機械学習によって構築された範囲推定モデルを前記撮影画像に適用することにより、前記撮影画像のうち、前記プリント物を含む第1範囲を推定する推定処理を実行する、画像処理装置。
【請求項2】
前記推定処理において、前記プロセッサは、前記プリント物の外観に関する前記機械学習によって構築された前記範囲推定モデルを前記撮影画像に適用することにより、前記第1範囲を推定する、請求項1に記載の画像処理装置。
【請求項3】
前記外観は、前記プリント物のサイズ、形状、及び、前記プリント物が備えるプリント面の特徴のうちの少なくとも一つである、請求項2に記載の画像処理装置。
【請求項4】
前記プロセッサは、
前記第1範囲に基づいて、前記第1範囲を含み前記第1範囲より広い第2範囲を前記撮影画像において設定する設定処理と、
前記第2範囲内において、前記プリント物に対応する画像の特定領域を検出する検出処理と、を実行する、請求項1乃至3のいずれか一項に記載の画像処理装置。
【請求項5】
前記プロセッサは、前記検出処理にて検出された前記プリント物に対応する画像の前記特定領域を示すオブジェクトを、前記撮影画像に重畳させる、請求項4に記載の画像処理装置。
【請求項6】
前記プロセッサは、前記オブジェクトを前記撮影画像としてのライブビュー画像に重畳させる、請求項5に記載の画像処理装置。
【請求項7】
前記プロセッサは、ユーザの操作に基づいて、前記撮影画像から、前記プリント物に対応する画像を抽出する抽出処理を実行する、請求項5に記載の画像処理装置。
【請求項8】
前記プリント物に対応する画像は、前記プリント物に対応する画像の前記特定領域、又は前記オブジェクトによって規定される、請求項7に記載の画像処理装置。
【請求項9】
前記検出処理において、前記プロセッサは、
前記撮影画像に対してエッジ検出アルゴリズムを適用して、前記撮影画像内の第1エッジを検出する第1検出処理と、
前記第1エッジが一端であり、且つ、前記第1エッジから予め設定された画素数分離れた位置が他端である対象範囲を設定し、前記対象範囲において前記一端側にて前記第1エッジに沿って並ぶ複数の第1点と対応させて、前記対象範囲における複数の第2点を、前記第1点及び前記第2点の各々の色の情報に基づいて決定する決定処理と、
複数の前記第2点に基づいて第2エッジを検出する第2検出処理と、を実行し、
前記プロセッサは、検出された前記第2エッジに基づいて、前記撮影画像から、前記プリント物に対応する画像を抽出する抽出処理を実行する、請求項4に記載の画像処理装置。
【請求項10】
前記決定処理において、前記プロセッサは、
前記対象範囲内の対象点を前記第1点から前記他端に向かって一画素ずつずらしながら、前記第1点の画素と前記対象点の画素との色差を求める処理と、
前記色差が閾値以上となる前記対象点のうち、前記色差が最大となる前記対象点を前記第2点として決定する処理と、
を複数の前記第1点のそれぞれについて実行する、請求項9に記載の画像処理装置。
【請求項11】
前記決定処理において、前記プロセッサは、前記第1エッジ上で複数の前記第1点を決める、請求項9に記載の画像処理装置。
【請求項12】
前記第1検出処理において複数の前記第1エッジが検出された場合に、前記プロセッサは、複数の前記第1エッジのそれぞれについて、前記決定処理、及び、前記第2検出処理を前記第1エッジ毎に実行する、請求項9に記載の画像処理装置。
【請求項13】
前記プリント物のプリント面に、被プリント画像がプリントされたプリント領域と、前記プリント領域の周りに位置する枠領域とが含まれている場合に、前記予め設定された画素数は、前記枠領域の幅の長さに相当する画素数よりも小さい、請求項9に記載の画像処理装置。
【請求項14】
前記プロセッサは、前記撮影画像を画面に表示させる表示処理をさらに実行し、
前記表示処理の実行中において、前記プロセッサは、前記第2検出処理にて検出された前記第2エッジを示すオブジェクトを、前記撮影画像に重畳させる、請求項9に記載の画像処理装置。
【請求項15】
前記撮影画像において前記プリント物と隣接する位置に暗色領域が存在する場合に、前記プロセッサは、
前記第1検出処理では、前記暗色領域の画像のうち、前記プリント物とは反対側に位置する境界を前記第1エッジとして検出し、
前記決定処理では、前記暗色領域の画像を含む前記対象範囲内において、前記第1エッジ上に位置する複数の前記第1点と対応させて、複数の前記第2点を決定し、
前記第2検出処理では、複数の前記第2点に基づいて前記第2エッジを検出し、
前記抽出処理では、検出された前記第2エッジに基づいて、前記暗色領域の画像を除いた前記プリント物に対応する画像を、前記撮影画像から抽出する、請求項9に記載の画像処理装置。
【請求項16】
前記プリント物は、プリント面に被プリント画像がプリントされた媒体である、請求項9に記載の画像処理装置。
【請求項17】
撮影画像から、プリント物に対応する画像を抽出する画像処理方法であって、
プロセッサが、前記プリント物に関する機械学習によって構築された範囲推定モデルを前記撮影画像に適用することにより、前記撮影画像のうち、前記プリント物を含む第1範囲を推定するステップを含む、画像処理方法。
【請求項18】
前記プロセッサが、前記第1範囲に基づいて、前記第1範囲を含み前記第1範囲より広い第2範囲を前記撮影画像において設定するステップと、
前記プロセッサが、前記第2範囲内において、前記プリント物に対応する画像の特定領域を検出するステップと、を含む、請求項17に記載の画像処理方法。
【請求項19】
前記プリント物に対応する画像の前記特定領域を検出するステップでは、
前記プロセッサが、前記撮影画像に対してエッジ検出アルゴリズムを適用して、前記撮影画像内の第1エッジを検出し、
前記プロセッサが、前記第1エッジが一端であり、且つ、前記第1エッジから予め設定された画素数分離れた位置が他端である対象範囲を設定し、前記対象範囲において前記一端側にて前記第1エッジに沿って並ぶ複数の第1点と対応させて、前記対象範囲における複数の第2点を、前記第1点及び前記第2点の各々の色の情報に基づいて決定し、
前記プロセッサが、複数の前記第2点に基づいて第2エッジを検出するステップと、
前記プロセッサが、検出された前記第2エッジに基づいて、前記撮影画像から前記プリント物に対応する画像を抽出するステップと、を含む、請求項18に記載の画像処理方法。
【請求項20】
請求項17乃至19のいずれか一項に記載の画像処理方法に含まれるステップをコンピュータに実施させるためのプログラム。
【請求項21】
コンピュータが読み取り可能な記録媒体であって、
請求項17乃至19のいずれか一項に記載の画像処理方法に含まれるステップをコンピュータに実施させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一つの実施形態は、撮影画像からプリント物に対応する画像を抽出する画像処理装置に関する。
【背景技術】
【0002】
撮影画像の中から、予め定められた物体の画像を抽出し、抽出された画像をデータ化して保存し、その後、データ化された画像を利用することがある。撮影画像から抽出対象の画像を抽出する手法としては、エッジ検出法が一般的である。
【0003】
上記の画像抽出手法を利用する場面の一例としては、被プリント画像がプリントされたプリント物、例えば、写真プリントを撮影し、その撮影画像から写真プリントの画像を抽出するケースが挙げられる(例えば、特許文献1参照)。
特許文献1の技術では、写真プリントの撮影画像の中から、退色が発生していると想定される写真プリントの画像である写真プリント像の存在領域を抽出させる際に、エッジ検出法を適用する。そして、撮影画像の2値画像を生成し、その2値画像の縁に接するエッジを除去して残ったエッジを対象にして、撮影画像から写真プリント像の存在領域を抽出する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007-074579号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
撮影画像からプリント物に対応する画像を抽出する場合、抽出対象の画像をより正確に抽出すること、及び、当該画像をより効率よく抽出することが好ましい。そのためには、プリント物に対応する画像を抽出する際に、その画像のエッジについて誤検出を抑える等の対策を講じる必要がある。また、これまでの手法よりも検出精度が向上したエッジ検出法が求められている。
【0006】
本発明の一つの実施形態は、従来技術の問題点を解決し、撮影画像からプリント物に対応する画像をより適切に抽出するための画像処理装置、画像処理方法、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の画像処理装置は、撮影画像から、プリント物に対応する画像を抽出する画像処理装置であって、プロセッサを備え、プロセッサは、プリント物に関する機械学習によって構築された範囲推定モデルを撮影画像に適用することにより、撮影画像のうち、プリント物を含む第1範囲を推定する推定処理を実行することを特徴とする。
【0008】
また、推定処理において、プロセッサは、プリント物の外観に関する機械学習によって構築された範囲推定モデルを撮影画像に適用することにより、第1範囲を推定してもよい。
また、上記の外観は、プリント物のサイズ、形状、及び、プリント物が備えるプリント面の特徴のうちの少なくとも一つであってもよい。
また、プロセッサは、第1範囲に基づいて、第1範囲を含み第1範囲より広い第2範囲を撮影画像において設定する設定処理と、第2範囲内において、プリント物に対応する画像の特定領域を検出する検出処理と、を実行してもよい。
【0009】
また、プロセッサは、検出処理にて検出されたプリント物に対応する画像の特定領域を示すオブジェクトを、撮影画像に重畳させてもよい。
プロセッサは、オブジェクトを撮影画像としてのライブビュー画像に重畳させてもよい。
また、プロセッサは、ユーザの操作に基づいて、撮影画像から、プリント物に対応する画像を抽出する抽出処理を実行してもよい。
また、プリント物に対応する画像は、プリント物に対応する画像の特定領域、又はオブジェクトによって規定されてもよい。
【0010】
また、検出処理において、プロセッサは、第1検出処理と、決定処理と、第2検出処理と、を実行してもよい。第1検出処理では、撮影画像に対してエッジ検出アルゴリズムを適用して、撮影画像内の第1エッジを検出するとよい。決定処理では、第1エッジが一端であり、且つ、第1エッジから予め設定された画素数分離れた位置が他端である対象範囲を設定し、対象範囲において一端側にて第1エッジに沿って並ぶ複数の第1点と対応させて、対象範囲における複数の第2点を、第1点及び第2点の各々の色の情報に基づいて決定するとよい。第2検出処理では、複数の第2点に基づいて第2エッジを検出するとよい。また、上記の構成では、プロセッサは、検出された第2エッジに基づいて、撮影画像から、プリント物に対応する画像を抽出する抽出処理を実行してもよい。
【0011】
また、決定処理において、プロセッサは、対象範囲内の対象点を第1点から他端に向かって一画素ずつずらしながら、第1点の画素と対象点の画素との色差を求める処理と、色差が閾値以上となる対象点のうち、色差が最大となる対象点を第2点として決定する処理と、を複数の第1点のそれぞれについて実行してもよい。
また、決定処理において、プロセッサは、第1エッジ上で複数の第1点を決めてもよい。
また、第1検出処理において複数の第1エッジが検出された場合に、プロセッサは、複数の第1エッジのそれぞれについて、決定処理、及び、第2検出処理を第1エッジ毎に実行してもよい。
【0012】
また、プリント物のプリント面に、被プリント画像がプリントされたプリント領域と、プリント領域の周りに位置する枠領域とが含まれている場合に、予め設定された画素数は、枠領域の幅の長さに相当する画素数よりも小さくてもよい。
また、プロセッサは、撮影画像を画面に表示させる表示処理をさらに実行し、表示処理の実行中において、プロセッサは、第2検出処理にて検出された第2エッジを示すオブジェクトを、撮影画像に重畳させてもよい。
【0013】
また、撮影画像においてプリント物と隣接する位置に暗色領域が存在する場合に、プロセッサは、第1検出処理では、暗色領域の画像のうち、プリント物とは反対側に位置する境界を第1エッジとして検出するとよい。また、上記の場合に、プロセッサは、決定処理では、暗色領域の画像を含む対象範囲内において、第1エッジ上に位置する複数の第1点と対応させて、複数の第2点を決定するとよい。また、上記の場合に、プロセッサは、第2検出処理では、複数の第2点に基づいて第2エッジを検出するとよい。また、上記の場合に、プロセッサは、抽出処理では、検出された第2エッジに基づいて、暗色領域の画像を除いたプリント物に対応する画像を、撮影画像から抽出するとよい。
【0014】
また、プリント物は、プリント面に被プリント画像がプリントされた媒体であってもよい。
【0015】
また、本発明の一つの実施形態に係る画像処理方法は、撮影画像から、プリント物に対応する画像を抽出する画像処理方法であって、プロセッサが、プリント物に関する機械学習によって構築された範囲推定モデルを撮影画像に適用することにより、撮影画像のうち、プリント物を含む第1範囲を推定するステップを含むことを特徴とする。
【0016】
また、上記の画像処理方法は、プロセッサが、第1範囲に基づいて、第1範囲を含み第1範囲より広い第2範囲を撮影画像において設定するステップと、プロセッサが、第2範囲内において、プリント物に対応する画像の特定領域を検出するステップと、を含んでもよい。
【0017】
また、上記の画像処理方法において、プリント物に対応する画像の特定領域を検出するステップでは、プロセッサが、撮影画像に対してエッジ検出アルゴリズムを適用して、撮影画像内の第1エッジを検出してもよい。また、プロセッサが、第1エッジが一端であり、且つ、第1エッジから予め設定された画素数分離れた位置が他端である対象範囲を設定してもよい。また、プロセッサが、対象範囲において一端側にて第1エッジに沿って並ぶ複数の第1点と対応させて、対象範囲における複数の第2点を、第1点及び第2点の各々の色の情報に基づいて決定してもよい。この場合に、上記の画像処理方法は、プロセッサが、複数の第2点に基づいて第2エッジを検出するステップと、プロセッサが、検出された第2エッジに基づいて、撮影画像からプリント物に対応する画像を抽出するステップと、を含んでもよい。
【0018】
また、本発明の一つの実施形態に係るプログラムは、上述の画像処理方法に含まれるステップをコンピュータに実施させるためのプログラムである。
また、本発明の一つの実施形態に係る記録媒体は、コンピュータが読み取り可能な記録媒体であって、上述の画像処理方法に含まれるステップをコンピュータに実施させるためのプログラムが記録された記録媒体である。
【発明の効果】
【0019】
本発明の一つの実施形態によれば、撮影画像からプリント物に対応する画像を正確に抽出することができる。また、本発明の一つの実施形態によれば、撮影画像からプリント物に対応する画像を効率よく抽出することができる。
【図面の簡単な説明】
【0020】
図1】プリント物の一例を示す図である。
図2】本発明の一つの実施形態に係る画像処理装置を含む画像処理システムを示す図である。
図3】撮影画像、及び、プリント物に対応する画像を示す図である。
図4】本発明の一つの実施形態に係る画像処理装置のハードウェア構成を示す図である。
図5A】撮影画像からプリント物に対応する画像を抽出する流れを示す図である(その1)。
図5B】撮影画像からプリント物に対応する画像を抽出する流れを示す図である(その2)。
図5C】撮影画像からプリント物に対応する画像を抽出する流れを示す図である(その3)。
図5D】撮影画像からプリント物に対応する画像を抽出する流れを示す図である(その4)。
図6】本発明の一つの実施形態に係る画像処理装置の機能についての説明図である。
図7】検出処理の手順についての第1の説明図である。
図8】検出処理の手順についての第2の説明図である。
図9】検出処理の手順についての第3の説明図である。
図10】検出処理の手順についての第4の説明図である。
図11】本発明の一つの実施形態に係る画像処理フローを示す図である。
図12】検出処理の流れを示す図である。
【発明を実施するための形態】
【0021】
本発明の具体的な一つの実施形態について説明する。なお、以下では、説明上の便宜から、GUI(Graphic User Interface)の観点で説明する場合がある。ただし、その内容を実現するための基礎的なデータ処理技術(通信/伝送技術、データ取得技術、データ記録技術、データ加工/解析技術、画像処理技術、及び可視化技術等)は、公知の技術であるため、それに関する説明については省略することとする。
【0022】
また、本明細書において、「装置」という概念には、特定の機能を発揮する単一の装置が含まれるとともに、分散して互いに独立して存在しつつ協働(連携)して特定の機能を発揮する複数の装置の組み合わせも含まれることとする。
【0023】
また、本発明書において、「ユーザ」は、本発明の画像処理装置のユーザであり、具体的には、例えば、本発明の画像処理装置の機能を利用して後述のプリント物画像GPを取得する者である。
【0024】
また、本明細書において、「者」は、特定の行為を行う主体を意味し、個人、グループ、企業等の法人、及び団体等を含み、さらには人工知能(AI:Artificial Intelligence)を構成するコンピュータ及びデバイスも含み得る。人工知能は、推論、予測及び判断等の知的な機能をハードウェア資源及びソフトウェア資源を使って実現されるものである。人工知能のアルゴリズムは任意であり、例えば、エキスパートシステム、事例ベース推論(CBR:Case-Based Reasoning)、ベイジアンネットワーク又は包摂アーキテクチャ等である。
【0025】
<<本実施の具体的な実施形態についての概要>>
本発明の一つの実施形態(以下、本実施形態という)は、画像処理装置、画像処理方法、プログラム及び記録媒体に関する。より詳しく説明すると、本実施形態は、図1に示すプリント物Pを撮影して得られる撮影画像から、プリント物に対応する画像を抽出する技術である。
【0026】
プリント物Pは、被プリント画像がプリントされた感光性フィルムFである。本実施形態におけるプリントは、例えば、インスタント写真方式のプリントである。具体的には、感光性フィルムFに対して露光を行って潜像を形成し、フィルムの端部に設けられた現像液ポットを破ってポット内の現像液をフィルム表面に展開させることで、潜像を可視化した画像が形成される。なお、プリントの方式は、インスタント写真方式に限定されず、インクジェット方式、昇華型熱転写方式、あるいはトナーを用いた電子写真方式等であってもよい。
【0027】
感光性フィルムFは、一方の表面であるプリント面に被プリント画像がプリントされる媒体の一例であり、インスタントカラーフィルムとも呼ばれ、後述するプリンタ50専用のフィルムである。感光性フィルムFは、矩形の外形形状をなし、また、若干の厚みを有する。感光性フィルムFには複数の種類が存在し、フィルムの種類毎に、フィルムの外形形状、寸法及びサイズ、並びにプリント面の特徴が異なる。プリント面の特徴とは、プリント面の視覚的な特徴であり、例えば、枠領域Rの色(地色)、デザイン、絵柄及び模様等である。
なお、本実施形態において、感光性フィルムFの種類は、1種類のみであってもよい。また、感光性フィルムFの外形形状は、矩形に限定されず、円形又は楕円形、矩形以外の四角形、又は四角形以外の多角形であってもよい。
【0028】
プリント物Pのプリント面は、図1に示すように、被プリント画像がプリントされるプリント領域Mと、プリント領域Mを囲む枠領域Rとによって構成される。プリント領域Mは、プリント面の中央部に位置し、方形又は矩形の領域である。枠領域Rは、図1に示すように、四角枠状の領域であり、予め決められた幅を有する。枠領域Rの幅は、感光性フィルムFの外縁とプリント領域Mの端位置との間隔であり、プリント領域Mの端位置は、プリント領域Mと枠領域Rとの境界位置である。
【0029】
プリント物Pは、例えば、図2に示すプリンタ50によって作成される。プリンタ50は、その内部に未使用の感光性フィルムFを収容し、プリンタ内に設けられた不図示の露光ヘッド及び搬送機構が作動することで、感光性フィルムFの画像形成領域に画像(ポジ画像)をプリントする。
なお、プリンタ50は、その利用者が所有する機器に限定されず、店舗等にて利用可能な店舗設置型のプリンタでもよい。
【0030】
プリンタ50は、図2に示すように、制御装置52と無線方式又は有線方式にて接続されており、制御装置52による制御の下でプリント動作を実施する。具体的に説明すると、制御装置52は、プリント対象の画像(以下、被プリント画像という)を含むプリント要求をプリンタ50に向けて送信し、プリンタ50は、プリント要求を受信すると、プリント要求に係る被プリント画像を感光性フィルムFにプリントする。被プリント画像は、デジタルカメラ等によって撮影された画像でもよく、あるいは、画像作成ソフト等によって作成されたイラスト画像又はCG(Computer Graphic)画像でもよい。また、被プリント画像は、テキスト画像であってもよい。
【0031】
なお、制御装置52は、プリンタ50内に内蔵されてもよい。その場合、メモリカード等のような補助記憶装置又はデジタルカメラ等の撮影機器をプリンタ50に接続し、制御装置52が、プリンタ50に接続された装置又は機器から画像を読み出す。読み出された画像は、被プリント画像として、プリンタ50によって感光性フィルムFによってプリントされるとよい。また、制御装置52は、撮影機器に搭載されてもよい。また、制御装置52は、本実施形態に係る画像処理装置を構成するユーザ端末12であってもよい。
【0032】
プリント物Pを入手したユーザは、プリント物Pに対応する画像(詳しくは、デジタル画像データ)を得る目的で、デジタルカメラ、又はスマートデバイス等に搭載されたカメラ等によってプリント物Pを撮影する。プリント物Pに対応する画像とは、プリント物Pを撮影して得られる撮影画像のうち、プリント物Pが存在する領域の画像のことであり、以下では、説明の便宜上、「プリント物画像GP」と呼ぶこととする。
【0033】
撮影画像には、図3に示すように、プリント物P周辺の物及び背景等(以下、周辺画像ともいう)が映り込む。本実施形態では、図3に示すように、周辺画像の映り込みを回避してプリント物画像GPを取得することができる。換言すると、本実施形態によれば、撮影画像においてプリント物Pのエッジを検出し、エッジ内の画像、すなわちプリント物画像GPを抽出して取得(キャプチャ)することができる。取得されたプリント物Pの画像は、画像データとして保存され、以降、ユーザによって各種の用途に利用される。
【0034】
<<本発明の一つの実施形態に係る画像処理装置の構成について>>
本実施形態に係る画像処理装置(以下、画像処理装置10という)の構成例について説明する。画像処理装置10は、プリント物Pを撮影して得られる撮影画像のうち、周辺画像が除かれたプリント物画像GPを抽出する目的でユーザによって利用される。
【0035】
画像処理装置10は、プロセッサを有するコンピュータにより構成され、例えば、ユーザが所有する情報処理端末(以下、ユーザ端末12という)によって構成される。ユーザ端末12の具体例としては、PC(Personal Computer)、スマートフォン、タブレット型端末、及び、データ処理機能を備えたデジタルカメラ等が挙げられる。以下では、ユーザ端末12がスマートフォン及びタブレット型端末等のスマートデバイスであるケースを例に挙げて説明する。
【0036】
ユーザ端末12は、図4に示すように、プロセッサ12A、メモリ12B、通信用インタフェース12C等を備える。プロセッサ12Aは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、又はTPU(Tensor Processing Unit)等によって構成される。メモリ12Bは、例えば、ROM(Read Only Memory)及びRAM(Random Access Memory)等の半導体メモリによって構成される。通信用インタフェース12Cは、例えば、ネットワークインタフェースカード又は通信インタフェースボード等によって構成される。
【0037】
また、ユーザ端末12は、図4に示すように、入力機器12D、出力機器12E、及びストレージ12Gをさらに備える。入力機器12Dは、タッチパネル及びカーソルボタン等により構成され、ユーザの入力操作を受け付ける。ユーザの入力操作には、ユーザがプリント物画像GPを取得(キャプチャ)する際に行うキャプチャ操作が含まれる。出力機器12Eは、表示器としてのディスプレイを含む。
【0038】
また、入力機器12Dには、端末内蔵カメラ等の撮影機器12Fが含まれる。撮影機器12Fは、撮影レンズ及びイメージセンサ(撮像素子)等を有し、撮影画角内にある被写体からの光を受光し、その受光像を電気信号に変換し、電気信号をデジタルデータ化して画像データを生成する。
【0039】
本実施形態において、撮影機器12Fは、プリント物Pの撮影に利用される。具体的に説明すると、撮影機器12Fを起動させて、撮影画角内にプリント物Pを配置させると、撮影機器12Fがプリント物P及びその周辺を撮影する。これにより、プリント物Pの撮影画像、詳しくはライブビュー画像GLがディスプレイの画面に表示される。ライブビュー画像GLは、撮影機器12Fのイメージセンサからの出力信号に基づいて生成される撮影画像であり、撮影機器12Fによる撮影が行われている間のリアルタイム画像である。
【0040】
また、ライブビュー画像GLが表示されている間に、ユーザが上記のキャプチャ操作を行ったタイミングで、ユーザ端末12は、撮影機器12Fにより、プリント物画像GPをキャプチャする。ここで、プリント物画像GPをキャプチャするとは、撮影画像のうち、プリント物Pが存在する領域を抽出し、その領域の画像を撮影してプリント物画像GPとして取得することを意味する。
【0041】
ストレージ12Gには、プリント物画像GPを取得するために必要な各種の情報が記憶されている。プロセッサ12Aは、ストレージ12Gに記憶された各種の情報に自由にアクセス可能である。ストレージ12Gに記憶される情報の中には、後述の範囲推定モデルが含まれる。
なお、ストレージ12Gは、ユーザ端末12に内蔵又は外付けされてもよく、若しくはNAS(Network Attached Storage)等によって構成されてもよい。あるいは、ストレージ12Gが、ユーザ端末12とインターネット又はモバイル通信網を通じて通信可能な外部機器、例えばオンラインストレージでもよい。
【0042】
メモリ12Bには、プリント物画像GPを取得する画像処理用のプログラム(以下、画像処理プログラム)が格納されている。画像処理プログラムは、後に説明する画像処理フロー中の各工程(各ステップ)をプロセッサ12Aに実施させるためのアプリケーションプログラムである。画像処理プログラムは、コンピュータが読み取り可能な記録媒体から読み込むことで取得されてもよいし、インターネット又はイントラネット等の通信網を通じてダウンロードすることで取得されてもよい。
【0043】
また、画像処理装置10は、ASP(Application Service Provider)、SaaS(Software as a Service)、PaaS(Platform as a Service)、又はIaaS(Infrastructure as a Service)用のサーバコンピュータとユーザ端末12との協働によって構成されてもよい。この場合、ユーザがユーザ端末12を通じて必要な情報を入力すると、上記のサーバコンピュータが、入力情報に基づいて、プリント物画像GPの取得に係る一連の処理を実行する。この結果、ユーザは、プリント物画像GPを入手することができる。
【0044】
<<プリント物画像の取得手順>>
プリント物画像GPを取得(キャプチャ)する手順について、図5A~5Dを参照しながら説明することとする。
プリント物画像GPを取得するに際しては、先ず、対象となるプリント物Pをプリンタ50によって作成する。その後、図5Aに示すように、プリント物Pをユーザ端末12の撮影機器12Fにより撮影する。これにより、ユーザ端末12のディスプレイの画面には、プリント物Pの撮影画像、詳しくはライブビュー画像GLが表示される。
【0045】
上記のライブビュー画像GLが表示されている間には、ライブビュー画像GLのうち、プリント物Pを含む範囲(以下、第1範囲という)が推定される。第1範囲は、プリント物Pを囲む範囲として設定され、例えば、図5Bのケースでは、破線にて示される矩形状の範囲が第1範囲として設定されている。第1範囲の長辺及び短辺のそれぞれの方向は、ライブビュー画像GLの表示画面を規定する2つの軸(座標軸)によって規定される。具体的には、第1範囲の長辺が一方の座標軸と平行であり、第1範囲の短辺がもう一方の座標軸と平行である。
【0046】
第1範囲は、図5Bに示すように、プリント物Pの外縁が内接し、より詳しくはプリント物Pの角が第1範囲の輪郭線上に位置するように設定される。
なお、第1範囲の形状は、矩形に限定されず、例えば、矩形以外の四角形、四角形以外の多角形、円又は楕円であってもよい。
【0047】
その後、第1範囲に基づき、ライブビュー画像GLにおいて、プリント物Pを検出するための範囲(以下、第2範囲という)を設定する。第2範囲は、第1範囲よりも拡張された範囲であり、第1範囲の外縁から外側に所定の距離離れた位置に外縁を有する。つまり、第2範囲は、第1範囲よりも広く、且つ第2範囲を内部に含む範囲である。このように、第2範囲は、その範囲内にプリント物画像GPが高い確率で含まれるように設定される。これにより、プリント物画像GPのエッジを検出する際には、第2範囲内でより確実にプリント物画像GPのエッジを検出できるようになる。
【0048】
第2範囲は、第1範囲に応じた形状をなしており、図5Bのケースでは、一点鎖線にて示される矩形状の範囲が第2範囲として設定されている。第2範囲の長辺及び短辺は、第1範囲と同様、ライブビュー画像GLの表示画面を規定する2つの軸(座標軸)によって規定される。具体的には、第2範囲の長辺が一方の座標軸と平行であり、第2範囲の短辺がもう一方の座標軸と平行である。
なお、第2範囲の形状は、矩形に限定されず、例えば、矩形以外の四角形、四角形以外の多角形、円又は楕円であってもよい。また、第1範囲の輪郭線と第2範囲の輪郭線との間隔は、任意に決めることができる。
【0049】
その後、第2範囲に対して検出処理が適用され、第2範囲内でプリント物Pの画像の第1エッジが検出される。第1エッジは、公知のエッジ検出技術によって検出される通常のエッジである。本来の第1エッジは、撮影画像のうち、プリント物画像GPの特定領域に相当し、具体的には、プリント物画像GPの外縁の画像に相当する。
【0050】
一方、ライブビュー画像GL中、プリント物Pの外縁の一部と隣接する位置には、図5Bに示すように、撮影時の光源の位置等に起因して暗色領域Kが存在する場合がある。暗色領域Kとは、ライブビュー画像GLのうち、プリント物Pの枠領域Rに比べて明度が著しく低い領域であり、具体的には、プリント物Pの影が写った領域である。また、暗色領域Kには、明度のグラデーションが形成されており、例えば、プリント物Pの外縁に近づくほど暗くなっている。
【0051】
暗色領域Kが存在する場合、暗色領域Kの境界が、第1エッジとして検出される場合がある。特に、本実施形態のように、若干の厚みを有するプリント物Pを撮影する場合には、プリント物Pの周囲に影が発生しやすく、暗色領域Kの境界が第1エッジとして検出される可能性がある。ここで、暗色領域Kの境界とは、暗色領域Kの画像における、暗色領域Kより外側の領域の画像との境界である。暗色領域Kより外側の領域とは、プリント物Pが配置された机又は床等、すなわちプリント物Pの背景に相当する部分である。
【0052】
そのため、本実施形態では、暗色領域Kの境界がプリント物画像GPのエッジとして誤検出される事態を回避するための処理を実行する。具体的には、プリント物Pと隣接する位置に暗色領域Kが存在する場合、第1エッジよりもプリント物P側の位置にて第2エッジを検出する。第2エッジは、暗色領域Kではなく、真のプリント物Pの外縁に相当するエッジであり、プリント物Pと暗色領域Kとの境界(換言すると、プリント物画像GPの特定領域)に相当する。
【0053】
そして、第1エッジ、及び、第2エッジが検出された場合には第2エッジによって、プリント物画像GPのエッジが特定されると、図5Cに示すように、そのエッジを示すオブジェクトOJがライブビュー画像GLに重畳される。上記のオブジェクトOJは、プリント物Pの画像を囲む枠であり、詳しくは第1エッジ又は第2エッジに位置するライン画像である。このオブジェクトOJが表示されることで、ユーザは、ライブビュー画像GLにおけるプリント物Pの位置、サイズ及び形状等を確認することができる。
【0054】
なお、オブジェクトOJを表示する際の表示態様(例えば、表示色、点滅等のハイライト表示の有無、及び表示時間等)については、自由に設定してもよい。また、オブジェクトOJの種類は、プリント物Pの画像を囲む枠状のオブジェクトに限定されず、カーソル等の指示標識でもよく、あるいは、プリント物Pの画像の角を示すL字状の目印又はマーク等でもよい。
【0055】
その後、ユーザがキャプチャ操作を行って、キャプチャ操作が受け付けられると、これをトリガーとして、プリント物画像GPをその時点の撮影画像から抽出してキャプチャする。ここで、抽出対象となるプリント物画像GPは、プリント物画像GPのエッジ(第1エッジ又は第2エッジ)、又はオブジェクトOJによって規定され、具体的にはオブジェクトOJによって示されるエッジに囲まれている。
なお、プリント物画像GPのキャプチャは、ユーザのキャプチャ操作に基づいて実施される場合に限定されず、プリント物画像GPのエッジが検出された時点で自動的に実施されてもよい。
【0056】
キャプチャされたプリント物画像GPに対しては、幾何変換が適宜実施される。具体的に説明すると、キャプチャ時点でプリント物Pのプリント面が撮影方向に対して正面を向いていない場合には、キャプチャされたプリント物画像GPに対して台形補正が実施される。これにより、図5Dに示すように、プリント面が正面を向いた場合のプリント物画像GPを入手することができる。
【0057】
<<本発明の一つの実施形態に係る画像処理装置の機能>>
本実施形態に係る画像処理装置10の構成について、機能面から改めて説明することとする。画像処理装置10は、図6に示すように、撮影制御部21、推定部22、設定部23、検出部24、表示制御部25、抽出部26、補正部27、及び保存部28を有する。これらの機能部は、画像処理装置10を構成するユーザ端末12が備えるハードウェア機器と、前述の画像処理プログラムを含む各種プログラム(ソフトウェア)との協働により実現される。また、一部の機能は、人工知能(AI:Artificial Intelligence)によって実現されてもよい。以下、各機能部について説明する。
【0058】
(撮影制御部)
撮影制御部21は、ユーザ端末12の撮影機器12Fを制御して撮影画像を取得する撮影処理を実行する。撮影処理の実行時に、撮影画角内にプリント物Pが配置されている場合、撮影制御部21は、撮影処理の実行により、プリント物P及びその周辺が写った撮影画像、詳しくはライブビュー画像GLを取得する。
【0059】
(推定部)
推定部22は、推定処理を実行し、撮影制御部21により取得されたライブビュー画像GL(撮影画像)のうち、プリント物Pを含む第1範囲を推定する。推定処理では、範囲推定モデルをライブビュー画像GL(撮影画像)に対して適用することにより、第1範囲を推定する。範囲推定モデルは、プリント物Pに関する機械学習、より詳しくは、プリント物Pの外観に関する機械学習によって構築される。
【0060】
機械学習に用いられるプリント物Pの外観は、プリント物Pのサイズ、形状、及び、プリント物Pのプリント面の特徴のうちの少なくとも一つの項目である。機械学習は、様々な外観を有する複数のプリント物Pの各々の画像を学習データとして用いて実施される。機械学習により構築される範囲推定モデルによれば、ライブビュー画像GLに写るプリント物Pの外観に基づいて、そのプリント物Pを認識し、ライブビュー画像GLにおけるプリント物Pの位置、形状及びサイズを推定する。
【0061】
以上のように、本実施形態では、機械学習によって構築された範囲推定モデルを利用することにより、ライブビュー画像においてプリント物Pが存在する範囲としての第1範囲を適切に且つ精度よく推定することができる。
なお、機械学習の種類は問わず、教師あり学習、教師無し学習、及び強化学習のいずれであってもよい。また、機械学習のアルゴリズムについても、特に限定されず、誤差逆伝播法及び勾配降下法等のような公知のアルゴリズムが利用可能である。
【0062】
また、機械学習によって構築される範囲推定モデルは、任意の数理モデルであり、具体例としては、ニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、アテンション、トランスフォーマー、敵対的生成ネットワーク、ディープラーニングニューラルネットワーク等が挙げられる。それ以外にも、例えば、ボルツマンマシン、マトリクス・ファクトーリゼーション、ファクトーリゼーション・マシーン、エムウエイ・ファクトーリゼーション・マシーン、フィールド認識型ファクトーリゼーション・マシーン、フィールド認識型ニューラル・ファクトーリゼーション・マシーン、サポートベクタマシン、ベイジアンネットワーク、決定木、又はランダムフォレスト等が範囲推定モデルとして利用可能である。
【0063】
また、機械学習は、画像処理装置10によって実施されてもよい。その場合、範囲推定モデルがストレージ12G等に記憶されており、推定部22が推定処理の実行に際して、範囲推定モデルをストレージ12G等から読み出すとよい。あるいは、機械学習が、画像処理装置10とは異なる外部の装置(不図示)によって実施されてもよい。その場合、推定部22は、機械学習を実施した装置から範囲推定モデルを提供してもらうことで、同モデルを用いた推定処理を実行することができる。
【0064】
(設定部)
設定部23は、推定部22により推定された第1範囲に基づいて設定処理を実行する。設定処理では、第1範囲に基づき、第1範囲を含み且つ第1範囲よりも広い第2範囲をライブビュー画像GLにおいて設定する。このように設定処理では、第2範囲が、その範囲内にプリント物画像GPが高い確率で含まれるように設定される。すなわち、本実施形態では、後述の検出処理においてプリント物画像GPのエッジをより確実に検出することができるように、第2範囲を設定することができる。
【0065】
(検出部)
検出部24は、撮影処理にて取得されるライブビュー画像GLに対して検出処理を実行する。検出処理では、ライブビュー画像GLのうち、設定処理にて設定された第2範囲において、プリント物画像GPの特定領域であるエッジを検出する。ライブビュー画像GLにプリント物Pの全体が写っている場合には、プリント物Pの外縁がなす矩形の各辺、すなわち4辺のそれぞれがエッジとして検出されることになる。
【0066】
また、本実施形態の検出処理において、検出部24は、プリント物画像GPのうち、前述の暗色領域Kが存在する箇所のエッジとしては第2エッジを検出し、暗色領域Kが存在しない箇所のエッジとしては第1エッジを検出する。検出処理の具体的な手順等については、後の項で詳しく説明することとする。
【0067】
(表示制御部)
表示制御部25は、ユーザ端末12のディスプレイ(表示器)を制御して表示処理を実行する。表示処理では、ディスプレイの画面に、撮影処理によって取得されるライブビュー画像GLを表示させる。表示処理は、撮影処理が実行される期間中、撮影処理と同時に実行される。すなわち、プリント物Pが撮影されている間、プリント物Pを含むライブビュー画像GLが画面に表示される。
【0068】
また、表示制御部25は、表示処理の実行中、前述の検出処理にて検出されたエッジを示すオブジェクトOJを、ライブビュー画像GLに重畳させる(図5C参照)。この際、検出処理にて第2エッジを検出した場合には、検出された第2エッジを示すオブジェクトOJがライブビュー画像GLに重畳される。
【0069】
(抽出部)
抽出部26は、ユーザがキャプチャ操作(操作の一例)を行った場合に、その操作に基づいて抽出処理を実行する。抽出操作では、キャプチャ操作が行われた時点での撮影画像から、検出部24によって検出されたエッジ(換言すると、上述のオブジェクトOJが示すエッジ)によって規定される画像、すなわちプリント物画像GPを抽出してキャプチャする。検出部24が第2エッジを検出した場合の抽出処理では、検出された第2エッジに基づいて、撮影画像からプリント物画像GPを抽出する。
【0070】
(補正部)
補正部27は、抽出部26により抽出されたプリント物画像GPに対して補正処理を実行し、補正処理では、例えば台形補正を実施して、プリント物画像GPを、プリント物Pを正面視した場合の画像に補正する。
なお、台形補正については、台形補正に関する公知の画像処理技術が利用できるため、その具体的な手順に関する説明を省略することとする。
【0071】
(保存部)
保存部28は、保存処理を実行して、抽出部26により抽出されたプリント物画像GPをストレージ12G等に保存する。プリント物画像GPに対して補正部27が台形補正を実施した場合の保存処理では、台形補正後のプリント物画像GPを保存する。
【0072】
<<検出処理の手順について>>
上述の検出処理について、その手順を図7~10を参照しながら説明する。なお、図8及び9は、ライブビュー画像GLの一部の拡大図であり、具体的には、プリント物Pの外縁のうち、暗色領域Kと隣接する辺の周辺の画像を拡大して示している。
【0073】
検出処理では、第1検出処理、決定処理、及び第2検出処理がこの順で実行される。第1検出処理では、撮影画像に対してエッジ検出アルゴリズムを適用して、第2範囲内で、ライブビュー画像GL内の第1エッジを検出する。第1エッジは、公知のエッジ検出アルゴリズムを適用することによって検出される。
【0074】
具体的に説明すると、第1検出処理では、先ず、第2範囲の外縁から内側に向かって、第2範囲内における各画素の色の情報、具体的には各画素の階調値、濃度、明度、又は色空間の座標値等を特定する。そして、隣り合う2つの画素の間で色の情報が大きく変化する場合、つまり画素間の色差が閾値以上となる場合、例えば、より内側の画素を第1エッジ上の画素として特定する。このような画素を順次検出することで第1エッジが検出される。
【0075】
第1検出処理では、ライブビュー画像GLのうち、プリント物画像GPのエッジ、つまり、プリント物Pの外縁の画像が、本来、第1エッジとして検出される。また、第1検出処理では、プリント物画像GPを囲む複数のエッジが検出され、具体的には、図7に示すように、プリント物Pの外縁がなす矩形の4辺と対応して、4つの第1エッジ(図7では、記号E1で表記)が検出される。
【0076】
一方、ライブビュー画像GL中、プリント物Pの外縁の一部と隣接する位置には、図7に示すように、プリント物Pの影の画像など、暗色領域Kが存在する場合がある。この場合、第1検出処理において、暗色領域Kの境界、すなわち暗色領域Kの画像のうち、プリント物Pとは反対側に位置する境界が第1エッジとして検出されることになる。このような第1エッジは、プリント物画像GPの本来のエッジではなく、正しいプリント物画像GPのエッジを検出する必要がある。そのため、本実施形態では、検出部24が、第1検出処理の実行後に、決定処理と第2検出処理とを実行する。
【0077】
また、本実施形態では、第1検出処理では複数の第1エッジが検出され、複数の第1エッジのそれぞれについて、決定処理及び第2検出処理が第1エッジ毎に実行される。より詳しく説明すると、第1検出処理では、プリント物Pの外縁がなす矩形の4辺と対応させて、4つの第1エッジが検出されるため、決定処理及び第2検出処理が4回ずつ繰り返し実行されることになる。
【0078】
決定処理では、先ず、第2範囲において対象範囲を設定する。対象範囲は、第1エッジが一端であり、且つ、第1エッジから予め設定された画素数分離れた位置が他端である範囲である。対象範囲の一端及び他端とは、第1エッジが直線状又は略直線状に延びている場合には、第1エッジと直交する方向における対象範囲の両端である。また、対象範囲の他端は、対象範囲の一端(すなわち、第1エッジ)から見てプリント物画像GP側に位置する端である。
【0079】
また、図8に示すように、対象範囲(図8中、破線にて囲む範囲)は、一定の幅を有する。対象範囲の幅は、対象範囲の一端から他端までの画素数によって規定され、かかる画素数(以下、画素数m:mは自然数)は、予め設定されている。より詳しくは、暗色領域Kが存在する箇所に対して設定される対象範囲については、図8に示すように対象範囲内に暗色領域Kが含まれるように画素数mが設定されている。
【0080】
また、画素数mは、プリント物Pの枠領域Rの幅の長さに相当する画素数よりも小さくなっている。このような設定により、例えば、プリント物Pの枠領域Rとプリント領域Mとの境界を第2エッジとして検出することを回避することができる。換言すると、第2エッジは、枠領域Rとプリント領域Mとの境界よりも外側で検出されることになる。
【0081】
また、画素数mは、枠領域Rの幅の長さに相当する画素数より小さい数値であればよく、任意に設定することができるが、例えば、プリント物Pを撮影する際の撮影機器12Fとプリント物Pとの距離(間隔)に応じて決められるとよい。例えば、画素数mは、15画素程度としてもよい。また、画素数mは、撮影機器12Fとプリント物Pとの距離が変わった場合に、これに連動して動的に変動してもよい。
【0082】
対象範囲が設定されると、次に、対象範囲において一端側にて第1エッジに沿って並ぶ複数の第1点を設定する。本実施形態では、図9に示すように、第1エッジ上で複数の第1点(図9では、黒丸ドットで表記)を決める。
なお、複数の第1点のそれぞれは、第1エッジ上で設定される場合に限定されず、第1エッジよりも対象範囲の他端側に近い位置で設定されてもよい。
【0083】
また、第1点の設定数、及び、隣り合う2つの第1点間の間隔(ピッチ)については、特に限定されないが、第2エッジを検出する上で好適な値であることが好ましい。
【0084】
次に、図9に示すように、設定された複数の第1点と対応させて、対象範囲における複数の第2点(図9では、白丸ドットで表記)を決定する。このとき、第2点は、当該第2点と対応する第1点及び当該第2点の各々の色の情報に基づいて決定される。色の情報とは、第1点及び第2点の各々が位置する画素の階調値、濃度、明度、又は色空間の座標値等であり、本実施形態では、RGB(Red Green Blue)3色の階調値である。なお、階調値は、RGB色空間で表現される値に限定されず、例えば、HSV(Hue, Saturation Chroma, Value Brightness)空間で表現される座標値でもよい。
【0085】
複数の第2点を決める手順について説明すると、複数の第1点のそれぞれに対して、計算処理と点決定処理とを実行する。計算処理では、対象範囲内の対象点を設定し、一つの第1点から、第1エッジと直交する方向に対象範囲の他端に向かって対象点を一画素ずつずらしながら、第1点の画素と対象点の画素との色差を求める。図10を参照しながら説明すると、第1点に相当する画素#1との色差を、#2の画素~#mの画素のそれぞれについて求める。
【0086】
点決定処理では、計算処理で求めた色差が閾値以上となる対象点があるか否かを判定する。そして、色差が閾値以上となる対象点がある場合には、そのうち、色差が最大とする対象点を第2点として決定する。
図10のケースでは、対象点が#k(kは2以上の自然数)の画素にあるとき、及び、対象点が#k+1の画素にあるときに、上記の色差が閾値以上となる。この場合、#k+1の画素について求めた色差が最大となり、#k+1の画素に位置する点(対象点)が第2点として決定される。
なお、上記の閾値は、第2点を決める上で適正な値に設定されるとよい。
【0087】
上記の手順にて第2点を決める手法の一例としては、MaxImageを生成する方法が挙げられる。MaxImageの生成手順について説明すると、先ず、ライブビュー画像GLを構成するRGB画像に対して、Bilateralフィルタリングを適用する。Bilateralフィルタリングが適用されたRGB画像は、グレー画像に変換される。また、Bilateralフィルタリングを適用されたRGB画像は、R画像、G画像、及びB画像のコンポーネント画像に分割される。さらに、Bilateralフィルタリングを適用されたRGB画像は、HSV空間での画像に変換されて、変換後の画像から、色相及び彩度のチャンネルが抽出され、チャンネル毎の画像が分離される。
【0088】
以上により、RGB画像について、6つの単一チャンネル画像、すなわち、グレー画像(Gray)、彩度画像(Saturation)、色相画像(Hue)、R画像(Red)、G画像(Green)、及びB画像(Blue)が得られる。そして、6つの単一チャンネル画像のそれぞれに対して、Median blur、Gaussian blur、及びCannyフィルタを適用する。その後、各単一チャンネル画像における各位置の画素の階調値から、各位置の画素について、下記の式(1)により、6つのチャンネル画像の中での最大階調値を特定し、その値を各位置の画素の階調値として設定する。
【数1】
式(1)
【0089】
そして、上記の要領で各位置の画素の階調値が設定されることで、MaxImageが生成される。そして、生成されたMaxImageを用い、第1エッジ上の複数の第1点のそれぞれについて、第1点を通って第1エッジと直交する仮想線上において、MaxImageの階調値が最大となる点を見つける。このようにして見つけられた点(画素)が、第2点として決められる。
【0090】
以上までの手順に従って決定処理が実行される。そして、対象範囲内に暗色領域Kが含まれている場合の決定処理では、その対象範囲内において、複数の第1点と対応する複数の第2点が決定される。具体的には、対象範囲内に含まれる暗色領域Kの境界に沿って複数の第2点が決められる。
【0091】
決定処理の実行後には、第2検出処理が実行され、第2検出処理では、決定された複数の第2点に基づいて第2エッジを検出する。詳しくは、OpenCV fitLineアルゴリズムを適用し、複数の第2点を通る線を決定し、決定された線を第2エッジとして検出する。
【0092】
以上のような手順により検出処理が実行されることで、プリント物画像GPに暗色領域Kの画像が隣接している場合には、両画像の境界に位置する第2エッジを検出することができる。これにより、プリント物画像GPのエッジが正確に検出される。この結果、その後の抽出処理では、検出された第2エッジに基づいて、暗色領域Kの画像を除いたプリント物画像GPを、撮影画像から抽出してキャプチャすることができる。
【0093】
<<本発明の一つの実施形態に係る画像処理装置の動作例>>
次に、本実施形態における画像処理装置10の動作例として、画像処理装置10を用いた画像処理フローについて説明する。以下に説明する画像処理フローでは、本発明の画像処理方法が用いられる。つまり、以下に説明する画像処理フローにおける各ステップは、本発明の画像処理方法の構成要素に相当する。
なお、下記のフローは、あくまでも一例であり、本実施形態の趣旨を逸脱しない範囲において、フロー中の一部のステップを削除したり、フローに新たなステップを追加したり、あるいは、フローにおける2つのステップの実行順序を入れ替えてもよい。
【0094】
本実施形態に係る画像処理フロー中の各ステップは、画像処理装置10を構成するユーザ端末12が備えるプロセッサ12Aにより、図11に示す順序で実施される。また、画像処理フロー中の各工程において、プロセッサ12Aは、画像処理プログラムに規定されたデータ処理のうち、各工程と対応する処理を実行する。
【0095】
画像処理フローが実施されるにあたり、ユーザは、プリンタ50によってプリント物Pを作成する。その後、ユーザは、ユーザ端末12を操作して画像処理プログラムを起動する。これにより、画像処理フローが開始される。
【0096】
画像処理フローでは、先ず、プロセッサ12Aが、ユーザ端末12の撮影機器12Fを制御して撮影画像を取得する撮影処理を実行する(S001)。この時点では、撮影機器12Fの撮影画角内にプリント物Pが配置されている。そのため、撮影処理では、プリント物P及びその周辺が撮影され、撮影画像としてのライブビュー画像GLが取得される。
【0097】
撮影処理が実行されている間、プロセッサ12Aは、推定処理(S002)、設定処理(S003)、検出処理(S004)、及び表示処理(S005)を繰り返し実行する。
【0098】
推定処理では、前述した範囲推定モデルをライブビュー画像GL(撮影画像)に対して適用することにより、ライブビュー画像GLのうち、プリント物Pを含む第1範囲を推定する(図5B参照)。すなわち、画像処理フローでは、プリント物Pに関する機械学習の学習結果を利用して、ライブビュー画像内においてプリント物Pが存在する範囲を精度よく推定することができる。
【0099】
設定処理では、設定処理にて推定された第1範囲に基づいて、第1範囲を含み且つ第1範囲よりも広い第2範囲をライブビュー画像GLにおいて設定する(図5B参照)。設定された第2範囲には、プリント物画像GPの全体が略確実に含まれる。
【0100】
検出処理では、第2範囲において、プリント物画像GPのエッジを検出する。ライブビュー画像GLにプリント物Pの全体が写っている場合、プリント物Pの外縁がなす矩形の各辺、すなわち4辺のそれぞれがエッジとして検出される。
【0101】
検出処理は、図12に示す流れに従って進行する。具体的に説明すると、検出処理では、先ず、第1検出処理が実行される(S021)。第1検出処理では、ライブビュー画像GL(撮影画像)に対して、公知のエッジ検出アルゴリズムを適用する。これにより、設定処理にて設定された第2範囲内で、第1エッジが検出される。特に、第2範囲にプリント物画像GPの全体が含まれている場合、プリント物Pの外縁がなす4辺と対応して、4つの第1エッジが検出される。
【0102】
第1検出処理の実行後には、決定処理(S022)及び第2検出処理(S023)が実行される。決定処理は、前述した要領で実行され、具体的には、第2範囲において、第1エッジを基準として設定範囲を設定し、設定範囲の一端側、例えば第1エッジ上で複数の第1点を設定する。そして、設定範囲内において、複数の第1点と対応する複数の第2点を決定する。複数の第2点のそれぞれは、対応する第1点と第2点との色差に基づいて決定される。
【0103】
第2検出処理では、決定処理にて決定された複数の第2点に基づいて、第2エッジを検出する。これにより、プリント物Pに隣接する位置に影のような暗色領域Kが存在し、暗色領域Kの境界が第1エッジとして検出された場合であっても、本来のプリント物画像GPのエッジとしての第2エッジを検出することができる。
【0104】
そして、決定処理及び第2検出処理は、第1検出処理にて検出された複数の第1エッジのそれぞれについて、第1エッジ毎に実行される(S024)。
なお、プリント物画像GPにおいて、暗色領域Kが存在しない箇所にある第1エッジについては、第2エッジが検出されず、その場合には、第1エッジがプリント物画像GPのエッジとなる。
【0105】
画像処理フローの説明に戻ると、表示処理では、ユーザ端末12の画面にライブビュー画像GLを表示する。また、表示処理では、検出処理において検出されたプリント物画像GPのエッジ(詳しくは、第2エッジ又は第1エッジ)を示すオブジェクトOJを、ライブビュー画像GLに重畳させて表示する。これにより、ユーザは、画面中のオブジェクトOJを見て、プリント物画像GPの位置、形状及びサイズを容易に確認することができる。また、ユーザは、オブジェクトOJの表示から、ライブビュー画像GLにおいてプリント物画像GPのエッジが検出されたことを把握することができる。
【0106】
そして、オブジェクトOJが画面に表示されている状態において、ユーザがユーザ端末12にてキャプチャ操作を行うと(S006)、プロセッサ12Aが、そのキャプチャ操作を受け付けて、抽出処理を実行する(S007)。抽出処理では、キャプチャ操作が行われた時点の撮影画像から、オブジェクトOJが示すエッジによって規定されたプリント物画像GPが抽出される。
【0107】
その後、プロセッサ12Aは、補正処理を実行し、補正処理では、抽出されたプリント物画像GPに対して台形補正を適宜実施する(S008)。なお、抽出されたプリント物画像GPが、プリント物Pを正面視した場合の画像である場合、換言すると、プリント物画像GPのエッジが正確な矩形である場合、補正処理の実行を省略してもよい。
そして、プロセッサ12Aは、抽出されたプリント物画像GP、又は、台形補正が実施されたプリント物画像GPをストレージ等に保存する(S009)。
【0108】
以上までに説明してきた一連のステップS001~009は、撮影が終了するまでの間、繰り返し実施される(S010)。そして、撮影が終了した時点で、画像処理フローが完了する。
【0109】
<<その他の実施形態>>
以上までに本発明について具体的な実施形態を説明したが、上述の実施形態は、本発明の理解を容易にするために挙げた一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱しない限りにおいて、以下に説明する実施形態から変更又は改良され得る。また、本発明には、その等価物が含まれる。さらに、本発明の実施形態には、上述の実施形態と下記の変形例のうちの一つ以上とを組み合わせた形態が含まれ得る。
【0110】
(第2点の決定方法)
上記の実施形態では、第2エッジを検出する手法の一つとして、MaxImageを作成して複数の第2点(グラデーションポイント)を決めて第2エッジを検出する方法について説明した。ただし、これに限定されず、一般的なエッジ検出方法、例えば、Sobelフィルタ又はCanny法等の公知のエッジ検出方法によって第2エッジを検出してもよい。
【0111】
(暗色領域について)
上記の実施形態では、プリント物Pの撮影画像において、プリント物Pの外縁と隣接する暗色領域Kとしての影の画像が存在する場合、影の画像が除かれたプリント物画像GPを抽出することとした。そのために、上記の実施形態では、第1エッジよりも内側の位置で第2エッジを検出し、検出された第2エッジを、影の画像とプリント物画像GPとの境界として取り扱うこととした。ただし、暗色領域Kは、影に限定されず、プリント物Pの枠領域Rの本来の明度(具体的には、感光性フィルムFのプリント面の地色)よりも暗い領域であってもよい。例えば、プリント物Pの外縁部において色褪せした箇所を暗色領域Kとしてもよい。
【0112】
(エッジの検出範囲について)
上記の実施形態では、撮影画像としてのライブビュー画像GLにおいて、プリント物が含まれる第1範囲を推定し、第1範囲を含み第1範囲よりも広い第2範囲を設定し、第2範囲において、プリント物画像GPのエッジを検出することとした。ただし、これに限定されるものではなく、第1範囲において、プリント物画像GPのエッジを検出してもよい。
【0113】
(プロセッサの種類について)
本発明の画像処理装置が備えるプロセッサには、各種のプロセッサが含まれる。各種のプロセッサには、例えば、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUが含まれる。
また、各種のプロセッサには、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるPLD(Programmable Logic Device)が含まれる。
さらに、各種のプロセッサには、ASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0114】
また、本発明の画像処理装置が有する1つの処理部を、上述した各種のプロセッサのうちの1つによって構成してもよい。あるいは、1つの処理部を、同種又は異種の2つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、若しくは、FPGA及びCPUの組み合わせ等によって構成してもよい。
また、本発明の画像処理装置が有する複数の機能部を、各種のプロセッサのうちの1つによって構成してもよいし、複数の機能部のうちの2以上をまとめて1つのプロセッサによって構成してもよい。
また、上述の実施形態のように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の機能部として機能する形態でもよい。
【0115】
また、例えば、SoC(System on Chip)等に代表されるように、本発明の画像処理装置における複数の機能部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態でもよい。また、上述した各種のプロセッサのハードウェア的な構成は、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)でもよい。
【符号の説明】
【0116】
10 画像処理装置
12 ユーザ端末
12A プロセッサ
12B メモリ
12C 通信用インタフェース
12D 入力機器
12E 出力機器
12F 撮影機器
12G ストレージ
21 撮影制御部
22 推定部
23 設定部
24 検出部
25 表示制御部
26 抽出部
27 補正部
28 保存部
50 プリンタ
52 制御装置
F 感光性フィルム
GP プリント物画像
K 暗色領域
GL ライブビュー画像
M プリント領域
OJ オブジェクト
P プリント物
R 枠領域
図1
図2
図3
図4
図5A
図5B
図5C
図5D
図6
図7
図8
図9
図10
図11
図12