(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-13
(45)【発行日】2023-12-21
(54)【発明の名称】画像補正装置、画像補正方法、プログラムおよび記録媒体
(51)【国際特許分類】
H04N 23/60 20230101AFI20231214BHJP
H04N 5/222 20060101ALI20231214BHJP
H04N 1/387 20060101ALI20231214BHJP
H04N 1/407 20060101ALI20231214BHJP
G06T 7/90 20170101ALI20231214BHJP
G06T 7/80 20170101ALI20231214BHJP
G06T 1/00 20060101ALI20231214BHJP
G06T 5/00 20060101ALI20231214BHJP
【FI】
H04N23/60
H04N5/222 300
H04N1/387 800
H04N1/407 780
G06T7/90 A
G06T7/80
G06T1/00 510
G06T5/00 725
(21)【出願番号】P 2022540031
(86)(22)【出願日】2021-05-21
(86)【国際出願番号】 JP2021019281
(87)【国際公開番号】W WO2022024516
(87)【国際公開日】2022-02-03
【審査請求日】2023-01-24
(31)【優先権主張番号】P 2020128244
(32)【優先日】2020-07-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】山崎 善朗
【審査官】村山 絢子
(56)【参考文献】
【文献】米国特許出願公開第2016/0088266(US,A1)
【文献】米国特許出願公開第2019/0124232(US,A1)
【文献】特開2012-238932(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/00
H04N 23/40-23/76
H04N 23/90-23/959
H04N 5/222-5/257
H04N 1/38-1/393
H04N 1/40-1/409
G06T 7/00-7/90
G06T 1/00
G06T 5/00
(57)【特許請求の範囲】
【請求項1】
撮影装置によって、補正用チャートが撮影された動画像を取得する第1取得工程と、
前記撮影装置によって、前記補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された前記動画像を連続的に取得する第2取得工程と、
前記動画像に含まれる複数のフレーム画像の中から、前記補正用チャートが写っている複数の補正用チャート画像および前記対象物が写っている複数の対象物画像を抽出する抽出工程と、
前記複数の補正用チャート画像に基づいて、前記複数の対象物画像の代表対象物画像を補正する補正パラメータを生成する生成工程と、
前記補正パラメータを用いて、前記代表対象物画像を補正する補正工程と、を含む、画像補正方法。
【請求項2】
前記動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、前記複数のフレーム画像の各々が、前記対象物画像なのか、あるいは前記補正用チャート画像なのかを判別する判別工程を含み、
前記判別工程の判別結果に基づいて、前記動画像に含まれる複数のフレーム画像から、前記複数の対象物画像および前記複数の補正用チャート画像を抽出する、請求項1に記載の画像補正方法。
【請求項3】
前記複数の補正用チャート画像に基づいて、前記撮影装置のレンズの収差による図形歪みを補正するレンズ収差補正パラメータを生成し、
前記レンズ収差補正パラメータを用いて、前記複数の補正用チャート画像の各々、および、前記複数の対象物画像の各々について、前記レンズの収差による図形歪みを補正する、請求項1または2に記載の画像補正方法。
【請求項4】
前記レンズの収差による図形歪みの補正後の前記複数の補正用チャート画像の代表補正用チャート画像上の複数の基準点に基づいて、撮影時のアオリによる図形歪みを補正するアオリ補正パラメータを生成し、
前記アオリ補正パラメータを用いて、前記レンズの収差による図形歪みの補正後の前記複数の対象物画像の各々について、前記アオリによる図形歪みを補正する、請求項3に記載の画像補正方法。
【請求項5】
前記補正用チャートは、濃度が異なる複数の無彩色パッチを含み、かつ、前記複数の無彩色パッチの各々について、同じ濃度の複数の濃度パッチが空間的に離散して配置されており、
前記代表補正用チャート画像から、前記複数の無彩色パッチに対応する複数の無彩色パッチ画像を抽出して、前記複数の無彩色パッチ画像の各々について、前記同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値を取得し、
前記複数の無彩色パッチ画像の各々について、前記同じ濃度の複数の濃度パッチの位置に対応する前記複数の濃度パッチ画像の位置の信号値に基づいて、前記代表補正用チャート画像の大きさの補間画像の各画素位置の信号値を補間によって算出することにより、前記複数の無彩色パッチ画像に対応する複数の前記補間画像を作成し、
前記複数の補間画像の各々について、全画素位置の信号値の平均値である空間平均値を算出し、
予め取得された前記複数の無彩色パッチの反射率と前記複数の補間画像の空間平均値との差がなくなるように階調補正を行う階調補正パラメータを生成し、
前記階調補正パラメータを用いて、前記複数の補間画像、前記代表補正用チャート画像、および前記アオリによる図形歪みの補正後の前記複数の対象物画像の前記代表対象物画像の階調補正を行う、請求項4に記載の画像補正方法。
【請求項6】
階調補正後の前記複数の補間画像に基づいて、シェーディング補正の前後において、階調補正後の前記複数の補間画像の空間平均値が変わらず、かつ、前記シェーディング補正後において、階調補正後の前記複数の補間画像の代表補間画像の2次元的な信号値の分布が平坦になるように補正する2次元的なシェーディング補正パラメータを作成し、
前記シェーディング補正パラメータを用いて、前記代表補正用チャート画像および前記代表対象物画像のシェーディング補正を行う、請求項5に記載の画像補正方法。
【請求項7】
前記補正用チャートは、色が異なる複数の有彩色パッチを含み、
前記代表補正用チャート画像から、前記複数の有彩色パッチに対応する複数の有彩色パッチ画像を抽出して、前記複数の有彩色パッチ画像の各々の信号値を取得し、
予め取得された前記複数の有彩色パッチの各々の信号値と、対応する前記複数の有彩色パッチ画像の各々の信号値との差がなくなるように色補正を行う色補正パラメータを生成し、
前記色補正パラメータを用いて、前記シェーディング補正後の前記代表対象物画像の色補正を行う、請求項6に記載の画像補正方法。
【請求項8】
前記動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側のフレーム画像から、前記複数の対象物画像を抽出する、請求項1ないし7のいずれか一項に記載の画像補正方法。
【請求項9】
前記動画像に含まれる複数のフレーム画像のうち、前記撮影状態が前記複数の対象物画像に最も近い側のフレーム画像から、前記複数の補正用チャート画像を抽出する、請求項8に記載の画像補正方法。
【請求項10】
前記補正用チャートの上に配置された前記対象物の動画像を撮影する、請求項1ないし9のいずれか一項に記載の画像補正方法。
【請求項11】
前記対象物は、外部エネルギーが加えられることにより、前記外部エネルギーに対応する濃度に発色する測定用シートである、請求項1ないし10のいずれか一項に記載の画像補正方法。
【請求項12】
プロセッサを備え、前記プロセッサが、
撮影装置によって、補正用チャートが撮影された動画像を取得し、
前記撮影装置によって、前記補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された前記動画像を連続的に取得し、
前記動画像に含まれる複数のフレーム画像の中から、前記補正用チャートが写っている複数の補正用チャート画像および前記対象物が写っている複数の対象物画像を抽出し、
前記複数の補正用チャート画像に基づいて、前記複数の対象物画像の代表対象物画像を補正する補正パラメータを生成し、
前記補正パラメータを用いて、前記代表対象物画像を補正する、画像補正装置。
【請求項13】
請求項1ないし11のいずれか一項に記載の画像補正方法の各々の工程をコンピュータに実行させるためのプログラム。
【請求項14】
請求項1ないし11のいずれか一項に記載の画像補正方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影装置によって対象物を撮影し、対象物が写っている対象物画像に画像補正を行って画像化する画像補正装置、画像補正方法、プログラムおよび記録媒体に関する。
【背景技術】
【0002】
カメラ等の撮影装置によって対象物を撮影して画像化(デジタルデータ化)する場合、例えば対象物を撮影する前または対象物を撮影した後に、図形の歪み、画像の明るさおよび色合い等の画像補正を行うための補正用チャートを撮影し、補正用チャートが写っている補正用チャート画像から補正パラメータを作成し、補正パラメータを用いて、対象物が写っている対象物画像を補正している。
【0003】
しかし、スキャナ等のように、撮影時の画角および照明状態等の撮影環境が一定に保たれる場合と違って、ユーザが、撮影装置を手に持って撮影する場合は特に、撮影時の画角および照明状態等の撮影環境を一定に保って補正用チャートおよび対象物を撮影することが困難である。そのため、画像補正が正しく行われた対象物画像を得ることが非常に難しいという問題があった。
【0004】
本発明の参考となる先行技術文献として、例えば特許文献1~3がある。
【0005】
特許文献1には、校正用画像を読み取った読取画像と、可搬型の通信端末の撮影装置によって撮影された校正用画像の撮影画像と、撮影画像の撮影条件と、を使用して、グレーバランス補正および色補正等の画像処理パラメータを生成し、画像処理パラメータを用いて、可搬型の通信端末の撮影装置によって撮影された被写体の撮影画像を補正する画像処理システムが記載されている。
【0006】
特許文献2には、各色の予め設定されたカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影し、撮影画像中の台座に記された多角形の頂点座標に基づき、多角形画像の各座標を出力座標系に射影変換し、出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得し、色補正パラメータを用いて、撮影画像の色補正および明るさ補正を行う撮影装置が記載されている。
【0007】
特許文献3には、撮像した画像の色、明るさ、又は形状の再現性を調節するキャリブレーション用テストチャートを表示し、表示されているキャリブレーション用テストチャートを撮像し、表示されているテストチャートの色、明るさ、又は形状に基づいて、撮像した画像に対する補正用パラメータを算出し、補正用パラメータを用いて、撮像した画像の色補正、明るさ補正および形状補正等の補正処理を実施する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【0008】
【文献】特開2016-171475号公報
【文献】特開2007-194794号公報
【文献】特開2004-007300号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、上記従来技術の問題点を解消し、どのような撮影環境であっても、対象物を高品質に画像補正して画像化することができる画像撮影装置、画像撮影方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明は、撮影装置によって、補正用チャートが撮影された動画像を取得する第1取得工程と、
撮影装置によって、補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された動画像を連続的に取得する第2取得工程と、
動画像に含まれる複数のフレーム画像の中から、補正用チャートが写っている複数の補正用チャート画像および対象物が写っている複数の対象物画像を抽出する抽出工程と、
複数の補正用チャート画像に基づいて、複数の対象物画像の代表対象物画像を補正する補正パラメータを生成する生成工程と、
補正パラメータを用いて、代表対象物画像を補正する補正工程と、を含む、画像補正方法を提供する。
【0011】
ここで、動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、複数のフレーム画像の各々が、対象物画像なのか、あるいは補正用チャート画像なのかを判別する判別工程を含み、
判別工程の判別結果に基づいて、動画像に含まれる複数のフレーム画像から、複数の対象物画像および複数の補正用チャート画像を抽出することが好ましい。
【0012】
また、複数の補正用チャート画像に基づいて、撮影装置のレンズの収差による図形歪みを補正するレンズ収差補正パラメータを生成し、
レンズ収差補正パラメータを用いて、複数の補正用チャート画像の各々、および、複数の対象物画像の各々について、レンズの収差による図形歪みを補正することが好ましい。
【0013】
また、レンズの収差による図形歪みの補正後の複数の補正用チャート画像の代表補正用チャート画像上の複数の基準点に基づいて、撮影時のアオリによる図形歪みを補正するアオリ補正パラメータを生成し、
アオリ補正パラメータを用いて、レンズの収差による図形歪みの補正後の複数の対象物画像の各々について、アオリによる図形歪みを補正することが好ましい。
【0014】
また、補正用チャートは、濃度が異なる複数の無彩色パッチを含み、かつ、複数の無彩色パッチの各々について、同じ濃度の複数の濃度パッチが空間的に離散して配置されており、
代表補正用チャート画像から、複数の無彩色パッチに対応する複数の無彩色パッチ画像を抽出して、複数の無彩色パッチ画像の各々について、同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値を取得し、
複数の無彩色パッチ画像の各々について、同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値に基づいて、代表補正用チャート画像の大きさの補間画像の各画素位置の信号値を補間によって算出することにより、複数の無彩色パッチ画像に対応する複数の補間画像を作成し、
複数の補間画像の各々について、全画素位置の信号値の平均値である空間平均値を算出し、
予め取得された複数の無彩色パッチの反射率と複数の補間画像の空間平均値との差がなくなるように階調補正を行う階調補正パラメータを生成し、
階調補正パラメータを用いて、複数の補間画像、代表補正用チャート画像、およびアオリによる図形歪みの補正後の複数の対象物画像の代表対象物画像の階調補正を行うことが好ましい。
【0015】
また、階調補正後の複数の補間画像に基づいて、シェーディング補正の前後において、階調補正後の複数の補間画像の空間平均値が変わらず、かつ、シェーディング補正後において、階調補正後の複数の補間画像の代表補間画像の2次元的な信号値の分布が平坦になるように補正する2次元的なシェーディング補正パラメータを作成し、
シェーディング補正パラメータを用いて、代表補正用チャート画像および代表対象物画像のシェーディング補正を行うことが好ましい。
【0016】
また、補正用チャートは、色が異なる複数の有彩色パッチを含み、
代表補正用チャート画像から、複数の有彩色パッチに対応する複数の有彩色パッチ画像を抽出して、複数の有彩色パッチ画像の各々の信号値を取得し、
予め取得された複数の有彩色パッチの各々の信号値と、対応する複数の有彩色パッチ画像の各々の信号値との差がなくなるように色補正を行う色補正パラメータを生成し、
色補正パラメータを用いて、シェーディング補正後の代表対象物画像の色補正を行うことが好ましい。
【0017】
また、動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側のフレーム画像から、複数の対象物画像を抽出することが好ましい。
【0018】
また、動画像に含まれる複数のフレーム画像のうち、撮影状態が複数の対象物画像に最も近い側のフレーム画像から、複数の補正用チャート画像を抽出することが好ましい。
【0019】
また、補正用チャートの上に配置された対象物の動画像を撮影することが好ましい。
【0020】
また、対象物は、外部エネルギーが加えられることにより、外部エネルギーに対応する濃度に発色する測定用シートであることが好ましい。
【0021】
また、本発明は、プロセッサを備え、プロセッサが、
撮影装置によって、補正用チャートが撮影された動画像を取得し、
撮影装置によって、補正用チャートが撮影される前後の少なくとも一方において、シート状の対象物が撮影された動画像を連続的に取得し、
動画像に含まれる複数のフレーム画像の中から、補正用チャートが写っている複数の補正用チャート画像および対象物が写っている複数の対象物画像を抽出し、
複数の補正用チャート画像に基づいて、複数の対象物画像の代表対象物画像を補正する補正パラメータを生成し、
補正パラメータを用いて、代表対象物画像を補正する、画像補正装置を提供する。
【0022】
また、本発明は、上記のいずれかの画像補正方法の各々の工程をコンピュータに実行させるためのプログラムを提供する。
【0023】
また、本発明は、上記のいずれかの画像補正方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【0024】
本発明によれば、補正用チャートおよび対象物を撮影して、その動画像を取得するため、動画像に含まれる複数のフレーム画像の中から、撮影状態が良好で、かつ、撮影状態が近い補正用チャート画像および対象物画像を抽出し、補正用チャート画像に基づいて対象物画像の画像補正を行うことができる。そのため、ユーザが、任意の撮影環境において対象物を撮影した場合であっても、より簡易に、かつ、より高品質に対象物を画像補正して画像化することができる。
【図面の簡単な説明】
【0025】
【
図1】本発明の画像補正装置の構成を表す一実施形態の概念図である。
【
図2】撮影装置の内部構成を表す一実施形態のブロック図である。
【
図3】プロセッサの内部構成を表す一実施形態のブロック図である。
【
図7】有彩色パターンを表す別の例の概念図である。
【
図8】補正用チャートの構成を表す一例の概念図である。
【
図9】補正用チャートおよび対象物の撮影順序を表す一例の概念図である。
【
図10】画像補正装置の動作を表す一例のフローチャートである。
【
図11】本発明の画像補正装置の構成を表す別の実施形態の概念図である。
【発明を実施するための形態】
【0026】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像補正装置、画像補正方法、プログラムおよび記録媒体を詳細に説明する。
【0027】
図1は、本発明の画像補正装置の構成を表す一実施形態の概念図である。
図1に示す画像補正装置10は、原稿台12と、撮影装置14と、を備えている。
【0028】
原稿台12は、その上に、対象物16を配置(載置)して撮影するための台である。原稿台12の一方の面(
図1中の上側面)の上には、印刷または色票の貼り合わせ等によって補正用チャート18が形成されている。原稿台12は、補正用チャート18兼対象物16を配置するための台であって、対象物16は、その撮影時に、原稿台12の一方の面に形成された補正用チャート18の上に配置される。
【0029】
補正用チャート18は、撮影装置14によって撮影される、補正用チャート18が写っている補正用チャート画像および対象物16が写っている対象物画像を補正する補正パラメータを作成するために使用される。補正用チャート18は、補正用チャート画像および対象物画像の画像補正に使用可能なものであれば、特に限定されないが、例えば格子パターン、無彩色パターンおよび有彩色パターン等を例示することができる。
【0030】
格子パターンは、
図4に示すように、一方向に延びる複数の線と、これに交差して直交する方向に延びる複数の線とによって、複数の矩形状の図形が2次元的に配列された構成を有する。
図4に示す格子パターン18aは、ホワイトバランスの補正を行うための白色を背景とし、黒色の複数の線で形成された白黒の格子状のパターンである。格子パターンは、図形歪みの補正およびホワイトバランスの補正等に用いられる。
【0031】
無彩色パターンは、
図5に示すように、濃度が異なる複数の無彩色パッチが2次元的に配列された構成を有する。
図5に示す無彩色パターン18bは、濃度が異なる矩形状の4種類の無彩色パッチを含み、かつ、4種類(4階調)の無彩色パッチの各々について、同じ濃度を有する矩形状の複数の濃度パッチが空間的に離散して配置されている。無彩色パターンは、図形歪みの補正、階調補正およびシェーディング補正等に用いられる。
なお、無彩色パターンに含まれる無彩色パッチの個数(階調数)は、特に限定されない。
【0032】
有彩色パターンは、
図6,7に示すように、色が異なる複数の有彩色パッチが2次元的に配列された構成を有する。
図6,7に示す有彩色パターン18c、18dは、色が異なる矩形状の複数の有彩色パッチに加えて、濃度が異なる矩形状の複数の無彩色パッチを含み、複数の有彩色パッチおよび複数の無彩色パッチが2次元的に配列されている。有彩色パターンは、図形歪みの補正、階調補正、シェーディング補正および色補正等に用いられる。
なお、有彩色パターンに含まれる有彩色パッチの個数は、特に限定されないが、色補正等を行うために、10個以上であることが好ましい。また、有彩色パターンに含まれる有彩色パッチの色の種類も限定されず、例えばRGB(赤、緑、青)およびCMY(シアン、マゼンタ、黄)等の基準色、その中間色の他、色相、彩度および明度の異なる任意の種類の色を使用してもよい。
【0033】
なお、補正用チャート18は、前述の格子パターン18a、無彩色パターン18bまたは有彩色パターン18c、18dのうちの1つのみによって構成されていてもよいし、あるいは
図8に一例を示すように、2以上のパターンを組み合わせて構成されていてもよい。
図8に示す補正用チャート18は、
図5に示す無彩色パターン18bと、
図6に示す有彩色パターン18cとを組み合わせて構成されている。
【0034】
対象物16は、紙、シートおよびフィルム等のように、画像化の対象となるシート状のものであって、任意の形状および任意の濃度の色の図形が、その少なくとも一方の表面に形成されている。対象物16は、撮影時に、図形の形成面を上向きにして補正用チャート18の上に配置される。対象物16は、特に限定されないが、例えば感圧シート、感熱シートおよび紫外線(あるいは近赤外線、中赤外線)シート等の測定用シートを例示することができる。
【0035】
感圧シート、感熱シートおよび紫外線シート等は、それぞれ、圧力、温度および紫外線(あるいは近赤外線、中赤外線)等の外部エネルギーが加えられることにより、加えられた外部エネルギーに対応する濃度に発色する測定用シートである。測定用シートは、その表面に形成された図形の形状および色の濃度等に基づいて、その測定用シートに加えられた外部エネルギーの分布および大きさ等を計測することができる。
【0036】
続いて、撮影装置14は、補正用チャート18と対象物16とを、順次、連続的に撮影して、その動画像を取得し、動画像に含まれる複数のフレーム画像のうち、補正用チャート画像に基づいて対象物画像を補正して画像化(デジタルデータ化)する。本実施形態の撮影装置14は、カメラ機能を有するスマートフォンであるが、これに限定されず、動画像の撮影機能を有するデジタルカメラまたはデジタルビデオカメラ等でもよい。
【0037】
図2は、撮影装置の内部構成を表す一実施形態のブロック図である。撮影装置14は、
図2に示すように、撮影部20と、表示部22と、操作部24と、記憶部26と、プロセッサ28と、を備える。表示部22、操作部24、撮影部20、記憶部26およびプロセッサ28は、内部バス42を介して双方向に接続されており、互いにデータの送受信が可能である。
【0038】
撮影部20は、プロセッサ28の制御により、被写体を撮影して、その画像(静止画像および動画像)を出力する。撮影部20は、本実施形態の場合、補正用チャート18と対象物16とを、順次、連続的に撮影して、その動画像を出力する。撮影部20は、スマートフォンのカメラ機能に相当する。
【0039】
表示部22は、プロセッサ28の制御により、各種の画像および情報等を表示する。表示部22は、例えばLCD(Liquid Crystal Display)、有機EL(Organic Electroluminescence)ディスプレイ、LED(Light Emitting Diode)ディスプレイ又は電子ペーパー等のディスプレイ等によって構成される。また、表示部22は、撮影装置14のユーザによるタッチ操作を受け付けるタッチパネルを備えていてもよい。
【0040】
操作部24は、プロセッサ28の制御により、ユーザの操作を受け付ける。操作部24は、撮影装置14の筐体の外表面に設けられた複数のボタン、および、表示部22が備えるタッチパネルのグラフィカルユーザインタフェイス等を含む。ユーザは、被写体を撮影したり、各種の設定項目を設定したりする場合に、操作部24を通じて、対応する操作を行う。
【0041】
記憶部26は、プロセッサ28の制御により、撮影部20によって撮影された被写体の画像(静止画像および動画像)のデータ等を記憶する。記憶部26は、本実施形態の場合、補正用チャート18および対象物16が撮影された動画像のデータを記憶する。また、記憶部26には、プロセッサ28によって実行されるプログラム及び各種のデータ等が格納されている。
【0042】
プロセッサ28は、撮影装置14の各部を制御し、動画像の撮影、動画像データの記憶、動画像の表示等を含む各種の処理を実行する。プロセッサ28は、
図3に示すように、取得処理部30と、判別処理部32と、抽出処理部34と、生成処理部36と、補正処理部38と、表示処理部40と、を備えている。記憶部26に記憶されたプログラムがプロセッサ28によって実行されることによって、プロセッサ28は、各々の処理部として機能する。取得処理部30、判別処理部32、抽出処理部34、生成処理部36、補正処理部38および表示処理部40は、内部バス42を介して双方向に接続されており、互いにデータの送受信が可能である。
【0043】
取得処理部30は、操作部24を通じたユーザの操作(撮影の指示)に応じて、撮影部20の動作を制御し、撮影部20(撮影装置14)によって、補正用チャート18が撮影された動画像を取得する第1取得処理(第1取得工程)、および、撮影部20によって、補正用チャート18が撮影される前後の少なくとも一方において、対象物16が撮影された動画像を連続的に取得する第2取得処理(第2取得工程)を実行する。
すなわち、取得処理部30は、補正用チャート18が撮影された後に、対象物16が撮影された動画像を連続的に取得してもよいし、対象物16が撮影された後に、補正用チャート18が撮影された動画像を連続的に取得してもよい。あるいは、取得処理部30は、
図9に示すように、補正用チャート18が撮影された後に、対象物16が撮影され、続いて、補正用チャート18が撮影された動画像を連続的に取得してもよい。
【0044】
判別処理部32は、取得処理によって取得された動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、複数のフレーム画像の各々が、対象物画像なのか、あるいは補正用チャート画像なのかを判別する判別処理(判別工程)を実行する。
例えば、画像解析により、動画像に含まれる各々のフレーム画像の特徴量を算出し、隣接するフレーム画像の特徴量に基づいて、隣接するフレーム画像間の相関係数を算出する。隣接するフレーム画像間の相関係数が閾値以上の値になった範囲において代表的なフレーム画像fを範囲毎に記憶しておく。各範囲に対応する代表的なフレーム画像f0、f1と、事前に取得しておいた相関計算用の補正用チャート画像との相関係数によって、フレーム画像f0の範囲およびフレーム画像f1の範囲が、それぞれ補正用チャート画像および対象物画像であると判別できる。
【0045】
抽出処理部34は、判別処理の判別結果に基づいて、動画像に含まれる複数のフレーム画像の中から、補正用チャート18が写っている複数の補正用チャート画像および対象物16が写っている複数の対象物画像を抽出する抽出処理(抽出工程)を実行する。
【0046】
抽出処理部34は、動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側のフレーム画像から、複数の対象物画像を抽出してもよい。
例えば、動画像に含まれる複数のフレーム画像について、手ブレの度合い、画角のズレ量および照明のムラ(バラツキ)の度合い等のように、1以上の項目の解析を行って各項目のスコアを算出し、全項目の合計のスコアをフレーム画像のスコアとする。そして、動画像に含まれる複数のフレーム画像のうち、撮影状態が最もよい側から、すなわち、スコアが最も高い側のフレーム画像から、複数の対象物画像を抽出する。
【0047】
また、抽出処理部34は、動画像に含まれる複数のフレーム画像のうち、撮影状態が複数の対象物画像に最も近い側のフレーム画像から、複数の補正用チャート画像を抽出してもよい。
例えば、動画像に含まれる複数のフレーム画像のうち、撮影状態が複数の対象物画像に最も近い側から、すなわち、撮影時刻が複数の対象物画像と最も近い側から、あるいは、スコアが最も高い側のフレーム画像から、複数の補正用チャート画像を抽出する。なお、事前に取得しておいた相関計算用の補正用チャート画像との相関係数も加えて、相関係数が高くなるほど、スコアが高くなるように算出してもよい。
【0048】
生成処理部36は、抽出処理によって抽出された複数の補正用チャート画像に基づいて、同じく抽出処理によって抽出された複数の対象物画像のうちの代表となる代表対象物画像を補正する補正パラメータを生成する生成処理(生成工程)を実行する。
生成処理部36は、特に限定されないが、図形歪みの補正、階調補正、シェーディング補正および色補正等の画像補正を行うための補正パラメータを生成する。
【0049】
補正処理部38は、生成処理によって生成された補正パラメータを用いて、代表対象物画像を補正する補正処理(補正工程)を実行する。
【0050】
表示処理部40は、各種の画像および情報等を表示部22に表示させる表示処理(表示工程)を実行する。
【0051】
次に、
図10に示すフローチャートを参照しながら、
図1に示す画像補正装置10の動作を説明する。
【0052】
まず、ユーザは、撮影時の画角および照明状態(外光、自然光、環境光)等が逐次変化し、一定に保つことができない任意の撮影環境において、スマートフォンである撮影装置14を手に持ち、操作部24を通じたユーザの操作によって撮影の開始を指示する。
これに応じて、取得処理部30により、撮影部20の動作が制御され、撮影部20によって、補正用チャート18が撮影された動画像を取得する第1取得処理が実行される(ステップS1)。
【0053】
続いて、ユーザは、同じく任意の撮影環境において、撮影装置14を手に持ったままの状態で、補正用チャート18の上に対象物16を配置する。
これに応じて、取得処理部30により、補正用チャート18が撮影された後、引き続いて、撮影部20によって、対象物16が撮影された動画像を連続的に取得する第2取得処理が実行される(ステップS2)。
【0054】
原稿台12の上に補正用チャート18が形成されている、つまり、補正用チャートが原稿台12に固定されているため、対象物16を撮影する場合に、補正用チャート18と対象物16との相対的な位置関係が固定されているという利点がある。
【0055】
このように、第1取得処理および第2取得処理によって、補正用チャート18と対象物16とが、順次、連続的に撮影された1つの動画像が取得される。なお、補正用チャート18の動画像と、対象物16の動画像とを別々の動画像として取得してもよい。
【0056】
動画像に含まれるフレーム画像、すなわち、補正用チャート画像および対象物画像には、撮影部20のレンズの収差による図形歪みの他、ユーザが任意の撮影環境において、補正用チャート18および対象物16を撮影することに起因して、手ブレによる画像のブレ、撮影時のアオリによる図形歪み、および撮影時の照明のムラによる画像のムラ(明るさ、色合い等のムラ)等が含まれている。
【0057】
取得処理が終了すると、判別処理部32により、動画像に含まれる複数のフレーム画像のうち、隣接するフレーム画像間の相関に基づいて、複数のフレーム画像の各々が、対象物画像なのか、補正用チャート画像なのかを判別する判別処理が実行される(ステップS3)。
【0058】
続いて、抽出処理部34により、判別処理の判別結果に基づいて、動画像に含まれる複数のフレーム画像の中から、複数の補正用チャート画像および複数の対象物画像を抽出する抽出処理が実行される(ステップS4)。抽出処理部34は、フレーム画像が対象物画像であると判別された場合に、そのフレーム画像を対象物画像として抽出し、フレーム画像が補正用チャート画像であると判別された場合に、そのフレーム画像を補正用チャート画像として抽出する。
【0059】
なお、判別処理および抽出処理は、補正用チャート18および対象物16の撮影が終了した後から一括で実行してもよいし、あるいは撮影しながら順次実行してもよい。撮影しながら判別処理および抽出処理を順次実行する場合、補正用チャート18および対象物16の動画像の一部が取得される毎に、その動画像の一部に含まれるフレーム画像の判別処理および抽出処理が順次実行される。
また、抽出処理において、補正用チャート画像および対象物画像の判別は、抽出処理部34が自動で判別してもよいし、あるいはユーザが手動(目視)で判別を行ってもよい。ユーザが判別を行う場合、操作部24を通じたユーザの操作(判別結果の入力)に応じて、抽出処理部34により、動画像に含まれる複数のフレーム画像の中から、複数の補正用チャート画像および複数の対象物画像が抽出される。
【0060】
抽出処理が終了すると、生成処理部36により、抽出処理によって抽出された複数の補正用チャート画像に基づいて、同じく抽出処理によって抽出された複数の対象物画像の代表対象物画像を補正する補正パラメータを生成する生成処理が実行される(ステップS5)。生成処理部36は、本実施形態の場合、図形歪みの補正、階調補正、シェーディング補正および色補正等を行うための補正パラメータを生成する。
【0061】
続いて、補正処理部38により、生成処理によって生成された補正パラメータを用いて、代表対象物画像を補正する補正処理が実行される(ステップS6)。補正処理部38は、本実施形態の場合、図形歪みの補正、階調補正、シェーディング補正および色補正等を行うための補正パラメータに基づいて、図形歪みの補正、階調補正、シェーディング補正および色補正等を行う。
【0062】
補正用チャート18および対象物16を撮影して、その動画像を取得するため、動画像に含まれる複数のフレーム画像の中から、撮影状態が良好で、かつ、撮影状態が近い補正用チャート画像および対象物画像を抽出し、補正用チャート画像に基づいて対象物画像の画像補正を行うことができる。そのため、ユーザが、任意の撮影環境において対象物16を撮影した場合であっても、より簡易に、かつ、より高品質に対象物16を画像補正して画像化することができる。
【0063】
対象物16が測定用シートである場合、測定用シートは、時間の経過に伴って、その色の濃度等の分布が変わるため、その使用現場において、測定用シートを簡易に撮影して画像化したいという要望がある。この場合、測定用シートが画像化された後に、画像化後のデジタルデータを用いて、測定用シートに加えられた外部エネルギーの分布および大きさ等の解析を行うことができる。
【0064】
次に、図形歪みの補正、階調補正、シェーディング補正および色補正等の補正処理について説明する。
【0065】
(図形歪みの補正)
動画像に含まれるフレーム画像には、レンズの収差による図形歪み、および、撮影時のアオリによる図形歪み等が含まれている。
【0066】
レンズの収差による図形歪みを補正する場合、まず、複数の補正用チャート画像に基づいて、レンズの収差による図形歪みを補正するレンズ収差補正パラメータを生成する。
【0067】
レンズ収差補正パラメータは、特に限定されないが、例えば
図4に示す白黒の格子パターン18aを用いて、公知のZhangの手法(Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report, MSR-TR-98-71, December 2, 1998.)によって生成することができる。白黒の格子パターンの補正用チャート18を用いて補正することにより、正反射光の影響がほとんど無い状態において、レンズの収差による図形歪みの補正を行うことができる。
【0068】
続いて、レンズ収差補正パラメータを用いて、複数の補正用チャート画像の各々、および、複数の対象物画像の各々について、レンズの収差による図形歪みを補正する。
【0069】
撮影時のアオリによる図形歪みを補正する場合、レンズの収差による図形歪みの補正後の複数の補正用チャート画像のうちの代表となる代表補正用チャート画像上の複数の基準点に基づいて、例えば
図4に示す白黒の格子パターン18aの4つ以上の交点に基づいて、さらに言えば、格子パターン18aの少なくとも1つの矩形状の図形の4つの頂点に基づいて、撮影時のアオリによる図形歪みを補正するアオリ補正パラメータを生成する。
【0070】
なお、代表補正用チャート画像の決定方法は、特に限定されないが、例えばレンズの収差による図形歪みの補正後の複数の補正用チャート画像の中から、撮影状態が最もよい、言い換えると、スコアが最も高い1つの補正用チャート画像を代表補正用チャート画像として選択してもよい。
【0071】
あるいは、レンズの収差による図形歪みの補正後の複数の補正用チャート画像の対応する各画素位置の複数の信号値のうち、閾値以下の信号値の平均値を算出することにより代表補正用チャート画像を作成してもよい。つまり、複数の補正用チャート画像の対応する各画素位置の複数の信号値の平均値が、代表補正用チャート画像の対応する各画素位置の信号値となる。
フレーム画像には、照明からの正反射光による強い光によって閾値を超える信号値が含まれる場合がある。つまり、閾値を用いて、照明からの正反射光による強い光によって影響を受けた信号値を判定する。このような閾値を超える信号値を除外することにより、正反射光の影響がほとんど無い、閾値以下の信号値を用いて代表補正用チャート画像を生成することができる。
【0072】
続いて、アオリ補正パラメータを用いて、レンズの収差による図形歪みの補正後の複数の対象物画像の各々について、公知のアオリ補正(透視図形補正)を行って、アオリによる図形歪みを補正する。これにより、アオリによる図形歪みの補正後の複数の対象物画像の対応する画素位置を一致させることができる。
なお、基準点は、4点以上あればよく、正方形または長方形を構成する4点の基準点を含むことが好ましい。また、4点の基準点によって構成される領域の大きさは、精度よくアオリ補正を行うために、対象物16に形成された図形よりも大きい方が好ましい。
対象物画像のアオリ補正に関しては、上記のように、代表補正用チャート画像に基づいて生成されたアオリ補正パラメータを用いて対象物画像のアオリ補正を行ってもよいし、あるいは、対象物画像に基づいて生成されたアオリ補正パラメータを用いて対象物画像のアオリ補正を行ってもよい。対象物画像に基づくアオリ補正パラメータは、対象物画像内において、一部が写り込んでいる補正用チャートに基づいて生成することができる。
【0073】
続いて、代表補正用チャート画像を決定する場合と同様に、アオリによる図形歪みの補正後の複数の対象物画像の代表対象物画像を決定する。
【0074】
同様に、アオリによる図形歪みの補正後の複数の対象物画像の中から、例えば撮影状態が最もよい、言い換えると、スコアが最も高い1つの対象物画像を代表対象物画像として選択してもよい。
【0075】
あるいは、アオリによる図形歪みの補正後の複数の対象物画像の対応する各画素位置の複数の信号値のうち、閾値以下の信号値の平均値を算出することにより代表対象物画像を作成してもよい。つまり、複数の対象物画像の対応する各画素位置の複数の信号値の平均値が、代表対象物画像の対応する各画素位置の信号値となる。
同様に、閾値を超える信号値を除外することにより、正反射光の影響がほとんど無い、閾値以下の信号値を用いて代表対象物画像を生成することができる。
【0076】
このように、図形歪みの補正によって、図形歪みの補正後の代表補正用チャート画像および代表対象物画像が得られる。
【0077】
(階調補正)
階調補正を行う場合、まず、代表補正用チャート画像から、例えば
図5に示す無彩色パターン18bに含まれている複数の無彩色パッチに対応する複数の無彩色パッチ画像を抽出して、複数の無彩色パッチ画像の各々について、空間的に離れて配置された同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値を取得する。
【0078】
続いて、複数の無彩色パッチ画像の各々について、同じ濃度の複数の濃度パッチの位置に対応する複数の濃度パッチ画像の位置の信号値に基づいて、代表補正用チャート画像の大きさの補間画像の各画素位置の信号値を補間によって算出する。これにより、複数の無彩色パッチ画像に対応する複数の補間画像が作成される。
【0079】
続いて、複数の補間画像の各々について、全画素位置の信号値の平均値である空間平均値を算出する。
【0080】
続いて、予め取得された複数の無彩色パッチの反射率(目標値)と複数の補間画像の空間平均値(実測値)との差がなくなるように、言い換えると、濃度の階調がリニアになるように、階調補正を行う階調補正パラメータを生成する。
無彩色パッチの反射率とは、撮像系(撮像素子)によって、ある濃度の無彩色パッチを撮影した場合に、無彩色パッチの濃度に感度を有する波長範囲の分光反射率である。無彩色パッチの反射率の取得方法は、特に限定されないが、例えば撮像系によって無彩色パッチを撮影し、無彩色パッチの濃度に対応する反射率(信号値)を計測することにより取得することができる。なお、階調補正に高精度が要求されない場合には、無彩色パッチの作成時の目標値(設定値)を使用してもよい。
【0081】
そして、階調補正パラメータを用いて、複数の補間画像、代表補正用チャート画像および代表対象物画像の階調補正を行う。
【0082】
(シェーディング補正)
シェーディング補正を行う場合、まず、階調補正後の複数の補間画像に基づいて、シェーディング補正の前後において、階調補正後の複数の補間画像の空間平均値が変わらず、かつ、シェーディング補正後において、階調補正後の複数の補間画像の代表補間画像の2次元的な信号値の分布が平坦になるように補正する2次元的なシェーディング補正パラメータを作成する。
【0083】
なお、代表補間画像の決定方法は、特に限定されないが、例えば階調補正後の複数の補間画像の中から1つの補間画像を代表補間画像として選択してもよい。あるいは、階調補正後の複数の補間画像の対応する各画素位置の複数の信号値のうち、閾値以下の信号値の平均値を算出することにより代表補間画像を作成してもよい。つまり、複数の補間画像の対応する各画素位置の複数の信号値の平均値が、代表補間画像の対応する各画素位置の信号値となる。
【0084】
そして、シェーディング補正パラメータを用いて、代表補正用チャート画像および代表対象物画像のシェーディング補正を行う。
【0085】
シェーディング補正を行う画像の各画素位置を(x、y)、シェーディング補正前の画像の各画素位置の信号値をA(x、y)、シェーディング補正後の画像の各画素位置の信号値をB(x、y)、シェーディング補正を行う画像の各画素位置における2次元的なシェーディング補正パラメータをS(x、y)とすると、シェーディング補正後の画像の各画素位置の信号値は、下記式によって算出される。
B(x、y)=S(x、y)×A(x、y)
シェーディング補正用の補正用チャート18として、濃度が異なる複数の無彩色パッチが含まれている場合、つまり、複数の濃度に対応する、複数の2次元的なシェーディング補正パラメータがある場合、複数の濃度の各々に対応するシェーディング補正パラメータをS1(x、y)、S2(x、y)、…SN(x、y)、複数の濃度の各々を、階調がリニアになるように階調補正した画像の信号値をC1、C2、…、CN(C1>C2>…>CN)とすると、シェーディング補正後の画像の各画素位置の信号値は、下記式によって算出される。
A(x、y)>C1の場合、
B(x、y)=S1(x、y)×B(x、y)
C1≧A(x、y)>C2の場合、
B(x、y)=(α×S1(x、y)+β×S2(x、y))×A(x、y)
ここで、α=(A(x、y)-S2(x、y))/(S1(x、y)-S2(x、y))、β=1.0-α
A(x、y)>C3以降の場合も同様である。
CN≧A(x、y)の場合、
B(x、y)=SN(x、y)×A(x、y)
なお、各画素がRGBからなるカラー画像の場合、RGBのチャネル毎に、上記のシェーディング補正を行う。
【0086】
(色補正)
色補正を行う場合、まず、代表補正用チャート画像から、例えば
図6に示す有彩色パターン18cに含まれる複数の有彩色パッチに対応する複数の有彩色パッチ画像を抽出して、複数の有彩色パッチ画像の各々の信号値を取得する。
【0087】
続いて、予め取得された複数の有彩色パッチの各々の信号値(目標値)と、対応する複数の有彩色パッチ画像の各々の信号値(実測値)との差がなくなるように、言い換えると、各々の有彩色パッチの信号値と、対応する各々の有彩色パッチ画像の信号値とが同じになるように色補正を行う色補正パラメータを生成する。
有彩色パッチの信号値の取得方法は、特に限定されないが、無彩色パッチの場合と同様に、有彩色パッチの測定等によって取得することができる。なお、色補正に高精度が要求されない場合には、有彩色パッチの作成時の目標値(設定値)を使用してもよい。
色補正パラメータの生成方法は、特に限定されないが、例えば公知の3行3列のマトリクス処理により、RGBからなる有彩色パッチの信号値(目標値)と、同じくRGBからなる有彩色パッチ画像の信号値(実測値)との関係を、3行3列の行列計算によって変換して求めることができる。また、変換行列も公知の技術、例えば最小二乗法等により求めることができる。
【0088】
そして、色補正パラメータを用いて、シェーディング補正後の代表対象物画像の色補正を行う。
【0089】
なお、ユーザがスマートフォン等の撮影装置14を手に持って、補正用チャート18および対象物16を撮影する場合に限らず、
図11に示すように、撮影補助具44を使用して撮影してもよい。つまり、
図11に示す画像補正装置は、
図1に示す画像補正装置において、さらに、撮影補助具44を備えている。撮影補助具44は、設置台46と、補助照明48と、を備えている。
【0090】
設置台46は、撮影時に撮影装置14を設置する台である。撮影時に撮影装置14を設置台46に設置することにより、撮影装置14を固定できるため、撮影時のアオリによる図形歪み、および、手ブレによる画像のブレ等を軽減することができる。
補助照明48は、撮影時に補正用チャート18および対象物16等を照明する。撮影時に補助照明48によって照明することにより、撮影時の照明のムラを軽減することができる。
撮影補助具44を用いて補正用チャートおよび対象物16を撮影することにより、動画像に含まれる補正用チャート画像および対象物画像に含まれる図形歪みおよび照明のムラ等を低減することができるため、画像補正後の対象物画像の画質を向上させることができる。
【0091】
本発明は、例えばスマートフォン等の撮影装置において動作するアプリケーションプログラムとして実現することができる。また、画像補正装置は、撮影装置のアプリケーションプログラムと連携して動作するサーバを備えていてもよい。この場合、クライアントとなる撮影装置は、第1取得処理、第2取得処理および表示処理等を実行する。サーバは、撮影装置から動画像を受信し、判別処理、抽出処理、生成処理および補正処理の少なくとも1つを実行して、処理の結果を撮影装置に送信する。撮影装置は、サーバから受信した処理の結果に応じて、これに続く処理を実行することができる。
【0092】
プロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0093】
1つの処理部を、これら各種のプロセッサのうちの1つで構成してもよいし、同種または異種の2つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、または、FPGAおよびCPUの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの1つで構成してもよいし、複数の処理部のうちの2以上をまとめて1つのプロセッサを用いて構成してもよい。
【0094】
例えば、サーバおよびクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。
【0095】
さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)である。
【0096】
また、本発明の方法は、例えば、その各々のステップをコンピュータ(プロセッサ)に実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【0097】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0098】
10 画像補正装置
12 原稿台
14 撮影装置
16 対象物
18 補正用チャート
20 撮影部
22 表示部
24 操作部
26 記憶部
28 プロセッサ
30 取得処理部
32 判別処理部
34 抽出処理部
36 生成処理部
38 補正処理部
40 表示処理部
42 内部バス
44 撮影補助具
46 設置台
48 補助照明