特許 6790970 画像補正装置、撮像システム、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6790970

(24)【登録日】2020年11月9日

(45)【発行日】2020年11月25日

(54)【発明の名称】画像補正装置、撮像システム、制御方法及びプログラム

(51)【国際特許分類】

   H04N 5/243 20060101AFI20201116BHJP

【ＦＩ】

   H04N5/243

【請求項の数】6

【全頁数】10

(21)【出願番号】特願2017-73077(P2017-73077)

(22)【出願日】2017年3月31日

(65)【公開番号】特開2018-174509(P2018-174509A)

(43)【公開日】2018年11月8日

【審査請求日】2020年2月7日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】中村 和義

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１４−２２０５８０（ＪＰ，Ａ）

【文献】 特開２００６−０１３８８５（ＪＰ，Ａ）

【文献】 特開２０１０−０３９３７３（ＪＰ，Ａ）

【文献】 特開２００５−１９６１７３（ＪＰ，Ａ）

【文献】 米国特許第０６８２６３６１（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ５／３０ − ５／３７８

(57)【特許請求の範囲】

【請求項1】

撮像装置の温度を取得する温度取得部と、
前記撮像装置から画像を取得する画像取得部と、
前記画像の撮像よりも前のタイミングから前記撮像のタイミングまでの期間に前記温度取得部が取得した前記温度の推移に基づいて、前記画像を補正する補正部と、
を備える画像補正装置。

【請求項2】

前記撮像装置において撮像素子から離れた箇所に設けられる温度測定部、
を備え、
前記温度取得部は、
前記温度測定部が検出する温度を取得する、
請求項１に記載の画像補正装置。

【請求項3】

前記補正部は、
前記温度の推移に基づいて前記画像の補正量を特定し、特定した補正量を用いて前記画像を補正する、
請求項１または請求項２に記載の画像補正装置。

【請求項4】

請求項１から請求項３の何れか一項に記載の画像補正装置と、
撮像した画像を前記画像補正装置に出力する撮像装置と、
を備える撮像システム。

【請求項5】

撮像装置の温度を取得することと、
前記撮像装置から画像を取得することと、
前記画像の撮像よりも前のタイミングから前記撮像のタイミングまでの期間に取得した前記温度の推移に基づいて、前記画像を補正することと、
を含む制御方法。

【請求項6】

コンピュータに、
撮像装置の温度を取得することと、
前記撮像装置から画像を取得することと、
前記画像の撮像よりも前のタイミングから前記撮像のタイミングまでの期間に取得した前記温度の推移に基づいて、前記画像を補正することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像補正装置、撮像システム、制御方法及びプログラムに関する。

【背景技術】

【0002】

対象物を撮像した画像を出力する際に、撮像装置の置かれている周囲の環境によって画像の階調値などに違いが生じる。そのような画像における違いを補正するさまざまな技術がある。
特許文献１には、関連する技術として、前のフレームでの補正結果に基づいて画像信号を補正する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−１３４９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、撮像装置が温度変化のある環境にある場合にも、画像の階調値に違いが生じてしまう。このとき、瞬間的な温度が同一であっても、必ずしも同一のずれ量となるとは限らない。
そのため、撮像装置が温度変化のある環境にある場合に、画像の階調値を正しく補正することのできる技術が求められていた。

【0005】

本発明は、上記の課題を解決することのできる画像補正装置、撮像システム、制御方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の態様は、撮像装置の温度を取得する温度取得部と、前記撮像装置から画像を取得する画像取得部と、前記画像の撮像よりも前のタイミングから前記撮像のタイミングまでの期間に前記温度取得部が取得した前記温度の推移に基づいて、前記画像を補正する補正部と、を備える画像補正装置である。

【0007】

また、本発明の別の態様は、上記の画像補正装置と、撮像した画像を前記画像補正装置に出力する撮像装置と、を備える撮像システムである。

【0008】

また、本発明の別の態様は、撮像装置の温度を取得することと、前記撮像装置から画像を取得することと、前記画像の撮像よりも前のタイミングから前記撮像のタイミングまでの期間に取得した前記温度の推移に基づいて、前記画像を補正することと、を含む制御方法である。

【0009】

また、本発明の別の態様は、コンピュータに、撮像装置の温度を取得することと、前記撮像装置から画像を取得することと、前記画像の撮像よりも前のタイミングから前記撮像のタイミングまでの期間に取得した前記温度の推移に基づいて、前記画像を補正することと、を実行させるプログラムである。

【発明の効果】

【0010】

本発明によれば、撮像装置が温度変化のある環境にある場合に、画像の階調値を正しく補正することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態による撮像システムの構成を示す図である。

【図2】本発明の一実施形態における温度と階調値との関係の例を示す図である。

【図3】本発明の一実施形態による撮像システムの処理フローを示す第１の図である。

【図4】本発明の一実施形態による撮像システムの処理フローを示す第２の図である。

【図5】本発明の一実施形態おける階調補正値の例を示す図である。

【図6】本発明の実施形態による画像補正装置の最小構成を示す図である。

【図7】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0012】

＜実施形態＞
以下、図面を参照しながら実施形態について詳しく説明する。
本発明の一実施形態による撮像システム１の構成について説明する。
本発明の一実施形態による撮像システム１は、図１に示すように、撮像装置１０と、画像補正装置２０と、を備える。

【0013】

撮像装置１０は、撮像する対象物Ｏの画像を取得する装置である。撮像装置１０は、図１に示すように、撮像素子１０１と、Ａ／Ｄ変換部１０２と、温度測定部１０３と、を備える。

【0014】

撮像素子１０１は、対象物Ｏの画像を撮像する。撮像素子１０１は、撮像した対象物Ｏの画像情報をＡ／Ｄ変換部１０２に出力する。

【0015】

Ａ／Ｄ変換部１０２は、撮像素子１０１が撮像した対象物Ｏの画像情報を取得する。Ａ／Ｄ変換部１０２は、取得したアナログの画像情報をデジタルの画像情報に変換する。
温度測定部１０３は、撮像装置１０の温度を測定する。温度測定部１０３は、例えば、撮像素子１０１またはＡ／Ｄ変換部１０２の温度を測定する。
なお、撮像素子１０１の温度変化は、画像の階調値に直接影響を及ぼすものの１つである。そのため、温度測定部１０３が撮像素子１０１の温度を測定する場合、撮像システム１は、画像の階調値をより正確に補正できると考えられる。また、温度測定部１０３が撮像素子１０１の温度を直接測定できないが撮像素子１０１の温度の影響を受ける位置に設けられたＡ／Ｄ変換部１０２の温度を測定する場合、撮像システム１において、Ａ／Ｄ変換部１０２は、撮像素子１０１の温度の影響を大きく受け、連動して推移するため、撮像素子１０１の温度を直接測定せずとも画像の階調値を正確に補正できると考えられる。
なお、撮像装置１０には、一般的に、動作保証温度範囲外での動作を避けるための温度センサが、例えば、Ａ／Ｄ変換部１０２の側に備えられている。温度測定部１０３は、その温度センサを利用するものであってもよい。

【0016】

画像補正装置２０は、画像の階調値を補正する装置である。図２に示すように、撮像装置１０の温度が同一であっても、画像の階調値が同一になるとは限らない。例えば、撮像装置１０（図２におけるカメラ温度）の温度が３６度の場合、図２（ａ）では、Ｒの階調値がおよそ２２７、Ｇの階調値がおよそ２２６、Ｂの階調値がおよそ２２８である。一方、図２（ｂ）では、Ｒの階調値がおよそ２２５、Ｇの階調値がおよそ２２５、Ｂの階調値がおよそ２２６である。画像補正装置２０が撮像装置１０の温度の推移を取得することは、温度測定部１０３の１つの測定箇所の瞬間的な温度の測定結果ではなく、温度測定部１０３の１つの測定箇所に温度の影響を及ぼす複数個所を含めた継続的な温度の測定結果を取得したことになる。その結果、画像補正装置２０は、より正確な温度の影響を含む階調補正値で画像の階調値を補正することになる。
画像補正装置２０は、図１に示すように、画像取得部２０１と、温度取得部２０２と、補正部２０３と、記憶部２０４と、を備える。

【0017】

画像取得部２０１は、撮像装置１０から画像を取得する。
温度取得部２０２は、撮像装置１０の温度を取得する。具体的には、温度取得部２０２は、温度測定部１０３が測定した温度を取得する。
補正部２０３は、撮像装置１０の画像の撮像よりも前のタイミングからその撮像のタイミングまでの期間に温度取得部２０２が取得した撮像装置１０の温度の推移に基づいて、画像を補正する。具体的には、補正部２０３は、撮像装置１０の温度の推移に伴って変化する画像の階調値を補正する。
記憶部２０４は、撮像装置１０の温度の推移と、画像の階調値の補正値との関係を示す補正情報を記憶する。

【0018】

次に、本発明の一実施形態による撮像システム１の処理について説明する。
ここでは、撮像システム１が画像の階調値を補正に用いる補正データを蓄積する補正データ蓄積処理と、撮像システム１が画像の階調値を補正する階調値補正処理とについて説明する。

【0019】

（補正データ蓄積処理）
まず、撮像システム１が行う補正データ蓄積処理について説明する。
ここでは、図３に示す撮像システム１の処理フローについて説明する。
なお、撮像システム１が行う補正データ蓄積処理は、図２（ａ）、（ｂ）に示すような温度の推移と階調値との対応関係を予め取得するための処理である。

【0020】

撮像装置１０の任意の初期温度に設定する（ステップＳ１）。例えば、所望の温度（すなわち、初期温度、例えば、図２においてＴ０で示される温度）に設定した恒温槽に撮像装置１０を入れる。温度測定部１０３は、撮像装置１０の温度を取得する。温度測定部１０３の取得する温度が、初期温度になるまで（例えば、１時間〜１時間半程度）待つ。

【0021】

恒温槽を任意の温度（例えば、図２においてＴ１で示される温度）に設定を変更する（ステップＳ２）。

【0022】

撮像素子１０１は、色見本を撮像する（ステップＳ３）。色見本とは、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の割合によって示される複数の色（例えば、白色、紫色、黄色など）から成る色の基準を示す見本である。撮像素子１０１は、撮像した対象物Ｏの画像情報を、常時、Ａ／Ｄ変換部１０２に出力する。

【0023】

Ａ／Ｄ変換部１０２は、所定のタイミング（例えば、１分ごと）に、撮像素子１０１が撮像した色見本のアナログ画像を示すアナログ画像情報を取得する。Ａ／Ｄ変換部１０２は、取得したアナログ画像情報をデジタル画像を示すデジタル画像情報に変換する。Ａ／Ｄ変換部１０２は、変換後のデジタル画像情報を画像補正装置２０に出力する。

【0024】

また、温度測定部１０３は、常時、撮像装置１０の温度を取得する（ステップＳ４）。温度測定部１０３は、取得した温度を画像補正装置２０に出力する。

【0025】

画像取得部２０１は、撮像装置１０からデジタル画像情報を取得する。画像取得部２０１は、取得したデジタル画像情報が示す色見本の画像の各色についての平均階調値を算出する（ステップＳ５）。平均階調値とは、画像取得部２０１が取得した同一の色を示す複数の画素のそれぞれが示す階調値の平均値である。画像取得部２０１は、算出した平均階調値を補正部２０３に出力する。

【0026】

温度取得部２０２は、所定のタイミング（例えば、１分ごと）に、温度測定部１０３から撮像装置１０の温度を取得する。温度取得部２０２は、撮像装置１０の温度の情報を補正部２０３に出力する。

【0027】

補正部２０３は、所定のタイミング（例えば、１分ごと）に、平均階調値と撮像装置１０の温度の情報とを取得する。補正部２０３は、取得した平均階調値と撮像装置１０の温度の情報とを関連付けた階調値情報を記憶部２０４に書き込む（ステップＳ６）。

【0028】

温度取得部２０２は、取得した温度が前回取得した温度と誤差の範囲内で同一であるか否かを判定する（ステップＳ７）。
温度取得部２０２は、取得した温度が前回取得した温度と誤差の範囲内で同一ではない（例えば、取得した温度と前回取得した温度との差が誤差を示すしきい値以下ではない）と判定した場合（ステップＳ７においてＮＯ）、ステップＳ３の処理に戻す。温度取得部２０２が、ステップＳ３の処理に戻すごとに、例えば、図２においてＴ２、Ｔ３、Ｔ４のように示される温度の情報が増加し、その温度に関連付けられた平均階調値の情報が増加する。
また、温度取得部２０２が取得した温度が前回取得した温度と誤差の範囲内で同一である（例えば、取得した温度と前回取得した温度との差が誤差を示すしきい値以下である）と判定した場合（ステップＳ７においてＹＥＳ）、補正部２０３は、例えば、記憶部２０４が記憶する階調値情報が示す階調値と色見本の階調値とに基づいて、例えば、図５に示すように、色見本の各色と階調値の補正量を示す階調補正値との対応関係を温度の推移と関連付けてＲＧＢごとに生成する（ステップＳ８）。具体的には、補正部２０３は、例えば、記憶部２０４が記憶する階調値情報が示す階調値と色見本の各色の階調値との差を、階調補正値とする。
なお、色見本の各色と階調補正値とのＲＧＢごとの対応関係は、図５に示すものに限定するものではない。例えば、色見本の各色と階調補正値とのＲＧＢごとの対応関係は、関数で示されるものであってもよい。また、色見本の各色と階調補正値とのＲＧＢごとの対応関係は、機械学習などによって更新させるものであってもよい。
補正部２０３は、生成した対応関係を温度の推移と関連付けてＲＧＢごとに記憶部２０４に書き込む（ステップＳ９）。

【0029】

（階調値補正処理）
次に、撮像システム１が行う階調値補正処理について説明する。
ここでは、図４に示す撮像システム１の処理フローについて説明する。

【0030】

撮像装置１０が起動する。温度測定部１０３は、常時、撮像装置１０の温度を取得する（ステップＳ１１）。温度測定部１０３は、取得した温度を画像補正装置２０に出力する。

【0031】

温度取得部２０２は、所定のタイミング（例えば、１分ごと）に、温度測定部１０３から撮像装置１０の温度を取得する。温度取得部２０２は、撮像装置１０の温度の情報を補正部２０３に出力する。

【0032】

補正部２０３は、所定のタイミング（例えば、１分ごと）に、温度取得部２０２から撮像装置１０の温度の情報を取得する。補正部２０３は、取得した撮像装置１０の温度の情報を記憶部２０４に書き込む（ステップＳ１２）。

【0033】

撮像装置１０は、起動してから所定の時間（例えば、１時間〜１時間半）が経過すると、撮像可能な状態となる。
補正部２０３は、画像取得部２０１からデジタル画像情報を取得するか否かを判定する（ステップＳ１３）。
補正部２０３は、画像取得部２０１からデジタル画像情報を取得していないと判定した場合（ステップＳ１３においてＮＯ）、ステップＳ１１の処理に戻す。

【0034】

このような状態で、ユーザは、任意のタイミングで撮像装置１０に対して撮像する操作を行う。
撮像素子１０１は、対象物Ｏを撮像する（ステップＳ１３）。撮像素子１０１は、撮像した対象物Ｏの画像情報をＡ／Ｄ変換部１０２に出力する。

【0035】

Ａ／Ｄ変換部１０２は、撮像素子１０１から対象物Ｏのアナログ画像情報を取得する。Ａ／Ｄ変換部１０２は、取得したアナログ画像情報をデジタル画像情報に変換する。Ａ／Ｄ変換部１０２は、デジタル画像情報を画像補正装置２０に出力する。

【0036】

画像取得部２０１は、撮像装置１０からデジタル画像情報を取得する。画像取得部２０１は、取得したデジタル画像情報を補正部２０３に出力する。

【0037】

補正部２０３は、この場合、画像取得部２０１からデジタル画像情報を取得し（ステップＳ１３においてＹＥＳ）、記憶部２０４が記憶する温度の推移において、温度取得部２０２から取得した温度の推移と誤差の範囲内で同一の温度の推移を特定する（ステップＳ１４）。具体的には、例えば、補正部２０３は、平均二乗誤差などの数値解析手法を用いて、その対応関係において所定の誤差の範囲内で同一とみなせる温度の推移を特定する。なお、本発明の別の実施形態による補正部２０３は、温度の推移を時間軸方向及び温度軸方向に伸縮したものについて、その対応関係において温度の推移を特定するものであってもよい。
補正部２０３は、記憶部２０４において特定した温度の推移に関連付けられている補正部２０３が生成した対応関係を特定する（ステップＳ１５）。
補正部２０３は、特定した対応関係が示す階調補正値を用いてデジタル画像情報が示す画像の階調値を補正する（ステップＳ１６）。

【0038】

以上、本発明の一実施形態による撮像システム１について説明した。本発明の一実施形態による画像補正装置２０において、温度取得部２０２は、撮像装置１０の温度を取得する。画像取得部２０１は、撮像装置１０から画像を取得する。補正部２０３は、画像の撮像よりも前のタイミング（すなわち、撮像を開始するタイミングから、ある一定時間遡ったタイミング）から撮像のタイミングまでの期間に、温度取得部２０２が取得した撮像装置１０の温度の推移に基づいて画像を補正する。
こうすることで、画像補正装置２０は、撮像装置が温度変化のある環境にある場合に、画像の階調値を正しく補正することができる。

【0039】

次に、本発明の実施形態による最小構成の画像補正装置２０について説明する。
本発明の実施形態による最小構成の画像補正装置２０は、図６に示すように、画像取得部２０１と、温度取得部２０２と、補正部２０３と、を備える。
温度取得部２０２は、撮像装置１０の温度を取得する。
画像取得部２０１は、撮像装置１０から画像を取得する。
補正部２０３は、画像の撮像よりも前のタイミングから撮像のタイミングまでの期間に、温度取得部２０２が取得した撮像装置１０の温度の推移に基づいて画像を補正する。
このようにすれば、画像補正装置２０は、撮像装置が温度変化のある環境にある場合に、画像の階調値を正しく補正することができる。

【0040】

なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

【0041】

本発明の実施形態における記憶部２０４、その他の記憶部や記憶装置（レジスタ、ラッチを含む）のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部２０４、その他の記憶部や記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。

【0042】

本発明の実施形態について説明したが、上述の撮像システム１、撮像装置１０、画像補正装置２０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図７に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の撮像システム１、撮像装置１０、画像補正装置２０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。

【0043】

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。

【0044】

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。

【0045】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、種々の省略、種々の置き換え、種々の変更を行ってよい。

【符号の説明】

【0046】

１・・・撮像システム
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・撮像装置
２０・・・画像補正装置
１０１・・・撮像素子
１０２・・・Ａ／Ｄ変換部
１０３・・・温度測定部
２０１・・・画像取得部
２０２・・・温度取得部
２０３・・・補正部
２０４・・・記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】