特許 7568725 画像処理装置及びロボット制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】画像処理装置及びロボット制御装置

(51)【国際特許分類】

   H04N 23/741 20230101AFI20241008BHJP

   B25J 19/04 20060101ALI20241008BHJP

   G03B 7/091 20210101ALI20241008BHJP

   G03B 15/00 20210101ALI20241008BHJP

   H04N 23/60 20230101ALI20241008BHJP

   H04N 23/73 20230101ALI20241008BHJP

【ＦＩ】

H04N23/741

B25J19/04

G03B7/091

G03B15/00 H

H04N23/60 500

H04N23/73

【請求項の数】 9

(21)【出願番号】P 2022542820

(86)(22)【出願日】2021-08-04

(86)【国際出願番号】 JP2021028911

(87)【国際公開番号】W WO2022034840

(87)【国際公開日】2022-02-17

【審査請求日】2023-03-08

(31)【優先権主張番号】P 2020135607

(32)【優先日】2020-08-11

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】並木 勇太

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１２－２２２５４０（ＪＰ，Ａ）

【文献】特開平１１－２５８６５４（ＪＰ，Ａ）

【文献】特開２００７－１８０９０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４１

Ｂ２５Ｊ １９／０４

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／７３

(57)【特許請求の範囲】

【請求項1】

被写体を撮像した撮像画像を処理する画像処理装置であって、
前記被写体を撮像するための露光時間の最小値を決定する第１露光時間決定部と、
前記被写体を撮像するための前記露光時間の最大値を決定する第２露光時間決定部と、
前記露光時間の最小値と前記露光時間の最大値との間の基準露光時間で前記被写体を撮像した前記撮像画像の輝度の基準ヒストグラムを算出し、前記基準ヒストグラムを記憶部に記憶し、前記基準露光時間で前記被写体を撮像した前記撮像画像の輝度の第３のヒストグラムを算出し、前記第３のヒストグラムが前記基準ヒストグラムと一致するように露光時間係数を算出する第３露光時間決定部と、
決定された前記露光時間の最小値及び前記露光時間の最大値を含む露光時間範囲に基づいて、前記被写体を撮像するための前記露光時間及び前記被写体を撮像する撮像回数を決定する撮像条件決定部と、
決定された前記露光時間及び前記撮像回数を用いて前記被写体を撮像した複数の撮像画像を合成し、合成画像を生成する合成画像生成部と、を備え、
前記撮像条件決定部は、前記露光時間の最小値、前記露光時間の最大値及び前記露光時間係数に基づいて、前記露光時間範囲を算出する、
画像処理装置。

【請求項2】

前記第１露光時間決定部は、
前記被写体を撮像するための前記露光時間の最小値を予め設定し、
前記露光時間の最小値で前記被写体を撮像した前記撮像画像において輝度を算出し、算出された前記輝度に基づく値が、第１の閾値よりも小さい場合、前記露光時間の最小値を変更し、
前記輝度に基づく値が、前記第１の閾値以上になるまで、前記被写体の撮像、前記輝度の算出及び前記露光時間の最小値の変更を繰り返し、前記露光時間の最小値を決定する、
請求項１に記載の画像処理装置。

【請求項3】

前記第２露光時間決定部は、
前記被写体を撮像するための前記露光時間の最大値を設定し、
前記露光時間の最大値で前記被写体を撮像した前記撮像画像において輝度を算出し、算出された前記輝度に基づく値が、第２の閾値よりも大きい場合、前記露光時間の最大値を変更し、
前記輝度に基づく値が、前記第２の閾値以下になるまで、前記被写体の撮像、前記輝度の取得及び前記露光時間の最大値の変更を繰り返し、前記露光時間の最大値を決定する、
請求項１又は２に記載の画像処理装置。

【請求項4】

前記露光時間を決定するために用いられる前記撮像画像は、縮小画像である、請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記第１露光時間決定部は、前記露光時間の最小値を予め設定する際に、事前に撮像された前記撮像画像の前記露光時間の最小値を用い、
前記第２露光時間決定部は、前記露光時間の最大値を予め設定する際に、事前に撮像された前記撮像画像の前記露光時間の最大値を用いる、請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記第１露光時間決定部は、前記露光時間の最小値を予め設定する際に、外部から指定された前記撮像画像の前記露光時間の最小値を用い、
前記第２露光時間決定部は、前記露光時間の最大値を予め設定する際に、外部から前記撮像画像の前記露光時間の最大値を用いる、請求項１から４のいずれか一項に記載の画像処理装置。

【請求項7】

前記合成画像生成部は、
前記複数の撮像画像において白飛びさせる割合と黒潰れさせる割合との少なくとも一方を指定可能とし、
前記合成画像において、白飛びさせる割合の画素を白色とし、かつ黒潰れさせる割合の画素を黒色とした状態で、前記合成画像のトーンマッピングを行う、
請求項１から６のいずれか一項に記載の画像処理装置。

【請求項8】

前記合成画像生成部は、
前記合成画像を生成する前の元の画像の情報を記録することによって、異なる合成方法による合成画像生成を可能にする、請求項１から７のいずれか一項に記載の画像処理装置。

【請求項9】

被写体を撮像した撮像画像を処理する画像処理装置を有するロボット制御装置であって、
前記被写体を撮像するための露光時間の最小値を決定する第１露光時間決定部と、
前記被写体を撮像するための前記露光時間の最大値を決定する第２露光時間決定部と、
前記露光時間の最小値と前記露光時間の最大値との間の基準露光時間で前記被写体を撮像した前記撮像画像の輝度の基準ヒストグラムを算出し、前記基準ヒストグラムを記憶部に記憶し、前記基準露光時間で前記被写体を撮像した前記撮像画像の輝度の第３のヒストグラムを算出し、前記第３のヒストグラムが前記基準ヒストグラムと一致するように露光時間係数を算出する第３露光時間決定部と、
決定された前記露光時間の最小値及び前記露光時間の最大値を含む露光時間範囲に基づいて、前記被写体を撮像するための前記露光時間及び前記被写体を撮像する撮像回数を決定する撮像条件決定部と、
決定された前記露光時間及び前記撮像回数を用いて前記被写体を撮像した複数の撮像画像を合成し、合成画像を生成する合成画像生成部と、
を備え、
前記撮像条件決定部は、前記露光時間の最小値、前記露光時間の最大値及び前記露光時間係数に基づいて、前記露光時間範囲を算出する、
ロボット制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及びロボット制御装置に関する。

【背景技術】

【0002】

従来より、ロボットを用いてワークのハンドリング又は加工等の作業を正確に行うために、ワークが置かれている位置及びロボットが把持しているワークのずれを正確に認識することが必要になる。このため、近年では、視覚センサを用いてワークの位置及びワークのずれを視覚的に認識することが行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２４６１４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

視覚センサで被写体（例えばワーク）の画像を撮像したときに、１枚の画像では明るさの範囲を適切に表現できない場合がある。例えば、視野内の明るい領域に明るさを合わせると、暗い領域は黒く潰れてしまい、視認することができなくなる。逆に視野内の暗い領域に明るさを合わせると、明るい領域が白飛びしてしまい、視認することができなくなる。

【0005】

このような問題に対処するために、ＨＤＲ（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ）合成という技術が知られている。この技術は、複数の撮像画像を合成することによって、１枚の画像では得られないダイナミックレンジの広い画像を生成する。

【0006】

複数の撮像画像を撮像するには時間がかかるため、画像を撮像する回数が少ないことが望ましい。そこで、被写体を撮像するための適切な露光時間の範囲及び撮像回数を決定するための技術が望まれる。

【課題を解決するための手段】

【0007】

本開示に係る画像処理装置は、被写体を撮像した撮像画像を処理する画像処理装置であって、前記被写体を撮像するための露光時間の最小値を決定する第１露光時間決定部と、前記被写体を撮像するための前記露光時間の最大値を決定する第２露光時間決定部と、決定された前記露光時間の最小値及び前記露光時間の最大値を含む露光時間範囲に基づいて、前記被写体を撮像するための前記露光時間及び前記被写体を撮像する撮像回数を決定する撮像条件決定部と、決定された前記露光時間及び前記撮像回数を用いて前記被写体を撮像した複数の撮像画像を合成し、合成画像を生成する合成画像生成部と、を備える。

【0008】

本開示に係るロボット制御装置は、被写体を撮像した撮像画像を処理する画像処理装置を有するロボット制御装置であって、前記被写体を撮像するための露光時間の最小値を決定する第１露光時間決定部と、前記被写体を撮像するための前記露光時間の最大値を決定する第２露光時間決定部と、決定された前記露光時間の最小値及び前記露光時間の最大値を含む露光時間範囲に基づいて、前記被写体を撮像するための前記露光時間及び前記被写体を撮像する撮像回数を決定する撮像条件決定部と、決定された前記露光時間及び前記撮像回数を用いて前記被写体を撮像した複数の撮像画像を合成し、合成画像を生成する合成画像生成部と、を備える。

【0009】

本開示に係る画像処理装置は、被写体を撮像した撮像画像を処理する画像処理装置であって、前記被写体を撮像するための光学パラメータの最小値を決定する第１露光時間決定部と、前記被写体を撮像するための前記光学パラメータの最大値を決定する第２露光時間決定部と、決定された前記光学パラメータの最小値及び前記光学パラメータの最大値を含む光学パラメータ間範囲に基づいて、前記被写体を撮像するための前記光学パラメータ及び前記被写体を撮像する撮像回数を決定する撮像条件決定部と、決定された前記光学パラメータ及び前記撮像回数を用いて前記被写体を撮像した複数の撮像画像を合成し、合成画像を生成する合成画像生成部と、を備える。

【発明の効果】

【0010】

本発明によれば、被写体を撮像するための適切な露光時間の範囲及び撮像回数を決定することができる。

【図面の簡単な説明】

【0011】

【図1】ロボットシステムの構成を示す図である。

【図2】ロボット制御装置の構成を示す図である。

【図3】ＨＤＲ合成画像で取得可能な輝度を示す図である。

【図4】輝度のヒストグラムにおいて白飛びさせる割合及び黒潰れさせる割合の具体例を示す図である。

【図5】画像処理装置の処理の流れを示すフローチャートである。

【図6】本発明の一実施形態に係る複数の視覚センサが接続される画像処理システムの例を模式的に示す図である。

【図7】本発明の一実施形態に係る複数の画像処理装置が接続される画像処理システムの例を模式的に示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態の一例について説明する。
図１は、ロボットシステム１００の構成を示す図である。図１に示すように、ロボットシステム１００は、ロボット制御装置１と、ロボット２と、アーム３と、視覚センサ４と、を備える。

【0013】

ロボット２のアーム３の先端部には、ハンド又はツールが取り付けられている。ロボット２は、ロボット制御装置１の制御により、ワークＷのハンドリング又は加工等の作業を行う。また、ロボット２のアーム３の先端部には、視覚センサ４が取り付けられている。なお、視覚センサ４は、ロボット２に取り付けられていなくてもよく、例えば、所定の位置に固定して設置されてもよい。

【0014】

視覚センサ４は、ロボット制御装置１の制御により、ワークＷを撮像する。視覚センサ４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサで構成される撮像素子と、レンズを含む光学系とを有する二次元カメラが用いられてもよい。また、視覚センサ４は、撮像する撮像画像のビニングレベルを指定することによって、撮像を高速化できる撮像素子を用いることが望ましい。

【0015】

ロボット制御装置１は、ロボット２のためのロボットプログラムを実行し、ロボット２の動作を制御する。その際、ロボット制御装置１は、視覚センサ４によって撮像された撮像画像を用いて、ワークＷの位置に対してロボット２が所定の作業を行うように、ロボット２の動作を補正する。

【0016】

図２は、ロボット制御装置１の構成を示す図である。ロボット制御装置１は、画像処理装置１０を備える。なお、ロボット制御装置１は、ロボット２を制御するための一般的な構成を有するが、説明の簡素化のために省略する。画像処理装置１０は、視覚センサ４によって撮像された撮像画像を処理するための装置である。画像処理装置１０は、制御部１１と、記憶部１２と、を備える。

【0017】

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであり、記憶部１２に記憶されたプログラムを実行することによって各種機能を実現する。

【0018】

制御部１１は、第１露光時間決定部１１１と、第２露光時間決定部１１２と、第３露光時間決定部１１３と、撮像条件決定部１１４と、合成画像生成部１１５と、を備える。

【0019】

記憶部１２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の各種情報を格納するハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。記憶部１２は、例えば、ロボットプログラム等の各種情報を記憶する。

【0020】

第１露光時間決定部１１１は、被写体（例えば、図１に示すワークＷ）を撮像するための露光時間の最小値を決定する。
具体的には、第１露光時間決定部１１１は、露光時間の最小値で被写体を撮像した撮像画像において輝度を算出し、算出された輝度に基づく値が、第１の閾値Ｈ１よりも小さい場合、露光時間の最小値を変更する。そして、第１露光時間決定部１１１は、輝度に基づく値が、第１の閾値Ｈ１以上になるまで、被写体の撮像、輝度の算出及び露光時間の最小値の変更を繰り返し、露光時間の最小値を決定する。

【0021】

より具体的には、第１露光時間決定部１１１は、被写体を撮像するための露光時間の最小値を予め設定し、露光時間の最小値で被写体を撮像した前記撮像画像の輝度の第１のヒストグラムを算出する。

【0022】

次に、第１露光時間決定部１１１は、第１のヒストグラムにおいて最も輝度が大きい値が、第１の閾値Ｈ１よりも小さい場合、最も輝度が大きい値が第１の閾値Ｈ１に近づくように露光時間の最小値を変更する。例えば、第１露光時間決定部１１１は、露光時間の最小値に所定の数値を掛けることによって、露光時間の最小値を変更する。また、第１の閾値Ｈ１は、第１のヒストグラムにおいて最も輝度が大きい値が十分大きいことを示す値である。

【0023】

そして、第１露光時間決定部１１１は、第１のヒストグラムにおいて最も輝度が大きい値が、第１の閾値Ｈ１以上になるまで、被写体の撮像、第１のヒストグラムの算出及び露光時間の最小値の変更を繰り返し、露光時間の最小値を決定する。

【0024】

第２露光時間決定部１１２は、被写体（例えば、図１に示すワークＷ）を撮像するための露光時間の最大値を決定する。
具体的には、第２露光時間決定部１１２は、露光時間の最大値で被写体を撮像した撮像画像において輝度を算出し、算出された輝度に基づく値が、第２の閾値Ｈ２よりも大きい場合、露光時間の最大値を変更し、輝度に基づく値が、第２の閾値以下になるまで、被写体の撮像、輝度の取得及び露光時間の最大値の変更を繰り返し、露光時間の最大値を決定する。

【0025】

より具体的には、第２露光時間決定部１１２は、被写体を撮像するための露光時間の最大値を設定し、露光時間の最大値で被写体を撮像した撮像画像の輝度の第２のヒストグラムを算出する。

【0026】

次に、第２露光時間決定部１１２は、第２のヒストグラムにおいて最も輝度が小さい値が、第２の閾値Ｈ２よりも大きい場合、最も輝度が小さい値が第２の閾値Ｈ２に近づくように露光時間の最大値を変更する。例えば、第２露光時間決定部１１２は、露光時間の最大値に所定の数値を掛けることによって、露光時間の最大値を変更する。また、第２の閾値Ｈ２は、第２のヒストグラムにおいて最も輝度が小さい値が十分小さいことを示す値である。

【0027】

そして、第２露光時間決定部１１２は、第２のヒストグラムにおいて最も輝度が小さい値が、第２の閾値Ｈ２以下になるまで、被写体の撮像、第２のヒストグラムの取得及び露光時間の最大値の変更を繰り返し、露光時間の最大値を決定する。

【0028】

また、第１露光時間決定部１１１は、露光時間の最小値を予め設定する際に、事前に撮像された撮像画像の前記露光時間の最小値を用いる。第２露光時間決定部は、露光時間の最大値を予め設定する際に、事前に撮像された撮像画像の露光時間の最大値を用いる。

【0029】

具体的には、第１露光時間決定部１１１は、前回の撮像時に撮像された撮像画像の露光時間の最小値を予め記憶する。そして、第１露光時間決定部１１１は、露光時間の最小値を予め設定する際に、前回の撮像時に撮像された撮像画像の露光時間の最小値を用いる。

【0030】

同様に、第２露光時間決定部１１２は、前回の撮像時に撮像された撮像画像の露光時間の最大値を予め記憶する。そして、第２露光時間決定部１１２は、露光時間の最大値を予め設定する際に、前回の撮像時に撮像された撮像画像の露光時間の最大値を用いる。これにより、画像処理装置１０は、露光時間の範囲の計測を高速化することができる。

【0031】

また、第１露光時間決定部１１１は、露光時間の最小値を予め設定する際に、外部（例えば、作業者が操作する教示操作盤）から指定された撮像画像の露光時間の最小値を用いてもよい。また、第２露光時間決定部１１２は、露光時間の最大値を予め設定する際に、外部（例えば、作業者が操作する教示操作盤）から撮像画像の露光時間の最大値を用いてもよい。

【0032】

第３露光時間決定部１１３は、露光時間の最小値と露光時間の最大値との間の基準露光時間で被写体を撮像した撮像画像の輝度の基準ヒストグラムを算出し、算出した基準ヒストグラムを記憶部１２に記憶する。

【0033】

そして、第３露光時間決定部１１３は、基準露光時間で被写体を撮像した撮像画像の輝度の第３のヒストグラムを算出し、第３のヒストグラムが基準ヒストグラムと一致するように露光時間係数を算出する。

【0034】

撮像条件決定部１１４は、決定された露光時間の最小値及び露光時間の最大値を含む露光時間範囲に基づいて、被写体を撮像するための露光時間及び被写体を撮像する撮像回数を決定する。

【0035】

例えば、撮像条件決定部１１４は、決定された露光時間の最小値及び露光時間の最大値を含む露光時間範囲を適切な所定区間で区切り、区切られた箇所を露光時間とし、区切られた回数を撮像回数とすることによって、露光時間及び撮像回数を決定する。

【0036】

例えば、撮像条件決定部１１４が、露光時間範囲を５分割する、すなわち、撮像回数を５回と決定する場合、所定区間は、区間Ａ１、区間Ａ２、区間Ａ３及び区間Ａ４を含む。
そして、撮像条件決定部１１４は、区間Ａ２が区間Ａ１の２倍の長さとなり、区間Ａ３が区間Ａ１の４倍の長さとなり、区間Ａ４が区間Ａ１の８倍の長さとなるように、露光時間範囲を区切る。すなわち、区間Ａ１、区間Ａ２、区間Ａ３及び区間Ａ４の長さは比例関係となる。

【0037】

また、撮像条件決定部１１４は、露光時間の最小値、露光時間の最大値及び露光時間係数に基づいて、露光時間範囲を算出する。

【0038】

具体的には、撮像条件決定部１１４は、第３露光時間決定部１１３によって算出された露光時間係数を、露光時間の最小値及び露光時間の最大値に掛けることによって、基準露光時間を考慮した露光時間の最小値及び露光時間の最大値を求める。そして、撮像条件決定部１１４は、求められた露光時間の最小値及び露光時間の最大値を含む露光時間範囲を算出する。これにより、画像処理装置１０は、基準ヒストグラム及び基準露光時間を考慮した露光時間範囲を算出することができる。

【0039】

また、露光時間を決定するために用いられる撮像画像は、縮小画像である。これにより、画像処理装置１０は、縮小画像を用いることによって、通常の大きさの撮像画像を用いる場合よりも、露光時間を決定するための処理を高速化することができる。

【0040】

合成画像生成部１１５は、決定された露光時間及び撮像回数を用いて被写体を撮像した複数の撮像画像を合成し、合成画像を生成する。このようにして画像処理装置１０は、ＨＤＲ（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ）合成された合成画像を生成する。

【0041】

なお、第１露光時間決定部１１１は、上述した輝度の最大値や最小値に代えて、例えば、輝度の明るいほうから１パーセンタイルの値を元に最小値を決定してもよい。また、第２露光時間決定部１１２は、上述したヒストグラムに代えて、例えば、輝度の暗いほうから１パーセンタイルの値を元に最大値を決定してもよい。

【0042】

図３は、ＨＤＲ合成画像で取得可能な輝度を示す図である。これにより、図３に示すように、ＨＤＲ合成画像で取得可能な輝度の範囲は、１枚の撮像画像で取得可能な輝度の範囲よりも広くなる。したがって、画像処理装置１は、高い解像度を有する撮像画像を得ることができる。

【0043】

また、合成画像生成部１１５は、複数の撮像画像において白飛びさせる割合と黒潰れさせる割合との少なくとも一方を指定可能とし、合成画像において、白飛びさせる割合の画素を白色とし、かつ黒潰れさせる割合の画素を黒色とした状態で、合成画像のトーンマッピングを行う。

【0044】

図４は、輝度のヒストグラムにおいて白飛びさせる割合及び黒潰れさせる割合の具体例を示す図である。図４に示すように、合成画像生成部１１５は、合成画像の輝度のヒストグラムにおいて、輝度が最も小さい１０％の領域の画素を黒色とし、輝度が最も大きい１０％の領域の画素を白色とする。

【0045】

合成画像生成部１１５は、合成画像を生成する前の画像を記憶しておくこともできる。例えば、合成画像生成部１１５は、複数の撮像画像を全て保存する、又はトーンマッピング前の画像を保存する等であってもよい。これにより、画像処理装置１０は、合成画像による対象物の検出や検査に失敗したときに、保存されている画像を使って、画像合成に関するパラメータを調整することができる。また、画像処理装置１０は、別のパラメータ調整の方法を自動で試して、システムが止まらないようにすることもできる。

【0046】

図５は、画像処理装置１０の処理の流れを示すフローチャートである。
ステップＳ１において、第１露光時間決定部１１１は、被写体を撮像するための露光時間の最小値を予め設定し、第２露光時間決定部１１２は、被写体を撮像するための露光時間の最大値を設定する。

【0047】

ステップＳ２において、視覚センサ４は、予め設定された露光時間の最小値で被写体を撮像する。
ステップＳ３において、第１露光時間決定部１１１は、露光時間の最小値で被写体を撮像した撮像画像の輝度の第１のヒストグラムを算出する。

【0048】

ステップＳ４において、第１露光時間決定部１１１は、ステップＳ３において算出された第１のヒストグラムにおいて最も輝度が大きい値Ｌｍａｘが、第１の閾値Ｈ１以上であるか否かを判定する。Ｌｍａｘが第１の閾値Ｈ１以上である場合（ＹＥＳ）、処理は、ステップＳ６へ移る。Ｌｍａｘが第１の閾値Ｈ１未満である場合（ＮＯ）、処理は、ステップＳ５へ移る。

【0049】

ステップＳ５において、第１露光時間決定部１１１は、最も輝度が大きい値が第１の閾値Ｈ１に近づくように露光時間の最小値を変更する。

【0050】

ステップＳ６において、第１露光時間決定部１１１は、ステップＳ２からステップＳ５の処理を繰り返すことによって露光時間の最小値を決定する。

【0051】

ステップＳ７において、視覚センサ４は、予め設定された露光時間の最大値で被写体を撮像する。
ステップＳ８において、第２露光時間決定部１１２は、露光時間の最大値で被写体を撮像した撮像画像の輝度の第２のヒストグラムを算出する。

【0052】

ステップＳ９において、第２露光時間決定部１１２は、ステップＳ８において算出された第２のヒストグラムにおいて最も輝度が小さい値Ｌｍｉｎが、第２の閾値Ｈ２以下であるか否かを判定する。Ｌｍｉｎが第２の閾値Ｈ２以下である場合（ＹＥＳ）、処理は、ステップＳ１１へ移る。Ｌｍｉｎが第２の閾値Ｈ２を超える場合（ＮＯ）、処理は、ステップＳ１０へ移る。

【0053】

ステップＳ１０において、第２露光時間決定部１１２は、最も輝度が小さい値が第２の閾値Ｈ２に近づくように露光時間の最大値を変更する。

【0054】

ステップＳ１１において、第２露光時間決定部１１２は、ステップＳ７からステップＳ１０の処理を繰り返すことによって露光時間の最大値を決定する。

【0055】

ステップＳ１２において、撮像条件決定部１１４は、ステップＳ６において決定された露光時間の最小値及びステップＳ１１において決定された露光時間の最大値を含む露光時間範囲に基づいて、被写体を撮像するための露光時間及び被写体を撮像する撮像回数を決定する。

【0056】

ステップＳ１３において、合成画像生成部１１５は、ステップＳ１２において決定された露光時間及び撮像回数を用いて被写体を撮像した複数の撮像画像を合成し、合成画像を生成する。

【0057】

以上説明したように、本実施形態によれば、画像処理装置１０は、被写体を撮像するための露光時間の最小値を決定する第１露光時間決定部１１１と、被写体を撮像するための露光時間の最大値を決定する第２露光時間決定部１１２と、決定された露光時間の最小値及び露光時間の最大値を含む露光時間範囲に基づいて、被写体を撮像するための露光時間及び被写体を撮像する撮像回数を決定する撮像条件決定部１１４と、決定された露光時間及び撮像回数を用いて被写体を撮像した複数の撮像画像を合成し、合成画像を生成する合成画像生成部と、を備える。

【0058】

これにより、画像処理装置１０は、測光センサ等を有さずに、被写体を撮像するための適切な露光時間の範囲及び撮像回数を決定し、合成画像を得ることができる。

【0059】

また、第１露光時間決定部１１１は、露光時間の最小値で被写体を撮像した撮像画像において輝度を算出し、算出された輝度に基づく値が、第１の閾値Ｈ１よりも小さい場合、露光時間の最小値を変更する。そして、第１露光時間決定部１１１は、輝度に基づく値が、第１の閾値Ｈ１以上になるまで、被写体の撮像、輝度の算出及び露光時間の最小値の変更を繰り返し、露光時間の最小値を決定する。これにより、画像処理装置１０は、露光時間の最小値を適切に決定することができる。

【0060】

また、第２露光時間決定部１１２は、露光時間の最大値で被写体を撮像した撮像画像において輝度を算出し、算出された輝度に基づく値が、第２の閾値Ｈ２よりも大きい場合、露光時間の最大値を変更する。そして、第２露光時間決定部１１２は、輝度に基づく値が、第２の閾値以下になるまで、被写体の撮像、輝度の取得及び露光時間の最大値の変更を繰り返し、露光時間の最大値を決定する。これにより、画像処理装置１０は、露光時間の最大値を適切に決定することができる。

【0061】

また、露光時間を決定するために用いられる撮像画像は、縮小画像である。これにより、画像処理装置１０は、縮小画像を用いることによって、通常の大きさの撮像画像を用いる場合よりも、露光時間を決定するための処理を高速化することができる。

【0062】

また、第１露光時間決定部１１１は、露光時間の最小値を予め設定する際に、事前に撮像された撮像画像の露光時間の最小値を用いる。第２露光時間決定部１１２は、露光時間の最大値を予め設定する際に、事前に撮像された撮像画像の露光時間の最大値を用いる。これにより、画像処理装置１０は、露光時間の範囲の計測を高速化することができる。

【0063】

また、第１露光時間決定部１１１は、露光時間の最小値を予め設定する際に、外部から指定された撮像画像の露光時間の最小値を用いてもよい。第２露光時間決定部１１２は、露光時間の最大値を予め設定する際に、外部から撮像画像の露光時間の最大値を用いてもよい。これにより、画像処理装置１０は、露光時間の範囲の計測を高速化することができる。

【0064】

また、第３露光時間決定部１１３は、露光時間の最小値と露光時間の最大値との間の基準露光時間で被写体を撮像した撮像画像の輝度の基準ヒストグラムを算出し、基準ヒストグラムを記憶部１２に記憶する。次に、第３露光時間決定部１１３は、基準露光時間で前記被写体を撮像した前記撮像画像の輝度の第３のヒストグラムを算出し、第３のヒストグラムが前記基準ヒストグラムと一致するように露光時間係数を算出する。

【0065】

また、撮像条件決定部１１４は、露光時間の最小値、露光時間の最大値及び露光時間係数に基づいて、露光時間範囲を算出する。これにより、画像処理装置１０は、基準ヒストグラム及び基準露光時間を考慮した露光時間範囲を算出することができる。

【0066】

また、合成画像生成部１１５は、複数の撮像画像において白飛びさせる割合と黒潰れさせる割合との少なくとも一方を指定可能とし、合成画像において、白飛びさせる割合の画素を白色とし、かつ黒潰れさせる割合の画素を黒色とした状態で、合成画像のトーンマッピングを行う。これにより、画像処理装置１０は、高い解像度を有する合成画像を適切に得ることができる。

【0067】

また、合成画像生成部１１５は、合成画像を生成する前の元の画像の情報を記録することによって、異なる合成方法による合成画像生成を可能にする。これにより、画像処理装置１０は、合成画像による対象物の検出や検査に失敗したときに、保存されている画像を使って、画像合成に関するパラメータを調整することができる。

【0068】

図６は、本発明の一実施形態に係る複数の視覚センサ４が接続される画像処理システム２０１の例を模式的に示す図である。図６には、Ｎ個の視覚センサ４がネットワークバス２１０を介してセルコントローラ２００に接続されている。セルコントローラ２００は、上述の画像処理装置１０と同様の機能を有し、Ｎ個の視覚センサ４のそれぞれから取得される撮像画像を取得する。

【0069】

このような図６に示す画像処理システム２０１において、セルコントローラ２００は、例えば、機械学習器（図示せず）を有してもよい。機械学習器は、セルコントローラ２００に記憶された学習データの集まりを取得して、教師あり学習を行う。この例では、学習処理を逐次オンラインで処理していくこともできる。

【0070】

図７は、本発明の一実施形態に係る複数の画像処理装置１０が接続される画像処理システム３０１の例を模式的に示す図である。図７には、ｍ個の画像処理装置１０がネットワークバス２１０を介してセルコントローラ２００に接続されている。画像処理装置１０のそれぞれには視覚センサ４が１又は複数接続されている。画像処理システム３０１全体としては合計ｎ個の視覚センサ４を備えている。

【0071】

このような図７に示す画像処理システム３０１において、セルコントローラ２００は、例えば、機械学習器（図示せず）を有してもよい。セルコントローラ２００は複数の画像処理装置１０から送られてきた学習データの集まりを学習データセットとして記憶し、機械学習を行って学習モデルを構築してもよい。学習モデルは、各画像処理装置１０で利用可能となる。

【0072】

なお、上述した実施形態では、画像処理装置１０は、露光時間に関する制御を行ったが、露光時間以外の光学パラメータに関する制御を行ってもよい。例えば、画像処理装置１０は、露光時間に替えて、撮像素子のゲイン、レンズの絞り等の光学パラメータに関する制御を行ってもよい。

【0073】

この場合、画像処理装置１０は、被写体を撮像するための光学パラメータの最小値を決定する第１露光時間決定部１１１と、被写体を撮像するための光学パラメータの最大値を決定する第２露光時間決定部１１２と、決定された光学パラメータの最小値及び光学パラメータの最大値を含む光学パラメータ範囲に基づいて、被写体を撮像するための光学パラメータ及び被写体を撮像する撮像回数を決定する撮像条件決定部１１４と、決定された光学パラメータ及び撮像回数を用いて被写体を撮像した複数の撮像画像を合成し、合成画像を生成する合成画像生成部と、を備える。これにより、画像処理装置１０は、測光センサ等を有さずに、被写体を撮像するための適切な光学パラメータの範囲及び撮像回数を決定し、合成画像を得ることができる。

【0074】

以上、本発明の実施形態について説明したが、上記のロボット制御装置１は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のロボット制御装置１により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

【0075】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。

【0076】

また、上述した各実施形態は、本発明の好適な実施形態ではあるが、上記各実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

【符号の説明】

【0077】

１ ロボット制御装置
２ ロボット
３ アーム
４ 視覚センサ
１０ 画像処理装置
１１ 制御部
１２ 記憶部
１００ ロボットシステム
１１１ 第１露光時間決定部
１１２ 第２露光時間決定部
１１３ 第３露光時間決定部
１１４ 撮像条件決定部
１１５ 合成画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】