特許 6804536 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6804536

(24)【登録日】2020年12月4日

(45)【発行日】2020年12月23日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201214BHJP

【ＦＩ】

   H04N5/232 127

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2018-527338(P2018-527338)

(86)(22)【出願日】2016年7月14日

(86)【国際出願番号】JP2016070868

(87)【国際公開番号】WO2018011949

(87)【国際公開日】20180118

【審査請求日】2019年6月20日

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】110000017

【氏名又は名称】特許業務法人アイテック国際特許事務所

(72)【発明者】

【氏名】神藤 高広

(72)【発明者】

【氏名】大石 信夫

(72)【発明者】

【氏名】酒井 啓悦

【審査官】 篠塚 隆

(56)【参考文献】

【文献】 特開２０１６−１５０１７（ＪＰ，Ａ）

【文献】 特開２００３−２６２７８３（ＪＰ，Ａ）

【文献】 特開平４−３１８５０９（ＪＰ，Ａ）

【文献】 特開２０１１−３９１９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ５／２３２

(57)【特許請求の範囲】

【請求項1】

可変焦点レンズと、
前記可変焦点レンズを通過した光を受光して画像データを生成する撮像部であって、該画像データとして通常画像データを生成する通常撮像モードと、該画像データとして該通常画像データの一部の領域に相当する部分画像データを生成する部分撮像モードと、を有する撮像部と、
前記撮像部が生成した画像データに基づいて該画像データの合焦度合いを表す評価値を導出する評価値導出部と、
前記撮像部に前記部分撮像モードで前記部分画像データを生成させ該部分画像データの前記評価値を前記評価値導出部に導出させる処理を前記可変焦点レンズの焦点位置を変化させながら複数回行って、該導出された複数の評価値に基づいて合焦が得られる焦点位置である合焦位置を検出する合焦位置探索処理と、該検出された合焦位置に基づく焦点位置において前記撮像部に前記通常撮像モードで前記通常画像データを生成させる通常画像データ生成処理と、を行う撮像制御部と、
を備えた撮像装置であって、
前記撮像制御部は、前記合焦位置探索処理及び前記通常画像データ生成処理を繰り返し行って、得られた複数の前記通常画像データに基づく動画を生成し、
前記動画の１フレーム分の画像の出力周期の間に複数の前記通常画像データが生成されていたときには、前記撮像制御部は、対応する評価値がより高い前記通常画像データを選択して出力する、
撮像装置。

【請求項2】

前記撮像制御部は、前記合焦位置探索処理として、前記可変焦点レンズの焦点位置を変化させる領域である探索領域を設定して前記合焦位置を粗く探索する大域探索処理と、該大域探索処理で検出された合焦位置に基づいて設定され該大域探索処理と比べて小さい範囲の前記探索領域で前記可変焦点レンズの焦点位置を該大域探索処理と比べて細かく変化させる小域探索処理と、を行い、該小域探索処理で検出された合焦位置に基づいて前記通常画像データ生成処理を行う、
請求項１に記載の撮像装置。

【請求項3】

前記撮像制御部は、前記大域探索処理を行った後に前記小域探索処理を繰り返し行うにあたり、前記大域探索処理の次の前記小域探索処理では、前記探索領域を前記大域探索処理で検出された合焦位置に基づいて設定し、前記小域探索処理の次の前記小域探索処理では、前記探索領域を前回の前記小域探索処理で検出された合焦位置に基づいて設定する、
請求項２に記載の撮像装置。

【請求項4】

前記撮像制御部は、前記合焦位置探索処理において、前記導出された複数の評価値に基づいて該評価値がピークを越えたか否かを判定して該ピークを越えたときに前記合焦位置を検出したとみなし、該ピークを越えたときに前記可変焦点レンズの焦点位置を該ピーク側に戻すことなく前記通常画像データ生成処理を行う、
請求項１〜３のいずれか１項に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

従来、撮像装置としては、１フィールド期間内に複数供給される画像データのうち、最大コントラスト値が得られる画像データを選択してモニター系に映出するものが知られている（特許文献１）。特許文献１では、これにより、ピントのボケない安定した映像のみを出力できるとしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−１７０４３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載の撮像装置では、目的とする画像（最大コントラスト値が得られる画像）を得るために複数の画像を撮像する必要があり、目的とする画像を得るまでに時間がかかるという問題があった。

【0005】

本発明は、上述した課題を解決するためになされたものであり、ピントの合った画像データをより短時間で得ることを主目的とする。

【課題を解決するための手段】

【0006】

本発明は、上述した主目的を達成するために以下の手段を採った。

【0007】

本発明の撮像装置は、
可変焦点レンズと、
前記可変焦点レンズを通過した光を受光して画像データを生成する撮像部であって、該画像データとして通常画像データを生成する通常撮像モードと、該画像データとして該通常画像の一部の領域に相当する部分画像データを生成する部分撮像モードと、を有する撮像部と、
前記撮像部が生成した画像データに基づいて該画像データの合焦度合いを表す評価値を導出する評価値導出部と、
前記撮像部に前記部分撮像モードで前記部分画像データを生成させ該部分画像データの前記評価値を前記評価値導出部に導出させる処理を前記可変焦点レンズの焦点位置を変化させながら複数回行って、該導出された複数の評価値に基づいて合焦が得られる焦点位置である合焦位置を検出する合焦位置探索処理と、該検出された合焦位置に基づく焦点位置において前記撮像部に前記通常撮像モードで前記通常画像データを生成させる通常画像データ生成処理と、を行う撮像制御部と、
を備えたものである。

【発明の効果】

【0008】

この撮像装置では、合焦位置探索処理では複数の部分画像データに基づく処理を行って合焦位置を検出する。こうすれば、部分画像データは通常画像データと比べてデータ量が小さいため、合焦位置探索処理において複数の通常画像データを用いる場合と比較して短時間で合焦位置探索処理を行うことができる。そして、合焦位置が検出された場合には通常画像データ生成処理を行うから、ピントの合った通常画像データが得られる。以上により、ピントの合った画像データ（通常画像データ）をより短時間で得ることができる。

【図面の簡単な説明】

【0009】

【図1】作業実行システム１００の概略説明図。

【図2】ロボットアーム１の概略説明図。

【図3】作業実行システム１００における電気的な接続関係を表すブロック図。

【図4】撮像ルーチンの一例を示すフローチャート。

【図5】動画生成ルーチンの一例を示すフローチャート。

【図6】部分撮像モードと通常撮像モードを切り替えながら合焦位置の探索と動画の生成とを行う様子を示す説明図。

【発明を実施するための形態】

【0010】

本発明の実施形態を図面を参照しながら以下に説明する。図１は、本発明の撮像装置６０を備えた作業実行システム１００の概略説明図である。図２は、ロボットアーム１の概略説明図である。図３は、作業実行システム１００における電気的な接続関係を表すブロック図である。なお、作業実行システム１００の左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１に示した通りとする。また、ロボットアーム１は全方位に可動するため固定される特定の方向はないが、説明の便宜のため、ロボットアーム１に対しては、図２に示した方向を左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）として説明する。

【0011】

作業実行システム１００は、作業対象の物品（ワーク）に対して複数の所定の作業を行う装置として構成されている。作業実行システム１００は、ロボットアーム１と、ロボットアーム１に取り付けられた撮像装置６０と、ロボットアーム１が配設される基台１０１と、本実施形態におけるワークであるボトル１０６を搬送するベルトコンベアとして構成された搬送装置１０２と、表示装置１０７と、装置全体を制御する制御装置８０（図３参照）と、を備えている。なお、本実施形態では、図１に示すようにロボットアーム１が搬送装置１０２の後方に１つ配設されているが、作業実行システム１００は搬送装置１０２の前方又は後方の少なくとも一方に配設された１以上のロボットアーム１を他にも備えていてもよい。

【0012】

ロボットアーム１は、ワークに対して所定の作業を行う装置として構成されている。ワークは、特に限定されないが、例えば、機械部品、電気部品、電子部品、化学部品など各種の部品のほか、食品、バイオ、生物関連の物品などが挙げられる。また、所定の作業としては、例えば、初期位置から所定位置まで採取、移動、配置する処理や、所定の部位に対して変形、接続、接合させる処理、又はワークを検査する処理などが挙げられる。本実施形態では、ロボットアーム１は、少なくとも、ワークであるボトル１０６を撮像し撮像された画像に基づいてボトル１０６の外観を検査する処理を行う。

【0013】

ロボットアーム１は、垂直多関節ロボットとして構成された多軸ロボットであり、第１アーム１１と、第２アーム１２と、第３支持部１３と、台座部１４と、先端部５０と、を備えている。また、ロボットアーム１は、複数（本実施形態では４個）の回転機構である第１〜第４回転機構２１〜２４と、複数（本実施形態では４個）の第１〜第４モータ３１〜３４と、複数（本実施形態では４個）の第１〜第４エンコーダ４１〜４４と、を備えている（図３参照）。

【0014】

第１アーム１１は、図２に示すように、ワークに対して作業を行う作業部である先端部５０が配設された長手部材である。第１アーム１１は、第２アーム１２とは反対側の端部に配設され回転軸及び歯車機構を有する第１回転機構２１を介して、先端部５０と接続されている。第１アーム１１の内部には、第１モータ３１及び第１エンコーダ４１が収納されている。第１モータ３１は、回転駆動力を出力して第１回転機構２１の回転軸を回転させる。そのため、先端部５０は第１アーム１１に対して回動可能に配設されている。第１エンコーダ４１は、第１モータ３１に取り付けられており、第１モータ３１の回転位置を検出可能なパルスであるエンコーダ信号を出力する。

【0015】

第２アーム１２は、回転軸及び歯車機構を有する第２回転機構２２を介して第１アーム１１が接続された長手部材である。第２アーム１２の内部には、第２モータ３２及び第２エンコーダ４２が収納されている。第２モータ３２は、回転駆動力を出力して第２回転機構２２の回転軸を回転させる。そのため、第１アーム１１は第２アーム１２に対して回動可能に配設されている。第２エンコーダ４２は、第２モータ３２に取り付けられており、第２モータ３２の回転位置を検出可能なパルスであるエンコーダ信号を出力する。

【0016】

第３支持部１３は、回転軸及び歯車機構を有する第３回転機構２３を介して第２アーム１２が接続された部材である。第３支持部１３の内部には、第３モータ３３及び第３エンコーダ４３が収納されている。第３モータ３３は、回転駆動力を出力して第３回転機構２３の回転軸を回転させる。そのため、第２アーム１２は第３支持部１３に対して回動可能に配設されている。第３エンコーダ４３は、第３モータ３３に取り付けられており、第３モータ３３の回転位置を検出可能なパルスであるエンコーダ信号を出力する。

【0017】

台座部１４は、上下方向に形成された支持軸を含む第４回転機構２４を介して第３支持部１３を支持する。台座部１４の内部には、第４モータ３４及び第４エンコーダ４４が収納されている。第４モータ３４は、回転駆動力を出力して第４回転機構２４の支持軸を回転させる。そのため、第３支持部１３は台座部１４に対して回動可能に配設されている。第４エンコーダ４４は、第４モータ３４に取り付けられており、第４モータ３４の回転位置を検出可能なパルスであるエンコーダ信号を出力する。

【0018】

先端部５０は、ワークに対して所定の作業を行うものである。先端部５０は、図２に示すように、装着部５２と、撮像装置６０と、を備えている。装着部５２は、先端部５０本体の下面に配設されている。装着部５２の下面には、ワークに対して所定の作業を行うための種々の部材を装着可能であり、例えばワークを把持するメカニカルチャックなどを装着可能である。

【0019】

撮像装置６０は、画像を撮像可能な装置であり、例えば搬送装置１０２によって搬送中のボトル１０６及びその周辺を撮像する。撮像装置６０は、照射部６１と、可変焦点レンズ６２と、駆動部６３と、撮像部６４と、記憶部６７と、評価値導出部６８と、撮像制御部６９と、を備える（図３参照）。照射部６１は、例えば、可変焦点レンズ６２の外周に円状に配設された照明であり、ワーク及びワークの周辺に対して光を照射可能である。可変焦点レンズ６２は、駆動部６３により移動することで光軸方向（図３の左右方向）に移動可能に構成されており、これにより焦点位置が変更可能である。駆動部６３は、可変焦点レンズ６２を移動させる機構である。駆動部６３は、例えばモータとモータの回転位置を検出可能なエンコーダとを備えた構成としてもよい。

【0020】

撮像部６４は、可変焦点レンズを通過した光を受光して画像データを生成するモジュールであり、撮像素子６５と、信号処理部６６と、を備えている。撮像素子６５は、可変焦点レンズ６２を通過した光を受光しその光を光電変換して各々の画素に対応する電荷を生成する。撮像素子６５は、例えばＣＭＯＳイメージセンサとしてもよい。信号処理部６６は、撮像素子６５で生成された電荷を読み出して各々の画素の情報を含むデジタルデータである画像データを生成する。撮像部６４は、画像データとして通常画像データを生成する通常撮像モードと、画像データとして通常画像の一部の領域に相当する部分画像データを生成する部分撮像モードと、を有する。本実施形態において、通常撮像モードでは、撮像素子６５が生成した各々の画素に対応する電荷を全て信号処理部６６が読み出して通常画像データを生成する。すなわち、本実施形態では、通常画像データは撮像部６４が生成可能な最大の大きさ（画素数）の画像とした。一方、本実施形態において、部分撮像モードでは、撮像素子６５が生成した電荷のうち一部の領域に相当する電荷のみを信号処理部６６が読み出して部分画像データを生成する。そのため、部分画像データは、通常画像データよりも画素数の小さい画像となる。本実施形態では、部分画像データは、通常画像データのうち中央の矩形の領域の画素を切り出した画像に相当する画像データとした（後述する図６の部分画像データＳ１〜Ｓ３参照）。部分画像データの画素数は、例えば通常画像データの１／３〜１／１０の画素数としてもよい。

【0021】

記憶部６７は、信号処理部６６で生成された画像データや、評価値導出部６８が導出した評価値などの各種データを記憶可能である。評価値導出部６８は、撮像部６４が生成した画像データに基づいて、画像データにおける被写体の合焦度合いを表す評価値を導出する。本実施形態では、評価値導出部６８は、画像データの輝度情報に基づいて被写体のコントラストを導出し、このコントラストに基づいて評価値を導出するものとした。

【0022】

撮像制御部６９は、撮像装置６０全体を制御するものである。撮像制御部６９は、照射部６１に制御信号を出力して照射部６１からの光の照射を制御したり、撮像部６４に制御信号を出力して画像の撮像を行わせたり、評価値導出部６８に制御信号を出力して評価値の導出を行わせたりする。また、撮像制御部６９は、駆動部６３に制御信号を出力して可変焦点レンズ６２の焦点位置を変化させたり、駆動部６３のエンコーダからの信号を入力して可変焦点レンズ６２の焦点位置を検出したりする。撮像制御部６９は、撮像部６４が生成した複数の画像データを動画として制御装置８０及び表示装置１０７に出力したり、制御装置８０からの指令を入力したりする。

【0023】

なお、本実施形態では、信号処理部６６，評価値導出部６８，及び撮像制御部６９の各々は、専用の処理回路としてのハードウェア回路で構成されているものとした。ただし、これらの１以上について、撮像装置６０が有するＣＰＵ上で実行されるプログラムなどのソフトウェアで実現してもよい。

【0024】

制御装置８０は、ＣＰＵを中心とするマイクロプロセッサとして構成されており、作業実行システム１００の装置全体を制御する。この制御装置８０は、第１〜第４モータ３１〜３４，撮像装置６０，及び搬送装置１０２へ信号を出力する。また、制御装置８０には、第１〜第４エンコーダ４１〜４４からのエンコーダ信号や、撮像装置６０からの動画が入力される。

【0025】

表示装置１０７は、液晶ディスプレイなどの装置として構成されており、例えば作業実行システム１００の作業者に情報を表示する。表示装置１０７は、撮像装置６０から入力した動画を表示する。表示装置１０７は、撮像装置６０から入力した動画を記憶する記憶部を有していてもよい。

【0026】

次に、こうして構成された本実施形態の作業実行システム１００の動作、特に、撮像装置６０により撮像されたボトル１０６の画像データに基づいてボトル１０６の外観を検査する処理について説明する。まず、外観検査の概略について説明する。制御装置８０は、まず、ロボットアーム１の第１〜第４モータ３１〜３４を制御して、搬送装置１０２により搬送されるボトル１０６を撮像可能な位置まで撮像装置６０を移動させ、撮像装置６０に撮像開始指令を出力する。撮像開始指令を入力した撮像装置６０は、ボトル１０６を撮像してボトル１０６を含む複数の通常画像データを継続的に制御装置８０及び表示装置１０７に出力する。すなわち、撮像装置６０は制御装置８０及び表示装置１０７に動画を出力する。制御装置８０は、入力した動画に含まれる複数の通常画像データに基づいてボトル１０６の位置，移動方向，移動速度などを認識し、ボトル１０６を追跡して撮像装置６０が複数の向きからボトル１０６を撮像するようロボットアーム１を制御する。また、制御装置８０は、入力した動画に含まれる複数の通常画像データに基づいてボトル１０６の外観の異常の有無を検査する外観検査を行う。また、作業者は、必要に応じて表示装置１０７に表示された動画を確認して、目視でのボトル１０６の外観検査や撮像装置６０及び制御装置８０の動作異常の有無などを確認する。このように、制御装置８０はロボットアーム１を制御してボトル１０６のうち外観検査に必要な通常画像データを撮像可能な位置に撮像装置６０を移動させ続け、撮像装置６０はその間に動画を生成し続ける。以下、撮像開始指令を入力した撮像装置６０が制御装置８０及び表示装置１０７に動画を出力する際の動作について詳細に説明する。

【0027】

図４は、撮像ルーチンの一例を示すフローチャートである。図５は、動画生成ルーチンの一例を示すフローチャートである。図６は、部分撮像モードと通常撮像モードを切り替えながら合焦位置の探索と動画の生成とを行う様子を示す説明図である。図６では、横軸が時刻ｔであり、最上段に示す折れ線は可変焦点レンズ６２の焦点位置の時間変化を示している。また、２段目に示す曲線は後述する合焦位置探索処理（ここでは大域探索及び小域探索）で導出される評価値の時間変化を示している。３段目に示す太線は撮像モードの時間変化を示しており、太破線が部分撮像モード、太実線が通常撮像モードを表している。４段目は、動画を構成する個々の通常画像データの出力タイミングを示している。最下段は、部分画像データＳ１〜Ｓ３と、通常画像データＰ１とを示している。

【0028】

撮像制御部６９は、制御装置８０から撮像開始指令を入力すると、図４，５のルーチンを開始する。まず図４の撮像ルーチンについて説明する。この撮像ルーチンを開始すると、撮像制御部６９は、まず、被写体の合焦が得られる可変焦点レンズ６２の焦点位置である合焦位置を探索する処理である大域探索処理を行う（ステップＳ１００）。大域探索処理では、撮像制御部６９は、まず、可変焦点レンズ６２の焦点位置を変化させる領域である探索領域を設定する（ステップＳ１１０）。例えば、図６のように時刻ｔ０で探索領域Ａ１を設定する。この探索領域Ａ１は、後述する小域探索処理（Ｓ２００）の探索領域Ａ２〜Ａ６に比して大きい領域として設定されており、例えば可変焦点レンズ６２が変化可能な焦点位置の上限から下限までの全ての領域として設定されている。続いて、撮像制御部６９は、ステップＳ１００で設定した探索領域内で可変焦点レンズ６２の焦点位置を粗く変化させる処理を開始するよう駆動部６３を制御する（ステップＳ１２０）。これにより、駆動部６３は、例えば設定した探索領域の一端側から他端側に向けて、比較的粗くすなわち単位時間当たりの変化幅が比較的大きくなるように可変焦点レンズ６２の焦点位置を順次変化させていく。また、撮像制御部６９は、部分撮像モードで部分画像データの生成を開始するよう撮像部６４を制御する（ステップＳ１３０）。これにより、撮像部６４は、部分撮像モードで連続的に部分画像データの生成を行って、記憶部６７に部分画像データを順次記憶していく。続いて、撮像制御部６９は、記憶部６７に記憶された部分画像データに基づいて評価値の導出を開始するよう評価値導出部６８を制御する（ステップＳ１４０）。これにより、評価値導出部６８は、記憶部６７に新たな部分画像データが記憶されると、それに基づく評価値を導出して記憶部６７に記憶する。撮像制御部６９がこのステップＳ１２０〜Ｓ１４０を行うことで、図６の時刻ｔ０〜ｔ１に示すように、駆動部６３が可変焦点レンズ６２の焦点位置を探索領域Ａ１内で変化させている間、撮像部６４は連続的に部分画像データを生成し、評価値導出部６８は生成された部分画像データの評価値を順次導出していき、これらの部分画像データや評価値が記憶部６７に記憶されていく。なお、可変焦点レンズ６２の焦点位置，部分画像データ，及び評価値は、例えば時刻を表す情報などを介して互いに対応づけられて記憶部６７に記憶されるものとした。

【0029】

続いて、撮像制御部６９は、ステップＳ１１０で設定した探索領域内の一端側から他端側までの焦点位置の変化が完了するまで待つ（ステップＳ１５０）。すなわち撮像制御部６９は探索領域内の探索が完了するまで待つ。焦点位置の変化が完了すると、撮像制御部６９は、導出された評価値のピークに基づいて合焦位置を検出し記憶部６７に記憶し（ステップＳ１６０）、大域探索処理を終了する。例えば、図６の時刻ｔ０〜ｔ１の間の大域探索処理では、評価値のピークは値Ｖ１であるから、この値Ｖ１が得られたときの焦点位置Ｌ１を合焦位置として記憶部６７に記憶する。

【0030】

ステップＳ１００の大域探索処理を行うと、撮像制御部６９は、小域探索処理を行う（ステップＳ２００）。小域探索処理は、設定する探索領域が小さい点、可変焦点レンズ６２の焦点位置の変化を細かくする点、及び評価値のピークが検出されたら処理を終了する点、以外は大域探索処理と同様の処理を行う。小域探索処理では、撮像制御部６９は、まず、前回検出された合焦位置に基づいて、大域探索処理における探索領域よりも小さい範囲で探索領域を設定する（ステップＳ２１０）。したがって、大域探索処理の次に実行する小域探索処理では、直前の大域探索処理のステップＳ１６０で検出された合焦位置に基づいて探索領域を設定する。本実施形態では、図６に示すように、撮像制御部６９は、検出された合焦位置（焦点位置Ｌ１）を中心とする所定の範囲を次の探索領域Ａ２に設定する。続いて、撮像制御部６９は、設定した探索領域内で焦点位置を細かく変化させる処理と（ステップＳ２２０）、部分画像データの生成を開始する処理と（ステップＳ２３０）、評価値を導出する処理と（ステップＳ２４０）、を駆動部６３，撮像部６４，及び評価値導出部６８にそれぞれ開始させる。ステップＳ２２０〜Ｓ２４０の処理は、ステップＳ２２０においてステップＳ１２０と比べて可変焦点レンズ６２の焦点位置を比較的細かくすなわち単位時間当たりの変化幅が比較的小さくなるように順次変化させていく点以外は、ステップＳ１２０〜Ｓ１４０と同様である。

【0031】

続いて、撮像制御部６９は、評価値のピークすなわち合焦位置が検出されるまで待ち（ステップＳ２５０）、合焦位置を検出すると小域探索処理を終了する。撮像制御部６９は、例えば、順次導出されていく評価値がピークを越えたか否かによって、評価値のピークを検出することができる。例えば図６の時刻ｔ１〜ｔ２間の小域探索処理では、時間の経過に伴い評価値が値Ｖ２まで上昇したあとに低下した値Ｖ３が導出された場合に、値Ｖ２が評価値のピークであり焦点位置Ｌ２が合焦位置であると検出する。なお、撮像制御部６９は、ピークの検出の精度を高めるために、導出された評価値が複数回（例えば２回）連続で低下したときにピークを越えたと判定したり、導出された評価値が所定の変化幅以上に低下したときにピークを越えたと判定したりしてもよい。撮像制御部６９は、検出した合焦位置を記憶部６７に記憶しておく。

【0032】

ステップＳ２００の小域探索処理を終了すると、撮像制御部６９は、通常撮像モードで通常画像データを生成するよう撮像部６４を制御する通常画像データ生成処理を行って、生成された通常画像データを評価値と対応づけて記憶部６７に記憶する（ステップＳ３００）。これにより、直前の小域探索処理のステップＳ２５０で検出された合焦位置に基づく焦点位置における通常画像データが生成される。本実施形態では、撮像制御部６９は、ステップＳ２５０で合焦位置が検出されたと判定したときに焦点位置の変化を停止するよう駆動部６３を制御して、その状態で通常画像データ生成処理を行う。例えば図６の時刻ｔ１〜ｔ２間の小域探索処理では、可変焦点レンズ６２の焦点位置が焦点位置Ｌ３にあるときに合焦位置（焦点位置Ｌ２）が検出されるため、そのまま焦点位置Ｌ３の状態で時刻ｔ２〜ｔ３間に通常画像データＰ１が生成される。このように、本実施形態では、評価値がピークを越えたときに可変焦点レンズ６２の焦点位置をピーク側に戻すことなく通常画像データ生成処理を行う。なお、本実施形態では撮像制御部６９はステップＳ２５０で合焦位置が検出されたと判定したときに焦点位置の変化を停止するよう駆動部６３を制御したが、停止させずにそのままさらに焦点位置が変化した状態で通常画像データ生成処理を行ってもよい。また、ステップＳ３００では、撮像制御部６９は、生成された通常画像データと評価値とを対応づけて記憶するが、この評価値は通常画像データに基づいて評価値導出部６８が導出した値としてもよいし、通常画像データの評価値とみなせる値としてもよい。通常画像データの評価値とみなせる値としては、直前に検出された合焦位置に対応する評価値（例えば図６の焦点位置Ｌ２に対応する値Ｖ２）、合焦位置が検出されたときの焦点位置に対応する評価値（例えば図６の焦点位置Ｌ３に対応する値Ｖ３）、などが挙げられる。本実施形態では、撮像制御部６９は、合焦位置が検出されたときの焦点位置に対応する評価値、言い換えると直前に導出された評価値、を通常画像データの評価値とみなして、この値と通常画像データとを対応づけて記憶部６７に記憶するものとした。

【0033】

このように、撮像制御部６９は、ステップＳ１００の大域探索処理で比較的大きい探索領域を設定して大まかな合焦位置を検出し、次にステップＳ２００の小域探索処理で比較的小さい探索領域を設定して詳細な合焦位置を検出し、検出された合焦位置付近の焦点位置における通常画像データを生成する。そして、大域探索処理及び小域探索処理では撮像部６４は部分撮像モードで撮像を行い、小域探索処理で合焦位置が検出された後にのみ通常撮像モードで撮像を行う。そのため、部分撮像モードでは、例えば図６の最下段に示すように、撮像部６４は通常画像データＰの一部に相当する部分画像データＳ１しか生成しないから、通常画像データを生成する場合と比較して、画像データ（部分画像データ）の生成や評価値の導出を短時間で行うことができる。大域探索処理及び小域探索処理では複数回の部分画像データの生成（例えば図６の部分画像データＳ１，Ｓ２，Ｓ３，・・・）と複数回の評価値の導出とが行われるため、通常画像データではなく部分画像データを用いることによる時間短縮効果もその分だけ大きくなる。一方、小域探索処理で合焦位置が検出された場合には通常画像データ生成処理を行うから、ピントの合った通常画像データが得られる。なお、大域探索処理や小域探索処理は合焦位置を探索する処理であるから、これらの処理の間に生成される部分画像データには、合焦が得られていない画像すなわちピントのボケた画像も含まれる（例えば図６の部分画像データＳ１，Ｓ２）。

【0034】

ステップＳ３００の処理を行うと、撮像制御部６９は、ステップＳ２００以降の処理を実行する。すなわち、ステップＳ２００の小域探索処理と、ステップＳ３００で通常画像データを生成して記憶する処理と、を繰り返す。これにより、図６に示すように、時刻ｔ３からさらに複数回の小域探索処理（時刻ｔ３〜ｔ４間、時刻ｔ５〜ｔ６間、時刻ｔ７〜ｔ８間，・・・）と、複数回の通常画像データ生成処理（時刻ｔ４〜ｔ５間、時刻ｔ６〜ｔ７間、時刻ｔ８〜ｔ９間，・・・）が交互に行われて、複数の通常画像データ（Ｐ２，Ｐ３，Ｐ４，・・・）が生成される。なお、小域探索の次の小域探索処理では、撮像制御部６９は、ステップＳ２１０において、探索領域を前回の小域探索処理で検出された合焦位置に基づいて設定する。例えば図６では、撮像制御部６９は、時刻ｔ３において、合焦位置（焦点位置Ｌ２）に基づいて焦点位置Ｌ２を中心とする範囲として探索領域Ａ３を設定する。なお、図６における２回目の小域探索処理以降の処理や、探索領域Ａ４〜Ａ６，焦点位置Ｌ４〜Ｌ９，評価値の値Ｖ４〜Ｖ９については、上述した時刻ｔ１〜時刻ｔ３の処理（小域探索処理及びステップＳ３００）と同様の処理を繰り返す内容であるから、詳細な説明は省略する。なお、上述したようにロボットアーム１は制御装置８０により制御されて移動しボトル１０６も移動するため、時間の経過と共に合焦位置は変化していく。

【0035】

次に、図５の動画生成ルーチンについて説明する。この動画生成ルーチンは、図４の撮像ルーチンと並行して実行される。動画生成ルーチンは、図４の撮像ルーチンで記憶部６７に記憶された通常画像データに基づいて動画を生成して制御装置８０及び表示装置１０７に出力する処理である。この動画生成ルーチンが開始されると、撮像制御部６９は、まず、画像データの選択タイミングになるまで待つ（ステップＳ４００）。画像データの選択タイミングは、例えば画像データの制御装置８０及び表示装置１０７への出力タイミングの直前として設定されていてもよい。本実施形態では、撮像制御部６９は、図４，５のルーチンを開始した時刻ｔ０を基準として、動画の１フレーム分の画像の出力周期Ｔｆが経過する毎に画像データを出力開始する。例えば、図６では、時刻ｔ０から出力周期Ｔｆが経過した時刻Ｔ１やさらに出力周期Ｔｆが経過した時刻Ｔ２が画像データの出力タイミングである。そのため、時刻Ｔ１，Ｔ２の直前が選択タイミングとして設定されている。ステップＳ４００で画像データの選択タイミングと判定すると、撮像制御部６９は、前回の画像データ出力後に記憶部６７に記憶した通常画像データのうち最も評価値が高いデータを選択し（ステップＳ４１０）、選択した通常画像データを画像データの出力タイミングで出力して（ステップＳ４２０）、ステップＳ４００以降の処理を実行する。

【0036】

例えば、図６では、時刻Ｔ１の直前の選択タイミングでは通常画像データＰ１だけが記憶部６７に記憶されている。そのため、撮像制御部６９は、この通常画像データＰ１を選択して、時刻Ｔ１において制御装置８０及び表示装置１０７への出力を開始する。時刻Ｔ２の直前の選択タイミングでは、前回の通常画像データの出力後に通常画像データＰ２，Ｐ３が記憶されているため、撮像制御部６９は対応する評価値の高い方（値Ｖ５＞Ｖ７）である通常画像データＰ２を選択する。そして、撮像制御部６９は時刻Ｔ２において制御装置８０及び表示装置１０７への通常画像データＰ２の出力を開始する。このように、動画生成ルーチンでは、撮像制御部６９は、１フレーム分の画像の出力周期Ｔｆ経過毎に通常画像データを１つずつ出力することで、所定のフレームレート（１フレーム／出力周期Ｔｆ）の動画を出力する。また、１フレーム分の画像の出力周期Ｔｆの間に複数の通常画像データが生成されていたときには、撮像制御部６９は、対応する評価値がより高い通常画像データを選択して出力する。なお、出力する動画のフレームレートは、例えば制御装置８０から指定されてもよい。

【0037】

以上説明した本実施形態の作業実行システム１００では、撮像装置６０の撮像制御部６９は、撮像部６４に部分撮像モードで部分画像データを生成させ部分画像データの評価値を評価値導出部６８に導出させる処理を可変焦点レンズ６２の焦点位置を変化させながら複数回行って、導出された複数の評価値に基づいて合焦が得られる焦点位置である合焦位置を検出する合焦位置探索処理（ここでは大域探索処理及び小域探索処理）を行う。そして、撮像制御部６９は、検出された合焦位置に基づく焦点位置において撮像部６４に通常撮像モードで通常画像データを生成させる通常画像データ生成処理（ステップＳ３００）を行う。部分画像データは通常画像データと比べてデータ量が小さいため、合焦位置探索処理において複数の通常画像データを用いる場合と比較して短時間で合焦位置探索処理を行うことができる。そして、合焦位置が検出された場合には通常画像データ生成処理を行うから、ピントの合った通常画像データが得られる。以上により、ピントの合った画像データ（通常画像データ）をより短時間で得ることができる。

【0038】

また、撮像制御部６９は、合焦位置探索処理として、可変焦点レンズ６２の焦点位置を変化させる領域である探索領域を設定して合焦位置を粗く探索する大域探索処理と、大域探索処理で検出された合焦位置に基づいて設定され大域探索処理と比べて小さい範囲の探索領域で可変焦点レンズ６２の焦点位置を大域探索処理と比べて細かく変化させる小域探索処理と、を行う。そして、撮像制御部６９は、小域探索処理で検出された合焦位置に基づいて通常画像データ生成処理を行う。これにより、大域探索処理の後の小域探索処理では、大域探索処理と比べて小さい範囲の探索領域で可変焦点レンズ６２の焦点位置を変化させるから、より短時間で合焦位置探索処理を行うことができる。例えば、小域探索処理を行わず大域探索処理において焦点位置を細かく変化させる場合と比較して、より短時間で詳細な合焦位置を探索することができる。その結果、ピントの合った通常画像データもより短時間で得ることができる。また、小域探索処理では、大域探索処理で検出された合焦位置に基づいて探索領域を設定するから、探索領域を小さくしても適切に合焦位置を検出することができる。

【0039】

さらに、撮像制御部６９は、大域探索処理を行った後に小域探索処理を繰り返し行うにあたり、大域探索処理の次の小域探索処理では、探索領域を大域探索処理で検出された合焦位置に基づいて設定する。一方、撮像制御部６９は、小域探索の次の小域探索処理では、探索領域を前回の小域探索処理で検出された合焦位置に基づいて設定する。これにより、２回目以降の小域探索処理では前回の小域探索処理で検出された合焦位置に基づいて探索領域を設定するから、例えば２回目以降の小域探索処理でも大域探索処理で検出された合焦位置に基づいて探索領域を設定する場合と比較して、時間の経過と共に合焦位置が変化していく場合でも適切な探索領域を設定しやすい。

【0040】

さらにまた、撮像制御部６９は、小域探索処理において、導出された複数の評価値に基づいて評価値がピークを越えたか否かを判定してピークを越えたときに合焦位置を検出したとみなし、ピークを越えたときに可変焦点レンズ６２の焦点位置をピーク側に戻すことなく通常画像データ生成処理を行う。これにより、評価値がピークを越えたときに可変焦点レンズ６２の焦点位置をピーク側に戻してから通常画像データ生成処理を行う場合と比較して、通常画像データをより短時間で得ることができる。なお、評価値がピークのときと評価値がピークを越えたときとでは、焦点位置のずれはわずかであるため、ピークを越えたときに通常画像データ生成処理を行っても十分ピントの合った通常画像データは得られる。

【0041】

そしてまた、撮像制御部６９は、合焦位置探索処理及び通常画像データ生成処理を繰り返し行って、得られた複数の通常画像データに基づく動画を生成する。したがって、合焦位置探索処理中の画像データ（本実施形態では部分画像データ）は動画に含めないから、動画に含まれる画像の各々がピントの合った画像となる。ピントの合っていない画像は、制御装置８０によるボトル１０６の外観検査の誤検出や誤不検出を生じる場合があるが、そのようなことを低減できる。また、作業者が表示装置１０７に表示された動画を確認する際にピントの合っていない画像が含まれると違和感を持つが、そのようなことを低減できる。また、動画の各々の画像をピントのあった画像にするためには、出力周期Ｔｆよりも短い周期で画像データを生成して合焦位置を検出する必要がある。本実施形態の作業実行システム１００では、合焦位置を検出する際には部分撮像モードで短い周期での撮像が可能であるため、通常画像データを生成可能な周期が比較的長い撮像装置６０であっても、要求される出力周期Ｔｆでのピントのあった通常画像データの生成が可能になりやすい。

【0042】

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

【0043】

例えば、上述した実施形態では、大域探索処理の後に小域探索処理を繰り返し行ったが、これに限らず合焦位置探索処理を行うものであればよい。例えば、小域探索処理を行わず大域探索処理で検出された合焦位置に基づいて通常画像データを生成してもよい。また、小域探索処理で合焦位置が検出されなかったときには大域探索処理を行ってもよい。また、上述した実施形態では、撮像制御部６９は大域探索処理のステップＳ１５０において探索領域内の焦点位置の変化が完了するまで待ったが、これに限らず小域探索処理のステップＳ２５０と同様に評価値のピークが検出されたらステップＳ１６０に進んでもよい。また、上述した実施形態では、大域探索処理で検出された合焦位置に基づく通常画像データは生成しなかったが、生成してもよい。

【0044】

上述した実施形態では、撮像制御部６９は、小域探索の次の小域探索処理では、探索領域を前回の小域探索処理で検出された合焦位置に基づいて設定したが、これに限られない。例えば、小域探索の次の小域探索処理においても、直近の大域探索処理で検出された合焦位置に基づいて探索範囲を設定してもよい。

【0045】

上述した実施形態では、撮像制御部６９は、評価値がピークを越えたときに可変焦点レンズ６２の焦点位置をピーク側に戻すことなくステップＳ３００の通常画像データ生成処理を行ったが、ピーク側に戻してもよい。例えば図６の時刻ｔ２において、撮像制御部６９は焦点位置をＬ３からＬ２に移動させるよう駆動部６３を制御し、焦点位置Ｌ２において撮像部６４に通常画像データを生成させてもよい。

【0046】

上述した実施形態では、撮像制御部６９は、複数の通常画像データを動画として出力すなわち所定の出力周期Ｔｆで出力したが、これに限られない。例えば、ステップＳ３００で得られた複数の通常画像データの各々を画像ファイルとして順次出力してもよい。また、上述した実施形態では、撮像制御部６９は制御装置８０及び表示装置１０７に通常画像データを出力したが、これらのいずれか一方に出力してもよいし、他の装置に出力してもよいし、出力せず記憶部６７に記憶してもよい。

【0047】

上述した実施形態では、ロボットアーム１の先端部５０に撮像装置６０が配設されていたが、これに限られない。例えば、ボトル１０６を撮像可能な位置に撮像装置６０が固定配置されていてもよい。

【0048】

上述した実施形態では、制御装置８０がロボットアーム１を制御してワークであるボトル１０６の外観検査を行う場合について説明したが、これに限られない。例えば制御装置８０が、ロボットアーム１の装着部５２に装着されたメカニカルチャックなどの採取部材を用いてワークの採取及び移動を行うものとし、この際のワークの認識用に撮像装置６０が通常画像データを生成してもよい。

【0049】

上述した実施形態では、ロボットアーム１と撮像装置６０と制御装置８０と表示装置１０７とを備える作業実行システム１００として説明したが、例えばロボットアーム１に接続される制御装置８０と撮像装置６０とを備えた撮像システムとしてもよいし、制御装置８０に加えて又は代えて表示装置１０７を備えた撮像システムとしてもよい。また、ロボットアーム１に接続される撮像装置６０単体としてもよい。

【産業上の利用可能性】

【0050】

本発明は、ワークの外観検査などの処理を行う装置の技術分野に利用可能である。

【符号の説明】

【0051】

１ ロボットアーム、１１，１２ 第１，第２アーム、１３ 第３支持部、１４ 台座部、２１〜２４ 第１〜第４回転機構、３１〜３４ 第１〜第４モータ、４１〜４４ 第１〜第４エンコーダ、５０ 先端部、５２ 装着部、６０ 撮像装置、６１ 照射部、６２ 可変焦点レンズ、６３ 駆動部、６４ 撮像部、６５ 撮像素子、６６ 信号処理部、６７ 記憶部、６８ 評価値導出部、６９ 撮像制御部、８０ 制御装置、１００ 作業実行システム、１０１ 基台、１０２ 搬送装置、１０６ ボトル、１０７ 表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】