特開 2025-1908 鮮明画像取得システム、鮮明画像取得方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025001908

(43)【公開日】2025-01-09

(54)【発明の名称】鮮明画像取得システム、鮮明画像取得方法及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241226BHJP

   H04N 23/68 20230101ALI20241226BHJP

   H04N 23/55 20230101ALI20241226BHJP

   G03B 15/00 20210101ALI20241226BHJP

   G03B 5/00 20210101ALI20241226BHJP

   G03B 17/17 20210101ALI20241226BHJP

   G03B 19/12 20210101ALI20241226BHJP

   G06T 7/00 20170101ALI20241226BHJP

   G06V 10/40 20220101ALI20241226BHJP

【ＦＩ】

H04N23/60 100

H04N23/68

H04N23/55

G03B15/00 T

G03B5/00 J

G03B17/17

G03B19/12

G06T7/00 300F

G06V10/40

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023101674

(22)【出願日】2023-06-21

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(71)【出願人】

【識別番号】523033279

【氏名又は名称】パーソルクロステクノロジー株式会社

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】山川 雄司

(72)【発明者】

【氏名】米津 真之介

【テーマコード（参考）】

2H054

2H101

2K005

5C122

5L096

【Ｆターム（参考）】

2H054BB02

2H101FF00

2K005AA06

5C122DA04

5C122DA12

5C122EA41

5C122FA08

5C122FB11

5C122FH03

5C122FH11

5C122FH12

5C122FH23

5C122HA13

5C122HA35

5C122HA82

5C122HA88

5C122HB01

5C122HB05

5C122HB10

5L096CA04

5L096FA06

5L096FA23

5L096FA60

5L096FA62

5L096FA69

5L096JA11

(57)【要約】

【課題】振動するオブジェクトに対し鮮明な画像を取得できる鮮明画像取得システムを提供する。
【解決手段】本発明の一態様によれば、鮮明画像取得システムが提供される。この鮮明画像取得システムは、プロセッサを備える。プロセッサは、受付ステップと、処理ステップと、を実行するように構成される。受付ステップでは、振動するオブジェクトを連続的に撮影した複数の画像の入力を受け付ける。処理ステップでは、複数の画像からモーションブラーが予め定めた基準よりも小さい鮮明画像を抽出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

鮮明画像取得システムであって、
プロセッサを備え、
前記プロセッサは、受付ステップと、処理ステップと、を実行するように構成され、
前記受付ステップでは、振動するオブジェクトを連続的に撮影した複数の画像の入力を受け付け、
前記処理ステップでは、前記複数の画像からモーションブラーが予め定めた基準よりも小さい鮮明画像を抽出する、鮮明画像取得システム。

【請求項2】

請求項１に記載の鮮明画像取得システムにおいて、
前記処理ステップでは、前記複数の画像における前記オブジェクトの中心点の移動量を算出し、前記移動量が小さい画像を前記鮮明画像として抽出する、鮮明画像取得システム。

【請求項3】

請求項２に記載の鮮明画像取得システムにおいて、
前記処理ステップでは、前記複数の画像における前記オブジェクトの輪郭をそれぞれ抽出し、前記輪郭で画定される図形の重心を前記中心点とする、鮮明画像取得システム。

【請求項4】

請求項１に記載の鮮明画像取得システムにおいて、
前記処理ステップでは、前記複数の画像の離散フーリエ変換により振幅スペクトルを算出し、前記振幅スペクトルの分布に基づいて前記鮮明画像を抽出する、鮮明画像取得システム。

【請求項5】

請求項４に記載の鮮明画像取得システムにおいて、
前記処理ステップでは、前記振幅スペクトルにおける振幅が一定値未満の点の数が閾値以上の画像を前記鮮明画像として抽出する、鮮明画像取得システム。

【請求項6】

請求項１に記載の鮮明画像取得システムにおいて、
撮影装置をさらに備え、
前記撮影装置は、前記複数の画像を取得するカメラを有し、
前記プロセッサは、調整ステップをさらに実行するように構成され、
前記調整ステップでは、前記複数の画像のうち少なくとも１つの画像における前記オブジェクトの位置を算出し、前記オブジェクトの位置に基づいて前記オブジェクトからの反射光の前記カメラへの入射角を調整する、鮮明画像取得システム。

【請求項7】

請求項６に記載の鮮明画像取得システムにおいて、
前記撮影装置は、前記反射光を前記カメラに向けて反射させる反射面を有する反射部材をさらに有し、
前記調整ステップでは、前記オブジェクトの中心点の位置に基づいて前記反射面の向きを調整する、鮮明画像取得システム。

【請求項8】

請求項７に記載の鮮明画像取得システムにおいて、
前記調整ステップでは、前記カメラの画角の中心に前記中心点が近づくように前記反射面の向きを調整する、鮮明画像取得システム。

【請求項9】

鮮明画像取得方法であって、
請求項１から請求項８のいずれか１項に記載の鮮明画像取得システムの各ステップを備える、鮮明画像取得方法。

【請求項10】

プログラムであって、
コンピュータを、請求項１から請求項８のいずれか１項に記載の鮮明画像取得システムとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鮮明画像取得システム、鮮明画像取得方法及びプログラムに関する。

【背景技術】

【0002】

製造ラインにおいて、下記の文献に開示されるように、製品（ワーク）を撮影した画像を用いて、製品の外観検査を行う方法が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４７４４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

製造ライン上の製品には振動が存在しうる。そのため、振動によって製品の鮮明な撮影画像が得られないケースでは、画像処理による外観検査が難しい。

【0005】

本発明では上記事情に鑑み、振動するオブジェクトに対し鮮明な画像を取得できる鮮明画像取得システムを提供することとした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、鮮明画像取得システムが提供される。この鮮明画像取得システムは、プロセッサを備える。プロセッサは、受付ステップと、処理ステップと、を実行するように構成される。受付ステップでは、振動するオブジェクトを連続的に撮影した複数の画像の入力を受け付ける。処理ステップでは、複数の画像からモーションブラーが予め定めた基準よりも小さい鮮明画像を抽出する。

【0007】

このような態様によれば、連続的に撮影した複数の画像からモーションブラーが基準よりも小さい画像が抽出されることで、振動するオブジェクトに対し、鮮明な画像を自動で取得することができる。

【図面の簡単な説明】

【0008】

【図1】鮮明画像取得システム１を表す構成図である。

【図2】情報処理装置２のハードウェア構成を示すブロック図である。

【図3】ユーザ端末３のハードウェア構成を示すブロック図である。

【図4】撮影装置４の構成を示す模式図である。

【図5】ユーザ端末３（プロセッサ３３）によって実現される機能を示すブロック図である。

【図6】カメラ４１への入射角の調整処理を示すフロー図である。

【図7】ガルバノミラー４４の角度とオブジェクトＴの中心点Ｐの位置との関係を説明する模式図である。

【図8】第１抽出処理を示すフロー図である。

【図9】２つの画像間におけるオブジェクトの中心点Ｐの移動を示す概念図である。

【図10】第２抽出処理を示すフロー図である。

【図11】振幅スペクトルの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

１．ハードウェア構成
本節では、ハードウェア構成について説明する。

【0014】

<鮮明画像取得システム１>
図１は、鮮明画像取得システム１を表す構成図である。鮮明画像取得システム１は、情報処理装置２と、ユーザ端末３と、撮影装置４とを備える。情報処理装置２と、ユーザ端末３とは、電気通信回線を通じて通信可能に構成されている。一実施形態において、鮮明画像取得システム１とは、１つ又はそれ以上の装置又は構成要素からなるものである。仮に例えば、情報処理装置２又はユーザ端末３のみからなる場合であれば、鮮明画像取得システム１は、情報処理装置２又はユーザ端末３となりうる。以下、これらの構成要素について説明する。

【0015】

<情報処理装置２>
図２は、情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信バス２０と、通信部２１と、記憶部２２と、プロセッサ２３とを備える。通信部２１、記憶部２２、及びプロセッサ２３は、情報処理装置２の内部において通信バス２０を介して電気的に接続されている。

【0016】

<通信部２１>
通信部２１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置２は、通信部２１及びネットワークを介して、外部から種々の情報を通信してもよい。

【0017】

<記憶部２２>
記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラムや変数等を記憶している。

【0018】

<プロセッサ２３>
プロセッサ２３は、情報処理装置２に関連する全体動作の処理・制御を行う。プロセッサ２３は、例えば中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。プロセッサ２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、情報処理装置２に係る種々の機能を実現する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例であるプロセッサ２３によって具体的に実現されることで、プロセッサ２３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、プロセッサ２３は単一であることに限定されず、機能ごとに複数のプロセッサ２３を有するように実施してもよい。またそれらの組合せであってもよい。

【0019】

<ユーザ端末３>
図３は、ユーザ端末３のハードウェア構成を示すブロック図である。ユーザ端末３は、通信バス３０と、通信部３１と、記憶部３２と、プロセッサ３３と、表示部３４と、入力部３５と、を備える。通信部３１、記憶部３２、プロセッサ３３、表示部３４、及び入力部３５は、ユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２及びプロセッサ３３の説明は、情報処理装置２における各部の説明と同様のため省略する。

【0020】

<表示部３４>
表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。表示部３４は、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。具体的には、表示部３４は、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、又はプラズマディスプレイ等の表示デバイスとして実施され得る。これらの表示デバイスは、ユーザ端末３の種類に応じて使い分けて実施されることが好ましい。

【0021】

<入力部３５>
入力部３５は、ユーザによってなされた操作入力を受け付ける。操作入力は、命令信号として通信バス３０を介してプロセッサ３３に転送される。プロセッサ３３は、必要に応じて、転送された命令信号に基づいて所定の制御や演算を実行しうる。入力部３５は、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。入力部３５がタッチパネルとして実施される場合、ユーザは、入力部３５に対してタップ操作、スワイプ操作等を入力することができる。入力部３５としては、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等が採用可能である。

【0022】

情報処理装置２は、オンプレミス形態であってもよく、クラウド形態であってもよい。クラウド形態の情報処理装置２としては、例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、クラウドコンピューティングという形態で、上述の機能や処理を提供してもよい。

【0023】

<撮影装置４>
図４は、撮影装置４の構成を示す模式図である。撮影装置４は、カメラ４１と、複数のレンズ４２と、光源４３と、ガルバノミラー４４（反射部材の一例）と、駆動回路４６とを有する。

【0024】

カメラ４１は、振動台Ｖの上に配置されたターゲットとなるオブジェクトＴの複数の画像を取得する。カメラ４１は、イメージセンサ４１Ａを内蔵した高速カメラ（高速ビジョン）である。レンズ４２は、カメラ４１とガルバノミラー４４との間に配置されている。光源４３は、オブジェクトＴに光を照射する。

【0025】

ガルバノミラー４４は、オブジェクトＴからの反射光をカメラ４１に向けて反射させる反射面を有する。具体的には、ガルバノミラー４４は、Ｘ軸ミラー４４Ａと、Ｙ軸ミラー４４Ｂとの２つのミラーを有する２軸回転ミラーである。Ｘ軸ミラー４４Ａ及びＹ軸ミラー４４Ｂは、それぞれ独立して回転可能に構成されている。なお、図４では、２つのガルバノミラー４４が図示されているが、これらは同一のガルバノミラー４４を異なる方向から視た形状をそれぞれ模式的に示したものである。図中上方のガルバノミラー４４は、平面視であり、下方のガルバノミラー４４は、正面視である。

【0026】

駆動回路４６は、ガルバノミラー４４の反射面の向きを変更する回路である。駆動回路４６は、ＤＡコンバータ４６Ａと、第１モータドライバ４６Ｂと、第２モータドライバ４６Ｃとを有する。ＤＡコンバータ４６Ａは、ユーザ端末３からのデジタル信号をアナログ信号に変換して、第１モータドライバ４６Ｂ及び第２モータドライバ４６Ｃに入力する。第１モータドライバ４６Ｂは、ユーザ端末３からの入力信号に基づいて、Ｘ軸ミラー４４Ａを回転させ、反射面の角度を変更する。第２モータドライバ４６Ｃは、ユーザ端末３からの入力信号に基づいて、Ｙ軸ミラー４４Ｂを回転させ、反射面の角度を変更する。

【0027】

２．機能構成
本節では、本実施形態の機能構成について説明する。記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例であるプロセッサ３３によって具体的に実現されることで、プロセッサ３３に含まれる各機能部として実行されうる。

【0028】

図５は、ユーザ端末３（プロセッサ３３）によって実現される機能を示すブロック図である。具体的には、ユーザ端末３（プロセッサ３３）は、受付部３３１と、調整部３３２と、処理部３３３とを備える。

【0029】

<受付部３３１>
受付部３３１は、種々の情報を取得するように構成される。例えば、受付部３３１は、撮影装置４が振動するオブジェクトＴを定位置から連続的に撮影した複数の画像の入力を受け付ける。具体的には、受付部３３１は、カメラ４１から画像を取得する。なお、調整部３３２及び処理部３３３で扱う画像の解像度は、数百ピクセル×数百ピクセルのオーダ（例えば、３２０ピクセル×２４０ピクセル）である。

【0030】

<調整部３３２>
調整部３３２は、撮影装置４を制御するように構成される。例えば、調整部３３２は、撮影装置４から取得された複数の画像のうち少なくとも１つの画像におけるオブジェクトＴの位置を算出し、オブジェクトＴの位置に基づいてオブジェクトＴからの反射光のカメラ４１への入射角を調整する。これにより、処理部３３３で抽出処理を行う前に、撮影した画像自体の鮮明度を高めることができる。

【0031】

具体的には、調整部３３２は、オブジェクトＴの中心点の位置に基づいてガルバノミラー４４の反射面の向きを調整する。これにより、撮影装置４を大型化することなく、比較的簡潔な構成でカメラ４１への入射角を調整することができる。

【0032】

より詳細には、調整部３３２は、カメラ４１の画角の中心にオブジェクトＴの中心点が近づくようにガルバノミラー４４の反射面の向きを調整する。これにより、反射面の向きの調整量を簡潔な手順で算出することができる。

【0033】

図６は、カメラ４１への入射角の調整処理を示すフロー図である。まず、調整部３３２は、カメラ４１が取得した画像をモノクロの画像としてメモリに格納する（ステップＳ１１０）。次に、調整部３３２は、画像を公知の方法にて平滑化することで、隣接するピクセルの数値変化を滑らかにする（ステップＳ１２０）。平滑化後、調整部３３２は、各ピクセルを、閾値を用いて白（画素値が０）又は黒（画素値が２５５）に二値化する（ステップＳ１３０）。ここでの閾値は、例えば３０以上６０以下の任意の値（例えば４５）であり、画素値が閾値未満のピクセルを白、閾値以上のピクセルを黒とする。

【0034】

続いて、調整部３３２は、二値化した画像から、画角の中心付近に存在し、かつサイズが最大の輪郭をオブジェクトＴの輪郭として抽出する（ステップＳ１４０）。輪郭の抽出後、調整部３３２は、抽出した輪郭で画定される図形の重心をオブジェクトＴの中心点とする（ステップＳ１５０）。重心は、例えば、輪郭の外接円の中心点として求められる。また、画像モーメントを用いて重心を算出してもよい。オブジェクトＴの中心点の算出後、調整部３３２は、画像の中心（つまり画角の中心）と、オブジェクトＴの中心点とのずれ（ベクトル移動量）を算出する（ステップＳ１６０）。

【0035】

最後に、調整部３３２は、ベクトル移動量がゼロとなるようにガルバノミラー４４の反射面の向きを調整する（ステップＳ１７０）。具体的には、調整部３３２は、第１モータドライバ４６Ｂ及び第２モータドライバ４６Ｃに、ガルバノミラー４４のＸ軸回転量及びＹ軸回転量を制御する電圧値を入力する。

【0036】

図７は、ガルバノミラー４４の角度とオブジェクトＴの中心点Ｐの位置との関係を説明する模式図である。ｋ番目の画像（フレーム）におけるＸ軸回転電圧Ｖ_ｘｋと、Ｘ軸回転量θ_ｘｋ（ｄｅｇ）との関係は、Ｘ軸ミラー４４Ａの回転量と入力電圧との比Ｋを用いて、下記式（１）で表される。なお、図７では、Ｋ＝０．５（Ｋ^－１＝２）としたケースの例が示されている。

【数1】

【0037】

オブジェクトＴからＸ軸ミラー４４Ａへの入射光の角度θ_ｘｌ（ｄｅｇ）は、Ｘ軸回転量θ_ｘｋの２倍であるため、下記式（２）で表される。また、式（１）及び式（２）から、下記式（３）が成立する。

【数2】

【0038】

Ｘ軸ミラー４４Ａへの入射光の角度θ_ｘｌは、オブジェクトＴの中心点ＰのＸ軸の移動量Ｘ（ｍｍ）と、Ｘ軸ミラー４４ＡからオブジェクトＴまでの光線距離Ｌ_ｘ＋Ｌ_ｙ（ｍｍ）で決まるため、下記式（４）が成立する。

【数3】

【0039】

調整部３３２によるＸ軸ミラー４４Ａの回転によって、画像におけるオブジェクトＴの中心点Ｐの座標は画角の中心にリセットされる。そのため、移動量Ｘは、毎フレームの中心点Ｐのｘ座標の総和として、下記式（５）で求められる。

【数4】

【0040】

式（２）、（４）及び（５）から、第１モータドライバ４６Ｂに送信する電圧値Ｖ_ｘ（Ｖ）は、下記式（６）で求められる。

【数5】

【0041】

ユーザ端末３からＤＡコンバータ４６ＡへのＸ軸回転の指令値は、アナログ値とする必要がある。そのため、例えば下記式（７）で表されるＡｘがＤＡコンバータ４６Ａに入力される。

【数6】

【0042】

Ｙ軸ミラー４４Ｂの回転量についても、同様の手順で算出される。ただし、Ｙ軸回転では、Ｙ軸ミラー４４ＢからオブジェクトＴまでの光線距離がＬ_ｙ（ｍｍ）となる。そのため、ユーザ端末３からＤＡコンバータ４６ＡへのＹ軸回転の指令値として、例えば下記式（８）で表されるＡ_ｙがＤＡコンバータ４６Ａに入力される。

【数7】

【0043】

調整部３３２は、カメラ４１による画像の撮影中、カメラ４１への入射角の調整（ステップＳ１１０からステップＳ１７０まで）を繰り返す。つまり、調整部３３２は、リアルタイムで撮影装置４にオブジェクトを追跡させる。

【0044】

<処理部３３３>
処理部３３３は、種々の情報を処理するように構成される。例えば、処理部３３３は、撮影装置４が撮影した複数の画像からモーションブラーが予め定めた基準よりも小さい鮮明画像を抽出する。具体的には、処理部３３３は、第１抽出処理及び第２抽出処理のいずれかを実行する。

【0045】

処理部３３３が処理する画像は、調整部３３２によって撮影装置４（ガルバノミラー４４）の調整が行われながら撮影された画像である。また、処理部３３３による第１抽出処理又は第２抽出処理は、撮影装置４による画像の撮影と並行して行われてもよい。

【0046】

<第１抽出処理>
第１抽出処理は、オブジェクトの中心点の移動量（振動軌跡）を可視化して、移動量の小さい画像を抽出する処理である。第１抽出処理では、処理部３３３は、複数の画像におけるオブジェクトの中心点の移動量を算出し、移動量が小さい画像を鮮明画像として抽出する。つまり、処理部３３３は、オブジェクトの中心点の移動量を「モーションブラーの大きさ」として鮮明画像の抽出に用いる。これにより、振動によるオブジェクトの移動が小さいときに撮影された画像を抽出することができる。

【0047】

詳細には、処理部３３３は、複数の画像におけるオブジェクトの輪郭をそれぞれ抽出し、輪郭で画定される図形の重心をオブジェクトの中心点とする。これにより、オブジェクトの移動量を簡潔な手順で算出することができる。

【0048】

図８は、第１抽出処理を示すフロー図である。まず、処理部３３３は、カメラ４１が取得した画像をモノクロの画像としてメモリに格納する（ステップＳ２１０）。次に、処理部３３３は、画像を公知の方法にて平滑化することで、隣接するピクセルの数値変化を滑らかにする（ステップＳ２２０）。平滑化後、処理部３３３は、各ピクセルを、閾値を用いて白（画素値が０）又は黒（画素値が２５５）に二値化する（ステップＳ２３０）。ここでの閾値は、例えば３０以上６０以下の任意の値（例えば４５）であり、画素値が閾値未満のピクセルを白、閾値以上のピクセルを黒とする。

【0049】

続いて、処理部３３３は、二値化した画像から、画角の中心付近に存在し、かつサイズが最大の輪郭をオブジェクトの輪郭として抽出する（ステップＳ２４０）。輪郭の抽出後、処理部３３３は、抽出した輪郭で画定される図形の重心をオブジェクトの中心点とする（ステップＳ２５０）。重心の求め方は、調整部３３２による入射角の調整処理と同じである。オブジェクトの中心点の算出後、処理部３３３は、時間的に連続する２つの第１画像（ｋ－１番目の画像）及び第２画像（ｋ番目の画像）におけるオブジェクトの中心点のずれ（ベクトル移動量）を算出する（ステップＳ２６０）。

【0050】

図９は、２つの画像間におけるオブジェクトの中心点Ｐの移動を示す概念図である。ｋ番目の画像（フレーム）における移動量デルタＬｋは、下記式（９）で算出される。

【数8】

【0051】

次に、処理部３３３は、ベクトル移動量が閾値（例えば１ピクセル）以下であるか否か判定する（ステップＳ２７０）。ベクトル移動量が閾値以下の場合（Ｓ２７０：ＹＥＳ）、処理部３３３は、ベクトル移動量を算出した２つの画像のうち、第２画像を「鮮明画像」と判定する（ステップＳ２８０）。一方、ベクトル移動量が閾値を超える場合（Ｓ２７０：ＮＯ）、処理部３３３は、ベクトル移動量を算出した２つの画像のうち、第２画像を「非鮮明画像」と判定する（ステップＳ２９０）。なお、ベクトル移動量の閾値は、１ピクセルの距離（ｍｍ）、カメラ４１の露光時間（ｍｓ）等によって適宜設定することができる。

【0052】

処理部３３３は、受付部３３１が受け付けた複数の画像全てに対し、第１抽出処理（ステップＳ２１０からステップＳ２９０まで）を繰り返す。これにより、撮影された画像が「鮮明画像」又は「非鮮明画像」に分類される。

【0053】

<第２抽出処理>
第２抽出処理は、画像の鮮明度を可視化して、鮮明度の高い画像を抽出する処理である。第２抽出処理では、処理部３３３は、複数の画像の離散フーリエ変換により振幅スペクトルを算出し、振幅スペクトルの分布に基づいて鮮明画像を抽出する。つまり、処理部３３３は、振幅スペクトルの分布を「モーションブラーの程度」として鮮明画像の抽出に用いる。これにより、画像の鮮明度及び鮮明度の判定基準を定量化できるため、鮮明画像の抽出精度が高められる。

【0054】

詳細には、処理部３３３は、振幅スペクトルにおける振幅が一定値未満の点の数が閾値以上の画像を鮮明画像として抽出する。これにより、鮮明度及び鮮明度の判定基準を簡潔な手順で算出することができる。

【0055】

図１０は、第２抽出処理を示すフロー図である。第２抽出処理では、共通のオブジェクトを撮影した一定数の画像が処理の対象とされる。まず、処理部３３３は、カメラ４１が取得した画像をモノクロの画像としてメモリに格納する（ステップＳ３１０）。次に、処理部３３３は、画像を公知の方法にて平滑化することで、隣接するピクセルの数値変化を滑らかにする（ステップＳ３２０）。

【0056】

平滑化後、処理部３３３は、画像を離散フーリエ変換（高速フーリエ変換）し、振幅スペクトル（フーリエ変換画像）を算出する（ステップＳ３３０）。図１１は、振幅スペクトルの一例を示す図である。撮影画像の離散フーリエ変換によって、図１１Ａに示す振幅スペクトルの分布が得られる。

【0057】

振幅スペクトルの算出後、処理部３３３は、振幅スペクトルを、閾値を用いて白（画素値が０）又は黒（画素値が２５５）へ変換した（二値化した）画像を作成する（ステップＳ３４０）。ここでの閾値は、例えば７０以上１５０以下の任意の値（例えば１１０）であり、振幅が閾値未満のピクセルを白、閾値以上のピクセルを黒とする。これにより、図１１Ｂに示す白黒画像が得られる。この画像における白のピクセルは、振幅が小さい点であり、このピクセルが多いほど、フーリエ変換前の画像が鮮明であると言える。

【0058】

二値化後、処理部３３３は、画像にマスクを付与する（ステップＳ３５０）。具体的には、振動スペクトルの低周波領域及び周期性領域を黒色にマスクする。これにより、図１１Ｃに示すマスクされた白黒画像が得られる。

【0059】

マスクの対象となる低周波領域は、図１１Ａの画像における四隅の部分（破線の丸で囲った部分）であり、例えば、画像の角からの距離が１６ピクセル以内（直径３２ピクセルの円内）の領域である。低周波領域は、オブジェクトの輪郭がぼやけているときに発生するノイズ領域である。同じくマスクの対象となる周期性領域は、図１１Ａの画像における四辺から一定距離の帯状の部分（破線の四角で囲った部分）であり、例えば、画像の辺からの距離が１６ピクセル以内の領域である。周期性領域は、振動方向、撮影背景等に依存して白線が発生し、鮮明画像でなくても白色のピクセルが生じる領域である。

【0060】

マスク処理の後、処理部３３３は、マスクされた白黒画像に含まれる白ピクセル（振幅が一定値未満の点）をカウントする（ステップＳ３６０）。白ピクセルのカウント後、処理部３３３は、白ピクセルをカウントした画像の数が一定の数値（例えば１００以上１０００以下、具体的には５００）以上であるか否か判定する（ステップＳ３７０）。カウント済みの画像の数が一定未満の場合（Ｓ３７０：ＮＯ）、処理部３３３は、次の画像に対し、Ｓ３１０からＳ３６０までを実行する。

【0061】

一方、カウント済みの画像の数が一定以上の場合（Ｓ３７０：ＹＥＳ）、処理部３３３は、各画像の白ピクセルの数が閾値以上であるか否か判定する（ステップＳ３８０）。白ピクセルの数が閾値以上である場合（Ｓ３８０：ＹＥＳ）、処理部３３３は、この画像を「鮮明画像」と判定する（ステップＳ３９０）。一方、白ピクセルの数が閾値未満の場合（Ｓ３８０：ＮＯ）、処理部３３３は、この画像を「非鮮明画像」と判定する（ステップＳ４００）。

【0062】

鮮明画像の判定に用いる閾値は、例えば、以下の手順で設定される。すなわち、Ｓ３６０でカウントした複数の画像における白ピクセルの数を「鮮明度」とし、複数の画像の鮮明度のうち、最大値をＷｍａｘ、最小値をＷｍｉｎとする。閾値Ｗｔは、鮮明度の最大値及び最小値の差分の上位２０％として、下記式（１０）で求められる。

【数9】

【0063】

４．作用
本実施形態の作用をまとめると、次の通りとなる。連続的に撮影した複数の画像からモーションブラーが基準よりも小さい画像が抽出されることで、振動するオブジェクトに対し、鮮明な画像を自動で取得することができる。

【0064】

以上、本発明の実施形態について説明したが、本発明はこれに限定されることなく、その発明の技術的思想を逸脱しない範囲で適宜変更可能である。

【0065】

５．その他
上記実施形態では、ユーザ端末３が種々の記憶・制御を行ったが、ユーザ端末３に代えて、複数の外部装置が用いられてもよい。すなわち、種々の情報やプログラムは、ブロックチェーン技術等を用いて複数の外部装置に分散して記憶されてもよい。

【0066】

本実施形態の態様は、鮮明画像取得システム１に限定されず、情報処理方法であっても、プログラムであってもよい。鮮明画像取得方法は、鮮明画像取得システム１の各ステップを備える。プログラムは、コンピュータを、鮮明画像取得システム１として機能させる。

【0067】

鮮明画像取得システム１において、情報処理装置２のプロセッサ２３が調整部３３２及び／又は処理部３３３を有してもよい。ただし、撮影装置４による画像取得と調整部３３２による撮影装置４の調整（撮影装置４へのフィードバック）とのタイムラグを低減する観点から、調整部３３２は、ユーザ端末３のプロセッサ３３が有することが好ましい。

【0068】

調整部３３２は、ガルバノミラー４４の向きの調整に替えて、又はガルバノミラー４４の向きの調整に加えて、カメラ４１又はターゲットの向き又は位置を調整してもよい。したがって、撮影装置４は、必ずしもガルバノミラー４４を有しなくてもよい。

【0069】

次に記載の各態様で提供されてもよい。

【0070】

（１）鮮明画像取得システムであって、プロセッサを備え、前記プロセッサは、受付ステップと、処理ステップと、を実行するように構成され、前記受付ステップでは、振動するオブジェクトを連続的に撮影した複数の画像の入力を受け付け、前記処理ステップでは、前記複数の画像からモーションブラーが予め定めた基準よりも小さい鮮明画像を抽出する、鮮明画像取得システム。

【0071】

（２）上記（１）に記載の鮮明画像取得システムにおいて、前記処理ステップでは、前記複数の画像における前記オブジェクトの中心点の移動量を算出し、前記移動量が小さい画像を前記鮮明画像として抽出する、鮮明画像取得システム。

【0072】

（３）上記（２）に記載の鮮明画像取得システムにおいて、前記処理ステップでは、前記複数の画像における前記オブジェクトの輪郭をそれぞれ抽出し、前記輪郭で画定される図形の重心を前記中心点とする、鮮明画像取得システム。

【0073】

（４）上記（１）に記載の鮮明画像取得システムにおいて、前記処理ステップでは、前記複数の画像の離散フーリエ変換により振幅スペクトルを算出し、前記振幅スペクトルの分布に基づいて前記鮮明画像を抽出する、鮮明画像取得システム。

【0074】

（５）上記（４）に記載の鮮明画像取得システムにおいて、前記処理ステップでは、前記振幅スペクトルにおける振幅が一定値未満の点の数が閾値以上の画像を前記鮮明画像として抽出する、鮮明画像取得システム。

【0075】

（６）上記（１）から（５）のいずれか１つに記載の鮮明画像取得システムにおいて、撮影装置をさらに備え、前記撮影装置は、前記複数の画像を取得するカメラを有し、前記プロセッサは、調整ステップをさらに実行するように構成され、前記調整ステップでは、前記複数の画像のうち少なくとも１つの画像における前記オブジェクトの位置を算出し、前記オブジェクトの位置に基づいて前記オブジェクトからの反射光の前記カメラへの入射角を調整する、鮮明画像取得システム。

【0076】

（７）上記（６）に記載の鮮明画像取得システムにおいて、前記撮影装置は、前記反射光を前記カメラに向けて反射させる反射面を有する反射部材をさらに有し、前記調整ステップでは、前記オブジェクトの中心点の位置に基づいて前記反射面の向きを調整する、鮮明画像取得システム。

【0077】

（８）上記（７）に記載の鮮明画像取得システムにおいて、前記調整ステップでは、前記カメラの画角の中心に前記中心点が近づくように前記反射面の向きを調整する、鮮明画像取得システム。

【0078】

（９）鮮明画像取得方法であって、上記（１）から（８）のいずれか１つに記載の鮮明画像取得システムの各ステップを備える、鮮明画像取得方法。

【0079】

（１０）プログラムであって、コンピュータを、上記（１）から（８）のいずれか１つに記載の鮮明画像取得システムとして機能させるためのプログラム。
もちろん、この限りではない。

【0080】

最後に、本開示に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0081】

１ ：鮮明画像取得システム
２ ：情報処理装置
３ ：ユーザ端末
４ ：撮影装置
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：プロセッサ
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：プロセッサ
３４ ：表示部
３５ ：入力部
４１ ：カメラ
４１Ａ ：イメージセンサ
４２ ：レンズ
４３ ：光源
４４ ：ガルバノミラー
４４Ａ ：Ｘ軸ミラー
４４Ｂ ：Ｙ軸ミラー
４６ ：駆動回路
４６Ａ ：ＤＡコンバータ
４６Ｂ ：第１モータドライバ
４６Ｃ ：第２モータドライバ
３３１ ：受付部
３３２ ：調整部
３３３ ：処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】