特開 2023-56623 遠隔検査装置及び遠隔検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023056623

(43)【公開日】2023-04-20

(54)【発明の名称】遠隔検査装置及び遠隔検査方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230413BHJP

   B25J 13/08 20060101ALI20230413BHJP

   B25J 3/00 20060101ALI20230413BHJP

   G06F 1/20 20060101ALI20230413BHJP

   G06F 3/01 20060101ALI20230413BHJP

【ＦＩ】

H04N7/18 B

B25J13/08 A

B25J3/00 Z

G06F1/20 B

G06F3/01 510

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021165938

(22)【出願日】2021-10-08

(71)【出願人】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(71)【出願人】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】永谷 達也

(72)【発明者】

【氏名】松野 文俊

(72)【発明者】

【氏名】遠藤 孝浩

【テーマコード（参考）】

3C707

5C054

5E555

【Ｆターム（参考）】

3C707AS14

3C707BS10

3C707JT04

3C707KT02

3C707KT03

3C707KT15

5C054CE00

5C054CF08

5C054FA07

5C054FD07

5C054FE12

5C054HA04

5C054HA05

5E555AA11

5E555AA16

5E555AA64

5E555BA04

5E555BA08

5E555BA38

5E555BA87

5E555BB04

5E555BB08

5E555BB38

5E555BC09

5E555BE16

5E555BE17

5E555CA42

5E555CB65

5E555DA08

5E555FA00

(57)【要約】

【課題】遠隔操作による検査対象の検査を容易に行うことが可能な技術を提供することを目的とする。
【解決手段】光源相対位置姿勢計算部は、データ形式が揃えられた操作機位置姿勢情報に基づいて、光源相対位置姿勢情報を計算する。撮影機器相対位置姿勢計算部は、データ形式が揃えられた視点位置姿勢情報及び操作機位置姿勢情報に基づいて、撮影機器相対位置姿勢情報を計算する。光源位置姿勢制御部は、光源相対位置姿勢情報に基づいて、光源の位置姿勢を制御する。撮影機器位置姿勢制御部は、撮影機器相対位置姿勢情報に基づいて、撮影機器の位置姿勢を制御する。
【選択図】図２

【特許請求の範囲】

【請求項1】

操作者の視点の位置姿勢を視点位置姿勢情報として取得する視点位置姿勢取得部と、
前記操作者が把持した操作機の位置姿勢を操作機位置姿勢情報として取得する操作機位置姿勢取得部と、
前記視点位置姿勢情報のデータ形式と前記操作機位置姿勢情報のデータ形式とを揃える操作情報管理部と、
データ形式が揃えられた前記操作機位置姿勢情報に基づいて、検査対象に関する座標系での光源の位置姿勢の制御量を光源相対位置姿勢情報として計算する光源相対位置姿勢計算部と、
データ形式が揃えられた前記視点位置姿勢情報及び前記操作機位置姿勢情報に基づいて、前記検査対象に関する前記座標系での撮影機器の位置姿勢の制御量を撮影機器相対位置姿勢情報として計算する撮影機器相対位置姿勢計算部と、
前記光源相対位置姿勢情報に基づいて、前記光源の位置姿勢を制御する光源位置姿勢制御部と、
前記撮影機器相対位置姿勢情報に基づいて、前記撮影機器の位置姿勢を制御する撮影機器位置姿勢制御部と
を備える、遠隔検査装置。

【請求項2】

請求項１に記載の遠隔検査装置であって、
前記撮影機器相対位置姿勢情報に基づいて、前記撮影機器のズーム倍率を制御する相対距離制約解決部をさらに備える、遠隔検査装置。

【請求項3】

請求項１または請求項２に記載の遠隔検査装置であって、
前記検査対象の位置姿勢を変更する指示情報を取得する指示取得部と、
前記指示情報を前記検査対象側に通知する指示通知部と
を備える、遠隔検査装置。

【請求項4】

請求項１から請求項３のうちのいずれか１項に記載の遠隔検査装置であって、
前記検査対象に対する前記光源及び前記撮影機器の相対位置姿勢情報が含まれる開始状態設定情報を取得する開始位置姿勢取得部をさらに備え、
前記光源位置姿勢制御部は、検査開始時に、前記開始状態設定情報に基づいて前記光源の位置姿勢を制御し、
前記撮影機器位置姿勢制御部は、検査開始時に、前記開始状態設定情報に基づいて前記撮影機器の位置姿勢を制御する、遠隔検査装置。

【請求項5】

操作者の視点の位置姿勢を視点位置姿勢情報として取得し、
前記操作者が把持した操作機の位置姿勢を操作機位置姿勢情報として取得し、
前記視点位置姿勢情報のデータ形式と前記操作機位置姿勢情報のデータ形式とを揃え、
データ形式が揃えられた前記操作機位置姿勢情報に基づいて、検査対象に関する座標系での光源の位置姿勢の制御量を光源相対位置姿勢情報として計算し、
データ形式が揃えられた前記視点位置姿勢情報及び前記操作機位置姿勢情報に基づいて、前記検査対象に関する前記座標系での撮影機器の位置姿勢の制御量を撮影機器相対位置姿勢情報として計算し、
前記光源相対位置姿勢情報に基づいて、前記光源の位置姿勢を制御し、
前記撮影機器相対位置姿勢情報に基づいて、前記撮影機器の位置姿勢を制御する、遠隔検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔検査装置及び遠隔検査方法に関する。

【背景技術】

【0002】

仮想３次元空間内において、ヘッドマウントディスプレイ（ＨＭＤ）の位置姿勢情報に基づいて、操作者が把持したコントローラの位置姿勢などを変更することによって、仮想３次元空間内のオブジェクトの位置姿勢を変更するものが知られている（例えば特許文献１）。

【0003】

また、検査光源を多関節ロボットに取り付けることで、検査対象（検査対象物ともいう）に対する検査用の光の当て方を変更可能な外観検査装置が知られている（例えば特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－０６１６６７号公報

【特許文献2】特開２０１９－０４５３３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば多関節ロボットのロボットハンドで検査対象を把持して移動させる場合には、検査対象に合わせたロボットハンドの製作及び把持方法の設計が必要となる。このため、実空間において検査対象の位置姿勢を自由に変更することは必ずしも容易ではない。

【0006】

また、検査光源の位置姿勢を変更して検査対象への光の当て方を変更しながら検査する検査装置の構成と、人間の身体の構成とは異なる。このため、操作者は、比較的複雑な検査装置の構成及び操作方法を理解する必要があり、検査を容易に行うことができない。

【0007】

このように、仮想３次元空間内において検査対象の位置姿勢を自由に変更することは容易だが、実空間において検査対象の位置姿勢を自由に変更することは容易ではないので、光源下での目視検査を遠隔操作では容易に行うことができないという問題があった。

【0008】

そこで、本開示は、上記のような問題点に鑑みてなされたものであり、遠隔操作による検査対象の検査を容易に行うことが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示に係る遠隔検査装置は、操作者の視点の位置姿勢を視点位置姿勢情報として取得する視点位置姿勢取得部と、前記操作者が把持した操作機の位置姿勢を操作機位置姿勢情報として取得する操作機位置姿勢取得部と、前記視点位置姿勢情報のデータ形式と前記操作機位置姿勢情報のデータ形式とを揃える操作情報管理部と、データ形式が揃えられた前記操作機位置姿勢情報に基づいて、検査対象に関する座標系での光源の位置姿勢の制御量を光源相対位置姿勢情報として計算する光源相対位置姿勢計算部と、データ形式が揃えられた前記視点位置姿勢情報及び前記操作機位置姿勢情報に基づいて、前記検査対象に関する前記座標系での撮影機器の位置姿勢の制御量を撮影機器相対位置姿勢情報として計算する撮影機器相対位置姿勢計算部と、前記光源相対位置姿勢情報に基づいて、前記光源の位置姿勢を制御する光源位置姿勢制御部と、前記撮影機器相対位置姿勢情報に基づいて、前記撮影機器の位置姿勢を制御する撮影機器位置姿勢制御部とを備える。

【発明の効果】

【0010】

本開示によれば、操作機位置姿勢情報に基づいて、光源の位置姿勢を制御するための光源相対位置姿勢情報を計算し、視点位置姿勢情報及び操作機位置姿勢情報に基づいて、撮影機器の位置姿勢を制御するための撮影機器相対位置姿勢情報を計算する。このような構成によれば、遠隔操作による検査対象の検査を容易に行うことができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１に係る遠隔検査装置の機器構成を示すブロック図である。

【図2】実施の形態１に係る遠隔検査装置の機能構成を示すブロック図である。

【図3】実施の形態２に係る遠隔検査装置の機能構成を示すブロック図である。

【図4】実施の形態３に係る遠隔検査装置の機能構成を示すブロック図である。

【図5】実施の形態４に係る遠隔検査装置の機能構成を示すブロック図である。

【図6】その他の変形例に係る遠隔検査装置のハードウェア構成を示すブロック図である。

【図7】その他の変形例に係る遠隔検査装置のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0012】

＜実施の形態１＞
従来の生産現場における検査装置として、製造ライン上に固定されたカメラで撮影する装置、または、多関節ロボットの手先にカメラを取り付けた装置などが提案されている。これらの検査装置は、検査対象の破損等の製造不良を検査することを主目的としており、無影リング照明を用いて、影がない状態の検査対象の画像を撮影して検査することが一般的である。

【0013】

一方、光の当て方を変更しながら適宜影を付加して、検査対象の出来栄えを検査することが望ましい場合がある。例えば、一品物や試作品、意匠的な検査対象の検査においては、光の当て方を変えながら、様々な角度から検査対象を確認できることが望ましい。従来、そのような確認は、検査者が検査対象の実物を直接検査することによって行われている。なお、光の当て方及び視点の変更を伴う検査は、塗装や陰影の確認以外にも、例えば金属の削り出し加工における加工品質の確認でも有益であるなど、様々な検査で有益である。

【0014】

さて近年、ＣＡＤ（Computer Aided Design）等の設計デジタル化の技術発展によって、複雑な造形物に対する作業指示が可能となり、３Ｄプリンタ等のデジタルデータに基づく加工技術の発展によって、機械による加工範囲が広がっている。また、ＩＣＴ（Information and Communication Technology）の発展により、遠隔地からの遠隔操作による作業の適用範囲も広がってきている。これらの技術を活用することで、工芸品及び服飾品等の意匠的な側面が強い製品の製造を委託し、製造場所の遠隔地から検査を行う業態が拡大することが予想される。このような業態において、委託先ごとに比較的複雑な検査機械の構成及び操作方法を、操作者が理解及び習得することは困難であることから、操作者が直感的に操作できることが望まれる。

【0015】

そこで、本実施の形態１に係る遠隔検査装置によれば、操作者は、光源下で検査対象を直接的に把持及び目視するかのように、遠隔地からの直感的な遠隔操作によって、検査対象への光源の当たり方と視点とを変更しながら検査対象を検査可能に構成されている。

【0016】

本実施の形態１の概要を説明すると、操作者の視点方向と検査対象の位置姿勢とを変更させる操作入力値に基づいて、検査対象に関する座標系における、検査対象に対する光源及び撮影機器の相対的な移動量及び回転量を含む制御量を計算する。そして、当該制御量に基づいて、光源及び撮影機器の移動及び回転を適宜制御する。これによって、操作者は直感的な操作方法で、検査対象の実物そのものを動かすことなく所望の検査映像を得ることが可能となっている。

【0017】

以下、本実施の形態１に係る遠隔検査装置について図を用いて説明する。図１は、本実施の形態１に係る遠隔検査装置の機器構成を示すブロック図であり、図２は、本実施の形態１に係る遠隔検査装置の機能構成を示すブロック図である。

【0018】

まず図１のブロック図を用いて、本実施の形態１に係る遠隔検査装置の機器構成を説明する。図１では、光源ロボット５５及び撮影ロボット５６を含む多関節ロボットと、検査対象５４とが検査場所に設けられ、操作者５１が、検査場所から離れた操作場所から多関節ロボットを遠隔操作して検査対象５４を検査している例が示されている。なお、本実施の形態１の特徴の説明に直接関係しない機器については、図示及び説明は省略されている。

【0019】

操作場所の機器について説明する。操作者５１は、ＨＭＤ（Head Mounted Display）５２及び操作機５３を用いて検査場所の機器を遠隔操作し、ＨＭＤ５２の表示によって目視検査を行う。

【0020】

ＨＭＤ５２は、操作者５１の頭部に装着されて使用される。ＨＭＤ５２は、ＨＭＤ５２自身の位置姿勢情報の取得と、操作者５１への映像の表示とを行う。操作者５１の眼球の動きが捉えられるアイトラッキングのような技術が知られているが、本実施の形態１では、操作者５１の視点位置姿勢の情報は、ＨＭＤ５２の位置姿勢情報に対応するとして説明する。

【0021】

操作機５３は、操作者５１によって把持されて用いられる。操作機５３は、ＨＭＤ５２と同様に、操作機５３自身の位置姿勢情報を取得する。後述するように、ＨＭＤ５２及び操作機５３は、両者の間の相対的な位置姿勢である相対位置姿勢が計算できるように、共通の座標系で校正される。

【0022】

検査場所の機器について説明する。検査対象５４は、操作者５１が遠隔操作で目視検査を行う対象である。検査対象５４は、検査場所の図示されていない作業者などによって検査場所に設置される。光源ロボット５５は手先に光源５５ａを取り付けた多関節ロボットであり、光源５５ａの位置姿勢を自由に変更する制御が可能である。撮影ロボット５６は手先にカメラ等の撮影機器５６ａを取り付けた多関節ロボットであり、撮影機器５６ａの位置姿勢を自由に変更する制御が可能である。

【0023】

図１に示される上記以外の構成要素について説明する。操作制御装置５７は、操作場所の機器を統合管理する。例えば、操作制御装置５７は、ＨＭＤ５２及び操作機５３などの操作場所に設けられた機器の、個別の制御装置及びそれらを統合管理する装置を含む。相対位置姿勢計算装置５８は、光源ロボット５５と撮影ロボット５６とが移動するための情報を計算する。検査設備制御装置５９は、検査場所の機器を統合管理する。例えば、検査設備制御装置５９は、光源ロボット５５及び撮影ロボット５６などの検査場所に設けられた機器の、個別の制御装置及びそれらを統合管理する装置を含む。映像送信装置６０は、撮影ロボット５６の撮影機器５６ａで取得した映像を、操作者５１に装着されたＨＭＤ５２に送信するための装置である。ＨＭＤ５２は、映像送信装置６０によって送信された映像を表示する。

【0024】

次に図２のブロック図を用いて、本実施の形態１に係る遠隔検査装置の機能構成を説明する。本実施の形態１の特徴の説明に直接関係しない機能については、図示及び説明は省略されている。なお以下では、図２の各機能部が、図１の機器に搭載される例を説明するが、これに限ったものではなく、図１の機器と異なる機器に搭載されてもよい。

【0025】

視点位置姿勢取得部１は、操作者５１の視点の位置姿勢を視点位置姿勢情報として取得する。視点位置姿勢取得部１は、例えば操作者５１が装着したＨＭＤ５２の位置姿勢を視点位置姿勢情報として取得する。視点位置姿勢取得部１は、取得した視点位置姿勢情報を操作情報管理部３に送信する。視点位置姿勢情報などの位置姿勢情報の詳細については、後で操作情報管理部３の説明とともに記す。

【0026】

上述したように本実施の形態１では、操作者５１の視点の位置姿勢は、ＨＭＤ５２の位置姿勢として扱われる。ＨＭＤ５２の位置姿勢の取得は、ＨＭＤ５２に内蔵の加速度センサ等を用いた特定のタイミングからの差分情報に基づいて行われてもよいし、操作場所に別途取り付けたカメラ等によるトラッキングに基づいて行われてもよく、少なくともＨＭＤ５２の位置姿勢に関する情報が取得できればよい。この視点位置姿勢取得部１は、図１のＨＭＤ５２に搭載される。

【0027】

操作機位置姿勢取得部２は、操作者５１が把持した操作機５３の位置姿勢を操作機位置姿勢情報として取得する。操作者５１は、検査対象５４の位置姿勢を変更するつもりで操作機５３の位置姿勢を変更する。操作機５３の位置姿勢が変更されると、後述するように、検査対象５４の実物そのものの位置姿勢は変更されずに、光源５５ａ及び撮影機器５６ａの位置姿勢が変更されることによってＨＭＤ５２に表示される検査対象５４の位置姿勢が変更される。操作機位置姿勢取得部２は、取得した操作機位置姿勢情報を操作情報管理部３に送信する。操作機位置姿勢情報などの位置姿勢情報の詳細については、後で操作情報管理部３の説明とともに記す。

【0028】

なお、操作機５３の位置姿勢の取得は、操作機５３に内蔵の加速度センサ等を用いた特定のタイミングからの差分情報に基づいて行われてもよいし、操作場所に別途取り付けたカメラ等によるトラッキングに基づいて行われてもよく、少なくとも操作機５３の位置姿勢に関する情報が取得できればよい。この操作機位置姿勢取得部２は、図１の操作機５３に搭載される。

【0029】

操作情報管理部３は、視点位置姿勢取得部１及び操作機位置姿勢取得部２から送信された視点位置姿勢情報及び操作機位置姿勢情報を、特定の座標系に校正するなどして、視点位置姿勢情報のデータ形式と操作機位置姿勢情報のデータ形式とを揃える。これにより以降の処理において、視点位置姿勢情報及び操作機位置姿勢情報の取り扱いが容易となる。ここでデータ形式を揃えることによって、例えば、位置姿勢情報の座標系及び表現方法だけでなく、サンプリング周期及び時刻補正が揃えられてもよい。

【0030】

例えば、操作情報管理部３は、送信された位置姿勢情報が加速度センサのデータだけである場合には、当該データを積分する等して移動量に変換し、当該移動量と事前に実施した校正作業のデータとを組み合わせて、特定の座標系での位置姿勢情報に変換してもよい。また例えば、視点位置姿勢情報の座標系と、操作機位置姿勢情報の座標系とが異なる場合には、操作情報管理部３は、それらの座標系を特定の座標系での位置姿勢情報に変換して、座標系を同一にし、表現方法を揃えてもよい。また例えば、操作情報管理部３は、サンプリング周期を合わせるために、各位置姿勢情報の補間を行ってもよい。

【0031】

以上のように構成された操作情報管理部３から出力される位置姿勢情報は、一つの特定の座標系で表現され、サンプリングの周期及び時刻が揃った形式で出力されることになる。複数機器の位置姿勢情報の校正方法については様々な手法がすでに知られているので、詳細な説明は省略する。光源相対位置姿勢計算部４にはデータ形式が揃えられた操作機位置姿勢情報が送信され、撮影機器相対位置姿勢計算部５にはデータ形式を揃えた視点位置姿勢情報及び操作機位置姿勢情報が送信される。この操作情報管理部３は、図１の操作制御装置５７に搭載される。

【0032】

光源相対位置姿勢計算部４は、データ形式が揃えられた操作機位置姿勢情報に基づいて、検査対象５４に関する座標系での光源５５ａの位置姿勢の制御量を光源相対位置姿勢情報として計算する。本実施の形態１では、検査対象５４に関する座標系は、検査対象５４の位置姿勢が位置姿勢情報に基づいて仮に制御された場合の、検査対象５４に固定された座標系である。検査対象５４に固定された座標系の原点は、検査対象５４の内外を問わず、どこに設定されてもよい。例えば、当該原点は、検査対象５４の形状の中心部近辺に設定されてもよいし、検査対象５４の設計情報に基づいて設定されてもよいし、操作者によって手動で設定されてもよい。また、検査対象５４に固定された座標系の座標軸の方向も、操作を開始した時の検査場所での撮影機器５６ａと検査対象５４との位置関係に基づいて設定されてもよいし、検査対象５４の設計情報に基づいて設定されてもよいし、操作者によって手動で設定されてもよい。光源５５ａの位置姿勢の制御量は、光源５５ａの移動量及び回転量を含む。

【0033】

本実施の形態１に係る光源相対位置姿勢計算部４は、操作機位置姿勢情報に基づいて仮に制御された場合の検査対象５４の位置姿勢の制御量を求め、当該制御量と逆方向の制御量を、光源相対位置姿勢情報として計算する。光源相対位置姿勢計算部４は、計算された光源相対位置姿勢情報を光源位置姿勢制御部６に送信する。この光源相対位置姿勢計算部４は、図１の相対位置姿勢計算装置５８に搭載される。

【0034】

撮影機器相対位置姿勢計算部５は、データ形式が揃えられた視点位置姿勢情報及び操作機位置姿勢情報に基づいて、検査対象５４に関する座標系での撮影機器５６ａの位置姿勢の制御量を撮影機器相対位置姿勢情報として計算する。本実施の形態１では、検査対象５４に関する座標系は、上述と同様に検査対象５４に固定された座標系である。撮影機器５６ａの位置姿勢の制御量は、撮影機器５６ａの移動量及び回転量を含む。

【0035】

本実施の形態１に係る撮影機器相対位置姿勢計算部５は、視点位置姿勢情報及び操作機位置姿勢情報に基づいて仮に変更された場合の視点及び検査対象５４の位置姿勢の制御量を求める。その計算の際、操作機位置姿勢情報及び視点位置姿勢情報は、一つの特定の座標系で表現されているため、検査対象５４及び視点のそれぞれを制御した後の、検査対象５４及び視点のそれぞれの位置姿勢は、一つの特定の座標系で計算することができる。撮影機器相対位置姿勢計算部５は、仮に制御された場合の視点及び検査対象５４の位置姿勢の制御量に基づいて、検査対象５４に関する座標系での視点の位置姿勢の制御量を、撮影機器相対位置姿勢情報として計算する。撮影機器相対位置姿勢計算部５は、計算された撮影機器相対位置姿勢情報を撮影機器位置姿勢制御部７に送信する。この撮影機器相対位置姿勢計算部５は、図１の相対位置姿勢計算装置５８に搭載される。

【0036】

光源位置姿勢制御部６は、光源相対位置姿勢情報に基づいて光源ロボット５５を制御することにより、光源５５ａの位置姿勢を制御する。光源ロボット５５と検査対象５４とは、検査対象５４に予め固定された座標系で予め校正されている。このため、光源位置姿勢制御部６は、必要に応じて、光源相対位置姿勢情報のデータを、検査対象５４に固定された座標系で光源ロボット５５が動作するためのデータに変換する。この光源位置姿勢制御部６は、図１の検査設備制御装置５９に搭載される。

【0037】

撮影機器位置姿勢制御部７は、撮影機器相対位置姿勢情報に基づいて撮影ロボット５６を制御することにより、撮影機器５６ａの位置姿勢を制御する。撮影ロボット５６と検査対象５４とは、検査対象５４に予め固定された座標系で予め校正されている。このため、撮影機器位置姿勢制御部７は、必要に応じて、撮影機器相対位置姿勢情報のデータを、検査対象５４に固定された座標系で撮影ロボット５６が動作するためのデータに変換する。この撮影機器位置姿勢制御部７は、図１の検査設備制御装置５９に搭載される。

【0038】

撮影機器制御部８は、撮影ロボット５６の手先に取り付けられた撮影機器５６ａで検査対象５４を撮影し、撮影した映像を表示部９に送信する。表示部９は、送信された映像を操作者５１に対して表示する。撮影機器制御部８は、図１の映像送信装置６０に搭載され、表示部９は、図１のＨＭＤ５２に搭載される。

【0039】

＜実施の形態１のまとめ＞
本実施の形態１に係る遠隔検査装置によれば、操作機位置姿勢情報に基づいて、光源５５ａの位置姿勢を制御するための光源相対位置姿勢情報を計算し、視点位置姿勢情報及び操作機位置姿勢情報に基づいて、撮影機器５６ａの位置姿勢を制御するための撮影機器相対位置姿勢情報を計算する。

【0040】

これにより、操作機５３が操作されると、検査対象５４の実物そのものの位置姿勢が制御されずに、光源５５ａ及び撮影機器５６ａの位置姿勢が制御される。このため、実物の検査対象５４の位置姿勢は制御されずに、撮影機器５６ａでは、検査対象５４の位置姿勢が制御されたかのような映像を撮影することができる。また、光源５５ａの位置姿勢の制御と、撮影機器５６ａの位置姿勢の制御とを対応させることにより、撮影機器５６ａでは、光源５５ａの位置姿勢が固定されているかのような映像を撮影することができる。

【0041】

また、操作者５１の視点の位置姿勢が変更されると、検査対象５４の実物そのものの位置姿勢、及び、光源５５ａの位置姿勢が制御されずに、撮影機器５６ａの位置姿勢が制御される。このため、操作場所に位置する操作者５１が、検査場所において頭を動かしながら検査対象５４を見ているような映像を、撮影機器５６ａにおいて撮影することができる。

【0042】

また、操作者５１の視点及び操作機５３を用いた直感的な操作によって、以上のような制御を行うことができるので、操作者は、比較的複雑な検査機械の構成及び操作方法を習得しなくても、遠隔操作による検査対象５４の検査を容易に行うことができる。また、検査対象５４の把持などが不要となり、ロボットハンドの設計などが不要となるので、遠隔操作による検査対象５４の検査を容易に行うことができるだけでなく、設備コストの低減化も期待できる。

【0043】

＜実施の形態１の変形例＞
操作開始前の各機器の校正作業、及び、遠隔操作を開始する際の検査環境の状態設定作業等には、例えば、ドローン及びカメラ等の複数機器を空間内で連携させる技術、映像を用いた遠隔操作技術、または、ＶＲ（Virtual Reality）技術などが適宜活用されてもよい。また、機器操作に関わる諸機能には、一般的な機器操作で知られている技術が用いられてもよい。ここでいう機器操作に関わる諸機能は、例えば、遠隔操作の開始指示及び停止指示などの指示機能、検査場所に設置された機器への非常停止及び移動制限などに基づく停止機能、及び、それら機能実行時における操作者５１への提示機能などを含む。

【0044】

また実施の形態１では、機器構成は、図１のＨＭＤ５２、多関節ロボットなどを例にして説明したが、これに限ったものではない。例えば、図２における視点位置姿勢取得部１の機能と表示部９の機能とを有するＨＭＤ５２の代わりに、これらの機能を有する別の機器、または、これらの各機能を有する複数の機器の組み合わせが用いられてもよい。例えば、視点位置姿勢取得部１の機能を有する機器には、操作者５１の眼球の動きを含む視線の方向を捉えるアイトラッキングの機器が用いられてもよい。例えば、視点位置姿勢取得部１の機能を有する機器には、位置姿勢を取得可能であり、かつ、操作者５１が把持可能なハンディカメラのような機器が用いられてもよい。この場合には、例えば、右手でハンディカメラのような機器が操作され、左手で操作機５３が操作されればよい。例えば、表示部９の機能を有する機器には、パソコン用のディスプレイが用いられてもよい。

【0045】

多関節ロボットの代わりに、光源５５ａ及び撮影機器５６ａの位置姿勢を自由に変更可能な機能を有する他の機器、例えば、ドローンと呼ばれる無線操縦の機器などが用いられてもよい。

【0046】

操作機５３には、位置姿勢を計測可能な様々な機器が用いられてもよい。例えば、操作機５３には、ゲーム機のコントローラ及びスマートフォン等の内部センサが用いられてもよいし、マーカを取り付けて複数の外部カメラで認識する認識装置が用いられてもよい。この場合、マーカが取り付けられ、検査対象５４と同じ形状を有する物体を、操作機５３として用いれば操作感を向上させることができる。

【0047】

なお、撮影機器５６ａは、単眼の動画や静止画を撮影可能なカメラに限ったものではなく、例えば表示部９側で立体視が可能なステレオカメラなどの機器であってもよい。また、撮影機器５６ａがフィルター等の画像加工機能を有する場合には、その機能を用いることによって検査時の操作感を向上させてもよい。例えば、検査対象５４の影が、検査対象５４を設置した設置台に映ると操作者５１に違和感が生じる可能性がある。そこで、撮影機器５６ａに搭載されている画像加工機能で、設置台等といった検査場所にある検査対象５４以外の物体を撮影画像から削除することで検査時の操作感を向上させることができる。

【0048】

そのような画像処理が容易となるように、検査場所の機器を検査対象５４の色合いとは大きく異なる色合いとしてもよい。また、光源５５ａ及び背景画像はプリセットの内容で変更されてもよい。例えば、検査開始前に室内環境向け、及び、屋外晴天向け等をプリセットとして遠隔検査装置に指定することによって、光源５５ａの光の画像及び背景画像をプリセットの内容で変更すれば、使用環境に近い状態で検査対象５４の検査が可能になる。なお、プリセットの際に、光源５５ａの光の照射態様が実際に変更されてもよい。

【0049】

設置台における検査対象５４は、様々な態様で設置されてもよい。例えば、検査対象５４は器具によって吊るされて設置されてもよいし、棒状の治具の先に固定されて設置されてもよい。例えば、設置台に透明な台が用いられた構成では、検査対象５４の設置態様を変更することなく、様々な方向から検査対象５４の撮影が可能になる。

【0050】

遠隔検査装置によって検査される検査対象５４は、一般的な製造ラインで生産される生産物であってもよいし、美術品等であってもよい。

【0051】

＜実施の形態２＞
実施の形態１では、検査場所における機器同士の接触と、撮影機器５６ａを移動させる設備の可動域の制約とによっては、撮影機器５６ａを所望の位置姿勢で制御できない場合がある。これに対して本実施の形態２では、撮影機器５６ａのズーム倍率を変更することによって、撮影機器５６ａと検査対象５４との間の距離を変更したかのような映像を撮影すること可能となり、上記制約を緩和することが可能となっている。

【0052】

図３は、本実施の形態２に係る遠隔検査装置の機能構成を示すブロック図である。図３の機能構成では、図２の実施の形態１の機能構成に、相対距離制約解決部１６が追加されている。

【0053】

相対距離制約解決部１６は、撮影機器相対位置姿勢計算部５から送信される撮影機器相対位置姿勢情報に基づいて、撮影機器５６ａを制御できるか否かを判定する。例えば、相対距離制約解決部１６は、撮影機器相対位置姿勢情報に基づく制御が、撮影機器５６ａを移動させる設備の可動域内の制御であるか否か、及び、機器同士が接触する制御であるか否かなどを考慮して、撮影機器５６ａを制御できるか否かを判定する。

【0054】

そして相対距離制約解決部１６は、撮影機器５６ａを制御できないと判定した場合、または、制御よりもズーム倍率で対応した方がよいと判定された場合に、撮影機器５６ａのズーム倍率を制御する。例えば、相対距離制約解決部１６は、撮影機器５６ａが仮に制御された場合の検査対象５４と撮影機器５６ａとの相対距離に基づいて、ズーム倍率を計算し、当該ズーム倍率で撮影機器５６ａのズーム機能を制御する。

【0055】

＜実施の形態２のまとめ＞
本実施の形態２に係る遠隔検査装置によれば、撮影機器相対位置姿勢情報に基づいて、撮影機器５６ａのズーム倍率を制御する。このような構成によれば、視点と検査対象５４との間の距離の変化を、撮影機器５６ａのズーム倍率で補うことができるので、撮影機器５６ａを移動させる設備の移動制約を緩和することができる。

【0056】

＜実施の形態３＞
実施の形態１では、検査対象５４の設置態様と、撮影場所に設置された設備の制約とによっては、光源５５ａ及び撮影機器５６ａを所望の位置姿勢で制御できない場合があり、そのような場合には所望の位置姿勢の検査対象５４を撮影できない場合がある。これに対して本実施の形態３では、例えば、検査対象５４の上下を反転させる指示などのように、検査対象５４の位置姿勢を変更する指示情報を、検査対象５４側に通知することにより、所望の位置姿勢の検査対象５４を撮影することが可能となっている。

【0057】

図４は、本実施の形態３に係る遠隔検査装置の機能構成を示すブロック図である。図４の機能構成では、図２の実施の形態１の機能構成に、指示取得部１９と、指示通知部２０とが追加されている。

【0058】

指示取得部１９は、検査対象５４の位置姿勢を変更する指示情報を取得する。検査対象５４の位置姿勢を変更する指示情報は、例えば検査対象５４の置き換えるため指示、及び、検査対象の設置態様を変更するための指示などを含む。

【0059】

なお、操作者５１が指示情報を簡単に遠隔検査装置に入力できるように構成されることが好ましい。例えば、操作機５３に設けられたボタンに対して操作者５１から入力操作が行われるごとに、操作機５３が、操作機位置姿勢情報を取得可能な状態と、指示情報を取得可能な状態と切り替えるように構成されてもよい。この構成では、操作機５３が指示情報を取得可能な状態に切り替えられている間に、指示取得部１９は、操作機５３の位置姿勢を、検査対象５４の位置姿勢を変更する指示情報として取得する。そして、指示取得部１９が、指示情報を取得した後、上記ボタンへの入力操作が行われることによって、操作機５３が、操作機位置姿勢情報を取得可能な状態に切り替えられる。以上のような構成によれば、指示取得部１９は、操作者５１から指示情報を取得可能となる。

【0060】

指示取得部１９は、取得した指示情報を操作情報管理部３に送信する。指示取得部１９は、例えば、図１の操作制御装置５７に搭載される。

【0061】

操作情報管理部３は、実施の形態１と同様に、指示情報のデータ形式を、視点位置姿勢情報及び操作機位置姿勢情報のデータ形式に揃えて、指示通知部２０に送信する。

【0062】

指示通知部２０は、指示情報を検査対象５４側に通知する。指示情報は、例えば検査場所に待機している作業者へ音声または表示などによって通知される。作業者は、検査対象５４の指示情報に従って、その指示情報が示す位置姿勢に最も近い形で検査対象５４を設置する。検査対象５４の位置姿勢の変更が完了すると、例えば撮影機器制御部８などによって変更が完了したという情報が操作者５１に伝えられる。指示通知部２０は、例えば、図１の検査設備制御装置５９に搭載される。

【0063】

＜実施の形態３のまとめ＞
本実施の形態３に係る遠隔検査装置によれば、検査対象５４の位置姿勢を変更する指示情報を検査対象５４側に通知する。このような構成によれば、通知によって検査対象５４の位置姿勢を変更することができるので、様々な位置姿勢で検査対象５４の検査を行う場合の作業効率を向上させることができる。

【0064】

＜実施の形態３の変形例＞
操作機５３のボタンに対して入力操作が行われるごとに、操作機５３が、操作機位置姿勢情報を取得可能な状態と、指示情報を取得可能な状態とが切り替わるのではなく、ボタンが押し続けられている間に指示情報を取得可能な状態に切り替えられてもよい。また、指示取得部１９は、検査対象５４の位置姿勢を変更する指示情報を、操作者から操作機５３以外の機器を介して取得してもよい。

【0065】

また、指示情報の通知の際に、検査対象５４に対して、３次元モデルの検査対象５４の位置姿勢を重畳表示することで、操作者５１が、指示情報を確認できるようにしてもよい。また、通知される指示情報は、取得された指示情報と実質的に同じであればよい。例えば、指示情報が示す検査対象５４の位置姿勢に近いいくつかの位置姿勢について、３次元モデルを用いて平面上での検査対象５４の安定度を計算し、当該安定度が閾値以上である位置姿勢が検査対象５４側に通知されてもよい。

【0066】

また、指示情報の通知は、作業者への通知に限ったものではなく、検査対象５４の位置姿勢を制御する図示しない検査対象位置姿勢制御装置が設けられている場合には、検査対象位置姿勢制御装置への通知であってもよい。そして、検査対象位置姿勢制御装置は、指示情報に基づいて検査対象５４の位置姿勢を制御してもよい。

【0067】

また、実施の形態３で説明した構成は、実施の形態１，２の構成に適用されてもよい。

【0068】

＜実施の形態４＞
実施の形態１において、例えば、検査対象５４がコマのように倒れた状態でしか設置できない物体を検査する場合を想定する。このような場合に、撮影機器５６ａの撮影方向を、検査対象５４の設置台の水平方向と同じにした状態で検査を開始すると、検査している部分がどの部分であるかが分かり難く、検査の作業効率が多少悪いという問題がある。これに対して本実施の形態４では、検査対象に対する光源５５ａ及び撮影機器５６ａの相対位置姿勢情報が含まれる開始状態設定情報を取得し、検査開始時に、開始状態設定情報に基づいて光源５５ａ及び撮影機器５６ａの位置姿勢が制御する。これにより、検査の作業効率を向上させることが可能となっている。

【0069】

図５は、本実施の形態４に係る遠隔検査装置の機能構成を示すブロック図である。図５の機能構成では、図２の実施の形態１の機能構成に、開始位置姿勢取得部２３が追加されている。

【0070】

開始位置姿勢取得部２３は開始状態設定情報を取得する。開始状態設定情報には、検査対象５４に対する光源５５ａ及び撮影機器５６ａの相対位置姿勢情報が含まれている。開始位置姿勢取得部２３は、検査開始時の検査対象５４に対する光源５５ａ及び撮影機器５６ａの位置姿勢が、開始状態設定情報が示す相対的な位置姿勢となるように、開始状態設定情報を操作情報管理部３に送信する。操作情報管理部３は、開始状態設定情報を、光源位置姿勢制御部６及び撮影機器位置姿勢制御部７に送信する。

【0071】

光源位置姿勢制御部６は、検査開始時に、開始状態設定情報に基づいて光源５５ａの位置姿勢を制御する。撮影機器位置姿勢制御部７は、検査開始時に、開始状態設定情報に基づいて撮影機器５６ａの位置姿勢を制御する。光源位置姿勢制御部６及び撮影機器位置姿勢制御部７による制御が行われた後、遠隔検査装置は、実施の形態１で説明した各種制御を行うための操作の開始を待つ。

【0072】

なお、開始状態設定情報は様々な情報に基づいて作成されてもよい。以下、開始状態設定情報が、検査対象５４の設計情報に基づいて作成される例について説明する。例えば、検査対象５４のＣＡＤの設計情報に基づいて、ＣＡＤでの正面方向を、実空間での上側から下側への方向に合わせるように、実空間の上側に光源５５ａ及び撮影機器５６ａを配置する開始状態設定情報が作成されてもよい。また例えば、検査対象５４の設計情報に基づいて、検査対象５４の意匠的な部分が正面となるように、撮影機器５６ａを配置する開始状態設定情報が作成されてもよい。また例えば、過去の検査履歴にＡＩ（Artificial Intelligence）等を用いた学習によって、今回の検査対象５４と類似する過去の検査対象５４で重点的に検査されている部分が正面となるように、撮影機器５６ａを配置する開始状態設定情報が作成されてもよい。

【0073】

＜実施の形態４のまとめ＞
本実施の形態４に係る遠隔検査装置によれば、検査開始時に、開始状態設定情報に基づいて光源５５ａ及び撮影機器５６ａの位置姿勢が制御される。このような構成によれば、例えば設置台に倒れている検査対象５４の検査において、撮影機器５６ａの撮影方向を、ＣＡＤでの検査対象５４の正面方向に合わせた状態で検査を開始することができるので、検査の作業効率を向上させることができる。

【0074】

＜実施の形態４の変形例＞
実施の形態４で説明した構成は、実施の形態１～３の構成に適用されてもよい。例えば、実施の形態４において、検査開始時に、開始状態設定情報に基づいて光源５５ａ及び撮影機器５６ａの位置姿勢を制御することと前後して、実施の形態３の指示情報の通知が行われてもよい。

【0075】

＜その他の変形例＞
前述した図２の視点位置姿勢取得部１、操作機位置姿勢取得部２、操作情報管理部３、光源相対位置姿勢計算部４、撮影機器相対位置姿勢計算部５、光源位置姿勢制御部６、及び、撮影機器位置姿勢制御部７を、以下「視点位置姿勢取得部１等」と記す。視点位置姿勢取得部１等は、図６に示す処理回路８１により実現される。すなわち、処理回路８１は、視点位置姿勢情報を取得する視点位置姿勢取得部１と、操作機位置姿勢情報を取得する操作機位置姿勢取得部２と、視点位置姿勢情報のデータ形式と操作機位置姿勢情報のデータ形式とを揃える操作情報管理部３と、データ形式が揃えられた操作機位置姿勢情報に基づいて光源相対位置姿勢情報を計算する光源相対位置姿勢計算部４と、データ形式が揃えられた視点位置姿勢情報及び操作機位置姿勢情報に基づいて撮影機器相対位置姿勢情報を計算する撮影機器相対位置姿勢計算部５と、光源相対位置姿勢情報に基づいて光源５５ａの位置姿勢を制御する光源位置姿勢制御部６と、撮影機器相対位置姿勢情報に基づいて撮影機器５６ａの位置姿勢を制御する撮影機器位置姿勢制御部７と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

【0076】

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。視点位置姿勢取得部１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

【0077】

処理回路８１がプロセッサである場合、視点位置姿勢取得部１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図７に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、遠隔検査装置は、処理回路８１により実行されるときに、視点位置姿勢情報を取得するステップと、操作機位置姿勢情報を取得するステップと、視点位置姿勢情報のデータ形式と操作機位置姿勢情報のデータ形式とを揃えるステップと、データ形式が揃えられた操作機位置姿勢情報に基づいて光源相対位置姿勢情報を計算するステップと、データ形式が揃えられた視点位置姿勢情報及び操作機位置姿勢情報に基づいて撮影機器相対位置姿勢情報を計算するステップと、光源相対位置姿勢情報に基づいて光源５５ａの位置姿勢を制御するステップと、撮影機器相対位置姿勢情報に基づいて、撮影機器５６ａの位置姿勢を制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、視点位置姿勢取得部１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

【0078】

以上、視点位置姿勢取得部１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、視点位置姿勢取得部１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、視点位置姿勢取得部１については専用のハードウェアとしての処理回路８１、インターフェース及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

【0079】

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、前述の各機能を実現することができる。

【0080】

なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

【符号の説明】

【0081】

１ 視点位置姿勢取得部、２ 操作機位置姿勢取得部、３ 操作情報管理部、４ 光源相対位置姿勢計算部、５ 撮影機器相対位置姿勢計算部、６ 光源位置姿勢制御部、７ 撮影機器位置姿勢制御部、１６ 相対距離制約解決部、１９ 指示取得部、２０ 指示通知部、２３ 開始位置姿勢取得部、５１ 操作者、５３ 操作機、５４ 検査対象、５５ａ 光源、５６ａ 撮影機器。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】