特開2015-230209(P2015-230209A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

2015-230209画像処理装置、外観計測システム、画像処理方法及びプログラム
<>
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000003
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000004
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000005
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000006
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000007
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000008
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000009
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000010
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000011
  • 2015230209-画像処理装置、外観計測システム、画像処理方法及びプログラム 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-230209(P2015-230209A)
(43)【公開日】2015年12月21日
(54)【発明の名称】画像処理装置、外観計測システム、画像処理方法及びプログラム
(51)【国際特許分類】
   G01B 11/25 20060101AFI20151124BHJP
【FI】
   G01B11/25 H
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】18
(21)【出願番号】特願2014-115774(P2014-115774)
(22)【出願日】2014年6月4日
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100064908
【弁理士】
【氏名又は名称】志賀 正武
(74)【代理人】
【識別番号】100108578
【弁理士】
【氏名又は名称】高橋 詔男
(74)【代理人】
【識別番号】100126893
【弁理士】
【氏名又は名称】山崎 哲男
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(72)【発明者】
【氏名】塘中 哲也
(72)【発明者】
【氏名】井上 哲徳
(72)【発明者】
【氏名】宅原 雅人
(72)【発明者】
【氏名】近藤 明生
(72)【発明者】
【氏名】亀尾 成寿
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA53
2F065BB05
2F065EE05
2F065FF01
2F065FF02
2F065FF04
2F065FF09
2F065GG04
2F065GG16
2F065GG23
2F065LL12
2F065LL63
2F065PP05
2F065PP22
2F065PP25
2F065QQ31
2F065UU03
(57)【要約】      (修正有)
【課題】気中から水中対象物の外観計測を可能にする計測装置を提供する。
【解決手段】画像処理装置300は、第一媒質に囲まれて存在する対象物に、屈折率の異なる第二媒質中から光を照射し、第二媒質中の撮像装置が対象物を撮像した画像を取得する画像取得部31と、画像に写った光の対象物による反射光の位置情報を検出する反射位置検出部32と、撮像装置の光学中心の位置情報と反射光の位置情報とに基づいて第二媒質における光学中心から対象物への視線の進行経路を算出し、さらに、第一媒質と第二媒質の境界面の位置情報と、第一媒質及び第二媒質の屈折率とを用いて、第一媒質における視線の進行経路を算出する視線経路算出部33と、予め定められた第二媒質における光の進行経路を示す情報を取得し、境界面の位置情報と、第一媒質及び前記第二媒質の屈折率とを用いて、第一媒質における光の進行経路を算出する光経路算出部34と、を備える。
【選択図】図4
【特許請求の範囲】
【請求項1】
第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得する画像取得部と、
前記画像に写し出された前記対象物における前記光の反射位置を検出する反射位置検出部と、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する視線経路算出部と、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する光経路算出部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記第一媒質における前記光の進行経路と前記視線の進行経路との交点の位置情報を算出する復元部を備え、
前記画像取得部は、前記対象物に異なる角度から前記光を照射して撮像した複数の画像を取得し、
前記復元部は、前記複数の画像について算出した前記交点の位置情報に基づいて前記対象物の3次元形状を復元する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記撮像装置の光学中心の位置情報と前記画像に写し出された前記境界面における前記光の反射位置とから前記第二媒質における前記境界面への前記視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す境界面における反射点の位置情報を算出する境界面検出部と、
を備え、
前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、
前記反射位置検出部が、前記境界面おける前記光の反射位置を検出し、
前記境界面検出部が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い3つ以上の前記反射点の位置情報を算出することにより、前記第一媒質と前記第二媒質の境界面の位置情報を算出する方法である
ことを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、
前記境界面検出部が、前記光学中心と前記境界面における反射点とを結ぶ直線と前記境界面とのなす角度の情報を取得し、前記同一直線上に無い3つ以上の反射点の位置情報に代えて、少なくとも1枚の前記画像から得られる2つ以上の前記反射点の位置情報を算出することにより求めた前記光と前記境界面の交線と、前記角度の情報を用いて前記境界面の位置情報を算出する方法である
ことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
対象物に照射する光の光源と、
前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する計測装置と、
前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、
請求項1から請求項4の何れか1項に記載の画像処理装置と、
を備える外観計測システム。
【請求項6】
前記光源は、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、
請求項3又は請求項4の何れか1項に記載の画像処理装置を備え、
前記境界面検出部は、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する
ことを特徴とする請求項5に記載の外観計測システム。
【請求項7】
第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得し、
前記画像に写し出された前記対象物における前記光の反射位置を検出し、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出し、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する、
ことを特徴とする画像処理方法。
【請求項8】
画像処理装置のコンピュータを、
第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得する手段、
前記画像に写し出された前記対象物における前記光の反射位置を検出する手段、
前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する手段、
予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、外観計測システム、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
原子力炉の設備内の調査を行う場合、カメラで撮影した2次元情報だけではなく3次元情報を取得したいというニーズがある。3次元情報を得る手段として、例えば光切断法(スリット光投影法)が存在する。光切断法とは、シート状の光を用いて対象物を走査し、シート光の反射位置を三角測量の原理で算出することによって、対象物の形状を測定する三次元計測手法である。
なお、特許文献1には、原子炉などの構造物内の形状を高精度かつ効率的に計測する形状計測装置が記載されている。
【0003】
ところで、原子力炉の設備内には、気体で満たされた空間と水で満たされた空間とが存在する。一般的に用いられる光切断法は、調査対象物も計測装置も気体に置かれた状態で実施される。仮に調査対象物及び計測装置が水中に存在する場合、気中と水中とでは屈折率が異なるため、補正が必要となる。このような場合、事前試験によって気中と水中との補正値を算出し、検証することで個別に対応することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5075394号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、測定装置が気中に存在し対象物が水中に存在するような場面では、気中の測定装置から照射されたシート光が水面で屈折するため、正しい計測ができなかった。この、水面での屈折による影響は、測定装置と対象物の両方が水中に存在する場合とは違い、計測装置と水面との位置関係により異なるため、事前試験で補正データを用意することは現実的ではない。
【0006】
そこでこの発明は、上述の課題を解決することのできる画像処理装置、外観計測システム、画像処理方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得する画像取得部と、前記画像に写し出された前記対象物における前記光の反射位置を検出する反射位置検出部と、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する視線経路算出部と、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する光経路算出部と、を備えることを特徴とする画像処理装置である。
【0008】
本発明の第2の態様は、前記第一媒質における前記光の進行経路と前記視線の進行経路との交点の位置情報を算出する復元部を備え、前記画像取得部は、前記対象物に異なる角度から前記光を照射して撮像した複数の画像を取得し、前記復元部は、前記複数の画像について算出した交点の位置情報に基づいて前記対象物の3次元形状を復元することを特徴とする。
【0009】
本発明の第3の態様は、前記撮像装置の光学中心の位置情報と前記画像に写し出された前記境界面における前記光の反射位置とから前記第二媒質における前記境界面への前記視線の進行経路を算出し、その視線の進行経路と予め定められた前記第二媒質における前記光の進行経路との交点が示す境界面における反射点の位置情報を算出する境界面検出部と、を備え、前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、前記反射位置検出部が、前記境界面おける前記光の反射位置を検出し、前記境界面検出部が、前記光が複数の異なる角度で前記対象物に照射された場合に撮像した画像から同一直線上に無い3つ以上の前記反射点の位置情報を算出することにより、前記第一媒質と前記第二媒質の境界面の位置情報を算出する方法である。
【0010】
本発明の第4の態様は、前記第一媒質と前記第二媒質の境界面の位置情報を取得する前記所定の方法は、前記境界面検出部が、前記光学中心と前記境界面における反射点とを結ぶ直線と前記境界面とのなす角度の情報を取得し、前記同一直線上に無い3つ以上の反射点の位置情報に代えて、少なくとも1枚の前記画像から得られる2つ以上の前記反射点の位置情報を算出することにより求めた前記光と前記境界面の交線と、前記角度の情報を用いて前記境界面の位置情報を算出する方法である。
【0011】
本発明の第5の態様は、対象物に照射する光の光源と、前記光源からの光を反射して前記対象物に光を照射する回転可能なミラーと、前記対象物を撮像する撮像装置とを有する計測装置と、前記ミラーの角度を変化させ、前記光で対象物を走査しながら、前記撮像装置に撮像指示を行う制御装置と、上述の画像処理装置と、を備える外観計測システムである。
【0012】
本発明の第6の態様における外観計測システムは、前記光源は、前記対象物に照射する光を発射する第一光源と、前記第一光源の発する光の波長よりも短い波長の光を発する第二光源とからなり、上記第3又は第4の態様の画像処理装置を備え、前記境界面検出部は、前記第二光源が発した光の進行経路に基づいて前記境界面の位置情報を算出する。
【0013】
本発明の第7の態様は、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得し、前記画像に写し出された前記対象物における前記光の反射位置を検出し、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出し、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する、ことを特徴とする画像処理方法である。
【0014】
本発明の第8の態様は、画像処理装置のコンピュータを、第一媒質に囲まれて存在する対象物に、前記第一媒質と屈折率の異なる第二媒質中から平面状の光を照射し、前記第二媒質中に設置された撮像装置が前記対象物を撮像した画像を取得する手段、前記画像に写し出された前記対象物における前記光の反射位置を検出する手段、前記撮像装置の光学中心の位置情報と前記反射位置の位置情報とに基づいて前記第二媒質における前記光学中心から前記対象物への前記撮像装置の視線の進行経路を算出し、さらに、所定の方法によって取得した前記第一媒質と前記第二媒質との境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記視線の進行経路を算出する手段、予め定められた前記第二媒質における前記光の進行経路を示す情報を取得し、前記境界面の位置情報と、前記第一媒質及び前記第二媒質の屈折率とを用いて、前記第一媒質における前記光の進行経路を算出する手段、として機能させるためのプログラムである。
【発明の効果】
【0015】
本発明によれば、計測装置と対象物が空気中、水中の何れに存在するかにかかわらず対象物の3次元形状を計測することができる。
【図面の簡単な説明】
【0016】
図1】本発明に係る第一実施形態における外観計測システムの一例を示す概要図である。
図2】本発明に係る第一実施形態における計測ヘッドの一例を示す図である。
図3】本発明に係る第一実施形態における外観計測システムの一例を示すブロック図である。
図4】本発明に係る第一実施形態における画像処理装置の一例を示すブロック図である。
図5】本発明に係る第一実施形態の外観計測システムによる異なる媒質中に存在する対象物の計測を説明するための図である。
図6】本発明に係る第一実施形態における外観計測システムの撮像装置で対象物を撮像した画像の一例を示す図である。
図7】本発明に係る第一実施形態における対象物の計測処理を説明するための図である。
図8】本発明に係る第一実施形態における画像処理装置における処理の一例を示す第一のフローチャートである。
図9】本発明に係る第一実施形態における画像処理装置における処理の一例を示す第二のフローチャートである。
図10】本発明に係る第一実施形態における外観計測システムの運用形態の一例を示す図である。
【発明を実施するための形態】
【0017】
<第一実施形態>
以下、本発明の一実施形態による外観計測装置を図1図9を参照して説明する。
図1は本実施形態における外観計測システムの一例を示す概要図である。
符号1は、外観計測システムを示している。外観計測システム1は、計測ヘッド100と制御装置200と画像処理装置300とを含んで構成される。外観計測システム1は、原子炉設備内の存在物や対象物などを計測するための計測システムである。符号201は、原子炉設備の壁であって、計測ヘッド100は、当該設備内に挿入され、制御装置200及び画像処理装置300は、当該設備の外に設置される。
計測ヘッド100にはシート光照射部とカメラが搭載されている。シート光照射部は、対象物400にシート状(平面状)の光110を照射する。カメラは、シート光110が照射された対象物400を撮像する。制御装置200は、計測ヘッド100の動作を制御する。例えば、制御装置200は、シート光照射部がシート光110を発する方向を符号111の矢印が示す方向に変化させ、シート光110によって対象物400を走査する。また、制御装置200は、シート光110によって対象物400を走査する間、所定のタイミングでカメラに対し対象物400の撮像指示を行う。画像処理装置300は、カメラが撮像した複数の画像を取得し、その画像を光切断法によって解析し、原子炉設備内の対象物の3次元形状を再現する。
【0018】
図2は、本発明に係る第一実施形態における計測ヘッドの一例を示す図である。図2は、計測ヘッド100の正面図である。計測ヘッド100は、走査装置101と、カメラ102と、パン・チルト機構装置103とを備えている。走査装置101とカメラ102は支柱板104で固定され、パン・チルト機構装置103と接続されている。走査装置101は、シート光を発するレーザ装置に光ファイバ等で接続されたシート光照射部と、図の垂直方向を軸に回転可能なミラーを備えている。シート光照射部は、レーザ装置からの光をスリットを通過させてシート状の光にして照射する。走査装置101は、シート光照射部から照射されたシート光110をミラーの角度を変化させながら反射させ、対象物400へ照射する。カメラ102は、CMOSやCCD等の画像素子を用いたカメラモジュールである。カメラ102は、対象物400を撮像する。パン・チルト機構装置103は、走査装置101とカメラ102を固定する支柱板104を図の水平方向を軸に回転させるチルト機構と、垂直方向を軸に回転させるパン機構とを有している。制御装置200が、パン・チルト機構装置103を制御することにより、支柱板104を移動させ原子炉設備内の測定対象を変更することができる。
【0019】
図3は、本発明に係る第一実施形態における外観計測システムの一例を示すブロック図である。
計測ヘッド100は、走査装置101と、カメラ102と、パン・チルト機構装置103と、支柱板104を備えている。走査装置101は、シート光照射装置105とミラー106を備えている。計測ヘッド100については、図2を用いて説明したとおりである。
【0020】
制御装置200は、CPU(Central Processing Unit)を備えたコンピュータである。制御装置200は、シート光走査制御部21、レーザ装置22、カメラ制御部23、パン・チルト機構制御部24を備えている。
シート光走査制御部21は、ミラー106を回転させ所定の角度に設定する。レーザ装置22は、レーザ光源と駆動部を含んでいる。駆動部は、レーザ光源の起動停止やレーザ光の発射を制御する。カメラ制御部23は、カメラ102へ撮像指示を行う。パン・チルト機構制御部24は、例えばユーザの指示操作に基づいて、対象物400の3次元形状を測定できる位置に支柱板104を移動・回転させる。
【0021】
制御装置200は、例えば次のように動作する。ユーザが、制御装置200の備えるユーザインタフェースを介して撮像指示操作を入力すると、駆動部がレーザ装置22を起動し、レーザ光を発射する。また、シート光走査制御部21は、所定のタイミングでミラー106の角度を変化させ、シート光110の進行経路を変化させる。カメラ制御部23は、ミラー106の角度が変わるたびにカメラ102に撮像指示を行う。これにより対象物400をシート光110によって走査しながら撮像した画像を得ることが可能になる。なお、ミラー106の角度変化、角度を変化させるタイミング、カメラ102が撮像するタイミングなどの情報は、予め制御装置200が備える記憶部に記憶されているものとする。
【0022】
画像処理装置300は、カメラ102が撮像した各画像から光切断法によって対象物400の3次元形状を計測する。カメラ102が撮像した各画像には、対象物400によるシート光110の反射光が線状に写っており、画像処理装置300は、カメラ102とシート光照射装置105と対象物400によって反射された反射光の幾何学的な位置関係に基づいて、対象物400のシート光110が照射された部分の位置情報を算出する。さらにカメラ102の角度を変化させながらシート光110によって対象物400を走査して得た画像のそれぞれに対し同様の算出を行って対象物400の表面の3次元形状を計測する。次に、図4を用いて画像処理装置300について説明する。
【0023】
図4は、本発明に係る第一実施形態における画像処理装置の一例を示すブロック図である。
画像処理装置300は、画像取得部31と、反射位置検出部32と、視線経路算出部33と、光経路算出部34と、境界面検出部35と、復元部36と、記憶部37と、を備えている。画像処理装置300は、CPUを備えたコンピュータである。
画像取得部31は、カメラ102が撮像した画像を取得し、記憶部37にその画像を記録する。画像取得部31が取得する画像は、対象物400を走査したときに制御装置200が撮像指示を行ったタイミングでカメラ102が撮像した画像である。
【0024】
反射位置検出部32は、画像取得部31が取得した画像からシート光110の反射光が写った位置を検出し、その位置情報を求める。シート光110の反射光とは、例えば、対象物400や原子炉設備の内壁による反射光である。また、計測ヘッド100と対象物400がそれぞれ異なる媒質の中に存在する場合、それらの媒質の境界面で生じるシート光110の反射光である。原子炉設備内には、空気(第二媒質)で満たされた空間と水(第一媒質)で満たされた空間があり、計測ヘッド100が空気中に存在し、対象物400が水中にある場合や、計測ヘッド100が水中に存在し、対象物400が空気中に存在する場合がある。そのような場合、画像取得部31が取得した画像には空気と水の境界面で反射した光と、対象物400等によって反射した光が映し出される。反射位置検出部32は、画像処理によって境界面での反射光と対象物400による反射光が写し出されている位置を検出し、この位置情報(座標情報)を求める。この反射光が映し出された位置をピーク位置(輝度のピーク位置)とよび、空気と水の境界面の反射光に対応するピーク位置を水面ピーク位置、水中に存在する対象物400による反射光に対応するピーク位置を水中ピーク位置という。
【0025】
視線経路算出部33は、カメラ102の光学中心と反射位置検出部32が検出したピーク位置の位置情報から、カメラ102の光学中心とピーク位置上の点を結ぶ直線を算出する。このカメラ102からピーク位置の点を結ぶ直線は、反射光がカメラ102へ入光する入光経路を示しているが、以下ではこの経路を、カメラ102の視線進行経路と呼ぶ。特に、計測ヘッド100が空気中に存在し、対象物400が水中に存在するような場合、視線経路算出部33は、カメラ102の光学中心と水中ピーク位置の位置情報とに基づいて空気中におけるカメラの視線進行経路を算出し、その視線の進行経路と、後述する境界面検出部35が算出した水面の位置情報(水面の平面方程式)とから、カメラ102の視線進行経路の水面への入射角を算出する。さらに、視線経路算出部33は、空気と水の屈折率に基づいてカメラ102の視線進行経路の水中への出射角を算出し、空気中におけるカメラ102の視線進行経路と水面との交点の始点とする水中におけるカメラ102の視線進行経路を算出する。
【0026】
光経路算出部34は、計測ヘッド100が空気中に存在し、対象物400が水中に存在するような場合、予め算出された空気中におけるシート光110によって形成される平面の位置情報と、後述する境界面検出部35が算出した水面の位置情報とから、シート光110の水面への入射角を算出する。さらに、光経路算出部34は、予め定められた空気と水の屈折率に基づいて光の水中への出射角を算出し、出射角と、シート光110と水面との交線の位置情報とから水中におけるシート光110の進行経路を算出する。
【0027】
境界面検出部35は、カメラ102の光学中心の位置情報と水面ピーク位置の位置情報とから水面へのカメラ102の視線進行経路を算出し、その視線進行経路と予め算出された空気中におけるシート光110によって形成される平面の位置情報とに基づいて水面への視線進行経路とシート光110が形成する平面の交点である反射点の位置情報を算出する。境界面検出部35は、水面ピーク位置の線を構成する各反射点について位置情報を算出する。そして境界面検出部35は、画像取得部31が取得した複数の画像について同様の処理を行い、同一直線上に無い少なくとも3つの反射点の位置座情報から水面の位置情報を算出する。
【0028】
復元部36は、視線経路算出部33が算出した水中でのカメラ102の視線進行経路と、光経路算出部34が算出した水中でのシート光110が形成する平面との交点の位置情報を算出する。この交点は、水中ピーク位置を示す線上の一点である。復元部36は、1枚の画像から水中ピーク位置上の全ての点について位置情報を算出する。復元部36は、さらに計測ヘッド100を掃引しながら撮像した全ての画像について同様の処理を行い、対象物400の表面の3次元座標情報を求める。
【0029】
記憶部37は、画像取得部31が取得した画像や、予めキャリブレーションを実施して取得したカメラパラメータ、ミラー106の角度ごとのシート光110によって形成される平面の位置情報(平面方程式)を記憶している。
【0030】
図5は、本発明に係る第一実施形態の外観計測システムによる異なる媒質中に存在する対象物の計測を説明するための図である。
対象物400は、水(第一媒質)が入っている容器70の底に設置されている。符号71の部分は水で満たされており、対象物400は、水中に存在する。符号61は、ミラー106をある角度に設定したときのシート光110の空気中における進行経路を示す直線である。符号62は、シート光110の水中での進行経路を示す直線である。直線61、62が示すようにシート光110は、水面で屈折して進行経路を変える。符号63は、シート光110が水面で屈折しないと仮定した場合のシート光110の進行経路を示す直線である。符号50は、対象物400の表面上のある点を示している。符号51は、点50への空気中におけるカメラ102の視線進行経路を示す直線(視線直線)である。符号52は、点50への水中におけるカメラ102の視線直線である。直線51、52が示すようにカメラ102の視線直線は、水面で屈折して進行経路を変える。符号53は、カメラ102の視線直線が水面で屈折しないと仮定した場合の経路を示す直線である。符号54は、水面ピーク位置に対応するカメラ102の視線直線である。符号60は、視線直線54とシート光110の空気中における進行経路を示す直線61の交点である。
【0031】
ここで、水面での光の屈折を考慮せずに、三角測量の原理に基づいて対象物400による反射光の反射点を算出すると、直線53と直線63の交点が求める反射点となる。符号401は、水面での光の屈折を考慮せずに光切断法によって対象物400を計測したときの計測結果を示している。図5が示すように、実際の対象物400は、容器70の底に存在しており、光の屈折を考慮しないと、対象物400の位置を計測ヘッド100側から見て手前に存在するものと誤って計測してしまう。本実施形態では、計測ヘッド100と対象物400が異なる媒質中に存在する場合、それら異なる媒質の境界面でのシート光110、カメラ102の視線進行経路の屈折を考慮し、異なる媒質中におけるシート光110の進行経路、カメラ102の視線の進行経路を補正して正確な対象物400の計測を行う。
【0032】
図6は、本発明に係る第一実施形態における外観計測システムの撮像装置で対象物を撮像した画像の一例を示す図である。
図6は、図5の状態でカメラ102が撮像した画像の一例である。符号73は、シート光110の対象物400や容器70の底面によって反射された光が写し出された線(水中ピーク位置)である。符号74は、シート光110の水面によって反射した光が写し出された線(水面ピーク位置)である。図5で示した状況では、シート光110は、右側から照射されるので、水面による反射光の線74は、対象物400による反射光の線73よりも右側に表示されている。本実施形態では、反射位置検出部32が水面ピーク位置の線74を検出すると、境界面検出部35がカメラ座標における水面の位置情報を算出し、視線経路算出部33が、カメラ座標における水中におけるカメラ102の視線進行経路を算出する。また、光経路算出部34が、水中においてシート光110が形成する平面のカメラ座標における位置情報を算出する。
【0033】
図7は、本発明に係る第一実施形態における対象物の計測処理を説明するための図である。
図7を用いて、画像取得部31が取得した画像から対象物400の3次元形状を計測する処理について説明する。
図7の座標は、カメラ102の光学中心を原点Ocとし、レンズの中心を通りレンズ面と直交する方向をZ軸、光学中心とシート光照射装置105のシート光照射口の中心を結ぶ線をX軸、それらに直交する方向をY軸とする3次元の座標系(カメラ座標系)である。画像面75はZ軸と直交し、XY平面と平行になる。原点Ocと画像面75の距離が、レンズの焦点距離fに相当する。対象物400の表面(符号76)上の点P0(X0、Y0、Z0)の画像面75上の点p1(x1、y1、z1)は、原点Ocと点P0を通るカメラの視線直線(符号77)と画像面75の交点となる。点p1と点P0の関係は次式で表すことができる。
x1=f×X0/Z0、y1=f×Y0/Z0、z1=f ・・・ 式1
従って、画像面75の座標(x1、y1、f)から対象物400の表面上の点P0(X(t)、Y(t)、t)の視線の直線方程式を得ることができる。
X(t)=x1×t/f、Y(t)=y1×t/f、Z(t)=t ・・・ 式2
【0034】
次にシート光110の平面方程式について説明する。シート光110が発射される点をOs(Xs、Ys、Zs)とし、シート光110が形成する平面の法線ベクトルをNs(Xn、Yn、Xn)とする。するとシート光110の平面方程式は、以下の式で表すことができる。
(X−Xs)×Xn +(Y−Ys)×Yn+(Z−Zs)×Zn=0 ・・・式3
シート光110の反射位置P0は、カメラの視線直線とシート光110の交点である。
従って式2を式3に代入して変数tを求め、式2からP0の座標を求めることができる。以上がシート光110の対象物400における1つの反射点について、座標情報を求める方法である。従って、画像取得部31が取得した1枚の画像から、対象物400における反射光によってできる線の各点について同様の手順で座標情報を求めることで、対象物400のシート光110が照射された線状の部分の形状を把握することができる。走査装置101が、シート光110を用いて対象物400の表面を走査し、その都度取得した画像を解析すれば対象物400の表面の3次元座標を得ることができる。計測ヘッド100と対象物400が共に空気中に存在するような場合、このようにして対象物400の形状を計測することができる。
【0035】
次に、計測ヘッド100が空気中に存在し、対象物400が水中に存在する場合について説明する。この場合、水中におけるカメラの視線直線及びシート光110による平面を求め、それらの交点を算出する。その為に以下の手順を行う。
(1)最初に水面の平面方程式を求める。(1−a)この方程式を求める処理においては、まず、画像から水面での反射光による線74を特定する。(1−b)そして線74上の1点を図7におけるp1、水面を符号76が示す面として、上記で説明した手順で、シート光110と水面の交線(水面ピーク位置)の位置情報を算出する。同様の手順で複数の画像から、それぞれシート光110と水面の交線の位置情報を算出する。(1−c)このようにして得られた複数の交線の位置情報から水面の平面方程式を推定することができる。例えば、複数の反射点と推定する水面との距離の二乗和が最小となるような水面を最小二乗法で求めてもよい。
【0036】
(2)次に水面での屈折を考慮したカメラの視線直線を求める。(2−a)まず、式2と同様にカメラ102から水面への直線方程式を設定する。(2−b)次に、水面への直線方程式と水面の平面方程式からカメラの視線直線の水面への入射角を求める。(2−c)次に空気中と水中の屈折角からカメラ視線の水中への出射角を求める。光の空気中と水中における屈折角は予め与えられているものとする。(2−d)次に、(2−a)の直線と(1)で求めた水面の交点を求める。(2−e)(2−d)で求めた交点と(2−c)で求めた出射角からカメラの視線進行経路の水中における直線方程式を求める。
【0037】
(3)同様に水面での屈折を考慮して、水中を進行するシート光110が形成する平面の平面方程式を算出する。(3−a)まず、予め算出した空気中でのシート光110の平面方程式と(1)で算出した水面の平面方程式との交線を求める。また、水面に対するシート光110の入射角を求める。(3−b)次に空気中と水中の屈折角からシート光110の水中への出射角を求める。光の空気中と水中における屈折角は予め与えられているものとする。(3−c)次に、(3−a)の交線と(1)で求めた水面の平面方程式及び(3−b)で求めた出射角から水中におけるシート光110の平面方程式を求める。
【0038】
なお、水面の平面方程式の算出方法は、上記の(1)の方法に限らない。例えば、計測ヘッド100の所定の部分と水面との位置関係が既知である場合、その所定の部分とカメラ102(光学中心)との相対的位置関係を用いて、カメラ座標系での水面の平面方程式を求めることができる。この場合、予め算出した水面の平面方程式を記憶部37に記録しておき、計測の際には(1)の処理を行わず、代わりに記憶部37に記録した水面の平面方程式を用いることで対象物400の形状を計測できる。また、計測ヘッド100に3軸加速度センサや傾斜センサが備えられている場合、このセンサによって計測ヘッド100の地面に対する傾きを計測する。水面は、水平であるから、計測ヘッド100の水面に対する傾きを得ることができる。次に、ミラー106をある角度に設定してシート光110を照射したときの画像を1枚撮像する。その画像の水面ピーク位置の座標情報と、ミラー106をその角度に設定した場合における予め記憶されたシート光110の平面方程式から、水面とシート光110の交線を求める。この交線と、計測ヘッド100の水面に対する傾きから水面の平面方程式を求めることができる。この方法であれば、シート光110を走査させながら撮像した画像が1枚あれば水面の平面方程式を求めることができる。
【0039】
このようにして水中におけるカメラ視線の直線方程式と、水中におけるシート光110の平面方程式を算出すると、それらの交点を求めることで水面での屈折を考慮した対象物400の表面の正確な位置情報を求めることができる。この手順をシート光110を走査することで得た全ての画像について行えば、対象物400全体の計測を行うことができる。
【0040】
図8は、本発明に係る第一実施形態における画像処理装置における処理の一例を示す第一のフローチャートである。
図8を用いて、走査装置101が対象物400を走査しながら撮像した画像を用いて水面の平面方程式を算出する処理について説明する。
前提として、予めキャリブレーションを実施し、カメラ102の光軸中心、焦点距離、レンズの歪に対する補正係数などのカメラパラメータを取得しているものとする。また、走査装置101が発するシート光110の発射角度を、所定の角度とした場合のそれぞれの角度に対するシート光110の平面方程式も予め算出してあるものとする。また、カメラパラメータや平面方程式は、記憶部37に記録されているものとする。また、画像取得部31は、カメラ102が撮像した一連の画像を全て記憶部37へ記録したものとする。
まず、反射位置検出部32が、記憶部37より1枚の画像を読み出す(ステップS1)。反射位置検出部32は、シート光110の反射位置を示す2つの線(ピーク位置)を検出する。例えば、反射位置検出部32は、読み出した画像を所定の閾値により2値化して、白い線状の個所をピーク位置として検出する。次に反射位置検出部32は、検出したピーク位置のうち、水面による反射光を示す水面ピーク位置を特定する(ステップS2)。水面ピーク位置を特定する方法は、例えば、図5で図示した状況において図6の画像を撮像した場合であれば、シート光照射装置105の位置に近い方を水面ピーク位置に特定する。反射位置検出部32は、画像と特定した水面ピーク位置の位置情報を境界面検出部35に出力する。
【0041】
次に、境界面検出部35は、記憶部37から読み込んだカメラパラメータによって取得した画像の歪み補正などを行う。そして、境界面検出部35は、補正後の水面ピーク位置の座標情報を算出し、カメラ102の光学中心から水面ピーク位置へのカメラ視線の直線方程式(式2)を算出する(ステップS3)。次に、境界面検出部35は、記憶部37から、現在解析している画像に対応したシート光110の平面方程式を読み出す。現在解析している画像に対応した平面方程式とは、現在解析している画像を撮像したときと同じ角度にミラー106を設定してシート光110を照射したときに撮像した画像から算出した平面方程式であって、予め記憶部37に記憶されている。境界面検出部35は、平面方程式を読み出すと、この平面方程式とステップS2で求めた直線方程式との交点の座標情報を算出する(ステップS4)。境界面検出部35は、同様の手順で水面ピーク位置に対応する水面上の線の各点について交点の座標情報を算出する。
【0042】
次に反射位置検出部32は、記憶部37に記録された一連の走査においてカメラ102が撮像した全ての画像に対してステップS1〜ステップS4の処理を行ったかどうかを判定する(ステップS5)。全ての画像に対して処理を行っていなければステップS1からの処理を繰り返す。全ての画像に対する処理が終了している場合、境界面検出部35は、算出した複数の交線から水面の平面方程式を求める(ステップS6)。境界面検出部35は、算出した水面の平面方程式を記憶部37に出力する。このステップS1〜S6の処理は図7を用いて説明した(1)の処理に相当する。なお、ステップS5にて全画像について処理を行ったかどうかの判定を行っているが、必ずしも全画像について処理を行わなくてもよい。例えば同一直線上に無い3つ以上の点の座標情報を算出し水面の平面方程式を算出してもよい。
【0043】
図9は、本発明に係る第一実施形態における画像処理装置における処理の一例を示す第二のフローチャートである。
図9を用いて、図8の処理後に対象物400の形状の測定を行う処理について説明する。
前提条件は、図8と同様であるが、さらに記憶部37には水面の平面方程式が記憶されているものとする。
まず、反射位置検出部32が、記憶部37より1枚の画像を読み出す(ステップS7)。反射位置検出部32は、シート光110の反射光を示す線が写っている個所(ピーク位置)を検出し、対象物400による反射光を示す水中ピーク位置を特定する(ステップS8)。例えば、図5で図示した状況において図6の画像を撮像した場合であれば、シート光照射装置105の位置から遠い方を水中ピーク位置に特定する。反射位置検出部32は、画像と特定した水中ピーク位置の位置情報を視線経路算出部33へ出力する。
【0044】
次に、視線経路算出部33は、記憶部37からカメラパラメータを読み込んで反射位置検出部32から取得した画像を補正し、補正後の水中ピーク位置の位置情報を取得する。視線経路算出部33は、補正後の水中ピーク位置の位置情報を用いて図7の(2)で説明した手順で水中におけるカメラ視線の直線方程式を求める(ステップS9)。視線経路算出部33は、直線方程式を復元部36へ出力する。
また、光経路算出部34は、記憶部37から読み込んだ現在解析中の画像に対応したシート光110の平面方程式と、記憶部37から読み込んだ水面の平面方程式に基づいて水中でのシート光110の平面方程式を図7の(3)で説明した手順で算出する(ステップS10)。光経路算出部34は、シート光110の水中における平面方程式を復元部36へ出力する。
【0045】
復元部36は、水中でのカメラの視線直線とシート光110の平面の交点の座標情報を算出する(ステップS11)。また、復元部36は、水中ピーク位置に対応する線の各点に対して同様に座標情報を算出し、シート光110と対象物400の光線の座標情報を求める。次に反射位置検出部32は、カメラ102が撮像した全ての画像に対してステップS7〜ステップS11の処理を行ったかどうかを判定する(ステップS12)。全ての画像に対して処理を行っていなければステップS7からの処理を繰り返す。全ての画像に対する処理が終了している場合、復元部36は、算出した複数の交線の座標情報から対象物400の3次元形状を復元する(ステップS13)。
【0046】
図10は、本発明に係る第一実施形態における外観計測システムの運用形態の一例を示す図である。
図10(a)は、計測ヘッド100と対象物400が共に空気(第一媒質)中に存在する場合の測定の様子を示している。計測ヘッド100と対象物400が同じ媒質中に存在し、計測ヘッド100と対象物400の間にも光の屈折率の異なる媒質が存在しない場合、走査装置101が発した光の形成する平面もカメラ102の視線直線も屈折することが無い。従ってそれらの交点を求めることにより対象物400の表面形状を算出することができる。
図10(b)は、計測ヘッド100と対象物400が共に水(第二媒質)中に存在する場合の測定の様子を示している。この場合、ミラー106の角度に対するシート光110の平面方程式やカメラの視線直線を水中用に補正することで図10(a)と同様にして対象物400の表面形状を算出することができる。
図10(c)は、計測ヘッド100と対象物400がそれぞれ異なる媒質中に存在する場合の測定の様子を示している。図8、9を用いて説明した処理フローで対象物400の表面形状を算出することができる。また、計測ヘッド100が水中に存在し、対象物400が空気中に存在する場合にも、図8、9を用いて説明した処理を応用して、対象物400の表面形状を測定することができる。
外観計測システム1は、これらの運用形態に合わせて例えば、図10(a)のような環境で計測を行う「空気中計測モード」、図10(b)のような環境で計測を行う「水中計測モード」、図10(c)のような環境で計測を行う「気中から水中計測モード」の動作モードを備えており、ユーザの指示操作により切り替えることができる。
【0047】
本実施形態によれば、計測ヘッド100と対象物400がそれぞれ同じ媒質中に存在する場合だけではなく、それぞれ異なる媒質中に存在する場合でも対象物400の表面形状を計測することができる。また、事前に準備した計測ヘッド100が存在する媒質におけるミラー106の走査に用いる角度ごとのシート光110の平面方程式、カメラパラメータ、各媒質における光の屈折率の情報を用いて、異なる媒質の境界面の平面方程式を撮像した画像から求めることができるので、計測ヘッド100と境界面との距離や角度が変化しても対象物の計測を適宜行うことができる。また、計測ヘッド100だけを計測を行う空間内に挿入できればよいので、原子炉設備内のような制限が多い空間でも計測を行うことができる。また、本実施形態の外観計測システム1は原子炉設備のような高放射線環境下でも使用することができる。
【0048】
なお、上記では、1種類のシート光を用いて計測を行う場合を例として説明を行ったが、外観計測システム1は、対象物400の測定用の第一光源と水面検出用の第二光源とを備えた構成としてもよい。対象物400を計測するためのシート光には水中を透過しやすい波長の光を用い、水面の検出用には、相対的に波長の短い水面で散乱しやすい光を用いる。これにより、水面の位置情報をより正確に把握し、対象物400の計測精度を向上させることができる。
【0049】
また、シート光110を走査させながら画像を撮像する一連の工程を繰り返し行い、工程を繰り返すことによって得られた異なる時刻における水面の位置情報の平均を求め、水面の平面方程式を算出する実施形態も考えられる。これにより、水面の波立ちが水面ピーク位置に与える影響を低減し、より正確な水面の平面方程式を算出することができる。
また、シート光110の代わりに、例えば、ビーム状の光を、そのビーム状の光が走査方向と垂直な平面を形成するように首振りさせて、対象物400を照射するようにしてもよい。
【0050】
なお上述の画像処理装置300は内部に、コンピュータシステムを有している。そして、上述した画像処理装置300における各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒質に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒質とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0051】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0052】
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【符号の説明】
【0053】
1・・・外観計測装置
21・・・シート光走査制御部
22・・・レーザ装置
23・・・カメラ制御部
24・・・パン・チルト機構制御部
31・・・画像取得部
32・・・反射位置検出部
33・・・視線経路算出部
34・・・光経路算出部
35・・・境界面検出部
36・・・復元部
37・・・記憶部
100・・・計測ヘッド
101・・・走査装置
102・・・カメラ
103・・・パン・チルト機構装置
104・・・支柱板
105・・・シート光照射装置
106・・・ミラー
200・・・制御装置
300・・・画像処理装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10