知財求人 - 知財ポータルサイト「IP Force」
▶ 大日本印刷株式会社の特許一覧 ▶ 国立大学法人九州大学の特許一覧 ▶ 公立大学法人広島市立大学の特許一覧 ▶ 株式会社ノアの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024009548
(43)【公開日】2024-01-23
(54)【発明の名称】３次元形状計測装置
(51)【国際特許分類】
G06T 7/521 20170101AFI20240116BHJP
G01B 11/25 20060101ALI20240116BHJP
A61B 1/00 20060101ALI20240116BHJP
【ＦＩ】
G06T7/521
G01B11/25 H
A61B1/00 522
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022111156
(22)【出願日】2022-07-11
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）令和４年７月９日、古川亮、川崎洋が、ウェブサイト（ｈｔｔｐｓ：／／ａｃａｄｅｍｙ．ｅｍｂｓ．ｏｒｇ／ｅｍｂｓ／２０２２／ｅｍｂｃ－２０２２／３６５２７７／ｒｙｏ．ｆｕｒｕｋａｗａ．３ｄ．ｅｎ）にて、３次元形状計測装置に関する技術について公開した。
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人科学技術振興機構、研究成果展開事業「既製の内視鏡を用いた広範囲な３次元形状とテクスチャの同時取得システムの開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(71)【出願人】
【識別番号】504145342
【氏名又は名称】国立大学法人九州大学
(71)【出願人】
【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
(71)【出願人】
【識別番号】501039190
【氏名又は名称】株式会社ノア
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】大八木 康之
(72)【発明者】
【氏名】稲月 友一
(72)【発明者】
【氏名】安達 俊
(72)【発明者】
【氏名】川崎 洋
(72)【発明者】
【氏名】古川 亮
(72)【発明者】
【氏名】長枝 浩
【テーマコード（参考）】
2F065
4C161
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA53
2F065BB05
2F065CC16
2F065DD02
2F065DD03
2F065FF04
2F065FF09
2F065GG04
2F065HH07
2F065JJ03
2F065LL02
2F065LL42
2F065MM16
2F065PP22
2F065QQ03
2F065QQ17
2F065QQ21
2F065QQ24
2F065QQ28
2F065QQ31
2F065QQ38
2F065QQ41
2F065UU05
2F065UU06
4C161BB06
4C161CC06
4C161NN01
4C161NN05
4C161QQ10
4C161WW04
5L096AA06
5L096BA06
5L096BA13
5L096CA04
5L096CA17
5L096DA01
5L096FA66
5L096HA08
5L096HA11
5L096JA11
5L096JA18
5L096KA04
(57)【要約】
【課題】演算処理の負担を軽減することができる３次元形状計測装置を提供する。また、より精度の高い計測を行うことができる３次元形状計測装置を提供する。
【解決手段】３次元形状計測装置１は、線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される計測用パターン２１を計測対象に投影する投影部２０と、計測対象に投影された計測用パターン２１を撮影する撮影部３０と、撮影部３０による撮影画像に基づいて計測対象の３次元形状を演算する演算部１２０と、を備え、投影部２０が投影する計測用パターン２１は、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する。
【選択図】図４
【解決手段】３次元形状計測装置１は、線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される計測用パターン２１を計測対象に投影する投影部２０と、計測対象に投影された計測用パターン２１を撮影する撮影部３０と、撮影部３０による撮影画像に基づいて計測対象の３次元形状を演算する演算部１２０と、を備え、投影部２０が投影する計測用パターン２１は、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する。
【選択図】図４
【特許請求の範囲】
【請求項1】
線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される２次元パターンを計測対象に投影する投影部と、
前記計測対象に投影された前記２次元パターンを撮影する撮影部と、
前記撮影部による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部と、
を備え、
前記投影部が投影する前記２次元パターンは、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置。
前記計測対象に投影された前記２次元パターンを撮影する撮影部と、
前記撮影部による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部と、
を備え、
前記投影部が投影する前記２次元パターンは、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置。
【請求項2】
請求項１に記載の３次元形状計測装置において、
前記２次元パターンは、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置。
前記２次元パターンは、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置。
【請求項3】
請求項１又は請求項２に記載の３次元形状計測装置において、
前記演算部は、
前記撮影部による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部と、
前記グラフ作成部が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部と、
前記グラフ作成部が作成した前記グラフと、前記特徴量推定部が推定した前記各ノードの特徴量とに基づいて、前記２次元パターンに対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部と、
対応点推定部が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部と、
を備える、３次元形状計測装置。
前記演算部は、
前記撮影部による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部と、
前記グラフ作成部が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部と、
前記グラフ作成部が作成した前記グラフと、前記特徴量推定部が推定した前記各ノードの特徴量とに基づいて、前記２次元パターンに対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部と、
対応点推定部が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部と、
を備える、３次元形状計測装置。
【請求項4】
請求項３に記載の３次元形状計測装置において、
前記対応点選択部が選択した対応点の情報を用いて前記投影部と前記撮影部との間の相対的な位置に関する情報を校正する自己校正部を備える、３次元形状計測装置。
前記対応点選択部が選択した対応点の情報を用いて前記投影部と前記撮影部との間の相対的な位置に関する情報を校正する自己校正部を備える、３次元形状計測装置。
【請求項5】
請求項３に記載の３次元形状計測装置において、
前記グラフ作成部と、前記特徴量推定部と、前記対応点推定部と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置。
前記グラフ作成部と、前記特徴量推定部と、前記対応点推定部と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置。
【請求項6】
線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される２次元パターンを計測対象に投影する投影部と、
前記計測対象に投影された前記２次元パターンを撮影する撮影部と、
前記撮影部による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部と、
を備え、
前記投影部が投影する前記２次元パターンは、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置。
前記計測対象に投影された前記２次元パターンを撮影する撮影部と、
前記撮影部による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部と、
を備え、
前記投影部が投影する前記２次元パターンは、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置。
【請求項7】
請求項６に記載の３次元形状計測装置において、
前記２次元パターンは、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置。
前記２次元パターンは、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置。
【請求項8】
請求項６又は請求項７に記載の３次元形状計測装置において、
前記演算部は、
前記撮影部による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部と、
前記グラフ作成部が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部と、
前記グラフ作成部が作成した前記グラフと、前記特徴量推定部が推定した前記各ノードの特徴量とに基づいて、前記２次元パターンに対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部と、
対応点推定部が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部と、
を備える、３次元形状計測装置。
前記演算部は、
前記撮影部による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部と、
前記グラフ作成部が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部と、
前記グラフ作成部が作成した前記グラフと、前記特徴量推定部が推定した前記各ノードの特徴量とに基づいて、前記２次元パターンに対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部と、
対応点推定部が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部と、
を備える、３次元形状計測装置。
【請求項9】
請求項８に記載の３次元形状計測装置において、
前記対応点選択部が選択した対応点の情報を用いて前記投影部と前記撮影部との間の相対的な位置に関する情報を校正する自己校正部を備える、３次元形状計測装置。
前記対応点選択部が選択した対応点の情報を用いて前記投影部と前記撮影部との間の相対的な位置に関する情報を校正する自己校正部を備える、３次元形状計測装置。
【請求項10】
請求項８に記載の３次元形状計測装置において、
前記グラフ作成部と、前記特徴量推定部と、前記対応点推定部と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置。
前記グラフ作成部と、前記特徴量推定部と、前記対応点推定部と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、３次元形状計測装置に関するものである。
【背景技術】
【0002】
近年、３次元形状計測はスマートフォンの顔認証や自動運転技術、医療、工業等、様々な分野で利用されており、高精度、かつ、安定した復元が求められている。３次元形状計測は、主に受動ステレオ法、能動ステレオ法、ＴＯＦカメラの３つの方式がよく知られており、条件に応じて使用されるが、中でも、ワンショット方式の能動ステレオ法はプロジェクタとカメラだけで撮影でき、１枚の入力画像から計測が行えるため、小型の装置で高速な計測が可能である。
【0003】
ワンショット方式の能動ステレオ法を用いる３次元形状計測装置を内視鏡に適用する技術が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－２１７２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、内視鏡の撮影部に設けられている撮影レンズは、画角が非常に広い超広角レンズ、又は、魚眼レンズを用いて広い視野を確保していることから、撮影画像に生じる歪曲収差が非常に大きい。そのため、正確な計測を行うためには、画像処理によって歪曲収差を補正したり、計測結果を補正したりする必要があった。このような補正処理は演算処理の負担増となっていた。特に計測対象の３次元形状を演算する処理に、測定点の数を多くしてより詳細に３次元形状を計測したり、深層学習を用いて測定点の位置を推定したりする場合には、補正処理の演算処理の負担軽減が求められる。
【0006】
また、特許文献１に開示されている手法では、投影されるパターンのノードで表現できる特徴が３種類だけであることから、得られる情報量が少なく、より精度の高い３次元形状の計測には不十分であった。
【0007】
本開示の課題は、演算処理の負担を軽減することができる３次元形状計測装置を提供することである。
また、本開示の第２の課題は、より精度の高い計測を行うことができる３次元形状計測装置を提供することである。
また、本開示の第２の課題は、より精度の高い計測を行うことができる３次元形状計測装置を提供することである。
【課題を解決するための手段】
【0008】
本開示は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本開示の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【0009】
第１の開示は、線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される２次元パターン（２１）を計測対象に投影する投影部（２０）と、前記計測対象に投影された前記２次元パターン（２１）を撮影する撮影部（３０）と、前記撮影部（３０）による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部（１２０）と、を備え、前記投影部（２０）が投影する前記２次元パターン（２１）は、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置（１）である。
【0010】
第２の開示は、第１の開示に記載の３次元形状計測装置（１）において、前記２次元パターン（２１）は、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置（１）である。
【0011】
第３の開示は、第１の開示又は第２の開示に記載の３次元形状計測装置（１）において、前記演算部（１２０）は、前記撮影部（３０）による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部（１２１）と、前記グラフ作成部（１２１）が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部（１２２）と、前記グラフ作成部（１２１）が作成した前記グラフと、前記特徴量推定部（１２２）が推定した前記各ノードの特徴量とに基づいて、前記２次元パターン（２１）に対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部（１２３）と、対応点推定部（１２３）が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部（１２４）と、を備える、３次元形状計測装置（１）である。
【0012】
第４の開示は、第３の開示に記載の３次元形状計測装置（１）において、前記対応点選択部（１２４）が選択した対応点の情報を用いて前記投影部（２０）と前記撮影部（３０）との間の相対的な位置に関する情報を校正する自己校正部（１２５）を備える、３次元形状計測装置（１）である。
【0013】
第５の開示は、第３の開示又は第４の開示に記載の３次元形状計測装置（１）において、前記グラフ作成部（１２１）と、前記特徴量推定部（１２２）と、前記対応点推定部（１２３）と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置（１）である。
【0014】
第６の開示は、線分の接続状態によって区別可能な特徴を有するノードとエッジとを有するグラフから構成される２次元パターン（２１）を計測対象に投影する投影部（２０）と、前記計測対象に投影された前記２次元パターン（２１）を撮影する撮影部（３０）と、前記撮影部（３０）による撮影画像に基づいて前記計測対象の３次元形状を演算する演算部（１２０）と、を備え、前記投影部（２０）が投影する前記２次元パターン（２１）は、縦横の線分からなり、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって前記各ノードが特徴を持つグラフ構造のパターンである、３次元形状計測装置（１）である。
【0015】
第７の開示は、第６の開示に記載の３次元形状計測装置（１）において、前記２次元パターン（２１）は、平面上へ前記平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有する、３次元形状計測装置（１）である。
【0016】
第８の開示は、第６の開示又は第７の開示に記載の３次元形状計測装置（１）において、前記演算部（１２０）は、前記撮影部（３０）による撮影画像に基づいてノードを接続したグラフを作成するグラフ作成部（１２１）と、前記グラフ作成部（１２１）が作成したグラフの前記各ノードの特徴量を推定する特徴量推定部（１２２）と、前記グラフ作成部（１２１）が作成した前記グラフと、前記特徴量推定部（１２２）が推定した前記各ノードの特徴量とに基づいて、前記２次元パターン（２１）に対応する前記撮影画像中の対応点の候補を各ノードについて複数推定する対応点推定部（１２３）と、対応点推定部（１２３）が推定した前記対応点の候補から、隣接する対応点の関係を用いて対応点を選択する対応点選択部（１２４）と、を備える、３次元形状計測装置（１）である。
【0017】
第９の開示は、第８の開示に記載の３次元形状計測装置（１）において、前記対応点選択部（１２４）が選択した対応点の情報を用いて前記投影部（２０）と前記撮影部（３０）との間の相対的な位置に関する情報を校正する自己校正部（１２５）を備える、３次元形状計測装置（１）である。
【0018】
第１０の開示は、第８の開示又は第９の開示に記載の３次元形状計測装置（１）において、前記グラフ作成部（１２１）と、前記特徴量推定部（１２２）と、前記対応点推定部（１２３）と、の内の少なくとも１つは、教師画像に加えて前記教師画像に改変を加えた改変教師画像を用いた深層学習を用いている、３次元形状計測装置（１）である。
【発明の効果】
【0019】
本開示によれば、演算処理の負担を軽減することができる３次元形状計測装置を提供することができる。
また、本開示によれば、より精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
また、本開示によれば、より精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
【図面の簡単な説明】
【0020】
【図1】本開示による３次元形状計測装置１の実施形態を示す図である。
【図2】内視鏡５０の挿入端の鉗子孔周辺の拡大断面図である。
【図3】計測対象に計測用パターン２１の像が投影される様子を示す図である。
【図4】投影部２０が平面上へ平面の法線方向から投影した場合の計測用パターン２１を示す図である。
【図5】当初設計されたパターンを示す図である。
【図6】投影部２０から平面上へ平面の法線方向から投影された計測用パターン２１を撮影部３０により撮影した計測用パターン２１を示す図である。
【図7】ラインの間隔を調整した、歪む前の当初設計されたパターンを示す図である。
【図9】投影部２０から平面上へ平面の法線方向から投影された計測用パターン２２を撮影部３０により撮影した計測用パターン２２を示す図である。
【図10】計測用パターン２１の段差に割り振られるコードを示す図である。
【図11】３次元形状計測装置の全体構成を示すブロック図である。
【図12】特徴量推定部１２２が特徴量を推定する状態を説明する図である。
【図13】対応点選択部１２４が行う対応点の選択方法について説明する図である。
【図14】教師画像及び改変教師画像を説明する図である。
【図15】計測に用いたサンプルと計測範囲を示す図である。
【図19】豚の胃の中に内視鏡５０を挿入して計測を行った例を示す図である。
【発明を実施するための形態】
【0021】
以下、本開示を実施するための最良の形態について図面等を参照して説明する。
【0022】
（実施形態）
図１は、本開示による３次元形状計測装置１の実施形態を示す図である。
なお、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張したり、省略したりして示している。
また、以下の説明では、具体的な数値、形状等を示して説明を行うが、これらは、適宜変更することができる。
図１は、本開示による３次元形状計測装置１の実施形態を示す図である。
なお、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張したり、省略したりして示している。
また、以下の説明では、具体的な数値、形状等を示して説明を行うが、これらは、適宜変更することができる。
【0023】
図１に示すように、本実施形態の３次元形状計測装置１は、レーザ光源１０と、計測対象に計測用パターン２１（図４、図５参照）を投影する投影部（パターンプロジェクタ）２０と、を備える。３次元形状計測装置１は、内視鏡５０とともに用いられる。内視鏡５０には、鉗子孔５１が形成されている。通常、鉗子孔５１には、観察部位を採取する鉗子が挿通される。しかし、本実施形態では、鉗子に代えて、投影部２０が、鉗子孔５１に挿通されて用いられる。なお、本実施形態では、鉗子孔５１に投影部２０が挿通される構成としたが、例えば、後述する照明部４０のように投影部２０を内視鏡５０の一部として内視鏡５０に固定してもよい。
【0024】
投影部２０は、レーザ光源１０と接続されている。レーザ光源１０は、レーザモジュール１０ａと、拡散板１０ｂと、照明絞り１０ｃと、コリメータレンズ１０ｄと、を備える。
【0025】
レーザモジュール１０ａは、緑色のレーザ光ＬＢ（例えば、波長５１７ｍｍのレーザ光）を発振出力する。拡散板１０ｂは、レーザモジュール１０ａから発せられたレーザ光ＬＢを拡散して、レーザ光ＬＢの断面における強度を均一化する。コリメータレンズ１０ｄは、入射したレーザ光ＬＢを平行光に変換する。コリメータレンズ１０ｄによって平行光に変換されたレーザ光ＬＢは、投影部２０を構成する光ファイバ２０ａに入射する。
【0026】
図２は、内視鏡５０の挿入端の鉗子孔周辺の拡大断面図である。
図２に示すように、投影部２０は、光ファイバ２０ａと、グリンレンズ２０ｂと、回折光学素子２０ｃと、円筒部２０ｄと、を備える。投影部２０のサイズは、例えば、直径１．８ｍｍ、長さ１９ｍｍである。
図２に示すように、投影部２０は、光ファイバ２０ａと、グリンレンズ２０ｂと、回折光学素子２０ｃと、円筒部２０ｄと、を備える。投影部２０のサイズは、例えば、直径１．８ｍｍ、長さ１９ｍｍである。
【0027】
光ファイバ２０ａは、プラスチック又はガラス製のシングルモードの光ファイバである。光ファイバ２０ａは、コリメータレンズ１０ｄから出射された緑色のレーザ光ＬＢを、その一端から入射して他端から出射する。
【0028】
グリンレンズ２０ｂは、光ファイバ２０ａから出射されたレーザ光を集光して、回折光学素子２０ｃの回折格子が構成されている領域にレーザ光を照射する。
回折光学素子２０ｃは、ＤＯＥ（diffractive optional element）と呼ばれる光学素子である。ＤＯＥは、通過するレーザ光を回折させることにより、パターンを形成する。したがって、フィルムによるマスクパターンよりも光損失を低減することができ、例えば光エネルギーの損失率は５％以下となる。ＤＯＥは、距離にかかわらず明瞭なパターンを投影することができるので、結像光学系よりも計測範囲を広げることができる。また、ＤＯＥの光効率は９０％以上になるので、計測対象に投影されるパターンの輝度の低下も抑制される。投影されるパターンのサイズは、例えば、３０ｍｍの距離で約３０ｍｍ２である。
回折光学素子２０ｃは、ＤＯＥ（diffractive optional element）と呼ばれる光学素子である。ＤＯＥは、通過するレーザ光を回折させることにより、パターンを形成する。したがって、フィルムによるマスクパターンよりも光損失を低減することができ、例えば光エネルギーの損失率は５％以下となる。ＤＯＥは、距離にかかわらず明瞭なパターンを投影することができるので、結像光学系よりも計測範囲を広げることができる。また、ＤＯＥの光効率は９０％以上になるので、計測対象に投影されるパターンの輝度の低下も抑制される。投影されるパターンのサイズは、例えば、３０ｍｍの距離で約３０ｍｍ２である。
【0029】
回折光学素子２０ｃは、グリンレンズ２０ｂから出射されるレーザ光ＬＢの光路上に設置される。このため、生体組織に投影されるレーザ光ＬＢは、後述する図４に示す計測用パターン２１（２次元パターン）の像を含む投影光となる。この計測用パターン２１は、以下に示すように、線分の接続状態によって区別可能な特徴を有するノードとエッジからなるグラフから構成される。計測用パターン２１の詳細については、後述する。
【0030】
円筒部２０ｄは、円筒状の部材である。円筒部２０ｄは内視鏡５０の挿入端５２から突出している。円筒部２０ｄの外径は、鉗子孔５１に嵌まる大きさとなっている。円筒部２０ｄの内径は、光ファイバ２０ａ、グリンレンズ２０ｂ及び回折光学素子２０ｃを実装できる径となっている。
【0031】
図３は、計測対象に計測用パターン２１の像が投影される様子を示す図である。
グリンレンズ２０ｂから出射されたレーザ光ＬＢは、円筒部２０ｄの端部に設けられた回折光学素子２０ｃを介して外部に出射される。
レーザ光ＬＢは、回折光学素子２０ｃにより回折され計測用パターン２１の投影像を形成するため、レーザ光ＬＢが照射される計測対象（ターゲットＴ）には、図３に示すように、計測用パターン２１が投影される。
グリンレンズ２０ｂから出射されたレーザ光ＬＢは、円筒部２０ｄの端部に設けられた回折光学素子２０ｃを介して外部に出射される。
レーザ光ＬＢは、回折光学素子２０ｃにより回折され計測用パターン２１の投影像を形成するため、レーザ光ＬＢが照射される計測対象（ターゲットＴ）には、図３に示すように、計測用パターン２１が投影される。
【0032】
内視鏡５０の挿入端５２には、鉗子孔５１の他に、撮影部３０及び照明部４０が取り付けられている。撮影部３０は、ターゲットＴを撮像する不図示の撮影光学系及び撮像素子等を備えている。照明部４０は、ターゲットＴへ照明光を照射する。内視鏡５０は、照明部４０によってターゲットＴに照明光を照射し、照射されたターゲットＴを、撮影部３０によって撮影する機能を有している。本実施形態では、内視鏡５０が備えている撮影部３０を用いて、ターゲットＴと、ターゲットＴへ投影された計測用パターン２１の投影像とを撮影して、３次元形状計測を行う。
【0033】
ここで、投影部２０が投影する計測用パターン２１について説明する。
図４は、投影部２０が平面上へ平面の法線方向から投影した場合の計測用パターン２１を示す図である。
投影部２０が投影する計測用パターン２１（２次元パターン）は、図４に示すように平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有している。このように投影部２０が投影する計測用パターン２１は、直交した格子パターンを糸巻型に歪曲させたパターンとなっているのは、内視鏡５０が備える撮影部３０が有する撮影光学系が、魚眼レンズであることを考慮したものである。平面上に直交した格子パターンが配置（投影）されていても、魚眼レンズで撮影した撮影画像では、樽型の歪曲収差が発生する。これを補正する処理は、先に説明したように演算処理の負担が大きくなる。そこで、本実施形態では、撮影部３０によって撮影されるときに生じる樽型の歪曲収差と逆の糸巻型の歪曲収差に相当する形状の計測用パターン２１を投影部２０が投影するように回折光学素子２０ｃの回折格子を構成している。
先に示した図４に示すように、投影部２０が平面上へ平面の法線方向から投影した場合の計測用パターン２１は、意図的に糸巻型に歪曲した格子パターンを持つが、図５には、図４の計測用パターン２１を撮影部３０によって撮影された場合に魚眼レンズの光学的な歪み（樽型歪み）によって歪むことによって糸巻型の歪曲が相殺されて撮影結果として得たい当初設計された目標パターンを示している。
図４は、投影部２０が平面上へ平面の法線方向から投影した場合の計測用パターン２１を示す図である。
投影部２０が投影する計測用パターン２１（２次元パターン）は、図４に示すように平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有している。このように投影部２０が投影する計測用パターン２１は、直交した格子パターンを糸巻型に歪曲させたパターンとなっているのは、内視鏡５０が備える撮影部３０が有する撮影光学系が、魚眼レンズであることを考慮したものである。平面上に直交した格子パターンが配置（投影）されていても、魚眼レンズで撮影した撮影画像では、樽型の歪曲収差が発生する。これを補正する処理は、先に説明したように演算処理の負担が大きくなる。そこで、本実施形態では、撮影部３０によって撮影されるときに生じる樽型の歪曲収差と逆の糸巻型の歪曲収差に相当する形状の計測用パターン２１を投影部２０が投影するように回折光学素子２０ｃの回折格子を構成している。
先に示した図４に示すように、投影部２０が平面上へ平面の法線方向から投影した場合の計測用パターン２１は、意図的に糸巻型に歪曲した格子パターンを持つが、図５には、図４の計測用パターン２１を撮影部３０によって撮影された場合に魚眼レンズの光学的な歪み（樽型歪み）によって歪むことによって糸巻型の歪曲が相殺されて撮影結果として得たい当初設計された目標パターンを示している。
【0034】
図６は、投影部２０から平面上へ平面の法線方向から投影された計測用パターン２１を撮影部３０により撮影した計測用パターン２１を示す図である。
先の図４に示した直交した格子パターンを糸巻型に歪曲させたパターンを撮影部３０によって撮影すると、図６に示すように計測用パターン２１は、直交した格子パターンを有する形態で撮影される。このように、糸巻型の格子パターンが撮影部３０の魚眼レンズを用いた撮影によって樽型の歪曲収差が生じることによって撮影結果では、あたかも歪曲収差を補正したかのように、直交した格子パターンを有する撮影結果となる。これは、撮影部３０の魚眼レンズの「樽型の歪み」を打ち消すことができるように糸巻状の補正値を予め含んだ格子パターンを投影部２０が投影することによって得られる優れた効果である。したがって、歪曲収差の補正のための画像処理演算等を行う必要がなく、演算処理の負担を軽減することができる。
先の図４に示した直交した格子パターンを糸巻型に歪曲させたパターンを撮影部３０によって撮影すると、図６に示すように計測用パターン２１は、直交した格子パターンを有する形態で撮影される。このように、糸巻型の格子パターンが撮影部３０の魚眼レンズを用いた撮影によって樽型の歪曲収差が生じることによって撮影結果では、あたかも歪曲収差を補正したかのように、直交した格子パターンを有する撮影結果となる。これは、撮影部３０の魚眼レンズの「樽型の歪み」を打ち消すことができるように糸巻状の補正値を予め含んだ格子パターンを投影部２０が投影することによって得られる優れた効果である。したがって、歪曲収差の補正のための画像処理演算等を行う必要がなく、演算処理の負担を軽減することができる。
【0035】
また、図４に示すように、投影時の格子間隔が略等しくなるように、格子間隔が設定されている。これによりターゲットＴ上において略等間隔でノードを対応させることができる。これを実現するため、図５に示した当初設計された目標パターンは、周縁部の格子間隔が中央部の格子間隔よりも狭くなっている。これを内視鏡カメラで撮影したパターンは、図６で示すように、魚眼レンズ歪のため、糸巻き歪は解消されるものの、再び周辺の間隔が狭くなる。そこで、さらに魚眼歪を考慮してラインの間隔を追加で調整した目標パターンを図７で示す。図７に示すパターンは、その周縁部の格子サイズを図５に示すパターンの周縁部における格子のサイズよりも大きくしている。言い換えると、図７に示すパターンは、図５に示すパターンよりも中央付近の格子と周縁部の格子との大きさの差を小さくしている。
図８は、投影部２０が、図７を平面上へ平面の法線方向から投影した場合の計測用パターン２２を示す図である。この図８を、撮影部３０により撮影した場合の画像が、図９である。図９においては、周縁部の格子間隔（格子のサイズ）が中央付近とほぼ同一となっていることが分かる。
図８は、投影部２０が、図７を平面上へ平面の法線方向から投影した場合の計測用パターン２２を示す図である。この図８を、撮影部３０により撮影した場合の画像が、図９である。図９においては、周縁部の格子間隔（格子のサイズ）が中央付近とほぼ同一となっていることが分かる。
【0036】
また、本実施形態の計測用パターン２１は、特開２０１７－２１７２１５号公報（以下、特許文献１と呼称する）と同様に、表面下散乱によるボケに対して比較的頑健な、間隔の大きな線パターンを含むパターンとした。図４及び図５に示すように、計測用パターン２１は、縦横線分からなる格子状パターンを基本としている。
本実施形態の計測用パターン２１は、格子状パターンを基本として縦横の線分（エッジ）を有し、各線分の交点にノードがあるものとし、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって各ノードが特徴を持つグラフ構造のパターンとなっている。
計測用パターン２１において、横方向の線分（横線分）には、各格子点（線分の交点）において、隣り合う横線分（縦線分に接続する左右の横線分）の間に、小さな段差が付加されている。また、縦方向の線分（縦線分）にも、各格子点において、隣り合う縦線分（横線分に接続する上下の縦線分）の間に、小さな段差が付加されている。なお、上記段差の大きさは０も含んでいる。ボケのサイズより長い線分の位置は、表面下散乱によっても失われにくいので、段差の情報は、安定して取得可能である。
本実施形態の計測用パターン２１は、格子状パターンを基本として縦横の線分（エッジ）を有し、各線分の交点にノードがあるものとし、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって各ノードが特徴を持つグラフ構造のパターンとなっている。
計測用パターン２１において、横方向の線分（横線分）には、各格子点（線分の交点）において、隣り合う横線分（縦線分に接続する左右の横線分）の間に、小さな段差が付加されている。また、縦方向の線分（縦線分）にも、各格子点において、隣り合う縦線分（横線分に接続する上下の縦線分）の間に、小さな段差が付加されている。なお、上記段差の大きさは０も含んでいる。ボケのサイズより長い線分の位置は、表面下散乱によっても失われにくいので、段差の情報は、安定して取得可能である。
【0037】
図１０は、計測用パターン２１の段差に割り振られるコードを示す図である。
上述した計測用パターン２１の段差の構成によって、図１０に示すように、各格子点には、Ａ、Ｂ、Ｃ、Ｄ、Ｅの５種類のコード（特徴量）が割り振られている。
ＣＯＤＥ＿Ａは、上下の縦線分の端点、及び、左右の横線分の端点がいずれも連続、すなわち、段差が上下左右のいずれにもない格子点に割り振られる。
ＣＯＤＥ＿Ｂは、右側の横線分の端点の方が左側の横線分の端点より高い格子点に割り振られる。
ＣＯＤＥ＿Ｃは、左側の横線分の端点の方が右側の横線分の端点より高い格子点に割り振られる。
ＣＯＤＥ＿Ｄは、上側の縦線分の端点が下側の縦線分の端点よりも左側にある格子点に割り振られる。
ＣＯＤＥ＿Ｅは、下側の縦線分の端点が上側の縦線分の端点よりも左側にある格子点に割り振られる。
上述した計測用パターン２１の段差の構成によって、図１０に示すように、各格子点には、Ａ、Ｂ、Ｃ、Ｄ、Ｅの５種類のコード（特徴量）が割り振られている。
ＣＯＤＥ＿Ａは、上下の縦線分の端点、及び、左右の横線分の端点がいずれも連続、すなわち、段差が上下左右のいずれにもない格子点に割り振られる。
ＣＯＤＥ＿Ｂは、右側の横線分の端点の方が左側の横線分の端点より高い格子点に割り振られる。
ＣＯＤＥ＿Ｃは、左側の横線分の端点の方が右側の横線分の端点より高い格子点に割り振られる。
ＣＯＤＥ＿Ｄは、上側の縦線分の端点が下側の縦線分の端点よりも左側にある格子点に割り振られる。
ＣＯＤＥ＿Ｅは、下側の縦線分の端点が上側の縦線分の端点よりも左側にある格子点に割り振られる。
【0038】
本実施形態では、縦線分に接続する左右の横線分の段差だけでなく、横線分に接続する上下の縦線分の段差も加えて、各ノードがコード化されている。計測用パターン２１は、左右の横線分の段差、及び、上下の縦線分の段差によってノードが特徴を持つグラフ構造のパターンである。
本実施形態によれば、特許文献１では３種類のコード（特徴量）であったのに対して、５種類のコード（特徴量）を各ノードに割り振ることができ、計測用パターン２１から得られる位置情報が多くなり、計測制度を高くすることができる。
本実施形態によれば、特許文献１では３種類のコード（特徴量）であったのに対して、５種類のコード（特徴量）を各ノードに割り振ることができ、計測用パターン２１から得られる位置情報が多くなり、計測制度を高くすることができる。
【0039】
図１１は、３次元形状計測装置の全体構成を示すブロック図である。
図１１には、３次元形状計測装置１の全体構成が示されている。図１１に示すように、３次元形状計測装置１は、上述したレーザ光源１０及び投影部２０の他に、制御部１００をさらに備えている。制御部１００は、ＣＰＵ（central processing unit）、記憶装置、入出力装置、ポインティングデバイス又はディスプレイ等のマンマシンインターフェイス等を備えるコンピュータである。ＣＰＵが、マンマシンインターフェイスから入力される操作者の操作情報にしたがって、記憶装置に記憶されたプログラムを実行することにより、制御部１００の機能が実現される。すなわち、実行されるプログラムにしたがって、制御部１００は、入出力装置を介してレーザ光源１０を制御したり、内視鏡５０の照明部４０を制御したり、入出力装置を介して内視鏡５０の撮影部３０から入力される撮像データを入力したりする。
また、ここでは、制御部１００内に、演算部１２０の構成の全てを備えているものとして説明する。これに限らず、例えば、演算部１２０の一部の構成（例えば、後述するグラフ作成部１２１や、特徴量推定部１２２、対応点推定部１２３等のうちの１つ又は複数）をクラウド上のサーバ等に設けるようにしてもよい。
図１１には、３次元形状計測装置１の全体構成が示されている。図１１に示すように、３次元形状計測装置１は、上述したレーザ光源１０及び投影部２０の他に、制御部１００をさらに備えている。制御部１００は、ＣＰＵ（central processing unit）、記憶装置、入出力装置、ポインティングデバイス又はディスプレイ等のマンマシンインターフェイス等を備えるコンピュータである。ＣＰＵが、マンマシンインターフェイスから入力される操作者の操作情報にしたがって、記憶装置に記憶されたプログラムを実行することにより、制御部１００の機能が実現される。すなわち、実行されるプログラムにしたがって、制御部１００は、入出力装置を介してレーザ光源１０を制御したり、内視鏡５０の照明部４０を制御したり、入出力装置を介して内視鏡５０の撮影部３０から入力される撮像データを入力したりする。
また、ここでは、制御部１００内に、演算部１２０の構成の全てを備えているものとして説明する。これに限らず、例えば、演算部１２０の一部の構成（例えば、後述するグラフ作成部１２１や、特徴量推定部１２２、対応点推定部１２３等のうちの１つ又は複数）をクラウド上のサーバ等に設けるようにしてもよい。
【0040】
また、内視鏡５０は、計測対象を撮影するための撮影部３０と、計測対象を照明する照明部４０と、を備える。撮影部３０は、計測対象とともに、計測対象に投影された計測用パターン２１を撮像する。
【0041】
制御部１００は、操作部１１０と、演算部１２０と、表示部１３０と、を備える。操作部１１０は、操作者の操作に応じた操作信号を、演算部１２０に出力する。
【0042】
演算部１２０は、操作部１１０からの操作信号にしたがって、内視鏡５０の撮影部３０から得られた計測対象の撮像データを入力し、入力した撮像データに対する各種演算処理を行って、計測対象の３次元形状を演算する。
【0043】
表示部１３０は、内視鏡５０の撮影部３０から得られた計測対象の撮像データ等の各種画像を表示する。
【0044】
次に、演算部１２０について、より詳しく説明する。
演算部１２０は、グラフ作成部１２１と、特徴量推定部１２２と、対応点推定部１２３と、対応点選択部１２４と、自己校正部１２５と、計測部１２６とを備えている。
演算部１２０は、グラフ作成部１２１と、特徴量推定部１２２と、対応点推定部１２３と、対応点選択部１２４と、自己校正部１２５と、計測部１２６とを備えている。
【0045】
グラフ作成部１２１は、撮影部３０によって得られた撮影画像に基づいてノードを接続したグラフ（グリッドグラフ）を作成する。
具体的には、グラフ作成部１２１は、計測用パターン２１を投影した物体が写った画像を入力とし、Ｕ－Ｎｅｔ（以下、Ｕ－Ｎｅｔ－１と呼称する）を使って縦、横のピクセル単位のフェーズを推定し、さらにこれを１波長ごとに分割したグリッド分割画像を得る。このとき、分割された各グリッドの重心をノードとし、隣接ノードを接続したグラフを作成する。ここで、Ｕ－Ｎｅｔとは、ＦＣＮ（fully convolution network）の１つであり、画像のセグメンテーションを推定するためのネットワークとして知られている。また、ここでのフェーズ（位相）は、計測用パターン２１の縦線分、及び、横線分に対応した別々の位相として得られる。すなわち縦縞状の縦位相マップと、横縞状の横位相マップが１つの撮影画像から生成される。グラフ作成部１２１は、この縦位相マップと横位相マップとを組み合わせて上述したようにノードを接続したグラフ（グリッドグラフ）を作成する。
なお、グラフ作成部１２１がグラフを作成する処理を行う前に、ガウシアンフィルタやメディアンフィルタ等を用いて画像中のノイズを低減する等の、公知の画像処理を適宜行ってもよい。
具体的には、グラフ作成部１２１は、計測用パターン２１を投影した物体が写った画像を入力とし、Ｕ－Ｎｅｔ（以下、Ｕ－Ｎｅｔ－１と呼称する）を使って縦、横のピクセル単位のフェーズを推定し、さらにこれを１波長ごとに分割したグリッド分割画像を得る。このとき、分割された各グリッドの重心をノードとし、隣接ノードを接続したグラフを作成する。ここで、Ｕ－Ｎｅｔとは、ＦＣＮ（fully convolution network）の１つであり、画像のセグメンテーションを推定するためのネットワークとして知られている。また、ここでのフェーズ（位相）は、計測用パターン２１の縦線分、及び、横線分に対応した別々の位相として得られる。すなわち縦縞状の縦位相マップと、横縞状の横位相マップが１つの撮影画像から生成される。グラフ作成部１２１は、この縦位相マップと横位相マップとを組み合わせて上述したようにノードを接続したグラフ（グリッドグラフ）を作成する。
なお、グラフ作成部１２１がグラフを作成する処理を行う前に、ガウシアンフィルタやメディアンフィルタ等を用いて画像中のノイズを低減する等の、公知の画像処理を適宜行ってもよい。
【0046】
特徴量推定部１２２は、グラフ作成部１２１が作成したグラフの各ノードの特徴量を推定する。具体的には、特徴量推定部１２２は、上述したグラフ作成部１２１が用いたＵ－Ｎｅｔ－１とは別のＵ－Ｎｅｔ（以下、Ｕ－Ｎｅｔ－２と呼称する）を使って撮影画像における計測用パターン２１から各ノードの特徴量、すなわち、図１０に示したＣＯＤＥ＿ＡからＣＯＤＥ＿Ｅを推定する。
図１２は、特徴量推定部１２２が特徴量を推定する状態を説明する図である。図１２（ａ）は、撮影画像から得られた計測用パターン２１を示し、図１２（ｂ）は、推定された特徴量（コード）を計測用パターン２１に重ねて示したものである。
図１２に示すように、特徴量推定部１２２は、各ノードにおける上下及び左右の段差の状態に応じて、図１０に示したＣＯＤＥ＿ＡからＣＯＤＥ＿Ｅのいずれに該当するかを推定する。
図１２は、特徴量推定部１２２が特徴量を推定する状態を説明する図である。図１２（ａ）は、撮影画像から得られた計測用パターン２１を示し、図１２（ｂ）は、推定された特徴量（コード）を計測用パターン２１に重ねて示したものである。
図１２に示すように、特徴量推定部１２２は、各ノードにおける上下及び左右の段差の状態に応じて、図１０に示したＣＯＤＥ＿ＡからＣＯＤＥ＿Ｅのいずれに該当するかを推定する。
【0047】
対応点推定部１２３は、グラフ作成部１２１が作成したグラフと、特徴量推定部１２２が推定した各ノードの特徴量とに基づいて、計測用パターン２１（２次元パターン）に対応する撮影画像中の対応点の候補を各ノードについて複数推定する。
計測用パターン２１には、予め各ノードに固有な番号（以下、ＩＤとする）が割り振られている。このＩＤによって計測用パターン２１中のいずれのノードであるのかを特定可能である。
対応点推定部１２３は、グラフ作成部１２１が作成したグラフと、特徴量推定部１２２が推定した各ノードの特徴量とを入力としてグラフ畳み込みネットワーク（Graph Convolutional Network:ＧＣＮ）を用いて、物体に投影された計測用パターン２１から得られたグラフの各ノードが、いずれのＩＤに対応するのかを推定する。本実施形態では、対応点推定部１２３は、推定されたＩＤの候補を複数、正しい推定である確率（以下、単に確率とも呼称する）が高い順に出力する。
計測用パターン２１には、予め各ノードに固有な番号（以下、ＩＤとする）が割り振られている。このＩＤによって計測用パターン２１中のいずれのノードであるのかを特定可能である。
対応点推定部１２３は、グラフ作成部１２１が作成したグラフと、特徴量推定部１２２が推定した各ノードの特徴量とを入力としてグラフ畳み込みネットワーク（Graph Convolutional Network:ＧＣＮ）を用いて、物体に投影された計測用パターン２１から得られたグラフの各ノードが、いずれのＩＤに対応するのかを推定する。本実施形態では、対応点推定部１２３は、推定されたＩＤの候補を複数、正しい推定である確率（以下、単に確率とも呼称する）が高い順に出力する。
【0048】
対応点選択部１２４は、対応点推定部１２３が推定した対応点（ＩＤ）の候補から、隣接する対応点（ＩＤ）の関係を用いて対応点を１つ選択する。
図１３は、対応点選択部１２４が行う対応点の選択方法について説明する図である。図１３（ａ）は、あるノードについて対応点推定部１２３が最も確率が高いとして出力したＩＤを周辺のノードの推定されたＩＤも含めてグラフ形式で示す図である。図１３（ｂ）は、予め計測用パターン２１に割り振られているＩＤの配列を、対応点推定部１２３により確率が高いと推定され上位３つのＩＤについてグラフ形式で示す図である。図１３（ｃ）は、対応点推定部１２３により確率が高いと推定された上位３つのＩＤについて周囲の配置との関係でスコア付けした結果を示す図である。なお、ここでは確率が高い上位３つのみを示しているが、対応点推定部１２３が出力する候補の数は、３つに限らず、適宜設定可能である。
図１３は、対応点選択部１２４が行う対応点の選択方法について説明する図である。図１３（ａ）は、あるノードについて対応点推定部１２３が最も確率が高いとして出力したＩＤを周辺のノードの推定されたＩＤも含めてグラフ形式で示す図である。図１３（ｂ）は、予め計測用パターン２１に割り振られているＩＤの配列を、対応点推定部１２３により確率が高いと推定され上位３つのＩＤについてグラフ形式で示す図である。図１３（ｃ）は、対応点推定部１２３により確率が高いと推定された上位３つのＩＤについて周囲の配置との関係でスコア付けした結果を示す図である。なお、ここでは確率が高い上位３つのみを示しているが、対応点推定部１２３が出力する候補の数は、３つに限らず、適宜設定可能である。
【0049】
例えば、図１３（ａ）のように、あるノードについて対応点推定部１２３が最も確率が高い候補としてＩＤ＝１８３を推定したとする。このとき、このノードの周囲のＩＤは、上が２６０、下が２６２、左が２５６、右が１８８であったとする。対応点推定部１２３は、ＩＤ＝１８３の次に確率が高いＩＤとして２６１を推定し、その次に確率が高いＩＤとして２２４を推定した。これらＩＤ＝１８３、２６１、２２４において、これらの周辺のノードについて計測用パターン２１に予め割り振られているＩＤ、すなわち、正しい周辺のＩＤの配列が図１３（ｂ）に示されている。先の図１３（ａ）では、周囲のＩＤが正しいＩＤ＝１８３の配置と異なっている箇所が多く、対応点推定部１２３が最も確率が高いとしてＩＤ＝１８３を推定したことが誤りの可能性が高い。これを適切に評価するために、対応点選択部１２４は、図１３（ａ）の対応点推定部１２３が推定した周囲の４つのノードの配列が、図１３（ｂ）の正しい配列といくつ一致しているのかをカウントし、これをスコア（評価値）とする。図１３（ｃ）に示すように、対応点推定部１２３の推定結果では確率が２番目であったＩＤ＝２６１の方が、確率が１番目であったＩＤ＝１８３よりもスコアが高い。したがって、この図１３の例の場合には、対応点推定部１２３が推定したＩＤ＝１８３が誤りである可能性が高い。よって、対応点選択部１２４は、ＩＤ＝２６１を選択して、対応点推定部１２３の推定結果を置き換える。
【0050】
自己校正部１２５は、対応点選択部１２４が選択した対応点の情報を用いて投影部２０と撮影部３０との間の相対的な位置に関する情報を校正する。
投影部２０は、内視鏡５０の鉗子孔５１に挿入されているだけの状態であり、内視鏡５０に固定されていない。したがって、投影部２０と撮影部３０との間の相対的な位置は、使用中においても変化するおそれがある。投影部２０と撮影部３０との間の相対的な位置が正しく得られていないと、計測部１２６において３次元形状を正しく求めることができない。そこで、本実施形態では、自己校正部１２５を設け、対応点選択部１２４が選択した対応点の情報を用いて、投影部２０と撮影部３０との間の相対的な位置に関する情報の校正を適時に行う。この自己校正を行うタイミングは自由に設定可能であるが、例えば計測を行う毎に行ってもよい。
投影部２０は、内視鏡５０の鉗子孔５１に挿入されているだけの状態であり、内視鏡５０に固定されていない。したがって、投影部２０と撮影部３０との間の相対的な位置は、使用中においても変化するおそれがある。投影部２０と撮影部３０との間の相対的な位置が正しく得られていないと、計測部１２６において３次元形状を正しく求めることができない。そこで、本実施形態では、自己校正部１２５を設け、対応点選択部１２４が選択した対応点の情報を用いて、投影部２０と撮影部３０との間の相対的な位置に関する情報の校正を適時に行う。この自己校正を行うタイミングは自由に設定可能であるが、例えば計測を行う毎に行ってもよい。
【0051】
自己校正部１２５は、計測用パターン２１を投影して撮影された撮影画像と、対応点選択部１２４が選択した対応点の情報とを用いて、ＲＡＮＳＡＣ法による外れ値除去を行うことにより、撮影部３０に対する投影部２０の位置パラメータ（６自由度の３次元剛体変換）を出力とする自己校正を行う。具体的には、全てのノードからランダムにノードを選択し、選択されたノードにおける対応関係について、エピポーラ誤差最小化によるあてはめを行う。当てはめでの推定変数は、上記６自由度の３次元剛体変換である。次に、推定された３次元剛体変換で、残りのノードにおける対応関係で誤差を推定し、誤差が一定値以上のノードの対応を外れ値とする。「外れ値の割合」が一定値以下であれば、その解を記憶する。以上のような解の記憶までの処理を一定回数繰り返し、記憶された解の内、あてはめ誤差が最小の解を校正値として出力する。
【0052】
計測部１２６は、計測対象に投影された計測用パターン２１の画像に基づいて、アクティブステレオ法を用いた画像処理を行って、計測対象の３次元形状を求める。
本実施形態では、計測部１２６は、光切断法に基づいて、計測対象の３次元形状を計測する。光切断法は、アクティブステレオ法の１つであり、三角測量の原理を応用する方法である。光切断法では、投影部２０による計測対象の投影中心と、計測対象を撮像するカメラ（撮影部３０）の撮像中心との視差（基線長）に基づいて、計測対象の３次元形状が計測される。本実施形態では、演算部１２０が求めた計測用パターン２１に対応する撮影画像中の各ノードについての対応点の情報に基づいて、計測対象の３次元形状を求める。
計測部１２６が行う３次元形状の計測手法は、特許文献１、及び、以下に示す参考文献２、参考文献３、参考文献４と同様なので、詳細な説明は省略する。
本実施形態では、計測部１２６は、光切断法に基づいて、計測対象の３次元形状を計測する。光切断法は、アクティブステレオ法の１つであり、三角測量の原理を応用する方法である。光切断法では、投影部２０による計測対象の投影中心と、計測対象を撮像するカメラ（撮影部３０）の撮像中心との視差（基線長）に基づいて、計測対象の３次元形状が計測される。本実施形態では、演算部１２０が求めた計測用パターン２１に対応する撮影画像中の各ノードについての対応点の情報に基づいて、計測対象の３次元形状を求める。
計測部１２６が行う３次元形状の計測手法は、特許文献１、及び、以下に示す参考文献２、参考文献３、参考文献４と同様なので、詳細な説明は省略する。
【0053】
参考文献２は、撮影画像から、格子パターンの縦横線と、格子パターンに埋め込まれたコードを、深層学習ネットワークであるＵ－Ｎｅｔで検出、推定する文献である。参考文献２では、特徴量推定部１２２で利用されているＵ－Ｎｅｔによるコードの推定手法について述べられている。
[参考文献２]Furukawa, R., Miyazaki, D., Baba, M., Hiura, S., & Kawasaki, H. (2018). Robust structured light system against subsurface scattering effects achieved by CNN-based pattern detection and decoding algorithm. In Proceedings of the European Conference on Computer Vision (ECCV) Workshops.
[参考文献２]Furukawa, R., Miyazaki, D., Baba, M., Hiura, S., & Kawasaki, H. (2018). Robust structured light system against subsurface scattering effects achieved by CNN-based pattern detection and decoding algorithm. In Proceedings of the European Conference on Computer Vision (ECCV) Workshops.
【0054】
参考文献３は、格子パターンの各ノードに対応するパターンＩＤを、深層学習ネットワークであるＧＣＮで推定する文献である。参考文献３では、対応点推定部１２３で利用されている、ＧＣＮによる対応推定手法について述べられている。
[参考文献３] Furukawa, R., Oka, S., Kotachi, T., Okamoto, Y., Tanaka, S., Sagawa, R., & Kawasaki, H. (2020, July). Fully auto-calibrated active-stereo-based 3d endoscopic system using correspondence estimation with graph convolutional network. In 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC) (pp. 4357-4360). IEEE.
[参考文献３] Furukawa, R., Oka, S., Kotachi, T., Okamoto, Y., Tanaka, S., Sagawa, R., & Kawasaki, H. (2020, July). Fully auto-calibrated active-stereo-based 3d endoscopic system using correspondence estimation with graph convolutional network. In 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC) (pp. 4357-4360). IEEE.
【0055】
参考文献４は、Ｕ－Ｎｅｔによって、格子パターンの線上だけでなく、その間の画素の相対位置を推定し、高密度復元を行う文献である。参考文献４では、グラフ作成部１２１で、縦、横のピクセル単位のフェーズを推定し、画素ごとに対応を得る手法が述べられている。
[参考文献４] Furukawa, R., Mikamo, M., Sagawa, R., & Kawasaki, H. (2022). Single-shot dense active stereo with pixel-wise phase estimation based on grid-structure using CNN and correspondence estimation using GCN. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 4001-4011).
[参考文献４] Furukawa, R., Mikamo, M., Sagawa, R., & Kawasaki, H. (2022). Single-shot dense active stereo with pixel-wise phase estimation based on grid-structure using CNN and correspondence estimation using GCN. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 4001-4011).
【0056】
上述した、Ｕ－Ｎｅｔ－１、Ｕ－Ｎｅｔ－２、ＧＣＮのいずれも深層学習を用いており、学習に用いる教師データが重要である。本実施形態では、これらネットワークの学習には、計測用パターン２１を物体に投影した画像を教師画像として用いることに加えて、教師画像に改変を加えた改変教師画像を用いた学習も併せて行っている。
図１４は、教師画像及び改変教師画像を説明する図である。図１４（ａ）は、改変の基となる教師画像を示し、図１４（ｂ）から図１４（ｄ）は改変教師画像を示している。なお、図１４では、物体については図示を省略している。
改変教師画像は、図１４（ａ）に示す教師画像に対してＣＧ（computer graphics）によって加工を行って作成される。例えば、改変教師画像は、図１４（ｂ）に示すように教師画像を縮小したり、拡大したり、回転させたりして作成することができる。また、改変教師画像は、図１４（ｃ）に示すように各種ノイズを教師画像に加えて作成することができる。さらに、改変教師画像は、図１４（ｄ）に示すようにせん断変形等の変形加工を教師画像に加えて作成することができる。上述した例の他、教師画像の輝度を高めたり、弱めたりしてもよいし、色の変化を加えてもよいし、これらを適宜組み合わせた改変教師画像としてもよい。
このような学習データ拡張を行うことにより、学習精度が向上し、誤認識を減らすことができ、より多くの条件下において適切な形状計測が可能となる。
図１４は、教師画像及び改変教師画像を説明する図である。図１４（ａ）は、改変の基となる教師画像を示し、図１４（ｂ）から図１４（ｄ）は改変教師画像を示している。なお、図１４では、物体については図示を省略している。
改変教師画像は、図１４（ａ）に示す教師画像に対してＣＧ（computer graphics）によって加工を行って作成される。例えば、改変教師画像は、図１４（ｂ）に示すように教師画像を縮小したり、拡大したり、回転させたりして作成することができる。また、改変教師画像は、図１４（ｃ）に示すように各種ノイズを教師画像に加えて作成することができる。さらに、改変教師画像は、図１４（ｄ）に示すようにせん断変形等の変形加工を教師画像に加えて作成することができる。上述した例の他、教師画像の輝度を高めたり、弱めたりしてもよいし、色の変化を加えてもよいし、これらを適宜組み合わせた改変教師画像としてもよい。
このような学習データ拡張を行うことにより、学習精度が向上し、誤認識を減らすことができ、より多くの条件下において適切な形状計測が可能となる。
【0057】
以上説明したように、本実施形態によれば、投影部２０が投影する計測用パターン２１（２次元パターン）は、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有している。これにより、演算処理の負担を軽減することができる３次元形状計測装置を提供することができる。
また、計測用パターン２１は、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって各ノードが特徴を持つグラフ構造のパターンである。これにより、各ノードに割り振ることができる特徴量を多くすることができ、より精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
また、演算部１２０は、グラフ作成部（Ｕ－Ｎｅｔ－１）と、特徴量推定部（Ｕ－Ｎｅｔ－２）と、対応点推定部（ＧＣＮ）と、対応点選択部と、を備える構成としたことにより、さらに精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
また、３次元形状計測装置１は、自己校正部１２５を備えるので、投影部２０の位置が撮影部３０に対して固定されていなくても、精度の高い計測を行うことができる。
さらにまた、グラフ作成部（Ｕ－Ｎｅｔ－１）と、特徴量推定部（Ｕ－Ｎｅｔ－２）と、対応点推定部（ＧＣＮ）と、の深層学習に改変教師画像を用いたので、これらネットワークにおける推定をより的確に行うことができ、結果としてさらに精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
また、計測用パターン２１は、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって各ノードが特徴を持つグラフ構造のパターンである。これにより、各ノードに割り振ることができる特徴量を多くすることができ、より精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
また、演算部１２０は、グラフ作成部（Ｕ－Ｎｅｔ－１）と、特徴量推定部（Ｕ－Ｎｅｔ－２）と、対応点推定部（ＧＣＮ）と、対応点選択部と、を備える構成としたことにより、さらに精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
また、３次元形状計測装置１は、自己校正部１２５を備えるので、投影部２０の位置が撮影部３０に対して固定されていなくても、精度の高い計測を行うことができる。
さらにまた、グラフ作成部（Ｕ－Ｎｅｔ－１）と、特徴量推定部（Ｕ－Ｎｅｔ－２）と、対応点推定部（ＧＣＮ）と、の深層学習に改変教師画像を用いたので、これらネットワークにおける推定をより的確に行うことができ、結果としてさらに精度の高い計測を行うことができる３次元形状計測装置を提供することができる。
【0058】
（実施例１）
本開示の３次元形状計測装置１を用いて実際に計測した例を示す。
図１５は、計測に用いたサンプルと計測範囲を示す図である。図１５（ａ）の範囲Ｒ１と、図１５（ｂ）の範囲Ｒ２と、範囲Ｒ３とについて実際に計測を行った。
図１６は、図１５（ａ）に示す範囲Ｒ１を計測した結果を示す図である。図１６（ａ）は、撮影部３０により撮影された計測用パターンを示し、図１６（ｂ）は、演算により求めた計測対象の３次元形状をＣＧにより表現した結果（以下、復元結果）を示している。
図１７は、図１５（ｂ）に示す範囲Ｒ２を計測した結果を示す図である。図１７（ａ）は、撮影部３０により撮影された計測用パターンを示し、図１７（ｂ）は、復元結果を示している。
図１８は、図１５（ｂ）に示す範囲Ｒ３を計測した結果を示す図である。図１８（ａ）は、撮影部３０により撮影された計測用パターンを示し、図１８（ｂ）は、復元結果を示している。
これら図１５から図１８を参照すると、魚眼レンズにより画角が広いにも関わらずパターンがその多くの部分をカバーしていることと、その全てが３次元形状として適切に復元されていることが分かる。
本開示の３次元形状計測装置１を用いて実際に計測した例を示す。
図１５は、計測に用いたサンプルと計測範囲を示す図である。図１５（ａ）の範囲Ｒ１と、図１５（ｂ）の範囲Ｒ２と、範囲Ｒ３とについて実際に計測を行った。
図１６は、図１５（ａ）に示す範囲Ｒ１を計測した結果を示す図である。図１６（ａ）は、撮影部３０により撮影された計測用パターンを示し、図１６（ｂ）は、演算により求めた計測対象の３次元形状をＣＧにより表現した結果（以下、復元結果）を示している。
図１７は、図１５（ｂ）に示す範囲Ｒ２を計測した結果を示す図である。図１７（ａ）は、撮影部３０により撮影された計測用パターンを示し、図１７（ｂ）は、復元結果を示している。
図１８は、図１５（ｂ）に示す範囲Ｒ３を計測した結果を示す図である。図１８（ａ）は、撮影部３０により撮影された計測用パターンを示し、図１８（ｂ）は、復元結果を示している。
これら図１５から図１８を参照すると、魚眼レンズにより画角が広いにも関わらずパターンがその多くの部分をカバーしていることと、その全てが３次元形状として適切に復元されていることが分かる。
【0059】
（実施例２）
さらに、実際に、豚の胃の中に内視鏡５０を挿入し、豚の胃表面を計測した例を示す。
図１９は、豚の胃の中に内視鏡５０を挿入して計測を行った例を示す図である。図１９（ａ）は、豚の胃の中に内視鏡５０を挿入している状態を示す図であり、図１９（ｂ）は、撮影部３０により撮影された豚の胃の中の計測用パターンを示し、図１９（ｃ）は、復元結果を示している。
図１９に示すように、生体表面の散乱や吸収によりパターンの特徴がはっきりしないにも関わらず、形状復元に成功していることが分かる。
さらに、実際に、豚の胃の中に内視鏡５０を挿入し、豚の胃表面を計測した例を示す。
図１９は、豚の胃の中に内視鏡５０を挿入して計測を行った例を示す図である。図１９（ａ）は、豚の胃の中に内視鏡５０を挿入している状態を示す図であり、図１９（ｂ）は、撮影部３０により撮影された豚の胃の中の計測用パターンを示し、図１９（ｃ）は、復元結果を示している。
図１９に示すように、生体表面の散乱や吸収によりパターンの特徴がはっきりしないにも関わらず、形状復元に成功していることが分かる。
【0060】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本開示の範囲内である。
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本開示の範囲内である。
【0061】
（１）実施形態において、内視鏡５０とともに用いられる３次元形状計測装置を例に挙げて説明した。これに限らず、例えば、ロボットやドローン等とともに用いられる３次元形状計測装置であってもよく、３次元形状計測装置の具体的な用途は適宜変更可能である。
【0062】
（２）実施形態において、演算部１２０が用いるネットワークとして、Ｕ－Ｎｅｔ及びＧＣＮを例示した。これに限らず、例えば、グラフ畳み込みネットワーク（Graph Convolutional Network：ＧＣＮ）の変わりに、ＧＣＮＩＩ（Graph Convolutional Network via Initial residual and Identity mapping）等の、他のネットワークを利用してもよい。また、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ等の、ニューラルネットワークとは異なる学習モデルを利用してもよい。また、Ｕ－Ｎｅｔの変わりに、ＲｅｓＵ－Ｎｅｔ、Ｒ２Ｕ－Ｎｅｔ、 ＳｅｇＮｅｔ等の他のネットワークを利用してもよい。これらは、学習や、実行で利用可能なリソースによって、適宜変更可能である。
【0063】
（３）実施形態において、計測用パターン２１は、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有しており、かつ、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって各ノードが特徴を持つ例を挙げて説明した。これに限らず、例えば、計測用パターンは、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲しておらず、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とによって各ノードが特徴を持つものとしてもよい。
また、例えば、計測用パターンは、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有しており、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とのいずれか一方のみによって各ノードが特徴を持つ構成としてもよい。
また、例えば、計測用パターンは、平面上へ平面の法線方向から投影した場合に糸巻型に歪曲した格子パターンを有しており、縦線分に接続する左右の横線分の段差と、横線分に接続する上下の縦線分の段差とのいずれか一方のみによって各ノードが特徴を持つ構成としてもよい。
【0064】
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本開示は以上説明した各実施形態によって限定されることはない。
【符号の説明】
【0065】
１ ３次元形状計測装置
１０ レーザ光源
１０ａ レーザモジュール
１０ｂ 拡散板
１０ｃ 照明絞り
１０ｄ コリメータレンズ
２０ 投影部
２０ａ 光ファイバ
２０ｂ グリンレンズ
２０ｃ 回折光学素子
２０ｄ 円筒部
２１ 計測用パターン
３０ 撮影部
４０ 照明部
５０ 内視鏡
５１ 鉗子孔
５２ 挿入端
１００ 制御部
１１０ 操作部
１２０ 演算部
１２１ グラフ作成部
１２２ 特徴量推定部
１２３ 対応点推定部
１２４ 対応点選択部
１２５ 自己校正部
１２６ 計測部
１３０ 表示部
１０ レーザ光源
１０ａ レーザモジュール
１０ｂ 拡散板
１０ｃ 照明絞り
１０ｄ コリメータレンズ
２０ 投影部
２０ａ 光ファイバ
２０ｂ グリンレンズ
２０ｃ 回折光学素子
２０ｄ 円筒部
２１ 計測用パターン
３０ 撮影部
４０ 照明部
５０ 内視鏡
５１ 鉗子孔
５２ 挿入端
１００ 制御部
１１０ 操作部
１２０ 演算部
１２１ グラフ作成部
１２２ 特徴量推定部
１２３ 対応点推定部
１２４ 対応点選択部
１２５ 自己校正部
１２６ 計測部
１３０ 表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
