ホーム > 特許ランキング > 公立大学法人広島市立大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 公立大学法人広島市立大学の特許一覧 ▶ 国立大学法人九州大学の特許一覧 ▶ 国立大学法人広島大学の特許一覧 ▶ 独立行政法人産業技術総合研究所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022178393
(43)【公開日】2022-12-02
(54)【発明の名称】画像分析方法および画像分析装置
(51)【国際特許分類】
G01B 11/25 20060101AFI20221125BHJP
G06T 7/00 20170101ALI20221125BHJP
【ＦＩ】
G01B11/25 H
G06T7/00 350C
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2021085166
(22)【出願日】2021-05-20
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 開催年月日：令和２年７月２０日 集会名、開催場所：国際会議「４２ｎｄ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ ｉｎ ｃｏｎｊｕｎｃｔｉｏｎ ｗｉｔｈ ｔｈｅ ４３ｒｄ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｃａｎａｄｉａｎ Ｍｅｄｉｃａｌ ａｎｄ Ｂｉｏｌｏｇｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ」（オンライン開催）
(71)【出願人】
【識別番号】510108951
【氏名又は名称】公立大学法人広島市立大学
(71)【出願人】
【識別番号】504145342
【氏名又は名称】国立大学法人九州大学
(71)【出願人】
【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
(71)【出願人】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】古川 亮
(72)【発明者】
【氏名】三鴨 道弘
(72)【発明者】
【氏名】川崎 洋
(72)【発明者】
【氏名】岡 志郎
(72)【発明者】
【氏名】田中 信治
(72)【発明者】
【氏名】佐川 立昌
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA53
2F065BB05
2F065CC16
2F065DD03
2F065FF02
2F065FF04
2F065FF09
2F065GG04
2F065HH06
2F065HH07
2F065JJ03
2F065LL02
2F065LL42
2F065MM06
2F065PP22
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ25
2F065QQ28
2F065QQ31
2F065QQ41
2F065UU05
5L096AA06
5L096BA06
5L096BA13
5L096CA04
5L096DA01
5L096HA08
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】基準となるパターン画像と、パターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する。
【解決手段】基準画像は、縦方向に延在する第１の要素の集合および横方向に延在する第２の要素の集合を含み、第１の要素の集合および第２の要素の集合のいずれかが、断続的に延在する要素を含むことを表す。方法は、撮影画像内で、第１の要素の集合および第２の要素の集合から構成されたそれぞれのノードを識別するステップと、ノードの各々に対し、隣接するノードに対する相対位置に基づいてノードを分類して、分類値を付与するステップと、分類したノードから格子グラフを生成するステップと、格子グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、分類値および隣接関係に基づいて、格子グラフ内のノードを基準画像内のノードと対応付けるステップとを含む。
【選択図】図５
【解決手段】基準画像は、縦方向に延在する第１の要素の集合および横方向に延在する第２の要素の集合を含み、第１の要素の集合および第２の要素の集合のいずれかが、断続的に延在する要素を含むことを表す。方法は、撮影画像内で、第１の要素の集合および第２の要素の集合から構成されたそれぞれのノードを識別するステップと、ノードの各々に対し、隣接するノードに対する相対位置に基づいてノードを分類して、分類値を付与するステップと、分類したノードから格子グラフを生成するステップと、格子グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、分類値および隣接関係に基づいて、格子グラフ内のノードを基準画像内のノードと対応付けるステップとを含む。
【選択図】図５
【特許請求の範囲】
【請求項1】
パターンを含む基準画像と、前記基準画像に対応するパターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する、コンピュータによって実行される方法であって、前記基準画像は、二次元平面において縦方向に延在する第１の要素の集合および二次元平面において横方向に延在する第２の要素の集合を含み、前記基準画像は、前記第１の要素の集合および前記第２の要素の集合の少なくともいずれかが、断続的に延在する要素を含むことを表し、
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別するステップと、
前記ノードの各々に対し、隣接するノードに対する相対位置に基づいて前記ノードを分類して、分類値を付与するステップと、
前記分類したノードからグラフを生成するステップと、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付けるステップと、
を備えたことを特徴とする方法。
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別するステップと、
前記ノードの各々に対し、隣接するノードに対する相対位置に基づいて前記ノードを分類して、分類値を付与するステップと、
前記分類したノードからグラフを生成するステップと、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付けるステップと、
を備えたことを特徴とする方法。
【請求項2】
前記グラフ内のノードを前記基準画像内のノードと対応付けるステップは、ニューラルネットワークを使用することによって実行され、前記ニューラルネットワークは、前記分類値および前記隣接関係に基づいて、前記グラフ内のノードの前記基準画像内のノードに対する対応を出力するように学習される、ことを特徴とする請求項１の方法。
【請求項3】
前記ニューラルネットワークは、グラフ畳み込みネットワーク（ＧＣＮ）である、ことを特徴とする請求項２の方法。
【請求項4】
前記第２の要素の集合が断続的に延在する要素を表す場合、前記基準画像は、
前記第２の要素の集合における複数の第２の要素が、前記第１の要素の集合における１つの第１の要素と、複数の位置において交差することと、
前記複数の第２の要素のうちの１つ目の要素と前記第１の要素との交点の二次元平面における第１の高さが、前記複数の第２の要素のうちの２つ目の要素と前記第１の要素との交点の二次元平面における第２の高さとは異なることと、を表す、
ことを特徴とする請求項１または２に記載の方法。
前記第２の要素の集合における複数の第２の要素が、前記第１の要素の集合における１つの第１の要素と、複数の位置において交差することと、
前記複数の第２の要素のうちの１つ目の要素と前記第１の要素との交点の二次元平面における第１の高さが、前記複数の第２の要素のうちの２つ目の要素と前記第１の要素との交点の二次元平面における第２の高さとは異なることと、を表す、
ことを特徴とする請求項１または２に記載の方法。
【請求項5】
前記相対位置は、前記基準画像によって表される前記第１の高さが第２の高さとは異なることに基づいている、ことを特徴とする請求項４に記載の方法。
【請求項6】
前記基準画像は、ｎ個のマーカを含み、
前記ｎ個のマーカをそれぞれ含むｎ個の領域を識別するステップと、
前記ｎ個の領域の各々に対し、領域内の中心のノードと隣接するノードとの関係に基づいて前記ノードを分類して、第２の分類値を付与するステップと、
前記第２の分類値に更に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付けるステップと、
を更に備えたことを特徴とする請求項１乃至５のいずれか一項に記載の方法。
前記ｎ個のマーカをそれぞれ含むｎ個の領域を識別するステップと、
前記ｎ個の領域の各々に対し、領域内の中心のノードと隣接するノードとの関係に基づいて前記ノードを分類して、第２の分類値を付与するステップと、
前記第２の分類値に更に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付けるステップと、
を更に備えたことを特徴とする請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
前記ｎ個の領域は相互に、領域内の中心のノードと隣接するノードとの関係が同一であり、異なり、および対称である、ことを特徴とする請求項６に記載の方法。
【請求項8】
前記ノードを識別するステップ、前記分類値を付与するステップ、および前記グラフを生成するステップは、第２のニューラルネットワークを使用することによって実行され、前記第２のニューラルネットワークは、前記基準画像からノードを識別し、分類値を付与し、グラフを生成するよう前記基準画像を学習している、ことを特徴とする請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
前記第２のニューラルネットワークは、Ｕ－Ｎｅｔである、ことを特徴とする請求項８の方法。
【請求項10】
前記撮影画像内の各々の画素に対し、
前記識別したノードのうち、前記画素に近接するノードに対する相対位置を判定するステップと、
前記判定した相対位置と、前記基準画像内の対応する画素に近接するノードに対する相対位置とに基づいて、前記撮影画像内の画素と前記基準画像内の画素とを対応付けるステップと、
を更に備えたこと特徴とする請求項１乃至９のいずれか一項に記載の方法。
前記識別したノードのうち、前記画素に近接するノードに対する相対位置を判定するステップと、
前記判定した相対位置と、前記基準画像内の対応する画素に近接するノードに対する相対位置とに基づいて、前記撮影画像内の画素と前記基準画像内の画素とを対応付けるステップと、
を更に備えたこと特徴とする請求項１乃至９のいずれか一項に記載の方法。
【請求項11】
前記基準画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別するステップと、
前記ノードの各々に対し、隣接するノードに対する相対位置に基づいて前記ノードを分類して、第３の分類値を付与するステップと、
前記分類したノードから第２のグラフを生成するステップと、
前記第２のグラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、
を更に備え、
前記グラフ内のノードを前記基準画像内のノードと対応付けるステップは、
前記グラフをニューラルネットワークに入力することによって、前記グラフ内のノードごとに第１の特徴ベクトルを生成するステップと、
前記第２のグラフを前記ニューラルネットワークに入力することによって、前記第２のグラフ内のノードごとに第２の特徴埋め込みベクトルを生成するステップと、
ノードごとに、前記第１の特徴ベクトル前記第２の特徴ベクトルとの内積値をするステップと、
前記内積値を評価するステップと、
を含むことを特徴とする請求項１乃至１０のいずれか一項に記載に方法。
前記ノードの各々に対し、隣接するノードに対する相対位置に基づいて前記ノードを分類して、第３の分類値を付与するステップと、
前記分類したノードから第２のグラフを生成するステップと、
前記第２のグラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、
を更に備え、
前記グラフ内のノードを前記基準画像内のノードと対応付けるステップは、
前記グラフをニューラルネットワークに入力することによって、前記グラフ内のノードごとに第１の特徴ベクトルを生成するステップと、
前記第２のグラフを前記ニューラルネットワークに入力することによって、前記第２のグラフ内のノードごとに第２の特徴埋め込みベクトルを生成するステップと、
ノードごとに、前記第１の特徴ベクトル前記第２の特徴ベクトルとの内積値をするステップと、
前記内積値を評価するステップと、
を含むことを特徴とする請求項１乃至１０のいずれか一項に記載に方法。
【請求項12】
パターンを含む基準画像と、前記基準画像に対応するパターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する、コンピュータによって実行される方法であって、前記基準画像は、二次元平面において縦方向または横方向に延在する第１の要素の集合および前記第１の要素の集合と同一の方向に断続的に延在する第２の要素の集合を含み、前記基準画像は、前記第２の要素の集合の各々が、前記同一の方向にランダムな間隔に配置されることを表し、
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別するステップと、
前記ノードの各々に対し、隣接するノードに対する相対角度に基づいて前記ノードを分類して、分類値を付与するステップと、
前記分類したノードからグラフを生成するステップと、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付けるステップと、
を備えたことを特徴とする方法。
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別するステップと、
前記ノードの各々に対し、隣接するノードに対する相対角度に基づいて前記ノードを分類して、分類値を付与するステップと、
前記分類したノードからグラフを生成するステップと、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定するステップと、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付けるステップと、
を備えたことを特徴とする方法。
【請求項13】
前記ノードを識別するステップは、ニューラルネットワークを使用することによって実行され、前記ニューラルネットワークは、前記第１の要素または前記第２の要素を識別するよう前記撮影画像および所定の角度で回転した前記撮影画像を学習している、ことを特徴とする請求項１２に記載の方法。
【請求項14】
前記基準画像は、前記第２の要素の集合のうちの１つ目の要素の、隣接する第２の要素に対する角度が、前記第２の要素の集合のうちの２つ目の要素の、隣接する第２の要素に対する角度とは異なることを表す、ことを特徴とする請求項１２または１３に記載の方法。
【請求項15】
グラフを生成するステップは、前記画素ごとの相対位置および撮影画像上の格子情報に基づいて、前記撮影画像を、前記ノードを含む複数の領域に分割するステップを含む、ことを特徴とする請求項１２乃至１４のいずれか一項に記載の方法。
【請求項16】
パターンを含む基準画像と、前記基準画像に対応するパターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する、コンピュータデバイスであって、前記基準画像は、二次元平面において縦方向に延在する第１の要素の集合および二次元平面において横方向に延在する第２の要素の集合を含み、前記基準画像は、前記第１の要素の集合および前記第２の要素の集合の少なくともいずれかが、断続的に延在する要素を含むことを表し、
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別し、
前記ノードの各々に対し、隣接するノードに対する相対位置に基づいて前記ノードを分類して、分類値を付与し、
前記分類したノードからグラフを生成し、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定し、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付ける、
ように構成された制御装置を含む、
ことを特徴とするコンピュータデバイス。
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別し、
前記ノードの各々に対し、隣接するノードに対する相対位置に基づいて前記ノードを分類して、分類値を付与し、
前記分類したノードからグラフを生成し、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定し、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付ける、
ように構成された制御装置を含む、
ことを特徴とするコンピュータデバイス。
【請求項17】
パターンを含む基準画像と、前記基準画像に対応するパターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する、コンピュータデバイスであって、前記基準画像は、二次元平面において縦方向または横方向に延在する第１の要素の集合および前記第１の要素の集合と同一の方向に断続的に延在する第２の要素の集合を含み、前記基準画像は、前記第２の要素の集合の各々が、前記同一の方向にランダムな間隔に配置されることを表し、
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別し、
前記ノードの各々に対し、隣接するノードに対する相対角度に基づいて前記ノードを分類して、分類値を付与し、
前記分類したノードからグラフを生成し、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定し、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付ける、
ように構成された制御装置を含む、
ことを特徴とするコンピュータデバイス。
前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別し、
前記ノードの各々に対し、隣接するノードに対する相対角度に基づいて前記ノードを分類して、分類値を付与し、
前記分類したノードからグラフを生成し、
前記グラフ内の各々のノードに対し、隣接するノードとの隣接関係を判定し、
前記分類値および前記隣接関係に基づいて、前記グラフ内のノードを前記基準画像内のノードと対応付ける、
ように構成された制御装置を含む、
ことを特徴とするコンピュータデバイス。
【請求項18】
コンピュータ実行可能命令を含むコンピュータプログラムであって、前記コンピュータ実行可能命令は、プロセッサによって実行されるとき、前記プロセッサに、請求項１乃至１５のいずれか一項に記載に方法を実行させる、ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像分析方法および画像分析装置に関し、特に、基準となるパターン画像と、パターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する画像分析方法および画像分析装置に関する。
【背景技術】
【0002】
撮像装置（カメラ）を使用して物体（撮影対象）を撮影することによって生成される二次元画像において立体感（奥行）を表現する（つまり、三次元画像を構築する）技術が存在する。例えば、ステレオ画像法は、三次元画像を表現する典型的な技術である。
【0003】
ステレオ画像法は一般的に、パッシブステレオ法およびアクティブステレオ法に分類される。アクティブステレオ法は、撮像装置とは別に設けられた投光器が撮影対象に光を投影し、光が投影された撮影対象を撮像装置が撮影する。アクティブステレオ法では、投光器からの光が撮影対象から反射されて撮像装置に到達することになり、つまり、投光器からの光の光路は、撮影対象の奥行に対応する距離に応じてずれることになる。よって、アクティブステレオ法は、この光路のずれを利用して、三角測量に基づいて撮像装置と撮影対象との間の距離を計算し、この距離に基づいて三次元画像（奥行）を表現する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００９－３００２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したアクティブステレオ法では、上述した光路のずれに応じた距離を計算するために、撮影対象の二次元平面における、撮影対象に投影されることになる光の元の位置と、実際に投影された光の位置とを対応付ける必要がある。アクティブステレオ法のうち、投光器から特定のパターン（格子など）を構成する光を投影する方式であるパターン光投影法が存在する。パターン光投影法は、例えば、スポット光を投影する方式と比較して、撮影対象を撮影する回数を低減させることができる。
【0006】
しかしながら、パターン光投影法は、複数の格子のそれぞれに対して、パターン光の元の位置と実際に投影された位置とを対応付ける必要があるので、対応付けが困難である。撮影対象の奥行に応じて、撮影対象から反射したパターン光の形状が歪み、投影されることになるパターン光のどの格子は、実際に投影されたパターン光のどの格子に対応するかを判定することが困難であることが理由である。
【0007】
上述した問題を、投影装置と撮像装置との間のエピポーラ幾何を考慮して解決する技術が存在する。エピポーラ幾何を考慮するためには、投影装置と撮像装置との間の位置関係が既知であることが必要となる。例えば、撮像装置は内視鏡に組み込まれ、人体の内部の撮影対象を撮影する場合、内視鏡が人体の内部に入り込むので、投影装置と撮像装置との間の位置関係を知ることができない。このようなケースでは、エピポーラ幾何を考慮することができず、上述した対応付けが困難である。
【0008】
特許文献１は、縦と横のみが識別可能な多数の直線で構成された単純なグリッドパターンを使用して、その交点を特徴点とすることで三次元復元を実現する技術を開示している。特許文献１の開示された技術は、単純なパターンを使用することによって、簡易に三次元復元を実現することができるが、上述した課題を解決するものではない。
【課題を解決するための手段】
【0009】
一実施形態に係る実行される方法は、パターンを含む基準画像と、前記基準画像に対応するパターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する、コンピュータによって実行される方法であって、前記基準画像は、二次元平面において縦方向に延在する第１の要素の集合および二次元平面において横方向に延在する第２の要素の集合を含み、前記基準画像は、前記第１の要素の集合および前記第２の要素の集合の少なくともいずれかが、断続的に延在する要素を含むことを表し、前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別するステップと、前記ノードの各々に対し、隣接するノードに対する相対位置に基づいて前記ノードを分類して、分類値を付与するステップと、前記分類したノードから格子グラフを生成するステップと、前記分類値および前記格子グラフをグラフ畳み込みネットワーク（ＧＣＮ）に入力することによって、前記撮影画像内のノードを前記基準画像内のノードと対応付けるステップであって、前記ＧＣＮは、前記基準画像から分類されたノードに対する分類値および前記基準画像から生成された格子グラフを学習するように構成されている、ステップと、を含む。
【0010】
また、別の実施形態に係る方法は、パターンを含む基準画像と、前記基準画像に対応するパターン光を投影した撮影対象から生成された撮影画像との対応関係を分析する、コンピュータによって実行される方法であって、前記基準画像は、二次元平面において縦方向または横方向に延在する第１の要素の集合および前記第１の要素の集合と同一の方向に断続的に延在する第２の要素の集合を含み、前記基準画像は、前記第２の要素の集合の各々が、前記同一の方向にランダムな間隔に配置されることを表し、前記撮影画像内で、前記第１の要素の集合および前記第２の要素の集合から構成されたそれぞれのノードを識別するステップと、前記ノードの各々に対し、隣接するノードに対する相対角度に基づいて前記ノードを分類して、分類値を付与するステップと、前記分類したノードから格子グラフを生成するステップと、前記分類値および前記格子グラフをグラフ畳み込みネットワーク（ＧＣＮ）に入力することによって、前記撮影画像内のノードを前記基準画像内のノードと対応付けるステップであって、前記ＧＣＮは、前記基準画像から分類されたノードに対する分類値および前記基準画像から生成された格子グラフを学習するように構成されている、ステップと、を含む。
【発明の効果】
【0011】
実施形態に係る画像分析方法および画像分析装置によれば、元のパターンと撮影対象を撮影した画像に含まれるパターンとの対応付けを容易にする。
【図面の簡単な説明】
【0012】
【図1】画像分析システムの構成の例を示す図である。
【図2】コンピュータデバイスの構成の例を示すブロック図である。
【図3】第１の実施形態に係る基準画像の例を示す図である。
【図4】第１の実施形態に係る基準画像の別の例を示す図である。
【図5】第１の実施形態に係る画像分析システムが実行する処理の例を示すフローチャートである。
【図6】画像内のノードを分類する例を示す図である。
【図7】マーカを中心として領域を示す図である。
【図8】ＧＣＮの構成の例を示すブロック図である。
【図9】特徴ベクトル、隣接ノードとの関係、および重み値を考慮した演算を示す図である。
【図10】第２の実施形態に係る画像分析システムが実行する処理の例を示すフローチャートである。
【図11】第２の実施形態に係る基準画像および撮影画像の特徴ベクトルの内積を計算する処理の例を示す。
【図12】第３の実施形態に係る基準画像の例を示す図である。
【図13】第３の実施形態に係る撮影画像から格子の位相（繰り返す格子と各画素の相対位置関係を、０以上２π未満の回転角度として表現したもの）を求める処理の例を示す図である。
【図14】第３の実施形態に係る近接関係に基づく接続の例を示す図である。
【図15】第３の実施形態に係る画像内のノードを分類する例を示す図である。
【発明を実施するための形態】
【0013】
以下、添付した図面を参照して、一実施形態に係る画像分析方法および画像分析装置を詳細に説明する。本実施形態では、画像分析方法および画像分析装置は、画像分析システムにおいて実装される。また、本実施形態では、投光器からの光が投影され、カメラから撮影される対象を「撮影対象」と称する。撮影対象は、人間、動物、物、またはそれらの一部など、奥行を有するいずれかの物体を含む。
【0014】
以下では、実施形態に係る画像分析システムを説明する。画像分析システムは、人体の内部の撮影対象を撮影する例に適用される。画像分析システムは、アクティブステレオ法に基づいて、撮影対象に投影するパターン光に対応するパターン画像（基準画像）と、パターン光が投影された撮影対象を撮影することによって生成された撮影画像との間の対応関係を分析する。
【0015】
＜第１の実施形態＞
まず、図１を参照して、画像分析システム１００の構成の例を説明する。本実施形態では、画像分析システム１００は、コンピュータデバイス１および内視鏡２。コンピュータデバイス１は、バスまたはネットワークなどを介して、内視鏡２と相互に結合されている。
まず、図１を参照して、画像分析システム１００の構成の例を説明する。本実施形態では、画像分析システム１００は、コンピュータデバイス１および内視鏡２。コンピュータデバイス１は、バスまたはネットワークなどを介して、内視鏡２と相互に結合されている。
【0016】
コンピュータデバイス１は、少なくとも演算機能を含むいずれかの情報処理装置である。コンピュータデバイス１は、後述する撮像装置から受信した撮影信号に基づいて画像を生成し、投光装置が投影するパターン光に対応する基準画像と、パターン光が投影された撮影対象を撮影することによって生成された撮影画像との間の対応関係を分析する。
【0017】
内視鏡２は、先端（ヘッド）に組み込まれた撮像装置２１（カメラ）および投光装置２２を含む。図１では、内視鏡２の先端を囲む楕円Ｏ１に対応した楕円Ｏ２の内部に、撮像装置２１、投光装置２２、および内視鏡ヘッド２３を拡大した状態を示す。内視鏡ヘッド２３は、人体の内部に挿入され、投光装置２２が撮影対象にパターン光ＰＬを投影し、撮像装置２１が撮影対象を撮影する。
【0018】
撮像装置２１は、１つまたは複数のＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどを含み、撮影対象を撮影し、撮影信号をコンピュータデバイス１に送信する。撮像装置２１は、高画素の画像を生成するために、より多くのイメージセンサが配列されることが望ましい。
【0019】
投光装置２２は、回折光学素子（ＤＯＥ：Diffractive Optical Element）２２ａ、レンズ２２ｂ、および光ファイバー２２ｃを含む。図１では、投光装置２２を囲む四角形Ｒ１に対応した四角形Ｒ２の内部に、回折光学素子２２ａ、レンズ２２ｂ、および光ファイバー２２ｃを拡大した状態を示す。
【0020】
回折光学素子２２ａは、投影するパターン光ＰＬを回折させる。レンズ２２ｂは、例えば、屈折率分布型（ＧＲＩＮ）レンズによって実装される。屈折率分布型レンズを実装することによって、光の屈折率を半径方向に変化させ、投光装置２２を小型にすることができる。光源（図示せず）からの光が光ファイバー２２ｃを伝播して、レンズ２２ｂおよび回折光学素子２２ａを通じてパターン光ＰＬを放射する。パターン光ＰＬの詳細については後述する。
【0021】
なお、本実施形態では、人体の内部の撮影対象を撮影するために、撮像装置２１および投光装置２２が内視鏡２に組み込まれた構成を採用するが、本実施形態はそのような構成に限定されない。例えば、任意の撮影対象を撮影するために、撮影対象を撮影する撮像装置および撮影対象にパターン光を投影する投光装置が独立して存在してもよい。つまり、本実施形態は、少なくとも撮影対象を撮影する撮像装置および撮影対象にパターン光を投影する投光装置を含むアクティブステレオシステムの構成を採用する。
【0022】
次に、図２を参照して、コンピュータデバイス１の詳細な構成要素を説明する。コンピュータデバイス１は、制御装置１１、メモリ１２、記憶装置１３、通信装置１４、入力装置１５、および出力装置１６を含む。メモリ１２、記憶装置１３通信装置１４、入力装置１５、および出力装置１６はそれぞれ、内部バスを通じて制御装置１１に結合され、制御装置１１によって制御される。
【0023】
制御装置１１は、プロセッサとも称され、中央処理装置（ＣＰＵ）およびグラフィックプロセシングユニット（ＧＰＵ）などを含む。制御装置１１は、撮像装置２１から受信した撮影信号に基づいて画像を生成し、画像内のパターンに基づいて、投光装置２２が投影するパターン光ＰＬに対応する基準画像と、生成された画像との間の対応関係を分析するなどの演算を実行する。
【0024】
メモリ１２は、制御装置１１が処理する、コンピュータ実行可能命令、および当該命令による演算処理後のデータなどを記憶した揮発性データ記憶装置である。メモリ１２は、ＲＡＭ（ランダムアクセスメモリ）（例えば、ＳＲＡＭ（スタティックＲＡＭ）およびＤＲＡＭ（ダイナミックＲＡＭ））などで実装されてもよい。
【0025】
記憶装置１３は、上述したコンピュータ実行可能命令を含むプログラムなどを記憶した不揮発性データ記憶装置である。記憶装置１３は、ＲＯＭ（リードオンリメモリ）などの不揮発性半導体メモリ、磁気記憶装置（ハードディスクドライブなど）、および光ディスクなどで実装されてもよい。なお、プログラムなどのデータは、記憶装置１３に加えまたはその代わりに、ＮＡＳ（Network Attached Storage）および／またはＳＡＮ（Storage Area Network）などに記憶されてもよい。
【0026】
通信装置１４は、内視鏡２（撮像装置２１）から撮影信号を受信し、内視鏡２（投光装置２２）に基準画像に対応する信号を送信するなど、コンピュータデバイス１と結合された外部機器と通信する。
【0027】
入力装置１５は、ユーザからの入力を受け付け、受け付けた入力を制御装置１１に送信する。入力装置１５は、例えば、マウス、タッチパッド、キーボード、およびトラックボールなどによって実装される。
【0028】
出力装置１６は、制御装置１１が演算した結果を出力する（例えば、制御装置１１が生成した基準画像を表示する）。出力装置１６は、例えば、ディスプレイ（液晶、ＣＲＴなど）などによって実装される。
【0029】
なお、本実施形態では、入力装置１５および出力装置１６がコンピュータデバイス１に組み込まれた構成を採用するが、そのような構成に限定されない。入力装置１５および出力装置１６のいずれかまたは両方は、コンピュータデバイス１とは独立した装置として構成されてもよい。
【0030】
次に、図３を参照して、投光装置２２が放射するパターン光ＰＬを構成する基準画像ＲＩを説明する。上述したように、画像分析システム１００は、撮影対象にパターン光ＰＬを投影する。基準画像ＲＩは、予め定められたパターンを表現した画像であり、コンピュータデバイス１または内視鏡２に記憶され、投光装置２２は、基準画像ＲＩに基づいてパターン光ＰＬを放射する。
【0031】
基準画像ＲＩは、二次元平面において縦方向に延在する要素の集合（複数の第１の要素の集合）ＳＥ１、および二次元平面において横方向に延在する要素の集合（複数の第２の要素の集合）ＳＥ２を含む。図３に示す例では、第１の要素の集合ＳＥ１は、二次元平面において縦方向に延在する直線の集合であり、各々の直線が、第１の要素Ｅ１ａ乃至Ｅ１ｎ（ｎは任意の２以上の整数）である。第２の要素の集合ＳＥ２は、二次元平面において横方向に延在する直線の集合であり、各々の直線が、第２の要素Ｅ２ａ乃至Ｅ２ｎ（ｎは任意の２以上の整数）である。第１の要素の集合ＳＥ１のそれぞれの第１の要素は、第２の要素の集合ＳＥ２のそれぞれの第２の要素と交差する。なお、上述したｎおよび以下で言及するｎの値は、任意の２以上の整数を意味しており、言及した全てのｎが同一の値であるわけではない。
【0032】
図３に示すように、第１の要素の集合ＳＥ１における各々の直線は、基準画像ＲＩ内の二次元平面において縦方向に連続的に延在する。一方、第２の要素の集合ＳＥ２における各々の直線の一部は、基準画像ＲＩ内の二次元平面において横方向に断続的に延在する。図３では、基準画像ＲＩの一部を囲む円Ｃ１に対応した円Ｃ２の内部に、円Ｃ１によって囲まれた基準画像ＲＩの一部の領域を拡大した状態を示す。
【0033】
円Ｃ２内の領域では、第１の要素Ｅ１ａ乃至Ｅ１ｄはそれぞれ、縦方向に連続的に延在する。第２の要素Ｅ２ａ、Ｅ２ｄ、およびＥ２ｇは、横方向に断続的に延在する。第２の要素Ｅ２ｂ、Ｅ２ｅ、およびＥ２ｈは、横方向に連続的に延在する。第２の要素Ｅ２ｃ、Ｅ２ｆ、およびＥ２ｉは、横方向に断続的に延在する。
【0034】
第２の要素Ｅ２ａは、第１の要素Ｅ１ａとの交点Ｉ１から右横方向に延在し、第１の要素Ｅ１ｂとの交点Ｉ２において終端する。第２の要素Ｅ２ｄは、第１の要素Ｅ１ｂとの交点Ｉ３から右横方向に延在し、第１の要素Ｅ１ｃとの交点Ｉ４において終端する。第２の要素Ｅ２ｇは、第１の要素Ｅ１ｃとの交点Ｉ５から右横方向に延在し、第１の要素Ｅ１ｄとの交点Ｉ６において終端する。第２の要素Ｅ２ｄは、交点Ｉ３から、第２の要素Ｅ２ａよりも高い位置で延在し、第２の要素Ｅ２ｇは、交点Ｉ５から、第２の要素Ｅ２ｄよりも低い位置で延在する。
【0035】
第２の要素Ｅ２ｂは、第１の要素Ｅ１ａとの交点Ｉ７から右横方向に延在し、第１の要素Ｅ１ｂとの交点Ｉ８において第２の要素Ｅ２ｅと接続する。第２の要素Ｅ２ｅは、交点Ｉ８から右横方向に延在し、第１の要素Ｅ１ｃとの交点Ｉ９において第２の要素Ｅ２ｈと接続する。第２の要素Ｅ２ｈは、交点Ｉ９から右横方向に延在し、第１の要素Ｅ１ｄとの交点Ｉ１０において次の第２の要素（符号なし）と接続する。
【0036】
第２の要素Ｅ２ｃは、第１の要素Ｅ１ａとの交点Ｉ１１から右横方向に延在し、第１の要素Ｅ１ｂとの交点Ｉ１２において終端する。第２の要素Ｅ２ｆは、第１の要素Ｅ１ｂとの交点Ｉ１３から右横方向に延在し、第１の要素Ｅ１ｃとの交点Ｉ１４において終端する。第２の要素Ｅ２ｉは、第１の要素Ｅ１ｃとの交点Ｉ１５から右横方向に延在し、第１の要素Ｅ１ｄとの交点Ｉ１６において終端する。第２の要素Ｅ２ｆは、交点Ｉ１３から、第２の要素Ｅ２ｃよりも低い位置で延在し、第２の要素Ｅ２ｉは、交点Ｉ１５から、第２の要素Ｅ２ｆよりも高い位置で延在する。
【0037】
また、基準画像ＲＩは、所定の交点上の位置にｎ個の任意の形状のマーカが配置される。本実施形態では、９個のマーカＭ１乃至Ｍ９が配置される。マーカＭ１乃至Ｍ９は、基準画像ＲＩの二次元平面において一定間隔に配置されてもよく、またはランダムな間隔に配置されてもよい。後述する図４に示す基準画像でも同様である。マーカＭ１乃至Ｍ９の各々は、対応付けの精度を高めるために使用されるが、詳細については後述する。
【0038】
なお、本実施形態では、二次元平面において連続的に縦方向に延在する要素の集合および二次元平面において断続的に横方向に延在する要素の集合を含む基準画像を採用しているが、基準画像は、そのような構成に限定されない。例えば、図４に示すように、基準画像ＲＩは、二次元平面において断続的に縦方向に延在する要素の集合および二次元平面において連続的に横方向に延在する要素の集合を含んでもよい。
【0039】
図４に示すように、第１の要素の集合ＳＥ１における各々の直線の一部は、基準画像ＲＩ内の二次元平面において縦方向に断続的に延在する。一方、第２の要素の集合ＳＥ２における各々の直線は、基準画像ＲＩ内の二次元平面において横方向に連続的に延在する。図４では、基準画像ＲＩの一部を囲む円Ｃ１に対応した円Ｃ２の内部に、円Ｃ１によって囲まれた基準画像ＲＩの一部の領域を拡大した状態を示す。
【0040】
円Ｃ２内の領域では、第２の要素Ｅ２ａ乃至Ｅ２ｄはそれぞれ、横方向に連続的に延在する。第１の要素Ｅ１ａ、Ｅ１ｄ、およびＥ１ｇは、縦方向に断続的に延在する。第１の要素Ｅ１ｂ、Ｅ１ｅ、およびＥ１ｈは、縦方向に連続的に延在する。第１の要素Ｅ１ｃ、Ｅ１ｆ、およびＥ１ｉは、縦方向に断続的に延在する。
【0041】
第１の要素Ｅ１ａは、第２の要素Ｅ１ａとの交点Ｉ１から下方向に延在し、第２の要素Ｅ２ｂとの交点Ｉ２において終端する。第１の要素Ｅ１ｄは、第２の要素Ｅ２ｂとの交点Ｉ３から下方向に延在し、第２の要素Ｅ２ｃとの交点Ｉ４において終端する。第１の要素Ｅ１ｇは、第２の要素Ｅ２ｃとの交点Ｉ５から下方向に延在し、第２の要素Ｅ２ｄとの交点Ｉ６において終端する。第１の要素Ｅ１ｄは、交点Ｉ３から、第１の要素Ｅ１ａよりも左の位置で延在し、第１の要素Ｅ１ｇは、交点Ｉ５から、第１の要素Ｅ１ｄよりも右の位置で延在する。
【0042】
第１の要素Ｅ１ｂは、第２の要素Ｅ２ａとの交点Ｉ７から下方向に延在し、第２の要素Ｅ２ｂとの交点Ｉ８において第１の要素Ｅ１ｅと接続する。第１の要素Ｅ１ｅは、交点Ｉ８から下方向に延在し、第２の要素Ｅ２ｃとの交点Ｉ９において第１の要素Ｅ１ｈと接続する。第１の要素Ｅ１ｈは、交点Ｉ９から下方向に延在し、第２の要素Ｅ２ｄとの交点Ｉ１０において次の第１の要素（符号なし）と接続する。
【0043】
第１の要素Ｅ１ｃは、第２の要素Ｅ２ａとの交点Ｉ１１から下方向に延在し、第２の要素Ｅ２ｂとの交点Ｉ１２において終端する。第１の要素Ｅ１ｆは、第２の要素Ｅ２ｂとの交点Ｉ１３から下方向に延在し、第２の要素Ｅ２ｃとの交点Ｉ１４において終端する。第１の要素Ｅ１ｉは、第２の要素Ｅ２ｃとの交点Ｉ１５から下方向に延在し、第２の要素Ｅ２ｄとの交点Ｉ１６において終端する。第１の要素Ｅ１ｆは、交点Ｉ１３から、第１の要素Ｅ１ｃよりも右の位置で延在し、第１の要素Ｅ１ｉは、交点Ｉ１５から、第１の要素Ｅ１ｆよりも左の位置で延在する。
【0044】
図３および図４において示したパターンはいずれも、二次元平面において縦方向に延在する直線の要素の集合、およびそれぞれが縦方向に延在する直線の要素の集合と交差し、二次元平面において横方向に延在する直線の要素の集合を含むと言える。また、上記パターンは、縦方向に延在する直線の要素の集合およびそれぞれが横方向に延在する直線の要素の集合の少なくともいずれかが、断続的に延在する要素を含むと言える。
【0045】
要素が二次元平面において断続的に延在するとは、その要素が、交差するもう一方の要素のうちの同一の要素と複数の位置において交差し、その交点の位置が二次元平面において異なることであると言える。図３において示したパターンでは、第２の要素が二次元平面において横方向に断続的に延在するとは、第２の要素（例えば、第２の要素Ｅ２ａおよびＥ２ｄ）が同一の第１の要素（例えば、第１の要素Ｅ１ｂ）の複数の位置において交差し（例えば、交点Ｉ２およびＩ３）、その交点の位置が二次元平面において異なることであると言える。図４において示したパターンでは、第１の要素が二次元平面において縦方向に断続的に延在するとは、第１の要素（例えば、第１の要素Ｅ１ａおよびＥ１ｄ）が同一の第２の要素（例えば、第２の要素Ｅ２ｂ）の複数の位置において交差し（例えば、交点Ｉ２およびＩ３）、その交点の位置が二次元平面において異なることであると言える。
【0046】
なお、本実施形態では、基準画像ＲＩが、二次元平面において縦方向に延在する直線の集合、および二次元平面において横方向に延在する直線の集合を含むが、そのような構成に限定されない。例えば、基準画像ＲＩは、二次元平面において縦方向に延在する曲線の集合などの任意の形状を有する要素の集合、および二次元平面において横方向に延在する曲線の集合などの任意の形状を有する要素の集合を含んでもよい。
【0047】
次に、図５に示すフローチャートを参照して、画像分析システム１００が実行する処理の例を説明する。上述したように、本実施形態では、撮影対象に投影するパターン光に対応する基準画像と、パターン光が投影された撮影対象を撮影することによって生成された撮影画像との間の対応関係を分析する。具体的には、図３または図４に示した基準画像と、基準画像に対応するパターン光を投影した撮影対象を撮影することによって生成された撮影画像との対応関係を分析する。対応関係は、ニューラルネットワークを使用することによって分析される。
【0048】
撮影対象にパターン光を投影すると、奥行に応じて、撮影対象から反射したパターン光の形状が歪み、対応して、生成された撮影画像において認識されるパターンの形状も歪むことになる。従来の画像処理では、このように歪んだ形状のパターンを含む撮影画像からは必ずしも正確なパターンを認識することができないことがある。本実施形態では、ニューラルネットワークが基準画像内のパターンを構成するノードを学習し、学習したノードに関する情報から、撮影画像内のパターンを構成するノードを基準画像内のノードと対応付けて抽出する。
【0049】
本実施形態では、図３に示したいずれかの基準画像ＲＩが予め生成され、コンピュータデバイス１の記憶装置１３が記憶されているものとする。基準画像ＲＩは、上述したマーカＭ１乃至Ｍ９を含む。
【0050】
まず、内視鏡２の投光装置２２は、基準画像ＲＩに対応するパターン光ＰＬを撮影対象に投影する（ステップＳ５０１）。基準画像ＲＩは、コンピュータデバイス１の通信装置１４から光ファイバー２２ｃを通じて投光装置２２に送信される。パターン光ＰＬは、回折光学素子２２ａによって回折するので、奥行を有する撮影対象の全体に到達する。
【0051】
次に、内視鏡２の撮像装置２１は、パターン光ＰＬが投影された撮影対象を撮影する（ステップＳ５０２）。撮影対象を撮影すると、撮影信号が撮像装置２１からコンピュータデバイス１の通信装置１４に送信され、制御装置１１が、撮影信号に基づいて撮影画像ＤＩを生成する。生成した撮影画像は、メモリ１２または記憶装置１３に記憶される。
【0052】
次に、コンピュータデバイス１の制御装置１１は、撮影画像ＤＩ内のパターンを構成する第１の要素の組の全ての第１の要素に対し、要素を構成するライン（列）を識別する。同様に、第２の要素の組の全ての第２の要素に対し、要素を構成するライン（行）を識別する（ステップＳ５０３）。すなわち、制御装置１１は、撮影画像ＤＩ内の全ての列および全ての行を識別する。識別された列および行は、識別番号が割り当てられる（列に第１の要素識別子、行に第２の要素識別子）。上述したように、第２の要素の一部は、二次元平面において断続的に延在するが、断続的に延在する要素については、線形になるラインを認識する。
【0053】
次に、制御装置１１は、ステップＳ５０３において識別した列と行との全ての交点をノードとして識別する（ステップＳ５０４）。次に、制御装置１１は、ノードごとに隣接するノードに対する相対位置に基づいて分類する（ステップＳ５０５）。識別および分類されたノードは、相対位置に基づいてラベル付けされる（撮影画像ＤＩ内のノードにラベルが付加される（分類値が付与される）。
【0054】
ステップＳ５０３乃至ステップＳ５０５の処理は、深層学習において学習された学習データに基づいて実行される。本実施形態では、制御装置１１は、学習のためにＵ－Ｎｅｔを実装する。Ｕ－Ｎｅｔは、深層学習を利用した完全畳み込みネットワーク（ＦＣＮ：fully convolution network）の１つであり、画像内のセグメンテーションを推定する。セグメンテーションとは、画像を複数の領域に分割する処理を意味する。Ｕ－Ｎｅｔは、畳み込み演算、および活性化演算（ＲｅＬＵ）、最大プーリング演算などを通じて、学習データに基づいて、各々の画素が何を表すかを分類する。
【0055】
図６は、撮影画像ＤＩに基づいてＵ－Ｎｅｔを学習する処理の例を視覚的に示す。図６では、Ｕ－Ｎｅｔにおける学習の例を示すために、１つの画像に基づいてＵ－Ｎｅｔを学習する例を提示するが、実際には、あらゆる基準画像、および基準画像に対応するパターン光を投影した撮影対象を撮影することによって生成された撮影画像に基づいて、ノードを識別および分類するよう学習される。なお、図６に示す例では、上述したマーカＭ１乃至Ｍ９は考慮しない。また、図６は、撮影画像ＤＩ内の一部のパターンのみを示す。
【0056】
まず、図６（ａ）に示すように、制御装置１１が、撮影画像ＤＩを学習データとして認識する。撮影画像ＤＩは、二次元平面において縦方向に延在する第１の要素の集合ＳＥ１、および二次元平面において横方向に延在する第２の要素の集合ＳＥ２を含む。なお、撮影画像ＤＩでは、第１の要素の集合ＳＥ１は、撮影対象の奥行によって生じるパターン光の経路のずれに起因して、歪んで表される。
【0057】
次に、ユーザは、各々の第１の要素を識別するためのラベルを付加するために、第１の要素の集合ＳＥ１のそれぞれを描くように縦マークＶＭを付加する。図６（ｂ）に示すように、縦マークＶＭは、それぞれの第１の要素をなぞるように曲線を描くことによって付加される。縦マークＶＭは、制御装置１１によって学習データとして認識される。
【0058】
次に、制御装置１１は、例えば、縦マークＶＭの所定のエリアを認識し、マークを付加する。本実施例では、図６（ｃ）に示すように、縦マークＶＭの二次元平面における右側の予め定められた画素数にわたる領域が縦マーク領域ＶＲ１として認識され、縦マークＶＭの二次元平面における左側の予め定められた画素数にわたる領域が縦マーク領域ＶＲ２として認識される。縦マーク領域ＶＲ１および縦マーク領域ＶＲ２は、制御装置１１によって学習データとして認識される。
【0059】
同様に、各々の第２の要素を識別するためのラベルを付加するために、ユーザは、第２の要素の集合ＳＥ２のそれぞれを描くように横マークを付加する。横マークは、それぞれの第２の要素をなぞるように曲線を描くことによって付加される。横マークは、制御装置１１によって学習データとして認識される。
【0060】
次に、制御装置１１は、例えば、横マークの所定のエリアを認識し、マークを付加する。本実施例では、図６（ｄ）に示すように、横マークの二次元平面における上側の予め定められた画素数にわたる領域が横マーク領域ＨＲ１として認識され、横マークの二次元平面における下側の予め定められた画素数にわたる領域が横マーク領域ＨＲ２として認識される。横マーク領域ＨＲ１および横マーク領域ＨＲ２は、制御装置１１によって学習データとして認識される。
【0061】
上述したように、第２の要素の集合ＳＥ２は、二次元平面において断続的に延在する要素を含む。断続的に延在する要素は、同一の第１の要素と２つの位置において交差し、その２つの交点が異なる。図６（ａ）の例では、交点Ｉ１は、交点Ｉ２よりも二次元平面において低い位置にあり、交点Ｉ３は、交点Ｉ４よりも二次元平面において低い位置にある。横マーク領域ＨＲ１および横マーク領域ＨＲ２は、これらの交点を覆うよう、線形になるラインとして描かれる。図６（ｄ）における破線の枠内の領域が示すように、横マーク領域ＨＲ１および横マーク領域ＨＲ２は、交点Ｉ１およびＩ２に対応して二次元平面において右上方向に延在し、交点Ｉ３およびＩ４に対応して二次元平面において右下方向に延在する。
【0062】
次に、制御装置１１は、縦マーク領域ＶＲ１と縦マーク領域ＶＲ２との境界を第１の要素として識別番号（第１の要素識別子）を割り当てる。第１の要素識別子が割り当てられた第１の要素は、学習データとして認識される。同様に、制御装置１１は、横マーク領域ＨＲ１と横マーク領域ＨＲ２との境界を第２の要素として識別番号（第２の要素識別子）を割り当てる。第２の要素識別子が割り当てられた第２の要素は、学習データとして認識される。なお、第１の要素識別子は、各々の第１の要素を識別するための任意の記号、形状、および色などを有してもよい。第２の要素識別子も同様である。
【0063】
なお、Ｕ－Ｎｅｔでは、例えば、基準画像を出力装置１６に表示し、表示された基準画像に対して、ユーザが入力装置１５を介して縦マークおよび横マークを入力することによって、行および列を認識するよう学習されてもよい。
【0064】
次に、制御装置１１は、第１の要素と第２の要素との交点をノードとして認識する。そして、制御装置１１は、全てのノードを、隣接するノードに対する相対位置に基づいて分類し、ラベルを付加する（分類値を付与する）。本実施形態では、隣接する２つのノードの相対位置に基づいて、２つのノードが二次元平面において同一または略同一の高さの位置にあること、２つのノードのうち左に位置するノードの方が二次元平面において高い位置にあること、または２つのノードのうち右に位置するノードの方が二次元平面において高い位置にあること、の３個のクラスに分類される。
【0065】
なお、実際には、ノードの隣接するノードに対する相対位置を認識することができないことがあるので、このようなノードをｕｎｋｎｏｗｎクラスとして分類してもよい。この場合、ノードは、４個のクラスに分類される。本実施形態では、ノードを４個のクラスに分類する。図６（ｅ）は、ラベル付けされたノードを示す。
【0066】
２つのノードが二次元平面において同一または略同一の高さの位置あることとは、例えば、２つのノードの二次元平面における高さの差が、予め定められた閾値範囲（例えば、ｍ画素（ｍは任意の数））にあることを意味する。このように分類されるノードは、赤（Ｒ）ラベルが付加され、図６（ｅ）では、白抜きの円がＲラベルを表す。
【0067】
Ｒラベルが付加されるノードは、パターンにおいて、連続的に延在する第２の要素と第１の要素との交点に対応する。図６（ａ）に示した例では、交点Ｉ７およびＩ８を構成する第２の要素は連続的に延在しているので、交点Ｉ７およびＩ８に対応して、ノードＮ４およびＮ５が識別され、Ｒラベルが付加される。同様に、ノードＮ６乃至Ｎ１１、Ｎ１４、およびＮ１６乃至Ｎ２０も、連続的に延在する第２の要素と第１の要素との交点に対応して、Ｒラベルが付加される。
【0068】
２つのノードのうち右に位置するノードの方が二次元平面において高い位置にあることとは、例えば、右に位置するノードが左に位置するノードよりも二次元平面において高い位置にあり、２つのノードの二次元平面における高さの差が、予め定められた閾値を上回ることを意味する。このように分類されるノードは、緑（Ｇ）ラベルが付加され、図６（ｅ）では、黒塗りの円がＧラベルを表す。
【0069】
Ｇラベルが付加されるノードは、パターンにおいて、断続的に延在する第２の要素と第１の要素との２つ交点（右に位置する第２の要素との交点の方が、左に位置する第２の要素との交点よりも高い位置にある）に対応する。図６（ａ）に示した例では、交点Ｉ１およびＩ２を構成する第２の要素は断続的に延在し、右に位置する第２の要素との交点Ｉ２の方が、左に位置する第２の要素との交点Ｉ１よりも高い位置にあるので、交点Ｉ１およびＩ２に対応して、ノードＮ１が識別され、Ｇラベルが付加される。同様に、交点Ｉ５およびＩ６を構成する第２の要素は断続的に延在し、右に位置する第２の要素との交点Ｉ６の方が、左に位置する第２の要素との交点Ｉ５よりも高い位置にあるので、交点Ｉ５およびＩ６に対応して、ノードＮ３が識別され、Ｇラベルが付加される。同様に、ノードＮ１３も、断続的に延在する第２の要素と第１の要素との交点に対応して、Ｇラベルが付加される。
【0070】
２つのノードのうち左に位置するノードの方が二次元平面において高い位置にあることとは、例えば、左に位置するノードが右に位置するノードよりも二次元平面において高い位置にあり、２つのノードの二次元平面における高さの差が、予め定められた閾値を上回ることを意味する。このように分類されるノードは、青（Ｂ）ラベルが付加され、図６（ｅ）では、網掛けの円がＢラベルを表す。
【0071】
Ｂラベルが付加されるノードは、パターンにおいて、断続的に延在する第２の要素と第１の要素との２つ交点（左に位置する第２の要素との交点の方が、右に位置する第２の要素との交点よりも高い位置にある）に対応する。図６（ａ）に示した例では、交点Ｉ３およびＩ４を構成する第２の要素は断続的に延在し、左に位置する第２の要素との交点Ｉ３の方が、右に位置する第２の要素との交点Ｉ４よりも高い位置にあるので、交点Ｉ３およびＩ４に対応して、ノードＮ２が識別され、Ｂラベルが付加される。同様に、ノードＮ１２およびＮ１５も、断続的に延在する第２の要素と第１の要素との交点に対応して、Ｂラベルが付加される。
【0072】
本実施形態では、相対位置に基づいてノードを３個のクラスに分類する例を示したが、分類するクラスの数は３に限定されない。例えば、基準画像ＲＩにおいて、第１の要素および第２の要素のいずれもが、断続的に延在する要素を含む場合、隣接するノードのうち上に位置するノードが下に位置するノードよりも二次元平面において右（または、左）に位置することなどのクラスに分類されてもよい。なお、ラベルを上述した色で表すことは例示にすぎず、相対位置を示す任意の記号などがラベルとして付加されてもよい。
【0073】
このようにして、撮影画像ＤＩがＵ－Ｎｅｔに入力され、撮影画像ＤＩから列（第１の要素）および行（第２の要素）が識別され、ノードが識別及び分類される。Ｕ－Ｎｅｔは、上述した手順に従って、あらゆる基準画像、および基準画像に対応するパターン光を投影した撮影対象を撮影することによって生成された撮影画像に基づいて、列および行を認識し、ノードを識別および分類するよう学習される。
【0074】
Ｕ－Ｎｅｔは、ノードごとに、第１の要素識別子および第２の要素識別子（ノードは、第１の要素識別子および第２の要素識別子の組によって識別される）、ならびにラベルを出力する。ノードを識別するための第１の要素識別子および第２の要素識別子は、２次元の特徴ベクトルとして表される。また、３個のクラス（ＲＧＢ）およびｕｎｋｎｏｗｎクラスのラベルは、４次元の特徴ベクトルＦとして表される。
【0075】
上述したように、ノードが識別および分類されると、制御装置１１は、ノードの分類（つまり、ノードの位置関係）および隣接するノードとの隣接関係に基づいて、ノード同士を接続するエッジを付与する。ステップＳ５０３乃至Ｓ５０５の処理では、撮影画像ＤＩから６次元（２次元（第１の要素識別子および第２の要素識別子）＋４次元（３個のクラス＋ｕｎｋｎｏｗｎクラス））のベクトルを含む特徴ベクトルＦが抽出される。また、ノードにラベルが付加された格子グラフＧが生成される。
【0076】
任意選択で、ステップＳ５０３乃至Ｓ５０５の処理では、対応付けの精度を高めるために、上述した基準画像ＲＩに配置されたマーカＭ１乃至Ｍ９（撮影画像ＤＩにもマーカＭ１乃至Ｍ９が配置される）が位置する所定の領域に基づいて、ノードを分類し、ノードに対してラベルを付加してもよい（分類値を付与する）。
【0077】
図７は、図３に示した基準画像ＲＩ内で、マーカＭ１乃至Ｍ９のそれぞれを中心とした所定の領域である領域Ｒ１乃至Ｒ９を示す。例えば、領域Ｒ１は、マーカＭ１が位置するノードを構成する第１の要素および第２の要素と、それらに隣接する第１の要素および第２の要素とによって構成された４個の格子を含む。領域Ｒ２乃至Ｒ９も同様に、４個の格子を含む。つまり、領域Ｒ１乃至Ｒ９はそれぞれ、マーカＭ１乃至Ｍ９がそれぞれ位置するノードと、そのノードに隣接するノードを含む。
【0078】
領域Ｒ１乃至Ｒ９はそれぞれ、第１の要素および第２の要素から構成された格子の形状において、同一、異なる、左右対称、および上下左右対称などの関係を有する。つまり、領域Ｒ１乃至Ｒ９は相互に、領域内の中心のノードと隣接するノードとの間の関係が、同一であり、異なり、左右対称、および上下左右対称などである。よって、領域Ｒ１乃至Ｒ９内の中心ノードと隣接するノードとの関係に基づいて、ノードが分類される。
【0079】
図７に示すように、領域Ｒ１乃至Ｒ５は、相互に異なる形状を有する。領域Ｒ６は、領域Ｒ４と、二次元平面において上下左右対称の形状を有する。領域Ｒ７は、領域Ｒ２と、二次元平面において左右対称の形状を有する。領域Ｒ８は、領域Ｒ３と、二次元平面において左右対称の形状を有する。領域Ｒ９は、領域Ｒ１と、二次元平面において上下左右対称の形状を有する。これらの分類も、Ｕ－Ｎｅｔによって学習データとして認識される。
【0080】
ステップＳ５０３乃至Ｓ５０５の処理では、撮影画像ＤＩがＵ－Ｎｅｔに入力され、上述した学習によって生成された学習データに基づいて、撮影画像ＤＩ内のマーカＭ１乃至Ｍ９が５個のクラスに分類される。図７の例では、例えば、領域Ｒ１およびＲ９がクラス１、領域Ｒ２およびＲ７がクラス２、領域Ｒ３およびＲ８がクラス３、領域Ｒ４およびＲ６がクラス４、領域５がクラス５に分類される。
【0081】
なお、実際には、マーカの周囲の領域またはその形状を識別することができないこともあるので、そのようなマーカをｕｎｋｎｏｗｎクラスとして分類してもよい。この場合、マーカは、６個のクラスに分類される。本実施形態では、マーカを６個のクラスに分類する。
【0082】
これらのクラスは、それぞれのマーカが位置するノードとそのノードに隣接するノードとの関係を識別することができる。例えば、領域Ｒ１では、マーカＭ１が位置するノードの下のノード（交点Ｉ１およびＩ２から構成されるノード（図７ではノードを表していない））は、Ｇラベルが付加される（右に位置するノードが左に位置するノードよりも二次元平面において高いと分類される）。よって、分類されたクラスごとにこれらの位置関係を学習することによって、基準画像と、撮影対象に投影するパターン光に対応するパターン光が投影された撮影対象を撮影することによって生成された画像との間の対応関係を分析することを容易にする。
【0083】
上述した任意選択の処理によって、ステップＳ５０３乃至Ｓ５０５の処理では、撮影画像ＤＩから１２次元（２次元＋４次元＋６次元（５個のクラス＋ｕｎｋｎｏｗｎクラス））のベクトルを含む特徴ベクトルＦが抽出される。
【0084】
なお、本実施形態では、Ｕ－Ｎｅｔにおいて第１の要素識別子および第２の要素識別子を割り当てているが、そのような方式に限定されない。各々の第１の要素を識別する番号、および各々の第２の要素を識別する番号が事前に割り当てられ、それらの番号（要素を識別する任意の記号）が基準画像ＲＩに埋め込まれてもよい。
【0085】
また、本実施形態では、画像内のそれぞれのノードと、対応する相対位置との対応関係を学習したＵ－Ｎｅｔから、対応するノードを示す情報の集合と、および対応する相対位置を示す情報の集合を抽出しているが、使用するニューラルネットワークは、Ｕ－Ｎｅｔに限定されない。例えば、画像内のそれぞれのノードと、対応する相対位置との対応関係を学習したＵ－Ｎｅｔ以外の公知のニューラルネットワークを使用してもよい。
【0086】
また、ニューラルネットワークを使用せず、画像内の隣接する２つのノードを認識し、２つのノードの相対位置を判定してもよい（例えば、ハフ変換、射影変換、および／または二値化などの画像処理によって）。つまり、ステップＳ５０３乃至Ｓ５０５の処理はいずれも、ニューラルネットワークを使用するか否かに関わらず、画像内のそれぞれの列および行を識別し、ノードを分類する。
【0087】
図７の説明に戻ると、制御装置１１は、特徴ベクトルＦおよび格子グラフＧに基づいて、格子グラフＧ内の各々のノードを、対応する基準画像ＲＩから生成された格子グラフ内のノードと対応付ける（ステップＳ５０６）。
【0088】
上述したＵ－Ｎｅｔは、基準画像ＲＩなどを学習した結果に基づいて、グラフＧを生成している。しかしながら、Ｕ－Ｎｅｔは、必ずしも正確なグラフを生成することができるとは限らず、誤ったグラフからは、上述した対応付けを正確に行うことはできない。
【0089】
本実施形態では、制御装置１１は、学習のためにグラフ畳み込みネットワーク（ＧＣＮ：Graph Convolutional Network）を実装し、ステップＳ５０６の処理は、ＧＣＮによる深層学習において学習された学習データに基づいて実行される。ＧＣＮは、深層学習をグラフデータに適用するニューラルネットワークであり、グラフデータに対して畳み込み演算を行う。ＧＣＮにおける畳み込み演算では、各々のノードに対し、隣接ノードとの関係ごとに重み値に従って尤度が計算される。上述した特徴ベクトルＦは、撮影画像ＤＩ内の各々のノード自体の性質（相対位置）を表し、格子グラフＧは、ノード間の隣接関係を表す。
【0090】
ＧＣＮは、あらゆる基準画像およびあらゆる撮影画像から抽出および生成された、上述したような特徴ベクトルＦおよび格子グラフＧに基づいて学習される。よって、上述した基準画像ＲＩから生成された格子グラフＧに基づいて、基準画像ＲＩ内のノードに対応するノードを抽出するようＧＣＮが学習される。よって、ＧＣＮからの出力は、入力した格子グラフＧ内のノードを表す情報である。
【0091】
図８は、本実施形態で実装されるＧＣＮ８００の構成を示す。ＧＣＮ８００は、入力された特徴ベクトルＦおよび格子グラフＧを所定の回数の演算を行うため、その演算の回数に従った階層構造を採用している。ＧＣＮ８００は、ＧＣＮ層８０１、全結合層８０２、および出力層８０３を含む。
【0092】
ＧＣＮ層８０１では、特徴ベクトルＦおよび格子グラフＧに基づいて、グラフ畳み込み演算部８０１ａがグラフ畳み込み演算を実行し、正規化演算部８０１ｂが正規化演算（Batch Normalization）を実行し、活性化演算部８０１ｃが活性化演算（ＲｅＬＵ）を実行する。この処理では、１２次元の特徴ベクトルＦに対しノードごとに上記演算が実行される。よって、Ｄ×Ｎ（Ｎは、ノード数、Ｄは次元数（１２））の行列Ｈが生成される。
【0093】
ＧＣＮは、隣接するノードとの関係に基づいてノードごとに演算を行う。本実施形態では、格子グラフＧ内の各々のノードは、４方向（上方向、下方向、右方向、および左方向）に隣接するノードを有する（４方向（以下、方向数をｌで表す）に隣接するノードと隣接関係を有する）。よって、方向ごとに行列Ｈ(1)乃至Ｈ(l)が生成される。これらの行列は、層データ行列に累積されるので、最終的に、行列Ｈ(l+1)が生成される。行列Ｈ(l+1)は、式（１）によって表すことができる。
【0094】
【数1】
【0095】
【数2】
【0096】
は、自己結合を追加した格子グラフＧの隣接行列であり、Ｉは、単位行列であり、
【0097】
【数3】
【0098】
は、
【0099】
【数4】
【0100】
の次数行列であり、Ｗ(l)は、この層の重み行列であり、σは、活性化関数（ＲｅＬＵ）である。隣接行列Ａは、｛Ａ0（上方向）、Ａ1（下方向）、Ａ2（右方向）、Ａ3（左方向）｝である。
【0101】
行列Ｈ(l+1)の計算は、式（２）に従って実行される。
【0102】
【数5】
【0103】
【数6】
【0104】
は、方向ｄ∈｛０、１、２、３｝に応じた重み行列である。
【0105】
式（２）を実行した後、正規化演算および活性化演算が実行される。この処理が５回繰り返される。このようにして、ＧＣＮ層８０１は、行列Ｈ(l+1)を出力する。
【0106】
全結合層８０２では、行列Ｈ(l+1)に基づいて、線形変換演算部８０２ａが線形変換演算を実行し、活性化演算部８０２ｂが活性化演算（ＲｅＬＵ）を実行する。この処理では、Ｄ個の次元（本実施形態では１２次元）およびＮ個のノードごとに上記演算が実行される。よって、特徴ベクトルＦの特徴埋め込み行列（Ｎ×Ｄのサイズを有する）が生成される。このようにして、全結合層８０２は、特徴ベクトルＦの特徴埋め込み行列を出力する。
【0107】
上述した演算によって、ノードごとに、自身の特徴ベクトル（つまり、隣接ノードとの相対位置を示す値）、隣接ノードとの関係、および重み付けを考慮した畳み込み演算によって、元の基準画像ＲＩ内のそれぞれのノードとの対応付けに対する精度を高めることができる。図９は、ノードの特徴ベクトル、隣接ノードとの関係、および重み値を考慮した演算を視覚的に示す。
【0108】
出力層８０３では、特徴埋め込み行列について、Ｓｏｆｔｍａｘ演算部８０３ａがノードごとにＳｏｆｔｍａｘ演算を実行し、ノードごとの対数尤度ベクトルを出力する。
【0109】
ＧＣＮは、Ｕ－Ｎｅｔから出力される格子グラフＧに基づいて学習される。具体的には、Ｕ－Ｎｅｔによって識別され、ラベルが付加された格子グラフＧ内のノードが学習データとして認識される。また、格子グラフ内の各々の第１の要素を識別するための第１の要素識別子が割り当てられ、各々の第２の要素を識別するための第２の要素識別子が割り当てられ、第１の要素識別子および第２の要素識別子が教師データとして使用される。
【0110】
ＧＣＮによって、ノードごとの対数尤度ベクトルが出力されると、対数尤度ベクトルに基づいて対応するノードが判定される。このような判定において、学習データから一定の確率を有すると判断されたノードが、基準画像ＲＩ内のノードに対応するノードとして抽出される。ＧＣＮは、上述した演算を行った後のノードを反映した第１の要素識別子の集合および第２の要素識別子の集合を出力する。第１の要素識別子の集合および第２の要素識別子の集合により、画像内の列および行を認識することができるので、その交点であるノードを識別することができる。
【0111】
なお、本実施形態では、ＧＣＮが全てのノードを出力する負荷を考慮して、第１の要素識別子の集合および第２の要素識別子の集合を出力しているが、全ノードに識別子を割り当て（ノード識別子）、ノード識別子を出力してもよい。
【0112】
なお、パターン内のノードについての特徴ベクトルおよびノードによって構成された格子グラフに基づいて学習したＧＣＮから、基準画像内のノードに対応するノードを抽出しているが、使用するニューラルネットワークは、ＧＣＮに限定されない。例えば、特徴ベクトルおよびノードによって構成された格子グラフに基づいて学習したＧＣＮ以外の公知のニューラルネットワークを使用してもよい。グラフの接続に基づいて、グラフのノードと関連付けられた特徴ベクトルを集約する機能があってもよく、他の手法および他のニューラルネットワークでも代替が可能である。ＧＣＮ以外のネットワークを使用する場合も、格子グラフ内の各々のノードに対し、隣接ノードとの関係および重み値を考慮して演算が実行される。
【0113】
また、ニューラルネットワークを使用せず、撮影画像内のノードの隣接するノードに対する相対位置（相対位置に基づいた分類）および隣接ノードとの関係に基づいて、ノードによって構成された格子グラフから、基準画像内のノードに対応するノードを抽出してもよい（例えば、空間フィルタリングおよび畳み込み演算などの画像処理によって）。つまり、ステップＳ５０６の処理は、ニューラルネットワークを使用するか否かに関わらず、入力された格子グラフおよび特徴ベクトル（格子グラフ内のノードの隣接ノードに対する相対位置に基づいた分類）に基づいて、隣接ノードとの関係および重み値を考慮して基準画像内のノードに対応するノードを抽出する。
【0114】
以上のようにして、ＧＣＮを使用して、基準画像ＲＩ内の各々のノードに対応する、撮影画像ＤＩ内の各々のノードが識別される。このようにして撮影画像ＤＩ内のより多くのノードが基準画像ＲＩ内のノードと対応付けられるので、その対応付けに基づいて、三角測量に基づいて撮像装置と撮影対象との間の距離を計算し、この距離に基づいて三次元画像を構築するができる。また、対応付けに基づいて、撮像装置２１と投光装置２２との間の位置情報などを示す外部パラメータ（エピポーラ幾何に使用される）を計算することができる。
【0115】
上述したように、撮影対象の奥行に応じて反射したパターン光の形状が歪むので、従来技術の画像処理では、画像内の全てノードを元のノードと対応付けることは困難であった。本実施形態では、二次元平面において縦および／または横に断続的に延在する要素によって、パターンの形状が歪んでも、撮像画像ＤＩにおいて隣接ノードとの関係が維持されるので、その関係に基づいて、ＧＣＮにより元のパターン内のノードと対応付ける精度を高めることができる。例えば、図３に示した基準画像ＲＩを投影して撮影した撮像画像ＤＩでは、パターンの形状が歪んでも、２つのノードとの間で二次元平面における横方向での高さの関係が維持される。
【0116】
また、基準画像ＲＩが、第１の要素または第２の要素の少なくとも一方において、断続的に延在する要素を含めることによって構成されるので、ノードを対応付けるための情報を少なくすることができる。更に、基準画像ＲＩに配置されたマークＭ１乃至Ｍ９に基づいた分類に基づいて、ノードの隣接関係を判定するので、対応付けの精度を更に高めることができる。
【0117】
上述した処理に加え、撮像画像ＤＩ内の画素と隣接するノードとの相対位置を判定し、基準画像ＲＩ内の画素と隣接するノードとの相対位置を判定し、双方の相対位置に基づいて、画素ごとの対応付けを行ってもよい。この処理は、撮像画像ＤＩおよび基準画像ＲＩの両方に対し、画素ごとに隣接するノードとの相対位置を認識するので、処理負荷は高くなるが、対応付けの精度を更に高めることができる。このような画素ごとの対応付けも、ＧＣＮによって学習される。
【0118】
上述したＧＣＮからの出力およびノードの隣接ノードに対する相対位置に基づいたノード間の対応付けは、ＧＣＮもしくは他のニューラルネットワーク、またはニューラルネットワークを使用しない画像処理（例えば、空間フィルタリングおよび畳み込み演算など）によって行われてもよい。
【0119】
＜第２の実施形態＞
次に、第２の実施形態を説明する。第２の実施形態は、第１の実施形態と比較して、撮影画像ＤＩと共に、基準画像ＲＩもＵ－ＮｅｔおよびＧＣＮに入力し、双方のＧＣＮからの出力を比較する点で異なる。
次に、第２の実施形態を説明する。第２の実施形態は、第１の実施形態と比較して、撮影画像ＤＩと共に、基準画像ＲＩもＵ－ＮｅｔおよびＧＣＮに入力し、双方のＧＣＮからの出力を比較する点で異なる。
【0120】
図１０を参照して、第２の実施形態に従った、画像分析システム１００が実行する処理の例を説明する。図１０に示すステップＳ１００１乃至Ｓ１００５は、図５に示したステップＳ５０１乃至Ｓ５０５と同様であるので、説明を省略する。なお、ステップＳ１００５からは、撮影画像ＤＩから、特徴ベクトルＦdおよび格子グラフＧdが出力される。
【0121】
ステップＳ１００６では、制御装置１１は、記憶装置１３に記憶された基準画像ＲＩがＵ－Ｎｅｔに入力され、基準画像ＲＩ内の第１の要素を構成するライン（列）および第２の要素を構成するライン（行）を識別する。列および行を識別する方式は、図５に示したステップＳ５０３について説明した方式と同様である。
【0122】
次に、制御装置１１は、ステップＳ１００６において識別した列と行との全ての交点をノードとして識別する（ステップＳ１００７）。ノードを識別する方式は、図５に示したステップＳ５０４について説明した方式と同様である。
【0123】
次に、制御装置１１は、ノードごとに隣接するノードに対する相対位置に基づいて分類する（ステップＳ１００８）。ノードを分類する方式は、図５に示したステップＳ５０５について説明した方式と同様である。ステップＳ１００８からは、基準画像ＲＩから、特徴ベクトルＦpおよび格子グラフＧpが出力される。
【0124】
次に、制御装置１１は、ステップＳ１００５の出力（特徴ベクトルＦdおよび格子グラフＧd）をＧＣＮに入力し、撮影画像ＤＩから計算された特徴埋め込み行列Ｆdを出力する（ステップＳ１００９）。特徴埋め込み行列Ｆdを計算する方式は、図５に示したステップＳ５０６について説明した方式と同様である。
【0125】
次に、制御装置１１は、ステップＳ１００８の出力（特徴ベクトルＦpおよび格子グラフＧp）をＧＣＮに入力し、基準画像ＲＩから計算された特徴埋め込み行列Ｆdを出力する（ステップＳ１０１０）。特徴埋め込み行列Ｆpを計算する方式は、図５に示したステップＳ５０６について説明した方式と同様である。
【0126】
次に、制御装置１１は、特徴埋め込み行列Ｆdおよび特徴埋め込み行列Ｆpについて、ノードごとの特徴ベクトルＦdおよびＦdの内積を計算することによって、基準画像ＲＩと撮影画像ＤＩとの類似性を判定する（ステップＳ１０１１）。特徴ベクトルＦdおよびＦdの内積は、
【0127】
【数7】
【0128】
によって表される。
【0129】
制御装置１１は、Ｓｏｆｔｍａｘ関数を使用して、内積のＳｏｆｔｍａｘ値を導出する。ＣＧＮは、格子グラフＧpおよびＧdに基づいて、上述した演算を実行して、２つの特徴ベクトルの内積と第１の要素識別子および第２の要素識別子との間の交差エントロピのコスト関数を使用することによって学習される。上述した学習から、内積のＳｏｆｔｍａｘ関数によってノードごとにＳｏｆｔｍａｘ値を導出し、ノードごとの対数尤度ベクトルを評価することによって、２つの画像の間で、ノードごとに対応付けることができる。
【0130】
第２の実施形態に係る処理は、第１の実施形態に係る処理と基本的には同様であるが、基準画像に対してもＧＣＮを介して演算を行い、基準画像ＲＩおよび撮影画像ＤＩの双方の特徴ベクトルの内積を計算し、ノードごとの対数尤度ベクトルを評価する。図１１は、この処理を視覚的に表している。
【0131】
以上のように、第２の実施形態を説明した。第２の実施形態によっても、撮影画像内のノードと基準画像内のノードとの対応付けの精度を高めることができる。
【0132】
＜第３の実施形態＞
次に、第３の実施形態を説明する。第３の実施形態は、第１の実施形態および第２の実施形態と比較して、使用する基準画像ＲＩが異なる。
次に、第３の実施形態を説明する。第３の実施形態は、第１の実施形態および第２の実施形態と比較して、使用する基準画像ＲＩが異なる。
【0133】
図１２を参照して、第３の実施形態に係る基準画像ＲＩを説明する。図１２に示すように、基準画像ＲＩは、二次元平面において縦方向に連続的に延在する長方形の要素の集合および二次元平面において縦方向に断続的に延在する任意の記号（本実施形態では、十字）の要素の集合を含む。
【0134】
図１２に示すように、第１の要素の集合ＳＥ１における第１の要素（図１２に示す網掛けの長方形）Ｅ１ａ乃至Ｅ１ｎ（ｎは任意の整数）は、基準画像ＲＩ内の二次元平面において縦方向に連続的に延在する。一方、第２の要素の集合ＳＥ２における第２の要素（図１２に示す十字記号）Ｅ２ａ乃至Ｅ２ｎ（ｎは任意の整数）は、基準画像ＲＩ内の二次元平面において縦方向に断続的に延在する。第２の要素Ｅ２ａ乃至Ｅ２ｎはそれぞれ、第１の要素Ｅ１ａ乃至Ｅ１ｎの各々に沿って配置される。図１２では、基準画像ＲＩの一部を囲む円Ｃ１に対応した円Ｃ２の内部に、円Ｃ１によって囲まれた基準画像ＲＩの一部の領域を拡大した状態を示す。
【0135】
円Ｃ２内の領域では、第１の要素Ｅ１ａ乃至Ｅ１ｃはそれぞれ、縦方向に連続的に延在する。第２の要素Ｅ２ａ乃至Ｅ２ｎは、縦方向にランダムな間隔に配置される。例えば、第２の要素Ｅ２ｂと第２の要素Ｅ２ｅとの距離は、第２の要素Ｅ２ｅと第２の要素Ｅ２ｈとの距離とは異なる。同様に、第２の要素Ｅ２ｃと第２の要素Ｅ２ｆとの距離は、第２の要素Ｅ２ｆと第２の要素Ｅ２ｉとの距離とは異なる。
【0136】
第２の要素Ｅ２ａ乃至Ｅ２ｎが二次元平面において縦方向にランダムな間隔に配置されるので、１つ目の第２の要素が二次元平面において隣接する第２の要素に対して位置する角度は、２つ目の第２の要素が二次元平面において隣接する第２の要素に対して位置する角度とは異なる。例えば、円Ｃ２内の領域では、第２の要素Ｅ２ｂが隣接する第２の要素Ｅ２ｃに対して位置する角度は、第２の要素Ｅ２ｃが隣接する第２の要素Ｅ２ｄに対して位置する角度とは異なる。同様に、第２の要素Ｅ２ｂが隣接する第２の要素Ｅ２ｃに対して位置する角度は、第２の要素Ｅ２ｈが隣接する第２の要素Ｅ２ｉに対して位置する角度とは異なる。
【0137】
なお、本実施形態では、二次元平面において縦方向に連続的に延在する長方形の要素の集合および二次元平面において縦方向に断続的に延在する記号の要素の集合を含む基準画像を採用しているが、基準画像は、そのような構成に限定されない。例えば、図示しないが、基準画像は、二次元平面において横方向に連続的に延在する長方形の要素の集合および二次元平面において横方向に断続的に延在する記号の要素の集合を含んでもよい。この場合、記号の要素の集合は、横方向にランダムな間隔に配置される。
【0138】
【0139】
第３の実施形態で使用する基準画像ＲＩついても、対応するパターン光ＰＬが撮影対象に投影され、撮影画像ＤＩが生成される。第３の実施形態に従って撮影画像ＤＩを処理する方法は、第１の実施形態および第２の実施形態で説明したいずれかの方式と同様であるが、画像内の列のみを識別すること、および隣接するノードの間の相対角度に基づいてノードを分類する点で、第１の実施形態および第２の実施形態に係る処理とは異なる。
【0140】
上述したように、第３の実施形態で使用する基準画像ＲＩは、第１の要素および第２の要素のいずれもが二次元平面において縦方向に延在するので、撮影画像ＤＩでは、画像内の列のみが識別される。列は、例えば、第１の要素の端または第２の要素（記号）をなぞり、二次元平面において縦方向に線形になるラインを描くことによって識別される。これらの処理は、図６（ｂ）および図６（ｃ）について説明した方式と同様である。
【0141】
また、ノードの識別については、例えば、図１２において符号ＮＲ１が付された矩形領域に示されるように、第１の要素と第２の要素との間の一定の領域がノードとして識別される。つまり、後述する分類されたラベル（隣接するノードに対する相対角度（特徴ベクトル））に基づいて、一定の領域に分割される。図１２におけるノード領域ＮＲ１は、第１の要素Ｅ１ｂ上の、第２の要素Ｅ２ｆに隣接する一定の領域として分割され、領域ＮＲ１がノードとして識別される。
【0142】
同様に、ノード領域ＮＲ２は、第１の要素Ｅ１ｂ上の、第２の要素Ｅ２ｉに隣接する一定の領域として分割され、領域ＮＲ２がノードとして識別される。ノード領域ＮＲ３は、第１の要素Ｅ１ｃ上の、第２の要素Ｅ２ｇに隣接する一定の領域として分割され、領域ＮＲ３がノードとして識別される。分割された領域は、各々がノードを含む複数の格子を構成する。このようなノード領域も、上述したＵ－Ｎｅｔが学習することによって識別されてもよい。図１２に示すノード領域は例示にすぎず、予め定められたルールに従って第１の要素と第２の要素との間の一定の領域がノードとして識別されてもよい。
【0143】
第３の実施形態で使用する基準画像ＲＩに対応するパターン光ＰＬが投影された撮影対象から生成された撮影画像ＤＩも、上述したように第１の要素と第２の要素との間の一定の領域がノードとして識別される。第３の実施形態では、ノードを識別する際に、行を識別する必要がないので、Ｕ－Ｎｅｔなどによる演算処理を簡易化することができる。
【0144】
第３の実施形態では、第１の実施形態における処理のように、列と行との交点によりノードを識別しない。図１２のパターンを投影して撮影を行いつつ、撮影画像から、画素ごとに対応関係を計算することによって計測精度の精度を高めることができる。このために、Ｕ－Ｎｅｔにより撮影画像から格子の位相、つまり格子を基準とした相対位置を各画素で抽出するように学習してもよい。図１３に、撮影画像から格子の位相（繰り返す格子と各画素の相対位置関係を、０以上２π未満の回転角度として表現したもの）を推定した例を示す。
【0145】
図１３は、撮影画像の格子情報について、格子と各画素の相対位置関係を回転角度として表現する例を示す。この回転角度は格子の繰り返しと連動しており、一つの格子ごとに１回転する。つまり０から２πまで上昇し、その後０に戻る。図１３（ａ）は、図１２のパターンを投影した画像である。図１３（ｂ）は、上述したように、Ｕ－Ｎｅｔで格子の区切りの位置で回転角度が０になるような余弦信号を推定した画像である。図１３（ｂ）および図１３（ｃ）は、図１３（ａ）に示した撮影画像から、Ｕ－Ｎｅｔで、格子の区切りの位置で回転角度が４π／５になるような余弦信号を推定した画像を示す。図１３（ｄ）は、図１３（ｂ）および図１３（ｃ）を含む位相推定結果から、格子の位相情報を画素ごとに計算した結果を示す。図１３（ｅ）は、図１３は、格子の縦方向の位相情報を画素ごとに計算した結果を示す。
【0146】
図１３に示した撮影画像の位相情報（回転角度）の推定は例示にすぎず、Ｕ－Ｎｅｔによる格子の位相情報の検出を、余弦信号の推定を経ずに直接検出することも可能である。ただし、Ｕ－Ｎｅｔによって位相情報を直接検出するよりも、余弦信号の検出を学習するほうが、位相情報の推定精度が高くなる。また、ガボールフィルタ等を利用することもできる。上述したように、格子の位相情報が、Ｕ－Ｎｅｔ以外のニューラルネットワークまたは他の画像処理によって識別されてもよい。
【0147】
本実施形態では、グラフのノードは、図１３に示した画素ごとの位相情報を、位相の０度の部分を領域の区切りとして領域分割する（つまり、画素ごとの相対位置および撮影画像上の格子情報に基づいて撮影画像を複数の領域に分割する）ことによって識別される。また、ノードの隣接関係を、領域の隣接関係から抽出する。ノードが識別されると、制御装置１１は、Ｕ－Ｎｅｔなどを使用して、各々のノードに対し、ノード周辺の画像特徴から、ノードを分類し、ラベルを付加する（分類値を付与する）。ノードが識別および分類されると、制御装置１１は、隣接するノードとの隣接関係に基づいて、ノード同士を接続するエッジを付与する。
【0148】
なお、ノードを領域分割によって抽出する際、位相情報以外の情報に基づいてもよい。例えば、Ｕ－Ｎｅｔによって格子から一定の範囲内をノードとして認識し、そのノードを中心としてドロネー分割などの技術を使用して領域分割を行ってもよい。さらに、位相情報に基づく領域分割と、ノードを中心とした領域分割を組み合わせてもよい。また、ノード同士の接続は、隣接関係以外に近接関係に基づいてもよい。その場合、出力されるグラフは格子グラフではなく一般のグラフとなる。図１４に近接関係による接続の例を示す。
【0149】
本実施形態では、各ノードについて、そのノードに付随する２つの点の相対位置に基づいて、２つ点が二次元平面において水平または略水平にあること、２つの点のうち左に位置する点が右に位置する点に対し二次元平面において正の角度の位置にあり、その角度が予め定められた角度を上回ること、２つの点のうち左に位置する点が右に位置する点に対し二次元平面において正の角度の位置にあり、その角度が予め定められた角度以下であること、２つの点のうち左に位置する点が右に位置する点に対し二次元平面において負の角度の位置にあり、その角度が予め定められた角度以下であること、２つの点のうち左に位置する点が右に位置するノードに対し二次元平面において負の角度の位置にあり、その角度が予め定められた角度を上回ること、の５個のクラスに分類される。
【0150】
正の角度とは、隣接する２つの点のうち左に位置する点が右に位置する点よりも二次元平面において低い位置にある角度を意味する。負の角度とは、隣接する２つの点のうち左に位置する点が右に位置する点よりも二次元平面において高い位置にある角度を意味する。
【0151】
なお、実際には、あるノードについて、付随する２点の相対位置を認識することができないことがあるので、このようなノードをｕｎｋｎｏｗｎクラスとして分類してもよい。この場合、ノードは、６個のクラスに分類される。本実施形態では、ノードを６個のクラスに分類する。図１５は、ラベル付けされたノードを示す。
【0152】
２つの点のうち左に位置する点が右に位置する点に対し二次元平面において正の角度の位置にあり、その角度が予め定められた角度を上回ることとは、例えば、左に位置する点が右に位置する点よりも二次元平面において低い位置にあり、２つの点の二次元平面における高さの差が、予め定められた閾値を上回ることに等しい。このように分類される点は、緑（Ｇ）ラベルが付加され、図１５では、黒塗りの円がＧラベルを表す。図１５に示した例では、点Ｎ１が点Ｎ６よりも二次元平面において低い位置にあり、点Ｎ１の点Ｎ６に対する角度が閾値を上回ると仮定して、Ｇラベルが付加される。
【0153】
２つの点のうち左に位置する点が右に位置する点に対し二次元平面において正の角度の位置にあり、その角度が予め定められた角度以下であることとは、例えば、左に位置する点が右に位置する点よりも二次元平面において低い位置にあり、２つの点の二次元平面における高さの差が、予め定められた閾値以下であることに等しい。このように分類される点は、青（Ｂ）ラベルが付加され、図１５では、網掛けの円がＢラベルを表す。図１５に示した例では、点Ｎ２が点Ｎ７よりも二次元平面において低い位置にあり、点Ｎ２の点Ｎ７に対する角度が閾値以下であると仮定して、Ｂラベルが付加される。
【0154】
２つの点が二次元平面において水平または略水平にあることとは、例えば、２つの点の二次元平面における高さの差が、予め定められた閾値範囲にあることに等しい。このように分類される点は、黄（Ｙ）ラベルが付加され、図１５では、網掛け（Ｂラベルよりも明るい）の円がＹラベルを表す。図１５に示した例では、点Ｎ３が点Ｎ８と水平または略水平の位置にあるので、Ｙラベルが付加される。
【0155】
２つの点のうち左に位置する点が右に位置する点に対し二次元平面において負の角度の位置にあり、その角度が予め定められた角度以下であることとは、例えば、左に位置する点が右に位置する点よりも二次元平面において高い位置にあり、２つの点の二次元平面における高さの差が、予め定められた閾値以下であることに等しい。このように分類される点は、紫（Ｐ）ラベルが付加され、図１５では、網掛け（Ｙラベルよりも明るい）の円がＰラベルを表す。図１５に示した例では、点Ｎ４が点Ｎ９よりも二次元平面において高い位置にあり、点Ｎ４の点Ｎ９に対する角度が閾値以下であると仮定して、Ｐラベルが付加される。
【0156】
２つの点のうち左に位置する点が右に位置する点に対し二次元平面において負の角度の位置にあり、その角度が予め定められた角度を上回ることとは、例えば、左に位置する点が右に位置する点よりも二次元平面において高い位置にあり、２つの点の二次元平面における高さの差が、予め定められた閾値を上回ることに等しい。このように分類される点は、赤（Ｒ）ラベルが付加され、図１５では、白抜きの円がＲラベルを表す。図１５に示した例では、点Ｎ５が点Ｎ１０よりも二次元平面において高い位置にあり、点Ｎ５の点Ｎ１０に対する角度が閾値を上回ると仮定して、Ｒラベルが付加される。
【0157】
第３の実施形態では、実施形態１と同様にノードごとに対応を求めた後、ノードごとの対応情報と、Ｕ－Ｎｅｔで求めた位相情報を組み合わせて、画素ごとの対応情報を求める。具体的には、画素に近接するノードごとの対応情報を整数値で、位相情報を０以上１以下の小数値とし、足し合わせることで、画素ごとに、対応情報を実数精度で求めることができる。
【0158】
本実施形態では、横方向において隣接する点の間の相対角度に基づいてノードを５個のクラスに分類する例を示したが、分類するクラスの数は５に限定されない。例えば、基準画像ＲＩにおいて、第１の要素および第２の要素のいずれもが、断続的に延在する要素を含む場合、縦方向および横方向に隣接する点の間の相対角度に基づいて更になるクラスに分類されてもよい。なお、ラベルを上述した色で表すことは例示にすぎず、相対位置を示す任意の記号などがラベルとして付加されてもよい。
【0159】
第３の実施形態で示した基準画像ＲＩについても、対応するパターン光ＰＬが撮影対象に投影され、パターンの形状が歪んでも、撮像画像ＤＩにおいて隣接ノードとの関係が維持される。よって、その関係に基づいて、ＧＣＮにより元のパターン内のノードと対応付ける精度を高めることができる。
【0160】
なお、第の実施形態においても、ＧＣＮからの出力およびノードに付随する点同士の相対角度（相対角度に基づいて付与された分類値）に基づいたノード間の対応付けが行われてもよい（ＧＣＮもしくは他のニューラルネットワーク、またはニューラルネットワークを使用しない画像処理（例えば、空間フィルタリングおよび畳み込み演算など）によって）。
【0161】
なお、図３、図４、および１２に示した基準画像ＲＩに代えて、パターンを正方形の格子を含むパターンによって構成してもよい。このようなパターン自体は、上述した相対位置および相対角度における相違を表すことはできないが、格子内に、相対位置および相対角度を表す任意の記号を配置することによって、上述した相違を表してもよい。つまり、基準画像ＲＩは、第１の要素または第２の要素のいずれかにおいて、上述した相対位置および／または相対角度における相違を表す。
【0162】
上記実施形態で説明したハードウェアの構成要素は例示的なものにすぎず、その他の構成も可能であることに留意されたい。また、上記実施形態で説明した処理の順序は、必ずしも説明した順序で実行される必要がなく、任意の順序で実行されてもよい。更に、本発明の基本的な概念から逸脱することなく、追加のステップが新たに加えられてもよい。
【0163】
また、本発明の一実施形態に係る画像分析方法は、コンピュータデバイス１の制御装置１１（プロセッサ）によって実行されるコンピュータプログラムによって実装されるが、当該コンピュータプログラムは、非一時的記憶媒体に記憶されてもよい。非一時的記憶媒体の例は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリ装置、内蔵ハードディスクおよび取外可能ディスク装置などの磁気媒体、光磁気媒体、ならびにＣＤ－ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）などの光学媒体などを含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】