特許 7522435 コード復号装置、コード復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-17

(45)【発行日】2024-07-25

(54)【発明の名称】コード復号装置、コード復号方法及びプログラム

(51)【国際特許分類】

   G06K 7/14 20060101AFI20240718BHJP

   G06T 7/60 20170101ALI20240718BHJP

【ＦＩ】

G06K7/14 082

G06T7/60 300A

G06K7/14 017

【請求項の数】 9

(21)【出願番号】P 2020088825

(22)【出願日】2020-05-21

(65)【公開番号】P2021184141

(43)【公開日】2021-12-02

【審査請求日】2023-05-16

(73)【特許権者】

【識別番号】504258527

【氏名又は名称】国立大学法人 鹿児島大学

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100162259

【弁理士】

【氏名又は名称】末富 孝典

(74)【代理人】

【識別番号】100168114

【弁理士】

【氏名又は名称】山中 生太

(74)【代理人】

【識別番号】100146916

【弁理士】

【氏名又は名称】廣石 雅紀

(72)【発明者】

【氏名】小野 智司

(72)【発明者】

【氏名】神薗 誠

(72)【発明者】

【氏名】鞍津輪 一希

【審査官】後藤 彰

(56)【参考文献】

【文献】特開２００４－３６２０５３（ＪＰ，Ａ）

【文献】特開２０１９－０６７２７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｋ ７／１４

Ｇ０６Ｔ ７／６０

Ｇ０６Ｋ ７／１０

(57)【特許請求の範囲】

【請求項1】

互いに輝度が異なる第１の領域と第２の領域のいずれかで構成されるセルの組み合わせでコード情報が符号化された２次元コードの画像から、前記セルの輪郭線の断片を検出する輪郭線検出部と、
前記輪郭線検出部で検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片の端部同士をその断片が横方向に並ぶ順番に従って縦方向に接続して途切れのない縦の輪郭線を生成したときに、途切れのない縦の輪郭線を構成する断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士をその断片が縦方向に並ぶ順番に従って横方向に接続して途切れのない横の輪郭線を生成したときに、途切れのない横の輪郭線を構成する断片の最適な組み合わせを探索し、探索された前記輪郭線の断片の最適な組み合わせに基づいて、前記２次元コードにおける途切れのない前記セルの輪郭線の位置情報を推定する輪郭線推定部と、
前記輪郭線推定部で推定された途切れのない前記セルの輪郭線の位置情報に基づいて、前記セルの前記２次元コード内の位置情報を推定し、前記セルの位置情報の推定結果に基づいて前記コード情報を復号化する復号部と、
を備えるコード復号装置。

【請求項2】

前記輪郭線推定部は、
前記輪郭線検出部で検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片に対して、その断片が横方向に並ぶ順番に従って前記２次元コード内の位置を表す識別番号を付与するとともに、横方向に延びる前記輪郭線の断片に対して、その断片が縦方向に並ぶ順番に従って前記２次元コード内の位置を表す識別番号を付与し、
付与したそれぞれの識別番号に基づいて、縦方向に延びる前記輪郭線の断片の端部同士を縦方向に接続して縦の前記輪郭線の断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士を横方向に接続して横の前記輪郭線の断片の最適な組み合わせを探索する、
請求項１に記載のコード復号装置。

【請求項3】

前記輪郭線推定部は、
同じ識別番号を有する前記輪郭線の断片の端部同士を接続線で接続した場合において、前記接続線と前記輪郭線の断片とのなす角度が大きくなるにつれて大きくなる第１の関数と、前記接続線同士の交叉回数が増えるにつれて大きくなる第２の関数と、隣接する前記輪郭線の断片の間隔が大きくなるにつれて大きくなる第３の関数とのいずれか、又は、前記第１の関数、前記第２の関数及び前記第３の関数のうちの少なくとも２つの和のいずれかを含む目的関数を用いて、前記輪郭線の断片に付与される識別番号の組み合わせの中から、前記目的関数の値が最も小さくなる識別番号の組み合わせを探索する、
請求項２に記載のコード復号装置。

【請求項4】

前記目的関数において、前記第１の関数と、前記第２の関数と、前記第３の関数とには、それぞれ異なる重みが付与されている、
請求項３に記載のコード復号装置。

【請求項5】

前記輪郭線検出部は、
機械学習を行って、前記２次元コードの画像から、両隣の前記セルの輝度が等しいために不可視の前記セルの輪郭線の断片を検出する機械学習部を備える、
請求項１から４のいずれか一項に記載のコード復号装置。

【請求項6】

前記機械学習部は、
多層パーセプトロン、畳み込みニューラルネットワーク、又は前記２次元コードの画像の各画素をノードとするグラフ構造で表現したマルコフ確率場として最適化を行う最適化器である、
請求項５に記載のコード復号装置。

【請求項7】

前記畳み込みニューラルネットワークは、全結合層を持たず全ての層が畳み込み層である全層畳み込みネットワークである、
請求項６に記載のコード復号装置。

【請求項8】

情報処理装置によって実行されるコード復号方法であって、
互いに輝度が異なる第１の領域と第２の領域のいずれかで構成されるセルの組み合わせでコード情報が符号化された２次元コードの画像から、前記セルの輪郭線の断片を検出する輪郭線検出ステップと、
前記輪郭線検出ステップで検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片の端部同士をその断片の横方向の順番に従って縦方向に接続して途切れのない縦の輪郭線を生成したときに、途切れのない縦の輪郭線を構成する断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士をその断片の縦方向の順番に従って横方向に接続して途切れのない横の輪郭線を生成したときに、途切れのない横の輪郭線を構成する断片の最適な組み合わせを探索し、探索された前記輪郭線の断片の最適な組み合わせに基づいて、前記２次元コードにおける途切れのない前記セルの輪郭線の位置情報を推定する輪郭線推定ステップと、
前記輪郭線推定ステップで推定された途切れのない前記セルの輪郭線の位置情報に基づいて、前記セルの前記２次元コード内の位置情報を推定し、前記セルの位置情報の推定結果に基づいて前記コード情報を復号化する復号ステップと、
を含むコード復号方法。

【請求項9】

コンピュータを、
互いに輝度が異なる第１の領域と第２の領域のいずれかで構成されるセルの組み合わせでコード情報が符号化された２次元コードの画像から、前記セルの輪郭線の断片を検出する輪郭線検出部、
前記輪郭線検出部で検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片の端部同士をその断片の横方向の順番に従って縦方向に接続して途切れのない縦の輪郭線を生成したときに、途切れのない縦の輪郭線を構成する断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士をその断片の縦方向の順番に従って横方向に接続して途切れのない横の輪郭線を生成したときに、途切れのない横の輪郭線を構成する断片の最適な組み合わせを探索し、探索された前記輪郭線の断片の最適な組み合わせに基づいて、前記２次元コードにおける途切れのない前記セルの輪郭線の位置情報を推定する輪郭線推定部、
前記輪郭線推定部で推定された途切れのない前記セルの輪郭線の位置情報に基づいて、前記セルの前記２次元コード内の位置情報を推定し、前記セルの位置情報の推定結果に基づいて前記コード情報を復号化する復号部、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コード復号装置、コード復号方法及びプログラムに関する。

【背景技術】

【0002】

交通機関の搭乗券、決済、認証などにおいて、シート上に印刷された２次元コードが用いられる場面が増えている。２次元コードの画像から、コード情報を復号化する際には、まず、その中に埋め込まれた位置検出用コードが検出される。続いて、検出された位置検出用コードに従って、サンプリンググリッドとも呼ばれる２次元格子が２次元コードの画像上に規定される。この場合、２次元格子の交点は２次元コードを構成する各セル（１ビットの情報を示す単位領域）の位置に合致する。したがって、サンプリング点の明暗情報から、コード情報を検出してコード情報を復号化することができる。

【0003】

２次元コードが紙などのシート上に印刷されている場合、シートが折れたり皺が寄ったりすると、印刷された２次元コードも複雑に歪む。この場合、サンプリング点と実際のセルの位置とにずれが生じ、明暗情報が間違って検出され、コード情報を正確に復号化できない場合がある。

【0004】

このような状況に対応すべく、２次元コードの様々な検出方法が提案されている。例えば、２次元コードの包絡線、すなわち２次元コード全体の外形から形成した補助線に基づいてコード情報を検出する技術が開示されている（例えば、特許文献１参照）。この他、２次元コードに予め補助線を埋め込んで、復号化の際に補助線を検出し、検出した補助線に沿ってコード情報を検出して、復号を行う技術が開示されている（例えば、非特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００４－３６２０５３号公報

【非特許文献】

【0006】

【文献】K.Kamizuru, Y.Kawakami, H.Kawasaki, S.Ono, “Belief-propagation-based robust decoding for two-dimensional barcodes to overcome distortion and occlusion and its extension to multi-view decoding”, ICIP, pp.2359～2363,2015.

【文献】K.Kamizuru, K.Nakamura, H.Kawasaki, S.Ono, “A belief-propagation-based decoding method for two-dimensional barcodes with monochrome auxiliary lines robust against non-uniform geometric distortion”, QCAV, 2017.

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１に開示された装置によれば、２次元コードの緩やかな歪みに対して高速かつ正確なコード情報の検出が可能となる。しかしながら、この装置では、２次元コードに、図１４（Ａ）の点線で囲まれた部分に示すような不均一な凸状又は凹状な歪み（複雑、局所的な歪み）があったり、図１４（Ｂ）の点線で囲まれた部分に示すような遮蔽領域のある歪みがあったりする場合には、コード情報を正確に検出するのが困難になる。

【0008】

上記非特許文献１、２に開示された装置によれば、２次元コードに複雑な歪み、局所的な歪みおよび遮蔽領域のある歪みにも対応することが可能である。２次元コードの補助線の位置から、明暗が同じ、すなわち同色のセル同士の間の境界線の正確な位置を把握することができるので、複雑な局所的な歪み、遮蔽領域のある歪みをある程度把握し易くすることができるためである。しかしながら、これらの装置では、２次元コード内に補助線を予め設けておく必要があり、補助線のない一般的な２次元コードには対応することができない。

【0009】

本発明は、上記実情の下になされたものであり、補助線が設けられていない２次元コードの画像に複雑な歪み、局所的な歪みおよび遮蔽領域のある歪みがあっても、コード情報を正確に検出することができるコード復号装置、コード復号方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明の第１の観点に係るコード復号装置は、
互いに輝度が異なる第１の領域と第２の領域のいずれかで構成されるセルの組み合わせでコード情報が符号化された２次元コードの画像から、前記セルの輪郭線の断片を検出する輪郭線検出部と、
前記輪郭線検出部で検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片の端部同士をその断片が横方向に並ぶ順番に従って縦方向に接続して途切れのない縦の輪郭線を生成したときに、途切れのない縦の輪郭線を構成する断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士をその断片が縦方向に並ぶ順番に従って横方向に接続して途切れのない横の輪郭線を生成したときに、途切れのない横の輪郭線を構成する断片の最適な組み合わせを探索し、探索された前記輪郭線の断片の最適な組み合わせに基づいて、前記２次元コードにおける途切れのない前記セルの輪郭線の位置情報を推定する輪郭線推定部と、
前記輪郭線推定部で推定された途切れのない前記セルの輪郭線の位置情報に基づいて、前記セルの前記２次元コード内の位置情報を推定し、前記セルの位置情報の推定結果に基づいて前記コード情報を復号化する復号部と、
を備える。

【0011】

この場合、前記輪郭線推定部は、
前記輪郭線検出部で検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片に対して、その断片が横方向に並ぶ順番に従って前記２次元コード内の位置を表す識別番号を付与するとともに、横方向に延びる前記輪郭線の断片に対して、その断片が縦方向に並ぶ順番に従って前記２次元コード内の位置を表す識別番号を付与し、
付与したそれぞれの識別番号に基づいて、縦方向に延びる前記輪郭線の断片の端部同士を縦方向に接続して縦の前記輪郭線の断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士を横方向に接続して横の前記輪郭線の断片の最適な組み合わせを探索する、
こととしてもよい。
これにより、輝度が等しい両隣の前記セル同士の間の前記輪郭線を抽出することが可能となる。

【0012】

また、前記輪郭線推定部は、
同じ識別番号を有する前記輪郭線の断片の端部同士を接続線で接続した場合において、前記接続線と前記輪郭線の断片とのなす角度が大きくなるにつれて大きくなる第１の関数と、前記接続線同士の交叉回数が増えるにつれて大きくなる第２の関数と、隣接する前記輪郭線の断片の間隔が大きくなるにつれて大きくなる第３の関数とのいずれか、又は、前記第１の関数、前記第２の関数及び前記第３の関数のうちの少なくとも２つの和のいずれかを含む目的関数を用いて、前記輪郭線の断片に付与される識別番号の組み合わせの中から、前記目的関数の値が最も小さくなる識別番号の組み合わせを探索する、
こととしてもよい。
前記目的関数を用いて前記輪郭線の断片に付与される最適な前記識別番号の組み合わせを探索することにより、全ての前記セルの輪郭線を見つけ出すことができるとともに、全ての前記セルの位置を特定することができ、前記２次元コードを復元できるようになる。

【0013】

前記目的関数において、前記第１の関数と、前記第２の関数と、前記第３の関数とには、それぞれ異なる重みが付与されている、
こととしてもよい。

【0014】

前記輪郭線検出部は、
機械学習を行って、前記２次元コードの画像から、両隣の前記セルの輝度が等しいために不可視の前記セルの輪郭線の断片を検出する機械学習部を備える、
こととしてもよい。

【0015】

前記機械学習部は、
多層パーセプトロン、畳み込みニューラルネットワーク、又は前記２次元コードの画像の各画素をノードとするグラフ構造で表現したマルコフ確率場として最適化を行う最適化器である、
こととしてもよい。前記多層パーセプトロンや前記畳み込みニューラルネットワークは、前記２次元コードの画像の各画素に対して前記輪郭線であるか否かを識別するモデルであり、移動窓方式により画像の全画素について識別を行う。また、前記マルコフ確率場は、画像の領域分割に利用される一般的なモデルと同一である。

【0016】

前記畳み込みニューラルネットワークは、全結合層を持たず全ての層が畳み込み層である全層畳み込みネットワークである、
こととしてもよい。

【0017】

本発明の第２の観点に係るコード復号方法は、
情報処理装置によって実行されるコード復号方法であって、
互いに輝度が異なる第１の領域と第２の領域のいずれかで構成されるセルの組み合わせでコード情報が符号化された２次元コードの画像から、前記セルの輪郭線の断片を検出する輪郭線検出ステップと、
前記輪郭線検出ステップで検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片の端部同士をその断片の横方向の順番に従って縦方向に接続して途切れのない縦の輪郭線を生成したときに、途切れのない縦の輪郭線を構成する断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士をその断片の縦方向の順番に従って横方向に接続して途切れのない横の輪郭線を生成したときに、途切れのない横の輪郭線を構成する断片の最適な組み合わせを探索し、探索された前記輪郭線の断片の最適な組み合わせに基づいて、前記２次元コードにおける途切れのない前記セルの輪郭線の位置情報を推定する輪郭線推定ステップと、
前記輪郭線推定ステップで推定された途切れのない前記セルの輪郭線の位置情報に基づいて、前記セルの前記２次元コード内の位置情報を推定し、前記セルの位置情報の推定結果に基づいて前記コード情報を復号化する復号ステップと、
を含む。

【0018】

本発明の第３の観点に係るプログラムは、
コンピュータを、
互いに輝度が異なる第１の領域と第２の領域のいずれかで構成されるセルの組み合わせでコード情報が符号化された２次元コードの画像から、前記セルの輪郭線の断片を検出する輪郭線検出部、
前記輪郭線検出部で検出された前記輪郭線の断片のうち、縦方向に延びる前記輪郭線の断片の端部同士をその断片の横方向の順番に従って縦方向に接続して途切れのない縦の輪郭線を生成したときに、途切れのない縦の輪郭線を構成する断片の最適な組み合わせを探索するとともに、横方向に延びる前記輪郭線の断片の端部同士をその断片の縦方向の順番に従って横方向に接続して途切れのない横の輪郭線を生成したときに、途切れのない横の輪郭線を構成する断片の最適な組み合わせを探索し、探索された前記輪郭線の断片の最適な組み合わせに基づいて、前記２次元コードにおける途切れのない前記セルの輪郭線の位置情報を推定する輪郭線推定部、
前記輪郭線推定部で推定された途切れのない前記セルの輪郭線の位置情報に基づいて、前記セルの前記２次元コード内の位置情報を推定し、前記セルの位置情報の推定結果に基づいて前記コード情報を復号化する復号部、
として機能させる。

【発明の効果】

【0019】

本発明によれば、互いに輝度が異なる第１の領域と第２の領域のいずれかで構成されるセルの組み合わせでコード情報が符号化された２次元コードの画像から、セルの輪郭線を検出するだけでなく、輪郭線の２次元コード内の位置情報を推定する。これにより、検出された輪郭線と推定された輪郭線の２次元コード内の位置情報とに基づいて、セルの２次元コード内の位置情報を正確に推定することができる。このため、補助線が設けられていない２次元コードの画像に複雑な歪み、局所的な歪みおよび遮蔽領域のある歪みがあっても、コード情報を正確に検出することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態に係るコード復号装置の構成を示すブロック図である。

【図2】２次元コードの画像に推定された輪郭線を重ねた模式図である。

【図3】（Ａ）は、２次元コードの一部を示す図である。（Ｂ）は、（Ａ）の２次元コードの一部に対応する輪郭線を示す図である。

【図4】機械学習部における畳み込みニューラルネットワークの構造を示す模式図である。

【図5】（Ａ）は、訓練データとして用いられる２次元コードの画像の一例を示す図である。（Ｂ）は、（Ａ）の画像から正確に作成された輪郭線の画像を示す図である。

【図6】（Ａ）は、エッジ検出により検出された縦の輪郭線の一例を示す図である。（Ｂ）は、輪郭線検出部で検出された縦の輪郭線の一例を示す図である。（Ｃ）は、輪郭線推定部で推定された縦の輪郭線の全体の一例を示す図である。

【図7】（Ａ）、（Ｂ）及び（Ｃ）は、目的関数を構成する各関数の意味を示す図である。

【図8】セルを判定する様子を示す模式図である。

【図9】図１のコード復号装置のハードウエア構成を示すブロック図である。

【図10】本発明の実施の形態に係るコード復号装置の動作を示すフローチャートである。

【図11】輪郭線推定部の処理を示すフローチャートである。

【図12】（Ａ）は、縦の輪郭線の一例を示す図である。（Ｂ）は、横の輪郭線の一例を示す図である。

【図13】最終的に形成される輪郭線の一例を示す図である。

【図14】（Ａ）及び（Ｂ）は、２次元コードの歪みの一例を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施の形態について図面を参照して詳細に説明する。全図において、同一又は相当する構成要素には、同一の符号が付されている。

【0022】

実施の形態１
まず、本発明の実施の形態１について説明する。図１に示すように、２次元コード２は、紙等のシート３に印刷されたものであり、シート３の歪みに応じて歪んでいる。カメラ５は、この２次元コード２を撮像する。本実施の形態に係るコード復号装置１は、カメラ５で撮像された２次元コード２の画像Ｉｍ１に基づいて、コード情報を検出し、そのコード情報を復号化する。

【0023】

図２に示すように、２次元コード２は、矩形状のセル４がマトリクス状に配列されることにより構成されている。セル４は、第１の領域としての黒領域４Ａと、第２の領域としての白領域４Ｂのいずれかで構成される、１ビットの情報を示す単位領域である。セル４は、モジュールとも呼ばれる。黒領域４Ａと白領域４Ｂは、互いに輝度が異なる。黒領域４Ａがコード情報の「１」を示し、白領域４Ｂがコード情報の「０」を示しているが、この逆であってもよい。２次元コード２は、セル４毎に「１」か「０」かを示す明暗情報で符号化されている。

【0024】

図１に戻り、セル４は矩形状であるため、その外形に４辺の輪郭線６が形成されている。隣接するセル４同士では、その境界線が輪郭線６となる。この輪郭線６は、モジュールエッジともいう。

【0025】

セル４は、マトリクス状に配列されているため、シート３に印刷された２次元コード２に歪みがない場合には、セル４の輪郭線６は、図２に示すように、縦方向に延びる直線と横方向に延びる直線とになる。縦方向に延びる輪郭線６を輪郭線６Ｖとし、横方向に延びる輪郭線６を輪郭線６Ｈとする。なお、輪郭線６は、２次元コード２の上に実際に形成されてはいない。図２では、説明のために、２次元コード２の上に、輪郭線６を重ねて示しているだけである。２次元コード２の歪みにより、輪郭線６（６Ｖ，６Ｈ）も歪んでいる（図３（Ａ）及び図３（Ｂ）参照）。

【0026】

本実施の形態に係るコード復号装置１は、セル４の輪郭線６（６Ｖ，６Ｈ）を検出する。そして、コード復号装置１は、縦の輪郭線６Ｖと横の輪郭線６Ｈとで仕切られる領域を抽出し、その領域の輝度が黒領域４Ａのものであるか白領域４Ｂのものであるかを判定する。さらに、コード復号装置１は、その領域が「１」を示すか「０」を示すかを判定することにより、コード情報を読み出して、復号化する。

【0027】

なお、セル４は、黒領域４Ａか白領域４Ｂかのいずれかであるため、図３（Ａ）に示すように、黒領域４Ａ同士、白領域４Ｂ同士が隣接する場合もある。図３（Ｂ）に示すように、これら同輝度、同色のセル４の間では輪郭線６（６ｖ，６ｈ）が明示されず、不可視となる。このようなこともあって、検出される輪郭線６（６ｖ，６ｈ）は、途中で途切れるようになる。そこで、本実施の形態に係るコード復号装置１は、黒領域４Ａ同士、白領域４Ｂ同士を仕切る輪郭線６をも推定する。なお、以下では、このようにして推定された輪郭線６を、輪郭線６（６ｖ’，６ｈ’）とする。また、輪郭線６（６ｖ，６ｈ）と、輪郭線６（６ｖ’，６ｈ’）とを組み合わせた輪郭線６を、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）と表現する。

【0028】

図１に戻り、本実施の形態に係るコード復号装置１は、輪郭線検出部１０と、輪郭線推定部１１と、復号部１２と、を備える。輪郭線検出部１０は、カメラ５で撮像された２次元コード２の画像Ｉｍ１から、セル４の輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）を検出する。輪郭線推定部１１は、輪郭線検出部１０で検出された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の２次元コード２内の位置情報を推定する。輪郭線推定部１１での位置情報の推定により追加生成される輪郭線６を、輪郭線６（６ｖ”，６ｈ”）とする。復号部１２は、輪郭線検出部１０で検出された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）と、輪郭線推定部１１で推定された輪郭線６の位置情報とに基づいて、セル４の２次元コード２内の位置情報を推定し、セル４の位置情報の推定結果に基づいてコード情報を復号化する。ここでは、全てのセル４の２次元コード２内での相対位置が認識され、各セル４の明暗を判定することで復号化が行われる。以下、コード復号装置１の各構成要素の詳細について説明する。

【0029】

［輪郭線検出部］
輪郭線検出部１０の詳細について説明する。輪郭線検出部１０は、機械学習を行って、２次元コード２の画像Ｉｍ１から、輪郭線６（６ｖ，６ｈ）の他、両隣のセル４の輝度が等しいために不可視のセル４の輪郭線６（６ｖ’，６ｈ’）を推定し、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）を出力する機械学習部２１を有している。

【0030】

機械学習部２１は、例えば、多層パーセプトロン又は畳み込みニューラルネットワーク，全層畳み込みネットワークとすることができる。多層パーセプトロンや畳み込みニューラルネットワークは、画素の各画素に対して輪郭線であるか否かを識別するモデルであり、移動窓方式により画像の全画素について識別を行う。また、この機械学習部２１を、２次元コード２の画像Ｉｍ１の各画素をノードとするグラフ構造で表現したマルコフ確率場として最適化を行う最適化器とすることができる。マルコフ確率場は、画像の領域分割に利用される一般的なモデルと同一とすることができる。

【0031】

スキップ結合を含み、全結合層を持たず全ての層が畳み込み層である全層畳み込みネットワークであるＵ－Ｎｅｔを用いた例を図４に示す。Ｕ－Ｎｅｔは、エンコーダ・デコーダ構造にスキップ構造を加えたネットワークである。図４に示すように、本実施の形態に係るＵ－Ｎｅｔでは、５層の畳み込み層と、同じく５層の逆畳み込み層とで構成される。しかしながら、畳み込み層及び逆畳み込み層は、５層には限られない。

【0032】

Ｕ－Ｎｅｔでは、エンコーダ時の特徴マップをデコーダ時にも利用するスキップ結合（スキップ接続）が導入されている。Ｕ－Ｎｅｔは、エンコーダとデコーダとが対となる構造となっている。Ｕ－Ｎｅｔでは、対応するエンコーダとデコーダの畳み込み層で得られる特徴マップは、同じサイズとなるため、そのまま連結し、スキップ結合を実現することができる。このスキップ結合の採用により、セグメンテーションの結果が粗くなるのを防止することが可能となる。

【0033】

言い換えれば、Ｕ－Ｎｅｔは、画素単位の領域分割を行う全層畳み込みニューラルネットワークであり、スキップ結合により詳細な領域分割が可能になる。図４では、各層のデータサイズと、特徴マップの数が示されている。例えば、入力画像のサイズは５１２×５１２ピクセルであり、その次の畳み込み層のサイズは２５６×２５６ピクセルとなり、枚数は６４となる。

【0034】

輪郭線検出部１０は、深層学習が行われた畳み込みニューラルネットワークである機械学習部２１を用いて、画像Ｉｍ１から、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）を推定する。この深層学習は、全セルの全輪郭線から構成される画像を教師データとして訓練が行われる。具体的には、２次元コード２の画像Ｉｍ１（図５（Ａ）参照）と、正確に得られた輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の画像Ｉｍ２（図５（Ｂ）参照）との組み合わせを複数作成し、作成された訓練データを用いて深層学習が行われる。なお、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の画像Ｉｍ２には、遮蔽領域が輪郭線６とは異なる他の色に着色されている。このような画像を用いて学習を行えば、２次元コード２の遮蔽領域を検出し、遮蔽領域付近での不正確な輪郭線６’の抽出を回避することができる。

【0035】

深層学習には、例えば、誤差逆伝搬法等が用いられる。深層学習の結果得られたパラメータは、予め別のサーバコンピュータで行うことができ、サーバコンピュータから、後述する通信インターフェイス３５を介して最適なパラメータを受信して、畳み込みニューラルネットワークに設定しておくことができる。

【0036】

このように、深層学習された畳み込みニューラルネットワークの機械学習部２１を用いることにより、従来は困難であった輝度差のない領域同士の輪郭線６（６ｖ’，６ｈ’）をも検出することが可能となる。なお、図６（Ａ）には、機械学習部２１を用いることなくエッジ検出された縦の輪郭線６（６ｖ）の一例が示され、図６（Ｂ）には、機械学習部２１で推定された縦の輪郭線６（６ｖ＋６ｖ’）の一例が示されている。

【0037】

［輪郭線推定部］
次に、輪郭線推定部１１（図１参照）の詳細について説明する。輪郭線検出部１０で検出された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）は完全ではなく、一部つながっておらず、検出されていない輪郭線６（６ｖ”，６ｈ”）も存在する。輪郭線推定部１１は、輪郭線検出部１０で検出された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の番号を推定するとともに、輪郭線検出部１０で検出されなかった輪郭線６（６ｖ”，６ｈ”）を推定する。これにより、輪郭線６全体の２次元コード２内の位置情報が推定される。図６（Ｂ）には、縦の輪郭線６（６ｖ＋６ｖ’）が示され、図６（Ｃ）には、縦の輪郭線６（６ｖ”）が示されている。

【0038】

輪郭線６の推定は、以下のようにして行われる。輪郭線推定部１１は、例えば、図６（Ｂ）に示すように、縦の輪郭線６（６ｖ＋６ｖ’）に対して、輪郭線６（６ｖ＋６ｖ’）が並ぶ方向に、順番に識別番号としてのラベルを付与する。ラベルは、輪郭線６（６ｖ＋６ｖ’）毎の固有の情報であり、輪郭線６（６ｖ＋６ｖ’）の２次元コード２内の位置を表す情報である。例えば、左から０、１、２、３、４、・・・というように輪郭線６が並ぶ順番に付与される。途切れた輪郭線６についても、左から順番に０，１，２，・・・というように順番にラベルが付与される。例えば、型番が３のＱＲコード（登録商標）であれば２９×２９セルを含むため、ラベルは０から２９となる。なお、横の輪郭線６（６ｈ＋６ｈ’）の場合には、上から輪郭線６が並ぶ順番に、０、１、２、・・・というようにラベルを付与することができる。これらのラベルは、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の２次元コード２内での位置を表し、各セル４の２次元コード２内での位置を推定することを可能にする。輪郭線推定部１１は、付与したラベルに基づいて、輪郭線検出部１０で検出されなかった輪郭線６（６ｖ”，６ｈ”）の２次元コード２内の位置情報を推定する。

【0039】

輪郭線６は、理想的には２次元コード２の一辺と同じ長さを持つ線であるが、輪郭線検出部１０で検出された輪郭線６は途切れ途切れとなっており、途切れた輪郭線６毎にラベルが付与される。本実施の形態に係る輪郭線推定部１１は、同じラベルを有する途切れた輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の端部同士を、輪郭線（接続線）６（６ｖ”，６ｈ”）で接続して途切れのない輪郭線６（６ｖ＋６ｖ’＋６ｖ”，６ｈ＋６ｈ’＋６ｈ”）を生成する。このとき、接続線６（６ｖ”，６ｈ”）を結び後述する目的関数Ｆ（Ｃ）を用いることで、途切れた輪郭線６の集合に対して付与されたラベルの組み合わせの適切さを評価することが可能となる。結果的に、輪郭線推定部１１は、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）に、輪郭線６（６ｖ”，６ｈ”）を加えた輪郭線６（６ｖ＋６ｖ’＋６ｖ”，６ｈ＋６ｈ’＋６ｈ”）を出力する。なお、図６（Ｃ）では、縦の輪郭線６（６ｖ＋６ｖ’＋６ｖ”）しか示されていないが、横の輪郭線６（６ｈ＋６ｈ’＋６ｈ”）についても、同様の推定処理が行われる。

【0040】

輪郭線推定部１１は、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）に対して最適なラベルの組み合わせを割り当てるために、仮に割り当てたラベルにより得られる接続線６（６ｖ”，６ｈ”）において、３つの関数の値を算出することでその妥当性を評価する。第１の関数Ｆ_ａ（Ｃ）と、第２の関数Ｆ_ｃ（Ｃ）と、第３の関数Ｆ_ｉ（Ｃ）である。なお、これらの関数の説明では、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）を輪郭線６’とし、輪郭線、すなわち接続線６（６ｖ”，６ｈ”）を輪郭線６”として説明する。

【0041】

第１の関数Ｆ_ａ（Ｃ）は、輪郭線６’と接続線６”とのなす角度が大きくなるにつれて大きくなる評価関数である。図７（Ａ）に示すように、ラベルが同じ上の輪郭線６’（モジュールエッジｅ_１）と、下の輪郭線６’（モジュールエッジｅ_２）とが、接続線６”で接続されるものとした場合、上の輪郭線６’と接続線６”とのなす角度をθ_ｉ，topとし、下の輪郭線６’と接続線６”とのなす角度をθ_ｉ，bottomとする。輪郭線６’について引かれた接続線６”の総数をｎとすると、第１の関数Ｆ_ａ（Ｃ）は、以下の式（１）で示されている。

【数1】

【0042】

第２の関数Ｆ_ｃ（Ｃ）は、図７（Ｂ）に示すように、接続線６”同士の交叉回数が増えるにつれて大きくなる評価関数である。第２の関数Ｆ_ｃ（Ｃ）は、以下の式（２）で示されている。
Ｆ_ｃ（Ｃ）＝Ｃ_{ｃｒｏｓｓ} ・・・（２）
ここで、Ｃ_{ｃｒｏｓｓ}は、輪郭線６’について引かれた接続線６”の交叉回数である。

【0043】

第３の関数Ｆ_ｉ（Ｃ）は、図７（Ｃ）に示すように、隣接する輪郭線６’の間隔が大きくなるにつれて大きくなる評価関数である。第３の関数Ｆ_ｉ（Ｃ）を以下の式（３）に示す。

【数2】

ここで、εは、輪郭線６’の組み合わせの集合であり、｜ε｜は組み合わせの総数である。ｅ_ｉ，ｅ_jは、輪郭線（モジュールエッジ）６’である。ｌ（ｅ_ｉ），ｌ（ｅ_ｊ）は、モジュールエッジ６’のラベルである。

【数3】

は、隣接する輪郭線６’の間隔の推定値であり、δ（ｅ_ｉ，ｅ_ｊ）は、ｅ_ｉとｅ_ｊの間隔の実測値である。このように、上記式（３）は、隣接する２本の輪郭線ｅ_ｉ，ｅ_ｊの間隔から推定されるラベルの差と、その輪郭線６’に付与されたラベルの差（ｌ（ｅ_ｊ）－ｌ（ｅ_ｉ））との違いに基づく値となる。

【0044】

目的関数Ｆ（Ｃ）としては、例えば次式を採用することができる。

【数4】

上述のように、第１の関数Ｆ_ａ（Ｃ）は、輪郭線６’と接続線６”とがなす角度による評価関数である。また、第２の関数Ｆ_ｃ（Ｃ）は、接続線６”の交叉回数による評価関数である。また、第３の関数Ｆ_ｉ（Ｃ）は、隣接する輪郭線６’の間隔による評価関数である。上述の式において、ｗ_ａ，ｗ_ｃ，ｗ_ｉは、第１の関数Ｆ_ａ（Ｃ）、第２の関数Ｆ_ｃ（Ｃ）及び第３の関数Ｆ_ｉ（Ｃ）の重みである。

【0045】

輪郭線推定部１１は、目的関数Ｆ（Ｃ）を用いて、輪郭線６’に付与されるラベルの組み合わせの中から、目的関数Ｆ（Ｃ）の値が最も小さくなるラベルの組み合わせを探索する。目的関数Ｆ（Ｃ）の値が最も小さくなる接続線６”で接続された輪郭線６が、最終的な輪郭線６となる。なお、目的関数Ｆ（Ｃ）は、上記式のものに限らず、第１の関数Ｆａ（Ｃ）、第２の関数Ｆｃ（Ｃ）及び第３の関数Ｆｉ（Ｃ）のいずれか、又は第１の関数Ｆａ（Ｃ）、第２の関数Ｆｃ（Ｃ）及び第３の関数Ｆｉ（Ｃ）のうちの少なくとも２つの和のいずれかを含んでいればよい。

【0046】

［復号部］
次に、復号部１２の詳細について説明する。復号部１２は、輪郭線検出部１０で検出された輪郭線６と、輪郭線推定部１１で推定された輪郭線６の位置情報とに基づいて、セル４の２次元コード内の位置情報を推定する。例えば、図８に示すように、ラベル１４、１５が付与された縦の輪郭線６及びその位置情報と、ラベル１４、１５が付与された横の輪郭線６及びその位置情報とによって、その間の領域が推定される。復号部１２は、推定された輝度値を検出し、検出した輝度値を閾値と比較して、「１」を示しているか、「０」を示しているかを判定する。この判定は、例えば、領域内の平均輝度値が閾値以上であるか否かにより行われる。この判定結果により、セル４を示す値が決定される。このように、復号部１２は、輪郭線６（６ｖ＋６ｖ’＋６ｖ”，６ｈ＋６ｈ’＋６ｈ”）及びその位置情報に基づいてセル４の領域を推定し、領域毎に輝度値を検出し、その輝度値と閾値とを比較して、「１」又は「０」を判定する処理をすべての領域について行う。そして、すべての領域での「１」、「０」の情報を組み合わせてコード情報が生成される。

【0047】

［ハードウエア構成］
図９には、コード復号装置１（情報処理装置）のコンピュータのハードウエア構成が示されている。図９に示すように、コード復号装置１は、ＣＰＵ（Central Processing Unit）３０と、メモリ３１と、外部記憶部３２と、入出力部３３と、通信インターフェイス３５とを備える。コード復号装置１の各構成要素は、内部バス４０を介して接続されている。

【0048】

ＣＰＵ３０は、ソフトウエアプログラム（以下、単に「プログラム」とする）を実行するプロセッサ（演算装置）である。メモリ３１には、外部記憶部３２からプログラム３９が読み込まれ、ＣＰＵ３０は、メモリ３１に格納されたプログラム３９を実行することにより、輪郭線検出部１０、輪郭線推定部１１及び復号部１２の動作を行う。

【0049】

メモリ３１は、例えばＲＡＭ（Random Access Memory）である。メモリ３１には、ＣＰＵ３０によって実行されるプログラム３９が格納される他、ＣＰＵ３０によるプログラム３９の実行で必要なデータ、プログラム３９の実行の結果生成されるデータが記憶される。

【0050】

外部記憶部３２は、例えばハードディスク等である。外部記憶部３２は、ＣＰＵ３０により実行されるプログラム３９が記憶される。

【0051】

入出力部３３は、カメラ５とのデータ入出力を行うインターフェイスである。カメラ５で撮像された画像は、入出力部３３を介してメモリ３１等に記憶される。

【0052】

通信インターフェイス３５は、インターネット等の通信ネットワークに接続する通信インターフェイスである。深層学習によって得られた畳み込みニューラルネットワーク等の機械学習部２１のパラメータは、この通信インターフェイス３５を介してダウンロードされ、コード復号装置１に設定される。

【0053】

なお、輪郭線検出部１０、輪郭線推定部１１及び復号部１２の機能は、通信ネットワーク上に構築されるクラウドコンピュータによって実現されるようにしてもよい。この場合、ＣＰＵ３０は、クラウドコンピュータに画像等を送り、復号の指示を行うだけでよい。

【0054】

次に、本実施の形態に係るコード復号装置１（情報処理装置）の動作、すなわちコード復号装置１によって実行されるコード復号方法について説明する。

【0055】

カメラ５で２次元コード２の画像Ｉｍ１が撮像されると、図１０に示すように、まず、輪郭線検出部１０は、画像Ｉｍ１における２次元コード２の位置を検出する（ステップＳ１）。この検出は、例えば、Ｓｔａｒ検出器を用いて行われる。Ｓｔａｒ検出器は、Ｃｅｎｔｅｒ Ｓｕｒｒｏｕｎｄ Ｅｘｔｒｅｍａｓ（ＣｅｎＳｕｒＥ）から派生した特徴点検出器である。ＣｅｎＳｕｒＥ検出器は、グレースケール画像に対して回転やスケール変化に不変であり、簡素化された２階層のＣｅｎｔｅｒ－ｓｕｒｒｏｕｎｄフィルタを用いることで差分処理を行い、極値を検出する。Ｓｔａｒ検出器では、大小の星形範囲の符号をそれぞれ変えて重ねたフィルタが使用されている。このフィルタは、格子状に符号化されている２次元コードの領域間で多くの特徴点を検出する。この検出結果により２次元コード２の画像Ｉｍ１が規格化される。

【0056】

続いて、輪郭線検出部１０を構成する機械学習部２１は、画像Ｉｍ１（図５（Ａ）参照）から、セル４（４Ａ，４Ｂ）の輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）を推定する（ステップＳ２；輪郭線検出ステップ）。これにより、機械学習部２１から輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の画像Ｉｍ２（図５（Ｂ））が得られる。

【0057】

続いて、輪郭線推定部１１は、輪郭線６を縦の輪郭線６ｖ＋６ｖ’と、横の輪郭線６ｈ＋６ｈ’とに分離する（ステップＳ４）。これにより、図１２（Ａ）及び図１２（Ｂ）に示すように、例えば、ステップＳ２，Ｓ３で検出された輪郭線６が、縦の輪郭線６（６ｖ＋６ｖ’）と、横の輪郭線６（６ｈ＋６ｈ’）とに分離される。

【0058】

さらに、輪郭線推定部１１は、図６（Ｂ）に示すように、縦の輪郭線６（６ｖ＋６ｖ’）にラベルを付与するとともに、横の輪郭線６（６ｈ＋６ｈ’）にラベルを付与する（ステップＳ５）。輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の位置情報の推定は、このラベルに基づいて行われる。

【0059】

さらに、輪郭線推定部１１は、ステップＳ２で検出された縦の輪郭線６（６ｖ＋６ｖ’）同士をつなぎ合わせてセル４の輪郭線６（６ｖ”）の位置情報を推定するとともに、ステップＳ２で検出された横の輪郭線６（６ｈ＋６ｈ’）同士をつなぎ合わせてセル４の輪郭線６（６ｈ”）の位置情報を推定する推定処理サブルーチンを行う（ステップＳ６；輪郭線推定ステップ）。

【0060】

この推定処理サブルーチンでは、山登り法を用いて、輪郭線６に付与されるラベルの組み合わせの最適化が行われる。具体的には、例えば、図１１に示すように、まず、輪郭線推定部１１が、初期解を生成する（ステップＳ１０）。この推定処理サブルーチンにおいて、「解」とは、輪郭線６に付与されるラベルの組み合わせのことである。このような、輪郭線６に付与されるラベルの組み合わせは複数あり、その中の１つの組み合わせが初期解となる。

【0061】

続いて、輪郭線推定部１１は、生成された解の評価を行う（ステップＳ１１）。具体的には、輪郭線推定部１１は、設定された初期解について、上述の式を用いて、目的関数Ｆ（Ｃ）を算出する。

【0062】

続いて、輪郭線推定部１１は、終了判定を行う（ステップＳ１２）。ここで、終了条件は、最適解の近傍にあるすべての解の評価が完了することであるとする。ここでは、初期解の評価が行われただけであるので、判定は否定される（ステップＳ１２；Ｎｏ）。

【0063】

続いて、輪郭線推定部１１は、新たな解の候補を生成する（ステップＳ１３）。まだ、評価が行われていない、ラベルの組み合わせが存在する場合には、その組み合わせが生成される。

【0064】

続いて、輪郭線推定部１１は、リペア処理を行う（ステップＳ１４）。このリペア処理では、接続線６”でつないで形成される輪郭線６’について、接続線６”同士の交叉を解消したり、分割されている接続線６”を結合したり、結合されている接続線６”を解消したり、ラベルが付与されていない輪郭線６’を削除したりすることなどが行われる。

【0065】

リペア処理を行った後、輪郭線推定部１１は、新たな解について評価を行う（ステップＳ１１）。以降、ステップＳ１２で終了である、すなわち、すべての解の組み合わせでの評価が完了し、終了条件を満たすまで（ステップＳ１２；Ｙｅｓ）、ステップＳ１１→Ｓ１２→Ｓ１３→Ｓ１４が繰り返される。終了条件を満たすと（ステップＳ１２；Ｙｅｓ）、推定処理のサブルーチンが終了する。

【0066】

上述の推定処理により、例えば、図１３に示すように、２次元コード２全体に対応する輪郭線６（６ｖ＋６ｖ’＋６ｖ”，６ｈ＋６ｈ’＋６ｈ”）が形成される。

【0067】

図１０に戻り、続いて、復号部１２は、輪郭線６（６ｖ＋６ｖ’＋６ｖ”，６ｈ＋６ｈ’＋６ｈ”）で２次元コード２の画像Ｉｍ１を仕切って、領域分割を行う（ステップＳ７）。さらに、復号部１２は、図８に示すように、仕切られた領域を各セル４として推定し、コード情報を検出して、その復号化を行う（ステップＳ８；復号ステップ）。これにより、２次元コード２の画像Ｉｍ１の各セル４の輝度が判定され、「１」と「０」とのデータ列であるコード情報が生成される。このコードは、例えば、インターネットのサイトのアドレスなどを表している。

【0068】

以上詳細に説明したように、本実施の形態に係るコード復号装置１によれば、互いに輝度が異なる黒領域４Ａと白領域４Ｂのいずれかで構成されるセル４の組み合わせでコード情報が符号化された２次元コード２の画像Ｉｍ１から、セル４の輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）が検出されるだけでなく、検出された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の２次元コード内での位置を表すラベルを推定するとともに、検出されなかった輪郭線６（６ｖ”，６ｈ”）を推定する。これにより、検出された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）と推定された輪郭線６（６ｖ”，６ｈ”）とに基づいて、全てのセル４の輪郭線が得られ、セル４の位置を正確に特定することができる。このため、補助線が設けられていない２次元コード２の画像Ｉｍ１に複雑な歪み、局所的な歪みおよび遮蔽領域のある歪みがあっても、コード情報を正確に検出することができる。

【0069】

また、上記実施の形態によれば、図６（Ｂ）に示すように、輪郭線推定部１１は、輪郭線検出部１０で検出された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）に対して、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）が並ぶ方向に、順番にラベルを付与する。さらに、輪郭線推定部１１は、付与したラベルに基づいて、輪郭線検出部１０で検出されなかった輪郭線６（６ｖ”，６ｈ”）を推定する。このように、輪郭線６（６ｖ”，６ｈ”）を推定することにより、断片化された輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）の総数を削減することができ、ラベルの推定を行う組み合わせ最適化の問題のサイズが抑えられるため、番号の推定を行い易くなるうえ、推定に要する時間を短縮することが可能となる。

【0070】

また、上記実施の形態に係るコード復号装置１において、輪郭線推定部１１においてラベルの割り当ての妥当性を評価するために、以下の関数を用いる。すなわち、仮に割り当てられたラベルに基づいて、同じラベルを有する輪郭線６’同士を接続線６”で接続した場合において、輪郭線６’と接続線６”とのなす角度が大きくなるにつれて大きくなる第１の関数Ｆ_ａ（Ｃ）と、接続線６”同士の交叉回数が増えるにつれて大きくなる第２の関数Ｆ_ｃ（Ｃ）と、隣接する輪郭線６’の間隔が大きくなるにつれて大きくなる第３の関数Ｆ_ｉ（Ｃ）とのいずれか、又は、第１の関数Ｆ_ａ（Ｃ）、第２の関数Ｆ_ｃ（Ｃ）及び第３の関数Ｆ_ｉ（Ｃ）のうちの少なくとも２つの和のいずれかを含む目的関数Ｆ（Ｃ）を用いて、輪郭線６に付与されるラベルの組み合わせの中から、目的関数Ｆ（Ｃ）の値が最も小さくなる組み合わせを探索する。このようにすれば、推定される輪郭線６を最適なものとすることができる。

【0071】

また、目的関数では、第１の関数Ｆ_ａ（Ｃ）と、第２の関数Ｆ_ｃ（Ｃ）と、第３の関数Ｆ_ｉ（Ｃ）とは、それぞれ異なる重みｗ_ａ，ｗ_ｃ，ｗ_ｉが付与されている。このようにすれば、輪郭線６との角度、交叉回数、間隔それぞれ重みｗ_ａ，ｗ_ｃ，ｗ_ｉを異ならせるようにした最適化が可能となる。

【0072】

また、上記実施の形態に係るコード復号装置１において、輪郭線検出部１０は、２次元コード２の画像Ｉｍ１を入力し、セル４の輪郭線６を出力する機械学習部２１を有している。輪郭線検出部１０は、２次元コード２の撮像画像Ｉｍ１と、理想的な輪郭線６（６ｖ’，６ｈ’）の画像との組み合わせを訓練データとして学習させた機械学習部２１を用いて、輪郭線６（６ｖ’，６ｈ’）を推定する。このようにすれば、同じ輝度のセル４間の輪郭線６を推定することが可能となる。これにより、輪郭線推定部１１における輪郭線６に対する番号の推定時間を短縮することができる。

【0073】

また、上記実施の形態に係るコード復号装置１において、機械学習部２１について、畳み込みニューラルネットワークを採用した場合には、その畳み込みニューラルネットワークを、Ｕ－Ｎｅｔとすることができる。このようにすれば、画像のボケの発生を防止することができる。しかしながら、本実施の形態に係るコード復号装置１で用いることができる畳み込みニューラルネットワークはＵ－Ｎｅｔには限られない。例えば、畳み込みニューラルネットワークとしてＳｅｇＮｅｔ（画像セグメンテーションニューラルネットワーク）、ＧＡＮ（敵対的生成ネットワーク）等を採用するようにしてもよい。

【0074】

なお、輪郭線検出部１０は、機械学習部２１を用いなくてもよい。例えば、ソーベルフィルタを用いて、輪郭線６、すなわちモジュールエッジを検出するだけでもよい。また、ソーベルフィルタを用いて輪郭線６（６ｖ＋６ｈ）を検出した後、輪郭線６（６ｖ＋６ｈ）の画像を機械学習部２１に入力して、輪郭線６（６ｖ＋６ｖ’，６ｈ＋６ｈ’）を推定するようにしてもよい。

【0075】

また、輪郭線検出部１０により、全ての輪郭線６が抽出されている場合には、輪郭線推定部１１は、処理を行う必要はない。

【0076】

また、上記実施の形態に係るコード復号装置１は、ＱＲコード（登録商標）の２次元コード２の画像Ｉｍ１から、コード情報を復号化した。しかしながら、本発明はこれには限られない。いわゆるバーコードを復号化するのに用いるようにしてもよい。本発明は、ＱＲコード（登録商標）以外のマトリクス型の２次元コードにも、スタック型の２次元コードにも適用することが可能である。

【0077】

その他、コード復号装置１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

【0078】

輪郭線検出部１０、輪郭線推定部１１及び復号部１２などから構成されるコード復号装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するコード復号装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでコード復号装置１を構成してもよい。

【0079】

コード復号装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムとの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

【0080】

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（BBS；Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

【0081】

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0082】

本発明は、撮像画像からコードを検出するのに適用することができる。

【符号の説明】

【0083】

１ コード復号装置、２ ２次元コード、３ シート、４ セル、４Ａ 黒領域（第１の領域）、４Ｂ 白領域（第２の領域）、５ カメラ、６，６’，６Ｖ，６Ｈ，６ｖ，６ｖ’，６ｈ，６ｈ’ 輪郭線（モジュールエッジ）、６”，６ｖ”，６ｈ” 輪郭線（接続線）、１０ 輪郭線検出部、１１ 輪郭線推定部、１２ 復号部、２１ 機械学習部、３０ ＣＰＵ、３１ メモリ、３２ 外部記憶部、３３ 入出力部、３５ 通信インターフェイス、３９ プログラム、４０ 内部バス、Ｉｍ１，１ｍ２ 画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】