(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-02
(45)【発行日】2023-10-11
(54)【発明の名称】検出パラメタ生成装置、検出パラメタ生成方法、検出パラメタ生成プログラム、オブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231003BHJP
G06F 30/12 20200101ALI20231003BHJP
G06F 30/13 20200101ALI20231003BHJP
【FI】
G06T7/00 350C
G06F30/12
G06F30/13
(21)【出願番号】P 2019143964
(22)【出願日】2019-08-05
【審査請求日】2022-07-27
(73)【特許権者】
【識別番号】507234438
【氏名又は名称】広島県公立大学法人
(73)【特許権者】
【識別番号】591080678
【氏名又は名称】株式会社中電工
(74)【代理人】
【識別番号】100091982
【氏名又は名称】永井 浩之
(74)【代理人】
【識別番号】100091487
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【氏名又は名称】朝倉 悟
(74)【代理人】
【識別番号】100152205
【氏名又は名称】吉田 昌司
(72)【発明者】
【氏名】市村 匠
(72)【発明者】
【氏名】鎌田 真
(72)【発明者】
【氏名】多羅尾 直
(72)【発明者】
【氏名】山口 亮
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2019-074946(JP,A)
【文献】市村 匠,鎌田 真,ChestX-ray8を用いた構造適応型Deep Belief Networkにおける胸部疾患の分類と位置検出の試み,2018 IEEE SMC Hiroshima Chapter若手研究会講演論文集,日本,IEEE SMC Hiroshima Chapter,2018年07月28日,第77-83頁,http://harp.lib.hiroshima-u.ac.jp/pu-hiroshima/metadata/12596
(58)【調査した分野】(Int.Cl.,DB名)
G06F 30/00-30/398
G06N 3/00-99/00
G06T 7/00- 7/90
G06V 10/00-20/90
(57)【特許請求の範囲】
【請求項1】
構造適応型DBNを用いて画像からオブジェクトを検出するための検出パラメタを生成する検出パラメタ生成装置であって、
複数の画像を有するデータセットのうちの一つの画像における、あるオブジェクトの頻出度を示す第1の指標を求める頻出度指標算出部と、
前記データセットにおける前記オブジェクトの希少度を示す第2の指標を求める希少度指標算出部と、
前記第1の指標と前記第2の指標との積に基づいて、検出用画像を分割して得られた分割画像に前記オブジェクトが存在するかどうかを判定するための第1の検出パラメタと、前記分割画像に基づいて作成された変形画像に前記オブジェクトが存在するかどうかを判定するための第2の検出パラメタとを更新する検出パラメタ更新部と、
を備えることを特徴とする検出パラメタ生成装置。
【請求項2】
前記検出パラメタ更新部は、前記第1の指標と前記第2の指標との積が大きくなるにつれて前記第1の検出パラメタおよび前記第2の検出パラメタを小さくすることを特徴とする請求項1に記載の検出パラメタ生成装置。
【請求項3】
前記頻出度指標算出部は、前記第1の指標を式(1)により算出することを特徴とする請求項1または2に記載の検出パラメタ生成装置。
【数1】
ここで、x
i,j:前記第1の指標、n
i,j:画像jにおける前記オブジェクトの数、I:前記データセットにおけるオブジェクトの種類の総数である。
【請求項4】
前記希少度指標算出部は、前記第2の指標を式(2)により算出することを特徴とする請求項1~3のいずれかに記載の検出パラメタ生成装置。
【数2】
ここで、y
i:前記第2の指標、J:前記データセットにおける画像の総数、A
i:前記オブジェクトを含む画像の数である。
【請求項5】
前記検出パラメタ更新部は、前記第1の検出パラメタを式(3)により更新することを特徴とする請求項1~4のいずれかに記載の検出パラメタ生成装置。
【数3】
ここで、T1
i,j+1:前記オブジェクトの更新後の第1の検出パラメタ、T1
i,j:前記オブジェクトの更新前の第1の検出パラメタ、α
1:調整パラメタ、z
i,j:前記第1の指標と前記第2の指標との積である。
【請求項6】
前記検出パラメタ更新部は、前記第2の検出パラメタを式(4)により更新することを特徴とする請求項1~5のいずれかに記載の検出パラメタ生成装置。
【数4】
ここで、T2
i,j+1:前記オブジェクトの更新後の第2の検出パラメタ、T2
i,j:前記オブジェクトの更新前の第2の検出パラメタ、α
2:調整パラメタ、z
i,j:前記第1の指標と前記第2の指標との積である。
【請求項7】
前記画像は建築設備図面に係る画像であり、前記オブジェクトは、建築設備図面の記号であることを特徴とする請求項1~6のいずれかに記載の検出パラメタ生成装置。
【請求項8】
検出用画像を入力する画像入力部と、
前記検出用画像を複数の分割画像に分割する画像分割部と、
前記分割画像を構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された、あるオブジェクトに対する第1の確率を取得する第1の確率取得部と、
前記第1の確率が請求項1に記載の検出パラメタ生成装置で生成された第1の検出パラメタよりも大きければ、前記分割画像に基づいて変形画像を作成する変形画像作成部と、
前記変形画像を前記構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された前記オブジェクトに対する第2の確率を取得する第2の確率取得部と、
前記第2の確率が請求項1に記載の検出パラメタ生成装置で生成された第2の検出パラメタよりも大きければ、前記オブジェクトを検出したと判定する判定部と、
を備えることを特徴とするオブジェクト検出装置。
【請求項9】
構造適応型DBNを用いて画像からオブジェクトを検出するための検出パラメタを生成する検出パラメタ生成方法であって、
複数の画像を有するデータセットのうちの一つの画像における、あるオブジェクトの頻出度を示す第1の指標を求めるステップと、
前記データセットにおける前記オブジェクトの希少度を示す第2の指標を求めるステップと、
前記第1の指標と前記第2の指標との積に基づいて、検出用画像を分割して得られた分割画像に前記オブジェクトが存在するかどうかを判定するための第1の検出パラメタと、前記分割画像に基づいて作成された変形画像に前記オブジェクトが存在するかどうかを判定するための第2の検出パラメタとを更新するステップと、
を備えることを特徴とする検出パラメタ生成方法。
【請求項10】
検出用画像を入力するステップと、
前記検出用画像を複数の分割画像に分割するステップと、
前記分割画像を構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された、あるオブジェクトに対する第1の確率を取得するステップと、
前記第1の確率が請求項9に記載の検出パラメタ生成方法で生成された第1の検出パラメタよりも大きければ、前記分割画像に基づいて変形画像を作成するステップと、
前記変形画像を前記構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された前記オブジェクトに対する第2の確率を取得するステップと、
前記第2の確率が請求項9に記載の検出パラメタ生成方法で生成された第2の検出パラメタよりも大きければ、前記オブジェクトを検出したと判定するステップと、
を備えることを特徴とするオブジェクト検出方法。
【請求項11】
構造適応型DBNを用いて画像からオブジェクトを検出するための検出パラメタを生成する検出パラメタ生成プログラムであって、
複数の画像を有するデータセットのうちの一つの画像における、あるオブジェクトの頻出度を示す第1の指標を求めるステップと、
前記データセットにおける前記オブジェクトの希少度を示す第2の指標を求めるステップと、
前記第1の指標と前記第2の指標との積に基づいて、検出用画像を分割して得られた分割画像に前記オブジェクトが存在するかどうかを判定するための第1の検出パラメタと、前記分割画像に基づいて作成された変形画像に前記オブジェクトが存在するかどうかを判定するための第2の検出パラメタとを更新するステップと、
をコンピュータに実行させる検出パラメタ生成プログラム。
【請求項12】
検出用画像を入力するステップと、
前記検出用画像を複数の分割画像に分割するステップと、
前記分割画像を構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された、あるオブジェクトに対する第1の確率を取得するステップと、
前記第1の確率が請求項11に記載の検出パラメタ生成プログラムで生成された第1の検出パラメタよりも大きければ、前記分割画像に基づいて変形画像を作成するステップと、
前記変形画像を前記構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された前記オブジェクトに対する第2の確率を取得するステップと、
前記第2の確率が請求項11に記載の検出パラメタ生成プログラムで生成された第2の検出パラメタよりも大きければ、前記オブジェクトを検出したと判定するステップと、
をコンピュータに実行させるオブジェクト検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出パラメタ生成装置、検出パラメタ生成方法、検出パラメタ生成プログラム、オブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラムに関し、より詳しくは、構造適応型DBNを用いて画像からオブジェクトを検出するための検出パラメタを生成する検出パラメタ生成装置、検出方法および検出プログラム、ならびに、生成された検出パラメタを用いてオブジェクトを検出するオブジェクト検出装置、検出方法および検出プログラムに関する。
【背景技術】
【0002】
従来、構造適応型深層学習法が知られている(非特許文献1~3、特許文献1)。この手法によれば、制限付きボルツマンマシン(RBM)を多段に重ねてディープ・ビリーフ・ネットワーク(DBN)を構築する際に最適な隠れニューロン数および隠れ層数が自動的に求められる。これにより、学習用データに基づいて最適な構造のニューラルネットワークを構築することが可能である。この構造適応型深層学習法により構築された構造適応型DBNは、複数のベンチマークテストにおいて、既存の畳み込みニューラルネットワーク(CNN)よりも高い分類精度を示している(非特許文献4)。
【0003】
なお、分類精度の改善手法としてファインチューニング(Fine Tuning)法が知られている(例えば、非特許文献5)。この手法では、学習後のネットワークの各層の入出力パターンの頻度に応じて、誤って分類された事例が正しく分類されるようにネットワークの重みを修正する。
【0004】
本発明者らは、胸部X線画像に係る公開データベース(ChestX-Ray8:CXR8)を用いて学習された構造適応型DBNを用いて、癌の有無を高い精度で検出可能なアルゴリズムを提案している(非特許文献6)。
【0005】
このアルゴリズムでは、まず、検出対象のオブジェクトが含まれる画像を入力し、当該画像を複数の領域に沿って分割して複数の分割画像を得る。そして、分割画像を学習済みの構造適応型DBNに与えて、出力層から出力される値を取得する。各ニューロンから出力される値は、ソフトマックス関数により正規化されており、オブジェクトの検出確率を示す。
【0006】
次に、あるオブジェクトに対応するニューロンから出力された値(確率)が当該オブジェクトに対して設定された閾値(第1の検出パラメタ)よりも大きいかどうかを判定する。そして、出力された値が第1の検出パラメタよりも大きい場合、分割画像に基づいて変形画像を作成し、変形画像を学習済みの構造適応型DBNに与えて、出力層から出力される値を取得する。出力された値(確率)が当該オブジェクトに対して設定された別の閾値(第2の検出パラメタ)よりも大きいかどうかを判定する。そして、出力された値が第2の検出パラメタより大きい場合に、当該オブジェクトを検出したと最終的に判定する。なお、第1および第2の検出パラメタは、0より大きく、1より小さい値であり、値が小さいほどオブジェクトは検出され易くなる。
【先行技術文献】
【特許文献】
【0007】
【非特許文献】
【0008】
【文献】S.Kamada and T.Ichimura, An Adaptive Learning Method of Restricted Boltzmann Machine by Neuron Generation and Annihilation Algorithm, Proc. of 2016 IEEE International Conference on Systems, Man, and Cybernetics (IEEE SMC 2016), pp.1273-1278 (2016)
【文献】S.Kamada and T.Ichimura, A Structural Learning Method of Restricted Boltzmann Machine by Neuron Generation and Annihilation Algorithm, Neural Information Processing, Lecture Notes in Computer Science (LNCS, vol.9950), pp.372-380 (2016)
【文献】S.Kamada and T.Ichimura, An Adaptive Learning Method of Deep Belief Network by Layer Generation Algorithm, Proc. of 2016 IEEE Region 10 Conference (TENCON), pp.2971-2974 (2016)
【文献】S.Kamada, T.Ichimura, Akira Hara, and Kenneth J. Mackin, Adaptive Structure Learning Method of Deep Belief Network using Neuron Generation-Annihilation and Layer Generation, Neural Computing and Applications, doi.org/10.1007/s00521-018-3622-y, pp.1-15 (2018)
【文献】S.Kamada and T.Ichimura, Fine Tuning of Adaptive Learning of Deep Belief Network for Misclassification and its Knowledge Acquisition, International Journal Computational Intelligence Studies, Vol.6, No.4, pp.333-348 (2017)
【文献】市村匠,鎌田真,“ChestX-ray8 を用いた構造適応型Deep Belief Network による胸部疾患位置検出システム”,計測自動制御学会システム・情報部門学術講演会2018 講演論文集(SSI2018) (2018)
【発明の概要】
【発明が解決しようとする課題】
【0009】
前述のオブジェクト検出アルゴリズムを用いることにより、胸部X線画像については高い検出精度が得られることが確認されている。
【0010】
しかしながら、本発明者らによるさらなる研究によれば、画像の種類によっては、高い検出精度を得ることが難しい場合があることがわかってきた。例えば建築設備図面に係る画像の場合、高い検出精度が得られない場合がある。
【0011】
建築設備図面には、照明、コンセント、トイレ等を示す様々な種類の記号が含まれる。また、記号ごとに頻出度や希少度といった特徴が異なる。ここで、頻出度とは、ある画像(図面)におけるオブジェクト(記号)の出現頻度に関する度合を示し、希少度とは、複数枚の画像におけるオブジェクトの希少価値に関する度合を示す。希少度は、オブジェクトが特定の図面にしか出現しない場合に高くなる。
【0012】
従来のオブジェクト検出アルゴリズムでは、第1および第2の検出パラメタは各オブジェクトに共通の値として与えられていた。このため、従来のアルゴリズムでは、図面に含まれる各種記号を高い精度で検出することは困難であった。試行錯誤的に検出パラメタを探索することで高い検出精度が得られることもあるが、非常に手間がかかり効率的でなかった。
【0013】
本発明は、上記のような技術的認識に基づいてなされたものであり、その目的は、特徴の異なる複数種類のオブジェクトを高い精度で検出することを可能とする検出パラメタを容易に生成できる検出パラメタ生成装置、検出パラメタ生成方法および検出パラメタ生成プログラムを提供すること、ならびに、生成された検出パラメタを用いて特徴の異なる複数種類のオブジェクトを高い精度で検出できるオブジェクト検出装置、オブジェクト検出方法およびオブジェクト検出プログラムを提供することである。
【課題を解決するための手段】
【0014】
本発明に係る検出パラメタ生成装置は、
構造適応型DBNを用いて画像からオブジェクトを検出するための検出パラメタを生成する検出パラメタ生成装置であって、
複数の画像を有するデータセットのうちの一つの画像における、あるオブジェクトの頻出度を示す第1の指標を求める頻出度指標算出部と、
前記データセットにおける前記オブジェクトの希少度を示す第2の指標を求める希少度指標算出部と、
前記第1の指標と前記第2の指標との積に基づいて、検出用画像を分割して得られた分割画像に前記オブジェクトが存在するかどうかを判定するための第1の検出パラメタと、前記分割画像に基づいて作成された変形画像に前記オブジェクトが存在するかどうかを判定するための第2の検出パラメタとを更新する検出パラメタ更新部と、
を備えることを特徴とする。
【0015】
また、前記検出パラメタ生成装置において、
前記検出パラメタ更新部は、前記第1の指標と前記第2の指標との積が大きくなるにつれて前記第1の検出パラメタおよび前記第2の検出パラメタを小さくするようにしてもよい。
【0016】
また、前記検出パラメタ生成装置において、
前記画像は建築設備図面に係る画像であり、前記オブジェクトは、建築設備図面の記号であるようにしてもよい。
【0017】
本発明に係るオブジェクト検出装置は、
検出用画像を入力する画像入力部と、
前記検出用画像を複数の分割画像に分割する画像分割部と、
前記分割画像を構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された、あるオブジェクトに対する第1の確率を取得する第1の確率取得部と、
前記第1の確率が前記検出パラメタ生成装置で生成された第1の検出パラメタよりも大きければ、前記分割画像に基づいて変形画像を作成する変形画像作成部と、
前記変形画像を前記構造適応型DBNの入力層に与えて、前記構造適応型DBNの出力層に出力された前記オブジェクトに対する第2の確率を取得する第2の確率取得部と、
前記第2の確率が前記検出パラメタ生成装置で生成された第2の検出パラメタよりも大きければ、前記オブジェクトを検出したと判定する判定部と、
を備えることを特徴とする。
【発明の効果】
【0018】
本発明によれば、特徴の異なる複数種類のオブジェクトを高い精度で検出することを可能とする検出パラメタを容易に生成することができる。
【0019】
また、本発明によれば、前記検出パラメタを用いて、特徴の異なる複数種類のオブジェクトを高い精度で検出することができる。
【図面の簡単な説明】
【0020】
【
図1】実施形態に係るオブジェクト検出に係る全体処理フローの概略を示す図である。
【
図2】構造適応型DBNの構築に用いた訓練データおよびテストデータの概要を示す図である。
【
図3】構造適応型DBNの構築に用いたカテゴリ別の記号の例を示す図である。
【
図4】構築された構造適応型DBNの例を模式的に示す図である。
【
図5】構築された構造適応型DBNの分類精度を示す図である。
【
図6】実施形態に係る検出パラメタ生成装置の概略的構成を示す図である。
【
図7】実施形態に係る図面データベースの一例を示す図である。
【
図8】実施形態に係る検出パラメタ生成方法を示すフローチャートである。
【
図9】実施形態に係るオブジェクト検出装置の概略的構成を示す図である。
【
図10】建築設備図面の画像の一例を示す図である。
【
図11】変形画像の作成方法について説明するための図である。
【
図12】実施形態に係るオブジェクト検出方法を示すフローチャートである。
【
図13】従来(手動調整)と実施形態(自動調整)による記号の検出精度を示す図である。
【
図14】記号を正しく検出できなかった場合の例を示す図である。
【発明を実施するための形態】
【0021】
以下、本発明に係る実施形態について図面を参照しながら説明する。
【0022】
<全体処理フロー>
図1を参照して、本実施形態に係る、構造適応型DBNを用いたオブジェクト検出に係る全体処理フローについて説明する。
【0023】
なお、本実施形態では、オブジェクトを含む画像は、各種記号を含む建築設備図面に係る画像である。ただし、本発明はこれに限られるものでなく、建築設備図面以外の線図のほか、その他検出対象のオブジェクトを含む各種画像に適用することが可能である。
【0024】
ステップS1では、構造適応型DBNを構築する。本ステップは、本発明者らが開発した公知の方法(非特許文献1~3等)により、構造適応型DBNの構築が行われる。訓練データ(学習用データ)およびテストデータ(評価用データ)として、複数の分類対象に係る記号の画像が用いられる。ニューラルネットワークの入力層の各ニューロンには、記号画像の各ピクセルのデータが入力される。なお、分類精度をさらに向上させるためにファインチューニングを行ってもよい。
【0025】
図2は、ステップS1で用いられる訓練データの数、および構造適応型DBNを評価するためのテストデータの数をカテゴリ別に示している。なお、学習データを増やすため、データ増強(Data Augment)を行ってデータ数を増やした。具体的には、元の記号画像に対して、左右反転、上下反転、90度回転、190度回転、上下移動、拡大および縮小の操作を行うことでデータ数を約12倍に増やした。
図2に示す数は、データ増強後のデータ数である。
【0026】
図3は、カテゴリ別の記号の例を示している。記号M1は、カテゴリ「衛生器具」に属する記号画像の一例である。記号M2は、カテゴリ「電灯」に属する記号画像の一例である。記号M3は、カテゴリ「コンセント」に属する記号画像の一例である。記号M4は、カテゴリ「非常灯・誘導灯」に属する記号画像の一例である。記号M5は、カテゴリ「インターホン」に属する記号画像の一例である。
【0027】
図4は、構築された構造適応型DBNの例を模式的に示している。出力層は、カテゴリ数に対応してニューロンN1,N2,N3,N4,N5を有している。ニューロンN1~N5の出力値は、総和が1となるようにソフトマックス関数等により正規化される。ニューロンN1,N2,N3,N4,N5の出力値は、対応付けられたオブジェクトの確率を示す。例えば、ニューロンN1の出力値が0.8の場合、入力層に入力された記号画像がカテゴリ「衛生器具」である確率は80%である。
【0028】
訓練データを用いて構造適応型DBNの構築後、分類精度の評価を行う。
図5は、構造適応型DBNの評価結果を示している。ここでは、訓練データ、テストデータ、およびファインチューニング後におけるテストデータに対する分類精度をそれぞれカテゴリ別に示している。なお、テストデータの分類精度における括弧の数値は、分類できなかったデータの数を示している。
【0029】
図5に示すように、訓練データに対する正答率は、すべてのカテゴリで100.0%となった。一方、テストデータについては、95.6%以上となった。また、ファインチューニング法により分類精度の改善を試みたところ、すべてのカテゴリに対して100.0%の分類精度が得られた。
【0030】
ステップS2では、建築設備図面の記号を検出するための検出パラメタ(第1の検出パラメタおよび第2の検出パラメタ)の生成を行う。ここで、第1の検出パラメタ(T1
i)は、オブジェクト検出用の画像(検出用画像)を分割して得られた分割画像にi番目のオブジェクト(オブジェクトi)が存在するかどうかを判定するための閾値である。第2の検出パラメタ(T2
i)は、分割画像に基づいて作成された変形画像にオブジェクトiが存在するかどうかを判定するための閾値である。検出パラメタの生成については、後ほど
図6~
図8を参照して詳しく説明する。
【0031】
ステップS3では、ステップS2で生成された検出パラメタを用いて、検出用画像からオブジェクトを検出する。本ステップS3では、ステップS2で生成された第1および第2の検出パラメタを、画像中にオブジェクトが存在するかどうかを判定する際の閾値として用いる。オブジェクト検出については、後ほど
図9~
図14を参照して詳しく説明する。
【0032】
<検出パラメタ生成装置>
本実施形態に係る検出パラメタ生成装置1について、
図6を参照して説明する。以下に説明するように、検出パラメタ生成装置1は、ステップS1で構築された構造適応型DBNを用いて画像からオブジェクトを検出するための検出パラメタを生成(調整)するように構成されている。
【0033】
検出パラメタ生成装置1は、
図6に示すように、制御部10と、通信部20と、操作入力部30と、表示部40と、記憶部50とを備えている。
【0034】
制御部10は、検出パラメタ生成装置1の動作を制御するものであり、ハードウェアとしてはCPU(中央処理装置)等のプロセッサにより構成される。本実施形態では、制御部10は、検出パラメタ生成装置1内のプロセッサが所定のプログラムを実行することにより実現される。なお、制御部10の少なくとも一部がASIC等のハードウェアにより構成されてもよい。制御部10の詳細については後ほど詳しく説明する。
【0035】
通信部20は、検出パラメタ生成装置1と外部の情報処理装置(図示せず)との間で情報を送受信する。なお、通信部20による通信は、有線・無線の別を問わず、また通信プロトコルも限定されない。
【0036】
操作入力部30は、ユーザが検出パラメタ生成装置1に情報を入力するためのインターフェースであり、例えば、キーボード、マウス、タッチパネル、ボタン等である。操作入力部30は、ユーザから検出パラメタの初期値や検出パラメタの生成指示などを受け付ける。
【0037】
表示部40は、ユーザへ各種情報(生成された検出パラメタの値など)を出力するインターフェースである。この表示部40は、例えば、映像を表示するディスプレイ(液晶ディスプレイ、有機ELディスプレイ等)である。
【0038】
記憶部50は、ハードディスクまたは半導体メモリなどから構成される記憶装置である。この記憶部50には、図面データベース51が記憶されている。なお、記憶部50には、制御部10による情報処理に必要なプログラムや各種データが記憶されてもよい。
【0039】
図面データベース51は、複数の建築設備図面に係る画像を有するデータセットから抽出された、各図面における記号ごとの出現数(描画数)を格納したデータベースである。図面データベース51は、人が図面画像を見て作成される。なお、部品ごとの頻出度や希少度の傾向が誤っていなければ、図面データベース51の部品数は必ずしも厳密な値でなくてもよい。
【0040】
図7は、図面データベース51の一例を示している。図面データベース51には、J枚の建築設備図面の各々について、部品(建築設備図面の記号)ごとの数が格納されている。なお、Iは部品の種類の総数である。すなわち、図面データベース51には、図面j(1≦j≦J)に描画されている部品i(1≦i≦I)の数が格納されている。右端のカラムには、各図面について部品の総数が格納されている。なお、このカラムは必須ではなく、制御部10が演算により算出してもよい。
次に、制御部10について詳しく説明する。
【0041】
制御部10は、
図6に示すように、データ入力部11と、頻出度指標算出部12と、希少度指標算出部13と、検出パラメタ更新部14とを有する。なお、制御部10が有する各機能部は、通信接続された複数の情報処理装置に分散して設けられ、これら複数の情報処理装置が協働することによって制御部10の機能が実現されてもよい。
【0042】
データ入力部11は、第1の検出パラメタの初期値および第2の検出パラメタの初期値を取得する。第1の検出パラメタの初期値(T1i,1)と第2の検出パラメタの初期値(T2i,1)は、T1i,1≦T2i,1の関係であることが好ましい。なお、初期値としては、オブジェクトの種類に依存しない共通の値が取得されてもよいし、オブジェクト種類ごとの値が取得されてもよい。
【0043】
頻出度指標算出部12は、前記データセットのうちの一つの画像中における、あるオブジェクト(オブジェクトi)の頻出度を示す第1の指標を求める。本実施形態では、頻出度指標算出部12は、図面データベース51を参照し、式(1)により第1の指標x
i,jを算出する。第1の指標x
i,jは、画像jの全オブジェクトに対するオブジェクトiの割合を示す。
【数1】
【0044】
ここで、xi,j:第1の指標、ni,j:画像jにおけるオブジェクトiの数、I:前記データセットにおけるオブジェクトの種類の総数である。
【0045】
例えば、ある建築設備図面に係る画像jに100個の部品が含まれ、部品iの数が0個の場合、第1の指標xi,jは0となる。一方、画像jに100個の部品が含まれ、そのすべてが部品iの場合、第1の指標xi,jは1となる。このように第1の指標xi,jは、画像jにおけるオブジェクトiの頻出度に応じて、0以上1以下の値をとる。
【0046】
なお、頻出度指標算出部12は、式(1)の右辺の分母として、
図7の図面データベース51の右欄のカラムに格納された値を使用する。右欄のカラムがない場合、頻出度指標算出部12が部品1、部品2、・・・、部品Iの総和を算出してもよい。
【0047】
希少度指標算出部13は、前記データセット(J枚の画像)におけるオブジェクトiの希少度を示す第2の指標を求める。第2の指標y
iは、前記データセットにおいてオブジェクトiを含む画像の数が少ないほど大きい値を返す関数により求められる。本実施形態では、希少度指標算出部13は、図面データベース51を参照し、式(2)により第2の指標を算出する。
【数2】
【0048】
ここで、yi:第2の指標、J:前記データセットにおける画像の総数、Ai:オブジェクトiを含む画像の数である。
【0049】
例えば、建築設備図面に係る画像の総数が10枚で、そのうちの1枚の画像にのみ部品iが含まれる場合、第2の指標yiは1となる。一方、図面の総数が10枚で、すべての図面に部品iが含まれる場合、第2の指標yiは0となる。このように第2の指標yiは、データセットに含まれる複数の画像におけるオブジェクトiの希少度に応じて、0以上log|J|以下の値をとる。
【0050】
検出パラメタ更新部14は、第1の指標と第2の指標との積に基づいて、第1の検出パラメタ(T1i)と、第2の検出パラメタ(T2i)とを更新する。
【0051】
より詳しくは、検出パラメタ更新部14は、第1の指標と第2の指標との積が大きくなるにつれて、第1の検出パラメタおよび第2の検出パラメタを小さくする。本実施形態では、検出パラメタ更新部14は、式(3)により第1の検出パラメタを更新する。
【数3】
【0052】
ここで、T1i,j+1:オブジェクトiの更新後の第1の検出パラメタ、T1i,j:オブジェクトiの更新前の第1の検出パラメタ、zi,jは第1の指標と第2の指標との積(=xi,j×yi)である。
【0053】
同様に、検出パラメタ更新部14は、式(4)により第2の検出パラメタを更新する。
【数4】
【0054】
ここで、T2i,j+1:オブジェクトiの更新後の第2の検出パラメタ、T2i,j:オブジェクトiの更新前の第2の検出パラメタ、zi,jは第1の指標と第2の指標との積(=xi,j×yi)である。
【0055】
式(3)および式(4)によれば、オブジェクトiが頻出かつ希少であるほど(すなわち、z
i,jが大きいほど)、更新後の第1および第2の検出パラメタの値は小さくなるため、当該オブジェクトを検出し易くなる。一般的には検出パラメタを小さくすると誤検出のおそれがあるが、本実施形態では、第1の指標と第2の指標の積に基づいて検出パラメタを調整することで、検出精度の向上を実現している。実際の検出結果については、後ほど
図13を参照して説明する。
【0056】
なお、式(3)、式(4)は一例に過ぎない。例えば、式(5)に示すように、関数fを用いてz
i,jを計算してもよい。関数fは、増加関数であり、例えば指数関数、対数関数、多項式関数である。
【数5】
【0057】
また、z
i,jは、式(6)に示すように、関数fおよび関数gを用いて第1の指標x
i,jおよび第2の指標y
iをそれぞれ変換した値の積として求められてもよい。関数f,関数gは、増加関数であり、例えば指数関数、対数関数、多項式関数である。本願において「第1の指標と第2の指標との積(に基づいて)」との文言は、第1の指標に基づく値と第2の指標に基づく値との積も含む。
【数6】
【0058】
以上説明したように、本実施形態に係る検出パラメタ生成装置1では、頻出度を示す第1の指標と、希少度を示す第2の指標とを、オブジェクトごとに算出する。そして、第1の指標と第2の指標との積に基づいて、各オブジェクトの第1および第2の検出パラメタを生成する。これにより、オブジェクトの頻出度および希少度に応じて検出パラメタがオブジェクトごとに調整され、特徴の異なる複数種類のオブジェクトを高い精度で検出することを可能とする検出パラメタを試行錯誤することなく容易に生成することができる。
【0059】
さらに、本実施形態によれば、オブジェクトごとの検出パラメタが自動的に調整されるため、従来の手動による場合と比較して大幅な効率化を実現することができる。
【0060】
なお、検出パラメタの更新にあたっては、手動で設定可能な調整パラメタを盛り込んでもよい。これにより、人の感覚に基づいて検出パラメタを調整することができる。例えば、第1の検出パラメタおよび第2の検出パラメタは、式(7)および式(8)よりそれぞれ更新される。これらの式において調整パラメタα
1,α
2は通常1であるが、それまでと傾向の異なるデータである等の理由で検出精度が思うように向上しない場合には、これらの手動調整パラメタを1から増減させることにより、検出精度の向上を図ることができる。
【数7】
【数8】
【0061】
また、データセットの更新に合わせて第1および第2の検出パラメタを更新してもよい。すなわち、J枚の建築設備図面に対する検出パラメタが生成された後、新たな図面が取得された場合、図面データベース51を更新し、第1および第2の検出パラメタを更新してもよい。
【0062】
<検出パラメタの生成方法>
次に、
図8を参照して、本実施形態に係る検出パラメタの生成方法について説明する。
【0063】
ステップS11では、データ入力部11が、オブジェクトごとの第1の検出パラメタおよび第2の検出パラメタの初期値(T1i,1、T2i,1)を取得する。なお、本ステップで取得される初期値は、オブジェクトの種類に依存しない共通の値でもよい。また、初期値は、ユーザが操作入力部30を介して入力してもよいし、記憶部50に予め格納されていてもよいし、通信部20を介して外部の装置から取得されてもよい。
【0064】
ステップS12では、制御部10が、2つの変数i,jを初期化する。本実施形態では、変数iおよび変数jを1にする。変数iはオブジェクトの番号を示し、変数jは画像の番号を示す。なお、本ステップS12はステップS11の前に行ってもよい。
【0065】
ステップS13では、制御部10が、変数jがデータセットの画像数J以下であるかどうかを判定する。変数jが画像数J以下であれば(S13:Yes)、ステップS14に進む。
【0066】
一方、変数jが画像数Jより大きければ(S13:No)、検出パラメタ生成処理を終了する。この際、第1の検出パラメタが0未満である場合は、最終的に生成する第1の検出パラメタの値を所定の最小値(例えば0)とする。また、第1の検出パラメタが1より大きい場合は、最終的に生成する第1の検出パラメタの値は所定の最大値(例えば1)とする。第2の検出パラメタについても同様である。
【0067】
ステップS14では、制御部10が、変数iがオブジェクトの種類数I以下であるかどうかを判定する。変数iが種類数I以下であれば(S14:Yes)、ステップS15に進む。一方、変数iが種類数Iより大きければ(S14:No)、変数jを1つ増加させた後(ステップS19)、ステップS13に戻る。
【0068】
ステップS15では、頻出度指標算出部12が、画像jにおけるオブジェクトiの頻出度を示す第1の指標x
i,jを求める。本実施形態では、頻出度指標算出部12は、
図7の図面データベースを参照し、前述の式(1)を用いて第1の指標x
i,jを算出する。
【0069】
ステップS16では、希少度指標算出部13が、データセット(J枚の画像)におけるオブジェクトiの希少度を示す第2の指標y
iを求める。本実施形態では、希少度指標算出部13は、
図7に示す図面データベースを参照し、前述の式(2)を用いて第2の指標y
iを算出する。なお、ステップS15とステップS16の実行順序は逆であってもよい。
【0070】
ステップS17では、検出パラメタ更新部14が、第1の指標xi,jと第2の指標yiとの積に基づいて、第1の検出パラメタT1iおよび第2の検出パラメタT2iを更新する。本実施形態では、検出パラメタ更新部14は、前述の式(3)を用いて第1の検出パラメタT1iを更新し、前述の式(4)を用いて第2の検出パラメタT2iを更新する。
【0071】
ステップS17の後、制御部10が、変数iを1つ増加させた後(ステップS18)、ステップS14に戻る。
【0072】
上記の検出パラメタの生成方法によれば、オブジェクトの頻出度および希少度に応じて検出パラメタがオブジェクトごとに調整され、特徴の異なる複数種類のオブジェクトを高い精度で検出することを可能とする検出パラメタを容易に生成することができる。
【0073】
<オブジェクト検出装置>
次に、
図9を参照して、検出パラメタ生成装置1により生成された第1および第2の検出パラメタを用いて、画像(検出用画像)に含まれるオブジェクトを検出するオブジェクト検出装置100について説明する。
【0074】
本実施形態に係るオブジェクト検出装置100は、
図9に示すように、制御部110と、通信部120と、操作入力部130と、表示部140と、記憶部150とを備えている。
【0075】
制御部110は、オブジェクト検出装置100の動作を制御するものであり、ハードウェアとしてはCPU(中央処理装置)等のプロセッサにより構成される。本実施形態では、制御部110は、オブジェクト検出装置100内のプロセッサが所定のプログラムを実行することにより実現される。なお、制御部110の少なくとも一部がASIC等のハードウェアにより構成されてもよい。制御部110の詳細については後ほど詳しく説明する。
【0076】
通信部120は、オブジェクト検出装置100と外部の情報処理装置(図示せず)との間で情報を送受信する。例えば、通信部120は検出パラメタ生成装置1から検出パラメタを受信する。なお、通信部120による通信は、有線・無線の別を問わず、また通信プロトコルも限定されない。
【0077】
操作入力部130は、ユーザがオブジェクト検出装置100に情報を入力するためのインターフェースであり、例えば、キーボード、マウス、タッチパネル、ボタン等である。操作入力部130は、ユーザから、検出用画像の指定やオブジェクト検出指示などを受け付ける。
【0078】
表示部140は、ユーザへ各種情報(例えばオブジェクトの検出結果など)を出力するインターフェースである。この表示部140は、例えば、映像を表示するディスプレイ(液晶ディスプレイ、有機ELディスプレイ等)である。
【0079】
記憶部150は、ハードディスクまたは半導体メモリなどから構成される記憶装置である。この記憶部150には、DBNデータ151および検出パラメタデータベース152が記憶されている。なお、記憶部150には、制御部110による情報処理に必要なプログラムやデータが記憶されてもよい。
【0080】
DBNデータ151は、ステップS1で構築された構造適応型DBNに係るデータ(ニューラルネットワークの形状(層数、各相のニューロン数)、ニューロン間の重み、ニューロンのバイアス等のパラメタ値)である。
【0081】
検出パラメタデータベース152は、検出パラメタ生成装置1によって生成された、オブジェクトi(1≦i≦I)の第1の検出パラメタT1iおよび第2の検出パラメタT2iが格納されている。
【0082】
次に、制御部110について詳しく説明する。
【0083】
制御部110は、
図9に示すように、画像入力部111と、画像分割部112と、確率取得部(第1の確率取得部)113と、変形画像作成部114と、確率取得部(第2の確率取得部)115と、判定部116とを有する。なお、制御部110が有する各機能部は、通信接続された複数の情報処理装置に分散して設けられ、これら複数の情報処理装置が協働することによって制御部110の機能が実現されてもよい。
【0084】
画像入力部111は、検出用画像を入力する。
図10は検出用画像の一例(マンションの建築設備図面)を示している。なお、検出用画像は、予め記憶部150に記憶されていてもよいし、通信部120を介して外部装置から取得されてもよいし、CD-ROMやSDカード等の情報記録媒体から取得されてもよい。
【0085】
画像分割部112は、検出用画像を複数の分割画像に分割する。例えば、画像分割部112は、入力された検出用画像を複数の矩形領域に沿って分割する。
【0086】
なお、検出用画像の分割は矩形に限られず、例えばボロノイ領域を用いて矩形の場合よりもオブジェクト検出に適した分割画像を生成してもよい。この場合、画像分割部112は、離散ボロノイ図に基づいて複数のボロノイ領域を生成し、生成された複数のボロノイ領域を用いて検出用画像を複数の分割画像に分割する。
【0087】
確率取得部113は、分割画像を構造適応型DBNの入力層に与えて、構造適応型DBNの出力層に出力された、あるオブジェクトに対する確率(第1の確率)を取得する。本実施形態では、確率取得部113は、画像分割部112により作成された複数の分割画像を順次、構造適応型DBNの入力層に与えて、各分割画像に対する出力層の値(すなわち、オブジェクトごとの確率)を取得する。
【0088】
変形画像作成部114は、確率取得部113により取得された確率(オブジェクトiの確率)が第1の検出パラメタ(T1i)よりも大きければ、分割画像に基づいて複数の変形画像を作成する。
【0089】
ここで、
図11を参照して変形画像の作成方法について説明する。なお、
図11では変形画像の輪郭のみを示している。
【0090】
まず、変形画像作成部114は、分割画像の中心点から所定のサイズを抽出する。
図11の例では、分割画像の中心点から縦50ピクセル、横50ピクセルの画像Tを抽出する。そして、変形画像作成部114は、画像Tのサイズを変えて複数の画像を作成する。
図11の例では、画像Tの縦横のサイズを100ピクセルまで10ピクセルずつ増加させて合計35個の画像を作成している。変形画像作成部114が作成する複数の変形画像は、画像Tと、画像Tのサイズを変更した画像(この例では36枚の画像)を含む。
【0091】
確率取得部115は、変形画像作成部114により作成された変形画像を、ステップS1で構築された構造適応型DBNの入力層に与えて、構造適応型DBNの出力層に出力された、あるオブジェクトに対する確率(第2の確率)を取得する。本実施形態では、確率取得部115は、変形画像作成部114により作成された複数の変形画像を順次、構造適応型DBNの入力層に与えて、各変形画像についての出力層の値(すなわち、オブジェクトごとの確率)を取得する。
【0092】
判定部116は、確率取得部115により取得された、オブジェクトiに対する確率が、当該オブジェクトに対する第2の検出パラメタT2iよりも大きければ、オブジェクトiを検出したと判定する。本実施形態では、変形画像作成部114により作成された複数の変形画像のうち少なくとも1つの変形画像について、オブジェクトiに対する確率が第2の検出パラメタT2iより大きいならば、オブジェクトiを検出したと判定する。
【0093】
上記のように、本実施形態に係るオブジェクト検出装置100では、検出用画像を分割した分割画像について第1の検出パラメタで1段階目の判定を行い、その後、分割画像から作成した変形画像について第2の検出パラメタで2段階目の判定を行う。これにより、本実施形態によれば、検出用画像から、特徴の異なる複数種類のオブジェクトを高精度で検出することができる。
【0094】
<オブジェクトの検出方法>
次に、
図12を参照して、本実施形態に係るオブジェクトの検出方法について説明する。
【0095】
ステップS21では、画像入力部111が検出用画像を入力する。
【0096】
ステップS22では、画像分割部112が、ステップS21で入力された検出用画像を複数の分割画像に分割する。本ステップにおいて、検出用画像はN個の分割画像に分割される。
【0097】
ステップS23では、制御部110が、2つの変数i,nを初期化する。変数iはオブジェクトの番号を示し、変数nは分割画像の番号を示す。本実施形態では、変数iおよび変数nを1にする。なお、本ステップS23はステップS21またはステップS22の前に行ってもよい。
【0098】
ステップS24では、制御部110が、変数nが分割画像の総数N以下であるかどうかを判定する。変数nが総数N以下であれば(S24:Yes)、ステップS25に進む。一方、変数nが総数Nより大きければ(S24:No)、オブジェクト検出処理を終了する。
【0099】
ステップS25では、確率取得部113が、ステップS1で構築された構造適応型DBNの入力層にn番目の分割画像を与えて、出力層に出力された各オブジェクトの確率を取得する。
【0100】
ステップS26では、制御部110が、変数iがオブジェクトの種類数I以下であるかどうかを判定する。変数iが種類数I以下であれば(S26:Yes)、ステップS27に進む。一方、変数iが種類数Iより大きければ(S26:No)、変数nを1つ増加させて(ステップS33)、ステップS24に戻る。
【0101】
ステップS27では、制御部110が、オブジェクトiの確率が第1の検出パラメタT1iよりも大きいかどうかを判定する。オブジェクトiの確率が第1の検出パラメタT1iよりも大きい場合(S27:Yes)、ステップS28に進む。一方、オブジェクトiの確率が第1の検出パラメタT1i以下の場合(S27:No)、変数iを1つ増加させた後(ステップS32)、ステップS26に戻る。
【0102】
ステップS28では、変形画像作成部114が、n番目の分割画像に基づいて複数の変形画像を作成する。本ステップでは、
図11を参照して説明したように分割画像から複数の変形画像が作成される。
【0103】
ステップS29では、確率取得部115が、ステップS28で作成された複数の変形画像をステップS1で構築された構造適応型DBNの入力層に順次与えて、各変形画像についての出力層の値(すなわち、オブジェクトごとの確率)を取得する。
【0104】
ステップS30では、判定部116が、ステップS28で作成された複数の変形画像ごとに、ステップS29において取得されたオブジェクトiに対する確率が第2の検出パラメタT2iより大きいかどうかを判定する。そして、複数の変形画像のうち少なくとも1つの変形画像について、オブジェクトiに対する確率が第2の検出パラメタT2iより大きいならば(S30:Yes)、オブジェクトiを検出したと判定する(ステップS31)。その後、変数iを1つ増加させた後(ステップS32)、ステップS26に戻る。
【0105】
一方、ステップS28で作成された複数の変形画像のすべてについて、オブジェクトiに対する確率が第2の検出パラメタT2i以下であるならば(S30:No)、判定部116が、オブジェクトiを検出しないと判定し、変数iを1つ増加させた後(ステップS32)、ステップS26に戻る。
【0106】
上記のように本実施形態に係るオブジェクトの検出方法では、分割画像について第1の検出パラメタを用いて1段階目の判定を行い(ステップS27)、その後、分割画像から作成された変形画像について第2の検出パラメタを用いて2段階目の判定を行う(ステップS30)。検出パラメタ生成装置1により生成された第1および第2の検出パラメタを用いて2段階の判定処理を行う。これにより、本実施形態によれば、検出用画像から、特徴の異なる複数種類のオブジェクトを高精度で検出することができる。
【0107】
図13は、本実施形態に係るオブジェクト検出装置・方法によるオブジェクトの検出精度を、従来のオブジェクト検出アルゴリズム(手動調整)による検出精度と比較したものである。ここでいう検出精度は、データセット(J枚の建築設備図面)に含まれる部品総数のうち正しく検出された部品の割合である。なお、
図13中のT1,T2の値は検出パラメタの初期値を示している。ここでは、自動調整の場合も初期値は各部品に共通の値とした。
【0108】
図13に示すように、検出パラメタを手動で調整した場合では、最高で98.5%の検出精度が得られたものの、検出精度にばらつきが見られた。これは、各部品の特徴を考慮せずに一律の検出パラメタを使用していることに起因すると考えられる。一方、本実施形態による場合(自動調整)、手動調整のような試行錯誤を経なくとも、部品ごとに検出パラメタが最適値に自動調整されるため、初期値の異なるケース(自動調整1、自動調整2)のいずれにおいても最高の検出精度が得られた。
【0109】
ここで、記号を正しく検出できなかった場合について説明する。
図14は、記号を検出できなかった場合の建築設備図面の一部を示している。
図14には、コンセントを示す記号S31,S32,S33,S34が含まれている。記号S32と記号S34については、コンセント記号の上に他の器具等の画像が重なっているため、検出できなかった。一方、記号S31と記号S34については、コンセント記号の近傍に他の線が存在するものの正しく検出された。
【0110】
このように本実施形態によれば、建築設備図面に含まれる特徴の異なる様々な種類の記号を高い精度で効率良く検出することができる。これにより、建築設備図面を正確に理解する作業を大幅に効率化することができる。その結果、建築物の多様化、働き方改革および人手不足問題に対して貢献することが可能となる。
【0111】
以上、本発明の実施形態について説明した。なお、上記の説明では検出パラメタ生成装置1とオブジェクト検出装置100を別個の装置として説明したが、一体の装置として構成してもよい。
【0112】
上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形を想到できるかもしれないが、本発明の態様は、上述した実施形態に限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0113】
1 検出パラメタ生成装置
10 制御部
11 データ入力部
12 頻出度指標算出部
13 希少度指標算出部
14 検出パラメタ更新部
20 通信部
30 操作入力部
40 表示部
50 記憶部
51 図面データベース
100 オブジェクト検出装置
110 制御部
111 画像入力部
112 画像分割部
113 確率取得部
114 変形画像作成部
115 確率取得部
116 判定部
120 通信部
130 操作入力部
140 表示部
150 記憶部
151 DBNデータ
152 検出パラメタデータベース
M1,M2,M3,M4,M5 記号
N1,N2,N3,N4,N5 (出力層の)ニューロン