IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧

特許7603903情報処理装置、検出方法、及び検出プログラム
<>
  • 特許-情報処理装置、検出方法、及び検出プログラム 図1
  • 特許-情報処理装置、検出方法、及び検出プログラム 図2
  • 特許-情報処理装置、検出方法、及び検出プログラム 図3
  • 特許-情報処理装置、検出方法、及び検出プログラム 図4
  • 特許-情報処理装置、検出方法、及び検出プログラム 図5
  • 特許-情報処理装置、検出方法、及び検出プログラム 図6
  • 特許-情報処理装置、検出方法、及び検出プログラム 図7
  • 特許-情報処理装置、検出方法、及び検出プログラム 図8
  • 特許-情報処理装置、検出方法、及び検出プログラム 図9
  • 特許-情報処理装置、検出方法、及び検出プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-12
(45)【発行日】2024-12-20
(54)【発明の名称】情報処理装置、検出方法、及び検出プログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20241213BHJP
   H02G 1/02 20060101ALI20241213BHJP
【FI】
G01N21/88 J
H02G1/02
【請求項の数】 9
(21)【出願番号】P 2024559358
(86)(22)【出願日】2023-02-17
(86)【国際出願番号】 JP2023005718
【審査請求日】2024-10-04
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100116964
【弁理士】
【氏名又は名称】山形 洋一
(74)【代理人】
【識別番号】100120477
【弁理士】
【氏名又は名称】佐藤 賢改
(74)【代理人】
【識別番号】100135921
【弁理士】
【氏名又は名称】篠原 昌彦
(74)【代理人】
【識別番号】100203677
【弁理士】
【氏名又は名称】山口 力
(72)【発明者】
【氏名】守谷 愛梨
(72)【発明者】
【氏名】加島 隆博
【審査官】小野寺 麻美子
(56)【参考文献】
【文献】特開2020-34387(JP,A)
【文献】韓国公開特許第10-2022-0111367(KR,A)
【文献】国際公開第2018/142613(WO,A1)
【文献】特開2022-47982(JP,A)
【文献】特開2021-21622(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G01B 11/00 - G01B 11/30
H02G 1/02
G06T 1/00 - G06T 9/40
(57)【特許請求の範囲】
【請求項1】
撚線の画像を取得し、撚線を示す基準画像を取得し、前記画像内から複数の比較画像を取得する取得部と、
前記基準画像と、前記複数の比較画像のそれぞれとの類似度を算出する算出部と、
複数の前記類似度を用いて、同じ模様の撚線の画像を取得するための長さを検出する検出部と、
を有し、
前記複数の比較画像のそれぞれは、前記基準画像と同じ大きさの画像である、
情報処理装置。
【請求項2】
前記撚線の前記画像が水平ではない場合、前記撚線の前記画像が水平になるように、幾何学変換を行う変換部をさらに有する、
請求項1に記載の情報処理装置。
【請求項3】
撚線の画像を取得する取得部と、
窓関数を用いて、前記撚線の前記画像を変換し、前記窓関数により変換された画像に対して、フーリエ変換を行う変換部と、
前記フーリエ変換により得られた画像である振幅スペクトル画像のピークを示す位置によって表わされる周波数を用いて、周期を算出する算出部と、
前記周期を、同じ模様の撚線の画像を取得するための長さとして検出する検出部と、
を有する情報処理装置。
【請求項4】
前記変換部は、前記撚線の前記画像をグレースケールに変換する、
請求項3に記載の情報処理装置。
【請求項5】
前記変換部は、前記撚線の前記画像が水平ではない場合、前記撚線の前記画像が水平になるように、幾何学変換を行う、
請求項3又は4に記載の情報処理装置。
【請求項6】
情報処理装置が、
撚線の画像を取得し、撚線を示す基準画像を取得し、前記画像内から複数の比較画像を取得し、
前記基準画像と、前記複数の比較画像のそれぞれとの類似度を算出し、
前記撚線の画像に基づいて、複数の前記類似度を用いて、同じ模様の撚線の画像を取得するための長さを検出
前記複数の比較画像のそれぞれは、前記基準画像と同じ大きさの画像である、
検出方法。
【請求項7】
情報処理装置が、
撚線の画像を取得し、
窓関数を用いて、前記撚線の前記画像を変換し、前記窓関数により変換された画像に対して、フーリエ変換を行い、
前記フーリエ変換により得られた画像である振幅スペクトル画像のピークを示す位置によって表わされる周波数を用いて、周期を算出し、
前記周期を、同じ模様の撚線の画像を取得するための長さとして検出する、
検出方法。
【請求項8】
情報処理装置に、
撚線の画像を取得し、撚線を示す基準画像を取得し、前記画像内から複数の比較画像を取得し、
前記基準画像と、前記複数の比較画像のそれぞれとの類似度を算出し、
前記撚線の画像に基づいて、複数の前記類似度を用いて、同じ模様の撚線の画像を取得するための長さを検出する、
処理を実行させる検出プログラムであり、
前記複数の比較画像のそれぞれは、前記基準画像と同じ大きさの画像である、
検出プログラム。
【請求項9】
情報処理装置に、
撚線の画像を取得し、
窓関数を用いて、前記撚線の前記画像を変換し、前記窓関数により変換された画像に対して、フーリエ変換を行い、
前記フーリエ変換により得られた画像である振幅スペクトル画像のピークを示す位置によって表わされる周波数を用いて、周期を算出し、
前記周期を、同じ模様の撚線の画像を取得するための長さとして検出する、
処理を実行させる検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、検出方法、及び検出プログラムに関する。
【背景技術】
【0002】
撚線が使われている。例えば、撚線は、電線に使われている。ここで、電線の点検に関する技術が提案されている(特許文献1を参照)。特許文献1の自動点検装置は、異常候補の画像の抽出をそれぞれ独立した矩形状の領域に分割して行う。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平10-117415号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記技術のように、撚線を点検する場合、撚線を含む画像が分割される場合がある。分割された各画像内の撚線の模様が、それぞれ異なる場合、正常な撚線が異常と判定される場合がある。
【0005】
本開示の目的は、同じ模様の撚線の画像を取得するための長さを検出することである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る情報処理装置が提供される。情報処理装置は、撚線の画像を取得し、撚線を示す基準画像を取得し、前記画像内から複数の比較画像を取得する取得部と、前記基準画像と、前記複数の比較画像のそれぞれとの類似度を算出する算出部と、複数の前記類似度を用いて、同じ模様の撚線の画像を取得するための長さを検出する検出部と、を有する。前記複数の比較画像のそれぞれは、前記基準画像と同じ大きさの画像である。
【発明の効果】
【0007】
本開示によれば、同じ模様の撚線の画像を取得するための長さを検出することができる。
【図面の簡単な説明】
【0008】
図1】実施の形態1の情報処理装置が有するハードウェアを示す図である。
図2】実施の形態1の情報処理装置の機能を示すブロック図である。
図3】実施の形態1の幾何学変換の例を示す図である。
図4】(A),(B)は、実施の形態1の類似度の算出の例を示す図である。
図5】実施の形態1の検出処理の具体例を示す図である。
図6】実施の形態1の情報処理装置が実行する処理の例を示すフローチャートである。
図7】実施の形態2の情報処理装置の機能を示すブロック図である。
図8】実施の形態2の変換後の画像のイメージの例を示す図である。
図9】実施の形態2の振幅スペクトル画像の例を示す図である。
図10】実施の形態2の情報処理装置が実行する処理の例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
【0010】
実施の形態1.
図1は、実施の形態1の情報処理装置が有するハードウェアを示す図である。情報処理装置100は、検出方法を実行する装置である。情報処理装置100は、プロセッサ101、揮発性記憶装置102、及び不揮発性記憶装置103を有する。
【0011】
プロセッサ101は、情報処理装置100全体を制御する。例えば、プロセッサ101は、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などである。プロセッサ101は、マルチプロセッサでもよい。また、情報処理装置100は、処理回路を有してもよい。
【0012】
揮発性記憶装置102は、情報処理装置100の主記憶装置である。例えば、揮発性記憶装置102は、RAM(Random Access Memory)である。不揮発性記憶装置103は、情報処理装置100の補助記憶装置である。例えば、不揮発性記憶装置103は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)である。
【0013】
次に、情報処理装置100が有する機能を説明する。
図2は、実施の形態1の情報処理装置の機能を示すブロック図である。情報処理装置100は、記憶部110、取得部120、変換部130、算出部140、及び検出部150を有する。
【0014】
記憶部110は、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
【0015】
取得部120、変換部130、算出部140、及び検出部150の一部又は全部は、処理回路によって実現してもよい。また、取得部120、変換部130、算出部140、及び検出部150の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ101が実行するプログラムは、検出プログラムとも言う。例えば、検出プログラムは、記録媒体に記録されている。
【0016】
記憶部110は、様々な情報を記憶する。
【0017】
ここで、情報処理装置100が実行する処理を簡単に説明する。情報処理装置100は、撚線の画像を取得する。情報処理装置100は、撚線の画像に基づいて、同じ模様の撚線の画像を取得するための長さを検出する。以下、情報処理装置100が実行する処理を、詳細に説明する。
【0018】
取得部120は、撚線を含む画像を取得してもよい。例えば、取得部120は、当該画像を記憶部110から取得する。また、例えば、取得部120は、当該画像をカメラから取得する。また、例えば、取得部120は、当該画像を外部装置から取得する。なお、例えば、外部装置は、クラウドサーバである。また、外部装置の図は、省略されている。
また、例えば、撚線は、電線、電柱を支えるワイヤー、橋を支えるワイヤーなどである。
【0019】
取得部120は、撚線を含む画像から、抽出された撚線の画像を取得してもよい。言い換えれば、取得部120は、撚線を含む画像から、抽出された撚線の画像領域を取得してもよい。なお、抽出処理は、情報処理装置100が実行してもよい。
【0020】
取得部120は、撚線の画像を取得する。上記したように、取得部120は、抽出された撚線の画像を取得してもよい。また、取得部120は、撚線の画像を記憶部110又は外部装置から取得してもよい。
【0021】
変換部130は、撚線の画像が水平ではない場合、撚線の画像が水平になるように、幾何学変換を行う。ここで、撚線の画像が水平にされる場合を、具体例を用いて示す。
【0022】
図3は、実施の形態1の幾何学変換の例を示す図である。図3の上図は、撚線の画像10が水平ではないことを示している。変換部130は、画像10が水平ではない場合、画像10が水平になるように、幾何学変換を行う。これにより、画像10が、水平になる。
【0023】
取得部120は、撚線を示す基準画像を取得する。また、算出部140は、撚線の画像内の比較画像と、基準画像との類似度を算出する。ここで、類似度の算出を、具体例を用いて説明する。
【0024】
図4(A),(B)は、実施の形態1の類似度の算出の例を示す図である。図4(A)は、類似度の算出の例(その1)を示す図である。取得部120は、予め定められた長さの画像を、基準画像として、撚線の画像から取得する。図4(A)は、基準画像20を示している。
【0025】
取得部120は、基準画像20を1画素、右にずらすことにより得られた画像であり、かつ予め定められた長さの画像(つまり、基準画像20と同じ大きさの画像)を、比較画像として、取得する。これにより、比較画像21が、得られる。
【0026】
算出部140は、基準画像20と比較画像21との類似度を算出する。詳細には、算出部140は、テンプレートマッチングの技術を用いて、類似度を算出する。例えば、算出部140は、正規化相互相関を用いて、類似度を算出する。具体的には、算出部140は、式(1)を用いて、類似度を算出する。なお、Rは、類似度である。Nは、基準画像又は比較画像の縦の長さである。Mは、基準画像又は比較画像の横の長さである。I(i,j)は、比較画像のi行j列の画素値を意味する。T(i,j)は、基準画像のi行j列の画素値を意味する。
【0027】
【数1】
【0028】
また、例えば、算出部140は、SSD(Sum of Squared Difference)を用いて、類似度を算出する。具体的には、算出部140は、式(2)を用いて、類似度を算出する。なお、式(2)で用いられている記号は、式(1)で用いられている記号と同じ意味である。
【0029】
【数2】
【0030】
次に、取得部120は、比較画像21を1画素、右にずらすことにより得られた画像であり、かつ予め定められた長さの画像(つまり、基準画像20と同じ大きさの画像)を、比較画像として、取得する。これにより、比較画像22が、得られる。算出部140は、基準画像20と比較画像22との類似度を算出する。
【0031】
情報処理装置100は、比較画像の取得と、類似度の算出とを繰り返す。このように、情報処理装置100は、1画像ずつずらして、複数の比較画像を取得する。情報処理装置100は、基準画像と、複数の比較画像のそれぞれとの類似度を算出する。これにより、複数の類似度が、得られる。
【0032】
図4(A)では、基準画像20が撚線の画像から取得される場合を説明した。基準画像が撚線の画像から取得されない場合を説明する。
【0033】
図4(B)は、類似度の算出の例(その2)を示す図である。取得部120は、予め定められた長さの画像である基準画像30を記憶部110又は外部装置から取得する。
【0034】
取得部120は、撚線の画像から、予め定められた長さの画像(つまり、基準画像30と同じ大きさの画像)を、比較画像として、取得する。これにより、比較画像31が、得られる。
【0035】
算出部140は、基準画像30と比較画像31との類似度を算出する。詳細には、算出部140は、テンプレートマッチングの技術を用いて、類似度を算出する。
【0036】
次に、取得部120は、比較画像31を1画素、右にずらすことにより得られた画像であり、かつ予め定められた長さの画像(つまり、基準画像30と同じ大きさの画像)を、比較画像として、取得する。これにより、比較画像32が、得られる。算出部140は、基準画像30と比較画像32との類似度を算出する。
【0037】
情報処理装置100は、比較画像の取得と、類似度の算出とを繰り返す。このように、情報処理装置100は、1画像ずつずらして、複数の比較画像を取得する。情報処理装置100は、基準画像と、複数の比較画像のそれぞれとの類似度を算出する。これにより、複数の類似度が、得られる。
【0038】
検出部150は、複数の類似度を用いて、撚線の画像を分割する長さを検出する。言い換えれば、検出部150は、複数の類似度を用いて、同じ模様の撚線の画像を取得するための長さを検出する。ここで、検出処理を、具体例を用いて説明する。
【0039】
図5は、実施の形態1の検出処理の具体例を示す図である。図5は、複数の類似度と画像位置との関係をグラフで表した図である。縦軸は、類似度を示している。横軸は、画像位置を示している。
【0040】
検出部150は、類似度が高い画像位置X1を検出する。また、検出部150は、類似度が高い画像位置X2を検出する。検出部150は、画像位置X1と画像位置X2との間の長さを、撚線の画像を分割する長さとして検出する。検出された長さで撚線の画像が分割された場合、各画像の撚線の模様は、同じになる。
【0041】
上記では、情報処理装置100が、比較画像の取得と、類似度の算出とを繰り返すことを説明した。繰り返しの回数は、分割の長さを検出できる回数以上である。
【0042】
情報処理装置100は、分割の長さが検出された後、次の処理を実行してもよい。情報処理装置100は、撚線の画像を、当該長さに分割する。情報処理装置100は、分割することにより得られた複数の分割画像を用いて、撚線が正常であるか否かを検査する。なお、情報処理装置100は、公知技術を用いて、検査を行ってもよい。
【0043】
次に、情報処理装置100が実行する処理を、フローチャートを用いて、説明する。
図6は、実施の形態1の情報処理装置が実行する処理の例を示すフローチャートである。
(ステップS11)取得部120は、撚線を含む画像を取得する。
(ステップS12)取得部120は、当該画像から、撚線の画像を取得する。
(ステップS13)変換部130は、撚線の画像が水平であるか否かを判定する。撚線の画像が水平である場合、処理は、ステップS15に進む。撚線の画像が水平でない場合、処理は、ステップS14に進む。
【0044】
(ステップS14)変換部130は、撚線の画像が水平になるように、幾何学変換を行う。
(ステップS15)算出部140は、予め定められた数を繰り返したか否かを判定する。条件を満たす場合、処理は、ステップS18に進む。条件を満たさない場合、処理は、ステップS16に進む。
【0045】
(ステップS16)取得部120は、撚線の画像から比較画像を取得する。例えば、取得部120は、基準画像を1画素、右にずらすことにより得られた画像を、比較画像として取得する。また、例えば、取得部120は、前回、取得された比較画像を1画素、右にずらすことにより得られた画像を、ステップS17で用いられる比較画像として取得する。
(ステップS17)算出部140は、基準画像と比較画像との類似度を算出する。そして、処理は、ステップS15に進む。
(ステップS18)検出部150は、複数の類似度を用いて、撚線の画像を分割する長さを検出する。
【0046】
実施の形態1によれば、情報処理装置100は、複数の類似度を用いて、撚線の画像を分割する長さを検出する。検出された長さで撚線の画像が分割された場合、各画像の撚線の模様は、同じになる。よって、情報処理装置100は、同じ模様の撚線の画像を取得するための長さを検出することができる。
【0047】
実施の形態2.
次に、実施の形態2を説明する。実施の形態2では、実施の形態1と相違する事項を主に説明する。そして、実施の形態2では、実施の形態1と共通する事項の説明を省略する。
実施の形態2では、情報処理装置が実施の形態1と異なる方法で分割の長さを検出する場合を説明する。
【0048】
図7は、実施の形態2の情報処理装置の機能を示すブロック図である。情報処理装置100aは、記憶部110、取得部120a、変換部130a、算出部140a、及び検出部150aを有する。
【0049】
取得部120a、変換部130a、算出部140a、及び検出部150aの一部又は全部は、処理回路によって実現してもよい。また、取得部120a、変換部130a、算出部140a、及び検出部150aの一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。
【0050】
取得部120aは、撚線の画像を取得する。例えば、取得部120aは、抽出された撚線の画像を取得してもよい。また、取得部120aは、撚線の画像を記憶部110又は外部装置から取得してもよい。
【0051】
変換部130aは、撚線の画像が水平でない場合、撚線の画像が水平になるように、幾何学変換を行う。
変換部130aは、撚線の画像をグレースケールに変換してもよい。以下の説明では、撚線の画像は、グレースケールに変換されるものとする。
【0052】
変換部130aは、窓関数を用いて、撚線の画像を変換する。例えば、窓関数は、ハン窓である。例えば、ハン窓が用いられた場合、変換後の画像は、式(3)で表される。詳細には、式(3)により、変換後のy行x列の画素値が、vx1,y1で表される。
【0053】
【数3】
【0054】
x,yは、変換前のy行x列の画素値である。w(x)は、式(4)で表される。
【0055】
【数4】
【0056】
Xは、撚線の画像の横の長さである。w(y)は、式(5)で表される。
【0057】
【数5】
【0058】
Yは、撚線の画像の縦の長さである。
【0059】
ここで、変換後の画像のイメージの例を示す。
図8は、実施の形態2の変換後の画像のイメージの例を示す図である。図8は、ハン窓が用いられたときの変換後の画像を示している。
【0060】
変換部130aは、窓関数により変換された画像に対して、フーリエ変換を行う。これにより、振幅スペクトル画像が、得られる。振幅スペクトル画像の例を示す。
【0061】
図9は、実施の形態2の振幅スペクトル画像の例を示す図である。図9は、振幅スペクトル画像40のピークを示している。ピークは、振幅スペクトル画像40の画素値の中で、最も高い値である。なお、ピークが振幅スペクトル画像40の端に表れている場合、当該ピークは、除外される。つまり、ピークが振幅スペクトル画像40の端に表れている場合、2番目に高い画素値が、実施の形態2におけるピークになる。また、ピークは、上下左右対称に現れる。さらに、振幅スペクトル画像40のピークを示す位置は、周波数で表わされる。詳細には、振幅スペクトル画像40の横方向をx方向とした場合、ピークを示す位置のx座標が、周波数で表わされる。
図9は、2つのピークを示している。算出部140aは、いずれか1つのピークを示す位置により表わされる周波数を用いて、以下の算出を行う。
【0062】
算出部140aは、周波数を用いて、周期Tを算出する。具体的には、算出部140aは、式(6)を用いて、周期Tを算出する。なお、fは、周波数である。Xは、撚線の画像の横の長さである。
【0063】
【数6】
【0064】
周期Tは、同じ模様の撚線の画像を取得するための長さである。検出部150aは、周期Tを、撚線の画像を分割する長さとして、検出してもよい。
【0065】
次に、実施の形態2で実行される処理を、フローチャートを用いて説明する。
図10は、実施の形態2の情報処理装置が実行する処理の例を示すフローチャートである。
(ステップS21)取得部120aは、撚線を含む画像を取得する。
(ステップS22)取得部120aは、当該画像から、撚線の画像を取得する。
(ステップS23)変換部130aは、撚線の画像が水平であるか否かを判定する。撚線の画像が水平である場合、処理は、ステップS25に進む。撚線の画像が水平でない場合、処理は、ステップS24に進む。
(ステップS24)変換部130aは、撚線の画像が水平になるように、幾何学変換を行う。
【0066】
(ステップS25)変換部130aは、撚線の画像をグレースケールに変換する。
(ステップS26)変換部130aは、窓関数を用いて、撚線の画像を変換する。
(ステップS27)変換部130aは、窓関数を用いることにより変換された画像に対して、フーリエ変換を行う。これにより、振幅スペクトル画像が、得られる。
(ステップS28)算出部140aは、振幅スペクトル画像のピークを示す位置によって表わされる周波数を用いて、周期Tを算出する。
(ステップS29)検出部150aは、周期Tを、撚線の画像を分割する長さとして、検出する。
【0067】
実施の形態2によれば、情報処理装置100aは、周期Tを、撚線の画像を分割する長さとして、検出する。検出された長さで撚線の画像が分割された場合、各画像の撚線の模様は、同じになる。よって、情報処理装置100aは、同じ模様の撚線の画像を取得するための長さを検出することができる。
【0068】
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
【符号の説明】
【0069】
10 画像、 20 基準画像、 21 比較画像、 22 比較画像、 30 基準画像、 31 比較画像、 32 比較画像、 40 振幅スペクトル画像、 100 情報処理装置、 100a 情報処理装置、 101 プロセッサ、 102 揮発性記憶装置、 103 不揮発性記憶装置、 110 記憶部、 120 取得部、 120a 取得部、 130 変換部、 130a 変換部、 140 算出部、 140a 算出部、 150 検出部、 150a 検出部。
【要約】
情報処理装置(100)は、撚線の画像を取得する取得部(120)と、撚線の画像に基づいて、同じ模様の撚線の画像を取得するための長さを検出する検出部(150)と、を有する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10