特開 2024-177917 記号識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177917

(43)【公開日】2024-12-24

(54)【発明の名称】記号識別方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20241217BHJP

   G06T 7/62 20170101ALI20241217BHJP

【ＦＩ】

G06T7/60 300A

G06T7/60 200H

G06T7/62

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023096322

(22)【出願日】2023-06-12

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】川上 崇穂

(72)【発明者】

【氏名】則竹 真吾

(72)【発明者】

【氏名】村上 亮

(72)【発明者】

【氏名】柳川 涼

(72)【発明者】

【氏名】桑島 豊

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA03

5L096AA07

5L096BA18

5L096DA02

5L096EA02

5L096FA03

5L096FA06

5L096FA10

5L096FA24

5L096FA59

5L096FA67

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】記号の識別精度を向上させることができる記号識別方法を提供する。
【解決手段】コンピュータが、画像データ内の線で囲まれている領域を塗りつぶす第１処理と、塗りつぶされた領域に膨張処理を施す第２処理と、当該塗りつぶされた領域の輪郭を抽出する第３処理と、当該抽出された輪郭と所定の記号の輪郭との比較の結果が、当該抽出された輪郭と当該所定の記号の輪郭が近似し、当該抽出された輪郭を構成する複数の輪郭点を直線変換することにより互いに交差する２本の直線が検出され、且つ当該抽出された輪郭で囲まれた領域面積と前記所定の記号の面積との差が所定値以下である又は当該抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積と略同一である場合に、当該塗りつぶされた領域を前記所定の記号として識別する第４処理とを実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータが、
画像データ内の線で囲まれている領域を塗りつぶす第１処理と、
前記第１処理で塗りつぶされた領域に膨張処理を施す第２処理と、
前記第１処理で塗りつぶされた領域の輪郭を抽出する第３処理と、
前記第３処理によって抽出された輪郭と所定の記号の輪郭との比較の結果が、前記第３処理によって抽出された輪郭と前記所定の記号の輪郭が近似し、前記第３処理によって抽出された輪郭を構成する複数の輪郭点を直線変換することにより互いに交差する２本の直線が検出され、且つ前記第３処理によって抽出された輪郭で囲まれた領域面積と前記所定の記号の面積との面積差が所定値以下である又は前記第３処理によって抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積と略同一である場合に、前記第１処理で塗りつぶされた領域を前記所定の記号として識別する第４処理と
を実行することを特徴とする記号識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記号識別方法に関する。

【背景技術】

【0002】

従来より、三角形の記号を抽出する記号抽出処理方法が知られている（例えば特許文献１参照）。また、従来より、三角形の仕上げ記号を認識し、立体モデルの表面の質感を表示する技術（例えば特許文献２参照）、図中の記号をテンプレートパターンで照合する技術（例えば特許文献３参照）、パターンマッチングにより記号を抽出する技術（例えば特許文献４参照）、及び記号の図形的構成要素を決定するために予め用意されたメニューから三角形を選択する技術（例えば特許文献５参照）が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開昭６１－１０９３７５号公報

【特許文献2】特開平５－１６５９２３号公報

【特許文献3】特開２００４－２３４４２４号公報

【特許文献4】特開２０２２－２１０３１号公報

【特許文献5】特開平４－５１３６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

たとえば、記号が他の線や文字とつながっている場合、記号を他の線や文字から分離する方法が不明であり、記号を認識するのが困難であった。

【0005】

そこで、本発明では、記号の識別精度を向上させることができる記号識別方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る記号識別方法は、コンピュータが、画像データ内の線で囲まれている領域を塗りつぶす第１処理と、前記第１処理で塗りつぶされた領域に膨張処理を施す第２処理と、前記第１処理で塗りつぶされた領域の輪郭を抽出する第３処理と、前記第３処理によって抽出された輪郭と所定の記号の輪郭との比較の結果が、前記第３処理によって抽出された輪郭と前記所定の記号の輪郭が近似し、前記第３処理によって抽出された輪郭を構成する複数の輪郭点を直線変換することにより互いに交差する２本の直線が検出され、且つ前記第３処理によって抽出された輪郭で囲まれた領域面積と前記所定の記号の面積との面積差が所定値以下である又は前記第３処理によって抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積と略同一である場合に、前記第１処理で塗りつぶされた領域を前記所定の記号として識別する第４処理とを実行することを特徴とする。

【0007】

本発明を実行するコンピュータは、画像データを入力として、記号の識別の結果を出力する学習モデルを用いて、記号の識別の結果を取得してもよい。学習モデルは、ニューラルネットワークなどの公知の機械学習アルゴリズムを利用して生成する。

【発明の効果】

【0008】

本発明によれば、記号の識別精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、情報処理装置の構成を示すブロック図である。

【図2】図２は、情報処理装置で実行される記号識別処理を示すフローチャートである。

【図3】図３（Ａ）は図２のステップＳ２に対応する塗りつぶし処理の一例を示す図である。図３（Ｂ）は図２のステップＳ３に対応する膨張処理の一例を示す図である。図３（Ｃ）は図２のステップＳ４に対応する輪郭抽出処理の一例を示す図である。図３（Ｄ）は図２のステップＳ６に対応する直線処理の一例を示す図である。図３（Ｅ）及び図３（Ｆ）は図２のステップＳ７に対応する面積比較処理の例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態について図面を参照して説明する。

【0011】

図１は、情報処理装置の構成を示すブロック図である。図１の情報処理装置１００は、プロセッサとしてのＣＰＵ（Central Processing Unit）１０１と、メモリとしてのＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３と、ＨＤＤ（Hard Disk Drive）１０４と、インタフェース（ＩＦ）１０５と、ネットワークインタフェース（ＩＦ）１０６と、表示装置１０７とを備えている。情報処理装置１００は、例えば、コンピュータ、サーバまたはスマートフォンによって実現することができる。ＣＰＵ１０１は、バス１０８を介してＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、ＩＦ１０５、ネットワークＩＦ１０６及び表示装置１０７に接続されている。

【0012】

ＩＦ１０５は、例えばＵＳＢ（Universal Serial Bus）であり、撮像装置としてのカメラ１１０に接続されている。本実施の形態では、カメラ１１０は、情報処理装置１００の外部に接続されているが、情報処理装置１００に内蔵されていてもよい。ネットワークＩＦ１０６は、情報処理装置１００を外部のネットワークに接続するためのインタフェースである。カメラ１１０は、ネットワークＩＦ１０６を介して情報処理装置１００に接続されていてもよい。表示装置１０７は、記号識別処理を実行するアプリケーションを表示する。記号識別処理は、文字、数字及び記号を識別する文字認識処理の中に含まれていてもよい。また、表示装置１０７は、画像データ内の記号に対応する位置に、記号識別処理を実行するためのアプリケーションで編集可能な記号を表示したり、又は画像データ内の記号に対応する、記号識別処理を実行するためアプリケーションで編集可能な記号がない場合には、その旨を表示する。

【0013】

ＨＤＤ１０４は、各種の画像処理、記号識別処理を実行するためのアプリケーションまたはプログラムを記憶する。さらに、ＨＤＤ１０４は、情報処理装置１００内の図面作成アプリケーションで作成された図面、カメラ１１０で撮影された図面、およびネットワークＩＦ１０６を介して外部装置や外部メモリから入力された図面を記憶する。なお、上記プログラムは後述するフローチャートに応じたものである。さらに、ＨＤＤ１０４は、各種の画像処理の結果や記号識別処理の結果を記憶する。ＨＤＤ１０４に代えて、ＳＳＤ（Solid State Drive）を採用してもよい。

【0014】

図２は、情報処理装置１００で実行される記号識別処理を示すフローチャートである。図２の記号識別処理は、ＨＤＤ１０４に格納されたプログラムに基づいてＣＰＵ１０１によって実現される。図３（Ａ）は図２のステップＳ２に対応する塗りつぶし処理の一例を示し、図３（Ｂ）は図２のステップＳ３に対応する膨張処理の一例を示し、図３（Ｃ）は図２のステップＳ４に対応する輪郭抽出処理の一例を示し、図３（Ｄ）は図２のステップＳ６に対応する直線処理の一例を示し、図３（Ｅ）及び図３（Ｆ）は図２のステップＳ７に対応する面積比較処理の例を示す。

【0015】

まず、ＣＰＵ１０１は、ＨＤＤ１０４に格納された図面を画像データに変換する（ステップＳ１）。具体的には、図面のフォーマット（pdfやアプリケーション特有のフォーマットなど）を画像データのフォーマット（bmp、gif、jpeg、tiffなど）に変換する。この際、カラーのデータは二値化された白黒の画像データに変換される。変換された画像データはＲＡＭ１０２又はＨＤＤ１０４に保存される。

【0016】

次に、ＣＰＵ１０１は、画像データ内の線で囲まれている領域を塗りつぶす（ステップＳ２）。例えば、図３（Ａ）に示すように、三角形の記号が線とつながっている場合には、ＣＰＵ１０１は三角形の領域を塗りつぶす。なお、図３（Ａ）～図３（Ｆ）では、塗りつぶした領域をハッチングで示す。

【0017】

次いで、ＣＰＵ１０１は、塗りつぶされた領域に膨張処理を施す（ステップＳ３）。膨張処理は、変換対象画素と当該変換対象画素を囲む周辺画素に白があれば、変換対象画素を白に変換し、変換対象画素と周辺画素に白が無い場合は、変換対象画素を黒として維持する処理である。この塗りつぶされた領域に膨張処理を施すと、図３（Ｂ）に示すように、三角形の領域は小さくなるが、塗りつぶされた領域の大部分は残る。塗りつぶされた領域は、図３（Ａ）の線から離れた黒の塊となる。このように、塗りつぶされた領域を、線から離れた黒の塊にすることができるため、記号の識別精度を向上させることができる。

【0018】

次いで、ＣＰＵ１０１は、膨張処理が施された領域の輪郭を抽出する（ステップＳ４）。ここでは、ＣＰＵ１０１は、図３（Ｃ）に示すように、膨張処理が施された領域（黒）と塗りつぶされていない領域（白）との境目の輪郭点群を選択し、膨張処理が施された領域の輪郭とする。図３（Ｃ）に示すように、膨張処理が施された領域の水平部分の直線は２点で表現されるので、膨張処理が施された領域の輪郭はＶ字型になる。また、膨張処理が施された領域の輪郭を示す輪郭点の個数は、３個以上であり、図３（Ｃ）～図３（Ｅ）の例に限定されるものではない。

【0019】

次いで、ＣＰＵ１０１は、ステップＳ４で抽出された、膨張処理が施された輪郭と所定の記号（ここでは正三角形）の輪郭が近似するか否かを判定する（ステップＳ５）。ここでは、図３（Ｃ）に示す左上、右上、最底辺部の３か所の輪郭点で構成される三角形が正三角形に近似する場合、すなわち３つの内角が６０度±５度以内に収まる場合に、ＣＰＵ１０１は、ステップＳ４で抽出された輪郭と所定の記号の輪郭が近似する（ステップＳ５でＹＥＳ）と判定する。

【0020】

ステップＳ４で抽出された輪郭と所定の記号の輪郭が近似しない場合には（ステップＳ５でＮＯ）、ＣＰＵ１０１は、ステップＳ２で塗りつぶされた領域に対応する記号がないと判断し、塗りつぶされた領域に対応する記号がない旨を表示装置１０７に表示し（ステップＳ９）、本処理を終了する。

【0021】

ステップＳ４で抽出された輪郭と所定の記号の輪郭が近似する場合には（ステップＳ５でＹＥＳ）、ＣＰＵ１０１は、ステップＳ４で抽出された輪郭を構成する複数の輪郭点を直線変換することにより、互いに交差する２本の直線が検出されるか否かを判定する（ステップＳ６）。ここでは、図３（Ｄ）に示すように、直線変換（ハフ変換）により互いに交差する２本の直線を検出できるか否かを判定している。この処理では、抽出された輪郭が三角形であるか否かを多面的に判断している。

【0022】

互いに交差する２本の直線が検出されない場合には（ステップＳ６でＮＯ）、上記ステップＳ９に進む。

【0023】

互いに交差する２本の直線が検出された場合には（ステップＳ６でＹＥＳ）、ＣＰＵ１０１は、ステップＳ４で抽出された輪郭で囲まれた領域面積と所定の記号の面積との面積差が所定値以下であるか又はステップＳ４で抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積と略同一であるかを判定する（ステップＳ７）。なお、ステップＳ４で抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積の９０～１１０％の範囲に含まれる場合に、略同一であると判断される。

【0024】

ステップＳ７では、図３（Ｅ）に示すように、ステップＳ４で抽出された輪郭で囲まれた領域面積と所定の記号の面積との面積比較処理が行われている。または、図３（Ｆ）に示すように、ステップＳ４で抽出された輪郭で囲まれた領域面積を２倍した形状と矩形の記号との面積比較処理が行われている。図３（Ｆ）の面積比較処理では、記号の識別結果として、Ｔの文字を排除できる。

【0025】

ステップＳ４で抽出された輪郭で囲まれた領域面積と所定の記号の面積との面積差が所定値以下でない場合又はステップＳ４で抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積と略同一でない場合（ステップＳ７でＮＯ）、上記ステップＳ９に進む。

【0026】

ステップＳ４で抽出された輪郭で囲まれた領域面積と所定の記号の面積との面積差が所定値以下である場合又はステップＳ４で抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積と略同一である場合には（ステップＳ７でＹＥＳ）、ＣＰＵ１０１は、ステップＳ２で塗りつぶされた領域を所定の記号として識別し、画像データ内の塗りつぶされた領域に対応する位置に所定の記号を表示し（ステップＳ８）、本処理を終了する。

【0027】

ステップＳ８では、記号識別処理を実行するためのアプリケーション内で記号が表示されるため、所定の記号は、画像データ内の塗りつぶされた領域に重なるように、白黒以外の色（例えば赤色）で表示される。

【0028】

図２のステップＳ１～ステップＳ９の処理は、機械学習により実行してもよい。この場合、情報処理装置１００は、例えば、図面から変換された画像データを入力として、記号識別処理の結果を出力する学習モデルを用いて、記号識別の結果を取得する。学習モデルは、ニューラルネットワークなどの公知の機械学習アルゴリズムを利用して生成する。機械学習アルゴリズムに入力する教師データは、例えば、様々な画像データをＨＤＤ１０４に予め用意し、画像データに記号識別処理の結果を紐づけることで作成することができる。

【0029】

以上説明したように、本実施形態によれば、情報処理装置１００が実行する記号識別方法は、画像データ内の線で囲まれている領域を塗りつぶす第１処理（ステップＳ２）と、第１処理で塗りつぶされた領域に膨張処理を施す第２処理（ステップＳ３）と、第１処理で塗りつぶされた領域の輪郭を抽出する第３処理（ステップＳ４）と、第３処理によって抽出された輪郭と所定の記号の輪郭との比較の結果が、第３処理によって抽出された輪郭と所定の記号の輪郭が近似し、第３処理によって抽出された輪郭を構成する複数の輪郭点を直線変換することにより互いに交差する２本の直線が検出され、且つ第３処理によって抽出された輪郭で囲まれた領域面積と所定の記号の面積との面積差が所定値以下である又は第３処理によって抽出された輪郭で囲まれた領域面積の２倍が矩形の記号の面積と略同一である場合に（ステップＳ５～７でＹＥＳ）、第１処理で塗りつぶされた領域を所定の記号として識別する第４処理（ステップＳ８）とを含む。

【0030】

情報処理装置１００が上記の第１処理から第４処理を実行することで、塗りつぶされた領域を、塗りつぶされた領域につながっていた直線や文字などから分離でき、直線や文字との区別を容易にできるので、記号の識別精度を向上させることができる。

【0031】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0032】

１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ ＨＤＤ
１０５ インタフェース
１０６ ネットワークインタフェース
１０７ 表示装置
１０８ バス
１１０ カメラ

【図1】

【図2】

【図3】