特許 5936989 作図支援プログラム、作図支援システム及び作図支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5936989

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月22日

(54)【発明の名称】作図支援プログラム、作図支援システム及び作図支援方法

(51)【国際特許分類】

   G06F 17/50 20060101AFI20160609BHJP

【ＦＩ】

   G06F17/50 602F

   G06F17/50 606D

   G06F17/50 601C

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2012-238470(P2012-238470)

(22)【出願日】2012年10月30日

(65)【公開番号】特開2014-89538(P2014-89538A)

(43)【公開日】2014年5月15日

【審査請求日】2014年10月27日

(73)【特許権者】

【識別番号】512280884

【氏名又は名称】有限会社シンビー

(74)【代理人】

【識別番号】100121658

【弁理士】

【氏名又は名称】高橋 昌義

(72)【発明者】

【氏名】鈴木 量三朗

(72)【発明者】

【氏名】塚本 泰隆

【審査官】 合田 幸裕

(56)【参考文献】

【文献】 特開２０００−６７２５８（ＪＰ，Ａ）

【文献】 特開平１０−２７２５１（ＪＰ，Ａ）

【文献】 特開平６−５２２４３（ＪＰ，Ａ）

【文献】 特開昭６１−２０８１８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／５０

ＩＥＥＥ Ｘｐｌｏｒｅ

ＣｉＮｉｉ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
要素識別情報が付された要素部品をプリンタにより印刷させる手順、
印刷された前記要素部品の配置を作図データ作成装置によって画像データとして取り込み、作図データとして記録する手順、
前記作図データに含まれる複数の要素識別情報に基づき複数の要素部品データ及びその位置データを作成する手順、
抽出した複数の前記要素データ同士を接続する複数の線データを作成する手順、
前記抽出した前記複数の要素部品データ及び前記線データに基づき読取図データを作成する手順、
前記読取図データに基づき読取図を表示装置に表示させる手順、を実行させるための作図支援プログラム。

【請求項2】

前記複数の線データを作成する手順は、交差する線同士の分離判断処理を行う請求項１記載の作図支援プログラム。

【請求項3】

要素識別情報が付された複数の要素部品と、
前記複数の要素部品の配置を画像データとして取り込み、作図データを作成する作図データ作成装置と、
作成された前記作図データに基づき複数の要素部品データ、その位置データ、及び、前記複数の要素部品データ同士を接続する複数の線データを作成し、前記抽出した前記複数の要素部品データ及び前記線データに基づき読取図データを作成する作図支援装置と、を有する作図支援システム。

【請求項4】

前記作図支援装置は、交差する線同士の分離判断処理を行う請求項３記載の作図支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作図支援プログラム、作図支援システム及び作図支援方法に関する。

【背景技術】

【0002】

会議等においてフローチャート、ブロック図、回路図等をホワイトボードに手書きした場合、手書きした図を各種ソフトウェア上で利用するためには、一般に、専用の作図ソフトウェアを使って作図しなおす必要がある。

【0003】

これに対し近年、ホワイトボードなどに手書きした文字や図に対して画像認識技術を使い、手書きした文字や図を電子データに自動変換し、変換後のデータを作図ソフトにて使用するという技術が例えば下記特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−２２８７１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、図形は単なる画素の集合としてのみ扱っており、図形の意味を認識することは難しい。例えば上記特許文献１に記載の技術では、ホワイトボード上に手書きされた図形を読み取り、図形エディタにおいて利用可能なデータに変換する技術が記載されているものの、各図形の意味を認識することまではできていない。

【0006】

このため、ホワイトボード上の図は電子化した後は、あくまでも絵としてのみ図形エディタで編集することしかできなかった。例えば、手書きのフローチャート図に対しては、どの部分が条件分岐の記号であり、どの部分が手続なのか等を認識することは困難である。また、そもそも書かれたものがフローチャートであるということを認識することも困難である。また、手書きの回路図に対しても、描かれた図が回路図であるということは認識できず、またどの素子とどの素子が接続されているのかを認識するのは困難であった。このため、ホワイトボード上に手書きされた図をコンピュータ上で利用する場合、専用の作図ソフトウェア（図形エディタ）を使って再度コンピュータ上で作図しなおす必要があった。

【0007】

そこで、本発明は上記課題を鑑み、作図において各要素及びそれらの接続関係を容易に認識することのできる作図支援プログラム、作図支援システム、及び作図支援方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決する本発明の一の観点に係る作図支援プログラムは、コンピュータに、作図に含まれる複数の要素識別情報に基づき複数の要素領域を抽出する手順、複数の要素領域間の接続情報を抽出する手順、を実行させる。

【0009】

また本観点において、限定されるわけではないが、更に、抽出した複数の要素領域及び前記接続情報に基づき読取図を作成する手段、読取図を表示させることが好ましい。

【0010】

また、本発明の他の一観点に係る作図支援システムは、要素識別情報が付された複数の要素部品と、複数の要素部品の配置に基づき作図データを作成する作図データ作成装置と、作成された作図データに基づき複数の要素領域データ、及び、複数の要素領域データ同士の接続情報データを作成する作図支援装置と、を有する。

【0011】

また、本発明の他の一観点に係る作図支援方法は、作図に含まれる複数の要素識別情報に基づき複数の要素領域を抽出するステップ、複数の要素領域間の接続情報を抽出するステップ、を含む。

【発明の効果】

【0012】

以上、本発明により、作図において各要素及びそれらの接続関係を容易に認識することのできる作図支援プログラム、作図支援装置及び作図支援方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る作図システムの概略を示す図である。

【図2】識別情報が付された要素部品を使って作図する場合の例を示す図である。

【図3】要素部品がフローチャートの場合の例を示す図である。

【図4】作図支援装置の手順のフローを説明するための図である。

【図5】線同士の交差、接続の判断の概念を示す図である。

【図6】線と要素部品との接続関係の判断について説明するための図である。

【発明を実施するための最良の形態】

【0014】

以下、本発明の実施形態について図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態の記載の例にのみ限定されるわけではない。

【0015】

図１は、本実施形態に係る作図支援システム（以下「本システム」という。）１の概略を示す図である。本図で示すように、要素識別情報が付された複数の要素部品２と、複数の要素部品２の配置に基づき作図データを作成する作図データ作成装置３と、作成された作図データに基づき複数の要素領域データ、及び、前記複数の要素領域データ同士の接続情報データを作成する作図支援装置４と、複数の要素部品２を作成するための要素作成装置５と、を有する。本システムにおいて、作図データ作成装置３と、作図支援装置４、要素作成装置５は互いに接続可能であり、データのやり取りを行なうことができる構成となっている。

【0016】

本システムにおいて、複数の要素部品２は、上記のとおり、各々要素識別情報が付されたもの、具体的には、識別情報が印字されたものとなっている。また要素部品２は、要素毎に複数設けられている。本システムにおいて複数の要素部品２は、一定の面積を有する平面（作図領域）を有する作図部材に貼り付けられる。作図部材の例としては、一定の平面を有するものである限りにおいて限定されるわけではなく、ホワイトボードであることは好ましい一例であるが、場合によっては建物の壁や、机等様々なものが利用できる。また、要素部品２を貼り付ける方法としては特に限定されず、作図部材の作図領域が金属等であればマグネットによって貼り付けてもよいし、要素部品２の裏面にマグネットが直接付されているものであっても良い。また、壁等であれば画鋲やテープ等で貼り付けてもよく、机等であれば、そのまま留めることなく置くだけでも良い。図２に、識別情報が付された要素部品を使って作図する場合の例を示しておく。この例は、作図部材がホワイトボードの例を示している。また、要素部品２は、例えばいわゆるコンピュータ等の情報処理装置に接続されたプロジェクタから投影されたものであってもよい。情報処理装置を操作することによってこの要素部品を移動等することが可能となる。

【0017】

要素部品２に付された要素識別情報は、他の要素部品と区別するために必要な情報である。後述の記載からも明らかなように、要素識別情報は後述の作図データに含まれることとなり、作図支援装置４に取り込まれた後、要素部品２が配置されている領域が要素領域として認識される。要素識別情報は、上記要素部品２を区別することができる限りにおいて限定されるわけではないが、例えば複数の線が並べて配置される一次元バーコードであってもよく、二次元バーコードであっても良い。また要素を識別することができる情報である限りにおいて限定されず、例えば図形や文字であっても良い。本図の例は一次元バーコードの例を示しておく。

【0018】

要素部品２は、作図における要素を意味するものである限りにおいて様々な分野に適用が可能である。例えば電子回路図においては、例えばＣＰＵ、メモリ、周辺機器等の各デバイスやバス等の仮想的なデバイスを表現することができ、フローチャートの場合は、例えば端子、処理、分岐条件等の各手順を表現することができる。

【0019】

なお、要素部品２は、作図の接続関係における接続点を規定するものであるが、要素部品２に情報を記入することも可能である。例えば、フローチャートにおいては、条件分岐の記号を用いる場合、要素識別情報を付するとともに、分岐のための条件をこのフローの中に記入することで、この記入した条件を後の手順によってテキストの分岐条件データとして取得することが可能となる。なおフローチャートの場合のイメージ図を図３に示しておく。

【0020】

次に、本図で示すように、使用者は、複数の要素部品２を作図部材上に配置し、複数の要素部品２の間を線で接続していく。接続の方法としては、接続されていることが認識できる限りにおいて特に限定されるわけではないが、例えば作図部材がホワイトボードである場合、マジックペン等を用いることができ、ペン等で書くことができない場合は、例えば作図部材の色と異なる色の糸等を用いてもよい。

【0021】

そして使用者は、上記のように、複数の要素部品２を作図部材上に配置し、そのそれぞれを線で接続した後、この作図した領域全体を、作図データ作成装置３を用い、作図データとして作成する。つまり、本実施形態において、作図データ作成装置３は、使用者が作成した作図を、画像データ（電子データ）として作成、記録することのできる装置である。作図データ作成装置３の例としては、上記の限りにおいて限定されるわけではないが、いわゆるデジタルカメラやスキャナー等を採用することができるがこれに限定されない。

【0022】

次に使用者は、上記作図データ作成装置３によって作成した作図データを作図支援装置４に移し、作図作業を行う。すなわち、本実施形態において、作図支援装置４は、使用者による作図を支援するための装置である。

【0023】

より具体的に説明すると、本実施形態に係る作図支援装置４は、（１）作図データに含まれる要素識別情報に基づき複数の要素領域を抽出し、（２）その複数の要素領域間の接続情報を抽出し、（３）読み取った後の読取図データを作成し、更に（４）この読取図データを表示装置に表示させることができる。この手順のフローを図４に示しておく。なお、本図には、この手順のフローの他、上記要素部品配置等の手順についても記載しておく。

【0024】

本実施形態に係る作図支援装置４（以下「本作図支援装置」という。）は、上記の機能を有する限りにおいて限定されるわけではないが、液晶ディスプレイ等の表示装置に接続された情報処理装置、いわゆるコンピュータを用いることができる。コンピュータの場合、限定されるわけではないが、例えば中央処理装置（ＣＰＵ）と、作成したデータやプログラムを記録するハードディスク等の記録装置、更には一時的に上記プログラムやデータを一時的に記録して中央処理装置がデータの読み書きを行なうメモリ等を備えていることが好ましく、作図支援プログラムや取り込んだ作図データを上記ハードディスク等に記録しておき、作図支援プログラムを実行することで、上記各処理を行うことができるようになる。本実施例では、作図支援プログラムで実行した場合の例で説明する。つまり、作図支援プログラムは、（１）作図データに含まれる要素識別情報に基づき複数の要素領域を抽出する手順、（２）複数の要素領域間の接続情報を抽出する手順、（３）読み取った後の読取図データを作成する手順、更に（４）この読取図データを表示装置に表示させる手順、をコンピュータに実行させる。

【0025】

まず、本作図支援装置４は、（１）作図データに含まれる要素識別情報に基づき複数の要素領域を抽出する手順を実行する。作図データから要素識別情報を抽出する方法としては特に限定されるわけではないが、テンプレートマッチング等の公知の画像認識方法を採用することができる。

【0026】

本手順において、要素識別情報を抽出した場合、この情報は要素識別情報データとして取り込まれる。要素識別情報データは取り込まれた後、予め格納されている要素蓄積情報データベースと照らし合わされ、その要素識別情報データがどの要素部品に該当するものであるのかを特定する。要素蓄積情報データベースは複数の要素蓄積情報データからなり、その要素蓄積情報データは、例えば要素識別情報データ及びこのデータに対応する要素部品種類データ、接続点数データ、入出力属性データ、ビット幅データ、割り込み属性データ、レジスタ属性データ、プロトコルデータ等を備えている。

【0027】

ここで要素部品種類データとは、要素部品の種類に関するデータであり、特に限定されるわけではないが、例えばＣＰＵ、メモリ、周辺機器、バス等の各デバイス等の区別を行なう。これにより、要素部品の区別、特定が可能となるとともに、他のソフトウェアで作図する場合における互換性を確保することができるようになる。なお、要素部品種類データには要素部品名を含ませても良い。

【0028】

ここで接続点数データとは、要素部品が他の要素部品と接続可能な本数の数のデータであり、１、２、３…等の整数の値で表されるのが一般的であるが、場合によっては設定せず、要素領域間の接続情報の抽出結果に応じて変えることができるようにしても良い。

【0029】

ここで入出力属性データとは、入力の方向や特定のバス、ＳｙｓｔｅｍＣのＴＬＭで規定される仮想的な入出力としてのソケット等を意味するデータである。

【0030】

ここでビット幅データとは、入出力に用いられるデータ幅を指し示すデータであり、各デバイスで固定、又は可変の数値やマクロ等を例示することができる。

【0031】

ここで割り込み属性データとは、各デバイスが緊急に事象を通知するための手段としての割り込みに関する属性のデータであり、割り込みの方法や優先順位などを例示することができる。

【0032】

ここでレジスタ属性データとは、各デバイスがもつ機能をメモリ上に展開する際の情報に関するデータであり、レジスタの各機能やサイズ等を例示することができる。

【0033】

ここでプロトコルデータとは、各デバイスが通信をする際の規則を表したデータであり、状態遷移図を含むデータである。

【0034】

またこの要素蓄積情報データについては、予め記録されていることが好ましいが、使用者が必要に応じて作成、修正することができるようになっていることも好ましい。必要に応じて作成、修正することができるようになっていることで様々な要素部品を作成することができ、多様な作図が可能となる。

【0035】

また本手順では、要素識別情報データが抽出された位置に関する位置データを抽出することが好ましい。このようにすることで、作図データ中のどの位置にこの要素識別情報データが存在していたのかについて特定することができる。この位置データは、要素識別情報データが存在する面積の範囲を規定するデータであっても良く、また、要素識別情報データの特定の位置（例えば隅の一つ）の座標データであってもよい。

【0036】

なお上記の手順の結果、要素識別情報データから、要素部品の位置データ、部品種類等が特定された要素部品データが作成され、記録されることになる。

【0037】

以上のとおり、本手順により、作図データに含まれる要素識別情報に基づき複数の要素領域を抽出することができる。

【0038】

次に、本作図支援装置４は、（２）複数の要素領域間の接続情報を抽出する手順を行なう。具体的には、上記の複数の要素部品の接続関係を特定する。

【0039】

作図に際し、使用者が要素部品間を線で接続しているため、この作成した線を認識する。線の認識方法としては、特に限定されず、例えば２値化した画像からエッジを抽出しハフ変換を行なうことにより直線などを抽出することによって実現できる。

【0040】

また本手順においては、間違って記入してしまった線を削除する手順も含むことが好ましい。ホワイトボード等に消すことの容易なマジックペン等で記載した場合は線を消すことは容易であるが、消すことが容易でない方法で記載した場合、このような手順が有用である。このような手順を実現する方法としては、作図の際、予め線上に線として認識してほしくないことを示すマークを記入しておき、本手順においてこのマークを読み取ることで線として認識しないよう処理することができる。このマークとしては、限定されるわけではないが、例えば×マーク等を例示することができる。

【0041】

また本手順においては、交差する線同士の判断を行う手順も含むことが好ましい。複数の要素部品間を線で接続する場合、複数の線が交差する場合がある。このような場合、複数の線において交差する部分をご認識してしまうと結果として誤って接続されてしまうといったことになる。このため、交差する線同士の判断、具体的には交差する線同士の分離判断処理を行うことが好ましい。この方法としては、分離することができる限りにおいて限定されるわけではないが、例えば線の色を異ならせ、この線の色データを抽出し、線の色が同じ場合は複数の線が接続されていると認識し、異なる場合は単なる交差であると認識する処理、線の交点に交点マークを付してある場合は複数の線の接続点であると認識し、交点マークが付されていない場合は単なる交差であると認識する処理、線の交点が線を跨ぐ書式で記載されている場合は単なる交差であると認識し、線の交点が線を跨ぐ書式で記載されていない場合は線の接続点であると認識する処理、等を挙げることができる。この場合の例示について図５に示しておく。

【0042】

本手順において線を認識した後、本装置４では、これら線の各々と要素部品との接続関係を確認する。なお線は、線データとして認識されるものであり、少なくとも、例えば始点の位置データと、終点の位置データを含んでいることが好ましく、線の形状によっては折曲点の位置データや、線の位置全ての位置データを含んでいても良い。

【0043】

線を抽出した場合、その線の先端（始点の位置データ、終点の位置データ）に近い位置にある要素部品を抽出し、接続関係にあると認識することが有用である。一方で、作図中、必ずしも要素部品に接続されていない線も存在するため、これらの線を他の要素部品と接続関係にあると誤認識してしまうことも防止する必要がある。よって、一定の距離以上、要素部品と離れた線については、接続に用いられた線ではないと認識することが好ましい。

【0044】

ただし上記の場合においても、作図データの作図領域の大きさによって要素識別情報データの大きさも変わるため、要素識別情報データの大きさが作図データに比して比較的大きな場合（作図領域が小さい場合）と要素識別情報データの大きさが作図データに比して比較的小さな場合（作図領域が小さい場合）において絶対的な長さ基準を設けると誤認識等の不都合が生じる場合も否定できない。

【0045】

したがって、このような場合の誤認識を避けるための一手法として、例えば、要素識別情報データの大きさに関するデータ（例えば上記した要素識別情報データが存在する面積の範囲を規定するデータ）を取得しておき、この大きさを基準にして、線先端と要素識別情報の位置とがこの大きさの所定の倍率の範囲内にある場合は接続関係にあり、所定の倍率の範囲外にある場合は接続関係にないと判断することも好ましい。この倍率範囲としては、限定されるわけではないが、１倍以上３倍以内であることが好ましい。この例について例えば図６に示しておく。

【0046】

また、上記他の一手法として、例えば、要素部品の要素識別情報の周囲を丸や四角等の枠で囲うことも好ましく、この枠に線が接している場合は接続関係にあるものと判断し、接していない場合は接続関係にないと判断することも好ましい。このようにしておくことで、作図データそのものを表示装置に表示させた場合であっても、要素部品の境界が明確になるといった利点がある。

【0047】

以上、本手順によって（２）複数の要素領域間の接続情報を抽出することができる。具体的には、どの要素部品が他のどの要素部品と接続されているのか、を抽出することができる。

【0048】

次に、本作図支援装置４は、読み取った後の読取図データを作成する手順を行なう。具体的には、上記（１）、（２）の手順に基づき取得した各データを含む読取図データを作成する。なお読取図データにおいては、上記各要素部品データの配置調整や、曲がった線の直線近似等、線データの再作成を行なうことが好ましい。

【0049】

なお、本手順においては、本処理により作成された読取図データを他の作図ソフト用データに変換するための変換処理を行うことが好ましい。一般に作図ソフトや回路図エディタは、部品配列場所（ＸＹ座標等）、部品インターフェース、部品機能、部品接続データ等を含むものであるため、読取図データもこれらデータを含ませておくことが好ましい。

【0050】

そして、本作図支援装置４は、（４）この読取図データを表示装置に表示させる手順を実行する。これにより、表示装置に読取図データを表示させることができる。

【0051】

また本システム１は、複数の要素部品２を作成するための要素作成装置５も備えている。要素作成装置５は上記のとおり複数の要素部品２を作成するための装置であり、例えば、いわゆるプリンタを例示することができる。
このようにすることで、使用者は必要に応じて必要な種類、接続点数の要素部品を作成することができ、より多様な作図を行なうことが可能となる。なお、要素作成装置５は必ずしも必須の構成ではなく、予め必要とされる全ての要素部品が備えられているのであればなくても問題はない。

【0052】

本システム１における要素作成装置５は、上記のとおり要素部品２を作成するものであり、具体的には、要素識別情報が付された要素部品２を印刷、作成することができる。要素識別情報は、上記作図支援装置の（１）の手順において予め格納されたものであってもよいが、当該手順における追加機能として使用者自身で作成したものであってもよい。

【0053】

以上、本作図支援システムにより、作図において各要素及びそれらの接続関係を容易に認識することのできる作図支援プログラム、作図支援装置及び作図支援方法を提供することができる。具体的には、使用者は、ホワイトボード等の平面に複数の要素部品を配置し、この配置をデジタルカメラ等の作図データ作成装置で作図データとして取り込み、作図支援装置で処理することでこの作図データから要素部品の持つ意味を認識し、これらの接続情報等を含むデータを作成し、表示、加工できるようにすることができる。

【産業上の利用可能性】

【0054】

本発明は、作図支援プログラム、作図支援システム、作図支援方法として産業上の利用可能性がある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】