特許 6375084 コンピュータシステム、手描き対象特定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6375084

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】コンピュータシステム、手描き対象特定方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20180806BHJP

【ＦＩ】

   G06T1/00 200E

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2018-516875(P2018-516875)

(86)(22)【出願日】2017年11月29日

(86)【国際出願番号】JP2017042698

【審査請求日】2018年3月30日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開平１０−１９８６９９（ＪＰ，Ａ）

【文献】 特開２００５−１０７７６７（ＪＰ，Ａ）

【文献】 特開２０００−０７６３０２（ＪＰ，Ａ）

【文献】 特開２０１２−００３３５７（ＪＰ，Ａ）

【文献】 特開２０１５−０４９７９６（ＪＰ，Ａ）

【文献】 特開２０１１−１８７０２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

手描きで描かれた対象を特定するコンピュータシステムであって、
手描きデータの入力を受け付けるデータ入力受付手段と、
手描きされた対象となる対象データを記憶する記憶手段と、
受け付けた前記手描きデータの特徴点を画像解析で抽出する抽出手段と、
抽出した前記特徴点を、記憶した前記対象データと照合する照合手段と、
照合した結果から、前記手描きデータに描かれた対象を特定する特定手段と、
特定した結果を、特定度に応じた確率と一緒に表示する表示手段と、
を備えることを特徴とするコンピュータシステム。

【請求項2】

前記対象データが、予め記憶された他の手描きデータである、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項3】

前記対象データが、予め撮影され記憶された撮影画像データである、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項4】

前記対象データが、予め記憶された他の手描きデータ及び予め撮影され記憶された撮影画像データであって、
前記照合手段は、抽出した前記特徴点と照合される対象データが、前記他の手描きデータであるか、前記撮影画像データであるか、に応じて照合手順を変更する、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項5】

検索用のカテゴリのテキスト入力を受け付ける検索テキスト受付手段と、
を備え、
前記データ入力受付手段は、前記手描きデータのカテゴリの入力を受け付け、
前記記憶手段は、前記手描きデータと、当該手描きデータのカテゴリとを対応付けて記憶し、
前記照合手段は、受け付けた前記検索用のカテゴリと、記憶した前記手描きデータのカテゴリとから、前記対象データを照合する、
ことを特徴とする請求項１に記載のコンピュータシステム。

【請求項6】

手描きで描かれた対象を特定するコンピュータシステムが実行する手描き対象特定方法であって、
手描きデータの入力を受け付けるステップと、
手描きされた対象となる対象データを記憶するステップと、
受け付けた前記手描きデータの特徴点を画像解析で抽出するステップと、
抽出した前記特徴点を、記憶した前記対象データと照合するステップと、
照合した結果から、前記手描きデータに描かれた対象を特定するステップと、
特定した結果を、特定度に応じた確率と一緒に表示するステップと、
を備えることを特徴とする手描き対象特定方法。

【請求項7】

手描きで描かれた対象を特定するコンピュータシステムに、
手描きデータの入力を受け付けるステップ、
手描きされた対象となる対象データを記憶するステップ、
受け付けた前記手描きデータの特徴点を画像解析で抽出するステップ、
抽出した前記特徴点を、記憶した前記対象データと照合するステップ、
照合した結果から、前記手描きデータに描かれた対象を特定するステップ、
特定した結果を、特定度に応じた確率と一緒に表示するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手描きで描かれた対象を特定するコンピュータシステム、手描き対象特定方法及びプログラムに関する。

【背景技術】

【0002】

従来、カメラ等の撮影装置により撮影した撮影画像を、画像解析することにより、この撮影画像に映っている対象を特定することが行われている。

【0003】

このような対象の特定の利用方法として、検索条件とするキー画像を画像解析し、このキー画像に映っている対象のＩＤを特定する。このＩＤが付与されたクラスタを特定することにより、キー画像に映っている対象と同一のクラスタに属する対象が映っている画像を選抜する構成が開示されている（特許文献１参照）

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１０７９９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成では、実在の対象を撮影した撮影画像に対して有効であるものの、実在の対象を描いた対象を特定することは困難であった。

【0006】

本発明の目的は、手描きで描かれた対象を特定することが可能なコンピュータシステム、手描き対象特定方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、以下のような解決手段を提供する。

【0008】

本発明は、手描きで描かれた対象を特定するコンピュータシステムであって、
手描きデータの入力を受け付けるデータ入力受付手段と、
手描きされた対象となる対象データを記憶する記憶手段と、
受け付けた前記手描きデータの特徴点を画像解析で抽出する抽出手段と、
抽出した前記特徴点を、記憶した前記対象データと照合する照合手段と、
照合した結果から、前記手描きデータに描かれた対象を特定する特定手段と、
特定した結果を、特定度に応じた確率と一緒に表示する表示手段と、
を備えることを特徴とするコンピュータシステムを提供する。

【0009】

本発明によれば、手描きで描かれた対象を特定するコンピュータシステムは、手描きデータの入力を受け付け、手描きされた対象となる対象データを記憶し、受け付けた前記手描きデータの特徴点を画像解析で抽出し、抽出した前記特徴点を、記憶した前記対象データと照合し、照合した結果から、前記手描きデータに描かれた対象を特定し、特定した結果を、特定度に応じた確率と一緒に表示する。

【0010】

ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

【発明の効果】

【0011】

本発明によれば、手描きで描かれた対象を特定することが可能なコンピュータシステム、手描き対象特定方法及びプログラムを提供することが可能となる。

【図面の簡単な説明】

【0012】

【図1】図１は、手描き対象特定システム１の概要を示す図である。

【図2】図２は、手描き対象特定システム１の全体構成図である。

【図3】図３は、情報端末１００の機能ブロック図である。

【図4】図４は、情報端末１００が実行する手描き対象特定処理を示す図である。

【図5】図５は、情報端末１００が入力を受け付けた手描きデータの一例を示す図である。

【図6】図６は、情報端末１００が特定した結果と確率とを表示した状態の一例を示す図である。

【図7】図７は、情報端末１００が特定した結果と確率と根拠とを表示した状態の一例を示す図である。

【図8】図８は、情報端末１００が特定した結果と確率と対象データのハイライトを表示した状態の一例を示す図である。

【図9】図９は、情報端末１００が特定した結果と確率と属性情報とを表示した状態の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0014】

［手描き対象特定システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である手描き対象特定システム１の概要を説明するための図である。手描き対象特定システム１は、情報端末１００から構成される。

【0015】

なお、図１において、情報端末１００は、１つに限らず複数であってもよい。また、情報端末１００は、実在する装置に限らず仮想的な装置であってもよい。また、手描き対象特定システム１は、図示していないコンピュータや端末装置等の外部装置を有し、これらと通信端末１００とがデータ通信可能に接続される構成であってもよい。

【0016】

情報端末１００は、手描きで描かれた対象を特定することが可能な端末装置である。情報端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。

【0017】

情報端末１００は、予め複数の異なる対象データを記憶する（ステップＳ０１）。情報端末１００は、対象データとして、例えば、様々な対象（人工物や自然物等）の一部又は全部を撮影した撮影画像データや他のユーザや過去にユーザが手描き入力を行った他の手描きデータを記憶する。情報端末１００は、この撮影画像データや他の手描きデータに含まれる対象の名称、カテゴリ、説明、所在地等のテキストを属性情報として対象データに対応付けて記憶する。この対象データ及び属性情報は、予めユーザが入力するものであってもよいし、外部装置から取得するものであってもよい。

【0018】

情報端末１００は、手描きデータの入力を受け付ける（ステップＳ０２）。情報端末１００は、例えば、タッチパネル等の入力装置により、ユーザが手描きし、特定しようとする対象を描いた手描き画を手描きデータとして入力を受け付ける。また、情報端末１００は、例えば、自身に接続されたスキャナ等の読取装置により、手描き画を読み取り、手描きデータとして入力を受け付ける。手描きデータとは、例えば、ユーザが特定を所望する対象の一部又は全部が手描きされたデータである。

【0019】

情報端末１００は、入力を受け付けた手描きデータの特徴点を画像解析で抽出する（ステップＳ０３）。情報端末１００は、手描きデータのデータ上の特徴的な点を抽出する。なお、情報端末１００は、特徴点に加え、特徴量を抽出する構成であってもよいし、特徴点の代わりに特徴量を抽出する構成であってもよい。

【0020】

情報端末１００は、抽出した特徴点を、記憶した対象データと照合する（ステップＳ０４）。情報端末１００は、抽出した特徴点と、記憶した対象データの特徴点とを照合する。なお、情報端末１００は、抽出した特徴点と照合するデータが、撮影画像データであるか、他の手描きデータであるかに応じて、照合手順を変更する構成であってもよい。例えば、情報端末１００は、照合するデータが、撮影画像データである場合、撮影画像データの全体の特徴点を照合し、その後に各部位の特徴点を照合する。また、情報端末１００は、照合するデータが、他の手描きデータである場合、各部位の特徴点を照合する。情報端末１００が実行する照合手順の変更は、上述した構成に限らず、適宜変更可能である。

【0021】

なお、情報端末１００は、特徴点と、対象データとを照合する際、予め検索用のカテゴリのテキスト入力を受け付けておき、このカテゴリと、対象データに対応付けられたカテゴリとから対象データをさらに照合してもよい。

【0022】

情報端末１００は、照合した結果から、手描きデータに描かれた対象を特定する（ステップＳ０５）。情報端末１００は、照合した結果、特定した対象に対して、その特定度に応じた確率を算出する。例えば、情報端末１００は、複数部位の各々の一致度を特定度として求め、この特定度に応じて、手描きデータに描かれた対象と特定した対象とが、どの程度一致するかの確率を算出する。

【0023】

情報端末１００は、特定した結果と、特定度に応じた確率とを一緒に表示する（ステップＳ０６）。情報端末１００は、複数の対象を特定した場合、各対象に、特定度に応じた確率を表示する。情報端末１００は、一の対象を特定した場合、この対象に、特定度に応じた確率を表示する。なお、情報端末１００は、特定した対象の各部位毎に、特定度に応じた確率を表示する構成であってもよい。また、情報端末１００は、この対象を特定した根拠を、対象とともに表示する構成であってもよい。また、情報端末１００は、特定した対象の名称、カテゴリ、説明、所在地等の属性情報を表示する構成であってもよい。

【0024】

なお、上述した処理において、対象データの記憶、特徴点の抽出、特徴点の照合、対象の特定のいずれか又は複数の組合せは、必ずしも情報端末１００が実行する構成でなくともよい。例えば、情報端末１００は、図示していないコンピュータや他の端末装置等の外部装置に、手描きデータを送信し、外部装置が上述した処理のいずれか又は複数の組合わせを情報端末１００の代わりに実行し、外部装置が、特定した結果を情報端末１００に送信する構成であってもよい。

【0025】

以上が、手描き対象特定システム１の概要である。

【0026】

［手描き対象特定システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である手描き対象特定システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である手描き対象特定システム１のシステム構成を示す図である。手描き対象特定システム１は、情報端末１００から構成されるコンピュータシステムである。なお、情報端末１００は、１つに限らず、複数であってもよい。また、情報端末１００は、実在する装置に限らず、仮想的な装置であってもよい。また、公衆回線網等により図示していないコンピュータや端末装置等の外部装置と通信可能に接続されていてもよい。

【0027】

情報端末１００は、後述の機能を備えた上述した端末装置である。

【0028】

［各機能の説明］
図３に基づいて、本発明の好適な実施形態である手描き対象特定システム１の機能について説明する。図３は、情報端末１００の機能ブロック図を示す図である。

【0029】

情報端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、図示していない通信部として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、情報端末１００は、記憶部１３０として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。情報端末１００は、記憶部１３０に後述する他の手描きデータや撮影画像データ等の対象データ及びこの対象データに対応付けられた属性情報（名称、カテゴリ、説明、所在地等）を記憶する。また、情報端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像等を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、各種画像解析を実行する解析デバイスや、手描きデータの特徴点や特徴量等を抽出する抽出デバイスや、データ中に含まれる対象を特定する特定デバイス等の各種デバイスを備える。

【0030】

情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、記憶部１３０と協働して、記憶モジュール１６０を実現する。また、情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、入力受付モジュール１７０、抽出モジュール１７１、照合モジュール１７２、特定モジュール１７３、表示モジュール１７４を実現する。

【0031】

［手描き対象特定処理］
図４に基づいて、手描き対象特定システム１が実行する手描き対象特定処理について説明する。図４は、情報端末１００が実行する手描き対象特定処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

【0032】

記憶モジュール１６０は、予め複数の異なる対象データを記憶する（ステップＳ１０）。ステップＳ１０において、記憶モジュール１６０は、対象データとして、様々な対象（人工物や自然物）の一部又は全部を撮影した撮影画像データや、他のユーザや過去にユーザが手描き入力を行った他の手描きデータを記憶する。このとき、記憶モジュール１６０は、この撮影画像データや他の手描きデータの属性情報（対象の名称、カテゴリ、説明、所在地等のテキスト）を、対象データに対応付けて記憶する。他の手描きデータは、対象の一部又は全部を描いた手描き画のデータである。また、撮影画像データは、対象の一部又は全部を撮影した撮影画像のデータである。記憶モジュール１６０は、例えば、外部装置から受信した対象データ及びこの対象データの属性情報や、入力受付モジュール１７０が入力を受け付けた対象データ及びこの対象データの属性情報を記憶する。

【0033】

入力受付モジュール１７０は、手描きデータの入力を受け付ける（ステップＳ１１）。ステップＳ１１において、入力受付モジュール１７０は、例えば、タッチパネル等の入力装置により、ユーザが手描きした手描き画を、特定しようとする手描きデータとして入力を受け付ける。また、入力受付モジュール１７０は、例えば、スキャナ等の読取装置により、手描き画を読み取り、読み取った手描き画を手描きデータとして入力を受け付ける。

【0034】

なお、入力受付モジュール１７０は、上述した構成に限らず、その他の構成により手描きデータの入力を受け付けてもよい。また、手描き画は、上述した構成に限らず、対象の全体又は一部が描かれたものであればよい。ただし、十分な確度をもって特定するためには、対象の全体又は特徴的な一部が描かれていることが望ましい。

【0035】

入力受付モジュール１７０は、入力を受け付けた手描きデータの属性情報の入力を受け付ける（ステップＳ１２）。ステップＳ１２において、入力受付モジュール１７０は、特定したい対象に関する属性情報として、カテゴリ、名称、所在地等の入力を受け付ける。

【0036】

図５に基づいて、入力受付モジュール１７０が手描きデータ及びこの手描きデータの属性情報の入力を受け付けた状態について説明する。図５は、情報端末１００が入力を受け付けた手描きデータの一例を示す図である。図５において、入力受付モジュール１７０は、入力領域２００内に、手描きデータ入力領域２１０、属性情報入力領域２２０を表示し、其々に入力を受け付ける。手描きデータ入力領域２１０は、ユーザからのタップ操作等に基づいて、手描き入力を受け付け、受け付けた手描き画を手描きデータとして表示する領域である。属性情報入力領域２２０は、ユーザからの仮想的なキーボード操作による入力等に基づいて、属性情報の入力を受け付け、受け付けた属性情報を表示する領域である。本実施形態において、手描きデータとして、タワー状の手描き画の入力を受け付け、属性情報のうち、カテゴリとして展望台をテキスト入力として受け付けた状態を示している。

【0037】

なお、手描き画の種類や内容等は、適宜変更可能であり、属性情報としてカテゴリ以外の入力を受け付けてもよい。また、入力受付モジュール１７０は、手描き画の代わりとして、撮影画像の入力を受け付けてもよい。

【0038】

抽出モジュール１７１は、入力を受け付けた手描きデータの特徴点を、画像解析により抽出する（ステップＳ１３）。ステップＳ１３において、抽出モジュール１７１は、手描きデータの特徴的な点を抽出することにより、特徴点を抽出する。抽出モジュール１７１は、例えば、手描きデータに存在する各角を抽出し、この角の位置や各角の位置関係を特徴点として抽出する。

【0039】

抽出モジュール１７１は、手描きデータの特徴量を抽出する（ステップＳ１４）。ステップＳ１４において、抽出モジュール１７１は、手描きデータの線の長さ、角の大きさ、各線分の比率等の各部位の特徴量を抽出する。抽出モジュール１７１は、例えば、手描きデータに存在する対象の各部位を抽出し、この各部位の大きさ、位置、角度等の特徴量を抽出する。

【0040】

なお、ステップＳ１３又はステップＳ１４の処理は、いずれか一方のみが行われてもよい。この場合、情報端末１００は、ステップＳ１３又はステップＳ１４の何れかの処理を実行した後、後述する各処理を特徴点又は特徴量に基づいて実行する構成であればよい。

【0041】

照合モジュール１７２は、抽出した特徴点及び特徴量と照合する対象データの種類が、他の手描きデータであるか、撮影画像データであるかを判別する（ステップＳ１５）。他の手描きデータとは、他のユーザや過去にユーザが手描き入力を行った手描き画のデータを意味する。ステップＳ１５において、照合モジュール１７２は、照合する対象データの種類を、ユーザからいずれの対象データを照合するかの入力を受け付けることにより判別してもよいし、いずれか一方のみの対象データを記憶している場合、記憶している対象データを照合することを判別してもよいし、予め設定された条件に基づいて、対象データの種類を判別する構成であってもよい。なお、ステップＳ１５において、照合モジュール１７２は、抽出した特徴点又は特徴量のいずれかを照合する構成であってもよい。

【0042】

ステップＳ１５において、照合モジュール１７２は、対象データの種類が他の手描きデータである場合（ステップＳ１５ ＹＥＳ）、後述するステップＳ１６の処理を実行する。一方、ステップＳ１５において、照合モジュール１７２は、対象データの種類が撮影画像データである場合（ステップＳ１５ ＮＯ）、後述するステップＳ１７の処理を実行する。すなわち、情報端末１００は、抽出した特徴点及び特徴量と照合する対象データが、他の手描きデータであるか、撮影画像データであるかに応じて、異なる処理を実行することにより、照合手順を変更する。

【0043】

ステップＳ１５において、照合モジュール１７２は、対象データの種類が他の手描きデータである場合（ステップＳ１５ ＹＥＳ）、照合モジュール１７２は、手描きデータから抽出した特徴点及び特徴量を、記憶した対象データである他の手描きデータと照合する（ステップＳ１６）。ステップＳ１６において、照合モジュール１７２は、他の手描きデータの全体の特徴点を照合し、その後に各部位の特徴点や特徴量を照合する。例えば、照合モジュール１７２は、他の手描きデータに含まれる対象全体の特徴点を照合し、さらに、対象の各部位の特徴点や特徴量を照合する。

【0044】

一方、ステップＳ１５において、照合モジュール１７２は、対象データの種類が撮影画像データである場合（ステップＳ１５ ＮＯ）、照合モジュール１７２は、手描きデータから抽出した特徴点や特徴量を、記憶した対象データである撮影画像データと照合する（ステップＳ１７）。ステップＳ１７において、照合モジュール１７２は、撮影画像データの各部位の特徴点や特徴量を照合する。例えば、照合モジュール１７２は、撮影画像データに含まれる対象を照合し、この対象の各部位の特徴点や特徴量を照合する。

【0045】

このように、ステップＳ１６及びステップＳ１７において、照合モジュール１７２は、異なる照合手順を実行する。

【0046】

なお、上述したステップＳ１６及びステップＳ１７の処理は、適宜変更可能である。例えば、情報端末１００は、ステップＳ１６及びステップＳ１７の処理において、同様の処理手順を実行する構成であってもよい。また、ステップＳ１６及びステップＳ１７の処理において、異なる構成により、対象データと照合する構成であってもよい。例えば、ステップＳ１６及びステップＳ１７において、情報端末１００は、特徴点又は特徴量の何れか一方のみに基づいて、照合する構成であってもよい。

【0047】

照合モジュール１７２は、ステップＳ１２の処理により、入力を受け付けた属性情報に基づいて、対象データをさらに照合する（ステップＳ１８）。ステップＳ１８において、照合モジュール１７２は、対象データに対応付けられた属性情報と、手描きデータとして入力を受け付けた属性情報とを照合する。本実施形態において、属性情報としてカテゴリの入力を受け付けているため、入力を受け付けたカテゴリに対応するカテゴリが対応付けられた対象データを照合する。

【0048】

特定モジュール１７３は、照合した結果から、手描きデータに含まれる対象と、対象データに含まれる対象との特定度及び属性情報の類似度に応じた確率を算出する（ステップＳ１９）。ステップＳ１９において、特定度とは、手描きデータに含まれる対象と、対象データに含まれる対象とがどの程度一致するかを意味する。また、ステップＳ１９において、特定モジュール１７３は、対象の全体的な特定度に応じた確率に加え、各部位毎の特定度に応じた確率を算出する。また、特定モジュール１７３は、入力を受け付けた属性情報に応じた類似度に基づいた確率を、対象データに対応付けられた属性情報に基づいて算出する。ステップＳ１９において、例えば、特定モジュール１７３は、角度、線分の比率、部分形状等の各部位毎の特定度に応じた確率を算出する。特定モジュール１７３は、これら各部位の確率に基づいて、対象全体としての特定度に応じた確率を算出する。例えば、特定モジュール１７３は、線分の比率が９０％、他の確率が８０％であった場合、低い値の特定度を採用し、全体では８０％の確率であると算出する。また、特定モジュール１７３は、入力を受け付けた属性情報を文字認識し、この属性情報と、対象データに対応付けられた属性情報との類似度に基づいて確率を算出する。特定モジュール１７３は、特定度に基づいた確率と、類似度に基づいた確率とに基づいて、確率を算出する。

【0049】

なお、ステップＳ１９において、特定モジュール１７３が実行する特定度に応じた確率の算出は、上述した構成に限らず適宜変更可能である。すなわち、特定モジュール１７３は、一部位に基づいて、対象の確率を算出する構成であってもよいし、複数部位に基づいて、対象の確率を算出する構成であってもよいし、予め設定された特定部位に基づいて、対象の確率を算出する構成であってもよいし、それ以外の構成であってもよい。

【0050】

特定モジュール１７３は、照合した結果（特徴点や特徴量及び属性情報）と、算出した確率とに基づいて、手描き画に描かれた対象を特定する（ステップＳ２０）。ステップＳ２０において、特定モジュール１７３は、全体の確率が所定の値以上であるか、全体又は部位の確率や属性情報の確率がわずかでも存在するか、属性情報の確率が所定の値以上であるか等の判断基準に基づいて、手描き画に描かれた対象を特定する。例えば、特定モジュール１７３は、記憶する対象データのうち、手描きデータと照合した結果、全体又は一部位の確率や属性情報の確率がわずかでも存在する場合、この確率が存在する全ての対象データを、手描き画に描かれた対象として特定する。この時、特定モジュール１７３は、一の対象データ又は複数の対象データを、手描き画に描かれた対象として特定する。また、例えば、特定モジュール１７３は、記憶する対象データのうち、全体の確率が所定の値以上であるものを、手描き画に描かれた対象として特定する。また、特定モジュール１７３は、属性情報の確率が所定の値以上であるものを手描き画に描かれた対象として特定する。また、特定モジュール１７３は、特徴点や特徴量による確率と属性情報とによる確率の其々が所定の値以上であるものを手描き画に描かれた対象として特定する。

【0051】

表示モジュール１７４は、特定した結果を、特定度や類似度に応じた確率と一緒に表示する（ステップＳ２１）。ステップＳ２１において、表示モジュール１７４は、特定した対象と、この対象の確率とを表示する。表示モジュール１７４は、特定した結果、複数の対象が存在する場合、各対象と、各対象の確率とを表示する。表示モジュール１７４は、特定した対象の他の手描きデータ又は撮影画像データのいずれか又は双方を表示する。

【0052】

図６に基づいて、表示モジュール１７４が表示する特定した結果と特定度や類似度に応じた確率とを一緒に表示した状態について説明する。図６は、表示モジュール１７４が表示する特定した結果と特定度や類似度に応じた確率とを一緒に表示した状態の一例を示す図である。図６において、表示モジュール１７４は、データ表示領域３００、対象データ表示領域３１０、確率表示領域３２０、属性情報表示領域３３０を表示する。表示モジュール１７４は、データ表示領域３００内に、複数の対象データ表示領域３１０、複数の確率表示領域３２０、複数の属性情報表示領域３３０を表示する。表示モジュール１７４は、対象データ表示領域３１０に、特定した対象の対象データを表示する。この対象データは、記憶モジュール１６０に記憶した他の手描きデータ又は撮影画像データのいずれか又は双方である。また、表示モジュール１７４は、各対象データ表示領域３１０の下段に確率表示領域３２０を表示する。表示モジュール１７４は、各対象データ表示領域３１０に表示した対象データの特定度や類似度に応じた確率を確立表示領域３２０に表示する。表示モジュール１７４は、対象データを、確率が高い順に並べて表示する。表示モジュール１７４は、各対象データ表示領域３１０の下段に属性情報表示領域３３０を表示する。表示モジュール１７４は、属性情報表示領域３３０に、対象データに対応付けられた属性情報を表示する。このとき、表示モジュール１７４が表示する属性情報は、上述したステップＳ１２の処理により入力を受け付けた属性情報に関連するものを表示する。

【0053】

図６において、表示モジュール１７４は、対象データ表示領域３１０に、対象データＡを表示し、確率表示領域３２０に、この対象データＡの特定度や類似度に応じた確率である８０％を表示し、属性情報表示領域３３０に、この対象データＡの名称である展望台Ｘを表示する。表示モジュール１７４は、対象データ表示領域３１０に、対象データＢを表示し、確率表示領域３２０に、この対象データＢの特定度や類似度に応じた確率である１０％を表示し、属性情報表示領域３３０に、この対象データＢの名称である送電線を表示する。表示モジュール１７４は、対象データ表示領域３１０に、対象データＣを表示し、確率表示領域３２０に、この対象データＣの特定度や類似度に応じた確率である５％を表示し、属性情報表示領域３３０に、この対象データＣの名称であるタワーＸを表示する。表示モジュール１７４は、対象データ表示領域３１０に、その他を表示し、確率表示領域３２０に、このその他の特定度や類似度に応じた確率である５％を表示する。その他とは、該当する対象データが存在しなかった場合、該当する対象データが所定の数を超えて存在する場合に表示する。上述した対象データＡ〜Ｃは、其々撮影画像データが表示される。

【0054】

なお、表示モジュール１７４が表示する対象データ表示領域３１０、確率表示領域３２０及び属性情報表示領域３３０の数、位置、形状及びその内容は適宜変更可能である。また、対象データＡ〜Ｃは、撮影画像データに限らず、他の手描きデータであってもよい。

【0055】

また、ステップＳ２１において、表示モジュール１７４は、特定した対象の各部位毎の確率や属性情報の確率を表示する構成であってもよい。例えば、表示モジュール１７４は、各部位の近傍に算出した確率を表示する構成、引出線等によりどの部位の確率であるかを明示した状態で算出した確率を表示する構成、各部位の名称とこの部位の確率とを表示する構成、属性情報の確率を表示する構成等であってもよい。また、上述した構成以外の構成により確率を表示する構成であってもよい。例えば、上述した図６において、対象データの該当部位に、この部位の確率を表示する構成であればよい。

【0056】

また、ステップＳ２１において、表示モジュール１７４は、対象を特定した根拠を、対象とともに表示する構成であってもよい。例えば、表示モジュール１７４は、各部位の其々の確率が所定の値を超過していることから、この対象を特定した旨の通知を表示する構成、一部部位の確率が所定の値を超過していることから、この対象を特定した旨の通知を表示する構成、各部位の確率は所定の値を超過していないものの、他の特定した対象と比較して最も全体の確率が高い対象である旨の通知を表示する構成、入力を受け付けた属性情報に対する確率が所定の値を超過している又は一致していることから、この対象を特定した旨の通知を表示する構成等であってもよい。また、上述した構成以外の構成により、根拠を表示する構成であってもよい。例えば、上述した図６において、対象データ又は確率を表示するとともに、この対象データ又は確率の根拠を表示する構成であればよい。

【0057】

図７に基づいて、表示モジュール１７４が表示する特定した対象の各部位毎及び属性情報の確率と、この対象を特定した根拠とを表示した状態について説明する。図７は、表示モジュール１７４が表示する特定した対象の各部位毎及び属性情報の確率と、この対象を特定した根拠とを表示した状態の一例を示す図である。図７において、図６における対象データＡを一例として示す。表示モジュール１７４は、上述した図６における各対象データ表示領域３１０の其々の対象データに対して、各部位及び属性情報の確率とこの対象を特定した根拠とを表示する。図７において、表示モジュール１７４は、対象データＡの対象データ表示領域３１０に、対象データＡを表示し、確率表示領域３２０に、この対象データＡの特定度や類似度に応じた確率である８０％を表示する。また、表示モジュール１７４は、この対象データＡの各部位、例えば、線分の比率、概形に引出線を示し、この部位の特定度に応じた確率を其々表示する。表示モジュール１７４は、線分の比率を８０％、概形の特定度を９０％を表示する。また、表示モジュール１７４は、この対象データＡのカテゴリが、入力されたカテゴリに対する確率を類似度として表示し、この類似度が９０％であることを表示する。また、表示モジュール１７４は、この対象データＡの撮影画像データを特定した根拠として、各部位の特定度及び属性情報の類似度に応じた確率が所定の値を超過していることを表示する。表示モジュール１７４は、根拠として「線分の比率及び概形が所定の確率を超過しています。同一のカテゴリが含まれます。」と表示する。また、表示モジュール１７４は、根拠として「カテゴリが一致又は類似しています。」と表示する。

【0058】

なお、表示モジュール１７４が表示する各部位及び属性情報の確率の表示態様やその表示内容及び根拠の表示態様やその表示内容は、適宜変更可能であり、上述した構成に限られない。また、表示モジュール１７４は、各部位の確率、属性情報の確率又は根拠のいずれか又は複数の組み合わせを表示する構成であってもよい。

【0059】

また、表示モジュール１７４は、全体の特定度に応じた確率が低いものの、各部位の特定度に応じた確率が、完全に一致する割合が高い対象データや属性情報の類似度が極めて高いものをハイライト表示する構成であってもよい。すなわち、表示モジュール１７４は、特定度に応じた確率が低い場合であっても、例えば、線分の比率や概形が完全に一致する場合や、入力を受け付けた属性情報が完全に一致する場合等の、各部位の特定度や属性情報の類似度が完全に一致する場合において、その対象データをハイライト表示する構成であってもよい。

【0060】

図８に基づいて、表示モジュール１７４が特定した対象の確率と、対象の属性情報と、対象データのハイライトとを表示した状態について説明する。図８は、表示モジュール１７４が特定した対象の確率と、対象データのハイライトとを表示した状態の一例を示す図である。表示モジュール１７４は、図６と略同様の表示であるが、対象データＢをハイライトして表示する。表示モジュール１７４は、特定度や類似度に応じた確率が対象データＡと比較して、低いものの、他の部位の確率が略一致している（１００％に近い）ことや、属性情報が略一致している（１００％に近い）場合、この対象データＢが手描き画に描かれた対象であると推測し、この対象データＢをハイライトして表示する。

【0061】

なお、表示モジュール１７４が表示するハイライトの表示態様は適宜変更可能である。また、表示モジュール１７４は、ハイライト以外の表示態様で対象データを強調表示する構成であってもよい。例えば、表示モジュール１７４は、該当する対象データを、他の対象データよりも拡大して表示する構成であってもよいし、他の対象データを縮小して表示する構成であってもよいし、点滅表示、音声出力等他の構成であってもよい。

【0062】

また、ステップＳ２１において、表示モジュール１７４は、特定した対象の複数の属性情報を、対象とともに表示する構成であってもよい。例えば、表示モジュール１７４は、特定した対象の属性情報を、この対象の近傍に表示する構成、引出線等によりどの対象であるかを明示した状態で属性情報を表示する構成等であってもよい。また、上述した構成以外の構成により、属性情報を表示する構成であってもよい。

【0063】

図９に基づいて、表示モジュール１７４が特定した対象の確率と、対象の属性情報とを表示した状態について説明する。図９は、表示モジュール１７４が特定した対象の確率と、対象の属性情報とを表示した状態の一例を示す図である。図９において、表示モジュール１７４は、図６における対象データＡを一例として示す。表示モジュール１７４は、上述した図６における各対象データ表示領域３００の其々の対象データに対して、この対象の属性情報を表示する。図９において、表示モジュール１７４は、属性情報として、名称、カテゴリ、説明、所在地を表示する。

【0064】

なお、属性情報は、上述した構成に限らず、その他の対象に関する情報であってもよい。また、属性情報の表示態様や表示位置は、上述した構成に限らず、適宜変更可能である。

【0065】

上述した各処理において、記憶モジュール１６０、抽出モジュール１７１、照合モジュール１７２又は特定モジュール１７３のいずれか又は複数の組合せは、必ずしも情報端末１００が有する構成でなくともよい。例えば、これらの構成を、図示していない外部装置が実行する構成であってもよい。この場合、情報端末１００は、手描きデータを外部装置に送信し、外部装置は、これらの各処理を実行し、実行した結果を、情報端末１００に送信する構成であればよい。また、これらの各モジュールの一部を外部装置が実行する構成で有る場合、該当する処理を、外部装置が実行し、実行結果を情報端末１００に送信する構成であればよい。

【0066】

また、上述した表示モジュール１７４は、上述した各構成のいずれか又は複数を組合わせて表示する構成であってもよい。例えば、対象データと、この対象データの各部位の確率と、特定度に応じた確率と、類似度に応じた確率と、特定した根拠と、属性情報とを表示する構成であってもよいし、対象データと、特定度に応じた確率と、特定した根拠と、ハイライト表示と、属性情報とを表示する構成であってもよいし、その他の組合わせを表示する構成であってもよい。

【0067】

以上が、手描き対象特定処理である。

【0068】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0069】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0070】

１ 手描き対象特定システム、１００ 情報端末

【要約】

【課題】手描きで描かれた対象を特定することが可能なコンピュータシステム、手描き対象特定方法及びプログラムを提供することを目的とする。
【解決手段】手描きで描かれた対象を特定するコンピュータシステムは、手描きデータの入力を受け付け、手描きされた対象となる対象データを記憶し、受け付けた前記手描きデータの特徴点を画像解析で抽出し、抽出した前記特徴点を、記憶した前記対象データと照合し、照合した結果から、前記手描きデータに描かれた対象を特定し、特定した結果を、特定度に応じた確率と一緒に表示する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】