IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝情報システム株式会社の特許一覧

特開2024-151655表示文言検査装置及び表示文言検査用プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024151655
(43)【公開日】2024-10-25
(54)【発明の名称】表示文言検査装置及び表示文言検査用プログラム
(51)【国際特許分類】
   G09G 5/00 20060101AFI20241018BHJP
   G06V 30/12 20220101ALI20241018BHJP
   G06V 30/14 20220101ALI20241018BHJP
   G06V 10/56 20220101ALI20241018BHJP
   G06T 7/90 20170101ALI20241018BHJP
   G06T 7/00 20170101ALI20241018BHJP
   G06T 7/11 20170101ALI20241018BHJP
   G09G 5/22 20060101ALI20241018BHJP
   G09G 5/24 20060101ALI20241018BHJP
   G09G 5/30 20060101ALI20241018BHJP
   G09G 5/02 20060101ALI20241018BHJP
   G09G 5/37 20060101ALI20241018BHJP
   G06F 11/32 20060101ALI20241018BHJP
【FI】
G09G5/00 X
G06V30/12 Z
G06V30/14 340J
G06V10/56
G06T7/90 A
G06T7/00 350B
G06T7/11
G09G5/22 650Z
G09G5/24 650Z
G09G5/30 610C
G09G5/30 610L
G09G5/22 650R
G09G5/02 B
G09G5/37 320
G09G5/00 550R
G09G5/00 550H
G09G5/24 690
G06F11/32 170
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023065173
(22)【出願日】2023-04-12
(71)【出願人】
【識別番号】391016358
【氏名又は名称】東芝情報システム株式会社
(74)【代理人】
【識別番号】100156199
【弁理士】
【氏名又は名称】神崎 真
(74)【代理人】
【識別番号】100124497
【弁理士】
【氏名又は名称】小倉 洋樹
(74)【代理人】
【識別番号】100074147
【弁理士】
【氏名又は名称】本田 崇
(72)【発明者】
【氏名】山口 拓郎
【テーマコード(参考)】
5B029
5B042
5B064
5C182
5L096
【Fターム(参考)】
5B029AA00
5B029BB01
5B029CC27
5B029CC28
5B029EE08
5B042JJ29
5B042KK13
5B042MA08
5B042MA11
5B042MC36
5B064AA10
5B064AB19
5B064BA09
5B064CA08
5B064EA08
5C182AB02
5C182AB25
5C182AC02
5C182AC33
5C182AC39
5C182BA03
5C182BA04
5C182BA06
5C182CA21
5C182CB44
5C182CC24
5C182DA06
5C182DA14
5C182DA53
5C182DA70
5C182FA03
5C182FA05
5C182FA11
5C182FA14
5C182FA22
5C182FA23
5C182FA64
5C182FA65
5C182FA68
5C182FA78
5L096AA02
5L096AA06
5L096BA04
5L096BA08
5L096BA18
5L096CA18
5L096DA02
5L096EA35
5L096FA15
5L096FA19
5L096FA44
5L096FA64
5L096GA40
5L096JA04
5L096JA11
5L096JA28
(57)【要約】
【課題】合否判定の合格判定については100%の精度を保証でき、人間が目視で確認する範囲を不合格判定箇所だけに狭める。
【解決手段】表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成される文字列画像から文字画像を読み出し、文字単位に切り出しを行う文字切出手段と、前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき、文字単位の文字画像を発生させる文字画像発生手段と、切り出された文字画像と発生された文字画像との類似度に基づき、文字コードを得る文字コード取得手段と、この文字コード取得手段により得られた文字コードによる文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる前記文字列単位の文字による文言との一致不一致を検出する一致不一致検出手段とを具備する。
【選択図】図1
【特許請求の範囲】
【請求項1】
表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成される文字列画像から文字画像を読み出し、文字単位に切り出しを行う文字切出手段と、
前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき、文字単位の文字画像を発生させる文字画像発生手段と、
前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段と、
この文字コード取得手段により得られた文字コードによる文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる前記文字列単位の文字による文言との一致不一致を検出する一致不一致検出手段と
を具備することを特徴とする表示文言検査装置。
【請求項2】
前記文字切出手段は、AIにより文字単位に切り出しを行うことを特徴とする請求項1に記載の表示文言検査装置。
【請求項3】
前記文字切出手段は、画面上の文字による文言が表示される表示エリア枠と、この表示エリア枠に表示される文字の外郭までの距離及びフォントを説明変数として文字単位に切り出しを行うことを特徴とする請求項2に記載の表示文言検査装置。
【請求項4】
前記一致不一致検出手段は、前記表示エリア枠に表示される文字の色情報に基づき、一致不一致を検出することを特徴とする請求項2に記載の表示文言検査装置。
【請求項5】
複数行に亘っている文字列について検査を行うことを特徴とする請求項2に記載の表示文言検査装置。
【請求項6】
前記一致不一致検出手段は、検出した一致不一致の結果をパーセントで表示することを特徴とする請求項1に記載の表示文言検査装置。
【請求項7】
前記文字コード取得手段は、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度を得ることを特徴とする請求項1に記載の表示文言検査装置。
【請求項8】
コンピュータを、
表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成される文字列画像から文字画像を読み出し、文字単位に切り出しを行う文字切出手段、
前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき文字単位の文字画像を発生させる文字画像発生手段、
前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段、
この文字コード取得手段により得られた文字コードによる文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる前記文字列単位の文字による文言との一致不一致を検出する一致不一致検出手段
として機能させることを特徴とする表示文言検査用プログラム。
【請求項9】
前記コンピュータを、前記文字切出手段として、AIにより文字単位に切り出しを行うように機能させることを特徴とする請求項8に記載の表示文言検査用プログラム。
【請求項10】
前記コンピュータを、前記文字切出手段として、画面上の文字による文言が表示される表示エリア枠と、この表示エリア枠に表示される文字の外郭までの距離及びフォントを説明変数として文字単位に切り出しを行うように機能させることを特徴とする請求項9に記載の表示文言検査用プログラム。
【請求項11】
前記コンピュータを、前記一致不一致検出手段として、前記表示エリア枠に表示される文字の色情報に基づき、一致不一致を検出するように機能させることを特徴とする請求項9に記載の表示文言検査用プログラム。
【請求項12】
前記コンピュータを、前記文字切出手段、前記文字画像発生手段、前記文字コード取得手段、前記一致不一致検出手段として、複数行に亘っている文字列について処理を行うように機能させることを特徴とする請求項9に記載の表示文言検査用プログラム。
【請求項13】
前記コンピュータを、前記一致不一致検出手段として、検出した一致不一致の結果をパーセントで表示するように機能させることを特徴とする請求項8に記載の表示文言検査用プログラム。
【請求項14】
前記コンピュータを、前記文字コード取得手段として、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度を得るように機能させることを特徴とする請求項8に記載の表示文言検査用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、表示文言検査装置及び表示文言検査用プログラムに関するものである。
【背景技術】
【0002】
例えば、車載コックピットは、各種警告情報をドライバーに伝えるためのTFTパネルを備えた製品が用いられている。このTFTパネルへの警告表示は走行安全にかかわる警告もあり、警告内容が正しく表示できる必要があるため、警告表示の検査に関しても高い信頼性が求められる。
【0003】
従来の検査では、一度人間が目視で確認し、合格と判断した結果に対するデグレが発生していないことの確認については自動化が進んでおり、人為的なミスなく効率的に実施できているが、初回の検査については人間が目視で検査を行っているのが現状である。
【0004】
従来、文言表示の自動検査に関連する技術としては、OCRを利用することが考えられている。しかし、OCRの認識には100%の精度を期待することはできない問題がある。このため、例えば合格判定自体にも誤りが含まれてしまうことから、100%の精度を求められる検査において、間違いが含まれる可能性のあるOCRによる検査方法を採用することができない。
【0005】
また、特許文献1には、表示装置に表示された文字の検査装置が示されている。この装置では、表示装置の表示した文字画像をキャプチャし、キャプチャした画像(以下、キャプチャ画像という。)の文字画像をノーマライズして第1のRAMに記憶する。第2の記憶部には、第2フォントのデータが記憶されている。検査対象の文字に対応する文字とは、第1フォントの文字画像を含むキャプチャ画像から読み取った文字コードに対応する文字である。描画部は、第2の記憶部から第2フォントを呼び出して検査対象の文字に対応する文字を描画し、描画した第2フォントの文字に係る画像を比較部に渡す。
【0006】
比較部は、第1フォントの文字画像を第1のRAMから取得し、第2フォントの文字画像を描画部から取得し、第1フォントの文字画像及び第2フォントの文字画像との比較処理を行う。当該文字画像の比較は、各文字コードに対応する文字に対して1つずつ行う。つまり比較部は、各文字コードに対応する、第1フォントの全ての文字画像及び第2フォントの全ての文字画像の比較処理を行う。比較部は、両画像の各画素の差分から差分比Dを算出して所定の数式を用いて各文字画像の比較を行う。判定部は、比較部の比較処理による結果に基づき、第1フォントの文字画像と第2フォントの文字画像との一致度を判定する。この特許文献1では、キャプチャによらず直接に第1のフォントのデータを取り込む手法も開示している。
【0007】
また、特許文献2には、テキストを含む文書がブラウザにより正しく描画されるか否かを適切に検査する検査装置が開示されている。検査装置は、文書をブラウザに与えて、画面に表示させ、若しくはブラウザの仮想ビューに描画させることにより、当該文書が描画された画像を取得し、前記取得された画像を文字認識することにより、認識済テキストを取得し、前記文書から描画されるべき本文テキストを抽出し、前記認識済テキストと前記本文テキストとを対比することにより、前記文書が前記ブラウザにより正しく描画されたか否かを判定するものである。この検査装置によれば、テキストを含む文書がブラウザにより正しく描画されるか否かを適切に検査することができる。
【0008】
上記認識部では、取得部により取得された画像を文字認識することにより、画像に描画されたテキストを認識済テキストとして取得している。認識部は、例えば、形態素解析を用いて、取得部により取得された画像を、各文字を表す画像に分割し、分割された画像から文字認識に用いる特徴量(特徴量を示すベクトル)を抽出するものである。そして、抽出された特徴量と記憶装置に予め記憶されている文字の特徴量とを対比することによって文字認識を行っている。文字認識に用いる特徴量は、文字の輪郭を利用した方向線素特徴等である。また、認識部は、文字認識の結果得られた各文字が画像内におけるどの位置から認識されたものか示す位置情報を取得する。この位置情報は、文字の描画に欠陥が発見された場合に、表示装置の画面内における欠陥が有る位置又はその周辺に文字の描画に欠陥が有る旨の警告を表示するために使用されている。
【0009】
更に、特許文献3には、Web仕様はそれぞれ仕様書で大まかな動作が定められているが、実際にWebページを表示するWebブラウザにおいて各Web仕様を動作させると、Webブラウザ間で異なる動作(動作差異)が発生することがあることに鑑み、Web仕様ごとのWebブラウザ間の動作差異情報を正確に生成する動作差異情報生成装置が開示されている。動作差異の一例としては、表示上のずれ、文字化け、イベント発生の有無等がある。本動作差異情報生成装置は、Webページ分解部、シングルブラウザ動作差異検出部、マルチブラウザ動作差異検出部、動作差異情報格納部を備える。Webページ分解部は、入力Webページを入力とし、動作差異情報格納部に格納された動作差異情報(動作差異蓄積情報)に基づいて、基本Webページ及び評価用Webページ候補を生成する。
【0010】
シングルブラウザ動作差異検出部は、基本Webページ及び評価用Webページ候補を入力とし、少なくとも1つ以上のWebブラウザにおいて、入力された両Webページ間に動作差異がある場合に、評価用Webページ候補を評価用Webページとして出力する。このシングルブラウザ動作差異検出部の処理によって、評価用Webページ候補のうち、Web仕様以外を要因とする動作差異を有するものが除外され、Web仕様のみを要因とするWebブラウザ間の動作差異の有無を確認するために好適な評価用Webページが生成される。
【0011】
マルチブラウザ動作差異検出部は、評価用Webページを入力として、異なる2以上のWebブラウザ間における動作差異を確認し、確認結果をまとめた動作差異情報を生成する機能を有する。したがって、マルチブラウザ動作差異検出部によって生成される動作差異情報には、評価対象のWeb仕様について複数種類のWebブラウザ間における動作差異が示される。
【0012】
動作差異情報格納部は、マルチブラウザ動作差異検出部によって生成された動作差異情報を格納するリポジトリの機能を有する。動作差異情報格納部は、新たに生成された動作差異情報を動作差異蓄積情報に追加して格納することにより、既知の動作差異情報を更新することができる。
【0013】
動作差異情報表示部は、動作差異情報格納部に格納された動作差異情報(動作差異蓄積情報)を出力する機能を有する。動作差異情報表示部は、動作差異情報格納部に格納された動作差異蓄積情報を読込み、その内容を表示装置に表示出力させる他、メモリ、外部記憶装置、及びネットワーク通信装置にも出力することができる。斯くして、動作差異情報生成装置では、Webページ分解部、シングルブラウザ動作差異検出部、マルチブラウザ動作差異検出部の順で、各部による機能(各部による処理)が呼び出され、動作差異蓄積情報が表示されて行く。
【0014】
以上のように検査装置では、検査機能の検査品質精度の向上が図られているものの、最終的に検査を行う検査者の工数を低減する観点からのものではない。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開2018-205673号公報
【特許文献2】特許第6356924号公報
【特許文献3】特許第6993284号公報
【発明の概要】
【発明が解決しようとする課題】
【0016】
検査装置においては、100%の精度が期待できない工程において判断結果のミスが生じたとしても、100%の精度が期待できる次の工程でNG判断するように工夫することにより、合格のケースをNGと判断することはあるが、NGを合格と誤判定することがないという意味において、合格判定については100%の精度を確保することができる。上記のような自動検査装置を採用することにより、目視による検査は自動検査でNGと判断された箇所のみに限定することができる。
【0017】
本発明は上記のような考え方を根底において表示文言検査装置及び表示文言検査用プログラムを発明するもので、その目的は、合否判定の合格判定については100%の精度を保証でき、人間が目視で確認する範囲を不合格判定箇所だけに狭めることができるため、人為的なミスの可能性や評価工数を低減可能な表示文言検査装置及び表示文言検査用プログラムを提供することである。
【課題を解決するための手段】
【0018】
本発明に係る表示文言検査装置は、表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成される文字列画像から文字画像を読み出し、文字単位に切り出しを行う文字切出手段と、前記表示画面に表示されるべく、予め用意された文字列の文字コードとフォントデータに基づき、文字単位の文字画像を発生させる文字画像発生手段と、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段と、この文字コード取得手段により得られた文字コードによる文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる前記文字列単位の文字による文言との一致不一致を検出する一致不一致検出手段とを具備することを特徴とする。
【0019】
本発明に係る表示文言検査装置では、前記文字切出手段は、AIにより文字単位に切り出しを行うことを特徴とする。
【0020】
本発明に係る表示文言検査装置では、前記文字切出手段は、画面上の文字による文言が表示される表示エリア枠と、この表示エリア枠に表示される文字の外郭までの距離及びフォントを説明変数として文字単位に切り出しを行うことを特徴とする。
【0021】
本発明に係る表示文言検査装置では、前記一致不一致検出手段は、前記表示エリア枠に表示される文字の色情報に基づき、一致不一致を検出することを特徴とする。
【0022】
本発明に係る表示文言検査装置では、複数行に亘っている文字列について検査を行うことを特徴とする。
【0023】
本発明に係る表示文言検査装置では、前記一致不一致検出手段は、検出した一致不一致の結果をパーセントで表示することを特徴とする。
【0024】
本発明に係る表示文言検査装置では、前記文字コード取得手段は、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度を得ることを特徴とする。
【0025】
本発明に係る表示文言検査用プログラムは、コンピュータを、表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成される文字列画像から文字画像を読み出し、文字単位に切り出しを行う文字切出手段、前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき、文字単位の文字画像を発生させる文字画像発生手段、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段、この文字コード取得手段により得られた文字コードによる文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる文字列単位の文字による文言との一致不一致を検出する一致不一致検出手段として機能させることを特徴とする。
【0026】
本発明に係る表示文言検査用プログラムでは、前記コンピュータを、前記文字切出手段として、AIにより文字単位に切り出しを行うように機能させることを特徴とする。
【0027】
本発明に係る表示文言検査用プログラムでは、前記コンピュータを、前記文字切出手段として、画面上の文字による文言が表示される表示エリア枠と、この表示エリア枠に表示される文字の外郭までの距離及びフォントを説明変数として文字単位に切り出しを行うように機能させることを特徴とする。
【0028】
本発明に係る表示文言検査用プログラムでは、前記コンピュータを、前記一致不一致検出手段として、前記表示エリア枠に表示される文字の色情報に基づき、一致不一致を検出するように機能させることを特徴とする。
【0029】
本発明に係る表示文言検査用プログラムでは、前記コンピュータを、前記文字切出手段、前記文字画像発生手段、前記文字コード取得手段、前記一致不一致検出手段として、複数行に亘っている文字列について処理を行うように機能させることを特徴とする。
【0030】
本発明に係る表示文言検査用プログラムでは、前記コンピュータを、前記一致不一致検出手段として、検出した一致不一致の結果をパーセントで表示するように機能させることを特徴とする。
【0031】
本発明に係る表示文言検査用プログラムでは、前記コンピュータを、前記文字コード取得手段として、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度を得るように機能させることを特徴とする。
【図面の簡単な説明】
【0032】
図1】本実施形態に係る表示文言検査装置のブロック図。
図2】本実施形態に係る表示文言検査装置を実現するコンピュータのブロック図。
図3】コンピュータによる構成の本実施形態に係る表示文言検査装置の動作を示すフローチャート。
図4】本実施形態の表示装置の画面、この画面に表示される文字列と検知枠を示す図。
図5】本実施形態に係る表示文言検査装置による文字切り出しに用いる推論矩形と外接矩形を示す図。
図6】本実施形態に係る表示文言検査装置により用いられる検知枠、推論矩形、外接枠の枠線を示す図。
図7】本実施形態に係る表示文言検査装置による、2行2列の文字列に対応して求められる判定情報を示す図。
図8】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図9】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図10】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図11】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図12】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図13】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図14】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図15】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図16】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図17】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図18】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図19】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図20】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図21】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図22】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図23】本実施形態に係る表示文言検査装置による、文字の枠周囲における判定情報を示す図。
図24】本実施形態に係る表示文言検査装置により蓄積したデータまたは情報の要部を示す図。
図25】本実施形態に係る表示文言検査装置により、判定がOKとなったメッセージと判定がNGとなったメッセージの検査文言の部分、検査対象の画像(VRAM22から読出した画像)の部分、検知結果画像の部分、判定の結果(NGかOK)の部分、総合類似度の部分、判定情報の要部を示した図。
図26】本実施形態に係る表示文言検査装置により、判定がOKとなったメッセージである「RESOLVE R-1 NOT ADJUSTED」についての判定画像を示す図。
図27】本実施形態に係る表示文言検査装置により、判定がNGとなった検査文言が「No Message」である、検査結果画像の一例を示す図。
【発明を実施するための形態】
【0033】
以下添付図面を参照して、本発明に係る表示文言検査装置及び表示文言検査用プログラムの実施形態を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図1に本実施形態に係る表示文言検査装置100のブロック図を示す。表示文言検査装置100は、例えばTFTパネル等の表示画面を備えた表示装置200に接続されて、検査を行う。
【0034】
表示装置200には、ドライバーに伝えるための各種警告情報としてメッセージ画像を作成するメッセージ画像作成部21を備えられている。メッセージ画像作成部21には、例えば交通情報などを受信して表示すべきメッセージ情報(コード)としてメッセージ画像作成部21へ送る入力部20が接続されている。入力部20からは、表示文言検査の際には検査用のメッセージ情報が送られる。
【0035】
更に、メッセージ画像作成部21には、VRAM22が接続されており、メッセージ画像作成部21によって作成されたメッセージ画像がVRAM22に格納されるように構成されている。VRAM22は、表示部23に接続されており、表示部23はVRAM22に格納されている画像を読み出し、表示画面に表示する。
【0036】
表示文言検査装置100は、上記入力部20及びVRAM22に接続されている。表示文言検査装置100は、上記入力部20から表示文言検査の際には検査用のメッセージ情報を取り込み、検査を行う。このメッセージ情報の取り込みに対応してVRAM22に格納されているメッセージ画像を取り込み、検査を行う。また、メッセージ情報は、前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータであり、検査の際の情報である。
【0037】
表示文言検査装置100は、文字切出手段11、文字画像発生手段12、文字コード取得手段13、一致不一致検出手段14を備える。文字切出手段11は、表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成される文字列画像から文字画像を読み出し、文字単位に切り出しを行うものである。ここで、正規文字列画像とは、表示装置に表示する文字画像であり、以下に述べるように本発明において一致不一致検出を行うことが可能な劣化のない画像情報であり、キャプチャ画像であっても良いが、表示された画像をカメラなどにより撮像した画像は含まれない。本実施形態では、正規文字列画像による構成される文字列画像がVRAM22に格納されているものとする。従って、文字切出手段11は、VRAM22に記憶されている文字列の文字画像に基づき、表示画面へ文字を表示する表示装置200の上記VRAM22から上記文字画像を読み出し、文字単位に切り出しを行うものである。この文字単位に切り出しを行う処理は、AI(Artificial Intelligence)により行われる。例えば、いくつかの文字列の文字に対するユニークコードなどの文字コードやフォント情報などの後述する判定情報のいくつかを説明変数とし、切出位置情報を目的変数として、機械学習により正解の切出位置情報を得る判定モデルを作成し、これをAIによる文字切出手段11とすることができる。図4においては、この場合のAIを「多言語自動認識ツール」や「文言学習画像作成ツール」として示してあり、TFTパネル等の表示画面を黒の四角枠により示している。そして、「メッセージはありません」という文字列が検知枠で囲われていることを示す。検知枠の上下座標や幅と高さなどの判定情報は上記ツール実行時に指定(入力)される。文字切出手段11は、アルファベットや漢字、ひらがなのように1文字づつ離れた文字は1文字単位に切り出すことは勿論、アラビア語の場合のように複数文字を組み合わせて用いる言語の場合には、組み合わせの複数文字の部分を切出位置として切り出しを行うものである。文字切出手段11は、文字が連なる場合の切り出し、横書き文字列からの文字の切り出し、縦書き文字列からの文字の切り出しを行うことができる。
【0038】
文字画像発生手段12は、前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき文字単位の文字画像を発生させるものである。即ち、表示文言検査の際に入力部20から与えられる検査用のメッセージ情報を取り込み、文字画像が発生されるものである。
【0039】
文字コード取得手段13は、上記文字切出手段11により切り出された文字画像と上記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得るものであり、AIにより行うことができる。つまり、文字コード取得手段13は、上記文字切出手段11により切り出された文字画像と上記文字画像発生手段12により発生された文字画像との類似度を得るものである。例えば、文字切出手段11によって、切り出された文字画像を説明変数として、上記文字画像発生手段12により発生された文字画像等の情報(同じ文字コード及びフォント)とを目的変数とした学習データを用いて機械学習により判定モデルを作り、文字画像認識用のAIとして文字コード取得手段13を構成することができる。この場合に、類似度を出力するように構成する。一致不一致検出手段14は、上記文字コード取得手段13により得られた文字コードによる文字列単位の文字による文言と、上記表示画面に表示されるべく予め用意された文字列の文字コードによる上記文字列単位の文字による文言との一致不一致を検出するものである。上記文字コード取得手段13は、文字単位にコードを得て(取得して)行くので、この段階で文字毎の類似度(精度)を得ておき、これを一致不一致検出手段14が用いて、文字列全体では検出した一致不一致の結果をパーセントで表示する構成とすることができる。
【0040】
表示文言検査装置100は、図2に示されるようなコンピュータの構成とすることができる。即ち、このコンピュータはCPU30が主メモリ31に記憶されたプログラムを用いて各部を制御して表示文言検査装置100として動作するものである。
【0041】
CPU30には、バス32を介して外部記憶インタフェース33、入力インタフェース34、表示インタフェース35、データ入力インタフェース36、37が接続されている。外部記憶インタフェース33には、外部記憶装置43が接続されている。外部記憶装置43には、前述の文字切出手段11、文字画像発生手段12、文字コード取得手段13、一致不一致検出手段14やAIを実現するためのプログラムの他、この表示文言検査装置100として動作するための各種のデータが記憶されている。入力インタフェース34には、キーボードやタッチパネルなどの入力装置44とマウスなどのポインティングデバイス42が接続され、必要なデータやコマンドなどを入力可能に構成されている。表示インタフェース35には、LEDやLCDなどの表示器を備えた表示装置45が接続され、必要な画像やデータが表示可能となっている。データ入力インタフェース36は、入力部20に接続され、表示文言検査の際に入力部20から与えられる検査用のメッセージ情報を取り込むために用いられ、データ入力インタフェース37は、VRAM22に接続され、VRAM22に格納されているメッセージ画像を取り込むために用いられる。
【0042】
以上の構成のコンピュータは、文字切出手段11、文字画像発生手段12、文字コード取得手段13、一致不一致検出手段14やAI等として図3に示すフローチャートのプログラムを実行して表示文言検査装置として機能するので、このフローチャートに沿って動作説明を行う。表示文言検査のスタートとなると、VRAM22から文字列の画像を読み出し、文字単位に切り出しを行う(S11)。このとき、既に図4を用いて説明したように、判定情報は入力されているものとする。
【0043】
ステップS11において文字切り出しが行われると、文字単位に切り出した文字画像と前記文字画像発生手段12により発生された文字画像との類似度から対応する文字コードを取得する(S12)。このときに、図5に示す、切り出しに用いた推論矩形と外接矩形が決定される。ここにおいて、「推論」は、VRAM22から取り出した文字画像に対するものである。図5における検知枠は図6に示されるように、他の枠と比べて細い枠である。図5における推論矩形は推論情報(文字列の文字と推論した領域の情報)から得た矩形範囲として、図6の太い枠として示されている。また、図5における外接枠は、推論枠内の文字に対する外接矩形として、図6の破線により示されている。ここにおいて、「外接」は、VRAM22から取り出した文字画像に対するものである。図5図8図22までの例では、表示される文言は「メッセージはありません」である。
【0044】
上記のように「検知枠」、「推論矩形」、「外接矩形」が求められていることに応じて、判定情報が得られる。ここでは、判定情報のうち、「検知枠」、「推論矩形」、「外接矩形」によって決まるものを#1~#16として説明する。判定情報は表示文言検査の結果を得るために、文字列単位及びその中の文字毎にステップS11とステップS12の処理過程で得られるもので、図7に、2行2列の文字列に対応して求められるものを示す。第1行目の第1列目は「文字1」に関するもので、実線枠により囲まれた部分に類似度やフォント名などの判定情報が記載される。第2行目の第1列目は「文字2」に関するもので、二点鎖線枠により囲まれた部分に類似度やフォント名などの判定情報が記載される。第1行目の第2列目は「文字3」に関するもので、破線枠により囲まれた部分に類似度やフォント名などの判定情報が記載される。第2行目の第2列目は「文字4」に関するもので、二点鎖線枠により囲まれた部分に類似度やフォント名などの判定情報が記載される。
【0045】
上記のように「文字1」~「文字4」に関する判定情報が記載される枠が存在し、この枠の周囲に#1~#16により示す判定情報が配置されている。#1は図8に示されるように、検知枠の左側と行の先頭文字の推論画像左端との間隔を示す数値である。#2は図9に示すように、検知枠の左側と行の先頭文字の外接矩形左端との間隔を示す数値である。#3は図10に示すように、検知枠の上側と、先頭行の推定矩形の上座標の最小座標との間隔を示す数値である。
【0046】
#4は図11に示すように、検知枠の上側と、先頭行の外接矩形上座標の最小座標との間隔を示す数値である。#5は図12に示すように、検知枠の下側と、最下行の推定矩形の最大値座標との間隔を示す数値である。#6は図13に示すように、検知枠の下側と最下行の外接矩形の最大値座標との間隔を示す数値である。#7は図14に示すように、検知枠の右側と、各行の最終文字の推定矩形での右端座標との間隔を示す数値である。#8は図15に示すように、検知枠の右側と、各行の最終文字の外接矩形での右端座標との間隔を示す数値である。#9は図16に示すように、上段行推論矩形の下最大座標と、下段行推論矩形の上最小座標との間隔を示す数値である。#10は図17に示すように、上段行外接矩形の下最大座標と、下段行外接矩形の上最小座標との間隔を示す数値である。
【0047】
#11は図18に示すように、上段行推論矩形の下最大座標と、下段行外接矩形の上最小座標との間隔を示す数値である。#12は図19に示すように、上段行外接矩形の下最大座標と、下段行推論矩形の上最小座標との間隔を示す数値である。#13は図20に示すように、前の文字の推論矩形の右座標と、後ろの文字の推論矩形の左座標の間隔を示す数値である。#14は図21に示すように、前の文字の外接矩形の右座標と、後ろの文字の外接矩形の左座標の間隔を示す数値である。#15は図22に示すように、前の文字の推論矩形の右座標と、後ろの文字の外接矩形の左座標の間隔を示す数値である。#16は図23に示すように、前の文字の外接矩形の右座標と、後ろの文字の推論矩形の左座標の間隔を示す数値である。
【0048】
判定情報は、図7において「文字1」~「文字4」の各枠内の各欄に示されているものも得られる。以下に、図7において「文字1」~「文字4」の各枠内の各欄に示されている判定情報を説明する。枠内の1行目には、左から順に、フォント画像、フォント画像幅、フォント画像高さがセットされる。枠内の2行目には、推論画像、推論画像幅、推論画像高さがセットされる。枠内の3行目には、外接矩形画像、外接矩形幅、外接矩形高さがセットされる。枠内の4行目には、画像タイプ、フォント名、類似度がセットされる。
【0049】
再び、図3に戻って説明する。次のステップでは、予め用意の文字列の文字コードと、文字画像の類似度から取得した文字コードの一致不一致検出し(S13)、一致したかを判定する(S14)。一致している場合は、文字列の文言表示は合格とする(S15)。不一致の場合は、文字列の文言表示は不合格とする(S16)。
【0050】
本実施形態の装置は、前述の判定情報を含めて、処理結果に係るデータまたは情報を蓄積しているので、これを説明する。図24は、蓄積したデータまたは情報の要部例であり、テーブル化したものを示すが、形式は特に限定されない。図24の例では、メッセージ毎に行方向の欄に纏められ、左から列方向欄にナンバーなどのシステムが管理に用いる情報がセットされ、次の行方向欄には、メッセージを日本語化したものがセットされ、次の行方向欄には、メッセージを英語化したものがセットされ、次の行方向欄には、実際のメッセージである検査文言がセットされ、次の行方向欄には、検査対象の画像(VRAM22から読出した画像)がセットされ、次の行方向欄には、検知結果画像がセットされ、次の行方向欄には、判定の結果(NGかOK)がセットされ、次の行方向欄には、総合類似度がセットされ、次の行方向欄には、既に説明した判定情報がセットされる。判定情報はメッセージの文言における文字数に対応して図の右側へ続くものであるが、ここでは省略してある。
【0051】
図25には、判定がOKとなったメッセージと判定がNGとなったメッセージの検査文言の部分、検査対象の画像(VRAM22から読出した画像)の部分、検知結果画像の部分、判定の結果(NGかOK)の部分、総合類似度の部分、判定情報の要部を示した。図26には、判定がOKとなったメッセージの検査文言である「RESOLVE R-1 NOT ADJUSTED」の検知結果の画像が示されている。また、図27には、判定がNGとなったメッセージの検査文言である「No Message」の検知結果の画像が示されている。この図26図27から、適当な長さの文字列についての類似度が表示されている。
【0052】
また、図25から分かるように、判定がOKとなったメッセージの検査文言である「RESOLVE R-1 NOT ADJUSTED」では、各文字の類似度が100%であり、総合類似度も100%であるのに対し、判定がNGとなったメッセージの検査文言である「No Message」では、各文字の類似度が55.73%や61.46%が存在するなど100%ではなく、総合類似度も100%でないことからNGとなったことが判る。
【0053】
以上のように、表示されたメッセージの文字列について合否判定の合格判定については100%の精度を保証できることになる。従って、本実施形態の装置では、類似度やフォント名を表示することになるので、人間が目視で確認する範囲を不合格判定箇所だけに狭めることができる。このため、人為的なミスの可能性や評価工数を低減可能な表示文言検査装置及び表示文言検査用プログラムを提供することができる。
【符号の説明】
【0054】
11 文字切出手段
12 文字画像発生手段
13 文字コード取得手段
14 一致不一致検出手段
20 入力部
21 メッセージ画像作成部
22 VRAM
23 表示部
30 CPU
31 主メモリ
32 バス
33 外部記憶インタフェース
34 入力インタフェース
35 表示インタフェース
36 データ入力インタフェース
37 データ入力インタフェース
42 ポインティングデバイス
43 外部記憶装置
44 入力装置
45 表示装置
100 表示文言検査装置
200 表示装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
【手続補正書】
【提出日】2024-08-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成されるメッセージである文字列画像が記憶されたVRAMから文字列画像を読み出し、文字単位に切り出しを行う文字切出手段と、
前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき、文字単位の文字画像を発生させる文字画像発生手段と、
前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段と、
この文字コード取得手段により得られた文字コードによる文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる前記文字列単位の文字による文言との一致不一致を検出すると共に、前記類似度を用いて、前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度を得て、一致不一致の結果と共に前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度をパーセントで表示する一致不一致検出手段と
を具備することを特徴とする表示文言検査装置。
【請求項2】
前記文字切出手段は、AIにより文字単位に切り出しを行うことを特徴とする請求項1に記載の表示文言検査装置。
【請求項3】
前記文字切出手段は、画面上の文字による文言が表示される表示エリア枠と、この表示エリア枠に表示される文字の外郭までの距離及びフォントを説明変数として文字単位に切り出しを行うことを特徴とする請求項2に記載の表示文言検査装置。
【請求項4】
前記一致不一致検出手段は、前記表示エリア枠に表示される文字の色情報に基づき、一致不一致を検出することを特徴とする請求項3に記載の表示文言検査装置。
【請求項5】
複数行に亘っている文字列について検査を行うことを特徴とする請求項2に記載の表示文言検査装置。
【請求項6】
前記文字コード取得手段は、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度を得ることを特徴とする請求項1に記載の表示文言検査装置。
【請求項7】
コンピュータを、
表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成されるメッセージである文字列画像が記憶されたVRAMから文字列画像を読み出し、文字単位に切り出しを行う文字切出手段、
前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき文字単位の文字画像を発生させる文字画像発生手段、
前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段、
この文字コード取得手段により得られた文字コードによる前記文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる文字列単位の文字による文言との一致不一致を検出すると共に、前記類似度を用いて、前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度を得て、一致不一致の結果と共に前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度をパーセントで表示する一致不一致検出手段
として機能させることを特徴とする表示文言検査用プログラム。
【請求項8】
前記コンピュータを、前記文字切出手段として、AIにより文字単位に切り出しを行うように機能させることを特徴とする請求項7に記載の表示文言検査用プログラム。
【請求項9】
前記コンピュータを、前記文字切出手段として、画面上の文字による文言が表示される表示エリア枠と、この表示エリア枠に表示される文字の外郭までの距離及びフォントを説明変数として文字単位に切り出しを行うように機能させることを特徴とする請求項8に記載の表示文言検査用プログラム。
【請求項10】
前記コンピュータを、前記一致不一致検出手段として、前記表示エリア枠に表示される文字の色情報に基づき、一致不一致を検出するように機能させることを特徴とする請求項9に記載の表示文言検査用プログラム。
【請求項11】
前記コンピュータを、前記文字切出手段、前記文字画像発生手段、前記文字コード取得手段、前記一致不一致検出手段として、複数行に亘っている文字列について処理を行うように機能させることを特徴とする請求項8に記載の表示文言検査用プログラム。
【請求項12】
前記コンピュータを、前記文字コード取得手段として、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度を得るように機能させることを特徴とする請求項7に記載の表示文言検査用プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】変更
【補正の内容】
【0018】
本発明に係る表示文言検査装置は、表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成されるメッセージである文字列画像が記憶されたVRAMから文字列画像を読み出し、文字単位に切り出しを行う文字切出手段と、前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき、文字単位の文字画像を発生させる文字画像発生手段と、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段と、この文字コード取得手段により得られた文字コードによる文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる前記文字列単位の文字による文言との一致不一致を検出すると共に、前記類似度を用いて、前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度を得て、一致不一致の結果と共に前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度をパーセントで表示する一致不一致検出手段を具備することを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0023
【補正方法】削除
【補正の内容】
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】変更
【補正の内容】
【0025】
本発明に係る表示文言検査用プログラムは、コンピュータを、表示装置の表示画面に文字列を表示する基となる正規文字列画像により構成されるメッセージである文字列画像が記憶されたVRAMから文字列画像を読み出し、文字単位に切り出しを行う文字切出手段、前記表示画面に表示されるべく予め用意された文字列の文字コードとフォントデータに基づき文字単位の文字画像を発生させる文字画像発生手段、前記文字切出手段により切り出された文字画像と前記文字画像発生手段により発生された文字画像との類似度に基づき、この切り出された文字画像に対応する文字コードを得る文字コード取得手段、この文字コード取得手段により得られた文字コードによる前記文字列単位の文字による文言と、前記表示画面に表示されるべく予め用意された文字列の文字コードによる文字列単位の文字による文言との一致不一致を検出すると共に、前記類似度を用いて、前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度を得て、一致不一致の結果と共に前記メッセージの各文字の類似度及び前記メッセージに関する総合類似度をパーセントで表示する一致不一致検出手段として機能させることを特徴とする。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0030
【補正方法】削除
【補正の内容】