特許 7598757 画像処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】画像処理装置およびプログラム

(51)【国際特許分類】

   H04N 1/60 20060101AFI20241205BHJP

   G09G 5/02 20060101ALI20241205BHJP

   G09G 5/32 20060101ALI20241205BHJP

   G06T 1/00 20060101ALI20241205BHJP

   H04N 1/387 20060101ALI20241205BHJP

   G06F 3/0481 20220101ALI20241205BHJP

【ＦＩ】

H04N1/60

G09G5/02 Z

G09G5/32 640S

G06T1/00 510

H04N1/387 110

G06F3/0481

【請求項の数】 5

(21)【出願番号】P 2020216804

(22)【出願日】2020-12-25

(65)【公開番号】P2022102204

(43)【公開日】2022-07-07

【審査請求日】2023-11-02

(73)【特許権者】

【識別番号】000250502

【氏名又は名称】理想科学工業株式会社

(74)【代理人】

【識別番号】100128451

【弁理士】

【氏名又は名称】安田 隆一

(72)【発明者】

【氏名】石 圭一郎

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１９－２２０７４８（ＪＰ，Ａ）

【文献】特開２０１４－１２３８９１（ＪＰ，Ａ）

【文献】特開２０１８－０９８５２５（ＪＰ，Ａ）

【文献】特開２００６－０５３６８２（ＪＰ，Ａ）

【文献】特開２００９－０７１５４１（ＪＰ，Ａ）

【文献】特開２０１１－２５０１６７（ＪＰ，Ａ）

【文献】特開２０１１－０４３７１１（ＪＰ，Ａ）

【文献】特開２０１１－０２４１９１（ＪＰ，Ａ）

【文献】国際公開第２００９／１５０９４６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｇ０６Ｔ １１／００ －１９／２０

Ｇ０９Ｇ ５／００ － ５／４２

Ｈ０４Ｎ １／３８ － １／３９３

Ｈ０４Ｎ １／４６ － １／６２

Ｈ０４Ｎ ９／１２ － ９／３１

Ｈ０４Ｎ ９／４４ － ９／７８

Ｈ０４Ｎ ２３／８３ －２３／８８

(57)【特許請求の範囲】

【請求項1】

入力された画像データを画面上に表示させ、かつ前記画面上に表示された画像に対して追加情報を追加して表示させる表示制御部と、
色弱者の種類を特定する特定部と、
前記画像データと前記特定部により特定された色弱者の種類に基づいて、前記追加情報の色を決定する色決定部とを備え、
前記色決定部は、前記画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、該変換した点を、前記色弱者の種類に応じた混同色線を用いて前記色弱者が認識可能な直線上に投影した結果に基づいて、前記追加情報の色を決定する画像処理装置。

【請求項2】

前記色決定部が、前記色弱者が認識可能な直線上に投影した結果に基づいてヒストグラムを生成し、該生成したヒストグラムを用いて前記追加情報の色を決定する請求項１記載の画像処理装置。

【請求項3】

前記色決定部が、前記ヒストグラムを所定の関数でフィッティングし、該フィッティングした関数の極小値に基づいて、前記追加情報の色を決定する請求項２記載の画像処理装置。

【請求項4】

前記色決定部が、前記画像データに対して解像度を低下させる処理を施し、該処理後の各画素の情報をｘｙ色度図上の点に変換する請求項１記載の画像処理装置。

【請求項5】

入力された画像データを画面上に表示させるステップと、
色弱者の種類を特定するステップと、
前記画像データと前記特定した色弱者の種類に基づいて、追加情報の色を決定するステップと、
前記画面上に表示された画像に対して、前記追加情報を前記決定した色で追加して表示させるステップとをコンピュータに実行させる画像処理プログラムであって、
前記色を決定するステップにおいて、前記画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、該変換した点を、前記色弱者の種類に応じた混同色線を用いて前記色弱者が認識可能な直線上に投影した結果に基づいて、前記追加情報の色を決定する画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データを画面上に表示させるとともに、その画像データに対して追加情報を追加して表示させる画像処理装置およびプログラムに関する。

【背景技術】

【0002】

従来、画像データを表示する際、色弱者（色覚異常者）が適切に認識できるように画像データに対して所定の処理を行うことが提案されている。

【0003】

たとえば特許文献１においては、第１の色と第２の色とを含む画像を構成する画像データを表示する際、色弱者が、第１の色と第２の色とを区別できないと判定した場合には、第１の色と第２の色とのいずれか一方に対して、複数の明度が混在する明度差ディザを加算することが提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１３８２４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、画像データを画面上に表示した後、その画像データに関する情報を追加して表示することがある。たとえば文章を含む画像データを表示する際、その文章に対するコメントを追加して表示する場合や、画像データに対して凡例を追加して表示する場合などが考えられる。

【0006】

このような場合、色弱者が、追加したコメントや凡例の色を周囲の画像データの色と判別できず、コメントや凡例を認識できない問題が起こり得る。

【0007】

特許文献１では、表示される画像データ自体に処理を施すことは提案されているが、上述したように画像データに対して追加して表示されるコメントや凡例を、色弱者が認識可能に表示する方法については何も提案されていない。

【0008】

本発明は、上記事情に鑑み、画像データに対して追加して表示される情報を、色弱者が識別し易い色で表示することができる画像処理装置およびプログラムを提供することを目的とするものである。

【課題を解決するための手段】

【0009】

本発明の画像処理装置は、入力された画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる表示制御部と、色弱者を特定する特定部と、画像データと特定部より特定された色弱者の種類に基づいて、追加情報の色を決定する色決定部とを備える。

【発明の効果】

【0010】

本発明の画像処理装置およびプログラムによれば、画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる際、色弱者を特定し、画像データと特定した色弱者の種類に基づいて、上記追加情報の色を決定する。

【0011】

これにより、画像データに対して追加して表示される追加情報を、色弱者が識別し易い色で表示することができ、追加情報の可読性を向上することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の画像処理装置の一実施形態を用いた画像表示システムの概略構成を示すブロック図

【図2】本発明の画像処理装置の一実施形態を用いた画像表示システムにおける色決定処理を説明するためのフローチャート

【図3】ｘｙ色度図上に表した各画素の色情報を混同色線を利用して直線Ｐ上に投影する様子を説明するための図

【図4】xy色度図における直線Ｐ上に投影された各投影点のヒストグラムの一例を示す図

【図5】ヒストグラムのフィッティングを説明するための図

【図6】フィッティング関数およびその極小値の一例を示す図

【図7】画像データに含まれる文章に対してコメントＣ１およびコメントＣ２を追加してポップアップ表示した例を示す図

【図8】極小値を持たないヒストグラムから追加情報の色を決定する方法を説明するための図

【図9】頂点を持たないヒストグラムの一例を示す図

【図10】xy色度図における直線Ｐ上に投影した各投影点から最も遠い点Ｘを求める方法の一例を説明するための図

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の画像処理装置の一実施形態を用いた画像表示システムについて詳細に説明する。図１は、本実施形態の画像表示システム１の概略構成を示すブロック図である。

【0014】

本実施形態の画像表示システム１は、図１に示すように、表示制御装置１０と、表示装置２０とを備えている。表示制御装置１０と表示装置２０とは、有線または無線の通信回線で接続されており、互いに通信可能に構成されている。

【0015】

表示制御装置１０は、画像データ生成部１１および画像処理部１２を備えている。そして、画像処理部１２は、画像データ解析部１２ａ、表示制御部１２ｂ、特定部１２ｃおよび色決定部１２ｄを備えている。

【0016】

本実施形態の表示制御装置１０は、たとえばユーザが作成した文章などを含む画像データを表示装置２０に表示させるとともに、その文章を解析し、読み手が読みやすい文章となるように、文章に対するコメントを上記画像データに重ねてポップアップ表示させる。

【0017】

画像データ生成部１１は、たとえばMicrosoft社製のWordなどの文書作成アプリケーションを起動することによって、ユーザが作成した文章などを含む画像データを生成する。

【0018】

画像処理部１２は、画像データ生成部１１によって生成された画像データに対して所定の処理を施して表示装置２０に表示させる。なお、本実施形態の画像処理部１２は、本発明の画像処理装置に相当する構成である。以下、画像処理部１２の各部の構成について説明する。

【0019】

画像データ解析部１２ａは、画像データ生成部１１によって生成された画像データが入力され、その画像データに含まれる文章を解析し、読み手が読みやすい文章であるか否かを解析する。画像データ解析部１２ａは、たとえば文章を構成する文字の大きさや行間が適切に設定されているか否かを解析するが、解析内容についてはこれに限らず、その他の公知な技術を用いることができる。なお、画像データ解析部１２ａに入力される画像データは、Wordによって作成された画像データそのものでもよいし、これをPDF（Portable Document Format）化したファイルでもよい。また、本実施形態においては、画像データ解析部１２ａの解析結果が、本発明の追加情報に相当する。

【0020】

表示制御部１２ｂは、画像データ生成部１１によって生成された画像データを表示装置２０に表示させるとともに、画像データ解析部１２ａの解析結果を上記画像データに追加して表示装置２０に表示させる。

【0021】

そして、表示制御部１２ｂは、画像データに重ねて解析結果であるコメントをポップアップ表示する際、そのポップアップ表示が、その周囲の画像データの色に対して色弱者にとって認識し易い色で表示する。

【0022】

特定部１２ｃは、色弱者の種類を特定する。色弱者の種類としては、たとえば１型２色覚、２型２色覚、３型２色覚、１型３色覚、２型３色覚および３型３色覚などがある。特定部１２ｃは、たとえば表示装置２０上に表示された色弱者の種類の設定画面上で指定された色弱者の種類を取得し、これにより色弱者の種類を特定する。

【0023】

色決定部１２ｄは、画像データ生成部１１によって生成された画像データと特定部１２ｃによって特定された色弱者の種類とに基づいて、画像データ解析部１２ａの解析結果であるコメントをポップアップ表示する際に用いられる色、すなわち色弱者が認識し易い色を決定する。色決定部１２ｄにおける色決定処理については、後で詳述する。

【0024】

表示制御装置１０は、コンピュータから構成されるものであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random access memory）などの半導体メモリ、ハードディスクなどのストレージ、並びに通信Ｉ／Ｆを備えている。そして、表示制御装置１０のストレージには、本発明の画像処理プログラムの一実施形態がインストールされており、この画像処理プログラムがＣＰＵによって実行されることによって、表示制御装置１０の画像処理部１２が動作する。

【0025】

なお、本実施形態においては、画像処理部１２の各部の機能を画像処理プログラムにより実現するようにしたが、これに限らず、一部または全部の機能もしくは制御をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路などのハードウェアによって実現するようにしてもよい。

【0026】

表示装置２０は、液晶ディスプレイなどの表示デバイスから構成される。なお、本実施形態においては、表示制御装置１０と表示装置２０とを別々に構成しているが、たとえばノート型パソコンやタブレット端末を用いて、表示制御装置１０と表示装置２０を一体化した構成としてもよい。

【0027】

次に、本実施形態の画像表示システム１における色決定処理について、図２に示すフローチャートを参照しながら説明する。

【0028】

まず、画像データ生成部１１において、ユーザが作成した文章などを含む画像データが生成され、その生成された画像データが、画像データ解析部１２ａによって取得される（Ｓ１０）。そして、画像データ解析部１２ａにおいて、画像データに含まれる文章の解析が行われる（Ｓ１２）。

【0029】

画像データ解析部１２ａにおける文章の解析によって、コメントを追加表示する必要があると判断された場合には（Ｓ１４，ＹＥＳ）、色決定部１２ｄにおける色決定処理が行われる。以下、本実施形態における色決定処理について、詳細に説明する。

【0030】

まず、特定部１２ｃによって色弱者の種類が特定される（Ｓ１６）。次いで、色決定部１２ｄは、画像データ生成部１１において生成されたＲＧＢの画像データをＸＹＺ表色系に変換し、さらに画像データを構成する各画素の信号をxy色度図上の色情報に変換する（Ｓ１８）。なお、ＲＧＢからＸＹＺ表色系への変換およびＸＹＺ表色系からxy色度図上の色情報への変換については、既存の式を用いることができる。ＸＹＺ表色系からxy色度図上の色情報への変換については、たとえば下式を用いることができる。
ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）
ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）

【0031】

次いで、色決定部１２ｄは、図３に示すように、ｘｙ色度図上に表した各画素（たとえば図３に示すＰ１、Ｐ２およびＰ３）の色情報を混同色線を利用して、xy色度図上の直線Ｐ上に投影する。具体的には、色決定部１２ｄは、各画素の色情報を含む混同色線と直線Ｐとの交点を計算する（Ｓ２０）。

【0032】

ここで、混同色線とは、図３に示す混同色中心Ｃから放射状に無数に引かれる直線である。色弱者は、混同色線上の色が、全て直線Ｐとの交点に位置する色に見える。すなわち、色弱者は、混同色線上の色同士を区別することができない。なお、混同色中心Ｃは、１型２色覚の色弱者の場合、（x，y）＝（0.7465，0.2534）であり、２型２色覚の色弱者の場合、（x，y）＝（1.400，-0.400）であり、３型２色覚の色弱者の場合、（x，y）＝（0.1748，0.0）である。

【0033】

また、図３に示す直線Ｐは、１型２色覚の色弱者の場合の直線であり、下式で表すことができる。
ｙ＝1.415919ｘ－0.082680

【0034】

そして、上述した１型２色覚の他、２型２色覚、３型２色覚、１型３色覚、２型３色覚および３型３色覚の色弱者の場合も、xy色度図上で認識可能な直性Ｐが存在する。

【0035】

色決定部１２ｄには、色弱者の種類に応じた混同色線および直線Ｐが予め設定されており、色決定部１２ｄは、特定部１２ｃにより特定された色弱者の種類に基づいて、混同色線および直線Ｐを決定する。

【0036】

そして、色決定部１２ｄは、上述したように直線Ｐ上に投影された各投影点の頻度を算出し、図４に示すようなヒストグラムを計算する（Ｓ２２）。次いで、色決定部１２ｄは、図５に示すように、Ｓ２２で計算したヒストグラムを混合ガウス分布でフィッティングする（Ｓ２４）。

【0037】

次に、色決定部１２ｄは、図６に示すように、フィッティング関数の極小値（微分係数がゼロになる点）を計算する（Ｓ２６）。そして、色決定部１２ｄは、極小値におけるフィッティング関数の値が小さい順に、コメントに使用する色を決定する（Ｓ２８）。すなわち、色決定部１２ｄは、コメントが１つの場合には、フィッティング関数の値が最も小さい極小値における色をコメントの色として決定する。また、色決定部１２ｄは、コメントが複数である場合には、上述したように極小値におけるフィッティング関数の値が小さい順に、コメントに使用する色を決定する。

【0038】

次いで、色決定部１２ｄは、Ｓ２６で決定した色情報を表示制御部１２ｂに出力し、表示制御部１２ｂは、入力されたxy色度図上のxyzの値をＸＹＺ表色系に変換し、さらにＸＹＺ表色系をＲＧＢの信号に変換する（Ｓ３０）。

【0039】

そして、表示制御部１２ｂは、Ｓ２８で変換されたＲＧＢの信号を用いて、画像データ上にコメントを追加表示する（Ｓ３２）。図７は、画像データに含まれる文章に対してコメントＣ１およびコメントＣ２を追加してポップアップ表示した例を示す図である。

【0040】

なお、Ｓ１２における画像データの解析の結果、その文章に対するコメントが無い場合には（Ｓ１４，ＮＯ）、特にポップアップ表示など行うことなく、そのまま処理を終了する。

【0041】

上記実施形態の画像表示システム１によれば、画像データを画面上に表示させ、かつ画面上に表示された画像に対して追加情報を追加して表示させる際、画像データと色弱者の種類とに基づいて、上記追加情報の色を決定する。

【0042】

これにより、画像データに対して追加して表示される追加情報を、色弱者が識別し易い色で表示することができ、追加情報の可読性を向上することができる。

【0043】

また、上記実施形態の画像表示システム１によれば、画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、その変換した点を混同色線を用いて色弱者が認識可能な直線Ｐ上に投影した結果に基づいて、上記追加情報の色を決定するようにしたので、色弱者の種類に応じた混同色線および直線Ｐを用いてことによって、色弱者の種類に応じた適切な色を決定することができる。

【0044】

また、上記実施形態の画像表示システム１によれば、色弱者が認識可能な直線Ｐ上に投影した結果に基づいてヒストグラムを生成し、その生成したヒストグラムを用いて追加情報の色を決定するようにしたので、画像データの色を考慮して追加情報の色を決定することができる。

【0045】

また、上記実施形態の画像表示システム１によれば、ヒストグラムを所定の関数でフィッティングし、そのフィッティングした関数の極小値に基づいて、追加情報の色を決定するようにしたので、簡易な演算方法によって画像データの色を考慮した追加情報の色を決定することができる。

【0046】

なお、上記実施形態においては、色決定部１２ｄが、画像データを構成する各画素の信号をxy色度図上の色情報に変換するようにしたが、この際、画像データに対して解像度を低下させる処理を施し、その処理後の各画素の信号をｘｙ色度図上の点に変換するようにしてもよい。これにより、色決定処理の処理速度を上げることができる。

【0047】

解像度を低下させる処理としては、たとえば画素の間引き処理や、隣接する複数画素をまとめて１つの画素に変換する処理などを用いるようにすればよい。

【0048】

また、画像データを構成する各画素の信号をxy色度図上の色情報に変換する際、全ての画素の信号を変換するのではなく、コメントを表示する位置周辺の一部の画素の信号のみを変換するようにしてもよい。これにより、色決定処理の処理速度を上げることができる。なお、コメントを表示する位置周辺の範囲については、予め設定するようにすればよい。

【0049】

また、上記実施形態においては、ユーザによって作成された文章の解析結果を追加情報として追加表示するようにしたが、追加情報としてはこれに限らず、たとえばユーザが任意に設定入力したコメントを追加情報としてもよいし、凡例を追加情報としてもよく、画像データに対して追加表示される情報であれば如何なるものでもよい。

【0050】

また、上記実施形態においては、色決定部１２ｄが、ヒストグラムをフィッティングしたフィッティング関数の極小値を用いて色を決定するようにしたが、たとえば図８Ａに示すようにヒストグラムが極小値を持たない場合もあり得る。

【0051】

このような場合、色決定部１２ｄは、図８Ｂに示すようにヒストグラムを混合ガウス分布でフィッティングした頂点の色または単純に最も頻度が高い色から、直線Ｐ上で予め設定された閾値以上離れた点の色をコメントの色として決定する。

【0052】

また、色決定部１２ｄで生成したヒストグラムが、図９に示すように頂点を持たないヒストグラムである場合もあり得る。この場合、色決定部１２ｄは、ヒストグラムの各頻度の各色の明度と、予め設定した無彩色の各色（たとえば（Ｒ，Ｇ，Ｂ）＝（０，０，０）、（Ｒ，Ｇ，Ｂ）＝（６８，６８，６８）、（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８）、（Ｒ，Ｇ，Ｂ）＝（１９６，１９６，１９６）および（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）など）の明度との明度差を算出し、最も明度差が大きい色をコメントの色として決定する。

【0053】

また、上記実施形態においては、色決定部１２ｄが、ヒストグラムを用いてコメントの色を決定するようにしたが、ヒストグラムを用いずに色を決定するようにしてもよい。具体的には、色決定部１２ｄは、直線Ｐ上に投影した各投影点から、直線Ｐ上において最も遠い点Ｘの色をコメントの色として決定するようにしてもよい。

【0054】

上述した最も遠い点Ｘを求める方法としては、たとえば図１０に示すように直線Ｐ上で点Ｘを端から少しずつ移動させ、移動後の各位置の場合について、それぞれ各投影点からの距離（図１０に示す例の場合、距離Ｄ_１、距離Ｄ_２および距離Ｄ_３）を求め、その合計を計算する。色決定部１２ｄは、上記合計値が大きい点Ｘの順でコメントの色を決定する。

【0055】

また、最も遠い点Ｘを求めるその他の方法として、直線Ｐ上の各投影点の座標の平均値を最も遠い点Ｘとしてもよい。なお、この場合、点Ｘが一つしか求まらないため、複数のコメントの色を決定する場合には、たとえば求めた点Ｘを既存の投影点の一つとして加え、さらに平均値を求めることで２番目以降のコメントの色を決定するようにすればよい。

【0056】

本発明に関し、さらに以下の付記を開示する。
（付記）

【0057】

本発明の画像処理装置において、色決定部は、画像データを構成する各画素の情報をｘｙ色度図上の点に変換し、その変換した点を、色弱者の種類に応じた混同色線を用いて上記色弱者が認識可能な直線上に投影した結果に基づいて、追加情報の色を決定することができる。

【0058】

本発明の画像処理装置において、色決定部は、色弱者が認識可能な直線上に投影した結果に基づいてヒストグラムを生成し、その生成したヒストグラムを用いて追加情報の色を決定することができる。

【0059】

また、本発明の画像処理装置において、色決定部は、ヒストグラムを所定の関数でフィッティングし、そのフィッティングした関数の極小値に基づいて、追加情報の色を決定することができる。

【0060】

また、本発明の画像処理装置において、色決定部は、画像データに対して解像度を低下させる処理を施し、その処理後の各画素の情報をｘｙ色度図上の点に変換することができる。

【0061】

本発明の画像処理プログラムは、入力された画像データを画面上に表示させるステップと、画像データを構成する各画素をｘｙ色度図上の点に変換し、その変換した点を混同色線を用いて色弱者が認識可能な直線上に投影した結果に基づいて、追加情報の色を決定するステップと、画面上に表示された画像に対して、追加情報を決定した色で追加して表示させるステップとをコンピュータに実行させる。

【符号の説明】

【0062】

１ 画像表示システム
１０ 表示制御装置
１１ 画像データ生成部
１２ 画像処理部
１２ａ 画像データ解析部
１２ｂ 表示制御部
１２ｃ 特定部
１２ｄ 色決定部
２０ 表示装置
Ｃ 混同色中心
Ｃ１ コメント
Ｃ２ コメント

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】