(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023172218
(43)【公開日】2023-12-06
(54)【発明の名称】ファックス装置、迷惑ファックス判定器学習システム、及び迷惑ファックス判定システム
(51)【国際特許分類】
H04N 1/32 20060101AFI20231129BHJP
H04N 1/00 20060101ALI20231129BHJP
【FI】
H04N1/32 101
H04N1/00 J
H04N1/00 127A
H04N1/00 Z
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022083873
(22)【出願日】2022-05-23
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】岡本 倫哉
【テーマコード(参考)】
5C062
【Fターム(参考)】
5C062AA02
5C062AA05
5C062AA13
5C062AA35
5C062AB08
5C062AB20
5C062AB22
5C062AB23
5C062AB38
5C062AB40
5C062AB42
5C062AC04
5C062AC05
5C062AC22
5C062AC34
5C062AC64
(57)【要約】
【課題】迷惑ファックスを判定する精度を向上させること。
【解決手段】ファックス装置と、ファックス装置が受信したファックスが迷惑ファックスであるかを判定する機械学習モデルを学習する情報処理装置を有する迷惑ファックス判定器学習システムであって、ファックス装置は、受信したファックスの画像データの特徴に基づいて決定された分割画像領域を表示する表示制御部と、分割画像領域に対応する画像データである分割画像データに対して、迷惑ファックスの特徴を有する分割画像データを指定するユーザによる操作を受け付ける操作受付部と、分割画像データを情報処理装置に送信する通信部と、を有し、情報処理装置は、分割画像データと、分割画像データの特徴に基づいて決定された分類情報と、ユーザが入力した分割画像データが迷惑ファックスである確度と、を学習データとして用いて、機械学習モデルを学習する学習部と、を有することを特徴とする。
【選択図】
図5
【特許請求の範囲】
【請求項1】
ファックス装置と、前記ファックス装置が受信したファックスが迷惑ファックスであるかを判定する機械学習モデルを学習する情報処理装置を有する迷惑ファックス判定器学習システムであって、
前記ファックス装置は、
受信した前記ファックスの画像データの特徴に基づいて決定された分割画像領域を表示する表示制御部と、
前記分割画像領域に対応する前記画像データである分割画像データに対して、前記迷惑ファックスの特徴を有する前記分割画像データを指定するユーザによる操作を受け付ける操作受付部と、
前記分割画像データを前記情報処理装置に送信する通信部と、
を有し、
前記情報処理装置は、
前記分割画像データと、前記分割画像データの特徴に基づいて決定された分類情報と、ユーザが入力した前記分割画像データが前記迷惑ファックスである確度と、を学習データとして用いて、前記機械学習モデルを学習する学習部と、
を有する迷惑ファックス判定器学習システム。
【請求項2】
前記ファックス装置は、
受信した前記ファックスの画像データを前記画像データに含まれる図形及び文字の間の距離に基づいて決定した前記分割画像領域に対応する前記分割画像データを取得する分割部と、
前記分割画像データに、図形及び文字が含まれるかに関する情報に基づいて、前記分類情報を決定する分類部と、
を更に有する請求項1に記載の迷惑ファックス判定器学習システム。
【請求項3】
前記情報処理装置は、
受信した前記ファックスの画像データを前記画像データに含まれる図形及び文字の間の距離に基づいて決定した前記分割画像領域に対応する前記分割画像データを取得する分割部と、
前記分割画像データに、図形及び文字が含まれるかに関する情報に基づいて、前記分類情報を決定する分類部と、
を更に有する請求項1に記載の迷惑ファックス判定器学習システム。
【請求項4】
前記表示制御部は、前記分割画像データと前記分類情報を前記機械学習モデルに入力することで取得した前記確度を表示し、
前記操作受付部は、取得した前記確度を修正する値を入力するユーザによる操作を受け付け、
前記学習部は、前記ユーザが修正した前記確度を前記学習データに含めて、前記機械学習モデルを学習する、
請求項1乃至請求項3のいずれか一項に記載の迷惑ファックス判定器学習システム。
【請求項5】
印刷されたファックスをスキャンして画像データを取得する読込部と、
を更に有し、
前記読込部が取得した画像データを前記ファックス装置が受信したファックスの画像データと同様に用いることが可能である請求項4に記載の迷惑ファックス判定器学習システム。
【請求項6】
ファックスが迷惑ファックスであるかを判定するファックス装置であって、
前記迷惑ファックスを判定する予め学習された機械学習モデルを記憶する記憶部と、
受信した前記ファックスの画像データの特徴に基づいて、前記画像データを分割した分割画像データを取得する分割部と、
前記分割画像データの特徴に基づいて分類情報を決定する分類部と、
前記分割画像データと前記分類情報を前記機械学習モデルに入力して得られる前記迷惑ファックスである確度に基づいて、前記ファックスが前記迷惑ファックスであるかを判定する判定部と、
前記判定部が判定した判定結果を表示する表示制御部と、
を有するファックス装置。
【請求項7】
前記確度の値に基づいて、前記ファックスのファイルを削除する、又は予め定めたフォルダに移動する請求項6に記載のファックス装置。
【請求項8】
ファックス装置と、前記ファックス装置が受信したファックスが迷惑ファックスであるかを判定する情報処理装置を有する迷惑ファックス判定システムであって、
前記情報処理装置は、
前記迷惑ファックスを判定する予め学習された機械学習モデルを記憶する記憶部と、
前記ファックスの画像データの特徴に基づいて、前記画像データを分割した分割画像データと、前記分割画像データの特徴に基づいて決定された分類情報とを、前記機械学習モデルに入力して得られる迷惑ファックスである確度に基づいて、前記ファックスが前記迷惑ファックスであるかを判定する判定部と、
を有し、
前記ファックス装置は、
前記判定部が判定した判定結果を前記情報処理装置から受信する通信部と、
受信した前記判定結果を表示する表示制御部と、
を有する迷惑ファックス判定システム。
【請求項9】
前記確度の値に基づいて、前記ファックスのファイルを削除する、又は予め定めたフォルダに移動する請求項8に記載の迷惑ファックス判定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ファックス装置、迷惑ファックス判定器学習システム、及び迷惑ファックス判定システムに関する。
【背景技術】
【0002】
近年、不要な広告などの迷惑ファックスを拒否する迷惑ファックス防止機能を有するファックス装置が普及している。特許文献1には、受信したファックスの送信先を特定するために、受信したファックス文書をスキャナで読取ることで得た画像データの所定の領域に含まれる文字を認識する技術が公開されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、従来の技術では、ファックス文書の画像データに含まれる情報を適切に利用できておらず、迷惑ファックスを判定する精度が低いことが問題であった。
【0004】
本発明の実施形態は、上記課題に鑑み、ファックス文書の画像データに含まれる情報を適切に利用することにより、迷惑ファックスを判定する精度を向上させることを目的とする。
【課題を解決するための手段】
【0005】
上述した課題を解決するために、本発明は、ファックス装置と、ファックス装置が受信したファックスが迷惑ファックスであるかを判定する機械学習モデルを学習する情報処理装置を有する迷惑ファックス判定器学習システムであって、ファックス装置は、受信したファックスの画像データの特徴に基づいて決定された分割画像領域を表示する表示制御部と、分割画像領域に対応する画像データである分割画像データに対して、迷惑ファックスの特徴を有する分割画像データを指定するユーザによる操作を受け付ける操作受付部と、分割画像データを情報処理装置に送信する通信部と、を有し、情報処理装置は、分割画像データと、分割画像データの特徴に基づいて決定された分類情報と、ユーザが入力した分割画像データが迷惑ファックスである確度と、を学習データとして用いて、機械学習モデルを学習する学習部と、を有することを特徴とする。
【発明の効果】
【0006】
本発明の実施形態によれば、迷惑ファックスを判定する精度を向上させることができる。
【図面の簡単な説明】
【0007】
【
図1】本発明の実施形態に係る迷惑ファックス判定器学習システムの概略図の一例を示す図である。
【
図2】本発明の実施形態に係る迷惑ファックス判定システムの概略図の一例を示す図である。
【
図3】本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【
図4】本発明の実施形態に係るファックス装置のハードウェア構成の一例を示す図である。
【
図5】本発明の実施形態に係る迷惑ファックス判定器学習システムにおける機能ブロックの構成図の一例を示す図である。
【
図6】本発明の実施形態に係る迷惑ファックス判定システムにおける機能ブロックの構成図の一例を示す図である。
【
図7】本発明の実施形態に係る学習データの生成処理に関するフローチャートの一例を示す図である。
【
図8】本発明の実施形態に係るファックス画像に対する領域指定処理(手動)の一例を示す図である。
【
図9】本発明の実施形態に係るファックス画像に対する領域指定処理(半自動)の一例を示す図である。
【
図10】本発明の実施形態に係るファックス画像に対する領域指定処理(自動)の一例を示す図である。
【
図11】本発明の実施形態に係る学習データのデータ構造の一例を示す図である。
【
図12】本発明の実施形態に係る学習データ生成処理(変形例)に関するシーケンスの一例を示す図である。
【
図13】本発明の実施形態に係る画像データにおける分割画像領域の位置情報の一例を示す図である。
【
図14】本発明の実施形態に係る指定された分割画像データの位置と確度に関する情報のデータ構造の一例を示す図である。
【
図15】本発明の実施形態に係る迷惑ファックス判定器の機械学習モデルの一例を示す図である。
【
図16】本発明の実施形態に係る迷惑ファックスの判定結果画面の一例を示す図である。
【
図17】本発明の実施形態に係る迷惑ファックス判定処理に関するシーケンスの一例を示す図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照しながら、本発明に係るファックス装置、迷惑ファックス判定器学習システム、及び迷惑ファックス判定システムの実施形態を詳細に説明する。
【0009】
[第1の実施形態]
<システム概要>
図1は、本発明の実施形態に係る迷惑ファックス判定器学習システムの概略図の一例を示す図である。迷惑ファックス判定器学習システム1は、例えば、インターネット又は電話回線等の通信ネットワーク3に接続するファックス装置9aと情報処理装置5aを含む。ファックス装置9aにおいて、受信したファックス、又は印刷されたファックスをスキャンして得た画像データは、図形や文字等の特徴のある領域ごとに分割される。更に、分割された画像データ(分割画像データ)は、画像データの特徴に基づいて分類され、分類されたカテゴリに応じた分類情報が付与される。ユーザは、それぞれの分割画像データに対して、迷惑ファックスの特徴を有するか否かを判定して、迷惑ファックスであることの確度を決定する。確度は、迷惑ファックスの可能性が最も高い場合を1(又は100%)とし、可能性が最も低い場合を0(又は0%)とする。ファックス装置9aは、通信ネットワーク3を介して、分類情報と確度が付与された分割画像データを迷惑ファックスの判定器を学習するための学習データ(教師データとよんでもよい)として、情報処理装置5aに送信する。ここで、ユーザが選択した迷惑ファックスの特徴を有する分割画像データは、全て確度を1としてもよい。情報処理装置5aは、ファックス装置9aから受信した学習データ(分割画像データ、分類情報、確度)を用いて、迷惑ファックスを判定する判定器の機械学習モデルを学習し、学習した機械学習モデルをファックス装置9aに送信する。
【0010】
図2は、本発明の実施形態に係る迷惑ファックス判定システムの概略図の一例を示す図である。迷惑ファックス判定システム2は、例えば、インターネット又は電話回線等の通信ネットワーク3に接続するファックス装置9b、9cと情報処理装置5a、5bを含む。迷惑ファックス判定システム2は、2つの形態を有し、迷惑ファックス判定システム2aでは、ファックス装置9bが、学習済の迷惑ファックス判定器の機械学習モデルを用いて、受信したファックスが迷惑ファックスであるか否かを判定する。一方、迷惑ファックス判定システム2bでは、ファックス装置9cが、通信ネットワーク3を介して、受信したファックスの画像データを情報処理装置5bに送信する。情報処理装置5bは、受信した画像データに対して、学習済の迷惑ファックス判定器の機械学習モデルを用いて、迷惑ファックスであるか否かを判定し、判定結果をファックス装置9cに送信する。
【0011】
ここで、ファックス装置9b及び情報処理装置5bは、学習済の迷惑ファックス判定器の機械学習モデルを事前に情報処理装置5aから受信して、記憶装置に記憶しているものとする。また、情報処理装置5aと情報処理装置5bで実現される機能又は処理(機械学習モデルの学習と迷惑ファックス判定)を同一の装置で実現してもよい。
【0012】
なお、
図1及び
図2に示すシステム構成は一例である。例えば、通信ネットワーク3には、移動体通信、又は無線LAN等の無線通信による接続区間が含まれていても良い。また、ファックス装置9及び情報処理装置5の台数は、任意の台数であってよい。
【0013】
<ハードウェア構成例>
図3は、本発明の実施形態に係る情報処理装置5(5a、5b)のハードウェア構成の一例を示す図である。
図3に示されるように、情報処理装置5はコンピュータによって構築されており、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、バスライン510、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514、メディアI/F516を備えている。
【0014】
これらのうち、CPU501は、情報処理装置5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F509は、通信ネットワーク3を利用してデータ通信をするためのインターフェースである。バスライン510は、
図3に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0015】
また、キーボード511は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWドライブ514は、DVD-RWに限らず、DVD-R等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
【0016】
<ハードウェア構成例(画像形成装置)>
図4は、本発明の実施形態に係るファックス装置9(9a、9b、9c)のハードウェア構成の一例を示す図である。ファックス装置9は、画像形成装置(あるいは、MFP、Multifunction Peripheral/Product/Printerと呼ばれる)と呼ばれるものであってもよく、コントローラ910、近距離通信回路920、エンジン制御部930、操作パネル940、ネットワークI/F950を備えている。
【0017】
これらのうち、コントローラ910は、コンピュータの主要部であるCPU901、システムメモリ(MEM-P)902、ノースブリッジ(NB)903、サウスブリッジ(SB)904、ASIC(Application Specific Integrated Circuit)906、ローカルメモリ(MEM-C)907、HDDコントローラ908、及び、HD909を有し、NB903とASIC906との間をAGP(Accelerated Graphics Port)バス921で接続した構成となっている。
【0018】
これらのうち、CPU901は、ファックス装置9の全体を制御する。NB903は、CPU901と、MEM-P902、SB904、及びAGPバス921とを接続するためのブリッジであり、MEM-P902に対する読み書きなどを制御するメモリコントローラと、PCI(Peripheral Component Interconnect)マスタ及びAGPターゲットとを有する。
【0019】
MEM-P902は、コントローラ910の各機能を実現させるプログラムやデータの格納用メモリであるROM902a、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるRAM902bとからなる。なお、RAM902bに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD-R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0020】
SB904は、NB903とPCIデバイス、周辺デバイスとを接続するためのブリッジである。ASIC906は、画像処理用のハードウェア要素を有する画像処理用途向けのIC(Integrated Circuit)であり、AGPバス921、PCIバス922、HDD908およびMEM-C907をそれぞれ接続するブリッジの役割を有する。このASIC906は、PCIターゲットおよびAGPマスタ、ASIC906の中核をなすアービタ(ARB)、MEM-C907を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のDMAC(Direct Memory Access Controller)、並びに、スキャナ部931、プリンタ部932、及びファックス部933との間でPCIバス922を介したデータ転送を行うPCIユニットとからなる。なお、ASIC906には、USB(Universal Serial Bus)のインターフェースや、IEEE1394(Institute of Electrical and Electronics Engineers 1394)のインターフェースを接続するようにしてもよい。
【0021】
スキャナ部931は、用紙に印刷された文字や画像を読取り、画像データを得るスキャン機能を制御する。プリンタ部932は、取得した画像データを印刷するプリンタ機能を制御する。ファックス部933は、ネットワークI/F509を介してファックスの送受信するファックス機能を制御する。
【0022】
近距離通信回路920は、ICカードなどに記憶された利用者の認証情報などを読込むためのカードリーダ920aを有する。
【0023】
操作パネル940は、利用者による入力を受け付けるタッチパネル940aとテンキー940bを有する。また、タッチパネル940aは、ファックス装置9が実行するアプリケーション画面などを表示する。
【0024】
メディアI/F916は、フラッシュメモリ等の記録メディア915に対するデータの読み出し又は書き込み(記憶)を制御する。
【0025】
<機能について>
図5は、本発明の実施形態に係る迷惑ファックス判定器学習システムにおける機能ブロックの構成図の一例を示す図である。ファックス装置9aは、通信部10、分割部11、分類部12、操作受付部14、表示制御部15、及び読込部16を有する。これら各部は、
図1の迷惑ファックス判定器学習システム1を構成するファックス装置9aにインストールされた1以上のプログラムに含まれる命令をCPU901が実行することで実現される機能又は手段である。記憶部13は、例えば、ファックス装置9aが有するHD909などの記憶装置によって実現可能である。
【0026】
通信部10は、ファックス装置9aが有する通信機能であり、通信ネットワーク3を介してファックスの送受信、及び情報処理装置5a等と情報の送受信を行う。
【0027】
分割部11は、ファックスの画像データに対して、図形又は文字等の特徴を有する領域に分割した分割画像領域を決定した後、それぞれの分割画像領域における画像データ(分割画像データとよぶ)を取得する。ここで、分割部11は、予め定めた距離以内に隣接する図形又は文字が、同一の分割画像領域に含まれるようにしてもよい。
【0028】
分類部12は、画像の特徴(図形、文字等)に基づいて、分割部11が取得した分割画像データを分類した分類情報を決定する。例えば、分類部12は、分割画像データを文字、図形等の非文字、文字と非文字の混在の3種類に分類し、文字は「0」、非文字は「1」、文字と非文字の混在は「2」のように分類情報を決定する。
【0029】
記憶部13は、学習済の迷惑ファックス判定器の機械学習モデルの情報(層数、各層のノード数、重みの値等)を記憶する。
【0030】
操作受付部14は、ファックス装置9aのタッチパネル940a又はテンキー940bを介して、ユーザによる迷惑ファックスの特徴を有する分割画像領域を指定する操作、及び迷惑ファックスである確度の値を入力する操作等を受け付ける。
【0031】
表示制御部15は、ファックスの画像データや迷惑ファックスであるかの判定結果等をファックス装置9aのタッチパネル940aに表示する。
【0032】
読込部16は、ファックス装置9aのスキャナ部931を用いて、印刷されたファックスをスキャンすることにより、ファックスの画像データを取得する。或いは、読込部16は、ファックス装置9aのメディアI/F916を用いて、フラッシュメモリ等の記録メディア915に記録されたファックスの画像データを取得してもよい。
【0033】
情報処理装置5aは、通信部20、分割部21、分類部22、及び学習部24を有する。これら各部は、
図1の迷惑ファックス判定器学習システム1を構成する情報処理装置5aにインストールされた1以上のプログラムに含まれる命令をCPU501が実行することで実現される機能又は手段である。記憶部23は、例えば、情報処理装置5aが有するHD504などの記憶装置によって実現可能である。
【0034】
通信部20は、情報処理装置5aが有する通信機能であり、通信ネットワーク3を介してファックス装置9a等と情報の送受信を行う。
【0035】
分割部21は、ファックス装置9aの分割部11と同じ機能又は手段を有する。
【0036】
分類部22は、ファックス装置9aの分類部12と同じ機能又は手段を有する。
【0037】
学習部24は、迷惑ファックス判定器の機械学習モデルの学習を実行する。ここで、機械学習モデルは、分割部11、21が取得した分割画像データ、分類部12、22が取得した分類情報を入力すると、迷惑ファックスである確度を出力する。即ち、機械学習モデルの学習データは、分割画像データ、分類情報、及び確度である。学習部24は、分割画像データと分類情報を機械学習モデルに入力した際に出力される出力値と学習データの確度の値の誤差が小さくなるように機械学習モデルのパラメータ(重みの値)を更新することにより学習を実行する。学習方法の詳細については後述する。
【0038】
記憶部13は、ファックス装置9aから受信した迷惑ファックス判定器の機械学習モデルの学習データを記憶する。また、記憶部23は、学習部24が学習した機械学習モデルの情報(層数、各層のノード数、重みの値等)を記憶する。
【0039】
図6は、本発明の実施形態に係る迷惑ファックス判定システムにおける機能ブロックの構成図の一例を示す図である。ファックス装置9b、9cは、通信部10、分割部11、分類部12、操作受付部14、表示制御部15、読込部16、及び判定部17を有する。これら各部は、
図2の迷惑ファックス判定システム2を構成するファックス装置9b、9cにインストールされた1以上のプログラムに含まれる命令をCPU901が実行することで実現される機能又は手段である。記憶部13は、例えば、ファックス装置9b、9cが有するHD909などの記憶装置によって実現可能である。
【0040】
通信部10、分割部11、分類部12、記憶部13、操作受付部14、表示制御部15、及び読込部16は、
図5のファックス装置9aが有する機能又は手段として説明したものと同一である。
【0041】
判定部17は、学習済の機械学習モデルに、分割画像データと分類情報を入力することにより、迷惑ファックスである確度を取得する。また、判定部17は、ファックスの画像データから取得された複数の分割画像データに対して出力された確度の内、例えば、最も高い確度の値を、そのファックスに対する迷惑ファックスである確度の値としてもよい。また、判定部17は、確度に基づいて、ファックスが迷惑ファックスであるか否かを判定する。
【0042】
情報処理装置5bは、通信部20、分割部21、分類部22、及び判定部25を有する。これら各部は、迷惑ファックス判定システム2を構成する情報処理装置5bにインストールされた1以上のプログラムに含まれる命令をCPU501が実行することで実現される機能又は手段である。記憶部23は、例えば、情報処理装置5bが有するHD504などの記憶装置によって実現可能である。
【0043】
通信部20、分割部21、分類部22、及び記憶部23は、
図5の情報処理装置5aが有する機能又は手段として説明したものと同一である。
【0044】
判定部25は、ファックス装置9b、9cの判定部17と同じ機能又は手段である。
【0045】
<学習データ生成処理>
図7は、本発明の実施形態に係る学習データ生成処理に関するフローチャートの一例を示す図である。本シーケンスで生成される学習データは、
図1の迷惑ファックス判定器学習システム1において、迷惑ファックスの判定器の機械学習モデルを学習するために使用される。以下、
図7の各ステップの処理について説明する。
【0046】
ステップS30:ファックス装置9の分割部11は、ファックス装置9が受信したファックスの画像データ、又はファックス装置9aの読込部16が、印刷されたファックスをスキャンして得た画像データを特徴のある領域ごとに分割した分割画像データを取得する。ここで、取得する分割画像データの領域を指定する方法は、手動、半自動、及び自動の3種類がある。以降、
図8、
図9、及び
図10に示す本発明の実施形態に係るファックス画像に対する、それぞれ手動、半自動、及び自動による領域指定処理の一例を示す図を用いて、分割画像データを取得する方法の詳細を説明する。
【0047】
図8に示す手動による領域指定における処理画面40においては、まず、ファックス装置9aの操作受付部14は、例えば、ファックス装置9aのタッチパネル940aにおけるユーザによる分割画像データの領域を指定するための始点41と終点42の位置を指定する操作を受け付ける。ファックス装置9aの表示制御部15は、タッチパネル940aにおいて、ユーザにより指定された始点41と終点42を表示し、更に、始点41と終点42を対角線の頂点とする長方形として示される分割画像領域43の境界線を点線等で表示する。ファックス装置9aの分割部11は、分割画像領域43の画像データを分割画像データとして取得する。画像データ、及び分割画像データのデータ形式は、例えば、BMP、JPEG等であってもよい。
【0048】
図9に示す半自動による領域指定における処理画面50においては、まず、ファックス装置9aの操作受付部14は、例えば、ファックス装置9aのタッチパネル940aにおけるユーザによる分割画像データの領域を指定する座標51を指定する操作を受け付ける。ユーザは、例えば、タッチパネル940aにおいて、領域を指定する分割画像データに含まれる図形等のオブジェクトの中央付近を触れることにより位置を指定する。ファックス装置9aの分割部11は、ユーザにより指定された座標51を含む図形又は文字等のオブジェクト、及びそのオブジェクトと予め定めた距離以内に隣接するオブジェクトを含む長方形の分割画像領域52の画像データを分割画像データとして取得する。また、ファックス装置9aの表示制御部15は、タッチパネル940aにおいて、分割部11が取得した分割画像データの分割画像領域52の境界線を点線等で表示する。
【0049】
図10に示す自動による領域指定における処理画面60においては、まず、ファックス装置9aの分割部11は、画像データに含まれる図形又は文字等のオブジェクトを取得する。更に、分割部11は、例えば、取得したオブジェクト間の距離が予め定めた距離以内である複数のオブジェクトを一つの分割画像領域として決定する。次に、ファックス装置9aの表示制御部15は、タッチパネル940aにおいて、分割部11が取得した分割画像領域の境界線を点線等で、
図10に示す分割画像領域61~65のように表示する。ファックス装置9aの操作受付部14は、例えば、ユーザがファックス装置9aのタッチパネル940aにおける分割画像領域の表示部分を触れることにより分割画像領域を指定する操作を受け付ける。ファックス装置9aの分割部11は、ユーザにより指定された分割画像領域の画像データを分割画像データとして取得する。
【0050】
以上により、ファックス装置9aの分割部11は、ファックス装置9aが受信したファックスの画像データを分割した分割画像データを取得する。
図7に戻って説明する。
【0051】
ステップS31:ファックス装置9aの分類部12は、ステップS30で取得した分割画像データを分類して得た分類情報を決定する。分割画像データを分類する方法として、例えば、分類部12は、OCRにより分割画像データに含まれる文字列を認識することにより、分割画像データを文字列、非文字列(図形等)、文字列と非文字列の混在の3種類に分類する。ここで、OCRは、Optical Character Recognitionの略である。また、文字列と非文字列の割合に応じて、分類情報を更に細かくしてもよい。或いは、文字列に対して、文字の大きさ、言語、手書き文字か否か等で更に細かく分類してもよく、非文字列の画像に対して、直線のみで構成されるシンプルな図形か、絵や写真などの複雑な画像であるかで更に細かく分類してもよい。
【0052】
ステップS32:ファックス装置9aの操作受付部14は、ユーザによるステップS30で取得した分割画像データに対する迷惑ファックスである確度の入力を受け付ける。確度は、迷惑ファックスの可能性が最も高い場合を1(又は100%)とし、可能性が最も低い場合を0(又は0%)とする。ここで、ユーザが指定できる確度の値は、0又は1(100%)のみとしてもよいし、0以上1(100%)以下の任意の値を指定できるようにしてもよい。
【0053】
以上の処理により、ファックス装置9aは、迷惑ファックスの判定器の機械学習モデルを学習するための学習データを生成することが可能である。
【0054】
更に、ファックス装置9aの通信部10は、生成した学習データを情報処理装置5aの通信部20に送信する。情報処理装置5aの記憶部23は、受信した学習データを記憶する。
図11は、本発明の実施形態に係る学習データのデータ構造の一例を示す図である。
図11のデータ構造71において、1つの学習データが、「分割画像データ」、分割画像データに対する「分類情報」、迷惑ファックスである「確度」の順で配置されており、合計M個の学習データが含まれている。
【0055】
また、情報処理装置5aは、一般のインターネット等の通信ネットワーク3に接続されたファックス装置9aから学習データを受信可能とすることにより、幅広い種類の迷惑ファックスに対応した学習データを収集することが可能である。或いは、悪意のあるユーザから不適切な学習データを受信する問題、又は個人情報の取り扱いに関する問題等を回避するために、社内LAN等の限られた通信ネットワーク3に接続されたファックス装置9aのみから学習データを受信するようにしてもよい。即ち、セキュリティ等を考慮してユーザが設定したポリシーに基づいて、学習データを送信可能なファックス装置9aを決定してもよい。
【0056】
<学習データ生成処理の変形例>
図12は、本発明の実施形態に係る学習データ生成処理(変形例)に関するシーケンスの一例を示す図である。本シーケンスでは、
図7に示した学習データ生成処理のステップS30における画像データを分割画像データに分割する処理、及びステップS31における分割画像データの分類情報を取得する処理が、ファックス装置9aでなく情報処理装置5aで実行される。以下、
図12の各ステップの処理について説明する。
【0057】
ステップS100:ファックス装置9aの通信部10は、ファックス装置9aが受信したファックスの画像データ、又はファックス装置9aの読込部16が、印刷されたファックスをスキャンして得た画像データを情報処理装置5aの通信部20に送信する。
【0058】
ステップS101:情報処理装置5aの分割部21は、
図7のステップS30において、
図10に示した自動による領域指定による方法で、受信した画像データに含まれる図形又は文字等のオブジェクトを取得し、取得したオブジェクト間の距離が予め定めた距離以内である複数のオブジェクトを一つの分割画像領域として決定する。更に、分割部21は、決定した全ての分割画像領域に対応する分割画像データ、及び画像データにおける分割画像領域の位置情報を取得する。
図13は、本発明の実施形態に係る画像データにおける分割画像領域の位置情報の一例を示す図である。
図13の画像データ72における分割画像領域73の位置情報は、例えば、分割画像領域73の左上の頂点74と右下の頂点75の2つの座標として表すことができる。ここで、座標は、画像データ72の左上を原点(0,0)として、右方向にX、下方向にYの画素数だけ離れた点を(X,Y)と表す。
図12に戻って説明する。
【0059】
ステップS102:情報処理装置5aの分類部22は、
図7のステップS31における処理と同様の手順により、分割画像データの分類情報を決定する。
【0060】
ステップS103:情報処理装置5aの通信部20は、ステップS101で取得した全ての分割画像領域の位置情報をファックス装置9aの通信部10に送信する。
【0061】
ステップS104:ファックス装置9aの表示制御部15は、受信した分割画像領域の位置情報に基づいて、タッチパネル940aに表示した画像データに分割画像領域の境界線を点線等で上書きして表示する。更に、ファックス装置9aの操作受付部14は、
図7のステップS30、S32で示した処理と同様の手順で、ユーザによる学習データに使用する分割画像データを指定する操作、及び指定した分割画像データに対する迷惑ファックスである確度の入力を受け付ける。
【0062】
ステップS105:ファックス装置9aの通信部10は、ステップS104でユーザが指定した分割画像データとユーザが入力した確度に関する情報を情報処理装置5aの通信部20に送信する。
図14は、本発明の実施形態に係る指定された分割画像データの位置と確度に関する情報のデータ構造の一例を示す図である。
図14のデータ構造76では、ユーザが選択したM個の分割画像データに対する画像データにおける位置情報と迷惑ファックスである確度が、「位置情報」「確度」の順で配置されている。
図12に戻って説明する。
【0063】
ステップS106:情報処理装置5aの記憶部23は、受信した情報に基づいて、ユーザが指定した分割画像データを対応する分類情報と確度とともに、学習データとして記憶する。
【0064】
以上の処理が示すように、迷惑ファックス判定器学習システム1では、受信したファックスの画像データに対する分割及び分類の処理をファックス装置9aでなく、情報処理装置5aが実行することによっても、学習データを作成することが可能である。
【0065】
<迷惑ファックス判定器の機械学習モデルの学習>
図15は、本発明の実施形態に係る迷惑ファックス判定器の機械学習モデルの一例を示す図である。
図15に示す機械学習モデル82は、
図7又は
図12で示した手順により生成した学習データにおける分割画像データ80と分類情報81を入力すると、迷惑ファックスであることの確度である確度83を出力する。機械学習モデル82は、例えば、入力値を受け付ける入力層、少なくとも1層以上の中間層、及び出力値を出力する出力層により構成され、各層は、予め定められた数のノード(素子)を有する。各ノードでは、シグモイド関数等の特性を有する関数を用いて、ノードへの入力値に対する出力値が出力され、更に、出力値に重みが乗算された値が、次の層のノードに入力される。入力層は、分割画像データ80の画素値を入力する複数のノードと分類情報81を入力する1つのノードを有する。画素値は、例えば、0~255までの整数値とする。画素値を入力する複数のノードの数は、予め定めた分割画像データ80の最大サイズに基づいて決定してもよい。ここで、入力する分割画像データ80のサイズが、最大サイズよりも小さい場合は、入力する分割画像データ80を最大サイズの画像の左上に配置して、余りの画素値を0とするようにしてもよい。出力層は、確度83を出力する1つのノードを有する。確度83は、迷惑ファックスの可能性が最も高い場合を1(又は100%)とし、可能性が最も低い場合を0(又は0%)とする。
【0066】
図1又は
図2において、情報処理装置5aの学習部24は、学習データである分割画像データ80と分類情報81を機械学習モデル82に入力した際の出力値である確度83と学習データの確度との誤差が小さくなるように重みの値を更新するようにして、機械学習モデルの学習を行う。機械学習モデルの学習は、一般的に用いられる方法で実行すればよい。情報処理装置5aの通信部20は、学習した機械学習モデル82の情報(層数、各層のノード数、重みの値等)を迷惑ファックスの判定を実行する装置(ファックス装置9b、情報処理装置5b)に送信する。また、情報処理装置5aの記憶部23は、学習した機械学習モデル82の情報(層数、各層のノード数、重みの値等)を記憶装置に記憶する。
【0067】
以上の処理により、迷惑ファックス判定器学習システム1では、迷惑ファックスを判定する判定器を実現する機械学習モデルを学習することが可能である。
【0068】
<迷惑ファックスの判定処理(ファックス装置で判定する場合)>
図2に示す迷惑ファックス判定システム2aでは、ファックス装置9bが、
図1の迷惑ファックス判定器学習システム1において予め学習した機械学習モデルを用いて、以下に示す手順により、受信したファックスが迷惑ファックスであるか否かを判定する。
【0069】
まず、ファックス装置9bの分割部11は、例えば、
図10に示した自動による領域指定における方法により、受信したファックスの画像データを分割した分割画像領域を決定する。更に、分割部11は、取得した全ての分割画像領域に対する分割画像データを取得する。次に、ファックス装置9bの分類部12は、
図7のステップS31と同様の手順により、分割部11が取得した全ての分割画像データを分類して、分類情報を決定する。最後に、ファックス装置9bの判定部17は、予め学習された機械学習モデルに、分割部11が取得した分割画像データと分類部12が決定した分類情報を入力することにより、迷惑ファックスである確度を取得する。また、判定部17は、複数の分割画像データに対して取得された確度の内、例えば、最も高い確度の値を受信したファックスに対する確度の値としてもよい。ファックス装置9bの表示制御部15は、分割部11が決定した分割画像領域に関する情報、及び判定部17が取得した確度に基づいて、迷惑ファックスの判定結果をファックス装置9bのタッチパネル940aに表示する。
図16は、本発明の実施形態に係る迷惑ファックスの判定結果画面の一例を示す図である。
図16の判定結果画面120には、判定結果121、ファックス画像122、及び分割画像領域123~127が表示されている。
【0070】
判定結果121は、受信したファックスが迷惑ファックスであるか否かを判定した結果であり、ここでは判定結果として迷惑ファックスであること、及び、迷惑ファックスである確度が98%であることが表示されている。
【0071】
ファックス画像122は、迷惑ファックスであるか否かを判定したファックスの画像である。
【0072】
分割画像領域123~127は、分割部11が決定した分割画面領域であり、領域の境界線が点線で表示されている。また、分割画面領域の右側に、対応する分割画像データに対して取得された迷惑ファックスである確度の値が表示されている。
【0073】
<迷惑ファックスの判定処理(情報処理装置で判定する場合)>
図2に示す迷惑ファックス判定システム2bでは、情報処理装置5bが、
図1の迷惑ファックス判定器学習システム1において予め学習した機械学習モデルを用いて、ファックス装置9cが受信したファックスが迷惑ファックスであるか否かを判定する。
図17は、本発明の実施形態に係る迷惑ファックス判定処理に関するシーケンスの一例を示す図である。ここでは、更に、ファックスの画像データに対する分割及び分類する処理をファックス装置9cで実行する場合(ケースAとよぶ)と情報処理装置5bで実行する場合(ケースBとよぶ)の2種類の処理方法について説明する。以下、
図17の各ステップの処理について説明する。
【0074】
ステップS110(ケースAのみ実行):ファックス装置9cの分割部11は、例えば、
図10に示した自動による領域指定における方法により、受信したファックスの画像データを特徴のある領域ごとに分割した分割画像領域を決定する。更に、分割部11は、取得した全ての分割画像領域に対する分割画像データを取得する。
【0075】
ステップS111(ケースAのみ実行):ファックス装置9cの分類部12は、
図7のステップS31と同様の手順により、分割部11が取得した全ての分割画像データを分類して、分類情報を決定する。
【0076】
ステップS112:ファックス装置9cの通信部10は、受信したファックスの画像に関する画像情報を情報処理装置5bの通信部20に送信する。ここで、送信する画像情報は、ケースAの場合、ステップS110、S111で取得した分割画像データと分類情報であり、ケースBの場合は、受信したファックスの画像データである。
【0077】
ステップS113(ケースBのみ実行):情報処理装置5bの分割部21は、ステップS110と同じ手順により、受信したファックスの画像データに対する分割画像領域を決定し、分割画像データを取得する。
【0078】
ステップS114(ケースBのみ実行):情報処理装置5bの分類部22は、ステップS111と同じ手順により、分割部21が取得した全ての分割画像データを分類して、分類情報を決定する。
【0079】
ステップS115:情報処理装置5bの判定部25は、予め学習された機械学習モデルに、ステップS110、S111又はステップS113、S114で取得した分割画像データと分類情報を入力することにより、迷惑ファックスである確度を取得する。
【0080】
ステップS116:情報処理装置5bの通信部20は、ステップS115で判定部25が取得した確度を含む判定結果情報をファックス装置9cの通信部10に送信する。ここで、判定結果情報において、分割画像データと確度の対応関係が特定できるように、ケースAの場合、例えば、ステップS112で受信した画像情報に分割画像データが配置されている順番と同じ順番で、判定結果情報に確度のみを配置して送信する。ケースBの場合、例えば、ステップS113で取得した分割画像データの画像データにおける位置情報と対応する確度を
図14のデータ構造76と同様に配置した判定結果情報を送信する。ファックス装置9cの表示制御部15は、受信した判定結果情報に基づいて、例えば、
図16に示した判定結果画面120の様に、判定結果をファックス装置9cのタッチパネル940aに表示する。
【0081】
以上の処理が示すように、
図2の迷惑ファックス判定システム2では、受信したファックスに対して、
図1の迷惑ファックス判定器学習システム1で予め学習した機械学習モデルを用いて、迷惑ファックスであるか否かを判定することが可能である。
【0082】
<判定結果のフィードバックによる再学習>
迷惑ファックス判定システム2において得られた迷惑ファックスの判定結果が誤っていた場合に、ユーザが判定結果を修正することで新たな学習データを作成し、作成した学習データを用いて、機械学習モデルを再学習することで、判定精度を向上させることが可能である。この再学習の処理は、例えば、
図2の迷惑ファックス判定システム2において、以下の手順により実行する。
【0083】
ファックス装置9bの操作受付部14は、
図16の判定結果画面120において、表示された確度を修正したい分割画像領域123~127を選択する操作、及び修正した確度の値を入力する操作を受け付ける。
【0084】
ファックス装置9bの通信部10は、ユーザが選択した分割画像領域に対応する分割画像データと分類情報、及びユーザが修正した確度で構成される学習データを機械学習モデルの学習を実行する情報処理装置5aの通信部20に送信する。
【0085】
情報処理装置5aの学習部24は、受信した学習データを既に保有している学習データに追加した学習データを用いて、機械学習モデルの学習(再学習)を実行する。
【0086】
情報処理装置5aの通信部20は、再学習により更新した機械学習モデルの情報(層数、各層のノード数、重みの値等)をファックス装置9bの通信部10に送信する。
【0087】
ファックス装置9bの記憶部13は、受信した機械学習モデルの情報を記憶する。
【0088】
以上に示した手順は、迷惑ファックスの判定をファックス装置9bで行う場合であるが、判定を情報処理装置5bで行う場合も同様の手順で実行することが可能である。
【0089】
<判定結果に応じた処理の実行>
迷惑ファックス判定システム2では、迷惑ファックスの判定結果、即ち、迷惑ファックスである確度の値に応じて、受信したファックスに対する処理を実行することが可能である。例えば、迷惑ファックスである確度の値が0.9(90%)以上であれば、受信したファックスのファイルを削除し、確度の値が0.5(50%)以上、0.9(90%)未満であれば、受信したファックスのファイルを予め定めたフォルダに移動させる。これにより、ユーザによる迷惑ファックスのファイルの削除、或いは別のフォルダへの移動による手間を削減することが可能である。
【0090】
<本発明の効果>
迷惑ファックス判定器学習システム1では、ファックスの画像データを図形や文字等の特徴を有する領域ごとに分割した分割画像データを生成し、ユーザが迷惑ファックスの特徴を有すると判断した分割画像データを機械学習モデルに入力する学習データとする。従って、迷惑ファックスと判定される学習データには、迷惑ファックスの特徴を有する領域以外の不要な領域の画像データが含まれおらず、機械学習モデルに適切な学習データを入力することが可能となる。これにより、迷惑ファックスの判定精度を向上させることが可能である。
【0091】
また、迷惑ファックス判定器学習システム1では、ファックスの画像データを分割した分割画像データを図形や文字等の特徴に基づいて分類し、分類したカテゴリに応じた分類情報を分割画像データとともに機械学習モデルに入力する。これにより、文字のみの画像、図形のみの画像、文字と図形が混在した画像等の画像の特徴に応じて、適切な迷惑ファックスの判定方法を機械学習モデルに学習させることが可能となることから、迷惑ファックスの判定精度を向上させることが可能である。
【0092】
また、本発明の実施形態では、分割画像データを取得する処理(分割部)、分割画像データを分類する処理(分類部)、及び迷惑ファックスを判定する処理(判定部)は、ファックス装置9と情報処理装置5のどちらにおいても実行可能である。例えば、ファックス装置9の台数が非常に多く、且つ、機能を実現するプログラム又は機械学習モデルを頻繁に更新する場合は、これらの処理を情報処理装置5に実行させることにより、更新のための作業や負荷を削減することができる。
【0093】
以上、本発明を実施するための幾つかの形態について説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0094】
例えば、
図5と
図6の機能ブロックの構成図の一例は、情報処理装置5及びファックス装置9による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置5及びファックス装置9における処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0095】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0096】
また、記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理装置5及びファックス装置9は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【符号の説明】
【0097】
1 迷惑ファックス判定器学習システム
2 迷惑ファックス判定システム
3 通信ネットワーク
5、5a、5b 情報処理装置
9、9a、9b、9c ファックス装置
10、20 通信部
11、21 分割部
12、22 分類部
13、23 記憶部
14 操作受付部
15 表示制御部
16 読込部
17、25 判定部
24 学習部
【先行技術文献】
【特許文献】
【0098】