特許 7511382 情報処理装置とその制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-27

(45)【発行日】2024-07-05

(54)【発明の名称】情報処理装置とその制御方法、及びプログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20240628BHJP

   G06F 21/62 20130101ALI20240628BHJP

【ＦＩ】

H04N1/00 838

G06F21/62 318

【請求項の数】 13

(21)【出願番号】P 2020083363

(22)【出願日】2020-05-11

(65)【公開番号】P2021180361

(43)【公開日】2021-11-18

【審査請求日】2023-05-02

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】鈴木 崇弘

【審査官】鈴木 肇

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３７９７９７（ＵＳ，Ａ１）

【文献】特開２００６－１７８６０３（ＪＰ，Ａ）

【文献】特開２０１７－００５５７４（ＪＰ，Ａ）

【文献】特開２０１８－１９５２３１（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２０８３３（ＷＯ，Ａ１）

【文献】特開２０２０－００６０５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／００

Ｇ０６Ｆ １２／１４

Ｇ０６Ｆ ２１／１０

Ｇ０６Ｆ ２１／６０－２１／８８

(57)【特許請求の範囲】

【請求項1】

情報処理装置が入出力するデータに対して機械学習を行ってモデルを出力するサーバと通信可能に接続され、１または複数の設定項目が設定されるジョブを実行する情報処理装置であって、
前記１または複数の設定項目の所定の設定項目に設定されうる設定候補を前記サーバから取得したモデルに基づき提示する第１の提示手段と、
前記モデルのうち、機密情報を含むモデルを判定する判定手段と、
前記判定手段により前記機密情報を含むと判定された前記モデルに関する情報を提示する第２の提示手段と、
前記第２の提示手段により提示された前記情報のうち選択された前記情報のモデルをリセットする第１リセット手段と、を有し、
前記第２の提示手段は、前記機密情報を含むと判定された前記モデルが前記機密情報を含むことを表すように前記情報を提示することを特徴とする情報処理装置。

【請求項2】

前記第２の提示手段により提示された前記情報の学習済みモデルの全てをリセットする操作を受け付けたことに応じて、当該学習済みモデルを全てリセットする第２リセット手段を、更に有することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

原稿を読み取る読み取り手段（３６０）を、更に有し、
前記情報処理装置は、前記読み取り手段が読み取った原稿データを前記サーバに送信することを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記サーバは、前記読み取り手段が読み取った前記原稿データを用いて前記モデルを更新することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記読み取り手段により読み取ったデータを前記サーバに送信することで前記サーバにより前記モデルを使用して、前記データを送信する宛先を推定させる推定手段を、更に有することを特徴とする請求項３又は４に記載の情報処理装置。

【請求項6】

前記推定手段が前記宛先の推定に使用する前記情報をユーザに選択させる第１選択手段を更に有し、前記推定手段は、前記第１選択手段により選択された前記情報に基づき、前記データを送信する宛先を推定することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記判定手段が判定する対象となる機密情報の属性を特定する特定手段を更に有し、
前記判定手段は、前記モデルが、前記特定手段により特定された属性を有する機密情報かどうかに基づいて、当該モデルが機密情報を含むかどうか判定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記第２の提示手段により提示された前記情報の中からリセットする操作の対象となる機密情報の属性をユーザに選択させる第２選択手段を、更に有し、
前記第１リセット手段は、前記第２選択手段により選択された属性の機密情報を有するモデルをリセットすることを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記機密情報は、個人情報、および、企業が保有している情報であって、外部へ開示されない情報、秘密情報として管理されている情報を含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。

【請求項10】

前記個人情報は、個人の住所、氏名、電話番号の少なくともいずれかを含むことを特徴とする請求項９に記載の情報処理装置。

【請求項11】

情報処理装置が入出力するデータに対して機械学習を行ってモデルを出力するサーバと通信可能に接続され、１または複数の設定項目が設定されるジョブを実行する情報処理装置の制御方法であって、
前記１または複数の設定項目の所定の設定項目に設定されうる設定候補を前記サーバから取得したモデルに基づき提示する第１の提示工程と、
前記モデルのうち、機密情報を含むモデルを判定する判定工程と、
前記判定工程により前記機密情報を含むと判定された前記モデルに関する情報を提示する第２の提示工程と、
前記第２の提示工程により提示された前記情報のうち選択された前記情報のモデルをリセットする第１リセット工程と、を有し、
前記第２の提示工程は、前記機密情報を含むと判定された前記モデルが前記機密情報を含むことを表すように前記情報を提示することを特徴とする制御方法。

【請求項12】

前記第２の提示工程で提示された前記情報のモデルの全てをリセットするリセットする操作を受け付けたことに応じて、当該モデルを全てリセットする第２リセット工程を、更に有することを特徴とする請求項１１に記載の制御方法。

【請求項13】

コンピュータを、請求項１乃至１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置とその制御方法、及びプログラムに関するものである。

【背景技術】

【0002】

紙などの記録材に画像を形成する機能を備えた画像形成装置として、プリンタ機能、ファクシミリ機能、コピー機能等を併せ持った複合機が知られている。このような複合機において、各種設定項目が設けられており、その中には、利便性を高められるようにユーザが設定値を設定できるものもある。例えば、よく使う印刷設定、メニューアイコンの配置設定、メールアドレスなどの宛先登録、など様々な設定項目の設定値を設定できるものがある。更に、これら設定値をリセットして初期状態に戻すリセットボタンを用意している場合がある。リセットボタンとしては、例えば、全ての設定値をリセットするものや、特定範囲内の設定値を一括してリセットするものなどが知られている（特許文献１）。

【0003】

また、複合機において機械学習を用いることで、ユーザの利便性を向上させる方法も提案され始めている。例えば特許文献２は、ユーザが望まない設定の推奨が繰り返し行われないように、印刷ジョブに対する推奨設定を機械学習で推定して行うことにより、推奨精度を高めるといった技術を記載している。

【0004】

一般に機械学習による推定には、ある複数の入力データから特定の推測結果を出力する学習済みモデルが用いられる。この学習済みモデルには、個人情報などの機密情報を使用するものも存在する。例えば、読み取った画像に関連する技術的な問い合わせ先を機械学習で推定してユーザに通知する場合には、機密情報である「連絡先情報」が必要となる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－５７８１９号公報

【文献】特開２０１８－６９６８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の機密情報を用いた機械学習方法では、学習済みモデルを通して機密情報が流出するという危険性がある。そのような機密情報の流出の一例としては、入力データと出力結果とを基に学習済みモデルが複製され、それをきっかけに機密情報が流出する場合などが考えられる。

【0007】

本発明の目的は、上記従来技術の問題点の少なくとも一つを解決することにある。

【0008】

本発明の目的は、学習済みモデルを通して機密情報が流出するのを防止できる技術を提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために本発明の一態様に係る情報処理装置は以下のような構成を備える。即ち、
情報処理装置が入出力するデータに対して機械学習を行ってモデルを出力するサーバと通信可能に接続され、１または複数の設定項目が設定されるジョブを実行する情報処理装置であって、
前記１または複数の設定項目の所定の設定項目に設定されうる設定候補を前記サーバから取得したモデルに基づき提示する第１の提示手段と、
前記モデルのうち、機密情報を含むモデルを判定する判定手段と、
前記判定手段により前記機密情報を含むと判定された前記モデルに関する情報を提示する第２の提示手段と、
前記第２の提示手段により提示された前記情報のうち選択された前記情報のモデルをリセットする第１リセット手段と、を有し、
前記第２の提示手段は、前記機密情報を含むと判定された前記モデルが前記機密情報を含むことを表すように前記情報を提示することを特徴とする。

【発明の効果】

【0010】

本発明によれば、学習済みモデルを通して機密情報が流出するのを防止できるという効果がある。

【0011】

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

【図面の簡単な説明】

【0012】

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。

【図1】本発明の実施形態に係る通信システムの構成例を示す図。

【図2】実施形態に係る機械学習サーバのハードウェア構成を説明するブロック図。

【図3】実施形態に係る画像形成装置のハードウェア構成を説明するブロック図。

【図4】実施形態に係る画像形成装置と機械学習サーバの機能構成を説明する機能ブロック図。

【図5】実施形態に係る画像形成装置においてスキャン送信が選択されたときに、読み取り画像を基にＡＩ推定した宛先を表示する画面例を示す図。

【図6】実施形態に係る画像形成装置においてプリント機能が選択されたときに、印刷対象のファイルがＡＩ推定により機密文書と判定された際の通知画面の一例を示す図。

【図7】スキャン画像を送信するときの学習済みモデルの学習シーケンスを示す図。

【図8】スキャン画像を印刷するときの学習済みモデルの学習シーケンスを示す図。

【図9】実施形態に係る学習済みモデル記憶部に記憶されている各学習済みモデルの機密情報の属性を示すデータテーブルの一例を示す図。

【図10】実施形態に係る通信システムにおける学習済みモデルのリセットのシーケンス図。

【図11】実施形態に係る画像形成装置における学習済みモデルのリセット処理を説明するフローチャート。

【図12】Ｓ１１０２の機密情報が抜き取られる可能性のある学習済みモデルの抽出処理を説明するフローチャート。

【図13】機密情報かどうかの判定方法を選択する画面例を示す図（Ａ）、機密情報を含むと判定された学習済みモデルの全てを消去してよいかをユーザに確認する画面例を示す図（Ｂ）。

【図14】全ての学習済みモデルの一覧とその推定された機密情報属性とを表示し、ユーザに、リセット対象の学習済モデルを選択させる画面例を示す図（Ａ）、各機密情報の分類一覧を表示し、ユーザが機密情報が抜き取られるおそれのある機密情報を選択する画面例を示す図（Ｂ）。

【図15】学習済みモデルへのアクセス権限を設定する画面例を示す図（Ａ）、機密情報が抜き取られる可能性があると推定された学習済みモデルを使用開始する前に、ユーザにその旨を通知する画面例を示す図（Ｂ）。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。尚、実施形態では、本発明に係る情報処理装置の一例を画像形成装置を例にして説明する。

【0014】

図１は、本発明の実施形態に係る通信システムの構成例を示す図である。

【0015】

この通信システムには、複数の画像形成装置と複数のサーバが存在する。各画像形成装置１０１は、コピー、ファクシミリの送受信、スキャン、ボックス、送信、印刷機能などを有する複合機であり、これらはオフィス環境に応じて設置される。画像形成装置１０１に記憶されている個人情報等の機密データのうち、機械学習に使用されるデータはデータサーバ１０６に送信されデータサーバ１０６で記憶される。更に、それら機密データは、学習データとして機械学習サーバ１０３に送信される。この学習データは、ＡＩ推定機能に用いられる。このＡＩ推定機能は、機密利用サービスとして画像形成装置１０１に提供される。

【0016】

部門ＡのユーザＡは、画像形成装置１０１を通してサービス利用結果を受け取ることでＡＩ推定機能を利用することができる。また、この機密利用サービスにアクセス権を設けてもよく、これによりアクセス権を持たないユーザは、機密利用サービスを利用できなくなるため、機密情報流出リスクを低減できる。

【0017】

図１の例では、部門Ａに所属するユーザＡは、機密利用サービスへのアクセス権を与えられているため、この機密利用サービスを利用できる。ここで、画像形成装置１０１の使用先が部門Ｂへ移動すると（配置移動）、部門Ｂに所属するユーザＢは、機密利用サービスへのアクセス権が与えられていないため、ユーザＢは、この機密利用サービスを利用できない。このようにして部門Ａにおける機密情報が部門Ｂからアクセスできなくすることにより、部門Ａの機密情報が部門Ａ以外に流出するのを抑制できる。

【0018】

図２は、実施形態に係る機械学習サーバ１０３のハードウェア構成を説明するブロック図である。

【0019】

機械学習サーバ１０３は、機械学習を制御する制御部としてのＣＰＵ２０１を有する。ＲＡＭ２０２は、ＣＰＵ２０１が動作するためのメモリであり、機械学習データを一時記憶するためのメモリである。ネットワークＩ／Ｆ（インタフェース）２１０は、ＬＡＮ１０４に接続され、汎用コンピュータやＬＡＮ１０４上の図示しないその他のコンピュータ端末との通信（送受信）を行う。ＲＯＭ２０３は、ＣＰＵ２０１が実行するブートプログラム等を格納している。ＨＤＤ（ハードディスクドライブ）２０４は、システムソフトウェア、機械学習データ等を格納する。ＧＰＵ２０６は、機械学習データの演算処理を行う。ＣＰＵ２０１はＨＤＤ２０４に格納されているプログラムをＲＡＭ２０２に展開し、そのＲＡＭ２０２に展開したプログラムを実行することにより、この機械学習サーバ１０３を制御している。

【0020】

図３は、実施形態に係る画像形成装置１０１のハードウェア構成を説明するブロック図。

【0021】

画像形成装置１０１は、画像形成装置１０１を制御するコントローラ３００、画像形成装置１０１を使用するユーザが各種の操作を行うための操作部３５０、操作部３５０からの指示に従って画像情報を読み取るスキャナ３６０、画像データを用紙に印刷するプリンタ３７０を有する。スキャナ３６０は、スキャナ３６０を制御するＣＰＵ（不図示）や原稿読取を行うための図示しない照明ランプや走査ミラーなどを有する。プリンタ３７０は、プリンタ３７０の制御を行うＣＰＵ（不図示）や画像形成や定着を行うための図示しない感光体ドラムや定着器を有する。コントローラ３００は、スキャナ３６０や、プリンタ３７０、ＬＡＮ１０４や、公衆回線（ＷＡＮ）１０８、無線ＬＡＮ１０５と接続され、画像形成装置１０１の動作を統括的に制御する。

【0022】

次に、コントローラ３００の構成について詳しく説明する。

【0023】

ラスタイメージプロセッサ（ＲＩＰ）３１３は、ＬＡＮ１０４を介してＬＡＮ１０４上の汎用コンピュータ１０７から受信した印刷ジョブに含まれるＰＤＬコードをビットマップイメージに展開する。スキャナ画像処理部３１４は、スキャナ３６０から入力された画像データに対し補正、加工、編集を行う。プリンタ画像処理部３１５は、プリンタ３７０で出力（印刷）される画像データに対して補正、解像度変換等を行う。画像回転部３１６は、画像データの回転を行う。画像圧縮部３１７は、多値画像データに対してＪＰＥＧ、２値画像データに対してＪＢＩＧ、ＭＭＲ、又はＭＨの圧縮伸張処理を行う。デバイスＩ／Ｆ３１８は、スキャナ３６０及びプリンタ３７０とコントローラ３００を接続して画像データの同期系／非同期系の変換を行う。画像バス３０８は、これらを互いに接続して画像データを高速で転送する。

【0024】

ＣＰＵ３０１は、画像形成装置１０１を統括的に制御する制御部として機能する。ＣＰＵ３０１は、ＨＤＤ３０４に格納されている制御プログラムをＲＡＭ３０２に展開し、その展開したプログラムを実行することにより、この画像形成装置１０１の動作を制御する。ＲＡＭ３０２は、ＣＰＵ３０１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。操作部Ｉ／Ｆ３０６は、操作部３５０とのインタフェース部で、操作部３５０に表示する画像データを操作部３５０に対して出力するとともに、操作部３５０から画像形成装置１０１を使用するユーザが入力した情報をＣＰＵ３０１に伝える役割をする。ネットワークＩ／Ｆ３１０はＬＡＮ１０４に接続され、汎用コンピュータ１０７やＬＡＮ１０４上の図示しないその他のコンピュータ端末との通信（送受信）を行う。またモデム３１１は、公衆回線１０８に接続され、図示しない外部のファクシミリ装置とのデータの通信（送受信）を行う。無線通信Ｉ／Ｆ３２０は、無線１０５により外部の操作受付装置と接続する。ＲＯＭ３０３は、ＣＰＵ３０１が実行するブートプログラムや各種データを格納している。更にＨＤＤ（ハードディスクドライブ）３０４は、システムソフトウェア、画像データ、ソフトウェアカウンタ値などを格納している。内部通信Ｉ／Ｆ３２１は、スキャナ３６０及びプリンタ３７０と夫々通信を行う。 イメージバスＩ／Ｆ３０５は、システムバス３０７と画像バス３０８とを接続し、データ構造を変換するバスブリッジである。コントローラ３００は、印刷やコピージョブ実行時の、ユーザ名や印刷部数、カラー印刷等、出力属性情報等をジョブ実行時のジョブログ情報としてＨＤＤ３０４或いはＲＡＭ３０２に記録管理している。ＧＰＵ３０９は、これらジョブ実行に係る設定情報や画像情報を学習データとして機械学習の演算処理を行う。またタイマ３１２は、ＣＰＵ３０１の指示に従って所定時間の計時を行い、指定された時間が経過すると割り込みなどでＣＰＵ３０１に通知する。上述した各部は、システムバス３０７を介してＣＰＵ３０１と接続されている。

【0025】

以上、実施形態に係る画像形成装置１０１の構成、コントローラ３００の構成について説明した。また実施形態に係る、無線１０５により接続される操作受付装置を実現するための構成として、画像形成装置１０１の操作部がコントローラ３００のハードウェア資源を利用して、この操作受付装置と同様な役割を担ってもよい。

【0026】

図４は、実施形態に係る画像形成装置１０１と機械学習サーバ１０３の機能構成を説明する機能ブロック図である。この図４を参照して、機械学習に関する処理について説明する。

【0027】

ユーザが画像形成装置１０１の操作部３５０を操作することで操作入力部４０１にジョブデータとその設定データが入力され、入力されたデータは操作制御部４０２に送られ、その後、ジョブ入力部４０３へ入力される。ジョブ入力部４０３では、ユーザにより入力されたデータから画像形成装置１０１の機能を示すデータが入力され、ジョブデータとその設定値をジョブ制御部４０４に送信する。

【0028】

機械学習処理部４３０は、画像形成装置１０１が入出力を行うデータに対して機械学習機能を実現するための機械学習や推定処理や分類処理等を主に行う。実施形態の構成では機械学習処理部４３０は、機械学習サーバ１０３の内部に含まれる。

【0029】

学習済みモデル記憶部４３３は、学習済みモデルを記憶する役割を持つ。ここで、学習済みモデルとは、学習工程を経てパラメータ調整が完了した学習モデルを指す。

【0030】

まず学習済みモデルが作成される流れについて説明する。

【0031】

ジョブ制御部４０４は、機械学習部４３１にジョブデータとその設定値を送信する。機械学習部４３１は、受け取ったデータを基に学習工程を行い、関連する学習モデルのパラメータの調整を行う。機械学習部４３１によりパラメータ調整が完了した学習モデルは、学習済みモデル記憶部４３３に記憶される。

【0032】

次に推定処理が行われるときの処理の流れについて説明する。

【0033】

ジョブ制御部４０４は、入力されたジョブデータとその設定データを推定処理部４３２に送信する。その後、推定処理部４３２は、学習済みモデル記憶部４３３に記憶されている学習済みモデルに対して、そのジョブデータとその設定データを入力し、推定結果を示す出力データを得る。この推定結果はジョブ制御部４０４に送信され、表示制御部４０６を経由して表示部４０７に表示されることで、ユーザに通知される。表示部４０７は、画像形成装置１０１の操作部３５０に含まれている。

【0034】

次に、ＡＩ推定利用の例として、図５、図６を参照して説明する。

【0035】

まず一つに、用紙を読み取った後に読み取り画像データをある宛先に送信する際に、読み取り画像に含まれる記載内容を抽出し、その記載内容から想定される宛先をＡＩ機能により推定してユーザにその旨を通知する、といった利用例が考えられる。

【0036】

図５は、実施形態に係る画像形成装置１０１においてスキャン送信が選択されたときに、読み取り画像を基にＡＩ推定した宛先を表示する画面例を示す図である。これら画面は操作部３５０の表示部４０７に表示される。

【0037】

ユーザは図５（Ａ）に示す画面において「読取画像から宛先推定」アイコン５０１を押下する。これにより画像形成装置１０１はスキャナ３６０により原稿を読み取らせて、その原稿の画像データを取得する。画像形成装置１０１は、こうして得られた原稿のプレビュー画像を、例えば図５（Ｂ）のように、操作部３５０の表示部４０７に表示させる。図５（Ｂ）では、３枚の原稿が読み取られた例を示している。ここでユーザが読み取った画像に問題がないと判断してＯＫボタン５０２を押下する。これにより画像形成装置１０１は、読み取り画像データの内容を基に、送信先と思われる宛先を推定し、例えば図５（Ｃ）のように、複数の宛先候補を含む宛先選択画面を表示部４０７に表示させる。ユーザはこの選択画面から適切な１つあるいは複数の宛先を選択することができる。図５（Ｃ）の例では、３つの宛先が選択されている。また宛先候補に含まれていない宛先を追加するボタン５０３を設けてもよい。

【0038】

更に、汎用コンピュータ１０７等から送信したファイルを印刷する際に、ファイルの中身が機密文書であるかどうかをＡＩ機能により推定し、機密文書と推定されると、その旨を示すマークを印刷物に追加する、といった利用例が考えられる。

【0039】

図６は、実施形態に係る画像形成装置１０１においてプリント機能が選択されたときに、印刷対象のファイルがＡＩ推定により機密文書と判定された際の通知画面の一例を示す図である。

【0040】

ユーザは図６（Ａ）に示す画面において、印刷する対象のファイルを選択する。図６（Ａ）では、企画書が選択されている。図６（Ｂ）は、その選択されたファイルの内容に基づいて、そのファイルが機密文書かどうかを推定する。こうして機密文書と推定すると機密であることを示すマーク（コンフィデンシャルマーク）を印刷物に追加するかどうかをユーザに問い合わせる。ここでユーザが、そのマークを追加すると判断してＯＫボタン６０１を押下すると、図６（Ｃ）に示すような、コンフィデンシャルマークの表示設定（位置、向き、色など）をユーザに設定させる画面を表示部４０７に表示させる。

【0041】

次に、機械学習サーバ１０３における学習工程を図７及び図８の学習シーケンス図で説明する。

【0042】

図７は、スキャン画像を送信するときの学習済みモデルの学習シーケンスを示す図である。

【0043】

まず７０１で、ユーザからスキャン画像を送信するジョブの指示が、画像形成装置１０１の操作部３５０を介して入力される。これによりジョブ制御部４０４は７０２で、その指示されたジョブを実行し、そのジョブの実行結果を含む学習データを機械学習部４３１に送信する。ここで、学習データには、そのジョブを指示したユーザ情報や、スキャン画像の宛先等を含む出力結果及び出力結果を推定するために必要な入力データが含まれる。その後、機械学習部４３１は７０３で、学習済みモデル記憶部４３３に記憶されている学習済みデータの中から、このジョブに関連する更新対象の学習済みモデルを検索して判別する。そして７０４で、更新対象の学習済みモデルを読み出す。そして７０５で機械学習部４３１は、学習済みモデルの各パラメータ調整（＝学習）を行う。こうして調整が完了すると７０６で、その更新した学習済みモデルを学習済みモデル記憶部４３３に保存する。

【0044】

図７の例では、読取画像情報（スキャン画像データ）と、ジョブの実行を指示したユーザ情報とを入力データとし、実際に設定された宛先を出力データとして学習が行われる。この学習により各パラメータ調整が完了した学習済みモデルに対し、読取画像情報と、そのユーザ情報とを入力データとして入力することで、読取画像情報の送信先を推定することができる。

【0045】

図８は、スキャン画像を印刷するときの学習済みモデルの学習シーケンスを示す図である。

【0046】

まず８０１で、ユーザからファイル印刷指示および機密文書のマーク付与指示が画像形成装置１０１の操作部３５０を介して入力されると、ジョブ制御部４０４は８０２で、ジョブ実行結果を含む学習データを機械学習部４３１に送信する。そして、これ以降は８０３～８０６で、図７の７０３～７０６と同様の処理を行う。

【0047】

図８の例では、ファイル名とファイルの記載内容とを入力データとし、機密文書であることを示すコンフィデンシャルマークに関する諸設定（位置、向き、色など）を出力データとして学習が行われる。この学習により、各パラメータの調整が完了した学習済みモデルに対し、ファイル印刷時のジョブ内容に含まれるファイル名とファイル記載内容を入力データとして入力する。これにより、そのファイルが機密文書であるかどうかを推定することができる。

【0048】

また実施形態において、学習済みモデル記憶部４３３に記憶されている各学習済みモデルには様々な機密情報属性が登録されている。

【0049】

図９は、実施形態に係る学習済みモデル記憶部４３３に記憶されている各学習済みモデルの機密情報の属性を示すデータテーブルの一例を示す図である。

【0050】

このデータテーブルには、各学習済みモデルにそれぞれ、機密情報フラグと入力情報が機密であるか否か、出力情報が機密であるか否か、といった属性が登録されている。この各属性を用いて、機械学習処理部４３０は、各学習済みモデルが機密情報を抽出できるモデルか否かを判定する。この機密情報を抽出できるモデルかどうかの判定方法については、後述する。

【0051】

次に、学習済みモデルをリセットする流れについて述べる。

【0052】

図１０は、実施形態に係る通信システムにおける学習済みモデルのリセットのシーケンス図である。

【0053】

まず１００１で、ユーザによって学習済みモデルのリセットの予備的操作が行われると、その旨が操作入力部４０１、操作制御部４０２、ジョブ入力部４０３を経由してジョブ制御部４０４に通知される。その後、ジョブ制御部４０４は１００２で、機密情報判定部４３５に対し、機密情報が抽出可能な学習済みモデルの一覧情報を要求する。機密情報判定部４３５は、１００３，１００４で、学習済みモデル記憶部４３３より学習済みモデル一覧情報を取得し、その中から機密情報を抽出可能な学習済みモデルを検索する。そして１００５で機密情報判定部４３５は、機密情報を抽出可能と判定した学習済みモデルの一覧情報をジョブ制御部４０４へと送信する。

【0054】

これによりジョブ制御部４０４は１００６で、その学習済みモデルの一覧情報を表示制御部４０６に送信し、表示部４０７にその一覧を表示させる。その後、ユーザは１００７で、その一覧からリセットしたい学習済みモデルを操作入力部４０１から入力する。これにより、その入力内容がジョブ制御部４０４へと送信される。これによりジョブ制御部４０４は１００８で、その入力内容に基づいて、リセット対象の学習済みモデルのリセット指示を学習済みモデルリセット部４３４へ行う。これにより学習済みモデルリセット部４３４は１００９で、学習済みモデル記憶部４３３に記憶されているリセット対象の学習済みモデルをリセットする。

【0055】

次に学習済みモデルをリセットする流れをフローチャートでも詳細に説明する。

【0056】

図１１は、実施形態に係る画像形成装置１０１における学習済みモデルのリセット処理を説明するフローチャートである。尚、このフローチャートで示す処理は、ＣＰＵ３０１がＲＡＭ３０２に展開したプログラムを実行することにより実現される。

【0057】

まずＳ１１０１でＣＰＵ３０１は、操作部３５０などのユーザインターフェースを介してユーザから学習済みモデルのリセット要求が入力されたかどうかを判定し、リセット要求があると判定するとＳ１１０２に進む。Ｓ１１０２でＣＰＵ３０１は、機密情報が抜き取られる可能性のある学習済みモデルの抽出を開始する。

【0058】

図１２は、Ｓ１１０２の機密情報が抜き取られる可能性のある学習済みモデルの抽出処理を説明するフローチャートである。

【0059】

Ｓ１２０１でＣＰＵ３０１は、使用している学習済みモデルをリストアップする。次にＳ１２０２に進みＣＰＵ３０１は、そのリストの１つ目の学習済みモデルを判定対象としてＳ１２０３に進む。Ｓ１２０３でＣＰＵ３０１は、機密情報の判定設定を確認し、その学習済みモデルの設定値に応じて、機密情報が抜き取られる可能性があるかどうかの判定方法を切り替える。

【0060】

ここで設定値がメーカ推奨設定であればＳ１２０４に処理を進め、判定対象の学習済みモデルに機密情報フラグ「有」が含まれるかどうか判定する。また設定値が出力データの機密レベル設定であればＳ１２０５に進み、判定対象である学習済みモデルの出力データが機密情報属性、即ち、「機密」かどうか判定する。また設定値が、入力データの機密レベル設定であればＳ１２０６に進み、判定対象である学習済みモデルの入力データが機密情報属性、即ち、「機密」かどうか判定する。

【0061】

これらＳ１２０４，Ｓ１２０５，Ｓ１２０６の判定において判定対象の学習済みモデルが機密であると判定するとＳ１２０７に進み、機密情報が抜き取られる可能性のある学習済みモデルのリストに、そのモデルを追加してＳ１２０８に進む。またこれらＳ１２０４，Ｓ１２０５，Ｓ１２０６の判定において判定対象の学習済みモデルが機密でないと判定するとＳ１２０７をスキップしてＳ１２０８に進む。

【0062】

Ｓ１２０８でＣＰＵ３０１は、使用している学習済みモデル全てについて前記判定を完了したかどうかを判定し、完了していなければＳ１２０９に進み、リストの次の学習済みモデルを判定対象としてＳ１２０３に進む。一方、使用している学習済みモデル全てについて前記判定を完了したらこの処理を終了して図１１のＳ１１０３に進む。

【0063】

Ｓ１１０３でＣＰＵ３０１は、機密情報が抜き取られる可能性のある学習済みモデルの全てを操作部３５０に表示して提示する。次にＳ１１０４に進みＣＰＵ３０１は、操作部３５０に表示した候補の全て消去してよいかを操作部３５０を介してユーザに確認する。図１３（Ｂ）は、この画面例を示す図である。そしてＳ１１０５に進み、全て消去する指示があればＳ１１０６に進み、機密情報が抜き取られる可能性のある学習済みモデルの全てをリセットして、このリセット処理を終了する。一方、Ｓ１１０５で全て消去する指示がなければ、リセットを行うことなく、この処理を終了する。

【0064】

ここで、ＡＩ推定において、機密情報を含むと判断する基準は、上記で述べたように機密情報の判定設定としてユーザにより設定される。

【0065】

図１３（Ａ）は、機密情報かどうかの判定方法を選択する画面例を示す図である。

【0066】

図１３（Ａ）では、ユーザは、機密情報判定方法を「メーカ推奨設定」、「出力データの機密レベル」、「入力データの機密レベル」の中から選択して設定する。「入力データの機密レベル」は、図９の入力情報が「機密」かどうかに対応し、「出力データの機密レベル」は、図９の出力情報が「機密」かどうかに対応する。この選択候補はあくまで一例であり、他の基準で設定できるようになっていてもよい。

【0067】

図１４（Ａ）は、全ての学習済みモデルの一覧とその推定された機密情報属性とを表示し、ユーザに、リセット対象の学習済モデルを選択させる画面例を示す図である。

【0068】

この画面でユーザは、リセット対象の学習済モデルを選択してＯＫボタンを押下する。これにより所望の学習済みモデルのみをリセットできる。

【0069】

図１４（Ｂ）は、各機密情報の分類一覧を表示し、ユーザが機密情報が抜き取られるおそれのある機密情報を選択する画面例を示す図である。

【0070】

ここでは機密情報として「氏名」「生年月日」「クレジットカード番号」が選択されている。この状態でＯＫボタンが押下されると、これら機密情報を含む学習済みモデルだけをリセットするように指定できる。

【0071】

図１５（Ａ）は、学習済みモデルへのアクセス権限を設定する画面例を示す図である。

【0072】

ここでは「ＳＥＮＤ宛先」と「問い合わせ先」に関するアクセス権が選択されている。このような選択がされると、「ＳＥＮＤ宛先」と「問い合わせ先」に関して学習済みモデルが生成されることになる。

【0073】

図１５（Ｂ）は、機密情報が抜き取られる可能性があると推定された学習済みモデルを使用開始する前に、ユーザにその旨を通知する画面例を示す図である。

【0074】

図１５（Ｂ）の例では、許可があった「ＳＥＮＤ宛先」を学習済みモデルのみＡＩ推定に用いるように指定される。

【0075】

尚、ここで機密情報に含まれる個人情報の一例としては、住所、氏名、年齢、生年月日、性別、出身地、電話番号、家族構成、血液型、経歴、国籍、マイナンバー、写真、車のナンバー、財産、地位、身分、監視カメラの映像、病歴等が挙げられる。

【0076】

更に機密情報の例としては、「Confidential」や「極秘」など特定のキーワードが予め付与された原稿の読み取りデータが挙げられる。例えば、企業が保有している情報であって、外部へ開示されない情報、秘密情報として管理されている情報、開示されると企業に損失が生じるおそれのある情報などが含まれる。これには例えば、設計図や、各種マニュアル、企画書、顧客情報、人事に関する情報、給与情報、在庫・仕入先リストなども含まれる。

【0077】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0078】

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

【符号の説明】

【0079】

１０１…画像形成装置、１０３…機械学習サーバ、２０１…ＣＰＵ、３５０…操作部、４３０…機械学習部、４３２…推定処理部、４３３…学習済みモデル記憶部、４３４…学習済モデルリセット部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】