(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0017】
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。
【0018】
一実施形態に係る画像処理装置100は、依頼処理部101と、判定部102と、を備える。依頼処理部101は、端末からの画像データに関する検証依頼を処理する。判定部102は、検証を依頼された画像データが、複製や保管が制限された制限画像データであるか否かを判定する。依頼処理部101は、検証を依頼された画像データが制限画像データである場合に、検証を依頼された画像データを保管する装置に対して検証を依頼された画像データの削除を指示する。
【0019】
画像処理装置100は、例えば、OCR(Optical Character Recognition;光学的文字認識)機能を用いて画像データから文字列を抽出する。画像処理装置100は、この抽出された文字列のなかに、複製が制限された対象物(例えば、マイナンバーカード)を特徴付ける文字列が含まれるか否かにより、複製が制限されている画像データであるか否かを判定する。判定の結果、複製が制限されている画像データであれば、端末やデータベースサーバ等当該画像を保管する装置に対して当該画像データの削除を指示する。対して、画像処理装置100は、画像データの複製等が制限されていなければ、端末等に当該画像データの複製や保管を許可することができる。このように、画像処理装置100は、画像データに関する判定処理により、複製や保管が制限された対象物の複製や保管を適切に制御する。
【0020】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
【0021】
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
【0022】
図2は、第1の実施形態に係る画像処理システムの構成の一例を示す図である。
図2を参照すると、画像処理システムには、端末10と、画像処理サーバ20と、データベースサーバ30と、が含まれる。
【0023】
端末10は、スマートフォン、携帯電話、タブレット等の端末である。端末10は、カメラ機能を内蔵しており、被写体の画像データを取得し、当該データをデータベースサーバ30に送信する装置である。
【0024】
画像処理サーバ20は、OCR機能を有する画像処理装置である。画像処理サーバ20は、クラウドシステムにより提供されるサーバであり、端末10と画像処理サーバ20はネットワークを介して接続されている。なお、
図2には、1台の端末10を図示しているが、実際には多数の端末10が画像処理サーバ20を利用する。
【0025】
データベースサーバ30もクラウドシステムにより提供されるサーバであり、端末10、画像処理サーバ20とネットワークを介して接続されている。データベースサーバ30は、端末10から提供される画像データを保管する装置である。
【0026】
初めに、
図2を参照しつつ、画像処理システムの動作概略を説明する。
【0027】
使用者は、端末10を操作して、対象物の画像データを取得する。端末10は、当該画像データをデータベースサーバ30に送信し、当該画像データをデータベースサーバ30に保管する。また、端末10は、上記取得した画像データを含む画像検証依頼を画像処理サーバ20に送信する。画像検証依頼には、上記画像データに加え、自装置の識別子、画像データの識別子及び自装置の認証情報が含まれる。なお、本願開示では、端末10は、例えば、レンタルビデオサービスを提供する事業者が、従業員に貸し出すスマートフォン等の端末を想定している。従業員(端末10の使用者)は、端末10を操作して業務に必要なデータをデータベースサーバ30に格納する。
【0028】
画像処理サーバ20は、取得した画像データを検証し、複製や保管が制限された対象物(以下、制限対象物と表記する)による画像データ(以下、制限画像データと表記する)か否かを判定する。画像処理サーバ20は、取得した画像データが制限画像データであれば、当該画像データの送信元(端末10の使用者)が制限対象物の複製や保管が許可された主体であるか否かを判断する。その際、端末10から送信される認証情報が使用される。
【0029】
画像処理サーバ20は、制限画像データの送信元(端末10の使用者)が正当な権限を有すると判断した場合には、端末10に対して「許可通知」を送信する。当該通知を受信したことにより端末10は、検証を依頼した画像データの複製や保管が行える。換言すれば、端末10やデータベースサーバ30に保管された画像データを削除する必要はない。
【0030】
画像処理サーバ20は、制限画像データの送信元が、当該画像データを複製や保管する正当な権限を有しないと判断した場合には、端末10に対して「データ削除通知」を送信する。データ削除通知には、検証を依頼した画像データの識別子が含まれる。上記通知を受信した端末10は、識別子により画像データを特定し、検証を依頼した画像データを記憶媒体等から削除する。
【0031】
また、画像処理サーバ20は、制限画像データの送信元が、当該画像データを複製や保管する正当な権限を有さないと判断した場合には、上記データ削除通知をデータベースサーバ30に対しても送信する。当該通知を受けたデータベースサーバ30は、指定された画像データを削除する。
【0032】
以下、上記画像処理システムの機能を実現するための各装置について説明する。
【0033】
[ハードウェア構成]
初めに、第1の実施形態に係る画像処理システムを構成する各種装置のハードウェア構成を説明する。
【0034】
図3は、第1の実施形態に係る画像処理サーバ20のハードウェア構成の一例を示す図である。
【0035】
画像処理サーバ20は、情報処理装置(所謂、コンピュータ)により構成可能であり、例えば、内部バスにより相互に接続される、CPU(Central Processing Unit)11、メモリ12、入出力インターフェイス13、通信インターフェイスであるNIC(Network Interface Card)14等を備える。
【0036】
但し、
図3に示す構成は、画像処理サーバ20のハードウェア構成を限定する趣旨ではない。画像処理サーバ20は、図示しないハードウェアを含んでもよい。また、画像処理サーバ20に含まれるCPU等の数も
図3の例示に限定する趣旨ではなく、例えば、複数のCPUが画像処理サーバ20に含まれていてもよい。
【0037】
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等の1以上を含む。
【0038】
入出力インターフェイス13は、表示装置や入力装置等のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置や、USB(Universal Serial Bus)メモリ等の外部記憶装置から情報を入力する装置である。ユーザ(例えば、クラウドシステムの管理者)は、キーボードやマウス等を用いて、必要な情報を画像処理サーバ20に入力する。
【0039】
画像処理サーバ20の機能は、後述する処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ12に格納されたプログラムをCPU11が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェア及び/又はソフトウェアにより実現できればよい。
【0040】
図4は、第1の実施形態に係る端末10のハードウェア構成の一例を示す図である。端末10は、上述したCPU等に加え、カメラモジュール15を備える。カメラモジュール15は、レンズやCCD(Charge Coupled Device)センサ等の撮像素子を備え、当該撮像素子により被写体の画像データを出力する。
【0041】
入出力モジュール13aは、液晶パネルやタッチパネル等の情報入出力手段である。
【0042】
なお、データベースサーバ30のハードウェア構成は、画像処理サーバ20と同様とすることができるので説明を省略する。
【0043】
[処理モジュール]
続いて、第1の実施形態に係る画像処理システムを構成する各種装置の処理モジュールについて説明する。
【0044】
図5は、第1の実施形態に係る端末10の処理構成の一例を示す図である。
図5を参照すると、端末10は、通信制御部201と、画像取得部202と、画像管理部203と、を含んで構成される。
【0045】
通信制御部201は、画像処理サーバ20やデータベースサーバ30との間の通信を制御する手段である。通信制御部201は、データベースサーバ30に対して画像データを送信する。また、通信制御部201は、画像処理サーバ20に対して、取得した画像データを含む画像検証依頼を送信する。
【0046】
また、通信制御部201は、画像処理サーバ20からデータ削除通知を受信する。通信制御部201は、画像処理サーバ20から取得した上記通知を画像管理部203に引き渡す。
【0047】
画像取得部202は、カメラモジュール15を制御して、複製対象物の画像データを取得する。画像取得部202は、取得した画像データを、識別子を付して記憶媒体に格納する。また、画像取得部202は、取得した画像データをデータベースサーバ30に送信し、当該画像データの保管をデータベースサーバ30に指示する。
【0048】
さらに、画像取得部202は、画像データを含む画像検証依頼を画像処理サーバ20に向けて送信する。画像検証依頼には、少なくとも、検証を依頼する画像データ(実体データ)と、自装置(端末10)の識別子(例えば、MAC(Media Access Control)アドレスやIMEI(International Mobile Equipment Identity;端末ID))と、画像データの識別子(例えば、画像データの取得日時)と、自装置を使用するユーザの認証情報が含まれる。
【0049】
ユーザの認証情報として、ID(Identifier)とパスワードの組み合わせが例示される。あるいは、指紋等の生体情報を認証情報として用いてもよい。なお、認証情報は端末10の記憶媒体等に予め格納する。
【0050】
画像管理部203は、上記記憶媒体に格納された画像データを管理する手段である。画像管理部203は、画像処理サーバ20から「データ削除通知」を受信すると、当該通知により指定された画像データを記憶媒体から削除する。なお、端末10は、データ削除通知の受信に応じて、画像データを削除した場合には、その旨をユーザに報知するような表示等を行うのが望ましい。なお、画像管理部203のより詳細な動作は
図9を参照しつつ後述する。
【0051】
[画像処理サーバ]
図6は、第1の実施形態に係る画像処理サーバ20の処理構成の一例を示す図である。
図6を参照すると、画像処理サーバ20は、通信制御部301と、検証依頼処理部302と、文字認識部303と、制限判定部304と、権限検証部305と、を含んで構成される。
【0052】
通信制御部301は、端末10やデータベースサーバ30との間の通信を制御する手段である。通信制御部301は、端末10から画像検証依頼を受信すると、当該依頼を検証依頼処理部302に引き渡す。また、通信制御部301は、検証依頼処理部302からの通知(許可通知、データ削除通知)を端末10及びデータベースサーバ30に向けて送信する。
【0053】
検証依頼処理部302は、端末10から受信した画像検証依頼を処理する手段である。検証依頼処理部302は、画像データを含む画像検証依頼を記憶媒体に格納する。記憶媒体に格納された画像検証依頼は他の処理モジュール(文字認識部303等)からアクセス可能に構成される。
【0054】
検証依頼処理部302は、当該依頼の送信元(端末10)と画像データの識別子を関連付けて管理する。検証依頼処理部302は、取得した画像データ(画像検証依頼に含まれる画像データ)の文字認識を文字認識部303に指示する。
【0055】
文字認識部303による文字認識が終了すると、検証依頼処理部302は、制限判定部304に対して取得した画像データが制限画像データであるか否かの判定を指示する。「画像データは制限画像データでは無い」という判定結果を得た場合には、検証依頼処理部302は、端末10及びデータベースサーバ30に対して「許可通知」を送信する。
【0056】
「画像データは制限画像データである」という判定結果を得た場合には、検証依頼処理部302は、記憶媒体に格納された対応する画像データを削除する。画像処理サーバ20は、制限対象物を保管する正当な権限を有さないためである。その後、検証依頼処理部302は、権限検証部305に対し画像データの送信元が制限対象物を複製や保管する正当な権限を有する否かの検証を指示する。例えば、制限対象物がマイナンバーカードであれば、送信元(端末10の使用者)が法令で定められた者であるか否かが検証される。
【0057】
「送信元は正当な権限を有する」という検証結果を得た場合には、検証依頼処理部302は、端末10及びデータベースサーバ30に対して「許可通知」を送信する。
【0058】
「送信元は正当な権限を有さない」という検証結果を得た場合には、検証依頼処理部302は、端末10及びデータベースサーバ30に対して「データ削除通知」を送信する。
【0059】
文字認識部303は、画像データから文字列を抽出する手段である。例えば、
図7に示すような画像データから文字列を抽出すると、「個人番号」、「1234−5678−9012」と言った文字列に加え、領域31に記載された定型文の内容が抽出される。一方、IC(Integrated Circuit)チップ32のような非文字情報(非文字領域)は抽出されない。なお、文字認識部303による文字認識は、文字と文字の間隔が所定の距離よりも短い場合には、一塊の情報(即ち、文字列)と判定するのが望ましい。
【0060】
制限判定部304は、端末10から検証を依頼された画像データが、複製や保管が制限された制限画像データであるか否かを判定する手段である。具体的には、制限判定部304は、検証を依頼された画像データから抽出された文字列に基づき、検証を依頼された画像データの判定を行う。例えば、文字認識部303により得られた文字列の中に予め定めた文字列が含まれる場合に、制限判定部304は、判定対象の画像データは制限画像データであると判定する。画像処理サーバ20が想定する制限対象物がマイナンバーカードとすれば、文字認識部303により抽出された文字列の中に「個人番号」という文字列が存在する場合に、判定対象の画像データは制限画像データであると判定する。
【0061】
なお、マイナンバーカードを制限対象物に設定した場合に、その判定に用いる文字列は「個人番号」に限定されない。例えば、領域31に記載された定型文を用いて画像データが制限画像データか否かを判定してもよい。即ち、マイナンバーカードを特徴付けるような文字列であれば任意の文字列を使用することができる。
【0062】
このように、制限判定部304は、文字認識部303による認識結果に予め登録された特徴的な文字列(制限対象物を特徴付ける文字列)が含まれるか否かを判定する。
【0063】
権限検証部305は、端末10からの画像検証依頼に含まれる認証情報を用いて、端末10の使用者が制限画像データを複製する正当な権限を有するか否かを検証する手段である。具体的には、権限検証部305は、識別子(ユーザID)とそのパスワードが対応付けられたテーブル情報(データベース)を参照し、端末10から取得した認証情報に含まれる識別子とパスワードが当該テーブル情報に格納されているか否かを判定する。権限検証部305は、検証結果を検証依頼処理部302に通知する。
【0064】
[データベースサーバ]
図8は、第1の実施形態に係るデータベースサーバ30の処理構成の一例を示す図である。
図8を参照すると、データベースサーバ20は、通信制御部401と、画像管理部402と、を含んで構成される。
【0065】
通信制御部401は、端末10や画像処理サーバ20との間の通信を制御する手段である。通信制御部401は、端末10や画像処理サーバ20から取得したデータを画像管理部402に引き渡す。画像管理部402は、端末10から画像データを取得した場合には、当該画像データを識別子と共に記憶媒体に格納(保管)する。画像管理部402は、画像処理サーバ20から「データ削除通知」を受信した場合には、当該通知により指定された画像データを記憶媒体から削除する。また、画像管理部402は、端末10から画像を取得した後、一定期間経過しても画像処理サーバ20から通知(許可通知、データ削除通知)を受信できない場合には、画像管理部402は、端末10から取得した画像を削除する。
【0066】
[動作の説明]
次に、
図9及び
図10を参照しつつ、画像処理システムを構成する端末10と画像処理サーバ20の動作を説明する。なお、データベースサーバ30の動作に関しては、上記説明のとおりであり、説明を省略する。
【0067】
図9は、第1の実施形態に係る端末10の動作の一例を示すフローチャートである。
【0068】
端末10は、被写体の画像データを取得する(ステップS01)。
【0069】
端末10は、取得した画像データをデータベースサーバ30に送信すると共に、当該画像データに関する画像検証依頼を画像処理サーバ20に送信する(ステップS02)。
【0070】
端末10は、画像処理サーバ20から一定期間以内に検証結果を受信したか否かを判定する(ステップS03)。一定期間内に検証結果を受信した場合(ステップS03、Y分岐)、端末10は、画像処理サーバ20から受信した検証結果が「許可通知」であるか「データ削除通知」であるかを確認する(ステップS04)。
【0071】
画像処理サーバ20から一定期間以内に「許可通知」を受信した場合(ステップS03、Y分岐;ステップS04、Y分岐)には、端末10は、特段の動作を行わず処理を終了する。
【0072】
画像処理サーバ20から一定期間以内に「データ削除通知」を受信した場合(ステップS03、Y分岐;ステップS04、N分岐)には、端末10は、検証を依頼した画像データを削除する(ステップS05)。
【0073】
画像処理サーバ20から一定期間以内に検証結果を受信できない場合(ステップS03、N分岐)には、端末10は、検証を依頼した画像データを削除すると共に端末10の使用者に対して対象物の再撮影を促す(ステップS06)。このように、通信エラー等の要因により、一定期間内に画像処理サーバ20から検証結果が得られない場合には、端末10は、検証を依頼した画像データを削除する。つまり、端末10では、画像処理サーバ20から「許可通知」を受信できなければ、検証を依頼した画像データの複製や保管を行ってもよいか判断ができないためである。
【0074】
図10は、第1の実施形態に係る画像処理サーバ20の動作の一例を示すフローチャートである。
【0075】
画像処理サーバ20は、端末10から画像検証依頼を受信する(ステップS11)。
【0076】
画像処理サーバ20は、取得した画像データに対する文字認識を実行する(ステップS12)。
【0077】
その後、画像処理サーバ20は、取得した画像データが制限画像データであるか否かを判定する(ステップS13)。具体的には、画像処理サーバ20は、文字認識により得られた文字列の中に、制限対象物を特徴付ける文字列が含まれるか否かにより、当該判定を行う。
【0078】
画像データが制限画像データでなければ(ステップS13、N分岐)、画像処理サーバ20は端末10及びデータベースサーバ30に「許可通知」を送信する(ステップS16)。
【0079】
画像データが制限画像データであれば(ステップS13、Y分岐)、画像処理サーバ20は、記憶媒体に格納した画像データを削除する(ステップS14)。その後、画像処理サーバ20は、画像データの送信元(端末10の使用者)に関する認証処理(例えば、パスワード認証)を行う。
【0080】
送信元が正当な権限を有する場合(ステップS15、Y分岐)には、画像処理サーバ20は、端末10及びデータベースサーバ30に「許可通知」を送信する(ステップS16)。
【0081】
送信元が正当な権限を有さない場合(ステップS15、N分岐)には、画像処理サーバ20は、端末10及びデータベースサーバ30に「データ削除通知」を送信する(ステップS17)。
【0082】
以上のように、第1の実施形態に係る画像処理システムでは、端末10から検証を依頼された画像データに対して文字認識処理を実行する。文字認識処理の結果、画像データから制限対象物を特徴付ける文字列が抽出された場合には、画像データの送信元が正当な権限を有するか否かが検証される。検証の結果、正当な権限を有すると判定された場合に限り、制限対象物の複製や保管が許可される。即ち、正当な権限を持つ端末10の使用者は制限対象物であっても複製や保管が可能であるが、正当な権限を有さない端末10の使用者は制限対象物の複製や保管が禁じられる。このように、複製や保管が制限された対象物の複製や保管が適切に制御される。
【0083】
[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。
【0084】
なお、第2の実施形態において、システム構成や端末10等のハードウェア構成、処理構成は、第1の実施形態にて説明した構成と同一とすることができるので、
図2等に相当する説明は省略する。
【0085】
第1の実施形態では、画像データから取得した文字列の中に、制限対象物を特徴付ける文字列が存在するか否かにより当該画像データの複製や保管が可能か否かを判断している。しかし、このような判断では、制限対象物を特徴付ける文字列を含む画像データは全て複製や保管不可と判断され、場合によっては判定精度が問題となる(本来複製等が可能な対象も複製不可と判断され得る)。
【0086】
第2の実施形態では、複製制限画像データに関する判定精度を高める画像処理サーバ20について説明する。
【0087】
第2の実施形態に係る制限判定部304は、文字認識部303により認識された文字列の画像データにおける位置や画像データに含まれる非文字情報を利用して、上記判定を行う。
【0088】
なお、第2の実施形態に係る文字認識部303は、文字列の抽出だけでなく、抽出した文字列の画像データにおける位置情報も合わせて算出するものとする。例えば、
図7に示す画像データから文字列を抽出すると、
図11に示すような情報が文字認識部303から出力される。なお、
図11及び
図11以降の図面に示す各文字列の位置情報は、画像データの左下をXY座標系の原点とした場合の座標により表現されている。
【0089】
制限判定部304は、位置情報が付加された文字列と、対象とする制限対象物から予め生成されたリファレンス情報と、を比較することで、画像データが制限画像データであるか否かを判定する。なお、上記リファレンス情報は、制限対象物に対して文字認識を実行すれば得られる文字列とその位置を関連付けた情報である(
図12参照)。
【0090】
なお、個人番号の12桁の数字はマイナンバーカードごとに異なる数字である。従って、当該文字列は、2つの画像データ間の比較には適さないので、
図12に示す情報から除外されている。
【0091】
制限判定部304は、リファレンス情報に記載された文字列(
図12では、個人番号、氏名)の位置と、画像データから抽出された対応する文字列の位置と、が実質的に一致するか否かにより画像データが制限画像データであるか否かを判定する。このように、第2の実施形態に係る制限判定部304は、画像データから抽出された文字列のうち、複製が制限された対象物を特徴付ける文字列に一致する文字列の位置が予め定めた位置(リファレンス情報により規定される位置)である場合に、検証を依頼された画像データは制限画像データであると判定する。
【0092】
あるいは、制限判定部304は、画像データから得られる非文字情報を制限画像データの判定に利用しても良い。例えば、制限判定部304は、画像データから抽出した文字列の中に制限対象物を特徴付ける文字列が含まれている場合に、非文字情報の位置を取得し、取得した情報(非文字情報の位置)と対応するリファレンス情報を比較する。
【0093】
例えば、
図7の例では、制限判定部304は、画像データにおけるICチップ32をパターンマッチング等の技術により抽出する。抽出されたICチップ32の位置が予め定められた位置と実質的に一致する場合に、制限判定部304は、当該画像データは制限対象物であると判定してもよい。
【0094】
以上のように、第2の実施形態に係る画像処理システムでは、画像データから抽出される文字列の位置情報を用いて、判定対象の画像データが制限画像データか否かが判定される。その結果、制限対象物ではない対象から取得された画像データのなかに制限対象物を特徴付ける文字列が含まれていた場合であっても、当該対象の誤判定が防止される。即ち、第2の実施形態では、判定精度をより高めることができる。
【0095】
[第3の実施形態]
続いて、第3の実施形態について図面を参照して詳細に説明する。
【0096】
なお、第3の実施形態において、システム構成や端末10等のハードウェア構成、処理構成は、第1及び第2の実施形態にて説明した構成と同一とすることができるので、
図2等に相当する説明は省略する。
【0097】
第3の実施形態では、処理中の画像データ以外の画像データを利用して上記判定を行う場合について説明する。なお、第3の実施形態では、制限対象物がマイナンバーカード等の対象であれば、端末10から当該カードの表面と裏面に係る2枚の画像データが画像処理サーバ20に送信されることが多いことを前提とする。
【0098】
第2の実施形態では、画像データにおける特定の文字列の位置が、リファレンス情報として予め定められた位置と一致する場合に、当該画像データは制限画像データであると判定している。しかし、同種の制限対象物であっても、文字等のレイアウトが、例えば、発行自治体に応じて異なることも想定される。そのような場合に対応するためには、自治体ごとのリファレンス情報を用意して逐次比較をすれば良いが、処理時間(判定時間)が長くなる等の問題がある。
【0099】
そこで、第3の実施形態に係る制限判定部304は、先に処理された画像データから抽出された文字列を利用して、必要なリファレンス情報を特定する。例えば、画像処理サーバ20は、
図13(a)に示すような画像データの検証依頼を端末10から取得したものとする。この場合、文字認識部303により、
図13(b)に示すような文字列が抽出される。画像処理サーバ20は、
図13(b)に示すような文字列を、当該文字列の抽出源となった画像データの送信元と画像データとに対応付けて記憶媒体に格納しておく。
【0100】
制限判定部304は、第2の実施形態にて説明したように、画像データから抽出された文字列の位置とリファレンス情報に記載された位置を比較する際、処理中の画像データと同じ送信元であって、氏名及び生年月日が同じ画像データを記憶媒体から検索する。
【0101】
例えば、
図7に示す画像データをマイナンバーカードの裏面、
図13(a)に示す画像データを
図7のマイナンバーカードの表面とすれば、両画像データの氏名と生年月日は一致する。2つの画像データ間で氏名と生年月日が一致する画像同士は、互いに対となる画像データ(裏面に対する表面又はその逆)と判定される。
【0102】
次に、制限判定部304は、検索された画像データ(処理中の画像データと対となる画像データ)から抽出された文字列の中から住所に相当する文字列を取得する。
図13の例では、「東京都」が得られる。
【0103】
その後、制限判定部304は、処理中の画像データ(裏面)と対となる画像データ(表面)から得られた住所に対応するレファレンス情報を予め用意された複数のリファレンス情報のなかから特定する。
図13の例では、
図14に示すリファレンス情報のうち、「東京都」が選択され、複製制限画像データの判定に利用される。
【0104】
以上のように、第3の実施形態では、端末10から検証を依頼された画像データ(例えば、マイナンバーカードの裏面)と対となる画像データ(対応するマイナンバーカードの表面)から抽出された情報を用いて、検証を依頼された画像データの判定を行う。その結果、デザインやレイアウトが異なるような制限対象物であっても短時間で判定結果が得られる。
【0105】
[第4の実施形態]
続いて、第4の実施形態について図面を参照して詳細に説明する。
【0106】
第1〜第3の実施形態では、端末10は、スマートフォン等の端末を想定しているが、本願開示が適用可能な端末はスマートフォン等に限定されない。例えば、所謂、コピー機等の装置を端末10としてもよい。例えば、レンタルビデオサービスを提供する店舗に上記実施形態にて説明した端末10(コピー機)を設置する場合を考える。この場合、レンタルビデオサービスを提供する事業者は、マイナンバーカードの複製や保管を許可された主体ではない。そこで、レンタルビデオ店では、制限対象物を誤って複製しないように、画像処理サーバ20に認証情報を登録せず、画像処理サーバ20に画像検証依頼を送信する。その結果、マイナンバーカードの裏面等を複製しようとしても、画像処理サーバ20から「データ削除通知」が通知され、当該情報の複製及び保管はできない。
【0107】
一方、市役所等の行政機関の職員等には、マイナンバーカードの複製や保管が可能な人もいる。そこで、画像処理サーバ20に当該職員等の認証情報を登録しておき、当該職員がコピー機(端末10)を利用する場合には、自身の認証情報(IDとパスワード)を入力する。端末10は、入力された認証情報を伴う画像検証依頼を画像処理サーバ20に送信する。その結果、画像処理サーバ20から「許可通知」が通知され、マイナンバーカードの裏面であっても複製や保管ができる。
【0108】
このように、第1〜第3の実施形態における端末10は、例えば、レンタルビデオサービスを提供する事業者等の店舗に設置されるコピー機であってもよい。しかし、このような店舗ではなく、コンビニエンスストアのような小売店に端末10が設置されることもあり得る。そのような端末10が、画像処理サーバ20を利用する場合には、問題が生じ得る。つまり、コンビニエンスストア等に設置されたコピー機(端末10)では、マイナンバーカードの所有者が裏面の複製を行うこともあると考えられるが、その場合、本人であっても複製が許可されない。
【0109】
第4の実施形態では、このような不都合を解消するための画像処理システムについて説明する。
【0110】
図15は、第4の実施形態に係る端末10のハードウェア構成の一例を示す図である。第4の実施形態に係る端末10は、画像読み取りモジュール16を備える。画像読み取りモジュール16は、所謂、スキャナーであり、対象物の画像データを取得する。第1〜第3の実施形態では、対象物(例えば、マイナンバーカード)の画像データをカメラモジュール15により得ていたが、第4の実施形態では、画像読み取りモジュール16(スキャナー)により取得する。つまり、画像取得部202は、スキャナーを制御し画像データを取得する。
【0111】
また、第4の実施形態に係る端末10のカメラモジュール15に含まれるレンズは、端末10を操作する人物の顔画像を取得できるように設置される。
【0112】
図16は、第4の実施形態に係る端末10の処理構成の一例を示す図である。
図16に示すように、端末10は、顔画像取得部204をさらに備える。顔画像取得部204は、カメラモジュール15を制御し、ユーザの顔画像を取得する。
【0113】
端末10の画像取得部202は、画像処理サーバ20に画像検証依頼を送信する際の認証情報として上記取得された顔画像を用いる。つまり、画像取得部202は、検証を依頼する画像データに加え、ユーザの顔画像データも画像処理サーバ20に送信する。
【0114】
画像処理サーバ20は、上記顔画像を用いて、端末10等に画像データの複製や保管を許可するか否かを判断する。具体的には、画像処理サーバ20は、制限画像データに人物の顔画像が含まれる場合に、当該顔画像を端末10の権限判断に利用する。あるいは、権限検証部305は、制限画像データと対となる画像データに人物の顔画像が含まれる場合には、当該対となる画像データに含まれる顔画像を正当性の判断に利用する。
【0115】
ここでは、
図17(a)に示す画像データが処理中の画像データ、
図17(b)に示す画像データが対となる画像データとする。なお、処理中の画像データと対となる画像データの特定には、第3の実施形態にて説明した方法が利用できる。つまり、2枚の画像データを関連付ける情報(例えば、氏名、生年月日)を利用して対となる画像データを発見する。
【0116】
権限検証部305は、処理中の画像データ又は対となる画像データから顔画像を抽出する。なお、画像データから顔画像を抽出する際には種々の技術を用いることができる。例えば、参考文献1(特開2014−170979号公報)に開示されているように、入力画像(顔画像を含む画像データ)と、顔画像のテンプレート画像と、を比較し、両者の差分が閾値以下であるか否かにより、顔画像を抽出してもよい。
【0117】
顔画像の抽出に成功した場合には、権限検証部305は、認証情報に含まれる顔画像と画像データから抽出した顔画像のそれぞれから各顔画像を特徴付ける特徴量ベクトルを算出する。顔画像からの特徴量ベクトル算出に関しては、例えば、参考文献2(特開2015−097000号公報)に開示されている技術を用いることができる。具体的には、顔画像から特徴点(例えば、目、鼻、口等の中心点や端点)を抽出し、当該抽出した特徴点の位置関係、特徴点近傍の濃淡値や特性(周期性、方向性、色分布等)を特徴量として算出する。
【0118】
権限検証部305は、端末10から取得した顔画像の特徴量ベクトルと画像データから抽出した顔画像から算出した特徴量ベクトルの類似度を算出する。例えば、権限検証部305は、2つの特徴量ベクトル間のカイ二乗距離やユークリッド距離等を算出する。
【0119】
権限検証部305は、算出した類似度に対して閾値処理を施し、端末10から認証情報として取得した顔画像と画像データから抽出した顔画像が実質的に一致するか否かを判定する。2つの顔画像が一致すれば、権限検証部305は、処理中の画像データの送信元(端末10の使用者)は、制限対象物を複製する正当な権限を有すると判定する。2つの顔画像が不一致であれば、権限検証部305は、処理中の画像データの送信元は正当な権限を有さないと判定する。
【0120】
上記対応により、制限対象物の所有者が、当該対象物を複製する場合には、端末10は正当な権限を有するとは判定され、複製や保管が可能となる。
【0121】
以上のように、第4の実施形態では、認証情報に顔画像が含まれる場合には、画像処理サーバ20は、検証を依頼された画像データ又は検証を依頼された画像データと対になる画像データから顔画像を抽出する。その後、画像処理サーバ20は、認証情報に含まれる顔画像と抽出された顔画像に基づき、端末10が制限画像データを複製する正当な権限を有するか否かを検証する。その結果、カードの所有者であっても複製ができないといった不都合が解消される。
【0122】
上記実施形態にて説明した画像処理システムの構成等は例示であって、システムの構成を限定する趣旨ではない。
【0123】
例えば、画像処理サーバ20が、レンタルビデオサービスを提供する店舗等に設置される端末10からに限り画像検証依頼を受信する場合には、画像処理サーバ20は、検証を依頼された画像データが制限画像データと判明した時点で、端末10やデータベースサーバ30に対して画像データの削除を指示してもよい(認証は必要がない)。
【0124】
上記実施形態では、端末10が自装置の記憶媒体とデータベースサーバ30に制限画像データを保管する場合について説明し、その場合には、画像処理サーバ20から端末10及びデータベースサーバ30に対して制限画像データの削除を指示している。しかし、端末10は、データベースサーバ30に画像データを保管せず、自装置の記憶媒体に限り画像データを保管してもよい。この場合には、画像処理サーバ20は、端末10に制限画像データの削除を指示する。あるいは、端末10は自装置の記憶媒体に画像データを保管せず、データベースサーバ30にだけ画像データを保管してもよい。この場合には、画像処理サーバ20は、データベースサーバ30に制限画像データの削除を指示する。このように、検証を行った画像データが制限画像データであれば、画像処理サーバ20は、端末10から検証を依頼された画像データを保管する装置に対して当該画像データの削除を指示する。
【0125】
上記実施形態では、マイナンバーカードを主な制限対象物としているが、制限対象物はマイナンバーカードに限定されない。他の身分証明書等であっても、本願開示は適用可能である。
【0126】
上記実施形態では、予め登録した文字列(即ち、複製を禁止する画像データに含まれる文字列;ブラックリスト)とOCR機能により認識した文字列が一致した場合に、端末10等に対し画像を削除するように指示している。しかし、予め登録した文字列(複製を許可する画像データに含まれる文字列;ホワイトリスト)とOCR機能により認識した文字列が一致しない場合に画像データを削除するよう指示して、許可した画像データ以外の複製を禁止するような構成としても良い。
【0127】
上記実施形態では、クラウド上の画像処理サーバ20にてOCR認識を実行しているが、現場(レンタルビデオサービスの店舗等)の端末10の内部でOCR認識を実行し、予め登録した文字列と認識された文字列が一致した場合に画像を削除するようにしてもよい。
【0128】
上記実施形態では、予め登録した文字列を含む画像データをクラウド(データベースサーバ30)及び端末10から削除するようにしているが、画像処理サーバ20にて、予め登録した文字列と一致する個所を塗りつぶすような画像処理を施して、問題のある個人情報などを保存しないようにしても良い。
【0129】
上記実施形態において、端末10の使用者が画像を複製や保管する権限を有しているかを確認する手段は、上記パスワード認証に限定されない。例えば、生体情報を用いて認証しても良いし、公開鍵を用いた認証でも良い。あるいは、これらの情報を組み合わせて認証しても良い。さらに、端末10の設置場所の位置情報をユーザ認証に利用しても良い。例えば、端末10が市役所等の行政機関に設置された装置であれば、自装置の位置情報(緯度、経度)を認証情報に含めても良い。より具体的には、認証情報に端末10の位置情報と端末10の使用者の認証情報を画像処理サーバ20に送信する。画像処理サーバ20では、端末10の位置情報を初めに確認し、当該端末10が設置されている位置が市役所等であれば、端末10の使用者に関する認証を行う。一方、端末10が設置されている箇所が市役所等でなければ、画像処理サーバ20は、その使用者に関する認証を行うまでもなく、端末10の使用者を承認しなくともよい。このように、画像処理サーバ20は、装置認証とユーザ認証を組み合わせてもよい。
【0130】
上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上記実施形態で説明した事項は、相反しない範囲で組み合わせることができる。
【0131】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
上述の第1の視点に係る画像処理装置のとおりである。
[付記2]
前記検証を依頼された画像データから文字列を抽出する文字認識部をさらに備え、
前記判定部は、
前記検証を依頼された画像データから抽出された文字列に基づき、前記検証を依頼された画像データの判定を行う、付記1の画像処理装置。
[付記3]
前記判定部は、
前記抽出された文字列に、複製や保管が制限された対象物を特徴付ける文字列が含まれる場合に、前記検証を依頼された画像データは前記制限画像データであると判定する、付記2の画像処理装置。
[付記4]
前記判定部は、
前記抽出された文字列のうち、前記複製や保管が制限された対象物を特徴付ける文字列に一致する文字列の位置が予め定めた位置である場合に、前記検証を依頼された画像データは前記制限画像データであると判定する、付記3の画像処理装置。
[付記5]
前記判定部は、
前記検証を依頼された画像データと対となる画像データから抽出された情報を用いて、前記検証を依頼された画像データの判定を行う、付記1乃至4のいずれか一に記載の画像処理装置。
[付記6]
前記端末からの検証依頼には、前記端末の使用者の認証情報が含まれ、
前記認証情報を用いて、前記端末の使用者が前記制限画像データを複製や保管する正当な権限を有するか否かを検証する、検証部をさらに備え、
前記依頼処理部は、
前記検証を依頼された画像データが前記制限画像データであり、且つ、前記端末の使用者が正当な権限を有さない場合に、前記検証を依頼された画像データを保管する装置に対して前記検証を依頼された画像データの削除を指示する、付記1乃至5のいずれか一に記載の画像処理装置。
[付記7]
前記検証部は、
前記認証情報に顔画像が含まれる場合には、前記検証を依頼された画像データ又は前記検証を依頼された画像データと対になる画像データから顔画像を抽出し、前記認証情報に含まれる顔画像と前記抽出された顔画像に基づき、前記端末の使用者が前記制限画像データを複製や保管する正当な権限を有するか否かを検証する、付記6の画像処理装置。
[付記8]
前記依頼処理部は、
前記検証を依頼された画像データが前記制限画像データである場合に、自装置に保存した前記検証を依頼された画像データを削除する、付記1乃至7のいずれか一に記載の画像処理装置。
[付記9]
上述の第2の視点に係る画像処理システムのとおりである。
[付記10]
前記画像処理装置は、前記検証を依頼された画像データから文字列を抽出する文字認識部をさらに備え、
前記判定部は、
前記検証を依頼された画像データから抽出された文字列に基づき、前記検証を依頼された画像データの判定を行う、付記9の画像処理システム。
[付記11]
前記判定部は、
前記抽出された文字列に、複製や保管が制限された対象物を特徴付ける文字列が含まれる場合に、前記検証を依頼された画像データは前記制限画像データであると判定する、付記10の画像処理システム。
[付記12]
前記判定部は、
前記抽出された文字列のうち、前記複製や保管が制限された対象物を特徴付ける文字列に一致する文字列の位置が予め定めた位置である場合に、前記検証を依頼された画像データは前記制限画像データであると判定する、付記11の画像処理システム。
[付記13]
前記判定部は、
前記検証を依頼された画像データと対となる画像データから抽出された情報を用いて、前記検証を依頼された画像データの判定を行う、付記9乃至12のいずれか一に記載の画像処理システム。
[付記14]
前記端末からの検証依頼には、前記端末の使用者の認証情報が含まれ、
前記画像処理装置は、前記認証情報を用いて、前記端末の使用者が前記制限画像データを複製や保管する正当な権限を有するか否かを検証する、検証部をさらに備え、
前記依頼処理部は、
前記検証を依頼された画像データが前記制限画像データであり、且つ、前記端末の使用者が正当な権限を有さない場合に、前記端末及びデータベースサーバに対して前記検証を依頼された画像データの削除を指示する、付記9乃至13のいずれか一に記載の画像処理システム。
[付記15]
前記検証部は、
前記認証情報に顔画像が含まれる場合には、前記検証を依頼された画像データ又は前記検証を依頼された画像データと対になる画像データから顔画像を抽出し、前記認証情報に含まれる顔画像と前記抽出された顔画像に基づき、前記端末の使用者が前記制限画像データを複製や保管する正当な権限を有するか否かを検証する、付記14の画像処理システム。
[付記16]
前記依頼処理部は、
前記検証を依頼された画像データが前記制限画像データである場合に、自装置に保存した前記検証を依頼された画像データを削除する、付記9乃至15のいずれか一に記載の画像処理装置。
[付記17]
上述の第3の視点に係る画像処理方法のとおりである。
[付記18]
上述の第4の視点に係るプログラムのとおりである。
なお、付記17の形態及び付記18の形態は、付記1の形態と同様に、付記2の形態〜付記8の形態に展開することが可能である。
【0132】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。