JP7414496B2

JP7414496B2 - 画像処理方法

Info

Publication number: JP7414496B2
Application number: JP2019220050A
Authority: JP
Inventors: 晋梶野
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2024-01-16
Anticipated expiration: 2039-12-05
Also published as: JP2021089617A

Description

本発明は、画像処理方法、画像処理装置、プログラムに関する。

プライバシー保護の観点などから、画像データ中の人物などの領域に対してモザイク処理などの画像処理を行うことがある。

このような処理について記載された文献として、例えば、特許文献１がある。特許文献１には、例えば、撮像画像取得手段と、対象領域設定手段と、変換処理手段と、を備える画像処理装置が記載されている。特許文献１によると、対象領域設定手段は、撮像画像取得手段により取得した撮像画像データの画像解析を行い、その撮像画像データの画像内に特定種別の被写体画像が存在した場合、被写体画像の画像サイズに応じて、被写体画像の画素領域を画像変換処理の処理対象領域に設定する。また、変換処理手段は、処理対象領域の被写体画像に対して画像変換処理を行って変換画像データを生成する。

特開２００８－２３６１４１号公報

画像データを資料に用いる場合などにおいて、プライバシー保護を実現しつつ出来るだけ自然な見た目となるように、画像処理を行いたい場合がある。しかしながら、特許文献１に記載の技術の場合、特許文献１の図５などに記載されているように、頭部全体が画像処理の対象領域となる。その結果、処理後の状態が不自然なものとなってしまう、という課題が生じていた。

そこで、本発明の目的は、プライバシーの保護を実現しつつ、処理後の画像が出来るだけ自然なものとなるように画像処理を行うことが難しい、という課題を解決する画像処理方法、画像処理装置、プログラムを提供することにある。

かかる目的を達成するため本発明の一形態である画像処理方法は、
画像処理装置が、
画像データから人物の顔の一部分を示す顔領域を検出し、
検出した前記顔領域内に複数のぼかし処理を行う
という構成をとる。

また、本発明の他の形態である画像処理装置は、
画像データから人物の顔の一部分を示す顔領域を検出する検出部と、
前記検出部が検出した前記顔領域内に複数のぼかし処理を行う処理部と、
を有する
という構成をとる。

また、本発明の他の形態であるプログラムは、
画像処理装置に、
画像データから人物の顔の一部分を示す顔領域を検出する検出部と、
前記検出部が検出した前記顔領域内に複数のぼかし処理を行う処理部と、
を実現するためのプログラムである。

本発明は、以上のように構成されることにより、プライバシーの保護を実現しつつ、変換後の画像が出来るだけ自然なものとなるように画像の変換処理を行うことが難しい、という課題を解決する画像処理方法、画像処理装置、プログラムを提供することが可能となる。

本発明の第１の実施形態における画像処理装置の構成の一例を示すブロック図である。検出部の処理の一例を説明するための図である。検出部の処理の一例を説明するための図である。第１処理部による処理の一例を示す図である。第２処理部による処理の一例を示す図である。本発明の第１の実施形態における画像処理装置の動作の一例を示すフローチャートである。本発明の第２の実施形態における画像処理装置の構成の一例を示すブロック図である。

［第１の実施形態］
本発明の第１の実施形態を図１から図６までを参照して説明する。図１は、画像処理装置１００の構成の一例を示すブロック図である。図２、図３は、検出部１５２の処理の一例を説明するための図である。図４は、第１処理部１５３による処理の一例を示す図である。図５は、第２処理部１５４による処理の一例を示す図である。図６は、画像処理装置１００の動作の一例を示すフローチャートである。

本発明の第１の実施形態においては、画像データから人物の顔を検出して所定のぼかし処理を行う画像処理装置１００について説明する。後述するように、本実施形態における画像処理装置１００では、人物の顔のうちの予め定められた部位が入るように定められた、顔の一部分を示す顔領域を検出する。そして、画像処理装置１００は、検出した顔領域内に対して、範囲が異なる２種類のぼかし処理を行う。

なお、ぼかし処理とは、例えば、顔領域などのぼかし対象領域を複数の四角いエリアに分割して、分割したエリアそれぞれにおいてエリア内部の色を平均化する処理のことをいう。例えば、ぼかし処理では、ぼかし対象領域を複数の正方形に分割して、正方形中の各点（各ピクセル）の色の平均（例えば、点の色のR、G、Bの明るさの平均）を計算する。そして、計算した結果の色で正方形を塗りつぶす。例えば、以上のような処理により、ぼかし処理が行われる。なお、本実施形態においては、ぼかし対象領域をいくつの四角いエリアに分割するかについては、特に限定しない。ぼかし対象領域の分割数については、任意に設定して構わない。

画像処理装置１００は、外部装置などから取得した画像データ中の人を検出して所定の画像処理を行う情報処理装置である。図１は、画像処理装置１００の構成の一例を示している。図１を参照すると、画像処理装置１００は、主な構成要素として、例えば、操作入力部１１０と、画面表示部１２０と、通信Ｉ／Ｆ部１３０と、記憶部１４０と、演算処理部１５０と、を有している。

操作入力部１１０は、キーボードやマウスなどの操作入力装置からなる。操作入力部１１０は、オペレータの操作を検出して演算処理部１５０に出力する。

画面表示部１２０は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部１２０は、演算処理部１５０からの指示に応じて、画像情報１４１に含まれる画像データや処理後画像情報１４２に含まれる画像データなどを画面表示する。

通信Ｉ／Ｆ部１３０は、データ通信回路からなる。通信Ｉ／Ｆ部１３０は、通信回線を介して接続された各種装置との間でデータ通信を行う。例えば、画像処理装置１００は、通信Ｉ／Ｆ部１３０を介して接続された外部装置などから画像データを取得することが出来る。

記憶部１４０は、ハードディスクやメモリなどの記憶装置である。記憶部１４０は、演算処理部１５０における各種処理に必要な処理情報やプログラム１４３を記憶する。プログラム１４３は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現する。プログラム１４３は、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部１４０に保存されている。記憶部１４０で記憶される主な情報としては、例えば、画像情報１４１と処理後画像情報１４２とがある。

演算処理部１５０は、ＭＰＵなどのマイクロプロセッサとその周辺回路などを有する。演算処理部１５０は、記憶部１４０からプログラム１４３を読み込んで実行することにより、上記ハードウェアとプログラム１４３とを協働させて各種処理部を実現する。演算処理部１５０で実現される主な処理部として、例えば、画像データ取得部１５１と、検出部１５２と、第１処理部１５３と、第２処理部１５４と、出力部１５５と、がある。

以下、上述した各処理部、各情報について、より詳細に説明する。

画像データ取得部１５１は、通信Ｉ／Ｆ部１３０を介して接続された外部装置などから、画像データを取得する。また、画像データ取得部１５１は、取得した画像データを画像情報１４１として記憶部１４０に格納する。

検出部１５２は、画像情報１４１に含まれる画像データから人物の顔を検出する。また、検出部１５２は、画像データに人物の顔が含まれる場合、人物の顔領域、目領域、口領域を検出する。検出部１５２による人物の顔の検出は、既知の方法を用いて実現して構わない。

例えば、図２で示すような人物の顔が画像データに含まれるとする。すると、検出部１５２は、人物の顔を検出するとともに、図３で示すような人物の顔領域、目領域、口領域を検出する。

ここで、顔領域とは、人物の顔のうち、眉、下唇、左右の目のわきが入るように形成される矩形形状の領域のことをいう。図３で示すように、顔領域は顔の輪郭とは無関係に形成されており、例えば、額、耳、顎の少なくとも一部分が顔領域の外側に出ている。つまり、顔領域は、眉、下唇、左右の目が入るよう形成された顔の一部分を示す領域である。また、目領域とは、人物の顔のうち、眉と目が入るように形成される矩形形状の領域のことをいう。図３で示すように、目領域は、人物の左目と右目のそれぞれに対応するよう、例えば２つ検出される。また、口領域とは、人物の顔のうち、唇が入るように形成される矩形形状の領域のことをいう。図３で示すように、目領域や口領域は、顔領域の一部である。

第１処理部１５３は、所定の前処理を行った後、顔領域に対してぼかし処理を行う。

例えば、第１処理部１５３は、前処理として、目玉部分の置き換え処理を行う。具体的には、例えば、第１処理部１５３は、検出した顔の目玉部分を、当該目玉部分が隠れる程度の黒または灰色の円（例えば、楕円）に置き換える。

また、第１処理部１５３は、図４で示すように、顔領域全体に対するぼかし処理を行う。例えば、第１処理部１５３は、第１処理でのぼかし対象領域である顔領域を複数の四角いエリアに分割する。また、第１処理部１５３は、分割したエリア中の各点の色の平均を計算する。そして、第１処理部１５３は、計算した結果の色で計算したエリアを塗りつぶす。

第２処理部１５４は、第１処理部１５３による処理の後、顔領域の一部に対して、再度ぼかし処理を行う。そして、第２処理部１５４は、再度のぼかし処理を行った画像データを処理後画像情報１４２として記憶部１４０に格納する。

例えば、第２処理部１５４は、図５で示すように、顔領域の一部である目領域と口領域に対して、再度のぼかし処理を行う。つまり、第２処理部１５４は、第２処理でのぼかし対象領域である目領域や口領域を複数の四角いエリアに分割する。また、第２処理部１５４は、分割したエリア中の各点の色の平均を計算する。そして、第２処理部１５４は、計算した結果の色で計算したエリアを塗りつぶす。

例えば、以上のように、第２処理部１５４は、顔領域の一部に対して、多重ぼかし処理を行う。

なお、第１処理部１５３が顔領域を分割する四角いエリアの大きさと、第２処理部１５４が目領域や口領域を分割する四角いエリアの大きさとは、同じであっても構わないし、異なっていても構わない。

出力部１５５は、画像情報１４１に含まれる画像データや処理後画像情報１４２に含まれる画像データなどを出力する。例えば、出力部１５５は、画像情報１４１に含まれる画像データや処理後画像情報１４２に含まれる画像データを画面表示部１２０に表示させる。また、出力部１５５は、画像情報１４１に含まれる画像データや処理後画像情報１４２に含まれる画像データを、通信Ｉ／Ｆ部１３０などを介して外部装置へと送信することが出来る。

以上が、画像処理装置１００の構成の一例である。続いて、図６を参照して、画像処理装置１００の動作の一例について説明する。

図６は、画像処理装置１００の動作の一例を示すフローチャートである。図６を参照すると、検出部１５２は、画像情報１４１に含まれる画像データから人物の顔を検出する。また、検出部１５２は、画像データから人物の顔領域、目領域、口領域を検出する（ステップＳ１０１）。

第１処理部１５３は、前処理として、人物の顔のうちの目玉部分の置き換え処理を行う。例えば、第１処理部１５３は、検出した顔の目玉部分を、当該目玉部分が隠れる程度の黒または灰色の円（例えば、楕円）に置き換える（ステップＳ１０２）。

また、第１処理部１５３は、顔領域全体に対するぼかし処理を行う（ステップＳ１０３）。例えば、第１処理部１５３は、第１処理でのぼかし対象領域である顔領域を複数の四角いエリアに分割する。また、第１処理部１５３は、分割したエリア中の各点の色の平均を計算する。そして、第１処理部１５３は、計算した結果の色で計算したエリアを塗りつぶす。

第２処理部１５４は、第１処理部１５３による処理の後、顔領域の一部に対して、再度ぼかし処理を行う（ステップＳ１０４）。例えば、第２処理部１５４は、顔領域の一部である目領域と口領域に対して、再度のぼかし処理を行う。そして、第２処理部１５４は、再度のぼかし処理を行った画像データを処理後画像情報１４２として記憶部１４０に格納する。

なお、処理後画像情報１４２に含まれる画像データは、例えば、出力部１５５により、画面表示部１２０に表示したり、通信Ｉ／Ｆ部１３０を介して外部装置へと送信したりすることが出来る。

以上が、画像処理装置１００の動作の一例である。

このように、画像処理装置１００は、検出部１５２と、第１処理部１５３と、第２処理部１５４と、を有している。このような構成により、検出部１５２は、眉、唇、左右の目が入る、顔の一部を示す領域である顔領域などを検出することが出来る。また、第１処理部１５３や第２処理部１５４は、検出部１５２による検出の結果に基づいて、ぼかし処理を行うことが出来る。その結果、人物の顔の一部のみに対してぼかし処理を行うことが可能となり、画像処理後の画像をより自然なものとすることが出来る。

また、画像処理装置１００は、第１処理部１５３によるぼかし処理の後、第２処理部１５４によるぼかし処理を行うよう構成されている。このように多重にぼかし処理を行うことで、顔画像の検索エンジンなどを用いて顔の判定を行うことをより難しくしつつ、画像処理後の画像をより自然なものとすることが出来る。

なお、本実施形態においては、第２処理部１５４が顔領域の一部である目領域と口領域に対して、再度のぼかし処理を行うとした。しかしながら、第２処理部１５４は、例えば、口領域に対するぼかし処理を行わずに、目領域に対するぼかし処理のみを行うよう構成しても構わない。このように、第２処理部１５４は、必ずしも口領域に対するぼかし処理を行わなくても構わない。なお、第２処理部１５４が口領域に対するぼかし処理を行わない場合、検出部１５２は、口領域を検出しないように構成しても構わない。

また、本実施形態においては、第１処理部１５３が顔領域に対するぼかし処理を行い、第２処理部１５４が目領域や口領域に対するぼかし処理を行うとした。しかしながら、第１処理部１５３が目領域や口領域に対するぼかし処理を行い、第２処理部１５４が顔領域に対するぼかし処理を行うよう構成しても構わない。換言すると、画像処理装置１００は、目領域や口領域に対するぼかし処理を行った後に、顔領域に対するぼかし処理を行うよう構成しても構わない。本実施形態において説明した顔領域の後に目領域や口領域のぼかし処理を行う方法の方が目領域や口領域の後に顔領域のぼかし処理を行う方法よりも、よりプライバシーの保護を実現しつつ、処理後の画像を自然なものとすることが出来る。しかしながら、目領域や口領域の後に顔領域のぼかし処理を行う方法であっても十分に本発明の課題を解決することが出来る。

また、第１処理部１５３や第２処理部１５４は、本実施形態において説明した方法以外の方法を用いて、ぼかし処理を行うよう構成しても構わない。例えば、第１処理部１５３や第２処理部１５４は、対象エリアの周辺の色情報なども用いてぼかし処理を行うよう構成しても構わない。

［第２の実施形態］
次に、図７を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、画像処理装置２０の構成の概要について説明する。

図７は、画像処理装置２０の構成の一例を示している。図７を参照すると、画像処理装置２０は、例えば、検出部２１と処理部２２とを有している。例えば、画像処理装置２０は、ＣＰＵなどの演算装置と記憶装置とを有している。例えば、画像処理装置２０は、記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。

検出部２１は、画像データから人物の顔の一部分を示す顔領域を検出する。例えば、画像処理装置２０は、外部装置などから画像データを取得する。検出部２１は、外部装置などから取得した画像データから人物の顔の一部分を示す顔領域を検出する。

処理部２２は、検出部２１が検出した顔領域内に複数のぼかし処理を行う。

このように、画像処理装置２０は、検出部２１と処理部２２とを有している。このような構成により、処理部２２は、検出部２１が検出した、顔の一部分を示す顔領域内に複数のぼかし処理を行うことが出来る。その結果、人物の顔の一部のみに対してぼかし処理を行うことが可能となり、画像処理後の画像をより自然なものとすることが出来る。また、複数のぼかし処理を行うことにより、より確実にプライバシーの保護を行うことが可能となる。これにより、プライバシーの保護を実現しつつ、処理後の画像を自然なものとすることが出来る。

また、上述した画像処理装置２０は、当該画像処理装置２０に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、画像処理装置２０に、画像データから人物の顔の一部分を示す顔領域を検出する検出部２１と、検出部２１が検出した顔領域内に複数のぼかし処理を行う処理部２２と、を実現するためのプログラムである。

また、上述した画像処理装置２０により実行される画像処理方法は、画像処理装置が、画像データから人物の顔の一部分を示す顔領域を検出し、検出した顔領域内に複数のぼかし処理を行う、という方法である。

上述した構成を有する、プログラム、又は、画像処理方法、の発明であっても、上述した画像処理装置２０と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
画像処理装置が、
画像データから人物の顔の一部分を示す顔領域を検出し、
検出した前記顔領域内に複数のぼかし処理を行う
画像処理方法。
（付記２）
付記１に記載の画像処理方法であって、
検出した前記顔領域内に範囲の異なる複数のぼかし処理を行う
画像処理方法。
（付記３）
付記１または付記２に記載の画像処理方法であって、
検出した前記顔領域全体に対するぼかし処理を行うとともに、検出した前記顔領域の一部に対するぼかし処理をおこなう
画像処理方法。
（付記４）
付記１から付記３までのいずれか１項に記載の画像処理方法であって、
画像データから、眉、唇、左右の目が入るよう形成された前記顔領域を検出するとともに、眉と目が入るように形成された目領域を検出し、
検出した前記顔領域全体に対するぼかし処理を行うとともに、前記目領域に対するぼかし処理を行う
画像処理方法。
（付記５）
付記４に記載の画像処理方法であって、
前記顔領域全体に対するぼかし処理を行った後に、前記目領域に対するぼかし処理を行う
画像処理方法。
（付記６）
付記４または付記５に記載の画像処理方法であって、
画像データから、前記目領域を検出するとともに、唇が入るように形成された口領域を検出し、
検出した前記顔領域全体に対するぼかし処理を行うとともに、前記目領域と前記口領域に対するぼかし処理を行う
画像処理方法。
（付記７）
付記１から付記６までのいずれか１項に記載の画像処理方法であって、
所定の前処理を行った後に、検出した前記顔領域内に複数のぼかし処理を行う
画像処理方法。
（付記８）
付記７に記載の画像処理方法であって、
前記前処理として、検出した顔の目玉部分を、当該目玉部分が隠れる黒または灰色の円に置き換える処理を行う
画像処理方法。
（付記９）
画像データから人物の顔の一部分を示す顔領域を検出する検出部と、
前記検出部が検出した前記顔領域内に複数のぼかし処理を行う処理部と、
を有する
画像処理装置。
（付記１０）
画像処理装置に、
画像データから人物の顔の一部分を示す顔領域を検出する検出部と、
前記検出部が検出した前記顔領域内に複数のぼかし処理を行う処理部と、
を実現するためのプログラム。

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。

１００画像処理装置
１１０操作入力部
１２０画面表示部
１３０通信Ｉ／Ｆ部
１４０記憶部
１４１画像情報
１４２処理後画像情報
１４３プログラム
１５０演算処理部
１５１画像データ取得部
１５２検出部
１５３第１処理部
１５４第２処理部
１５５出力部
２０画像処理装置
２１検出部
２２処理部

Claims

画像処理装置が、
画像データから人物の顔の一部分を示す顔領域を検出し、
検出した前記顔領域内に複数のぼかし処理を行い、
顔領域を検出する際、画像データから、眉、唇、左右の目が入るよう形成された前記顔領域を検出するとともに、眉と目が入るように形成された目領域を検出し、
ぼかし処理を行う際、検出した前記顔領域全体に対するぼかし処理を行うとともに、前記目領域に対するぼかし処理を行い、
ぼかし処理を行う際、前記顔領域全体に対するぼかし処理を行った後に、前記目領域に対するぼかし処理を行う
画像処理方法。
請求項１に記載の画像処理方法であって、
画像データから、前記目領域を検出するとともに、唇が入るように形成された口領域を検出し、
検出した前記顔領域全体に対するぼかし処理を行うとともに、前記目領域と前記口領域に対するぼかし処理を行う
画像処理方法。
請求項１に記載の画像処理方法であって、
所定の前処理を行った後に、検出した前記顔領域内に複数のぼかし処理を行う
画像処理方法。
請求項３に記載の画像処理方法であって、
前記前処理として、検出した顔の目玉部分を、当該目玉部分が隠れる黒または灰色の円に置き換える処理を行う
画像処理方法。
画像データから人物の顔の一部分を示す顔領域を検出する検出部と、
前記検出部が検出した前記顔領域内に複数のぼかし処理を行う処理部と、
を有し、
前記検出部は、画像データから、眉、唇、左右の目が入るよう形成された前記顔領域を検出するとともに、眉と目が入るように形成された目領域を検出し、
前記処理部は、検出した前記顔領域全体に対するぼかし処理を行うとともに、前記目領域に対するぼかし処理を行い、
前記処理部は、前記顔領域全体に対するぼかし処理を行った後に、前記目領域に対するぼかし処理を行う
画像処理装置。
画像処理装置に、
画像データから人物の顔の一部分を示す顔領域を検出する検出部と、
前記検出部が検出した前記顔領域内に複数のぼかし処理を行う処理部と、
を実現させ、
前記検出部は、画像データから、眉、唇、左右の目が入るよう形成された前記顔領域を検出するとともに、眉と目が入るように形成された目領域を検出し、
前記処理部は、検出した前記顔領域全体に対するぼかし処理を行うとともに、前記目領域に対するぼかし処理を行い、
前記処理部は、前記顔領域全体に対するぼかし処理を行った後に、前記目領域に対するぼかし処理を行う
プログラム。