JP4250300B2 - 望ましくない電子メッセージの送信または受信を妨害するためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
望ましくない電子メッセージの送信または受信を妨害するためのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4250300B2 JP4250300B2 JP2000105418A JP2000105418A JP4250300B2 JP 4250300 B2 JP4250300 B2 JP 4250300B2 JP 2000105418 A JP2000105418 A JP 2000105418A JP 2000105418 A JP2000105418 A JP 2000105418A JP 4250300 B2 JP4250300 B2 JP 4250300B2
- Authority
- JP
- Japan
- Prior art keywords
- message
- signature
- user
- match
- electronic message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/212—Monitoring or handling of messages using filtering or selective blocking
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に電子メールおよびその他のタイプの電子メッセージの送信および受信が可能なディジタル・データ・プロセッサおよび相互通信するディジタル・データ・プロセッサのネットワークに関する。特に、本発明は、「スパム」（spam）とも呼ばれる非送信請求商用Ｅメール（ＵＣＥ）など、望ましくない非送信請求電子メールを自動的に検出し処理するためのシステムおよび方法に関する。
【０００２】
【従来の技術】
毎日、無数のインターネット・ユーザは、通常、電子メール（Ｅメール）の形でありがたくない電子メッセージを受信する。このようなメッセージの最もありふれた例は、一般に「スパム」と呼ばれる非送信請求商用Ｅメール（ＵＣＥ）である。ＵＣＥは、通常、特定の商品、サービス、またはウェブ・サイトを奨励するものであり、数千人または数百万人もの個人に無差別に送信され、その大多数はＵＣＥが迷惑なものまたは不快なものと認識している。ＵＣＥは、重大な問題として広く認められている。ＵＣＥに関する記事はほとんど毎日のようにＣＮＥＴなどの技術ニュース・サービスに登場する。Ｅメール・ユーザがＵＣＥに曝される機会を低減するために、いくつかの市販用製品およびシェアウェア製品が作成された。少なくとも１社の新設企業であるBright Light Technologiesは、ＵＣＥを検出してフィルタリングで除去するための技術を生産して販売するという唯一の目的のために設立された。法律による制限はいくつかの州で企図されており、実際に複数の州で最近実施された。
【０００３】
その他の形式の望ましくないＥメールとしては、うわさ、でっちあげ、チェーン・レターなどがある。このような形式のＥメールのそれぞれは、複数ユーザからなるネットワーク内で非常に素早く増殖する可能性がある。うわさは、ユーザ全体に非常に勢いよく広まる可能性があり、その結果、時間の浪費や不必要な懸念を引き起こす可能性がある。でっちあげのコンピュータ・ウィルスとして最も上出来なものは、コンピュータ・ウィルスそのものに匹敵するほど長続きし、相当なパニックを引き起こす恐れがある。最後に、チェーン・レターの流布は、企業の方針または連邦法によって禁止するのに十分なほど重大な現象である。
【０００４】
幾分異なるクラスのＥメールは機密Ｅメールであり、その送信または受信は望ましくない場合が多い。機密Ｅメールは、選択されたグループ外の人には転送されないようになっている。したがって、これらのメッセージの配布を制御することに関する懸念が発生する。
【０００５】
ＵＣＥおよび電子的に伝えられるうわさ、でっちあげ、チェーン・レターに共通の特徴は、問題のメッセージの内容（およびその送信）が（単に面白くないどころか）望ましくないものであるという合意が広まりそうなことである。これは、このようなメッセージが電子的形式になっているということとともに、このＥメールを自動的に検出し、無害なものにしようと試みる様々な技術を企図することを可能にするものである。
【０００６】
現在までのところ、ＵＣＥは、このような努力の排他的な焦点になっていた。既存のＵＣＥソリューションはいくつかの異なる形を取る。その一部は、既存のＥメール・パッケージ（たとえば、Eudoraメール・システムとともに機能するよう設計されたMailJail）またはＥメール・プロトコル（たとえば、Windows 95、Windows 98、またはWindows NTプラットフォーム上でＰＯＰ３プロトコルをサポートするいずれかのＥメール・パッケージのために機能するSpam Exterminator）とともに機能するよう設計されたソフトウェア・パッケージである。その他のソリューションは、広く使用されるメール・プロトコル（たとえば、指定のサイトからあるいは明示的に許されているもの以外のサイトからのメール・リレーをブロックするための機構を提供するSendMailメール転送プロトコルの最近のアップグレードであるSendMail v.8.8）に統合されている。もう１つのタイプのソリューションは、Ｅメール・フィルタリング・サービス、たとえば、junkproof.comによって提供されるサービスであり、これはＵＣＥを送信したユーザに罰金を科すものである。Bright Light Technologiesでは、ソフトウェア製品とサービスを併用するよう提案している。
【０００７】
どのようにパッケージ化可能であっても、これらのソリューションの大部分は、認識と応答という２つの主なステップから構成される。認識ステップでは、所与のＥメール・メッセージを検査して、それがスパムになりそうかどうかを判定する。認識ステップ中にそのメッセージがスパムになりそうであると見なした場合、何らかの応答を行う。典型的な応答としては、そのメッセージを自動的に削除すること、それがスパムである可能性があることにユーザの注意をひくようそれにラベルまたはフラグを付けること、優先順位がより低いメール・フォルダにそれを入れることなどがあり、おそらく、カストマイズ可能なメッセージを送信側に返送することと結合される。
【０００８】
主な技術的難題は認識ステップにある。最も重要な難題のうちの２つは、偽陽性（合法的メールを偽ってスパムとして告発すること）および偽陰性（スパムをそれとして識別し損なうこと）の率をできるだけ低く維持することを含む。多種多様な市販用アプリケーションおよびフリーウェア・アプリケーションでは、一般的な問題に対処するため、以下の基本的なスパム検出戦略に基づく組合せまたは変形あるいはその両方を使用する。
【０００９】
ドメインベースの検出
スパムを送信する人（「スパマー」（spammers））は、そこからスパムを送信するための特別なインターネット・アドレス・ドメインをセットアップする場合が多い。一般的な反スパム・ソリューションの１つは、「スパム」ドメインのブラックリストを維持し、このようなドメインから発信されたメールを拒否するか、送達しないか、または送信側に返すことである。スパムが新しい「スパム」ドメインから流出し始めると、そのドメインをブラックリストに追加することができる。
【００１０】
たとえば、xmission.comでは、指定のサイトからのメールを送信側に返送するようにsendmail.cfの規則を変更した。そのテキスト・ファイル（http://spam.abuse.net/spam/tools/dropbad.txt）は、moneyworld.com、cyberpromo.com、bulk-e-mail.com、bigprofits.comなどを含む、スパマーによる使用のためにのみセットアップされたことが分かっているいくつかのドメインをリストしている。http://www.webeasy.com:8080/spam_download_tableには、１０００箇所以上のサイトがこのようにブラックリスト化されている。SendMailの最近のバージョン（バージョン８．８以降）はこのようなリストの使用を容易にするよう変更されており、これはスパムとの戦いにおいて重要な進展と見なされている。
【００１１】
しかし、無差別に使用されると、この手法の結果、偽陽性率および偽陰性率が高くなる可能性がある。たとえば、スパマーがaol.comドメインからスパムを送信する場合、aol.comはブラックリストに追加することもできる。その結果、このドメインから合法的にメールを送信する無数の個人はそのメールがブロックされる恐れがある。言い換えれば、偽陽性率は容認できないほど高くなる恐れがある。これに反して、スパマーは禁止ドメインから新たに作成した非禁止ドメインまたは多くの合法的ユーザが使用するドメインへ素早く切り替えることができ、したがって、多くの偽陰性が発生する。
【００１２】
ヘッダベースの検出
スパムの顕著な特徴は、極めて多数の受信側に送信されることである。これを示す表示であり、あるメッセージがスパムになりそうであるという証拠と見なすことができるものがメール・メッセージのヘッダ内に存在する場合が多い。たとえば、長い受信側のリストは通常、集合名のより小さいセットに送信することによって処理されるので、そのユーザの明示的なＥメール・アドレスはTo:フィールドに現れない。
【００１３】
Ross Rader of Internet Direct（Idirect）は、Eudora Light、Microsoft Mail、Pegasusを含む、普及している多様なＥメール・プログラムのためにスパムのこの特徴に基づいて単純な規則をセットアップするための説明書を発表した。メール・メッセージ・ヘッダがその規則と一致する場合、そのメールはユーザの受信箱から自動的に除去され、特別なフォルダ内に置かれるが、そのフォルダではそれを後で調べるかまたは検査なしで容易に削除することができる。
【００１４】
しかし、この方法のユーザがこれらの検出規則の個別設定に多くの努力を注がない限り、偽陽性率が非常に高くなる可能性があり、したがって、合法的Ｅメールの大部分はスパムと分類されることになる。
【００１５】
テキストベースのキーワード検出
スパムは、通常、製品を販売し、ポルノのウェブ・サイトを訪れることを唱え、ネズミ講式販売またはその他の金銭的詐欺への賛助を得ようと積極的に試みるという点で普通のＥメールとは区別される。したがって、「MAKE MONEY FAST」というテキスト・フラグメントを含む１通のメールは、「During my meeting with you last Tuesday」で始まるメールよりスパムである可能性が高い。
【００１６】
一部の反スパム方法は、各Ｅメールの本文を走査して、スパムには見られるが他のＥメールには見られない傾向のあるキーワードまたはキーフレーズを検出する。キーワード・リストおよびキーフレーズ・リストはカストマイズ可能である。この方法は、上記のドメインベース検出技法およびヘッダベース検出技法と併用される場合が多い。この技法の例としては、procmail、Spam Exterminator、SPAM Attack Pro!とともに機能するjunkfilter（http://www.pobox.com/gsutter/junkmail）がある。
【００１７】
この場合も、普通のＥメール・メッセージが禁止キーワードまたはキーフレーズを含むときに偽陽性が発生する可能性がある。この手法は、偽陰性も被りがちである。というのは、禁止キーフレーズのリストは、スパムの新しいインスタンスの到来に遅れないようにするために、毎日数回更新しなければならない恐れがあり、これは反スパム・ベンダにとって技術的に難しいと同時にユーザにとっても不快であるからである。
【００１８】
テキストベースのマシン分類
Spam Be Gone!はEudoraとともに機能するフリーウェア製品である。これは、スパムおよび非スパムＥメールの例を記録し、それぞれのインスタンスに対する各着信Ｅメールの類似性を測定し、スパムまたは非スパムとしてのＥメールの分類に達するようその類似性のスコアを結合するインスタンスベースの分類プログラムである。この分類プログラムは、各個別ユーザごとに自動的にトレーニングされる。ユーザが分類プログラムを開発するには、通常、数週間から数カ月はかかる。
【００１９】
十分な量のトレーニングの後、この手法の偽陽性率および偽陰性率は他の技法より低くなると言われている。ある事例（http://www.internz.com/SpamBeGone/stats.html）では、複数のユーザに関する平均が提供されないので、これがパフォーマンスに関する上限になると想定することができるが、偽陰性率は１ないし２カ月間のトレーニング後に１０分の数パーセントより低くなり、偽陽性率は１カ月後に２０％で、２カ月後に５％であった。したがって、最良の場合でも、スパムとしてラベルが付けられた２０のメッセージのうちの１つは実際には合法的なものになる。これは、反スパム・ソフトウェアが自動的にメールを削除するかまたはそれを送信側に返すなどの強い態度で応答する場合には特に容認できないものになる可能性もある。
【００２０】
上記のＵＣＥ検出方法はいずれも、スパムにとって総称的であるが普通の非スパムＥメールではあまり一般的ではない機能を使用するという意味で「総称的」なものである。これは、通常、ホスト・プログラムを走査して特定のウィルスを示す特別な「シグニチャ」バイト・パターンがあるかどうかを確認することにより特定の既知のコンピュータ・ウィルスを検出するためにウィルス対策プログラムによって一般に使用される「特定の」検出技法とは対照的なものである。総称認識技法は、以前は未知であった新しいスパムを捕らえることができるので、魅力的なものである。しかし、上記で示したように、その欠点は、容認できないほど高い偽陽性率を生じ、場合によっては容認できないほど高い偽陰性率も生じる傾向があることである。特定の検出技法は、通常、より小さい偽陽性率および偽陰性率を有するが、総称技法を実行するより頻繁な更新が必要になる。
【００２１】
総称検出技法は、うわさ、でっちあげ、チェーン・レターまたは機密Ｅメールなど、他のタイプの望ましくないＥメールを認識する際にあまり役に立ちそうもない。送信側のドメインまたはメール・ヘッダのその他の態様に基づく認識は、まったく機能しそうもない。メッセージ本文内に存在するキーワードまたはキーフレーズを基礎とするでっちあげおよびチェーン・レターの総称認識は可能であるかもしれないが、内容の範囲がより広くなりそうなので、スパムの場合より難しくなりそうである。また、テキストを基礎とする機密Ｅメールの総称認識はほとんど確実に不可能である。というのは、どのようなマシン・アルゴリズムでも認識可能なやり方で機密テキストと非機密テキストを区別するものが何もないからである。
【００２２】
Bright Light Technologiesは他の反スパム製品／サービスを奨励している。Bright Lightでは、インターネット全体で複数のＥメール・アドレス（または「プローブ」）を使用しているが、これは合法的宛先ではないので、理論上は望ましくないメッセージのみを受信するものである。受信したメッセージは、２４時間体制のオペレーション・センタに配置されたオペレータによって読まれる。これらのオペレータは、メッセージを評価し、ユーザ・グループに対応するメール・サーバ内のスパムブロック機能を制御する規則を更新する。
【００２３】
ＵＣＥ検出および応答のこの方法は、総称検出ではなく特定の検出を使用するので、本質的には偽陽性および偽陰性に対してあまり脆弱ではないが、いくつかの欠点がある。そのうちの多くは、サービスを維持するために必要な大量の手動労力に由来するものである。Bright Lightのオペレーション・センタは、スパムがあるかどうかＥメールのストリームをモニタし、スパムの特定の事例を示す適切なインジケータと思われるキーワードおよびキーフレーズを手動で抽出し、これらのキーワードまたはキーフレーズをデータベースに記憶する専門家を使用しなければならない。いずれかの企業がこのような１組の専門家を独力でサポートすることはほとんど法外に高くなりそうなので、このようにして自社を保護することを希望する企業は、Bright Lightのオペレーション・センタによる連続し途切れないサービスに完全に依存することになると思われる。少なくとも一部の企業は、外部組織からより自由であることと、単一組織によって達成されそうなもの以上のカストマイズを見込んでいるソリューションを選ぶかもしれない。この問題の最重要点は、Bright Lightの方法では互いに独立しているべき２つのタスク、すなわち、望ましくないものとしてメッセージにラベルを付けることと、望ましくないメッセージからシグニチャを抽出することが結合されることである。手動入力の要件を望ましくないメッセージにラベルを付ける際の要件に削減することが可能である場合、これにより、望ましくないメッセージの協調的決定のローカライズが可能になると思われる。さらに、Bright Lightは、キーワードまたはフレーズに基づいて可能な一致を特定のメッセージ全体（またはその大部分）への正確な一致または近似の一致によってより厳重にテストすることができるような補助データを専門家が抽出する際のプロセスについて説明していない。したがって、その特定のソリューションは、個別ユーザがメッセージ一致に関するより厳重な条件を指定する機会を持つと思われるものより偽陽性に対してより脆弱になりそうである。
【００２４】
もう１つの欠点は、でっちあげ、チェーン・レター、不適当に転送された機密メッセージを含むより広範囲のクラスの望ましくないメッセージとは対照的に、Bright Lightのソリューションは特にＵＣＥに向けられていることである。ひとまとめにして考えると、プローブ・アカウントはすべてのＵＣＥのうちの妥当な断片を受信することができるが、それがチェーン・レターおよびうわさを引き寄せることは不明である。
【００２５】
【発明が解決しようとする課題】
したがって、本発明の一目的は、非常に低い偽陽性率および偽陰性率で、すべてのタイプの望ましくないメールのインスタンスを検出し処理するための自動的かつ非総称的な手順を提供することにある。
【００２６】
本発明の他の目的は、スタッフ配置を伴わず、むしろ積極的にＵＣＥを識別するためにユーザ自身を利用する安価なソリューションを提供することにある。
【００２７】
本発明のさらに他の目的は、機密Ｅメール・メッセージの望ましくない送信または受信あるいはその両方を防止するためのシステムおよび方法を提供することにある。
【００２８】
【課題を解決するための手段】
本発明は、低い偽陰性率および非常に低い偽陽性率でＵＣＥおよび他の形式の望ましくないＥメールを正確に検出し処理するための自動手順を提供する。既存の総称検出方法とは対照的に、本発明は、特定の検出技法を使用して望ましくないメッセージを認識する。言い換えれば、本発明のシステムは、望ましくないメッセージの特定のインスタンスに対するその正確な一致または接近した一致を基礎として望ましくないメッセージを効率よく検出する。Bright Lightによって使用される特定の技法とは対照的に、特定の望ましくないメッセージを識別するために使用する文字ストリングは完全に自動的に導出され、エンド・ユーザが様々なレベルの応答を開始するのに必要な一致度を調整できるようにする補助データで補足される。もう１つの対照的な点は、シグニチャ・データの自動導出によりフレキシビリティが増すことである。というのは、必要な唯一の手動入力は望ましくないものとして特定のメッセージにラベルを付けることであるからである。このため、普通のユーザは、望ましくないメッセージを定義するために協調的に機能することができ、専門家が手動でラベルを付け、望ましくないメッセージからシグニチャを抽出しなければならない外部の集中オペレーション・センタに対する依存状態から解放される。これにより、でっちあげおよびチェーン・レターの権威は、まったく異なる種類の専門知識を必要とする恐れがある、シグニチャの抽出という負担をさらに課すことなしに、それを含むメッセージを識別することができる。もう１つの対照的な点は、抽出したシグニチャ・データによりユーザが、シグニチャの一致からメッセージ全体の一語一句の一致に至る、所与のレベルの一致を構成するものについて独立したフレキシブルな定義を定義できることである。
【００２９】
本発明の方法は、第１の（「アラート」）ユーザが望ましくないメールの所与のインスタンスを受信したときに、そのメッセージに望ましくないものとしてラベルを付けることと、そのメッセージに関するシグニチャを抽出することと、シグニチャ・データベースにそのシグニチャを追加することと、第２の（できる限り同じものを含む）ユーザのメッセージを定期的に走査してデータベース内のシグニチャが存在するかどうかを確認することと、第２のユーザのメッセージのうち、シグニチャを含むものを望ましくないものとして識別することと、このようにラベルが付けられたメッセージに対して適切に応答することとを含む。
【００３０】
具体的には、複数ユーザからなるネットワーク内で望ましくない電子メッセージの送信または受信を妨害する方法は、少なくとも１つの特定の電子メッセージが望ましくないものであることを判定するステップと、少なくとも１つの特定の電子メッセージまたはその変形の検出を可能にする検出データを自動的に抽出するステップと、少なくとも１人のユーザからの１つまたは複数のインバウンド・メッセージまたはアウトバウンド・メッセージあるいはその両方を走査して少なくとも１つの特定の電子メッセージまたはその変形が存在するかどうかを確認するステップと、走査ステップに応答して適切なアクションを実行するステップとを含む。好ましいことに、この方法は、抽出した検出データを記憶するステップをさらに含む。
【００３１】
好ましいことに、判定ステップは、少なくとも１つの特定の電子メッセージの増殖が望ましくないという通知を受信するステップを含む。この受信ステップは、好ましいことに、少なくとも１つの特定の電子メッセージを望ましくないものまたは機密のものとして識別する信号をアラート・ユーザから受信するステップを含む。少なくとも１つの特定の電子メッセージはアラート・ユーザの受信箱に受信することができる。この受信ステップは、好ましいことに、特定の電子メッセージに望ましくないものとしてのフラグを付けるべきであることを示すための識別子をアラート・ユーザに提供するステップを含む。この提供ステップが電子メッセージが望ましくないものであるという識別を援助するために総称検出器を提供するステップを含むことは、好ましいことである。
【００３２】
本発明の抽出ステップは、好ましいことに、少なくとも１つの特定の電子メッセージからシグニチャ情報を抽出するステップを含む。記憶ステップは、好ましいことに、走査ステップに応答して、少なくとも１つの特定の電子メッセージに関する情報をシグニチャ情報に追加するステップを含む。このシグニチャ情報は、好ましいことに、少なくとも１つの特定の電子メッセージからのシグニチャを含む。記憶ステップは、そのシグニチャを少なくとも１つのシグニチャ・データベースに記憶するステップを含むことができる。このシグニチャ・データベースは、好ましいことに、複数のシグニチャ・クラスタを含み、各クラスタは実質的に類似した電子メッセージに対応するデータを含む。シグニチャ・クラスタのそれぞれは、好ましいことに、走査情報を有する文字シーケンス・コンポーネントと、特定のシグニチャ変形に関する識別情報を有する原型コンポーネントとを含む。走査情報は、好ましいことに、特定の電子メッセージに関するサーチ文字シーケンスと、そのクラスタ内に表されるすべての電子メッセージに関する拡張文字シーケンス情報とを含み、識別情報は、特定のシグニチャ変形に関連する電子メッセージのフル・テキスト記憶コピーを指すポインタと、電子メッセージのハッシュブロックと、電子メッセージのコピーが受信され、その増殖が望ましくないものとしてアラート・ユーザによって報告された特定のインスタンスに対応するアラート・データとを含む。
【００３３】
本発明の抽出ステップおよび走査ステップは、複数ユーザからなるネットワークの全域で同時かつ非同期に行うことができる。
【００３４】
本発明の方法は、走査ステップの前に、少なくとも１つの特定の電子メッセージが望ましくないものであることを確認するステップをさらに含むことができる。この確認ステップは、好ましいことに、総称検出技法により少なくとも１つの特定の電子メッセージが望ましくないものであることを確認するステップを含む。この確認ステップは、少なくとも１つの特定の電子メッセージが望ましくないものであることを所定の限界数のユーザが通知することを必要とするステップを含む。
【００３５】
抽出ステップは、好ましいことに、特定の電子メッセージを走査して少なくとも１つのシグニチャ・データベース内のシグニチャがあるかどうかを確認するステップと、走査ステップで一致シグニチャを検出したことに応答して、その一致シグニチャを一致クラスタ内の各メッセージ変形と比較するステップとを含む。この比較ステップは、好ましいことに、特定の電子メッセージに関するハッシュブロックを計算するステップと、計算したハッシュブロックを各原型コンポーネントの識別情報内の変形ハッシュブロックと比較するステップとを含む。本発明の方法が、正確な変形ハッシュブロック一致が検出された場合に、そのポインタを使用して変形一致のフル・テキスト記憶コピーを検索するステップと、変形一致のフル・テキスト記憶コピーと特定の電子メッセージのフル・テキストがその特定の電子メッセージを変形のインスタンスと見なすのに十分なほど類似していると見なされた場合に、特定の電子メッセージからアラート・データを抽出し、それを変形一致に関するアラート・データに追加するステップと、正確な変形ハッシュブロック一致が検出されないかまたは特定の電子メッセージのフル・テキストがそのデータベース内の変形のいずれかと十分に類似していないと判断された場合に、その特定の電子メッセージがいずれかの既存のクラスタと十分に類似しているかどうかを判定するステップと、その特定の電子メッセージがある既存のクラスタと十分に類似している場合に、特定の電子メッセージに関連する新しい識別情報を計算するステップと、その特定の電子メッセージが既存のクラスタと十分に類似していると判定されない場合に、その特定の電子メッセージに関する新しいクラスタを作成するステップとをさらに含むことは、好ましいことである。判定ステップは、好ましいことに、各クラスタの拡張文字シーケンス情報に示されたその特定の電子メッセージの領域のチェックサムを計算するステップと、計算したチェックサムを各クラスタの拡張文字シーケンス情報内の記憶チェックサムと比較するステップとを含む。この方法は、好ましいことに、シグニチャ一致がまったく検出されない場合に、その特定の電子メッセージに関する新しいクラスタを作成するステップをさらに含む。拡張文字シーケンス情報は、好ましいことに、開始オフセット・フィールドと、領域長フィールドと、ＣＲＣフィールドとを含み、この方法は、各クラスタごとに、最長領域長を有する一致領域を決定するステップと、すべてのクラスタのうちで最長領域長が少なくとも指定の限界長と等しい場合に、最長領域長クラスタを特定の電子メッセージ原型が追加される原型クラスタとして識別するステップとをさらに含む。最後に、本発明の方法は、好ましいことに、識別したクラスタの走査情報を再計算するステップを含む。アラート・データは、好ましいことに、コピーが本来受信された時刻を有する受信時刻フィールドを含み、この方法は、各シグニチャ・クラスタのすべての変形の受信時刻フィールドを現在時と定期的に比較するステップと、受信時刻フィールドのいずれも所定の日時より最近のものではないシグニチャ・クラスタを除去するステップとをさらに含む。
【００３６】
走査ステップは、好ましいことに、メッセージ本文を抽出するステップと、メッセージ本文を不変形式に変換するステップと、不変形式を走査して検出データに対する正確な一致または接近した一致があるかどうかを確認するステップと、各一致ごとに一致のレベルを決定するステップとを含む。
【００３７】
実行ステップは、好ましいことに、少なくとも１つの特定の電子メッセージまたはその変形の存在を発見したときに適切なアクションを実行するステップを含む。その実行ステップは、少なくとも１つの特定の電子メッセージまたはその変形に望ましくないものまたは機密のものとしてのラベルを付けるステップを含むことができる。また、この実行ステップは、少なくとも１つの特定の電子メッセージまたはその変形を除去するステップも含む。
【００３８】
実行ステップは、好ましいことに、１つまたは複数のユーザ・プリファレンスに応答して、決定した一致のレベルごとに適切なアクションを実行するステップを含み、その決定ステップは、好ましいことに、各一致ごとに最長領域一致を検出するステップと、走査したメッセージのハッシュブロックと抽出した検出データのそれぞれのハッシュブロックの間のハッシュブロックの類似性を計算するステップと、１つまたは複数のユーザ・プリファレンスを受信するステップと、検出ステップ、計算ステップ、および受信ステップに応答して、一致のレベルを決定するステップとを含む。
【００３９】
本発明は、複数ユーザからなるネットワーク内で望ましくない電子メッセージの送信または受信を妨害するための方法ステップを実行するためにマシンによって実行可能な命令からなるプログラムを具体的に実施する、マシンによって読取り可能なプログラム記憶装置も含み、その方法は、少なくとも１つの特定の電子メッセージが望ましくないものであることを判定するステップと、少なくとも１つの特定の電子メッセージまたはその変形の検出を可能にする検出データを自動的に抽出するステップと、少なくとも１人のユーザからの１つまたは複数のインバウンド・メッセージまたはアウトバウンド・メッセージあるいはその両方を走査して少なくとも１つの特定の電子メッセージまたはその変形が存在するかどうかを確認するステップと、走査ステップに応答して適切なアクションを実行するステップとを含む。
【００４０】
最後に、本発明は、複数ユーザからなるネットワーク内で望ましくない電子メッセージの送信または受信を妨害するためのシステムであって、少なくとも１つの特定の電子メッセージが望ましくないものであることを判定する手段と、少なくとも１つの特定の電子メッセージまたはその変形の検出を可能にする検出データを自動的に抽出する手段と、少なくとも１人のユーザからの１つまたは複数のインバウンド・メッセージまたはアウトバウンド・メッセージあるいはその両方を走査して少なくとも１つの特定の電子メッセージまたはその変形が存在するかどうかを確認する手段と、走査手段に応答して適切なアクションを実行する手段とを含むシステムも含む。その他の点では、このシステムの好ましい実施の形態は本発明の方法の好ましい実施の形態と一致する。
【００４１】
【発明の実施の形態】
図１は、本発明の教示を実施するために適当なシステム１０のブロック図である。バス１２は、中央演算処理装置（ＣＰＵ）１４と複数の他のシステム・バス・ユニットの間でアドレス、データ、制御を搬送するための複数の信号線からなる。ランダム・アクセス・メモリ（ＲＡＭ）１６は、システム・バス１２に結合され、プログラム命令記憶域および作業メモリをＣＰＵ１４に提供する。シグニチャ抽出モジュールおよび走査／フィルタ・モジュール１５は、その方法については以下に説明するが、ＣＰＵ１４あるいは別々のＣＰＵ上で動作することができる。端末制御サブシステム１８は、システム・バス１２に結合され、ディスプレイ装置２０、通常はＣＲＴまたはＬＣＤモニタに出力を供給し、キーボードまたはポインティング・デバイスなどの手動入力装置２２からの入力を受け取る。ハード・ディスク制御サブシステム２４は、回転固定ディスクまたはハード・ディスク２６をシステム・バス１２に両方向に結合する。制御装置２４およびハード・ディスク２６は、ＣＰＵ命令およびデータのための大容量記憶域を提供する。フロッピー・ディスク・ドライブ３０とともに、フロッピー・ディスケット３０ａからシステム・メモリへのコンピュータ・ファイルの転送の際に入力手段として有用なフロッピー・ディスク制御サブシステム２８は、フロッピー・ドライブ３０をシステム・バス１２に両方向に結合する。最後に、通信サブシステム３２は、システム・バス１２に結合され、インターネットなどのネットワークへのリンクを提供する。
【００４２】
図１に示す構成要素は、パーソナル・コンピュータ、ポータブル・コンピュータ、ワークステーション、ミニコンピュータ、またはスーパーコンピュータ内で実施することができる。このため、バス１２の構造またはそのバスに結合されるＣＰＵ１４の数など、データ処理システム１０の物理的な実施の形態の詳細は、本発明の動作にとって重大なものではなく、以下ではこれ以上詳細には説明しない。
【００４３】
大まかに言えば、本発明の方法は２つの段階を含む。第１に、シグニチャ抽出段階では、現在、システムによってそれとして認識されていないような望ましくない（または機密の）メッセージは、おそらく自動手順によって援助される第１のアラート・ユーザによって望ましくない（または機密の）ものとしてラベルが付けられ、所与のシグニチャ・データは、そのメッセージから自動的に抽出され、ユーザ全体に配布される１つまたは複数のデータベース内に置かれる。第２に、シグニチャ走査段階では、少なくとも１人のユーザのメッセージ・セット（できる限り第１のアラート・ユーザのセットを含む）は、実質的に類似したメッセージのインスタンスを検出しようとして、抽出したシグニチャ・データを使用して走査され、このようなメッセージが検出されると適切なアクションが実行される。
【００４４】
図２は、具体的にスパムに対処する本発明の一実施の形態が適用されるコンピュータ・システム環境を示している。スパマー２００は、スパム２０２を企業Ａ２０４および企業Ｂ２０６に送信する。実際には、スパム２０２は、多くの様々な企業に送信されるはずである。企業Ａ２０４が本発明を使用すると想定すると、スパム２０２は、１人または複数のユーザがアカウントを維持しているメール・サーバ２０８で受信される可能性がある。ユーザＡ２１０が自分のメールにアクセスすると想定すると、スパム２０２はその着信メールのリストで検出される。ユーザＡ２１０がスパム２０２をそれとして識別したことに応答して、識別されたスパム２１２はそれとしてラベルが付けられ、本発明のシグニチャ抽出段階が開始される。
【００４５】
本発明のシグニチャ抽出段階では、識別されたスパム２１２はメール・サーバ２０８によってシグニチャ抽出エンジン２１４に転送される可能性がある。シグニチャ抽出エンジン２１４によって抽出された後、識別されたスパム２１２のシグニチャはメール・サーバ２０８に返され、シグニチャ・データベース２１６に記憶される。本発明のシグニチャ走査段階では、ユーザＢ２１８およびユーザＣ２２０の着信（または発信）メッセージは、シグニチャ・データベース２１６内の抽出シグニチャ・データを使用して走査される。この場合、実質的に類似したメッセージ２２２のインスタンスは、ユーザのためにフラグが付けられるか、その受信箱から除去されるか、または送信が防止される。
【００４６】
この２通りの段階は、ユーザ全体にわたって同時かつ非同期に機能することができる。たとえば、ユーザＡは、メッセージ３を読み取って、それに望ましくないものとしてのラベルを付けながら、自分のメッセージを走査して、既知の望ましくないメッセージ１および２があるかどうかを確認している可能性がある。数分後に、ユーザＢのメッセージを走査して、望ましくないメッセージ１、２、３が存在するかどうかを確認することができる。３０分後にユーザＣは第４の望ましくないメッセージ４を発見する可能性があり、１時間後にユーザＡのメッセージをもう一度走査して、この場合は１、２、３、４が存在するかどうかを確認することができる。本発明は、アウトバウンド・メッセージならびにインバウンド・メッセージの走査に備えるものである。これは、でっちあげ、チェーン・レター、機密メッセージなど、１人のユーザから他の複数のユーザに転送されそうなタイプのメッセージについては特に有利である。転送される前に望ましくないアウトバウンド・メッセージを捕らえることは、多数の受信側になる可能性のあるものに対して送信された後でメッセージを処理することよりかなり効率のよいことである。
【００４７】
本発明の第１の段階でメッセージから抽出され、本発明の第２の段階で重複メッセージまたは類似メッセージを認識するために後で使用されるシグニチャ・データを表す好ましいデータ構造については図３に示す。当業者であれば、本発明では多少精巧なデータ構造を使用できることが分かるだろう。望ましくないメッセージは実質的に類似したメッセージのセットにクラスタ化される。１つのクラスタ内には、原型と呼ばれる１つまたは複数の変形が存在する可能性がある。多くの場合、各クラスタは単一の原型のみを含むことになる。しかし、事情によっては（特に、複数の関連変形として現れる可能性があるでっちあげの場合）、１つのメッセージのわずかな変形を同じクラスタに属すものと見なすことは有用である可能性がある。１つのクラスタ内に複数の原型があることを見込んでおくと、同じシグニチャを使用して複数の異なる変形を検出することができる。この結果、記憶の効率が高まり、走査速度がある程度高くなり、また、新しい変形がそれとして認識される可能性も高くなる。さらに、本発明のシグニチャ抽出データの精巧さは、変形を検出することと偽陽性を低減することとの間でトレードオフが行われるようにシステムを調整する際のフレキシビリティに備えるものである。
【００４８】
本発明の一実施の形態のシグニチャ・データベースは、原型Clusterのセットからなり、それぞれは固有のClusterID識別子によって区別される。各Cluster３００は２つの基本コンポーネントを有する。第１のコンポーネントはSigList３０２である。SigList３０２はSigData要素３０４のリストであり、そのそれぞれは原型Cluster３００のメンバー内で検出された特定の文字シーケンスに関する情報を含む。３つのSigData要素であるSigData1、SigData2、SigData3を示す。SigList３０２内の各SigData要素３０４は２つの部分を含む。たとえば、SigData2だけを展開する。SigData2 ３０４の第１の部分であるSig2 ３０６は、メッセージ・スキャナによってサーチされる相対的に短いテキスト・パターンである。第２の部分であるRegionList2 ３０８はSig2 ３０６に関連するRegionData要素３１０のリストであり、そのそれぞれはクラスタ内のすべての原型に含まれるより長い文字シーケンスに関する情報を含む。各RegionData要素３１０は３つの要素、すなわち、１）シグニチャの先頭から文字シーケンスの先頭までのバイト単位のオフセットであるBeginOffset３１２と、２）文字シーケンス内の文字数であるRegionLength３１４と、３）文字シーケンスのチェックサムであるＣＲＣ３１６である。
【００４９】
各Cluster３００の第２のコンポーネントはArchetypeList３１８である。ArchetypeList３１８はArchetypeData要素３２０のリストであり、そのそれぞれは特定の原型に関するデータを含む。特に、各ArchetypeData要素３２０は、１）そのフル・テキストを必要に応じて検索できるように原型メッセージの記憶コピーを指すポインタであるArchetypePtr３２２と、２）原型の本文から計算され、他のメッセージに対する全体的な類似性を測定するために使用するデータのブロックであるHashBlock３２４と、３）CaseData要素３２８のリストであり、そのそれぞれが原型のコピーが受信され、ユーザによって望ましくないものとして報告された特定のインスタンスに関するデータを含むCaseList３２６とを含むことができる。特に、各CaseData要素３２８は、１）コピーの送信側のＩＤであるSendID３３０と、２）コピーを報告した受信側のＩＤであるRecvID３３２と、３）コピーが本来受信された時刻であるRecvTime３３４とを含むことができる。
【００５０】
シグニチャ抽出
本発明のシグニチャ抽出段階の好ましい実施の形態は、図４に関連して説明するが、その間に特定の以前は未知であった望ましくない（または機密の）メッセージが導出され、複数ユーザからなるネットワークに広められる。本発明は、１人または複数のメール・ユーザを含む環境で使用することができる。メール・ユーザの数が増すにつれて、本発明の利点が増大する。ステップ４００では、第１の（アラート）ユーザがメッセージＭ１を受信する。このユーザは受信したメッセージＭ１を読み、それが広く流布されそうであり、歓迎されないものであると広く考えられそうなものである（またはそれが機密のものである）という意味で「望ましくないもの」であると考えた場合、そのユーザは、たとえば、ユーザ・インタフェース内の特別なボタンをクリックすることにより、メッセージＭ１は望ましくない（または機密の）ものとしてフラグを付けるべきであることをシステムに対して示す。任意選択で、第１に総称検出方法を使用して、ユーザがそのメッセージを望ましくないものとして識別するのを支援することができる。いずれの場合でも、ステップ４０２でそのメッセージに「望ましくないもの」としてのフラグを付けるべきであることをユーザがシステムに対して示した場合、ステップ４０４でメッセージＭ１のコピーを自動シグニチャ抽出手順に送信するかまたは入力するかあるいはその両方を行う。任意選択で、ステップ４０３では、望ましくないものとしてのメッセージの識別をいくつかの方法で確認することができる。この確認は、許可されたユーザによって行うこともできる。これは、限界数のユーザ全員がそのメッセージに望ましくないものとしてのラベルを付けた後でのみ示される可能性がある。最後に、これは、個別の自動プロセス（たとえば、スパムを検出するための総称技法を使用するもの）によって行うこともできる。メッセージが望ましくないものであるという確認が行われた場合、この方法はステップ４０４に継続するはずである。メール・システムのユーザ自身が望ましくないかまたは機密のメッセージを識別できるようにすることにより、集中オペレーション・センタにいる専門家への依存状態が回避される。
【００５１】
ステップ４０４では、メッセージＭ１を走査して、マスタ・シグニチャ・データベースＤ１に含まれるシグニチャが存在するかどうかを確認する。ステップ４０５でメッセージＭ１がマスタ・シグニチャ・データベースＤ１内のシグニチャの少なくとも１つを含むと判断された場合、ステップ４０６でそのメッセージは、そのSigコンポーネントの１つに一致シグニチャを含む各Clusterに関連する各原型と比較して、Ｄ１内のいずれかの原型との一致が存在するかどうかを判定する。比較の好ましい方法は、そのメッセージに関するHashBlockを計算することと、このHashBlockを各候補原型に関するHashBlockと比較することである。正確な原型一致が見つかった場合（たとえば、ハッシュブロック距離がゼロになると計算された場合）、一致候補のArchetypePtr３２２を使用して、そのフル・テキストを検索する。最後に、その原型およびメッセージのフル・テキストが、そのメッセージを原型のインスタンスと見なせるほど十分類似していると見なされた場合、ステップ４０８で関連CaseData情報３２８をメッセージから抽出し、その原型用のＤ１内のCaseList３２６に追加する。次に制御はステップ４１８に移行する。しかし、ステップ４０６で正確な原型一致が見つからないかまたはメッセージのフル・テキストがその原型のフル・テキストと十分に類似していると判定されなかった場合、ステップ４１０で新しい原型が既存の原型のクラスタと十分に類似しているかどうかについて判定を行い、十分類似している場合はどのクラスタであるかという判定を行う。好ましいことに、そのSigコンポーネントの１つに一致シグニチャを含む各Clusterごとに、BeginOffset３１２およびRegionLength３１４によって示される領域のチェックサムを計算することにより、そのSig３０６に関連するRegionList３０８内の各RegionData要素３１０をメッセージＭ１と比較し、そのメッセージ内のその領域のチェックサムがＣＲＣ３１６に記憶されている値に等しい場合に一致を宣言する。最長RegionLength３１４を有する一致領域を各Clusterごとに決定する。すべてのCluster内の最長RegionLength３１４が少なくとも指定の限界長に等しい場合、最長RegionLength３１４を有するClusterは、新しい原型を追加すべき原型クラスタとして識別される。したがって、ステップ４１２では、原型データを計算し、それを（すべての副構造が必須情報で充填された）新しいArchetypeData要素としてこのClusterのArchetypeListに追加する。
【００５２】
任意選択で、ステップ４１４では、そのクラスタへの新しい原型の追加を反映するために、ClusterのSigList３０２を再計算することができる。突合せアルゴリズム（接尾部アレイ・ルーチンなど）を使用してすべての原型間で見つかった１つまたは複数の文字シーケンスを識別することができ、図５に関連して以下に詳述するSigListデータの導出は、メッセージ本文全体ではなく、一般的に発生する文字シーケンスのセットにのみ適用することができる。この方法はステップ４１８に継続する。
【００５３】
ステップ４０５でメッセージＭ１がマスタ・シグニチャ・データベースＤ１内のシグニチャのいずれも含まないと判断された場合またはステップ４１０でいかなる原型クラスタも新しい原型に十分接近していないと判断された場合、この方法はステップ４１６に継続する。ステップ４１６でメッセージＭ１用に新しい原型クラスタを作成し、必須情報を含む単一のArchetypeData要素を作成してArchetypeList内に入れ、シグニチャと関連データのセットを計算してSigList内に入れる。最後に、原型Clusterにその固有のClusterIDを割り当て、そのClusterをマスタ・シグニチャ・データベースＤ１に追加する。SigList内のシグニチャは、他のメッセージで見つかりそうもない文字シーケンスを選択する自動シグニチャ抽出手順によって自動的に計算される。この手順の好ましい方法に関する詳細については図５に関連して以下に示す。シグニチャは、そのメッセージ自体またはそのメッセージの前処理バージョンで見つかる複数文字からなるシーケンスまたはより一般的には複数文字からなるパターンで構成することができる。これには、メッセージ全体またはその一部分あるいはその両方のチェックサム、そのメッセージの１回または複数回の変換から導出されるチェックサムまたはその他の圧縮データ・ストリングなどの追加情報が付随する可能性がある。この追加情報は、図３に示す各シグニチャに関連するRegionList３０８に記憶することができる。
【００５４】
最後に、ステップ４１８では、ステップ４０８、４１４、または４１６でマスタ・シグニチャ・データベースＤ１に対して適用された更新を反映するために、１つまたは複数の個別ユーザ・ノードに対応するローカル・シグニチャ・データベースを更新する。これは、ローカル・データベースがマスタ・シグニチャ・データベースの正確な複製であることを保証するための標準的なデータベース更新または複写技法を使用するか、あるいは異なるローカル・シグニチャ・データベース間で様々になる可能性のある１組の基準に応じてシグニチャおよび関連補助データを選択的に送信するかまたは選択的に受信して取り入れることによって達成することができる。
【００５５】
SigListデータの導出
次に、ステップ４１４および４１６で使用する、所与の原型メッセージに関するSigListデータを抽出または計算するための手順の好ましい実施の形態について図５に関連して説明する。第１に、ステップ５００では、メッセージのコーパス内で選択した限界長より小さいかまたはそれに等しいすべてのバイト・シーケンスのオカレンスの回数を数える。好ましい実施の形態では、限界長は３であり、すなわち、１バイト、２バイト、３バイトのすべてのシーケンス（それぞれ１グラム、２グラム、３グラムという）のオカレンスの回数を数える。ステップ５０１では、数えたオカレンスの回数をｎグラム度数データベースに圧縮形式で記憶する。ｎグラム度数データベースは、わずか数メガバイトのデータベースを必要とする。このデータベースはそのユーザが受信したアーカイブ対象メッセージからなるコーパスから個別に各ユーザごとに計算することができ、あるいは汎用データベースは複数のユーザから選別された総称メッセージからなる標準的なコーパスから計算することもできる。この汎用データベースは、ユーザ全体にわたって配布することもできる。また、このデータベースは定期的に更新することもできる。データベースが本来生成される場所およびそれが更新される頻度に関する詳細は、シグニチャ抽出手順の残りのステップに何の関係もない。
【００５６】
ステップ５０２では、そこからシグニチャを抽出すべきメッセージＭ２の本文を分離する。ステップ５０４では、すべての非英数字を除去し、すべての上段シフト文字をその下段シフト・バージョンで置き換えることにより（図６を参照）、抽出した本文を「不変」形式に変換する。次に、ステップ５０６では、典型的なメッセージで見つからない可能性が高い文字からなる１つまたは複数のシーケンスを識別する。この１つまたは複数のシーケンスは１つまたは複数のシグニチャを構成する。ありそうもない文字シーケンスの識別は、参照により本明細書に組み込まれ、１９９５年９月１９日に発行された「Methods and Apparatus for Evaluating and Extracting Signatures of Computer Viruses and Other Undesirable Software Entities」という名称の米国特許第５４５２４４２号（４４２特許）に記載された方法によって実施することができる。この方法は、本来、コンピュータ・ウィルス・シグニチャの自動抽出に適用されたものである。メッセージから取られる複数の候補シグニチャを選択し、ｎグラム度数データベースからのそれぞれのｎグラム統計について、各候補シグニチャが無作為の普通のメール・メッセージに現れる可能性を推定するために４４２特許で見られる式を使用してそれらを結合する。普通のメール・メッセージに現れる可能性が最も低い１つまたは複数の候補シグニチャを選択する。
【００５７】
ひとまとめにして考えると、ステップ５０２、５０４、５０６は、図３でSig３０６というラベルが付けられたテキスト・ストリング要素の導出を記述するものである。任意選択で、Sig３０６に関連するRegionData３１０のリストを計算することによって、偽陽性率をさらに低減することができる。これは、各導出シグニチャごとに以下の手順によってステップ５０８で達成することができる。それぞれがそのシグニチャを含む文字シーケンスからなる「領域」のシリーズを選択する。好ましい実施の形態では、このシリーズは、シグニチャ上のほぼ中心に位置し、シグニチャの長さの約２倍である第１の領域と、第１の領域を含み、第１の領域のサイズのほぼ２倍である第２の領域と、シリーズ内の最終領域が変換済みのメッセージ本文全体からなるまでの以下同様の領域からなる。各領域ごとに、その領域の長さおよびその領域の文字シーケンスのチェックサムとともに、そのシグニチャの第１の文字からその第１の文字までのオフセット（通常は負の整数）を記録する。これらの３つの要素はその領域のRegionData３１０を構成する。チェックサムは、巡回冗長検査などの都合のよい方法を使用することができ、好ましいことに少なくとも３２ビットにしなければならない。
【００５８】
HashBlockデータの導出
次に、ステップ４１２および４１６で要求されたように所与のメッセージに関するHashBlockデータを計算するための方法の好ましい実施の形態について説明する。第１に、メッセージ本文を変換する。この変換は、シグニチャ抽出の前にメッセージ本文に対して適用される変換（ステップ５０４）と同じにするかまたはそれとは異なるものにすることができる。たとえば、HashBlockを計算するために変換済みのメッセージ本文にブランク・スペースを保持すること以外は、これらの変換を同一のものにすることもできる。次に、変換済みのメッセージ本文を小さい個別ユニットに分割するが、これらのユニット同士はオーバラップする場合もあれば、オーバラップしない場合もある。たとえば、個別ユニットはいずれも連続５文字のシーケンス（オーバラップする）である場合もあれば、オーバラップしない「ワード」（ブランク・スペースによって区切られた個別ユニット）である場合もある。オーバラップしないユニットの方が好ましい。各個別ユニットごとに、ハッシュ関数はそのユニットを小さい整数のハッシュ値（たとえば、０〜２５５の範囲内）にマッピングする。ハッシュ値カウントのアレイは保たれ、特定のハッシュ値が計算されるたびに、その値のカウントが１だけ増分される。カウント数の上限が１５に定められている場合あるいはそれがモジュロ１６で計算される（すなわち、１６で割ったときに、記録された数が実際の数の剰余になる）場合、各カウントごとに４ビットだけが必要であり、２５６通りのハッシュ値からなるアレイはちょうど１２８バイトのHashBlockとして表すことができる。ただし、変更の回数が多すぎなければ、このHashBlockはワードの追加、削除、再配置に対して相対的に鈍感になることに留意されたい。
【００５９】
シグニチャ・データベースの剪定
マスタおよびローカルのシグニチャ・データベースが無制限に増大するのを防止するために、これらのデータベースを定期的に剪定して、最近のインスタンスがまったく報告されていないClusterデータを除去することができる。好ましいことに、周期的間隔で（たとえば、毎日）マスタ・シグニチャ・データベース内の各Clusterを検査する。そのクラスタ構造内のすべてのRecvTime要素３３４を現在時と比較し、いずれかの指定の日時より最近のものがまったくない場合、そのCluster全体をマスタ・シグニチャ・データベースから除去する。このクラスタの除去はすべてのローカル・シグニチャ・データベースに連絡され、このクラスタを含むものはどれでもそれを除去することができる。
【００６０】
シグニチャ走査
本発明のシグニチャ走査段階では、１人または複数のユーザのメッセージを走査して、望ましくない（または機密の）ものとしてラベルが付けられた特定のメッセージが存在する可能性があるかどうかを確認する。数百人、数千人、または数百万人ものユーザを本発明によって保護することができるが、個別の「第２のユーザ」に焦点を合わせることが最も都合のよいことである。この走査手順ではローカル・シグニチャ・データベースを使用するが、これは新しい望ましくないメッセージが他のユーザによって発見されるにつれて引き続いて更新され、特定のユーザに固有のものにするかまたは複数ユーザによって共用することができる。この走査は、定期的に行うか、あるいはユーザによる要求または何らかの他の事象（最後の走査以降にローカル・シグニチャ・データベースが更新されたという通知など）に応答して行うことができる。さらに、この走査は、様々なユーザについて様々な時期に様々な状況で行うことができる。メッセージが電子メールである典型的な場合には、走査は好ましいことにユーザの受信箱内の項目にのみ適用されるが、ユーザがそのように希望する場合には他の指定のフォルダにも適用することができる。
【００６１】
走査手順の好ましい実施の形態について図６に関連して説明する。ステップ６０２では、走査すべきメッセージＭ２の本文を抽出する。次にステップ６０４では、メッセージ本文をステップ５０４で適用されたものと同じ不変形式に変換する。ステップ６０６では、メッセージ本文の不変形式を走査して、ローカル・シグニチャ・データベースＤ２に含まれるシグニチャのいずれかとの正確な一致または接近した一致があるかどうかを確認するが、このデータベースＤ２は１つまたは複数のマスタ・シグニチャ・データベース内のClusterデータ構造の全部または一部から構築されたものである。いかなるシグニチャも見つからない場合、メッセージは望ましくない（または機密の）ものと見なされないので、プロセスは終了する。
【００６２】
しかし、ステップ６０６で１つまたは複数のシグニチャが見つかった場合、ステップ６０８で関連のRegionData要素３１０に含まれる補助情報を使用して、１つまたは複数の既知の望ましくないメッセージに対する一致度を査定する。具体的には、メッセージに現れる各シグニチャSig３０６ごとに、Sig３０６が現れるすべてのClusterを順に検討する。このような各Cluster３００ごとに、Sig３０６に関連するRegionList３０８を検討する。第１に、走査したメッセージ内の対応する領域のチェックサムを計算することにより、最大RegionLength３１４を有するRegionData要素３１０を検査する。チェックサムがこのRegionData要素３１０に関するＣＲＣ３１６と一致する場合、RegionData要素３１０および関連のClusterIDをBestRegionDataElementsというリストに追加し、次のClusterを検討する。チェックサムが一致しない場合、次に長いRegionLength３１４を有するRegionData要素３１０を同じ方法で比較し、一致チェックサムが見つかるまで以下同様に比較する。RegionData要素３１０間に一致チェックサムがまったく存在しない場合、そのシグニチャ自体および関連のClusterIDをBestRegionDataElementsリストに追加し、次のClusterを検討する。
【００６３】
ステップ６１０では、局所性保存ハッシュ関数を使用して、走査したメッセージのHashBlockを計算する。走査したメッセージのHashBlockを、ステップ６０６で見つかった一致シグニチャの１つを含む各ClusterのHashBlockと比較し、このような各Clusterごとに類似性を計算する。この類似性の計算では妥当な測定基準を使用することができる。２つのHashBlock（Ｈ１およびＨ２）に関する好ましい類似性測定基準では、それぞれを２５６要素のアレイとして扱い、それぞれの要素は４ビットとして表され、アレイ要素間の差の絶対値を合計する。すなわち、類似性Ｓは以下の式によって示される。
【数１】
【００６４】
これは、アレイ要素の上限が１６に定められている場合である。その代わりとして、以下の式によって示される。
【数２】
【００６５】
これは、アレイ要素がモジュロ１６で記憶される場合である。
【００６６】
ClusterIDおよび類似性ＳをHashBlockSimilarityというリストに追加し、ステップ６０６で見つかった一致シグニチャの１つを含むClusterがこれ以上存在しなくなるまで、次のClusterを検討する。
【００６７】
ステップ６１２では、ステップ６０８から導出したBestRegionDataElementsリストと、ステップ６１０から導出したHashBlock類似性リストと、１組のユーザ・プリファレンスとを組み合わせて、一致の程度またはレベルを決定する。ユーザ・プリファレンスは、HashBlock類似性に関する１つまたは複数のしきい値と、RegionLength３１４に関する１つまたは複数のしきい値と、BestRegionDataElementsリストおよびHashBlockSimilarityリストで参照されるClusterのMsgDataコンポーネントの様々な態様に関する条件とで構成することができる。典型的な応用例では、ユーザ・プリファレンスは、選択した場合は高度なユーザによって指定変更が可能な何らかのデフォルト設定に設定することができる。
【００６８】
明示的な一例として、完全、高、中、低という４通りの別々の一致レベルがあると想定する。この場合、ユーザ・プリファレンスの妥当なセットとしては以下のものが考えられる。完全と見なすべき一致レベルの場合、それに関するHashBlock類似性距離がゼロであり、そのCluster用のMsgList内の少なくとも２人のユーザがそのユーザと同じＥメール・ドメイン内のRecvID３３２を有するようなClusterが存在しなければならない。そうではない場合、高と見なすべき一致レベルの場合、それに関するHashBlock類似性距離が５未満であるかまたはBestRegionDataElements内の最長領域長が少なくとも５００文字であり、そのCluster用のMsgList内の少なくとも２人のユーザがそのユーザと同じＥメール・ドメイン内のRecvID３３２を有するようなClusterが存在しなければならない。そうではない場合、中と見なすべき一致レベルの場合、それに関する最長領域長が少なくとも１００文字であり、そのMsgList内に少なくとも２人の別々のユーザが存在し、ドメインまたは他の特徴に関する制限がまったくないようなClusterが存在しなければならない。そうではない場合、一致レベルは低と見なすべきである。
【００６９】
ステップ６１４では、ステップ６１２で決定した一致レベルに対してそのユーザのプリファレンスのセット内のもう１組の規則を適用して、適切な応答を決定し、実施する。適切な応答としては、メッセージを自動的に削除すること、ユーザの受信箱内でのその外観を変更すること（たとえば、それに注釈を付けるかまたはカラー化することによる）、それを特別なフォルダ内に記憶することなどを含むことができる。たとえば、一致レベルが完全である場合、ユーザは、そのメールが自動的に削除されるはずであると示すことができ、一致レベルが高である場合、そのメールは特別な「推定スパム」フォルダ内に置かれるはずであり、一致レベルが中である場合、受信箱内に現れるメールの要約は緑色でカラー表示されるはずであり、メッセージ本文の前には、そのメッセージが望ましくないメールの既知のインスタンスに密接に関連すると思われる理由を示す簡単な説明が付けられるはずである。また、ユーザのプリファレンスは、その一致レベルにかかわらず、望ましくないものと見なすべきではない特定のメッセージ（その管理者またはその企業の最高経営責任者から送信されたものなど）も指定することができる。
【００７０】
任意選択で、望ましくないメッセージが発見された場合、ステップ６１６ではその望ましくないメッセージの新しいインスタンスに関する情報によってマスタ・シグニチャ・データベースを更新することができる。この更新は、発見時に行われる場合もあれば、あるいはそのメッセージが望ましくないものであることをユーザが確認した後でのみ行われる場合もある。たとえば、完全な一致の場合、この情報は、望ましくないメッセージに関するCaseData３２８（すなわち、送信側および受信側のＩＤならびに受信時刻）で構成することができる。この情報は、ローカルで抽出して、マスタ・シグニチャ・データベースの所在地に送信することもでき、そこに取り入れられるはずである。一致レベルが高または中の場合、メッセージ全体がマスタ・シグニチャ・データベースの所在地に送信される可能性があり、それがステップ４０４でシグニチャ抽出段階に入り、そこで新しい原型を作成してそれを適切な原型クラスタに入れようという試みが行われるはずである。
【図面の簡単な説明】
【図１】本発明の教示を実施するためのコンピュータ・システムのブロック図である。
【図２】本発明の一実施の形態が適用されるシステム環境の概略図である。
【図３】本発明の一実施の形態のシグニチャ・データ構造の概略図である。
【図４】本発明の一実施の形態のシグニチャ抽出段階の流れ図である。
【図５】本発明の一実施の形態のシグニチャ抽出手順の詳細の流れ図である。
【図６】本発明の一実施の形態のシグニチャ走査段階の流れ図である。
【符号の説明】
１０ システム
１２ システム・バス
１４ 中央演算処理装置（ＣＰＵ）
１５ シグニチャ抽出モジュールおよび走査／フィルタ・モジュール
１６ ランダム・アクセス・メモリ（ＲＡＭ）
１８ 端末制御サブシステム
２０ ディスプレイ装置
２２ 手動入力装置
２４ ハード・ディスク制御サブシステム
２６ 回転固定ディスクまたはハード・ディスク
２８ フロッピー・ディスク制御サブシステム
３０ フロッピー・ディスク・ドライブ
３２ 通信サブシステム
【発明の属する技術分野】
本発明は、一般に電子メールおよびその他のタイプの電子メッセージの送信および受信が可能なディジタル・データ・プロセッサおよび相互通信するディジタル・データ・プロセッサのネットワークに関する。特に、本発明は、「スパム」（spam）とも呼ばれる非送信請求商用Ｅメール（ＵＣＥ）など、望ましくない非送信請求電子メールを自動的に検出し処理するためのシステムおよび方法に関する。
【０００２】
【従来の技術】
毎日、無数のインターネット・ユーザは、通常、電子メール（Ｅメール）の形でありがたくない電子メッセージを受信する。このようなメッセージの最もありふれた例は、一般に「スパム」と呼ばれる非送信請求商用Ｅメール（ＵＣＥ）である。ＵＣＥは、通常、特定の商品、サービス、またはウェブ・サイトを奨励するものであり、数千人または数百万人もの個人に無差別に送信され、その大多数はＵＣＥが迷惑なものまたは不快なものと認識している。ＵＣＥは、重大な問題として広く認められている。ＵＣＥに関する記事はほとんど毎日のようにＣＮＥＴなどの技術ニュース・サービスに登場する。Ｅメール・ユーザがＵＣＥに曝される機会を低減するために、いくつかの市販用製品およびシェアウェア製品が作成された。少なくとも１社の新設企業であるBright Light Technologiesは、ＵＣＥを検出してフィルタリングで除去するための技術を生産して販売するという唯一の目的のために設立された。法律による制限はいくつかの州で企図されており、実際に複数の州で最近実施された。
【０００３】
その他の形式の望ましくないＥメールとしては、うわさ、でっちあげ、チェーン・レターなどがある。このような形式のＥメールのそれぞれは、複数ユーザからなるネットワーク内で非常に素早く増殖する可能性がある。うわさは、ユーザ全体に非常に勢いよく広まる可能性があり、その結果、時間の浪費や不必要な懸念を引き起こす可能性がある。でっちあげのコンピュータ・ウィルスとして最も上出来なものは、コンピュータ・ウィルスそのものに匹敵するほど長続きし、相当なパニックを引き起こす恐れがある。最後に、チェーン・レターの流布は、企業の方針または連邦法によって禁止するのに十分なほど重大な現象である。
【０００４】
幾分異なるクラスのＥメールは機密Ｅメールであり、その送信または受信は望ましくない場合が多い。機密Ｅメールは、選択されたグループ外の人には転送されないようになっている。したがって、これらのメッセージの配布を制御することに関する懸念が発生する。
【０００５】
ＵＣＥおよび電子的に伝えられるうわさ、でっちあげ、チェーン・レターに共通の特徴は、問題のメッセージの内容（およびその送信）が（単に面白くないどころか）望ましくないものであるという合意が広まりそうなことである。これは、このようなメッセージが電子的形式になっているということとともに、このＥメールを自動的に検出し、無害なものにしようと試みる様々な技術を企図することを可能にするものである。
【０００６】
現在までのところ、ＵＣＥは、このような努力の排他的な焦点になっていた。既存のＵＣＥソリューションはいくつかの異なる形を取る。その一部は、既存のＥメール・パッケージ（たとえば、Eudoraメール・システムとともに機能するよう設計されたMailJail）またはＥメール・プロトコル（たとえば、Windows 95、Windows 98、またはWindows NTプラットフォーム上でＰＯＰ３プロトコルをサポートするいずれかのＥメール・パッケージのために機能するSpam Exterminator）とともに機能するよう設計されたソフトウェア・パッケージである。その他のソリューションは、広く使用されるメール・プロトコル（たとえば、指定のサイトからあるいは明示的に許されているもの以外のサイトからのメール・リレーをブロックするための機構を提供するSendMailメール転送プロトコルの最近のアップグレードであるSendMail v.8.8）に統合されている。もう１つのタイプのソリューションは、Ｅメール・フィルタリング・サービス、たとえば、junkproof.comによって提供されるサービスであり、これはＵＣＥを送信したユーザに罰金を科すものである。Bright Light Technologiesでは、ソフトウェア製品とサービスを併用するよう提案している。
【０００７】
どのようにパッケージ化可能であっても、これらのソリューションの大部分は、認識と応答という２つの主なステップから構成される。認識ステップでは、所与のＥメール・メッセージを検査して、それがスパムになりそうかどうかを判定する。認識ステップ中にそのメッセージがスパムになりそうであると見なした場合、何らかの応答を行う。典型的な応答としては、そのメッセージを自動的に削除すること、それがスパムである可能性があることにユーザの注意をひくようそれにラベルまたはフラグを付けること、優先順位がより低いメール・フォルダにそれを入れることなどがあり、おそらく、カストマイズ可能なメッセージを送信側に返送することと結合される。
【０００８】
主な技術的難題は認識ステップにある。最も重要な難題のうちの２つは、偽陽性（合法的メールを偽ってスパムとして告発すること）および偽陰性（スパムをそれとして識別し損なうこと）の率をできるだけ低く維持することを含む。多種多様な市販用アプリケーションおよびフリーウェア・アプリケーションでは、一般的な問題に対処するため、以下の基本的なスパム検出戦略に基づく組合せまたは変形あるいはその両方を使用する。
【０００９】
ドメインベースの検出
スパムを送信する人（「スパマー」（spammers））は、そこからスパムを送信するための特別なインターネット・アドレス・ドメインをセットアップする場合が多い。一般的な反スパム・ソリューションの１つは、「スパム」ドメインのブラックリストを維持し、このようなドメインから発信されたメールを拒否するか、送達しないか、または送信側に返すことである。スパムが新しい「スパム」ドメインから流出し始めると、そのドメインをブラックリストに追加することができる。
【００１０】
たとえば、xmission.comでは、指定のサイトからのメールを送信側に返送するようにsendmail.cfの規則を変更した。そのテキスト・ファイル（http://spam.abuse.net/spam/tools/dropbad.txt）は、moneyworld.com、cyberpromo.com、bulk-e-mail.com、bigprofits.comなどを含む、スパマーによる使用のためにのみセットアップされたことが分かっているいくつかのドメインをリストしている。http://www.webeasy.com:8080/spam_download_tableには、１０００箇所以上のサイトがこのようにブラックリスト化されている。SendMailの最近のバージョン（バージョン８．８以降）はこのようなリストの使用を容易にするよう変更されており、これはスパムとの戦いにおいて重要な進展と見なされている。
【００１１】
しかし、無差別に使用されると、この手法の結果、偽陽性率および偽陰性率が高くなる可能性がある。たとえば、スパマーがaol.comドメインからスパムを送信する場合、aol.comはブラックリストに追加することもできる。その結果、このドメインから合法的にメールを送信する無数の個人はそのメールがブロックされる恐れがある。言い換えれば、偽陽性率は容認できないほど高くなる恐れがある。これに反して、スパマーは禁止ドメインから新たに作成した非禁止ドメインまたは多くの合法的ユーザが使用するドメインへ素早く切り替えることができ、したがって、多くの偽陰性が発生する。
【００１２】
ヘッダベースの検出
スパムの顕著な特徴は、極めて多数の受信側に送信されることである。これを示す表示であり、あるメッセージがスパムになりそうであるという証拠と見なすことができるものがメール・メッセージのヘッダ内に存在する場合が多い。たとえば、長い受信側のリストは通常、集合名のより小さいセットに送信することによって処理されるので、そのユーザの明示的なＥメール・アドレスはTo:フィールドに現れない。
【００１３】
Ross Rader of Internet Direct（Idirect）は、Eudora Light、Microsoft Mail、Pegasusを含む、普及している多様なＥメール・プログラムのためにスパムのこの特徴に基づいて単純な規則をセットアップするための説明書を発表した。メール・メッセージ・ヘッダがその規則と一致する場合、そのメールはユーザの受信箱から自動的に除去され、特別なフォルダ内に置かれるが、そのフォルダではそれを後で調べるかまたは検査なしで容易に削除することができる。
【００１４】
しかし、この方法のユーザがこれらの検出規則の個別設定に多くの努力を注がない限り、偽陽性率が非常に高くなる可能性があり、したがって、合法的Ｅメールの大部分はスパムと分類されることになる。
【００１５】
テキストベースのキーワード検出
スパムは、通常、製品を販売し、ポルノのウェブ・サイトを訪れることを唱え、ネズミ講式販売またはその他の金銭的詐欺への賛助を得ようと積極的に試みるという点で普通のＥメールとは区別される。したがって、「MAKE MONEY FAST」というテキスト・フラグメントを含む１通のメールは、「During my meeting with you last Tuesday」で始まるメールよりスパムである可能性が高い。
【００１６】
一部の反スパム方法は、各Ｅメールの本文を走査して、スパムには見られるが他のＥメールには見られない傾向のあるキーワードまたはキーフレーズを検出する。キーワード・リストおよびキーフレーズ・リストはカストマイズ可能である。この方法は、上記のドメインベース検出技法およびヘッダベース検出技法と併用される場合が多い。この技法の例としては、procmail、Spam Exterminator、SPAM Attack Pro!とともに機能するjunkfilter（http://www.pobox.com/gsutter/junkmail）がある。
【００１７】
この場合も、普通のＥメール・メッセージが禁止キーワードまたはキーフレーズを含むときに偽陽性が発生する可能性がある。この手法は、偽陰性も被りがちである。というのは、禁止キーフレーズのリストは、スパムの新しいインスタンスの到来に遅れないようにするために、毎日数回更新しなければならない恐れがあり、これは反スパム・ベンダにとって技術的に難しいと同時にユーザにとっても不快であるからである。
【００１８】
テキストベースのマシン分類
Spam Be Gone!はEudoraとともに機能するフリーウェア製品である。これは、スパムおよび非スパムＥメールの例を記録し、それぞれのインスタンスに対する各着信Ｅメールの類似性を測定し、スパムまたは非スパムとしてのＥメールの分類に達するようその類似性のスコアを結合するインスタンスベースの分類プログラムである。この分類プログラムは、各個別ユーザごとに自動的にトレーニングされる。ユーザが分類プログラムを開発するには、通常、数週間から数カ月はかかる。
【００１９】
十分な量のトレーニングの後、この手法の偽陽性率および偽陰性率は他の技法より低くなると言われている。ある事例（http://www.internz.com/SpamBeGone/stats.html）では、複数のユーザに関する平均が提供されないので、これがパフォーマンスに関する上限になると想定することができるが、偽陰性率は１ないし２カ月間のトレーニング後に１０分の数パーセントより低くなり、偽陽性率は１カ月後に２０％で、２カ月後に５％であった。したがって、最良の場合でも、スパムとしてラベルが付けられた２０のメッセージのうちの１つは実際には合法的なものになる。これは、反スパム・ソフトウェアが自動的にメールを削除するかまたはそれを送信側に返すなどの強い態度で応答する場合には特に容認できないものになる可能性もある。
【００２０】
上記のＵＣＥ検出方法はいずれも、スパムにとって総称的であるが普通の非スパムＥメールではあまり一般的ではない機能を使用するという意味で「総称的」なものである。これは、通常、ホスト・プログラムを走査して特定のウィルスを示す特別な「シグニチャ」バイト・パターンがあるかどうかを確認することにより特定の既知のコンピュータ・ウィルスを検出するためにウィルス対策プログラムによって一般に使用される「特定の」検出技法とは対照的なものである。総称認識技法は、以前は未知であった新しいスパムを捕らえることができるので、魅力的なものである。しかし、上記で示したように、その欠点は、容認できないほど高い偽陽性率を生じ、場合によっては容認できないほど高い偽陰性率も生じる傾向があることである。特定の検出技法は、通常、より小さい偽陽性率および偽陰性率を有するが、総称技法を実行するより頻繁な更新が必要になる。
【００２１】
総称検出技法は、うわさ、でっちあげ、チェーン・レターまたは機密Ｅメールなど、他のタイプの望ましくないＥメールを認識する際にあまり役に立ちそうもない。送信側のドメインまたはメール・ヘッダのその他の態様に基づく認識は、まったく機能しそうもない。メッセージ本文内に存在するキーワードまたはキーフレーズを基礎とするでっちあげおよびチェーン・レターの総称認識は可能であるかもしれないが、内容の範囲がより広くなりそうなので、スパムの場合より難しくなりそうである。また、テキストを基礎とする機密Ｅメールの総称認識はほとんど確実に不可能である。というのは、どのようなマシン・アルゴリズムでも認識可能なやり方で機密テキストと非機密テキストを区別するものが何もないからである。
【００２２】
Bright Light Technologiesは他の反スパム製品／サービスを奨励している。Bright Lightでは、インターネット全体で複数のＥメール・アドレス（または「プローブ」）を使用しているが、これは合法的宛先ではないので、理論上は望ましくないメッセージのみを受信するものである。受信したメッセージは、２４時間体制のオペレーション・センタに配置されたオペレータによって読まれる。これらのオペレータは、メッセージを評価し、ユーザ・グループに対応するメール・サーバ内のスパムブロック機能を制御する規則を更新する。
【００２３】
ＵＣＥ検出および応答のこの方法は、総称検出ではなく特定の検出を使用するので、本質的には偽陽性および偽陰性に対してあまり脆弱ではないが、いくつかの欠点がある。そのうちの多くは、サービスを維持するために必要な大量の手動労力に由来するものである。Bright Lightのオペレーション・センタは、スパムがあるかどうかＥメールのストリームをモニタし、スパムの特定の事例を示す適切なインジケータと思われるキーワードおよびキーフレーズを手動で抽出し、これらのキーワードまたはキーフレーズをデータベースに記憶する専門家を使用しなければならない。いずれかの企業がこのような１組の専門家を独力でサポートすることはほとんど法外に高くなりそうなので、このようにして自社を保護することを希望する企業は、Bright Lightのオペレーション・センタによる連続し途切れないサービスに完全に依存することになると思われる。少なくとも一部の企業は、外部組織からより自由であることと、単一組織によって達成されそうなもの以上のカストマイズを見込んでいるソリューションを選ぶかもしれない。この問題の最重要点は、Bright Lightの方法では互いに独立しているべき２つのタスク、すなわち、望ましくないものとしてメッセージにラベルを付けることと、望ましくないメッセージからシグニチャを抽出することが結合されることである。手動入力の要件を望ましくないメッセージにラベルを付ける際の要件に削減することが可能である場合、これにより、望ましくないメッセージの協調的決定のローカライズが可能になると思われる。さらに、Bright Lightは、キーワードまたはフレーズに基づいて可能な一致を特定のメッセージ全体（またはその大部分）への正確な一致または近似の一致によってより厳重にテストすることができるような補助データを専門家が抽出する際のプロセスについて説明していない。したがって、その特定のソリューションは、個別ユーザがメッセージ一致に関するより厳重な条件を指定する機会を持つと思われるものより偽陽性に対してより脆弱になりそうである。
【００２４】
もう１つの欠点は、でっちあげ、チェーン・レター、不適当に転送された機密メッセージを含むより広範囲のクラスの望ましくないメッセージとは対照的に、Bright Lightのソリューションは特にＵＣＥに向けられていることである。ひとまとめにして考えると、プローブ・アカウントはすべてのＵＣＥのうちの妥当な断片を受信することができるが、それがチェーン・レターおよびうわさを引き寄せることは不明である。
【００２５】
【発明が解決しようとする課題】
したがって、本発明の一目的は、非常に低い偽陽性率および偽陰性率で、すべてのタイプの望ましくないメールのインスタンスを検出し処理するための自動的かつ非総称的な手順を提供することにある。
【００２６】
本発明の他の目的は、スタッフ配置を伴わず、むしろ積極的にＵＣＥを識別するためにユーザ自身を利用する安価なソリューションを提供することにある。
【００２７】
本発明のさらに他の目的は、機密Ｅメール・メッセージの望ましくない送信または受信あるいはその両方を防止するためのシステムおよび方法を提供することにある。
【００２８】
【課題を解決するための手段】
本発明は、低い偽陰性率および非常に低い偽陽性率でＵＣＥおよび他の形式の望ましくないＥメールを正確に検出し処理するための自動手順を提供する。既存の総称検出方法とは対照的に、本発明は、特定の検出技法を使用して望ましくないメッセージを認識する。言い換えれば、本発明のシステムは、望ましくないメッセージの特定のインスタンスに対するその正確な一致または接近した一致を基礎として望ましくないメッセージを効率よく検出する。Bright Lightによって使用される特定の技法とは対照的に、特定の望ましくないメッセージを識別するために使用する文字ストリングは完全に自動的に導出され、エンド・ユーザが様々なレベルの応答を開始するのに必要な一致度を調整できるようにする補助データで補足される。もう１つの対照的な点は、シグニチャ・データの自動導出によりフレキシビリティが増すことである。というのは、必要な唯一の手動入力は望ましくないものとして特定のメッセージにラベルを付けることであるからである。このため、普通のユーザは、望ましくないメッセージを定義するために協調的に機能することができ、専門家が手動でラベルを付け、望ましくないメッセージからシグニチャを抽出しなければならない外部の集中オペレーション・センタに対する依存状態から解放される。これにより、でっちあげおよびチェーン・レターの権威は、まったく異なる種類の専門知識を必要とする恐れがある、シグニチャの抽出という負担をさらに課すことなしに、それを含むメッセージを識別することができる。もう１つの対照的な点は、抽出したシグニチャ・データによりユーザが、シグニチャの一致からメッセージ全体の一語一句の一致に至る、所与のレベルの一致を構成するものについて独立したフレキシブルな定義を定義できることである。
【００２９】
本発明の方法は、第１の（「アラート」）ユーザが望ましくないメールの所与のインスタンスを受信したときに、そのメッセージに望ましくないものとしてラベルを付けることと、そのメッセージに関するシグニチャを抽出することと、シグニチャ・データベースにそのシグニチャを追加することと、第２の（できる限り同じものを含む）ユーザのメッセージを定期的に走査してデータベース内のシグニチャが存在するかどうかを確認することと、第２のユーザのメッセージのうち、シグニチャを含むものを望ましくないものとして識別することと、このようにラベルが付けられたメッセージに対して適切に応答することとを含む。
【００３０】
具体的には、複数ユーザからなるネットワーク内で望ましくない電子メッセージの送信または受信を妨害する方法は、少なくとも１つの特定の電子メッセージが望ましくないものであることを判定するステップと、少なくとも１つの特定の電子メッセージまたはその変形の検出を可能にする検出データを自動的に抽出するステップと、少なくとも１人のユーザからの１つまたは複数のインバウンド・メッセージまたはアウトバウンド・メッセージあるいはその両方を走査して少なくとも１つの特定の電子メッセージまたはその変形が存在するかどうかを確認するステップと、走査ステップに応答して適切なアクションを実行するステップとを含む。好ましいことに、この方法は、抽出した検出データを記憶するステップをさらに含む。
【００３１】
好ましいことに、判定ステップは、少なくとも１つの特定の電子メッセージの増殖が望ましくないという通知を受信するステップを含む。この受信ステップは、好ましいことに、少なくとも１つの特定の電子メッセージを望ましくないものまたは機密のものとして識別する信号をアラート・ユーザから受信するステップを含む。少なくとも１つの特定の電子メッセージはアラート・ユーザの受信箱に受信することができる。この受信ステップは、好ましいことに、特定の電子メッセージに望ましくないものとしてのフラグを付けるべきであることを示すための識別子をアラート・ユーザに提供するステップを含む。この提供ステップが電子メッセージが望ましくないものであるという識別を援助するために総称検出器を提供するステップを含むことは、好ましいことである。
【００３２】
本発明の抽出ステップは、好ましいことに、少なくとも１つの特定の電子メッセージからシグニチャ情報を抽出するステップを含む。記憶ステップは、好ましいことに、走査ステップに応答して、少なくとも１つの特定の電子メッセージに関する情報をシグニチャ情報に追加するステップを含む。このシグニチャ情報は、好ましいことに、少なくとも１つの特定の電子メッセージからのシグニチャを含む。記憶ステップは、そのシグニチャを少なくとも１つのシグニチャ・データベースに記憶するステップを含むことができる。このシグニチャ・データベースは、好ましいことに、複数のシグニチャ・クラスタを含み、各クラスタは実質的に類似した電子メッセージに対応するデータを含む。シグニチャ・クラスタのそれぞれは、好ましいことに、走査情報を有する文字シーケンス・コンポーネントと、特定のシグニチャ変形に関する識別情報を有する原型コンポーネントとを含む。走査情報は、好ましいことに、特定の電子メッセージに関するサーチ文字シーケンスと、そのクラスタ内に表されるすべての電子メッセージに関する拡張文字シーケンス情報とを含み、識別情報は、特定のシグニチャ変形に関連する電子メッセージのフル・テキスト記憶コピーを指すポインタと、電子メッセージのハッシュブロックと、電子メッセージのコピーが受信され、その増殖が望ましくないものとしてアラート・ユーザによって報告された特定のインスタンスに対応するアラート・データとを含む。
【００３３】
本発明の抽出ステップおよび走査ステップは、複数ユーザからなるネットワークの全域で同時かつ非同期に行うことができる。
【００３４】
本発明の方法は、走査ステップの前に、少なくとも１つの特定の電子メッセージが望ましくないものであることを確認するステップをさらに含むことができる。この確認ステップは、好ましいことに、総称検出技法により少なくとも１つの特定の電子メッセージが望ましくないものであることを確認するステップを含む。この確認ステップは、少なくとも１つの特定の電子メッセージが望ましくないものであることを所定の限界数のユーザが通知することを必要とするステップを含む。
【００３５】
抽出ステップは、好ましいことに、特定の電子メッセージを走査して少なくとも１つのシグニチャ・データベース内のシグニチャがあるかどうかを確認するステップと、走査ステップで一致シグニチャを検出したことに応答して、その一致シグニチャを一致クラスタ内の各メッセージ変形と比較するステップとを含む。この比較ステップは、好ましいことに、特定の電子メッセージに関するハッシュブロックを計算するステップと、計算したハッシュブロックを各原型コンポーネントの識別情報内の変形ハッシュブロックと比較するステップとを含む。本発明の方法が、正確な変形ハッシュブロック一致が検出された場合に、そのポインタを使用して変形一致のフル・テキスト記憶コピーを検索するステップと、変形一致のフル・テキスト記憶コピーと特定の電子メッセージのフル・テキストがその特定の電子メッセージを変形のインスタンスと見なすのに十分なほど類似していると見なされた場合に、特定の電子メッセージからアラート・データを抽出し、それを変形一致に関するアラート・データに追加するステップと、正確な変形ハッシュブロック一致が検出されないかまたは特定の電子メッセージのフル・テキストがそのデータベース内の変形のいずれかと十分に類似していないと判断された場合に、その特定の電子メッセージがいずれかの既存のクラスタと十分に類似しているかどうかを判定するステップと、その特定の電子メッセージがある既存のクラスタと十分に類似している場合に、特定の電子メッセージに関連する新しい識別情報を計算するステップと、その特定の電子メッセージが既存のクラスタと十分に類似していると判定されない場合に、その特定の電子メッセージに関する新しいクラスタを作成するステップとをさらに含むことは、好ましいことである。判定ステップは、好ましいことに、各クラスタの拡張文字シーケンス情報に示されたその特定の電子メッセージの領域のチェックサムを計算するステップと、計算したチェックサムを各クラスタの拡張文字シーケンス情報内の記憶チェックサムと比較するステップとを含む。この方法は、好ましいことに、シグニチャ一致がまったく検出されない場合に、その特定の電子メッセージに関する新しいクラスタを作成するステップをさらに含む。拡張文字シーケンス情報は、好ましいことに、開始オフセット・フィールドと、領域長フィールドと、ＣＲＣフィールドとを含み、この方法は、各クラスタごとに、最長領域長を有する一致領域を決定するステップと、すべてのクラスタのうちで最長領域長が少なくとも指定の限界長と等しい場合に、最長領域長クラスタを特定の電子メッセージ原型が追加される原型クラスタとして識別するステップとをさらに含む。最後に、本発明の方法は、好ましいことに、識別したクラスタの走査情報を再計算するステップを含む。アラート・データは、好ましいことに、コピーが本来受信された時刻を有する受信時刻フィールドを含み、この方法は、各シグニチャ・クラスタのすべての変形の受信時刻フィールドを現在時と定期的に比較するステップと、受信時刻フィールドのいずれも所定の日時より最近のものではないシグニチャ・クラスタを除去するステップとをさらに含む。
【００３６】
走査ステップは、好ましいことに、メッセージ本文を抽出するステップと、メッセージ本文を不変形式に変換するステップと、不変形式を走査して検出データに対する正確な一致または接近した一致があるかどうかを確認するステップと、各一致ごとに一致のレベルを決定するステップとを含む。
【００３７】
実行ステップは、好ましいことに、少なくとも１つの特定の電子メッセージまたはその変形の存在を発見したときに適切なアクションを実行するステップを含む。その実行ステップは、少なくとも１つの特定の電子メッセージまたはその変形に望ましくないものまたは機密のものとしてのラベルを付けるステップを含むことができる。また、この実行ステップは、少なくとも１つの特定の電子メッセージまたはその変形を除去するステップも含む。
【００３８】
実行ステップは、好ましいことに、１つまたは複数のユーザ・プリファレンスに応答して、決定した一致のレベルごとに適切なアクションを実行するステップを含み、その決定ステップは、好ましいことに、各一致ごとに最長領域一致を検出するステップと、走査したメッセージのハッシュブロックと抽出した検出データのそれぞれのハッシュブロックの間のハッシュブロックの類似性を計算するステップと、１つまたは複数のユーザ・プリファレンスを受信するステップと、検出ステップ、計算ステップ、および受信ステップに応答して、一致のレベルを決定するステップとを含む。
【００３９】
本発明は、複数ユーザからなるネットワーク内で望ましくない電子メッセージの送信または受信を妨害するための方法ステップを実行するためにマシンによって実行可能な命令からなるプログラムを具体的に実施する、マシンによって読取り可能なプログラム記憶装置も含み、その方法は、少なくとも１つの特定の電子メッセージが望ましくないものであることを判定するステップと、少なくとも１つの特定の電子メッセージまたはその変形の検出を可能にする検出データを自動的に抽出するステップと、少なくとも１人のユーザからの１つまたは複数のインバウンド・メッセージまたはアウトバウンド・メッセージあるいはその両方を走査して少なくとも１つの特定の電子メッセージまたはその変形が存在するかどうかを確認するステップと、走査ステップに応答して適切なアクションを実行するステップとを含む。
【００４０】
最後に、本発明は、複数ユーザからなるネットワーク内で望ましくない電子メッセージの送信または受信を妨害するためのシステムであって、少なくとも１つの特定の電子メッセージが望ましくないものであることを判定する手段と、少なくとも１つの特定の電子メッセージまたはその変形の検出を可能にする検出データを自動的に抽出する手段と、少なくとも１人のユーザからの１つまたは複数のインバウンド・メッセージまたはアウトバウンド・メッセージあるいはその両方を走査して少なくとも１つの特定の電子メッセージまたはその変形が存在するかどうかを確認する手段と、走査手段に応答して適切なアクションを実行する手段とを含むシステムも含む。その他の点では、このシステムの好ましい実施の形態は本発明の方法の好ましい実施の形態と一致する。
【００４１】
【発明の実施の形態】
図１は、本発明の教示を実施するために適当なシステム１０のブロック図である。バス１２は、中央演算処理装置（ＣＰＵ）１４と複数の他のシステム・バス・ユニットの間でアドレス、データ、制御を搬送するための複数の信号線からなる。ランダム・アクセス・メモリ（ＲＡＭ）１６は、システム・バス１２に結合され、プログラム命令記憶域および作業メモリをＣＰＵ１４に提供する。シグニチャ抽出モジュールおよび走査／フィルタ・モジュール１５は、その方法については以下に説明するが、ＣＰＵ１４あるいは別々のＣＰＵ上で動作することができる。端末制御サブシステム１８は、システム・バス１２に結合され、ディスプレイ装置２０、通常はＣＲＴまたはＬＣＤモニタに出力を供給し、キーボードまたはポインティング・デバイスなどの手動入力装置２２からの入力を受け取る。ハード・ディスク制御サブシステム２４は、回転固定ディスクまたはハード・ディスク２６をシステム・バス１２に両方向に結合する。制御装置２４およびハード・ディスク２６は、ＣＰＵ命令およびデータのための大容量記憶域を提供する。フロッピー・ディスク・ドライブ３０とともに、フロッピー・ディスケット３０ａからシステム・メモリへのコンピュータ・ファイルの転送の際に入力手段として有用なフロッピー・ディスク制御サブシステム２８は、フロッピー・ドライブ３０をシステム・バス１２に両方向に結合する。最後に、通信サブシステム３２は、システム・バス１２に結合され、インターネットなどのネットワークへのリンクを提供する。
【００４２】
図１に示す構成要素は、パーソナル・コンピュータ、ポータブル・コンピュータ、ワークステーション、ミニコンピュータ、またはスーパーコンピュータ内で実施することができる。このため、バス１２の構造またはそのバスに結合されるＣＰＵ１４の数など、データ処理システム１０の物理的な実施の形態の詳細は、本発明の動作にとって重大なものではなく、以下ではこれ以上詳細には説明しない。
【００４３】
大まかに言えば、本発明の方法は２つの段階を含む。第１に、シグニチャ抽出段階では、現在、システムによってそれとして認識されていないような望ましくない（または機密の）メッセージは、おそらく自動手順によって援助される第１のアラート・ユーザによって望ましくない（または機密の）ものとしてラベルが付けられ、所与のシグニチャ・データは、そのメッセージから自動的に抽出され、ユーザ全体に配布される１つまたは複数のデータベース内に置かれる。第２に、シグニチャ走査段階では、少なくとも１人のユーザのメッセージ・セット（できる限り第１のアラート・ユーザのセットを含む）は、実質的に類似したメッセージのインスタンスを検出しようとして、抽出したシグニチャ・データを使用して走査され、このようなメッセージが検出されると適切なアクションが実行される。
【００４４】
図２は、具体的にスパムに対処する本発明の一実施の形態が適用されるコンピュータ・システム環境を示している。スパマー２００は、スパム２０２を企業Ａ２０４および企業Ｂ２０６に送信する。実際には、スパム２０２は、多くの様々な企業に送信されるはずである。企業Ａ２０４が本発明を使用すると想定すると、スパム２０２は、１人または複数のユーザがアカウントを維持しているメール・サーバ２０８で受信される可能性がある。ユーザＡ２１０が自分のメールにアクセスすると想定すると、スパム２０２はその着信メールのリストで検出される。ユーザＡ２１０がスパム２０２をそれとして識別したことに応答して、識別されたスパム２１２はそれとしてラベルが付けられ、本発明のシグニチャ抽出段階が開始される。
【００４５】
本発明のシグニチャ抽出段階では、識別されたスパム２１２はメール・サーバ２０８によってシグニチャ抽出エンジン２１４に転送される可能性がある。シグニチャ抽出エンジン２１４によって抽出された後、識別されたスパム２１２のシグニチャはメール・サーバ２０８に返され、シグニチャ・データベース２１６に記憶される。本発明のシグニチャ走査段階では、ユーザＢ２１８およびユーザＣ２２０の着信（または発信）メッセージは、シグニチャ・データベース２１６内の抽出シグニチャ・データを使用して走査される。この場合、実質的に類似したメッセージ２２２のインスタンスは、ユーザのためにフラグが付けられるか、その受信箱から除去されるか、または送信が防止される。
【００４６】
この２通りの段階は、ユーザ全体にわたって同時かつ非同期に機能することができる。たとえば、ユーザＡは、メッセージ３を読み取って、それに望ましくないものとしてのラベルを付けながら、自分のメッセージを走査して、既知の望ましくないメッセージ１および２があるかどうかを確認している可能性がある。数分後に、ユーザＢのメッセージを走査して、望ましくないメッセージ１、２、３が存在するかどうかを確認することができる。３０分後にユーザＣは第４の望ましくないメッセージ４を発見する可能性があり、１時間後にユーザＡのメッセージをもう一度走査して、この場合は１、２、３、４が存在するかどうかを確認することができる。本発明は、アウトバウンド・メッセージならびにインバウンド・メッセージの走査に備えるものである。これは、でっちあげ、チェーン・レター、機密メッセージなど、１人のユーザから他の複数のユーザに転送されそうなタイプのメッセージについては特に有利である。転送される前に望ましくないアウトバウンド・メッセージを捕らえることは、多数の受信側になる可能性のあるものに対して送信された後でメッセージを処理することよりかなり効率のよいことである。
【００４７】
本発明の第１の段階でメッセージから抽出され、本発明の第２の段階で重複メッセージまたは類似メッセージを認識するために後で使用されるシグニチャ・データを表す好ましいデータ構造については図３に示す。当業者であれば、本発明では多少精巧なデータ構造を使用できることが分かるだろう。望ましくないメッセージは実質的に類似したメッセージのセットにクラスタ化される。１つのクラスタ内には、原型と呼ばれる１つまたは複数の変形が存在する可能性がある。多くの場合、各クラスタは単一の原型のみを含むことになる。しかし、事情によっては（特に、複数の関連変形として現れる可能性があるでっちあげの場合）、１つのメッセージのわずかな変形を同じクラスタに属すものと見なすことは有用である可能性がある。１つのクラスタ内に複数の原型があることを見込んでおくと、同じシグニチャを使用して複数の異なる変形を検出することができる。この結果、記憶の効率が高まり、走査速度がある程度高くなり、また、新しい変形がそれとして認識される可能性も高くなる。さらに、本発明のシグニチャ抽出データの精巧さは、変形を検出することと偽陽性を低減することとの間でトレードオフが行われるようにシステムを調整する際のフレキシビリティに備えるものである。
【００４８】
本発明の一実施の形態のシグニチャ・データベースは、原型Clusterのセットからなり、それぞれは固有のClusterID識別子によって区別される。各Cluster３００は２つの基本コンポーネントを有する。第１のコンポーネントはSigList３０２である。SigList３０２はSigData要素３０４のリストであり、そのそれぞれは原型Cluster３００のメンバー内で検出された特定の文字シーケンスに関する情報を含む。３つのSigData要素であるSigData1、SigData2、SigData3を示す。SigList３０２内の各SigData要素３０４は２つの部分を含む。たとえば、SigData2だけを展開する。SigData2 ３０４の第１の部分であるSig2 ３０６は、メッセージ・スキャナによってサーチされる相対的に短いテキスト・パターンである。第２の部分であるRegionList2 ３０８はSig2 ３０６に関連するRegionData要素３１０のリストであり、そのそれぞれはクラスタ内のすべての原型に含まれるより長い文字シーケンスに関する情報を含む。各RegionData要素３１０は３つの要素、すなわち、１）シグニチャの先頭から文字シーケンスの先頭までのバイト単位のオフセットであるBeginOffset３１２と、２）文字シーケンス内の文字数であるRegionLength３１４と、３）文字シーケンスのチェックサムであるＣＲＣ３１６である。
【００４９】
各Cluster３００の第２のコンポーネントはArchetypeList３１８である。ArchetypeList３１８はArchetypeData要素３２０のリストであり、そのそれぞれは特定の原型に関するデータを含む。特に、各ArchetypeData要素３２０は、１）そのフル・テキストを必要に応じて検索できるように原型メッセージの記憶コピーを指すポインタであるArchetypePtr３２２と、２）原型の本文から計算され、他のメッセージに対する全体的な類似性を測定するために使用するデータのブロックであるHashBlock３２４と、３）CaseData要素３２８のリストであり、そのそれぞれが原型のコピーが受信され、ユーザによって望ましくないものとして報告された特定のインスタンスに関するデータを含むCaseList３２６とを含むことができる。特に、各CaseData要素３２８は、１）コピーの送信側のＩＤであるSendID３３０と、２）コピーを報告した受信側のＩＤであるRecvID３３２と、３）コピーが本来受信された時刻であるRecvTime３３４とを含むことができる。
【００５０】
シグニチャ抽出
本発明のシグニチャ抽出段階の好ましい実施の形態は、図４に関連して説明するが、その間に特定の以前は未知であった望ましくない（または機密の）メッセージが導出され、複数ユーザからなるネットワークに広められる。本発明は、１人または複数のメール・ユーザを含む環境で使用することができる。メール・ユーザの数が増すにつれて、本発明の利点が増大する。ステップ４００では、第１の（アラート）ユーザがメッセージＭ１を受信する。このユーザは受信したメッセージＭ１を読み、それが広く流布されそうであり、歓迎されないものであると広く考えられそうなものである（またはそれが機密のものである）という意味で「望ましくないもの」であると考えた場合、そのユーザは、たとえば、ユーザ・インタフェース内の特別なボタンをクリックすることにより、メッセージＭ１は望ましくない（または機密の）ものとしてフラグを付けるべきであることをシステムに対して示す。任意選択で、第１に総称検出方法を使用して、ユーザがそのメッセージを望ましくないものとして識別するのを支援することができる。いずれの場合でも、ステップ４０２でそのメッセージに「望ましくないもの」としてのフラグを付けるべきであることをユーザがシステムに対して示した場合、ステップ４０４でメッセージＭ１のコピーを自動シグニチャ抽出手順に送信するかまたは入力するかあるいはその両方を行う。任意選択で、ステップ４０３では、望ましくないものとしてのメッセージの識別をいくつかの方法で確認することができる。この確認は、許可されたユーザによって行うこともできる。これは、限界数のユーザ全員がそのメッセージに望ましくないものとしてのラベルを付けた後でのみ示される可能性がある。最後に、これは、個別の自動プロセス（たとえば、スパムを検出するための総称技法を使用するもの）によって行うこともできる。メッセージが望ましくないものであるという確認が行われた場合、この方法はステップ４０４に継続するはずである。メール・システムのユーザ自身が望ましくないかまたは機密のメッセージを識別できるようにすることにより、集中オペレーション・センタにいる専門家への依存状態が回避される。
【００５１】
ステップ４０４では、メッセージＭ１を走査して、マスタ・シグニチャ・データベースＤ１に含まれるシグニチャが存在するかどうかを確認する。ステップ４０５でメッセージＭ１がマスタ・シグニチャ・データベースＤ１内のシグニチャの少なくとも１つを含むと判断された場合、ステップ４０６でそのメッセージは、そのSigコンポーネントの１つに一致シグニチャを含む各Clusterに関連する各原型と比較して、Ｄ１内のいずれかの原型との一致が存在するかどうかを判定する。比較の好ましい方法は、そのメッセージに関するHashBlockを計算することと、このHashBlockを各候補原型に関するHashBlockと比較することである。正確な原型一致が見つかった場合（たとえば、ハッシュブロック距離がゼロになると計算された場合）、一致候補のArchetypePtr３２２を使用して、そのフル・テキストを検索する。最後に、その原型およびメッセージのフル・テキストが、そのメッセージを原型のインスタンスと見なせるほど十分類似していると見なされた場合、ステップ４０８で関連CaseData情報３２８をメッセージから抽出し、その原型用のＤ１内のCaseList３２６に追加する。次に制御はステップ４１８に移行する。しかし、ステップ４０６で正確な原型一致が見つからないかまたはメッセージのフル・テキストがその原型のフル・テキストと十分に類似していると判定されなかった場合、ステップ４１０で新しい原型が既存の原型のクラスタと十分に類似しているかどうかについて判定を行い、十分類似している場合はどのクラスタであるかという判定を行う。好ましいことに、そのSigコンポーネントの１つに一致シグニチャを含む各Clusterごとに、BeginOffset３１２およびRegionLength３１４によって示される領域のチェックサムを計算することにより、そのSig３０６に関連するRegionList３０８内の各RegionData要素３１０をメッセージＭ１と比較し、そのメッセージ内のその領域のチェックサムがＣＲＣ３１６に記憶されている値に等しい場合に一致を宣言する。最長RegionLength３１４を有する一致領域を各Clusterごとに決定する。すべてのCluster内の最長RegionLength３１４が少なくとも指定の限界長に等しい場合、最長RegionLength３１４を有するClusterは、新しい原型を追加すべき原型クラスタとして識別される。したがって、ステップ４１２では、原型データを計算し、それを（すべての副構造が必須情報で充填された）新しいArchetypeData要素としてこのClusterのArchetypeListに追加する。
【００５２】
任意選択で、ステップ４１４では、そのクラスタへの新しい原型の追加を反映するために、ClusterのSigList３０２を再計算することができる。突合せアルゴリズム（接尾部アレイ・ルーチンなど）を使用してすべての原型間で見つかった１つまたは複数の文字シーケンスを識別することができ、図５に関連して以下に詳述するSigListデータの導出は、メッセージ本文全体ではなく、一般的に発生する文字シーケンスのセットにのみ適用することができる。この方法はステップ４１８に継続する。
【００５３】
ステップ４０５でメッセージＭ１がマスタ・シグニチャ・データベースＤ１内のシグニチャのいずれも含まないと判断された場合またはステップ４１０でいかなる原型クラスタも新しい原型に十分接近していないと判断された場合、この方法はステップ４１６に継続する。ステップ４１６でメッセージＭ１用に新しい原型クラスタを作成し、必須情報を含む単一のArchetypeData要素を作成してArchetypeList内に入れ、シグニチャと関連データのセットを計算してSigList内に入れる。最後に、原型Clusterにその固有のClusterIDを割り当て、そのClusterをマスタ・シグニチャ・データベースＤ１に追加する。SigList内のシグニチャは、他のメッセージで見つかりそうもない文字シーケンスを選択する自動シグニチャ抽出手順によって自動的に計算される。この手順の好ましい方法に関する詳細については図５に関連して以下に示す。シグニチャは、そのメッセージ自体またはそのメッセージの前処理バージョンで見つかる複数文字からなるシーケンスまたはより一般的には複数文字からなるパターンで構成することができる。これには、メッセージ全体またはその一部分あるいはその両方のチェックサム、そのメッセージの１回または複数回の変換から導出されるチェックサムまたはその他の圧縮データ・ストリングなどの追加情報が付随する可能性がある。この追加情報は、図３に示す各シグニチャに関連するRegionList３０８に記憶することができる。
【００５４】
最後に、ステップ４１８では、ステップ４０８、４１４、または４１６でマスタ・シグニチャ・データベースＤ１に対して適用された更新を反映するために、１つまたは複数の個別ユーザ・ノードに対応するローカル・シグニチャ・データベースを更新する。これは、ローカル・データベースがマスタ・シグニチャ・データベースの正確な複製であることを保証するための標準的なデータベース更新または複写技法を使用するか、あるいは異なるローカル・シグニチャ・データベース間で様々になる可能性のある１組の基準に応じてシグニチャおよび関連補助データを選択的に送信するかまたは選択的に受信して取り入れることによって達成することができる。
【００５５】
SigListデータの導出
次に、ステップ４１４および４１６で使用する、所与の原型メッセージに関するSigListデータを抽出または計算するための手順の好ましい実施の形態について図５に関連して説明する。第１に、ステップ５００では、メッセージのコーパス内で選択した限界長より小さいかまたはそれに等しいすべてのバイト・シーケンスのオカレンスの回数を数える。好ましい実施の形態では、限界長は３であり、すなわち、１バイト、２バイト、３バイトのすべてのシーケンス（それぞれ１グラム、２グラム、３グラムという）のオカレンスの回数を数える。ステップ５０１では、数えたオカレンスの回数をｎグラム度数データベースに圧縮形式で記憶する。ｎグラム度数データベースは、わずか数メガバイトのデータベースを必要とする。このデータベースはそのユーザが受信したアーカイブ対象メッセージからなるコーパスから個別に各ユーザごとに計算することができ、あるいは汎用データベースは複数のユーザから選別された総称メッセージからなる標準的なコーパスから計算することもできる。この汎用データベースは、ユーザ全体にわたって配布することもできる。また、このデータベースは定期的に更新することもできる。データベースが本来生成される場所およびそれが更新される頻度に関する詳細は、シグニチャ抽出手順の残りのステップに何の関係もない。
【００５６】
ステップ５０２では、そこからシグニチャを抽出すべきメッセージＭ２の本文を分離する。ステップ５０４では、すべての非英数字を除去し、すべての上段シフト文字をその下段シフト・バージョンで置き換えることにより（図６を参照）、抽出した本文を「不変」形式に変換する。次に、ステップ５０６では、典型的なメッセージで見つからない可能性が高い文字からなる１つまたは複数のシーケンスを識別する。この１つまたは複数のシーケンスは１つまたは複数のシグニチャを構成する。ありそうもない文字シーケンスの識別は、参照により本明細書に組み込まれ、１９９５年９月１９日に発行された「Methods and Apparatus for Evaluating and Extracting Signatures of Computer Viruses and Other Undesirable Software Entities」という名称の米国特許第５４５２４４２号（４４２特許）に記載された方法によって実施することができる。この方法は、本来、コンピュータ・ウィルス・シグニチャの自動抽出に適用されたものである。メッセージから取られる複数の候補シグニチャを選択し、ｎグラム度数データベースからのそれぞれのｎグラム統計について、各候補シグニチャが無作為の普通のメール・メッセージに現れる可能性を推定するために４４２特許で見られる式を使用してそれらを結合する。普通のメール・メッセージに現れる可能性が最も低い１つまたは複数の候補シグニチャを選択する。
【００５７】
ひとまとめにして考えると、ステップ５０２、５０４、５０６は、図３でSig３０６というラベルが付けられたテキスト・ストリング要素の導出を記述するものである。任意選択で、Sig３０６に関連するRegionData３１０のリストを計算することによって、偽陽性率をさらに低減することができる。これは、各導出シグニチャごとに以下の手順によってステップ５０８で達成することができる。それぞれがそのシグニチャを含む文字シーケンスからなる「領域」のシリーズを選択する。好ましい実施の形態では、このシリーズは、シグニチャ上のほぼ中心に位置し、シグニチャの長さの約２倍である第１の領域と、第１の領域を含み、第１の領域のサイズのほぼ２倍である第２の領域と、シリーズ内の最終領域が変換済みのメッセージ本文全体からなるまでの以下同様の領域からなる。各領域ごとに、その領域の長さおよびその領域の文字シーケンスのチェックサムとともに、そのシグニチャの第１の文字からその第１の文字までのオフセット（通常は負の整数）を記録する。これらの３つの要素はその領域のRegionData３１０を構成する。チェックサムは、巡回冗長検査などの都合のよい方法を使用することができ、好ましいことに少なくとも３２ビットにしなければならない。
【００５８】
HashBlockデータの導出
次に、ステップ４１２および４１６で要求されたように所与のメッセージに関するHashBlockデータを計算するための方法の好ましい実施の形態について説明する。第１に、メッセージ本文を変換する。この変換は、シグニチャ抽出の前にメッセージ本文に対して適用される変換（ステップ５０４）と同じにするかまたはそれとは異なるものにすることができる。たとえば、HashBlockを計算するために変換済みのメッセージ本文にブランク・スペースを保持すること以外は、これらの変換を同一のものにすることもできる。次に、変換済みのメッセージ本文を小さい個別ユニットに分割するが、これらのユニット同士はオーバラップする場合もあれば、オーバラップしない場合もある。たとえば、個別ユニットはいずれも連続５文字のシーケンス（オーバラップする）である場合もあれば、オーバラップしない「ワード」（ブランク・スペースによって区切られた個別ユニット）である場合もある。オーバラップしないユニットの方が好ましい。各個別ユニットごとに、ハッシュ関数はそのユニットを小さい整数のハッシュ値（たとえば、０〜２５５の範囲内）にマッピングする。ハッシュ値カウントのアレイは保たれ、特定のハッシュ値が計算されるたびに、その値のカウントが１だけ増分される。カウント数の上限が１５に定められている場合あるいはそれがモジュロ１６で計算される（すなわち、１６で割ったときに、記録された数が実際の数の剰余になる）場合、各カウントごとに４ビットだけが必要であり、２５６通りのハッシュ値からなるアレイはちょうど１２８バイトのHashBlockとして表すことができる。ただし、変更の回数が多すぎなければ、このHashBlockはワードの追加、削除、再配置に対して相対的に鈍感になることに留意されたい。
【００５９】
シグニチャ・データベースの剪定
マスタおよびローカルのシグニチャ・データベースが無制限に増大するのを防止するために、これらのデータベースを定期的に剪定して、最近のインスタンスがまったく報告されていないClusterデータを除去することができる。好ましいことに、周期的間隔で（たとえば、毎日）マスタ・シグニチャ・データベース内の各Clusterを検査する。そのクラスタ構造内のすべてのRecvTime要素３３４を現在時と比較し、いずれかの指定の日時より最近のものがまったくない場合、そのCluster全体をマスタ・シグニチャ・データベースから除去する。このクラスタの除去はすべてのローカル・シグニチャ・データベースに連絡され、このクラスタを含むものはどれでもそれを除去することができる。
【００６０】
シグニチャ走査
本発明のシグニチャ走査段階では、１人または複数のユーザのメッセージを走査して、望ましくない（または機密の）ものとしてラベルが付けられた特定のメッセージが存在する可能性があるかどうかを確認する。数百人、数千人、または数百万人ものユーザを本発明によって保護することができるが、個別の「第２のユーザ」に焦点を合わせることが最も都合のよいことである。この走査手順ではローカル・シグニチャ・データベースを使用するが、これは新しい望ましくないメッセージが他のユーザによって発見されるにつれて引き続いて更新され、特定のユーザに固有のものにするかまたは複数ユーザによって共用することができる。この走査は、定期的に行うか、あるいはユーザによる要求または何らかの他の事象（最後の走査以降にローカル・シグニチャ・データベースが更新されたという通知など）に応答して行うことができる。さらに、この走査は、様々なユーザについて様々な時期に様々な状況で行うことができる。メッセージが電子メールである典型的な場合には、走査は好ましいことにユーザの受信箱内の項目にのみ適用されるが、ユーザがそのように希望する場合には他の指定のフォルダにも適用することができる。
【００６１】
走査手順の好ましい実施の形態について図６に関連して説明する。ステップ６０２では、走査すべきメッセージＭ２の本文を抽出する。次にステップ６０４では、メッセージ本文をステップ５０４で適用されたものと同じ不変形式に変換する。ステップ６０６では、メッセージ本文の不変形式を走査して、ローカル・シグニチャ・データベースＤ２に含まれるシグニチャのいずれかとの正確な一致または接近した一致があるかどうかを確認するが、このデータベースＤ２は１つまたは複数のマスタ・シグニチャ・データベース内のClusterデータ構造の全部または一部から構築されたものである。いかなるシグニチャも見つからない場合、メッセージは望ましくない（または機密の）ものと見なされないので、プロセスは終了する。
【００６２】
しかし、ステップ６０６で１つまたは複数のシグニチャが見つかった場合、ステップ６０８で関連のRegionData要素３１０に含まれる補助情報を使用して、１つまたは複数の既知の望ましくないメッセージに対する一致度を査定する。具体的には、メッセージに現れる各シグニチャSig３０６ごとに、Sig３０６が現れるすべてのClusterを順に検討する。このような各Cluster３００ごとに、Sig３０６に関連するRegionList３０８を検討する。第１に、走査したメッセージ内の対応する領域のチェックサムを計算することにより、最大RegionLength３１４を有するRegionData要素３１０を検査する。チェックサムがこのRegionData要素３１０に関するＣＲＣ３１６と一致する場合、RegionData要素３１０および関連のClusterIDをBestRegionDataElementsというリストに追加し、次のClusterを検討する。チェックサムが一致しない場合、次に長いRegionLength３１４を有するRegionData要素３１０を同じ方法で比較し、一致チェックサムが見つかるまで以下同様に比較する。RegionData要素３１０間に一致チェックサムがまったく存在しない場合、そのシグニチャ自体および関連のClusterIDをBestRegionDataElementsリストに追加し、次のClusterを検討する。
【００６３】
ステップ６１０では、局所性保存ハッシュ関数を使用して、走査したメッセージのHashBlockを計算する。走査したメッセージのHashBlockを、ステップ６０６で見つかった一致シグニチャの１つを含む各ClusterのHashBlockと比較し、このような各Clusterごとに類似性を計算する。この類似性の計算では妥当な測定基準を使用することができる。２つのHashBlock（Ｈ１およびＨ２）に関する好ましい類似性測定基準では、それぞれを２５６要素のアレイとして扱い、それぞれの要素は４ビットとして表され、アレイ要素間の差の絶対値を合計する。すなわち、類似性Ｓは以下の式によって示される。
【数１】
これは、アレイ要素の上限が１６に定められている場合である。その代わりとして、以下の式によって示される。
【数２】
これは、アレイ要素がモジュロ１６で記憶される場合である。
【００６６】
ClusterIDおよび類似性ＳをHashBlockSimilarityというリストに追加し、ステップ６０６で見つかった一致シグニチャの１つを含むClusterがこれ以上存在しなくなるまで、次のClusterを検討する。
【００６７】
ステップ６１２では、ステップ６０８から導出したBestRegionDataElementsリストと、ステップ６１０から導出したHashBlock類似性リストと、１組のユーザ・プリファレンスとを組み合わせて、一致の程度またはレベルを決定する。ユーザ・プリファレンスは、HashBlock類似性に関する１つまたは複数のしきい値と、RegionLength３１４に関する１つまたは複数のしきい値と、BestRegionDataElementsリストおよびHashBlockSimilarityリストで参照されるClusterのMsgDataコンポーネントの様々な態様に関する条件とで構成することができる。典型的な応用例では、ユーザ・プリファレンスは、選択した場合は高度なユーザによって指定変更が可能な何らかのデフォルト設定に設定することができる。
【００６８】
明示的な一例として、完全、高、中、低という４通りの別々の一致レベルがあると想定する。この場合、ユーザ・プリファレンスの妥当なセットとしては以下のものが考えられる。完全と見なすべき一致レベルの場合、それに関するHashBlock類似性距離がゼロであり、そのCluster用のMsgList内の少なくとも２人のユーザがそのユーザと同じＥメール・ドメイン内のRecvID３３２を有するようなClusterが存在しなければならない。そうではない場合、高と見なすべき一致レベルの場合、それに関するHashBlock類似性距離が５未満であるかまたはBestRegionDataElements内の最長領域長が少なくとも５００文字であり、そのCluster用のMsgList内の少なくとも２人のユーザがそのユーザと同じＥメール・ドメイン内のRecvID３３２を有するようなClusterが存在しなければならない。そうではない場合、中と見なすべき一致レベルの場合、それに関する最長領域長が少なくとも１００文字であり、そのMsgList内に少なくとも２人の別々のユーザが存在し、ドメインまたは他の特徴に関する制限がまったくないようなClusterが存在しなければならない。そうではない場合、一致レベルは低と見なすべきである。
【００６９】
ステップ６１４では、ステップ６１２で決定した一致レベルに対してそのユーザのプリファレンスのセット内のもう１組の規則を適用して、適切な応答を決定し、実施する。適切な応答としては、メッセージを自動的に削除すること、ユーザの受信箱内でのその外観を変更すること（たとえば、それに注釈を付けるかまたはカラー化することによる）、それを特別なフォルダ内に記憶することなどを含むことができる。たとえば、一致レベルが完全である場合、ユーザは、そのメールが自動的に削除されるはずであると示すことができ、一致レベルが高である場合、そのメールは特別な「推定スパム」フォルダ内に置かれるはずであり、一致レベルが中である場合、受信箱内に現れるメールの要約は緑色でカラー表示されるはずであり、メッセージ本文の前には、そのメッセージが望ましくないメールの既知のインスタンスに密接に関連すると思われる理由を示す簡単な説明が付けられるはずである。また、ユーザのプリファレンスは、その一致レベルにかかわらず、望ましくないものと見なすべきではない特定のメッセージ（その管理者またはその企業の最高経営責任者から送信されたものなど）も指定することができる。
【００７０】
任意選択で、望ましくないメッセージが発見された場合、ステップ６１６ではその望ましくないメッセージの新しいインスタンスに関する情報によってマスタ・シグニチャ・データベースを更新することができる。この更新は、発見時に行われる場合もあれば、あるいはそのメッセージが望ましくないものであることをユーザが確認した後でのみ行われる場合もある。たとえば、完全な一致の場合、この情報は、望ましくないメッセージに関するCaseData３２８（すなわち、送信側および受信側のＩＤならびに受信時刻）で構成することができる。この情報は、ローカルで抽出して、マスタ・シグニチャ・データベースの所在地に送信することもでき、そこに取り入れられるはずである。一致レベルが高または中の場合、メッセージ全体がマスタ・シグニチャ・データベースの所在地に送信される可能性があり、それがステップ４０４でシグニチャ抽出段階に入り、そこで新しい原型を作成してそれを適切な原型クラスタに入れようという試みが行われるはずである。
【図面の簡単な説明】
【図１】本発明の教示を実施するためのコンピュータ・システムのブロック図である。
【図２】本発明の一実施の形態が適用されるシステム環境の概略図である。
【図３】本発明の一実施の形態のシグニチャ・データ構造の概略図である。
【図４】本発明の一実施の形態のシグニチャ抽出段階の流れ図である。
【図５】本発明の一実施の形態のシグニチャ抽出手順の詳細の流れ図である。
【図６】本発明の一実施の形態のシグニチャ走査段階の流れ図である。
【符号の説明】
１０ システム
１２ システム・バス
１４ 中央演算処理装置（ＣＰＵ）
１５ シグニチャ抽出モジュールおよび走査／フィルタ・モジュール
１６ ランダム・アクセス・メモリ（ＲＡＭ）
１８ 端末制御サブシステム
２０ ディスプレイ装置
２２ 手動入力装置
２４ ハード・ディスク制御サブシステム
２６ 回転固定ディスクまたはハード・ディスク
２８ フロッピー・ディスク制御サブシステム
３０ フロッピー・ディスク・ドライブ
３２ 通信サブシステム
Claims (1)
- 複数ユーザからなるネットワーク内で望ましくない電子メッセージの送信または受信を妨害するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムがコンピュータに、
少なくとも１つの特定の電子メッセージが望ましくないという通知を少なくとも１人のユーザから受信することに応答して、当該少なくとも１つの特定の電子メッセージまたはその変形の検出を可能にするシグニチャを自動的に抽出するステップと、
少なくとも１人のユーザからの１つまたは複数のインバウンド・メッセージまたはアウトバウンド・メッセージあるいはその両方を走査して前記少なくとも１つの特定の電子メッセージまたはその変形が存在するかどうかを確認する走査ステップとを実行させ、
前記走査ステップが、
前記インバウンド・メッセージまたはアウトバウンド・メッセージのメッセージ本文を抽出するステップと、
前記メッセージ本文の非英数字を除去し且つ当該メッセージ本文の上段シフト文字をその下段シフト文字で置き換えることにより、当該メッセージ本文を不変形式に変換するステップと、
前記不変形式に変換した前記メッセージ本文を走査して前記抽出したシグニチャに対する正確な一致または接近した一致があるかどうかを確認するステップと、
各一致ごとに一致のレベルを決定する決定ステップとを含み、
前記決定ステップが、
各一致ごとに、前記抽出したシグニチャに関連する前記少なくとも１つの特定の電子メッセージにおいて位置及び長さをそれぞれ指定され且つ当該抽出したシグニチャを包含する文字シーケンスからなる領域のチェックサムが、前記走査したメッセージ本文の対応する領域のチェックサムと一致するかどうかを検出し、複数の領域のチェックサムが一致する場合は、最長の領域の一致を検出する検出ステップと、
前記走査したメッセージ本文のハッシュブロックと前記抽出したシグニチャに関連する前記少なくとも１つの特定の電子メッセージのそれぞれのハッシュブロックの間のハッシュブロックの類似性を計算する計算ステップと、
１つまたは複数のユーザ・プリファレンスを受信する受信ステップと、
前記検出ステップ、前記計算ステップ、および前記受信ステップに応答して、一致のレベルを決定するステップとを含む、
コンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/289023 | 1999-04-09 | ||
| US09/289,023 US6732149B1 (en) | 1999-04-09 | 1999-04-09 | System and method for hindering undesired transmission or receipt of electronic messages |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008271957A Division JP4708466B2 (ja) | 1999-04-09 | 2008-10-22 | 望ましくない電子メッセージの送信または受信を妨害するための方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000353133A JP2000353133A (ja) | 2000-12-19 |
| JP4250300B2 true JP4250300B2 (ja) | 2009-04-08 |
Family
ID=23109681
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000105418A Expired - Fee Related JP4250300B2 (ja) | 1999-04-09 | 2000-04-06 | 望ましくない電子メッセージの送信または受信を妨害するためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2008271957A Expired - Fee Related JP4708466B2 (ja) | 1999-04-09 | 2008-10-22 | 望ましくない電子メッセージの送信または受信を妨害するための方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008271957A Expired - Fee Related JP4708466B2 (ja) | 1999-04-09 | 2008-10-22 | 望ましくない電子メッセージの送信または受信を妨害するための方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6732149B1 (ja) |
| JP (2) | JP4250300B2 (ja) |
| GB (1) | GB2350747B (ja) |
Families Citing this family (218)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6643686B1 (en) * | 1998-12-18 | 2003-11-04 | At&T Corp. | System and method for counteracting message filtering |
| US6714967B1 (en) * | 1999-07-30 | 2004-03-30 | Microsoft Corporation | Integration of a computer-based message priority system with mobile electronic devices |
| US7194681B1 (en) * | 1999-07-30 | 2007-03-20 | Microsoft Corporation | Method for automatically assigning priorities to documents and messages |
| US6360221B1 (en) | 1999-09-21 | 2002-03-19 | Neostar, Inc. | Method and apparatus for the production, delivery, and receipt of enhanced e-mail |
| US9092535B1 (en) | 1999-09-21 | 2015-07-28 | Google Inc. | E-mail embedded textual hyperlink object |
| US7840639B1 (en) * | 1999-09-21 | 2010-11-23 | G&H Nevada-Tek | Method and article of manufacture for an automatically executed application program associated with an electronic message |
| US6460050B1 (en) * | 1999-12-22 | 2002-10-01 | Mark Raymond Pace | Distributed content identification system |
| US7707252B1 (en) * | 2000-05-12 | 2010-04-27 | Harris Technology, Llc | Automatic mail rejection feature |
| US7032023B1 (en) | 2000-05-16 | 2006-04-18 | America Online, Inc. | Throttling electronic communications from one or more senders |
| US20040073617A1 (en) | 2000-06-19 | 2004-04-15 | Milliken Walter Clark | Hash-based systems and methods for detecting and preventing transmission of unwanted e-mail |
| US9699129B1 (en) * | 2000-06-21 | 2017-07-04 | International Business Machines Corporation | System and method for increasing email productivity |
| US6408277B1 (en) | 2000-06-21 | 2002-06-18 | Banter Limited | System and method for automatic task prioritization |
| US7725587B1 (en) * | 2000-08-24 | 2010-05-25 | Aol Llc | Deep packet scan hacker identification |
| US7711790B1 (en) * | 2000-08-24 | 2010-05-04 | Foundry Networks, Inc. | Securing an accessible computer system |
| US7644057B2 (en) * | 2001-01-03 | 2010-01-05 | International Business Machines Corporation | System and method for electronic communication management |
| EP1368739A4 (en) * | 2001-02-12 | 2007-07-04 | Emc Corp | SYSTEM AND METHOD FOR INDEXING UNIQUE ELECTRONIC MESSAGES AND USES THEREOF |
| GB2373130B (en) * | 2001-03-05 | 2004-09-22 | Messagelabs Ltd | Method of,and system for,processing email in particular to detect unsolicited bulk email |
| US7681032B2 (en) * | 2001-03-12 | 2010-03-16 | Portauthority Technologies Inc. | System and method for monitoring unauthorized transport of digital content |
| US20050025291A1 (en) * | 2001-03-12 | 2005-02-03 | Vidius Inc. | Method and system for information distribution management |
| US8478824B2 (en) | 2002-02-05 | 2013-07-02 | Portauthority Technologies Inc. | Apparatus and method for controlling unauthorized dissemination of electronic mail |
| US6928465B2 (en) * | 2001-03-16 | 2005-08-09 | Wells Fargo Bank, N.A. | Redundant email address detection and capture system |
| US7092993B2 (en) * | 2001-03-20 | 2006-08-15 | Bernel Goldberg | Method and system for customizing e-mail transmissions based on content detection |
| US7209951B2 (en) * | 2001-03-20 | 2007-04-24 | Bernel Goldberg | Method and system for modifying the content of e-mail transmissions based on customization settings |
| DE10115428A1 (de) * | 2001-03-29 | 2002-10-17 | Siemens Ag | Verfahren zum Erkennen einer unerwünschten E-Mail |
| FI111779B (fi) * | 2001-03-30 | 2003-09-15 | Elisa Comm Oyj | Menetelmä yhteydenottojen hallitsemiseksi |
| US8095597B2 (en) * | 2001-05-01 | 2012-01-10 | Aol Inc. | Method and system of automating data capture from electronic correspondence |
| US7849141B1 (en) | 2001-06-14 | 2010-12-07 | Apple Inc. | Training a computer storage system for automatic filing of data using graphical representations of storage locations |
| US7640305B1 (en) * | 2001-06-14 | 2009-12-29 | Apple Inc. | Filtering of data |
| US7673342B2 (en) * | 2001-07-26 | 2010-03-02 | Mcafee, Inc. | Detecting e-mail propagated malware |
| US7487544B2 (en) * | 2001-07-30 | 2009-02-03 | The Trustees Of Columbia University In The City Of New York | System and methods for detection of new malicious executables |
| US7117533B1 (en) | 2001-08-03 | 2006-10-03 | Mcafee, Inc. | System and method for providing dynamic screening of transient messages in a distributed computing environment |
| US6993660B1 (en) * | 2001-08-03 | 2006-01-31 | Mcafee, Inc. | System and method for performing efficient computer virus scanning of transient messages using checksums in a distributed computing environment |
| US7100208B2 (en) * | 2001-09-25 | 2006-08-29 | Siemens Communications, Inc. | Method and apparatus for source-based message authorization and rejection |
| US7433923B2 (en) * | 2001-10-03 | 2008-10-07 | Reginald Adkins | Authorized email control system |
| US8176125B2 (en) | 2002-02-22 | 2012-05-08 | Access Company, Ltd. | Method and device for processing electronic mail undesirable for user |
| US7130887B2 (en) | 2002-04-18 | 2006-10-31 | Bernel Goldberg | Method and system for generating separate e-mail transmissions to copied recipients for providing additional information |
| US20030229672A1 (en) * | 2002-06-05 | 2003-12-11 | Kohn Daniel Mark | Enforceable spam identification and reduction system, and method thereof |
| US8046832B2 (en) * | 2002-06-26 | 2011-10-25 | Microsoft Corporation | Spam detector with challenges |
| US7908330B2 (en) | 2003-03-11 | 2011-03-15 | Sonicwall, Inc. | Message auditing |
| US8924484B2 (en) * | 2002-07-16 | 2014-12-30 | Sonicwall, Inc. | Active e-mail filter with challenge-response |
| US8396926B1 (en) * | 2002-07-16 | 2013-03-12 | Sonicwall, Inc. | Message challenge response |
| US7539726B1 (en) * | 2002-07-16 | 2009-05-26 | Sonicwall, Inc. | Message testing |
| US20060031298A1 (en) * | 2002-07-22 | 2006-02-09 | Tadashi Hasegawa | Electronic mail server, electronic mail delivery relaying method, and computer program |
| US20040054733A1 (en) * | 2002-09-13 | 2004-03-18 | Weeks Richard A. | E-mail management system and method |
| US20040068543A1 (en) * | 2002-10-03 | 2004-04-08 | Ralph Seifert | Method and apparatus for processing e-mail |
| US7359930B2 (en) * | 2002-11-21 | 2008-04-15 | Arbor Networks | System and method for managing computer networks |
| US7533148B2 (en) * | 2003-01-09 | 2009-05-12 | Microsoft Corporation | Framework to enable integration of anti-spam technologies |
| US7725544B2 (en) * | 2003-01-24 | 2010-05-25 | Aol Inc. | Group based spam classification |
| US7089241B1 (en) * | 2003-01-24 | 2006-08-08 | America Online, Inc. | Classifier tuning based on data similarities |
| US7406502B1 (en) | 2003-02-20 | 2008-07-29 | Sonicwall, Inc. | Method and system for classifying a message based on canonical equivalent of acceptable items included in the message |
| US8266215B2 (en) | 2003-02-20 | 2012-09-11 | Sonicwall, Inc. | Using distinguishing properties to classify messages |
| US7299261B1 (en) | 2003-02-20 | 2007-11-20 | Mailfrontier, Inc. A Wholly Owned Subsidiary Of Sonicwall, Inc. | Message classification using a summary |
| US7249162B2 (en) * | 2003-02-25 | 2007-07-24 | Microsoft Corporation | Adaptive junk message filtering system |
| US7219148B2 (en) * | 2003-03-03 | 2007-05-15 | Microsoft Corporation | Feedback loop for spam prevention |
| US7543053B2 (en) * | 2003-03-03 | 2009-06-02 | Microsoft Corporation | Intelligent quarantining for spam prevention |
| US20060168006A1 (en) * | 2003-03-24 | 2006-07-27 | Mr. Marvin Shannon | System and method for the classification of electronic communication |
| US7680886B1 (en) * | 2003-04-09 | 2010-03-16 | Symantec Corporation | Suppressing spam using a machine learning based spam filter |
| US7483947B2 (en) * | 2003-05-02 | 2009-01-27 | Microsoft Corporation | Message rendering for identification of content features |
| US7590695B2 (en) | 2003-05-09 | 2009-09-15 | Aol Llc | Managing electronic messages |
| US20050132197A1 (en) * | 2003-05-15 | 2005-06-16 | Art Medlar | Method and apparatus for a character-based comparison of documents |
| US7293063B1 (en) * | 2003-06-04 | 2007-11-06 | Symantec Corporation | System utilizing updated spam signatures for performing secondary signature-based analysis of a held e-mail to improve spam email detection |
| US7272853B2 (en) * | 2003-06-04 | 2007-09-18 | Microsoft Corporation | Origination/destination features and lists for spam prevention |
| US7711779B2 (en) * | 2003-06-20 | 2010-05-04 | Microsoft Corporation | Prevention of outgoing spam |
| US7519668B2 (en) * | 2003-06-20 | 2009-04-14 | Microsoft Corporation | Obfuscation of spam filter |
| US8533270B2 (en) * | 2003-06-23 | 2013-09-10 | Microsoft Corporation | Advanced spam detection techniques |
| US7739602B2 (en) | 2003-06-24 | 2010-06-15 | Aol Inc. | System and method for community centric resource sharing based on a publishing subscription model |
| CA2545916C (en) | 2003-11-12 | 2015-03-17 | The Trustees Of Columbia University In The City Of New York | Apparatus method and medium for detecting payload anomaly using n-gram distribution of normal data |
| US20050108337A1 (en) * | 2003-11-14 | 2005-05-19 | Electronic Data Systems Corporation | System, method, and computer program product for filtering electronic mail |
| JP3758661B2 (ja) * | 2003-11-17 | 2006-03-22 | 株式会社インテリジェントウェイブ | 不正監視プログラム、不正監視の方法及び不正監視システム |
| US20050120019A1 (en) * | 2003-11-29 | 2005-06-02 | International Business Machines Corporation | Method and apparatus for the automatic identification of unsolicited e-mail messages (SPAM) |
| US7730137B1 (en) * | 2003-12-22 | 2010-06-01 | Aol Inc. | Restricting the volume of outbound electronic messages originated by a single entity |
| US7613172B2 (en) * | 2003-12-24 | 2009-11-03 | Watchguard Technologies, Inc. | Method and apparatus for controlling unsolicited messaging |
| US7548956B1 (en) * | 2003-12-30 | 2009-06-16 | Aol Llc | Spam control based on sender account characteristics |
| US7590694B2 (en) * | 2004-01-16 | 2009-09-15 | Gozoom.Com, Inc. | System for determining degrees of similarity in email message information |
| US8301702B2 (en) * | 2004-01-20 | 2012-10-30 | Cloudmark, Inc. | Method and an apparatus to screen electronic communications |
| US7257571B2 (en) * | 2004-01-26 | 2007-08-14 | Microsoft Corporation | Automatic query clustering |
| US8886727B1 (en) | 2004-01-27 | 2014-11-11 | Sonicwall, Inc. | Message distribution control |
| US9471712B2 (en) | 2004-02-09 | 2016-10-18 | Dell Software Inc. | Approximate matching of strings for message filtering |
| US7613923B2 (en) * | 2004-02-25 | 2009-11-03 | Watchguard Technologies, Inc. | Method and apparatus for controlling unsolicited messaging in real time messaging networks |
| US8799164B2 (en) | 2004-02-26 | 2014-08-05 | David C Reardon | Financial transaction system with integrated electronic messaging, control of marketing data, and user defined charges for receiving messages |
| US8346660B2 (en) | 2004-02-26 | 2013-01-01 | David C. Reardon | System and method for two-way transfer of funds and electronic content between summa account users with gathering of behavioral metrics and management of multiple currencies and escrow accounts |
| US20090119159A1 (en) * | 2007-10-31 | 2009-05-07 | David C. Reardon | System and Method for Transferring Funds to Recipients of Electronic Messages |
| US7873572B2 (en) * | 2004-02-26 | 2011-01-18 | Reardon David C | Financial transaction system with integrated electronic messaging, control of marketing data, and user defined charges for receiving messages |
| US8214438B2 (en) * | 2004-03-01 | 2012-07-03 | Microsoft Corporation | (More) advanced spam detection features |
| US7631044B2 (en) | 2004-03-09 | 2009-12-08 | Gozoom.Com, Inc. | Suppression of undesirable network messages |
| US8918466B2 (en) * | 2004-03-09 | 2014-12-23 | Tonny Yu | System for email processing and analysis |
| US7644127B2 (en) * | 2004-03-09 | 2010-01-05 | Gozoom.Com, Inc. | Email analysis using fuzzy matching of text |
| US7613777B2 (en) * | 2004-03-11 | 2009-11-03 | Microsoft Corporation | Rapidly obtaining a subset of message data from a server for filtering |
| US20050204006A1 (en) * | 2004-03-12 | 2005-09-15 | Purcell Sean E. | Message junk rating interface |
| US20050204005A1 (en) * | 2004-03-12 | 2005-09-15 | Purcell Sean E. | Selective treatment of messages based on junk rating |
| JPWO2005101770A1 (ja) * | 2004-04-05 | 2008-03-06 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | 迷惑メール処理装置およびその方法 |
| US7873695B2 (en) * | 2004-05-29 | 2011-01-18 | Ironport Systems, Inc. | Managing connections and messages at a server by associating different actions for both different senders and different recipients |
| US7664819B2 (en) * | 2004-06-29 | 2010-02-16 | Microsoft Corporation | Incremental anti-spam lookup and update service |
| US20060031325A1 (en) * | 2004-07-01 | 2006-02-09 | Chih-Wen Cheng | Method for managing email with analyzing mail behavior |
| US7904517B2 (en) * | 2004-08-09 | 2011-03-08 | Microsoft Corporation | Challenge response systems |
| US7660865B2 (en) * | 2004-08-12 | 2010-02-09 | Microsoft Corporation | Spam filtering with probabilistic secure hashes |
| US7454778B2 (en) | 2004-09-30 | 2008-11-18 | Microsoft Corporation | Enforcing rights management through edge email servers |
| US20060095966A1 (en) * | 2004-11-03 | 2006-05-04 | Shawn Park | Method of detecting, comparing, blocking, and eliminating spam emails |
| US7574409B2 (en) * | 2004-11-04 | 2009-08-11 | Vericept Corporation | Method, apparatus, and system for clustering and classification |
| EP1672936B1 (en) * | 2004-12-16 | 2018-12-05 | Sony Mobile Communications Inc. | Prevention of unsolicited messages |
| US20060168056A1 (en) * | 2004-12-20 | 2006-07-27 | Yahoo!, Inc. | System and method for providing improved access to SPAM-control feature in mail-enabled application |
| US7577709B1 (en) | 2005-02-17 | 2009-08-18 | Aol Llc | Reliability measure for a classifier |
| US9288078B2 (en) * | 2005-03-25 | 2016-03-15 | Qualcomm Incorporated | Apparatus and methods for managing content exchange on a wireless device |
| MY165346A (en) * | 2005-05-03 | 2018-03-21 | E Lock Corp Sdn Bhd | Internet security |
| US8874658B1 (en) * | 2005-05-11 | 2014-10-28 | Symantec Corporation | Method and apparatus for simulating end user responses to spam email messages |
| US7930353B2 (en) * | 2005-07-29 | 2011-04-19 | Microsoft Corporation | Trees of classifiers for detecting email spam |
| US20070124582A1 (en) * | 2005-08-07 | 2007-05-31 | Marvin Shannon | System and Method for an NSP or ISP to Detect Malware in its Network Traffic |
| WO2007045049A1 (en) * | 2005-10-21 | 2007-04-26 | Boxsentry Pte Limited | Electronic message authentication |
| US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
| US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
| US10949773B2 (en) | 2005-10-26 | 2021-03-16 | Cortica, Ltd. | System and methods thereof for recommending tags for multimedia content elements based on context |
| US9529984B2 (en) | 2005-10-26 | 2016-12-27 | Cortica, Ltd. | System and method for verification of user identification based on multimedia content elements |
| US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
| US9218606B2 (en) | 2005-10-26 | 2015-12-22 | Cortica, Ltd. | System and method for brand monitoring and trend analysis based on deep-content-classification |
| US9191626B2 (en) | 2005-10-26 | 2015-11-17 | Cortica, Ltd. | System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto |
| US10191976B2 (en) | 2005-10-26 | 2019-01-29 | Cortica, Ltd. | System and method of detecting common patterns within unstructured data elements retrieved from big data sources |
| US9953032B2 (en) | 2005-10-26 | 2018-04-24 | Cortica, Ltd. | System and method for characterization of multimedia content signals using cores of a natural liquid architecture system |
| US10380164B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for using on-image gestures and multimedia content elements as search queries |
| US9747420B2 (en) | 2005-10-26 | 2017-08-29 | Cortica, Ltd. | System and method for diagnosing a patient based on an analysis of multimedia content |
| US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
| US8312031B2 (en) | 2005-10-26 | 2012-11-13 | Cortica Ltd. | System and method for generation of complex signatures for multimedia data content |
| US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
| US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
| US9477658B2 (en) | 2005-10-26 | 2016-10-25 | Cortica, Ltd. | Systems and method for speech to speech translation using cores of a natural liquid architecture system |
| US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
| US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
| US9031999B2 (en) | 2005-10-26 | 2015-05-12 | Cortica, Ltd. | System and methods for generation of a concept based database |
| US11620327B2 (en) | 2005-10-26 | 2023-04-04 | Cortica Ltd | System and method for determining a contextual insight and generating an interface with recommendations based thereon |
| US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
| US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
| US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
| US10635640B2 (en) | 2005-10-26 | 2020-04-28 | Cortica, Ltd. | System and method for enriching a concept database |
| US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
| US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
| US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
| US11361014B2 (en) | 2005-10-26 | 2022-06-14 | Cortica Ltd. | System and method for completing a user profile |
| US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
| US10360253B2 (en) | 2005-10-26 | 2019-07-23 | Cortica, Ltd. | Systems and methods for generation of searchable structures respective of multimedia data content |
| US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
| US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
| US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
| US8266185B2 (en) | 2005-10-26 | 2012-09-11 | Cortica Ltd. | System and methods thereof for generation of searchable structures respective of multimedia data content |
| US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
| US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
| US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
| US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US10698939B2 (en) | 2005-10-26 | 2020-06-30 | Cortica Ltd | System and method for customizing images |
| US10535192B2 (en) | 2005-10-26 | 2020-01-14 | Cortica Ltd. | System and method for generating a customized augmented reality environment to a user |
| US11386139B2 (en) | 2005-10-26 | 2022-07-12 | Cortica Ltd. | System and method for generating analytics for entities depicted in multimedia content |
| US9767143B2 (en) | 2005-10-26 | 2017-09-19 | Cortica, Ltd. | System and method for caching of concept structures |
| US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
| US20170300486A1 (en) * | 2005-10-26 | 2017-10-19 | Cortica, Ltd. | System and method for compatability-based clustering of multimedia content elements |
| US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
| US8065370B2 (en) | 2005-11-03 | 2011-11-22 | Microsoft Corporation | Proofs to filter spam |
| US20070192490A1 (en) * | 2006-02-13 | 2007-08-16 | Minhas Sandip S | Content-based filtering of electronic messages |
| US8903763B2 (en) | 2006-02-21 | 2014-12-02 | International Business Machines Corporation | Method, system, and program product for transferring document attributes |
| US20080059590A1 (en) * | 2006-09-05 | 2008-03-06 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method to filter electronic messages in a message processing system |
| US10733326B2 (en) | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
| US8224905B2 (en) | 2006-12-06 | 2012-07-17 | Microsoft Corporation | Spam filtration utilizing sender activity data |
| US7890589B2 (en) | 2007-01-04 | 2011-02-15 | Research In Motion Limited | System and method for providing information on a received communication for an electronic communication device |
| ATE461500T1 (de) | 2007-01-04 | 2010-04-15 | Research In Motion Ltd | System und verfahren zur bereitstellung von information auf einem empfangenen kommunikationssignal für eine elektronische kommunikationsvorrichtung |
| JP2007115279A (ja) * | 2007-01-19 | 2007-05-10 | Fuji Xerox Co Ltd | 電子メール装置 |
| US20080201722A1 (en) * | 2007-02-20 | 2008-08-21 | Gurusamy Sarathy | Method and System For Unsafe Content Tracking |
| US9083556B2 (en) * | 2007-05-31 | 2015-07-14 | Rpx Clearinghouse Llc | System and method for detectng malicious mail from spam zombies |
| JP5094487B2 (ja) * | 2008-03-17 | 2012-12-12 | 三菱電機株式会社 | 情報漏洩検査装置及びコンピュータプログラム及び情報漏洩検査方法 |
| US8180838B2 (en) * | 2008-08-29 | 2012-05-15 | Microsoft Corporation | Efficiently managing modular data storage systems |
| US8321942B1 (en) * | 2009-03-12 | 2012-11-27 | Symantec Corporation | Selecting malware signatures based on malware diversity |
| JP4756285B2 (ja) | 2009-04-23 | 2011-08-24 | 独立行政法人産業技術総合研究所 | 荷電変換用デバイス |
| US8925087B1 (en) * | 2009-06-19 | 2014-12-30 | Trend Micro Incorporated | Apparatus and methods for in-the-cloud identification of spam and/or malware |
| JP5427497B2 (ja) * | 2009-07-09 | 2014-02-26 | 株式会社日立製作所 | メールゲートウェイ |
| US8447818B2 (en) * | 2009-07-24 | 2013-05-21 | International Business Machines Corporation | Partially and completely duplicative messages handling |
| US8458268B1 (en) * | 2010-02-22 | 2013-06-04 | Symantec Corporation | Systems and methods for distributing spam signatures |
| US9406048B2 (en) * | 2010-07-07 | 2016-08-02 | Mark Meister | Email system for preventing inadvertant transmission of propriety message or documents to unintended recipient |
| US9589254B2 (en) | 2010-12-08 | 2017-03-07 | Microsoft Technology Licensing, Llc | Using e-mail message characteristics for prioritization |
| US8577876B2 (en) * | 2011-06-06 | 2013-11-05 | Met Element, Inc. | System and method for determining art preferences of people |
| JP2012069125A (ja) * | 2011-10-13 | 2012-04-05 | Message Level Llc | 勝手に送り付けてくる好ましくない電子メッセージの検出およびフィルタリングを行うシステムと方法 |
| JP5870677B2 (ja) * | 2011-12-21 | 2016-03-01 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
| US9130778B2 (en) * | 2012-01-25 | 2015-09-08 | Bitdefender IPR Management Ltd. | Systems and methods for spam detection using frequency spectra of character strings |
| US8954519B2 (en) | 2012-01-25 | 2015-02-10 | Bitdefender IPR Management Ltd. | Systems and methods for spam detection using character histograms |
| WO2014028860A2 (en) * | 2012-08-17 | 2014-02-20 | Opera Solutions, Llc | System and method for matching data using probabilistic modeling techniques |
| WO2014203296A1 (ja) * | 2013-06-21 | 2014-12-24 | 株式会社野村総合研究所 | 情報処理装置、電子メール閲覧制限方法、コンピュータプログラムおよび情報処理システム |
| US11195043B2 (en) | 2015-12-15 | 2021-12-07 | Cortica, Ltd. | System and method for determining common patterns in multimedia content elements based on key points |
| US11037015B2 (en) | 2015-12-15 | 2021-06-15 | Cortica Ltd. | Identification of key points in multimedia data elements |
| US10320726B2 (en) * | 2016-08-10 | 2019-06-11 | International Business Machines Corporation | Predictive message personalization |
| US11760387B2 (en) | 2017-07-05 | 2023-09-19 | AutoBrains Technologies Ltd. | Driving policies determination |
| WO2019012527A1 (en) | 2017-07-09 | 2019-01-17 | Cortica Ltd. | ORGANIZATION OF DEPTH LEARNING NETWORKS |
| US20190327127A1 (en) * | 2018-04-23 | 2019-10-24 | Entit Software Llc | Information technology event management |
| US10846544B2 (en) | 2018-07-16 | 2020-11-24 | Cartica Ai Ltd. | Transportation prediction system and method |
| US10715475B2 (en) * | 2018-08-28 | 2020-07-14 | Enveloperty LLC | Dynamic electronic mail addressing |
| US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
| US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
| US11181911B2 (en) | 2018-10-18 | 2021-11-23 | Cartica Ai Ltd | Control transfer of a vehicle |
| US11126870B2 (en) | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
| US11244176B2 (en) | 2018-10-26 | 2022-02-08 | Cartica Ai Ltd | Obstacle detection and mapping |
| US10748038B1 (en) | 2019-03-31 | 2020-08-18 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
| US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
| US10958585B2 (en) | 2018-12-31 | 2021-03-23 | Juniper Networks, Inc. | Methods and apparatus for facilitating fault detection and/or predictive fault detection |
| US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
| US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
| US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
| US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
| US12055408B2 (en) | 2019-03-28 | 2024-08-06 | Autobrains Technologies Ltd | Estimating a movement of a hybrid-behavior vehicle |
| US10796444B1 (en) | 2019-03-31 | 2020-10-06 | Cortica Ltd | Configuring spanning elements of a signature generator |
| US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
| US10789527B1 (en) | 2019-03-31 | 2020-09-29 | Cortica Ltd. | Method for object detection using shallow neural networks |
| US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
| US11138059B2 (en) | 2019-09-25 | 2021-10-05 | Juniper Networks, Inc. | Log analysis in vector space |
| US10748022B1 (en) | 2019-12-12 | 2020-08-18 | Cartica Ai Ltd | Crowd separation |
| US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
| US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
| US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
| US11756424B2 (en) | 2020-07-24 | 2023-09-12 | AutoBrains Technologies Ltd. | Parking assist |
| US12049116B2 (en) | 2020-09-30 | 2024-07-30 | Autobrains Technologies Ltd | Configuring an active suspension |
| CN114415163A (zh) | 2020-10-13 | 2022-04-29 | 奥特贝睿技术有限公司 | 基于摄像头的距离测量 |
| US12257949B2 (en) | 2021-01-25 | 2025-03-25 | Autobrains Technologies Ltd | Alerting on driving affecting signal |
| US12139166B2 (en) | 2021-06-07 | 2024-11-12 | Autobrains Technologies Ltd | Cabin preferences setting that is based on identification of one or more persons in the cabin |
| US12110075B2 (en) | 2021-08-05 | 2024-10-08 | AutoBrains Technologies Ltd. | Providing a prediction of a radius of a motorcycle turn |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3210692A1 (de) * | 1982-03-20 | 1983-09-22 | Norbert Dipl.-Phys. Dr. 1000 Berlin Röder | Spielwuerfel |
| GB9220404D0 (en) * | 1992-08-20 | 1992-11-11 | Nat Security Agency | Method of identifying,retrieving and sorting documents |
| JP2501771B2 (ja) * | 1993-01-19 | 1996-05-29 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 不所望のソフトウェア・エンティティの複数の有効なシグネチャを得る方法及び装置 |
| US5619648A (en) * | 1994-11-30 | 1997-04-08 | Lucent Technologies Inc. | Message filtering techniques |
| US5826022A (en) * | 1996-04-05 | 1998-10-20 | Sun Microsystems, Inc. | Method and apparatus for receiving electronic mail |
| JP3489331B2 (ja) * | 1996-04-19 | 2004-01-19 | 株式会社豊田中央研究所 | 情報選択音声出力装置 |
| US6453327B1 (en) | 1996-06-10 | 2002-09-17 | Sun Microsystems, Inc. | Method and apparatus for identifying and discarding junk electronic mail |
| US5883640A (en) * | 1996-08-15 | 1999-03-16 | Hsieh; Paul | Computing apparatus and operating method using string caching to improve graphics performance |
| US6144934A (en) * | 1996-09-18 | 2000-11-07 | Secure Computing Corporation | Binary filter using pattern recognition |
| US6173364B1 (en) * | 1997-01-15 | 2001-01-09 | At&T Corp. | Session cache and rule caching method for a dynamic filter |
| US5897637A (en) * | 1997-03-07 | 1999-04-27 | Apple Computer, Inc. | System and method for rapidly identifying the existence and location of an item in a file |
| US5877759A (en) * | 1997-03-26 | 1999-03-02 | Netscape Communications Corporation | Interface for user/agent interaction |
| JP3062119B2 (ja) * | 1997-06-20 | 2000-07-10 | 日本電気アイシーマイコンシステム株式会社 | 文字列探索用テーブル、その作成方法及び文字列探索方法 |
| JPH1115756A (ja) | 1997-06-24 | 1999-01-22 | Omron Corp | 電子メール判別方法及び装置並びに記憶媒体 |
| JP3168949B2 (ja) * | 1997-08-06 | 2001-05-21 | 村田機械株式会社 | 電子メール機能付通信端末装置 |
| US6249805B1 (en) * | 1997-08-12 | 2001-06-19 | Micron Electronics, Inc. | Method and system for filtering unauthorized electronic mail messages |
| US5999967A (en) * | 1997-08-17 | 1999-12-07 | Sundsted; Todd | Electronic mail filtering by electronic stamp |
| US6199102B1 (en) * | 1997-08-26 | 2001-03-06 | Christopher Alan Cobb | Method and system for filtering electronic messages |
| US6023723A (en) * | 1997-12-22 | 2000-02-08 | Accepted Marketing, Inc. | Method and system for filtering unwanted junk e-mail utilizing a plurality of filtering mechanisms |
| US6052709A (en) | 1997-12-23 | 2000-04-18 | Bright Light Technologies, Inc. | Apparatus and method for controlling delivery of unsolicited electronic mail |
| US5999932A (en) * | 1998-01-13 | 1999-12-07 | Bright Light Technologies, Inc. | System and method for filtering unsolicited electronic mail messages using data matching and heuristic processing |
| JPH11252158A (ja) | 1998-02-27 | 1999-09-17 | Seiko Epson Corp | 電子メール情報管理方法及び装置並びに電子メール情報管理処理プログラムを記録した記録媒体 |
| US6073167A (en) * | 1998-03-18 | 2000-06-06 | Paratran Corporation | Distribution limiter for network messaging |
| GB9811574D0 (en) * | 1998-05-30 | 1998-07-29 | Ibm | Indexed file system and a method and a mechanism for accessing data records from such a system |
| US6161130A (en) * | 1998-06-23 | 2000-12-12 | Microsoft Corporation | Technique which utilizes a probabilistic classifier to detect "junk" e-mail by automatically updating a training and re-training the classifier based on the updated training set |
| US6167434A (en) * | 1998-07-15 | 2000-12-26 | Pang; Stephen Y. | Computer code for removing junk e-mail messages |
| US6240409B1 (en) * | 1998-07-31 | 2001-05-29 | The Regents Of The University Of California | Method and apparatus for detecting and summarizing document similarity within large document sets |
| US6085321A (en) * | 1998-08-14 | 2000-07-04 | Omnipoint Corporation | Unique digital signature |
| US6330590B1 (en) * | 1999-01-05 | 2001-12-11 | William D. Cotten | Preventing delivery of unwanted bulk e-mail |
-
1999
- 1999-04-09 US US09/289,023 patent/US6732149B1/en not_active Expired - Lifetime
-
2000
- 2000-03-30 GB GB0007562A patent/GB2350747B/en not_active Expired - Fee Related
- 2000-04-06 JP JP2000105418A patent/JP4250300B2/ja not_active Expired - Fee Related
-
2008
- 2008-10-22 JP JP2008271957A patent/JP4708466B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6732149B1 (en) | 2004-05-04 |
| JP4708466B2 (ja) | 2011-06-22 |
| GB2350747B (en) | 2004-09-22 |
| JP2000353133A (ja) | 2000-12-19 |
| GB0007562D0 (en) | 2000-05-17 |
| GB2350747A (en) | 2000-12-06 |
| JP2009104606A (ja) | 2009-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4250300B2 (ja) | 望ましくない電子メッセージの送信または受信を妨害するためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US10042919B2 (en) | Using distinguishing properties to classify messages | |
| US7664812B2 (en) | Phonetic filtering of undesired email messages | |
| US7930351B2 (en) | Identifying undesired email messages having attachments | |
| EP1877905B1 (en) | Identifying threats in electronic messages | |
| US8321512B2 (en) | Method and software product for identifying unsolicited emails | |
| US7197539B1 (en) | Automated disablement of disposable e-mail addresses based on user actions | |
| US7406506B1 (en) | Identification and filtration of digital communications | |
| US6772196B1 (en) | Electronic mail filtering system and methods | |
| US20060095966A1 (en) | Method of detecting, comparing, blocking, and eliminating spam emails | |
| US20050015626A1 (en) | System and method for identifying and filtering junk e-mail messages or spam based on URL content | |
| EP1376420A1 (en) | Method and system for classifying electronic documents | |
| US20060149820A1 (en) | Detecting spam e-mail using similarity calculations | |
| JP4500285B2 (ja) | スパム除去方法 | |
| Al Abid | Designing Spam Filtering by Analyzing User and Email Behaviour |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040528 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050408 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080924 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S202 | Request for registration of non-exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R315201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |