CN100437544C - 自适应垃圾消息过滤系统和用于数据过滤的方法 - Google Patents

自适应垃圾消息过滤系统和用于数据过滤的方法 Download PDF

Info

Publication number
CN100437544C
CN100437544C CNB2003801091949A CN200380109194A CN100437544C CN 100437544 C CN100437544 C CN 100437544C CN B2003801091949 A CNB2003801091949 A CN B2003801091949A CN 200380109194 A CN200380109194 A CN 200380109194A CN 100437544 C CN100437544 C CN 100437544C
Authority
CN
China
Prior art keywords
filtrator
rate
message
user
vacation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003801091949A
Other languages
English (en)
Other versions
CN1742266A (zh
Inventor
R·L·朗特瓦特
J·T·古德曼
D·E·黑克尔曼
J·C·普拉特
C·M·卡迪厄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1742266A publication Critical patent/CN1742266A/zh
Application granted granted Critical
Publication of CN100437544C publication Critical patent/CN100437544C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/212—Monitoring or handling of messages using filtering or selective blocking

Abstract

本发明涉及一种用于过滤消息的系统——该系统包括一种子过滤器，它具有与其相关联的假肯定率和假否定率。还提供用于过滤消息的新过滤器，该新过滤器是根据种子过滤器的假肯定率和假否定率来评估的，使用用于确定种子过滤器假肯定率和假否定率的数据，来根据阈值确定新过滤器的新假肯定率和新假否定率。如果对该新过滤器存在阈值，使得新假肯定率和新假否定率被一同认为优于种子过滤器的假肯定和假否定率，则使用该新过滤器。

Description

自适应垃圾消息过滤系统和用于数据过滤的方法
相关申请的参照
本申请涉及以下专利和专利申请，其全部内容通过引用包括在此：美国专利第6,161,130号，题为“TECHNIQUE WHICH UTILIZES A PROBABILISTIC CLASSIFIERTO DETECT JUNK E-MAIL BY AUTOMATICALLY UPDATING A TRAINING AND RE-TRAININGTHE CLASSIFIER BASED ON THE UPDATING TRAINING SET”(通过自动更新训练和基于更新训练组重新训练分类器，使用概率分类器来检测垃圾电子邮件的技术)；于1999年11月23日提交的美国专利申请第09/448,408号(代理卷号124243.01)，题为“CLASSIFICATION SYSTEM TRAINER EMPLOYING MAXIMUM MARGINBACK-PROPAGATION WITH PROBABILISTIC OUTPUTS”(使用具有概率输出的最大边缘后向传播的分类系统训练器)；以及于2002年10月23日提交的美国专利申请第10/278,591号(代理卷号1150749.1)，题为“METHOD AND SYSTEM FOR IDENTIFYINGJUNK E-MAIL”(识别垃圾电子邮件的方法和系统)。
技术领域
本发明涉及识别非期望的信息(例如垃圾邮件)的系统和方法，尤其涉及帮助便于此类识别的自适应过滤器。
发明背景
诸如因特网之类的全球通信网络的出现提供了与大量潜在顾客建立联系的商业契机。电子消息通信，尤其是电子邮件(“e-mail”)，作为向网络用户散布讨厌的广告与促销(也称“垃圾邮件”)的手段越来越普遍。
Radicati集团有限公司-一家咨询与市场研究公司，估计如在2002年8月，每天有20亿垃圾电子邮件消息被发送——预期此数字每两年增至三倍。个人与实体(例如公司、政府机构、……)感觉日益不便，并时常不胜垃圾邮件之烦。同样地，垃圾电子邮件如今或即将成为对于可信计算的主要威胁。
一种用于阻碍垃圾电子邮件的关键技术是使用过滤系统/方法。一种已经证实的过滤技术是基于机器学习方法——机器学习过滤器向传入消息分配该消息为垃圾邮件的概率。在此方法中，通常从两类示例消息(例如垃圾和非垃圾邮件消息)中提取特征，并应用学习过滤器在两类间进行概率区分。因为许多消息特征涉及内容(例如在消息主题和/或正文内的单词和短语)，此类过滤器通常被称作“基于内容的过滤器”。
某些垃圾邮件/兜售信息过滤器是自适应的，这是重要的，因为多语言的用户及使用小语种语言的用户需要能适应其特殊需求的过滤器。此外，不是所有用户都能在什么是或不是垃圾邮件/兜售信息上取得一致。因此，通过使用可隐式地训练的(例如，经由观察用户行为)过滤器，各过滤器可被动态地度身定制以满足用户的特定消息识别需求。
过滤自适应的一种方法是请求用户将消息标记为垃圾邮件和非垃圾邮件。不幸的是，归因于与此类训练相关联的复杂性，此类手工密集训练技术是不受许多用户欢迎的，更不必说正确地实现此类训练所需的时间量。另一种自适应过滤器训练方法是使用隐式训练提示。例如，如果用户回复或转发邮件，该方法假设该邮件是非垃圾邮件。然而，仅使用此类消息提示将统计偏差引入到训练过程中，导致较低相应准确率的过滤器。
又一种方法是将所有用户的电子邮件用于训练，其中初始标签是由现有过滤器分配的，且用户有时用显式提示——例如，选择诸如“作为垃圾邮件删除”和“非垃圾邮件”等的选项——覆盖那些分配(例如“用户纠正”方法)，和/或用隐式提示覆盖那些分配。尽管此类方法优于前面讨论的技术，与以下进行描述和要求保护的本发明相比，它仍是不完善的。
发明内容
为了提供对本发明的某些方面的基本理解，下文给出本发明的简化概述。此概述不是本发明广泛综述。它并不试图标识本发明的关键/决定性元素，也不试图描绘本发明的范畴。它唯一的目的是以简单的形式提出本发明的一些概念，作为对稍后给出的更详尽描述的序言。
本发明提供一种便于使用最适合识别垃圾邮件/兜售信息的可用过滤器(例如种子过滤器或新过滤器)的系统和方法。本发明使用一种过滤消息的种子过滤器，它与假肯定率(例如非垃圾邮件被错误地分类为垃圾邮件)和假否定率(例如，垃圾邮件被错误地分类为非垃圾邮件)相关联。还使用一种新过滤器以过滤消息——该新过滤器是根据与种子过滤器相关联的假肯定率和假否定率来评估的。使用用于确定种子过滤器的假肯定率和假否定率的数据来根据阈值确定新过滤器的新的假肯定和假否定率。
如果对于新过滤器存在阈值，使得新假肯定率和新假否定率一起被认为优于种子过滤器的假肯定和假否定率，则使用该新过滤器以代替种子过滤器。新假肯定率和新假否定率是根据由用户标记为垃圾和非垃圾邮件(例如经由使用用户纠正过程)的消息来确定的。用户纠正过程包括覆盖消息的初始分类，初始分类是当用户接收该消息时由种子过滤器自动执行的。阈值可以是单阈值，或从多个生成的阈值中选出。如果使用了多个值，则选中的阈值可通过选择例如符合条件的阈值(例如具有最低假肯定率的阈值，或基于p*效益函数使用户的期望效益最大化的阈值)范围的中点阈值来确定。或者，仅当在选中阈值处，新过滤器的假肯定和假否定率至少和种子过滤器的假肯定和假否定率一样好，且其中一个更好时，才选中该阈值。此外，可提供选择标准，从而仅当不但在选中阈值处，而且在其它附近的阈值处，新过滤器率都优于种子过滤器率时，才选中该新过滤器。
本发明的另一方面提供便于数据过滤的图形用户界面。该界面提供同与配置过滤器有关的配置系统通信的过滤器接口。该界面提供多个用户可选过滤器级别，包括默认、增强、及专有中的至少一个。该界面提供便于实现本发明的前述系统和方法的各种工具。
为达成前述及相关目的，本文结合以下描述与附图描述了本发明的某些说明性方面。然而，这些方面仅指示了可使用本发明原理的各种方法中的少数几种，本发明旨在包括所有此类方面及其等效方面。当结合附图考虑时，本发明的其它优点与新颖的特征将从以下对本发明的具体描述中变得显而易见。
附图说明
图1所示是根据本发明的过滤器系统的通用框图。
图2所示是关于捕获率的性能折衷的图表。
图3所示是根据本发明的方法的流程图。
图4A和4B示出根据本发明，用于配置自适应垃圾邮件过滤系统的示例性用户界面。
图5所示是使用本发明的消息处理体系结构的通用框图。
图6示出根据本发明的技术，具有便于多用户登录和过滤传入消息的一个或多个客户计算机的系统。
图7示出根据本发明，在消息服务器上执行初始过滤，并在一个或多个客户上执行二次过滤的系统。
图8所示是用于大规模实现的自适应过滤系统的框图。
图9所示是用于执行所揭示的体系结构的计算机的框图。
具体实施方式
现参考附图描述本发明，图中始终用相同的参考标号指相同的元素。在以下描述中，为解释起见，阐述了大量具体细节，以提供对本发明的彻底理解。然而，显然可以不用这些具体细节来实施本发明。在其它例子中，为了便于描述本发明，以框图形式示出公知的结构和设备。
如在本发明中所用的，术语“组件”和“系统”指的是计算机有关的实体，它们或者是硬件、硬件和软件的组合、软件、或者执行中的软件。例如，组件可以是，但不限于，运行于处理器上的进程、处理器、对象、可执行码、执行线程、程序和/或计算机。作为说明，在服务器上运行的应用程序及该服务器都可以是组件。一个或多个组件可驻留在进程和/或执行线程内，且组件可位于一台计算机上和/或分布在两台或多台计算机之间。
本发明可结合各种与垃圾邮件过滤有关的推论方案和/或技术。如本文中所用的，术语“推论”一般指从一组经由事件和/或数据捕捉的观察中推理或推断系统、环境、和/或用户的状态的过程。例如，推论可用于识别具体上下文或行为，或可生成状态的概率分布。推论可以是概率性的——即，基于对数据和事件的考虑计算感兴趣的状态的概率分布。推论也可指用于从一组事件和/或数据组成高级事件的技术。此类推论导致从一组所观察的事件和/或所存储的事件数据中构造新事件或行动，无论各事件是否在时间上紧密相关，也无论各事件和数据是来自一个还是数个事件和数据源。
应当理解，尽管贯穿此说明书大量使用术语消息，此类术语不限于电子邮件本身，而是可被恰当地改编以包括可分布在任何适当的通信体系结构上的任何形式的电子消息。例如，便于两人或多人之间的会议的会议应用程序(例如，交互式聊天程序，以及即时消息通信程序)也可利用本文所揭示的过滤的益处，因为讨厌的文本可在用户交换消息时被电子地散布到正常的聊天消息中，和/或作为开始消息、结束消息或以上所有消息被插入。在此特定应用程序中，为了捕捉非期望的内容(例如商业广告、推销、或广告)并将其标记为垃圾邮件，可将过滤器配置成自动过滤特定消息内容(文本和图像)。
现参考图1，示出根据本发明的垃圾消息检测系统100。系统100接收传入消息流102，可过滤该消息流以便于垃圾消息检测和移除。消息102被接收到过滤器控制组件104内，该组件可取决于根据依照本发明自适应方面确定的过滤标准，在第一过滤器106(例如种子过滤器)和第二过滤器108(例如，新过滤器)间路由消息。因此，如果确定第一过滤器106在检测垃圾消息时足够有效，将不会使用第二过滤器108，且过滤器控制104将继续将消息102路由到第一过滤器106。然而，如果确定第二过滤器108至少和第一过滤器106一样有效，过滤器控制104可决定将消息102路由到第二过滤器108。用于作出此类确定的标准在下文详细描述。最初使用时，过滤器系统100可被配置成预定的默认过滤器设置，从而消息102将被路由到第一过滤器106以供过滤(例如，常见于当第一过滤器106是随特定产品发货的显式训练的种子过滤器时)。
基于第一过滤器106的设置，将询问接收到第一过滤器106中的消息，以找出与垃圾数据相关联的垃圾信息。垃圾信息可包括，但不限于以下：诸如源IP地址、发信人名字、发信人电子邮件地址、发信人域名、以及标识符字段中莫名其妙的字母数字串等的发信人信息(来自因发送垃圾邮件而出名的发信人)；诸如“loan(租借)”、“sex(性)”、“rate(估价)”、“limited offer(有限出售)”、“buy now(现在购买)”等的常用于垃圾邮件中的消息文本词语和短语；诸如字体大小、字体颜色、特殊字符使用等的消息文本特征；以及弹出广告的嵌入链接。可至少部分地基于预定及动态确定的垃圾邮件标准来确定垃圾数据。还询问消息以找出“好”数据，诸如“weather(天气)”和“team(团队)”等通常不出现在垃圾邮件，或来自因只发送好邮件而出名的发信人或发信人IP的电子邮件中的单词。应当理解，如果最初产品在不带种子过滤器的情况下发货，没有任何确定的过滤标准，则所有消息未经标记地通过第一过滤器106进入用户收件箱112(亦指示第一过滤器的输出)。应当理解，收件箱112可以仅是驻留在各种位置(例如，服务器、大容量存储单元、客户计算机、分布式网络……)的数据存储。此外，应当理解，第一过滤器106和/或第二过滤器108可由多个用户/组件使用，且收件箱112可被分区以为各用户/组件单独存储消息。此外，系统100可使用多个次级过滤器108，从而对于特定任务使用各次级过滤器中最合适的一个。本发明的这些方面在下文详细讨论。
当用户审阅邮箱消息时，某些消息会被确定为垃圾邮件，而其它不会。这是部分地基于由用户例如通过按某个按钮，来显式地标记垃圾邮件或非垃圾邮件，以及经由通过与特定消息相关联的用户行动，隐式地标记消息。可基于例如以下用户行动或消息处理，来隐式地确定消息不是垃圾邮件：消息被阅读且留在收件箱中；消息被阅读并被转发；消息被阅读并放在除垃圾文件夹以外的任何文件夹中；消息被回复；或者用户打开并编辑该消息。其它用户行动也可被定义成与非垃圾消息相关联。可基于例如一周时间未阅读消息，或者未阅读即将消息删除，来隐式地确定消息是垃圾邮件。从而系统100经由用户纠正组件114监视这些用户行动(或消息处理)。这些用户行动或消息处理可被预配置到用户纠正组件114中，从而当用户起初审阅消息并对其执行行动时，系统100可开始为第一过滤器106逐渐形成假肯定率和假否定率数据。实质上任何未预配置到用户纠正块114的用户行动(或消息处理)将自动允许“未知”消息未经标记地通到过滤器输出112，直到系统100自适应以针对此类消息类型。应当理解，本文中所用的术语“用户”旨在包括：一个人、一群人、一个组件以及人和组件的组合。
当用户收件箱112中的消息被当作未标记的消息接收，但实际上是垃圾消息时，系统100将此作为假否定数据值处理。用户纠正组件114随即将此假否定信息反馈给过滤器控制组件104，作为用于确定第一过滤器106效率的数据值。另一方面，如果当消息实际不是垃圾消息时第一过滤器106将其标记为垃圾邮件，则系统100将此作为假肯定数据值处理。用户纠正组件114随即将此假肯定信息反馈给过滤器控制104，作为用于确定第一过滤器106的有效性的数据点。因而，当用户纠正用户收件箱112中收到的消息时，就为第一过滤器106逐渐形成了假否定和假肯定数据。
系统100判定对第二过滤器108是否存在阈值，从而其假肯定和假否定率低于(例如，在可接受概率内)第一过滤器106的假肯定和假否定率。假如这样的话，则系统100选择可接受的阈值之一。当假肯定率一样好，且假否定率较佳时，或当假否定率一样好，且假肯定率较佳时，系统也可选择第二过滤器。因而，本发明可判定对第二过滤器108是否存在阈值(及该阈值应为何值)，该阈值在可接受概率内，保证第二过滤器提供关于垃圾邮件检测的相等或较佳效用，而不论特定用户的效用函数及用户是否确实纠正了第一过滤器106的错误。
基于由于用户对假肯定和假否定率的确认而对新训练的需求，系统100训练新(或第二)过滤器108。更具体地，系统100使用经由用户纠正方法确定的，以垃圾邮件和非垃圾邮件标签标记的数据。使用此数据，为第一(例如，现有或种子)过滤器106确定假肯定(例如，非垃圾消息被错误地标记为垃圾)率和假否定(例如，垃圾消息被错误地标记为非垃圾)率。同样的数据用于学习(或“训练”)新(例如，第二)过滤器108——该数据也用于根据阈值确定第二过滤器的假肯定和假否定率。因为评估数据和用于训练第二过滤器的数据是一样的，较佳地使用如以下详细讨论的交叉确认方法——交叉确认对本领域技术人员是公知的。如果确定第二组数据至少和第一组一样好，则启用第二过滤器108。控制组件104随即将所有传入消息路由到第二过滤器108，直到率比较过程确定应将过滤转移回目前有较佳过滤效用的第一过滤器106。
本发明一个特定方面依赖于两个前提。第一前提是第一验证(例如，用户纠正)不包含错误(例如，用户未将非垃圾消息当作垃圾删除)。在此前提下，数据标签尽管不总是正确的，但“至少”和由第一过滤器106所分配的标签“一样正确”。因而，如果根据此类标签，第二过滤器108具有不低于现有过滤器的效用，则第二过滤器108真正的期望效用不可能劣于第一过滤器106的效用。第二前提是期望较低的假肯定和假否定率。根据此类前提，如果第二过滤器108的两个差错率都不大于第一过滤器106的两个差错率，那么对于垃圾邮件检测，第二过滤器108至少和第一过滤器106一样好，而不管用户的特定效用函数如何。
第二过滤器108可能不总是和第一过滤器一样有效的原因之一是与第一过滤器106相比，第二过滤器基于较少的数据。第一过滤器106可以是具有从其它用户的数据生成的种子数据的“种子”过滤器。本质上，大多数(如果不是所有)自适应过滤器都带有种子过滤器发货，从而提供给用户能识别典型垃圾电子邮件消息的过滤器配置，而不会要求用户配置过滤器——这为缺乏经验的计算机用户提供了很好的“脱离困境”的体验。第二过滤器108可能不总是和第一过滤器106一样有效的另一个原因更为微妙。它取决于两个事实：过滤器不是完美的，且可能未被校准。将依次讨论这些事实，然后将回到确定第二过滤器108是否较佳的问题上。
现参考图2，所示是关于捕获率(被正确标记的垃圾邮件的百分比，等于1减去假否定率)和假肯定率(被标记为垃圾邮件的非垃圾邮件的百分比)的性能折衷的图表。如本文所指出，并应为本领域技术人员所理解的，没有一个过滤器是完美的。因此在识别与捕获更多垃圾消息与偶然将非垃圾邮件消息误标记为垃圾邮件之间存在折衷。在称作接收者一操作者曲线(ROC)200的附图内描绘了此性能折衷(本文也称准确率)。该曲线上的每个点对应于一不同折衷。用户通过调整概率阈值来选择过滤器的“操作点”，或者该概率阈值可以是预设的。当消息是垃圾邮件(如过滤器所认为的)的概率p超过此阈值，则该消息被标记为垃圾邮件。因而，如果用户决定以准确率高的方式(例如，与被正确地标记的消息相比，假肯定的数量很低)操作，那么曲线200上的操作点离原点较近。例如，如果用户选择ROC 200上的操作点A，则假肯定率大约为0.0007，且关于被正确地标记的消息的数量的对应y轴值大约为0.45。用户将有0.45/0.0007＝643的四舍五入的过滤器准确率，即，大约每643个被正确地标记的消息中有1个假肯定消息。另一方面，如果操作点在点B，则计算出较低准确率在大约0.72/0.01＝72，或者说大约每72个被正确标记的消息中有1个假肯定。
不同的用户将以决策论的语言，对于他们个人的唯一偏好集来不同地作出此类折衷，不同的人对于垃圾消息过滤有不同的效用函数。例如，一类用户可能不关心非垃圾消息的不正确标记，并且未能捕获N个垃圾消息。对于此类中的用户，可经由以下关系式定义对于垃圾邮件的最优概率阈值(p*)
p*＝N/(N+1)
其中，N是消息数量，且N可在每类用户间变化。
因而，称此类中的用户有“p*效用函数”。有了这一理解，如果用户有p*效用函数，且如果第二过滤器被校准，那么可自动选择最优阈值——即，该阈值应被设为p*。另一类用户可能不希望超过他/她的X％的非垃圾电子邮件被标记为垃圾邮件。对于这些用户，最优阈值取决于第二过滤器108分配给消息的概率的分布。
第二个观点是可能可以被校准，也可能不能被校准。校准的过滤器有如下性质：当它以概率p确定一组电子邮件消息是垃圾邮件时，那么那些消息中的p个将会是垃圾邮件。许多机器学习方法生成校准的过滤器，前提是用户严谨地纠正了现有过滤器的错误。如果用户仅仅有时(例如少于80％)纠正错误，则过滤器很可能未被校准——这些过滤器对于不正确的标签是已校准的，但对于正确的标签则是未校准的。本发明另一方面提供判定对第二过滤器108是否存在阈值(及该阈值应为何值)的手段，该阈值保证与第一过滤器相比，第二过滤器向用户提供相等或更好的效用，而不论用户的效用函数及用户是否严谨地纠正了现有过滤器106的错误。
现参考图3，所示是根据本发明一个方面的过程的流程图。尽管为解释简单起见，该方法被示意并描述为一系列动作，然而应当理解，本发明不受动作次序的限制，因为根据本发明，某些动作可按不同顺序发生，和/或与本文示出及描述的其它动作同时发生。例如，本领域技术人员将理解，方法能被替换地表示成诸如状态图中的一系列相互关联的状态或事件。并且，并非所有示出的行为都是实现根据本发明的方法所必须的。
该基本方法依赖于两个假定。一个假定是用户的纠正不包含错误(一个错误的例子是用户将非垃圾邮件的消息当作垃圾邮件删除)。在此类假定下，数据上的标签，尽管不总是正确的，但“至少”和由第一/种子过滤器所分配的标签“一样正确”。因而，如果根据这些标签，第二过滤器具有不低于现有过滤器的效用，则第二过滤器真正的期望效用不劣于第一过滤器的效用。第二假设是所有用户都更喜欢较低的假肯定和假否定率。在此假设下，如果第二过滤器的两个差错率都不高于第一过滤器的两个差错率，那么第二过滤器不劣于第一过滤器，而不管用户的特定效用函数如何。
在300，向第一和第二过滤器提供与其接口(例如，改变设置、及全面控制过滤器的设置和配置)的手段。在302，第一过滤器被配置成根据一个或多个过滤器设置来自动过滤传入消息。这些设置可包括由制造商提供的默认设置。一旦收到了经过滤的消息(例如，到收件箱中)，则在304审阅这些消息，并判定(例如经由用户纠正方法)哪些非垃圾消息被错误地标记为垃圾邮件(例如，假肯定)及哪些垃圾消息未被标记为垃圾邮件(例如假否定)。在304，可通过隐式或显示地将假否定消息标记为垃圾邮件，以及移除假肯定消息的标签使之成为非垃圾邮件，来执行用户纠正功能。此类用户纠正功能通过确定其假肯定和假否定率数据，来为第一过滤器提供准确率。在308，根据第一过滤器106的用户纠正数据来训练第二过滤器。同样的数据随即被用于根据阈值确定第二过滤器的假肯定和假否定率，如310所示。在312，确定阈值。判定对第二过滤器是否存在阈值，从而相关联的假肯定和假否定率低于第一过滤器的假肯定和假否定率(在某一合理概率内)。即，如在314所示，确定第二过滤器的准确率(准确率SF)是否高于第一过滤器的准确率(准确率SF)。如果是，则选中该适当的阈值，并使用第二过滤器来过滤传入消息，如在316所示。如果否，该过程前进至318，在那里保留第一过滤器来执行传入消息的过滤。该过程按需动态地循环通过前述各个动作。
准确率分析过程可在每次用户纠正功能发生时发生，从而可基于阈值确定，在任何时候使用或停用第二过滤器。因为第一过滤器的评估数据和用于训练第二过滤器的数据是相同的，所以使用了交叉确认方法。即，对于每个用户纠正过程，数据被分割成k个存储桶(bucket)(k是整数)，且对于每个存储桶，使用在另外k-1个存储桶中的数据来训练第二过滤器。随后对从该k-1个存储桶中选中的一个存储桶评估第二过滤器的性能(或准确率)。另外一种可能性是等待直到分别累积了N1小具有垃圾邮件标签的消息和N2个具有非垃圾邮件标签的消息(例如N1＝N2＝1000)，然后每当累积N3个额外垃圾消息及N4个额外非垃圾邮件消息时(例如N3＝N4＝100)重新运行。另一个替换方法是基于日历时间来调度该过程。
如果有一个以上使第二过滤器不劣于第一过滤器的阈值，则对于选择哪些阈值来使用，存在若干替换方法。一个替换方法是在用户有p*效用函数的假设下，选择使用户期望效益最大化的阈值。另一个替换方法是选择具有最低假肯定率的阈值。又一个替换方法是选择符合条件阈值范围的中点。
谈到所测得的错误率的不确定性，令k1和k2分别为第一和第二过滤器的非垃圾邮件(或垃圾邮件)误标错误的数量。简单的统计分析指出，如果：
k 1 - k 2 ≥ f ( k 1 + k 2 )
那么可以假定能够近似～x％地确定第二过滤器的错误率不劣于第一过滤器的错误率(例如，当f＝2，x＝97.5；当f＝0，x＝50)。保守地，如果k1或k2等于0，那么应在平方根(sqrt)项中使用为1的值。注意，x是保守调整——当x接近100，在使用第二过滤器前，第二过滤器优于第一过滤器的确定性应较高。此确定性(或不确定性)计算包括第一和第二过滤器间的之间的误差是独立的假设。避免此假设的一个方法是估算公共的误差数量，即，在独立假设下应有的误差数量。如果找到比此数量多K个的误差，则在上面计算中用(k1-k)和(k2-k)取代k1和k2。此外，随着训练数据中的消息数量增长，第二过滤器比第一过滤器更准确(在任何阈值)的可能性越来越大。上面的不确定性估算忽略了此类“先验知识”。熟悉贝叶斯概率/统计的本领域技术人员将意识到，存在将此先验知识结合到不确定性估算中的原则性方法。
在该基本方法的一个方面，设想第一过滤器将垃圾邮件消息标记为非垃圾邮件。此外，假设用户未纠正此错误，因而系统默认地确定此消息不是垃圾邮件。具有更准确的训练数据的第二过滤器可将此消息标记为垃圾邮件。因而，第一过滤器的假肯定率将被低估，而第二过滤器的假肯定率被高估。此效果被以下事实放大：大多数垃圾电子邮件过滤器在许多垃圾消息被标记为未非垃圾邮件的阈值操作，从而保持假肯定率较低。
有若于种方法可组合使用，来解决该基本方法的此方面。第一种方法是假设用户有例如N＝20的p*效用函数，并且只要可找到使第二过滤器不劣于第一过滤器的阈值就使用第二过滤器。此处，即使例如第二过滤器的假肯定率大于第一过滤器的假肯定率，也可使用第二过滤器。即，在此方法下，使用第二过滤器的可能性更大。
第二种方法是限制测试组，从而以高度确定性确知被标记为非垃圾邮件的消息不是垃圾邮件。例如，测试组仅包括通过用户选择“非垃圾邮件”按钮；来标记的消息、被阅读且未被删除的消息、被转发的消息、以及用户回复的消息。
第三种方法是系统可使用由已校准的过滤器(例如第一过滤器)生成的概率，来为第二过滤器生成更优的假肯定率估算。即，并非简单地对数据中具有非垃圾邮件标签的消息及来自第一过滤器的垃圾邮件标签计数，而是系统能够对每个此类消息是正常(非垃圾邮件)的概率(根据已校准过滤器)求和。此和将小于计数，且会是在用户彻底纠正所有消息情况下，对计数的更好估算。
在更简单的第四种方法中，监视用户用“非垃圾邮件”和“垃圾邮件”按钮来纠正标签的期望次数。此处，对于已知为已校准的过滤器(例如第一/种子过滤器)采用期望值。如果实际的纠正次数落到指望次数之下(绝对次数或百分比)，那么系统不训练第二过滤器。
在实践中，用户界面可提供多个阈值，用户可从中选择一个。在此情况中，仅当新过滤器在用户选定的阈值处优于种子过滤器才使用新过滤器。然而，此外，期望新过滤器在其它阈值设置处也优于种子过滤器，尤其是哪些接近用户当前选择的那些设置。以下算法是帮助实现此方法的一个这样的方法。输入例如称为SliderHalfLife(SHL)的参数，它是有默认值0.25的实数。对于每个阈值，判定新过滤器是否和第一过滤器一样好，或优于第一过滤器。然后使用当前选中的阈值。然而，如果新过滤器在当前阈值设置处优于第一/种子过滤器，而且如下描述的TotalWeight值(w)大于或等于0，则进行切换。起初，TotalWeight＝0。对于每个非当前的阈值设置：
\\基于其到当前设置的距离，向每一个分配权重
d = abs [ ( IS - ICS ) ( IMAX - IMIN ) ]
d＝距离
IS＝设置的索引
ICS＝当前设置的索引
IMAX＝最大设置的索引
IMIN＝最小设置的索引
w＝.5(d/SHL)
如果新过滤器在此设置表现更好，那么将其权重加到TotalWeight；否则，从TotalWeight减去其权重。
注意，此算法仅判定新过滤器是否在每个阈值设置都较优。它并未虑及新过滤器比第一/种子过滤器优或劣多少。可用新与旧假否定率、假肯定率、假否定的数量和/或假肯定的数量的函数，来修改此算法以虑及进步或退步的程度。
现参考图4a，示出可向用户呈现用于本文所揭示的自适应垃圾邮件过滤器系统及用户信箱的基本配置的示例性用户界面400。界面400包括垃圾邮件页面(或窗口)401，以及菜单栏402，该菜单栏包括，但不限于，以下下拉菜单标题：File(文件)、Edit(编辑)、View(视图)、Sign Out(退出)、及Help&Settings(帮助和设置)。窗口401还包括链接栏404，该链接栏便于向前和向后导航，以允许用户导航到其它页面、工具、以及界面400的功能，包括Home(主页)、Favorites(收藏夹)、Search(搜索)、Mail&More(邮件和更多)、Messenger(消息通信程序)、Entertainment(娱乐)、Money(财产)、Shopping(购物)、People&Chat(人和聊天)、Learning(学习)、及Photos(照片)。菜单栏406便于选择垃圾电子邮件配置窗口401的一个或多个配置窗口。如图所示，Settings(设置)子窗口408允许用户为垃圾电子邮件过滤选择多个基本配置。第一选项410允许用户启用垃圾电子邮件过滤。用户也可选择各种电子邮件保护的等级。例如，第二选项412允许用户选择仅捕捉最明显的垃圾邮件的默认(Default)过滤器设置。第三选项414允许用户选择更高级的过滤，从而更多垃圾电子邮件被捕获并丢弃。第四选项416允许用户只从可信方(例如在用户地址簿(Address Book)中及在安全列表(Safe List)上列出的各方)接收电子邮件。Related Settings(相关设置)区域418提供导航到那些列出区域的手段，那些区域包括Junk Mail Filter(垃圾邮件过滤器)、Safe List(安全列表)、Mailing List(邮件发送列表)、以及Block Sender List(阻塞发件人列表)。
现参考图4b，示出呈现用户信箱特征的用户界面400的用户信箱窗口420。该信箱窗口420包括菜单栏402，该菜单栏包括，但不限于，以下下拉菜单标题：File、Edit、View、Sign out、及Help&Setting。信箱窗口420还包括链接栏404，该链接栏便于向前和向后导航，以允许用户导航到其它页面、工具、以及界面400的功能，包括Home、Favorites、Search、Mail&More、Messenger、Entertainment、Money、Shopping、People&Chat、Learning、及Photos。窗口420还包括电子邮件控制工具栏422，该工具栏包括以下：用于允许用户创建新消息的Write Message(写消息)选项；用于删除消息的Delete(删除)选项；用于将消息标记为垃圾邮件的Junk(垃圾邮件)选项；用于回复消息的Reply(回复)选项；用于将消息移动到不同文件夹的Put in Folder(放入文件夹)选项；以及用于转发消息的转发图标。
窗口420还包括文件夹选择子窗口424，它向用户提供了选择显示Inbox(收件箱)、Trash Can(废件箱)、及Junk Mail(垃圾邮件)文件夹中的内容的选项。用户还可访问各文件夹(包括Stored Messages(储存的消息)、Outbox(发件箱)、Sent Messages(已发送消息)、Trash Can(废件箱)、Drafts(草稿)、Demo(演示)程序、及Old Junk Mail(旧垃圾邮件)文件夹)的内容。在Junk Mail(垃圾邮件)和0ld Junk Mail(旧垃圾邮件)文件夹的每一个中的消息数量也被列在相应文件夹标题旁边。根据文件夹选择子窗口424中的文件夹选择，在消息列表子窗口426中，呈现了接收到的消息的清单。在消息预览子窗口428中，向用户呈现选中消息的一部分内容供预览。可修改窗口420以包括在用户偏好子窗口(未示出)中呈现的用户偏好信息。偏好子窗口可被包括在所示窗口420右边的一个部分中，如图4a所示。这包括，但不限于，天气信息、股票市场信息、最喜欢的网站链接、等等。
所示界面400不局限于所示出的，而是可包括其它可常规图形、图像、指导文本、菜单选项、等等，它们可被实施以进一步帮助用户选择过滤器及导航到界面的其它非电子邮件过滤器最高配置所需的页面。
现参考图5，所示是使用所揭示的过滤技术的体系结构的通用框图。提供网络500以便于电子邮件与一个或多个客户机502、504和506(也记为客户机1、客户机2、……、客户机N、)之间的通信。网络500可以是诸如因特网等全球通信网络(GCN)、或WAN(广域网)、LAN(局域网)、或任何其它网络体系结构。在此特定实现中，SMTP(简单邮件传输协议)网关服务器508连接到网络500，以向LAN 510提供SMTP服务。操作上安置在LAN 510上的电子邮件服务器512连接到网关508以控制和处理客户机502、504和506的传入及传出的电子邮件，其中客户机502、504和506也安置在LAN 510上以至少访问其上提供的邮件服务。
客户机502包括控制客户机进程的中央处理单元(CPU)514——应当理解，CPU 514可由多个处理器组成。CPU 514执行关于提供在上文描述的一个或多个过滤功能中任何一个的指令。这些指令包括，但不限于已编码指令，它们至少执行上述基本方法的过滤方法、能与其结合使用的至少任何或所有方法、以及用户交互选择，这些方法用于解决处理用户进行用户纠正、使用假肯定和假否定率数据的不确定性的确定、阈值的确定、正确率的计算的失败。提供用户界面518以便于与CPU514和客户机操作系统的通信，从而用户能够交互以配置过滤器设置以及访问电子邮件。
客户机502还至少包括可根据上文所提供的过滤器描述操作的第一过滤器520(类似于第一过滤器106)及第二过滤器522(类似于第二过滤器108)。客户机502还包括电子邮件收件箱存储位置(或文件夹)524，该位置用于从第一过滤器520和第二过滤器522中的至少一个接收已过滤的电子邮件-预期被正确地标记的电子邮件的消息。可提供第二电子邮件存储位置(或文件夹)526，该位置用于容纳用户判定为垃圾邮件、并选择将其存储在其中的垃圾邮件，尽管这也可以是废件文件夹。如上所示，取决于是否用第二过滤器取代第一过滤器以提供对传入电子邮件的相等或更优的过滤，收件箱文件夹524可包括由第一过滤器520或第二过滤器522过滤的电子邮件。
一旦用户从电子邮件服务器512接收到电子邮件，用户随后将细读收件箱文件夹524的电子邮件，以阅读并确定经过滤的收件箱电子邮件消息的实际状态。如果垃圾电子邮件通过了第一过滤器520，用户随即将执行向系统指示该消息实际上是垃圾电子邮件的显式或隐式用户纠正功能。然后基于此用户纠正数据，来训练第一和第二过滤器(520和522)。如果确定第二过滤器522有比第一过滤器520更好的准确率，将使用它以代替第一过滤器520，来提供相等或更优的过滤。如在上文所指出的，如果第二过滤器522有和第一过滤器520实质上相等的准确率，它可被使用或不被使用。过滤器训练可以是用户根据若干如上所指出的预定标准来选择发生的。
现参考图6，示出具有一个或多个客户计算机602的系统600，该客户计算机便于多用户登录，并且根据本发明的过滤技术来过滤传入消息。客户机602包括多种登录能力，从而第一过滤器604和第二过滤器606分别为登录到计算机602的每一不同用户提供消息过滤。因而，提供了用户界面608，该用户界面将登录屏幕呈现为计算机操作系统启动进程的部分，或按照所要求的，在用户能访问他或她的传入消息之前使用相关联的用户概况。因而，当第一用户610(也记为用户1)选择访问消息时，第一用户610经由用户界面608的登录屏幕612，通过输入通常为用户名和用户密码形式的访问信息，来登录到客户计算机602。CPU 514处理该访问信息，来允许第一用户经由消息通信应用程序(例如，邮件客户端)仅访问第一用户收件箱位置614(也记为用户1收件箱)和第一用户垃圾消息邮件位置616(也记为用户1垃圾消息)。
当CPU 514接收到用户登录访问信息，CPU 514访问第一用户偏好信息，以利用第一过滤器604和第二过滤器606，用于随后过滤可被下载到客户计算机602的传入消息。允许登录到该计算机的所有用户(用户1、用户2、……、用户N)的过滤器偏好信息可本地地存储在过滤器偏好表中。当第一用户登录到计算机602，或者使用相关联的第一用户概况时，过滤器偏好信息可由CPU 514访问。因而，处理第一和第二过滤器(604和606)的第一用户610假否定和假肯定率数据，以使用第一过滤器604或第二过滤器606来过滤要下载的消息。如根据所揭示的本发明在上文所指出的，假否定和假肯定率数据是至少从用户纠正过程中导出的。一旦第一用户610下载了消息，可根据被错误地标记的消息来更新假否定和假肯定率数据。在另一个用户登录到计算机602之前的某个时间点，第一用户的已更新率数据随即被存回过滤器偏好表中以供将来参考。
当第二用户618登录，假否定和假肯定率可根据与其相关联的过滤偏好而改变。在第二用户618输入他或她的登录信息后，CPU 514访问第二用户过滤器偏好信息，并依此使用第一过滤器604或第二过滤器606。计算机操作系统连同计算机消息通信应用程序，将第二用户618的消息通信服务限于只能访问第二用户收件箱620(也记为用户2收件箱)和第二用户垃圾消息位置622(也记为用户2垃圾消息)。处理第一和第二过滤器(604和606)的第二用户假否定和假肯定率数据，以使用第一过滤器604或第二过滤器606来过滤要下载的第二用户618的消息。如根据所揭示的本发明在上文指出的，假否定和假肯定率数据是至少从用户纠正过程中导出的。一旦第二用户618下载了消息，可根据被错误地标记的消息来更新假否定和假肯定率数据。
以类似于第一和第二用户(610和618)的操作的方式提供第N用户624(记为用户N)的操作。当使用该消息通信应用程序时，和所有其它用户一样，第N用户624被限于仅与第N用户624相关联的用户信息，因而只允许其访问用户N的收件箱626和用户N的垃圾消息位置628，再无其它收件箱(614和620)和垃圾消息位置(616和622)。
计算机602被恰当地配置成与LAN 510上其它客户机通信，并通过使用客户机网络接口630来访问在其上安置的网络服务。因而提供了用于从SMTP(或消息)网关508接收消息以控制和处理客户机(602和632(也记为客户机N))以及用于经由LAN 510传递消息到消息服务器512的任何其它有线或无线设备的传入和传出消息的消息服务器512。将客户机(602和632)部署成可与LAN 510进行操作上的通信以至少访问其上提供的消息服务。SMTP网关508连接到GCN 500，以在GCN500的网络设备与LAN 510上的消息实体间提供兼容的SMTP消息服务。
应当理解，如上所述的率-数据平均可用于确定使用过滤器(604和606)的最佳平均设置。类似地，允许登录到计算机602的用户的最佳率数据也可用于为登录到其上的所有用户配置过滤器。
现参考图7，示出系统700，其中在消息服务器702上执行初始过滤，并且在一个或多个客户机上执行二次过滤。提供GCN 500以便于消息(例如电子邮件)与一个或多个客户机(704、706和708)(也记为客户机1、客户机2、……、客户机N)之间的通信。SMTP网关服务器508连接到GCN 500，以在GCN 500的网络设备和LAN 510的消息实体间提供兼容的消息服务。
消息服务器702操作上安置在LAN 510上，且连接到网关508以控制和处理客户机704、706和708，及用于经由LAN 510传递消息到消息服务器702的任何其它有线或无线设备的传入与传出的消息。客户机(704、706和708)(例如有线或无线设备)被安置成可与LAN 510在操作上通信以至少访问其上提供的消息服务。
根据本发明的一个方面，消息服务器702通过使用第一过滤器710(类似于第一过滤器106)来执行初始过滤，客户机使用第二过滤器712(类似于第二过滤器108)来执行二次过滤。因而，当第一过滤器710处理消息以判定它们是垃圾邮件还是非垃圾消息时，传入消息从网关508接收到消息服务器702的传入消息缓冲区714中临时存储。缓冲区714可以是简单的FIFO(先进先出)体系结构，从而基于先来先服务来处理所有消息。然而应当理解，消息服务器702可根据标记的优先级来过滤处理被缓冲的消息。因而，缓冲区714被恰当地配置成提供消息优先级排序，从而由发送者以较高优先级标记的消息先于以较低优先级标记的其它消息从缓冲区714转发。优先级标记可基于与发件人优先级标签不相关的其它标准，包括但不限于消息的大小、消息发送的日期、消息是否有附件、附件的大小、消息已在缓冲区714中多久，等等。
为了逐渐形成第一过滤器710的假肯定和假否定率数据，管理员可采样第一过滤器710的输出，以确定多少正常消息被误标为垃圾邮件，及多少垃圾消息被误标为正常。如根据本发明一个方面在上文指出的，第一过滤器710的这个率数据随即被用作确定第二过滤器712的新假肯定和假否定率数据的基础。
在任一情况下。一旦第一过滤器710过滤了消息，就基于客户机目的地IP地址，将其从服务器702通过服务器网络接口716越过网络510路由到适当的客户机(例如，第一客户机704)。第一客户机704包括控制所有客户机进程的CPU 514。CPU514与消息服务器702通信以获取第一过滤器710的假肯定和假否定率数据，并进行与第二过滤器712的假肯定和假否定率数据的比较，以确定何时应使用第二过滤器712。如果比较的结果是使得第二过滤器的率数据目前优于第一过滤器710的率数据，则使用第二过滤器712，且CPU 514与消息服务器702通信以允许目的地为第一客户机704的消息不被过滤地通过服务器702。
当第一客户机704的用户审阅所接收的消息并执行用户纠正时，第二过滤器712的新假肯定和假否定率数据被更新了。如果新的率数据变得劣于第一率数据，则第一过滤器710随即将被重新使用，以向第一客户机704提供过滤。为了对该特定客户机704确定何时在第一和第二过滤器(710和712)间来回切换过滤，CPU 514继续进行率数据的比较。
CPU 514执行可根据用于提供本文所描述的一种或多种过滤功能中的任何一种的指令来操作的算法。该算法包括，但不限于已编码指令，该指令至少执行上述基本方法的过滤方法、能与其结合使用至少任何或所有方法、以及用户交互选择，这些方法用于处理用户进行用户纠正、使用假肯定和假否定率数据的不确定性确定、阈值确定、正确率的计算的失败。提供用户界面518，以便于与CPU 514和客户机操作系统的通信，从而用户可交互，以配置过滤器设置以及访问消息。
客户机502还至少包括可根据在上文所提供的过滤器描述操作的第二过滤器712。客户机502还包括消息收件箱存储位置(或文件夹)524，该位置用于从第一过滤器710和第二过滤器712中的至少一个接收已过滤的消息-预期被正确地标记的消息。可提供第二消息存储位置(或文件夹)526，该位置用于容纳用户判定为垃圾邮件、并选择将其存储在其中的垃圾邮件，尽管这也可以是废件文件夹。如上所示，取决于是否用第二过滤器712取代第一过滤器710以提供对到传入消息的相等或更优的过滤，收件箱文件夹524可包括由第一过滤器710或第二过滤器712过滤的消息。
如在上文中所指出的，一旦用户从消息服务器702下载了消息，用户随后将细读收件箱文件夹524的消息，以阅读并确定经过滤收件箱消息的实际状态。如果垃圾消息通过了第一过滤器710，用户随即将执行向系统指示该消息实际上是垃圾电子邮件的显式或隐式的用户纠正功能。然后基于此用户纠正数据，来训练第一和第二过滤器(710和712)。如果判定第二过滤器712有比第一过滤器710更好的准确率，将使用它以代替第一过滤器710，来提供相等或更优的过滤。如果第二过滤器712有和第一过滤器710实质上相等的准确率，它可被使用或不被使用。过滤器训练可以是用户根据如上文指出的若干预定标准来选择发生的。
应当理解，因为其它客户机(706和708)使用消息服务器702来过滤消息，因此各个客户(706和708)的新的率数据会影响第一过滤器710的过滤操作。因而各个过滤器(706和708)也和消息服务器702通信，以根据那些客户机(706和708)的第二过滤器的相应新的率数据来启用或禁用第一过滤器710。消息服务器702可包括涉及各个客户机过滤器要求的客户机偏好的过滤器偏好表。因而，向每个被缓冲的消息询问目的地IP地址，并根据存储在该过滤器表中的与该目的地地址相关联的过滤器偏好来处理它们。因而，尽管根据第一客户机704的率数据的比较结果，可能要求目的地为第一客户机704的广播垃圾消息由第一客户机704的第二过滤器712来处理，但是根据该处所获的率数据比较结果，可能也要求目的地为第二客户机706的同样的垃圾消息由消息服务器702的第一过滤器710来处理。
还应当理解，个别客户机(704、706和708)的个别新率数据可由服务器702同时接收和处理，以确定其平均值。此平均值随后可用于判定是单独地还是成组地来回切换使用各客户机的第一过滤器710或第二过滤器712。或者，各客户机(704、706和708)的最佳新率数据可由服务器702确定，并用于单独地或成组地在第一过滤器710和客户机过滤器712间来回切换。
现参考图8，示出使用本发明的过滤方面的大规模过滤系统800的替换实施例。在由系统范围邮件系统(例如，因特网服务供应商)大规模执行消息过滤的更健壮的实施例中，可使用多重过滤系统来过滤大量的传入消息。大量传入消息802被接收并定址到许多不同的用户目的地。消息802经由例如SMTP网关进入供应商的系统，随后被发送到系统消息路由组件806，以路由到各个过滤器系统808、810和812(也分别记为过滤器系统1、过滤器系统2、……、过滤器系统N)。
每个过滤器系统(808、810和812)包括路由控制组件、第一过滤器、第二过滤器及输出缓冲区。因而，过滤器系统808包括用于在第一系统过滤器816和第二系统过滤器818间路由消息的路由控制组件814。第一和第二过滤器(816和818)的输出被连到用于在消息被发送到用户收件箱路由组件822之前暂时存储消息的输出缓冲区820。用户收件箱路由组件822向每个从过滤器系统808的输出缓冲区820收到的消息询问用户目的地地址，并将消息路由到多个用户收件箱824(也记为收件箱1、收件箱2、……、收件箱N)中适当的用户收件箱。
系统消息路由组件806包括负载平衡性能，以根据过滤器系统(808、810和812)可用的带宽，在过滤器系统(808、810和812)间路由消息，以容纳消息处理。因而，如果第一过滤器系统808的传入消息队列(未示出，但为路由组件814的一部分)被备份，且无法容纳系统800所需的吞吐量，则该队列的状态信息从路由控制组件814反馈给系统路由组件806，使得传入消息802随后被路由到其它过滤器系统(810和812)，直到系统814的传入队列能接收更多消息。剩余过滤器系统(810和812)中的每一个包括此传入队列反馈能力，从而系统路由组件806能处理所有可用过滤器系统-过滤器系统1、过滤器系统2、……、过滤器系统N间的消息负载处理。
现在将详细描述第一系统过滤器808的自适应过滤器能力。在此特定系统实现中，系统管理员将被分派通过提供关于过滤器准确率的反馈以提供经标记/未标记消息，来为系统800确定什么组成了垃圾邮件的任务。即，为了为相应系统(808、810和812)的每一个生成FN和FP信息，管理员执行用户纠正。由于大量传入消息，这可根据统计采样方法来执行，该采样方法数学地提供了所取的样本反映由相应过滤器系统(808、810和812)在判断什么是垃圾消息和非垃圾消息时执行的过滤的准确性的高度可能性。
此外，管理员可经由系统控制组件826，从缓冲区820中取消息的一个样本，并验证标记在该样本上的消息的准确性。系统控制组件826可以是与过滤器系统(808、810和812)互联以对其进行监视和控制的硬件和/或软件处理系统。任何被错误地标记的消息将用于建立第一过滤器816的假否定(FN)和假肯定(FP)率数据。此FN/FP率数据随后被用于第二过滤器818。如果第一过滤器816的率数据落在某阈值之下，可启用第二过滤器818以提供至少和第一过滤器816一样好的过滤。当管理员再次执行从缓冲区820采样的用户纠正，如果第二过滤器818的FN/FP数据劣于第一过滤器816的FN/FP，路由控制组件814将处理此第二过滤器818的FN/FP数据，并确定消息路由应被切换回第一过滤器816。
系统控制组件826连接到系统消息路由组件806以在之间交换数据，并提供管理员对其的管理。系统控制组件826还连接到剩余系统-过滤器系统1、过滤器系统2、……、过滤器系统N的输出缓冲区，以提供那些系统的采样能力。管理员还可经由系统控制组件826来访问用户收件箱路由组件822，来检查其操作。如在上文关于图1所述，过滤器的准确性可被扩展到多个过滤系统的准确性。第一系统808的FN/FP率数据随即可用于训练第二系统810和第三系统812的过滤器，以进一步增强整个系统800的过滤能力。类似地，可根据特定系统的FN/FP数据来执行负载控制。即，如果第一系统808的总FN/FP数据劣于第二系统810的FN/FP数据，则可向第二系统810路由比第一系统808更多的消息。
应当理解，过滤器系统(808、810和812)可以是单独的过滤器算法，其每一个运行在专用计算机、或计算机的组合上。或者，在存在硬件能力时，各算法可在单个计算机上一同运行，从而所有的过滤在单个健壮机器上执行。
现参考图9，所示是用于执行所揭示的体系结构的计算机的框图。为了向本发明的各个方面提供额外的环境，图9和以下讨论旨在提供其中可实现本发明的各方面的合适的计算环境900的简要的概述。尽管上文中在可在一个或多个计算机上运行的计算机可执行指令的通用环境中描述本发明，然而本领域技术人员将意识到，本发明也可结合其它程序模块实现和/或作为硬件与软件的组合来实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构、等等。此外，本领域技术人员将理解，本发明的方法可用其它计算机系统配置来实施，包括单处理器或多处理器计算机系统、微型计算机、大型计算机、以及个人计算机、手持计算设备、基于微处理器或可编程的消费者电子设备、等等，其每一个都可操作上耦合到一个或多个相关联的设备。本发明所示出的方面也可在分布式计算环境中实施，其中特定任务由通过通信网络连接的远程处理设备实施。在分布式计算环境中，程序模块可位于本地及远程记忆存储设备中。
再次参考图9，用于实现本发明各个方面的示例性环境900包括计算机902，计算机902包括处理单元904、系统存储器906和系统总线908。系统总线908将包括，但不限于系统存储器906的系统组件耦合到处理单元904。处理单元904可以是各种市场上可购买的处理器中的任何一种。双微处理器及其它多处理器体系结构也可用作处理单元904。
系统总线908可以是若干种总线结构中的任何一种，包括存储器总线或存储器控制器、外围总线、以及使用多种市场上可购买的总线体系结构中的任一种的局部总线。系统存储器包括只读存储器(ROM)910和随机存取存储器(RAM)912。包含诸如在启动时帮助在个人计算机902内部各元件间传递信息的基本例程的基本输入/输出系统(BIOS)储存在ROM 910中。
计算机902还可包括硬盘驱动器914、磁盘驱动器916(例如，读或写可移动磁盘918)、及光盘驱动器920(读CD ROM盘922或者读或写其它光介质)。硬盘驱动器914、磁盘驱动器916和光盘驱动器920可分别由硬盘驱动接口924、磁盘驱动接口926及光盘驱动接口928连到系统总线908。这些驱动器及其相关联的计算机可读介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机902，各驱动器和介质容纳合适的数字格式的广播编程的存储。尽管上文对计算机可读介质的描述指硬盘、可移动磁盘和CD，本领域技术人员应当理解，诸如zip驱动器、磁带盒、闪存卡、数字视频盘、盒式磁带等的其它类型的计算机可读介质也可用于该示例性操作环境中，并且任何此类介质可包含用于执行本发明各方法的计算机可执行指令。
许多程序模块可存储在这些驱动器和RAM 912中，包括操作系统930、一个或多个应用程序932、其它程序模块934及程序数据936。应当理解，本发明可用各种市场上可购买的操作系统或其组合来实现。
用户可通过键盘938和诸如鼠标940等定位设备来将命令和信息输入到计算机902中。其它输入设备(未示出)可包括话筒、IR遥控器、操纵杆、游戏垫、圆盘式卫星天线、扫描仪、等等。这些及其它输入设备常通过耦合到系统总线908的串行端口接口942连接到处理单元904，但也可由诸如并行端口、游戏端口、通用串行总线(USB)、IR接口等的其它接口连接。监视器944或其它类型的显示设备也经由诸如视频适配器946等的接口连到系统总线908。除了监视器944之外，计算机通常包括诸如扬声器、打印机等的其它外围输出设备(未示出)。
计算机902可用到诸如远程计算机948等的一个或多个远程计算机的逻辑连接在联网环境中运行。远程计算机948可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其它普通网络节点，且通常包括相对于个人计算机902所描述的许多或全部元件，尽管出于简明的目的，只示出了记忆存储设备950。所描绘的逻辑连接包括局域网(LAN)952及广域网(WAN)954。诸如此类的网络环境常见于办公室、企业范围计算机网络、内联网及因特网。
当用于LAN网络环境中时，计算机902通过网络接口或适配器956连到局域网952。当用于WAN网络环境中时，计算机902通常包括调制解调器958，或被连到LAN上的通信服务器，或有用于通过诸如因特网等广域网954建立通信的其它装置。调制解调器958可以是内置或外置的，它通过串行端口接口942连到系统总线908。在联网环境中，相对于个人计算机902所描述的程序模块或其部分可储存在远程记忆存储设备950中。应当理解，示出的网络连接是示例性的，也可使用在计算机间建立通信链路的其它装置。
根据本发明的一个方面，过滤器体系结构自适应到使用该过滤的系统的特定用户所期望的过滤程度。然而，应当理解，此“自适应”方面可以从本地用户系统环境向后扩展到该系统销售商的制造过程，其中可选择用于特定用户类的过滤程度以在该厂生产销售的系统中实现。例如，如果购买者决定第一批购买的系统要提供给不应需要访问任何垃圾邮件的用户，则对于这批系统，在厂的默认设置可设置为高，而给第二类用户的第二批系统可被配置成较低设置，以允许审阅更多垃圾邮件。在任一情形中，可以本地启用本发明的自适应特性，以允许任何用户类的个别用户然后调整过滤的程度，或者如果被禁用，可根本防止变更默认设置。还应当理解，行使可比较访问权限以配置用所揭示的过滤器体系结构适当地配置的一个或多个系统的网络管理员也可在本地实现这一类配置。
上文所描述的包括本发明的各个示例。当然，不可能为描述本发明的目的而描述组件或方法的每个可想到的组合，但本领域的普通技术人员会意识到，本发明的许多其它组合与变换是可能的。因此，本发明旨在包括落入所附权利要求书的范畴内的所有此类改变、修改与变体。并且，在详细描述或权利要求书中使用术语“包括”的意义上，此类术语意图如术语“包含”那样为包含性的，如“包含”在权利要求书中用作过渡词所解释的。

Claims (54)

1.一种数据过滤系统，其特征在于，包含：
用于过滤消息的第一过滤器，所述第一过滤器有与其相关联的假肯定率和假否定率；以及
用于过滤消息的第二过滤器，所述第二过滤器根据所述第一过滤器的假肯定率和假否定率进行评估，使用用于确定所述第一过滤器的假肯定率和假否定率的数据来根据阈值确定与所述第二过滤器相关联的新假肯定率和新假否定率，其中，如果对第二过滤器存在阈值，使得所述新假肯定率和新假否定率被一同认为优于所述第一过滤器的假肯定和假否定率，则使用所述第二过滤器以取代所述第一过滤器。
2.如权利要求1所述的系统，其特征在于，所述假肯定率和假否定率是根据经由用户纠正过程的使用被标记为垃圾和非垃圾的消息来确定的。
3.如权利要求2所述的系统，其特征在于，所述用户纠正过程包括覆盖消息的初始分类，所述初始分类是由所述第一过滤器在一收到该消息时就自动执行的。
4.如权利要求1所述的系统，其特征在于，所述假肯定率和假否定率是从各消息中的至少一个的内容中导出的。
5.如权利要求1所述的系统，其特征在于，所述假肯定率和假否定率是从其它用户的电子邮件消息中导出的。
6.如权利要求1所述的系统，其特征在于，在能够找到使得所述第二过滤器不劣于所述第一过滤器的阈值的情况下，所述第二过滤器是当所述新假肯定率高于所述第一过滤器的假肯定率时使用的。
7.如权利要求1所述的系统，其特征在于，所述假肯定率和假否定率是在预定数量的垃圾和非垃圾消息被标记，以及预定时间已发生两者的至少一种之后确定的。
8.如权利要求1所述的系统，其特征在于，所述阈值是从多个所生成的阈值中选出的，所述各阈值是通过选择符合条件的阈值的平均阈值、具有最低假肯定率的阈值、及使基于p*效用函数的用户期望效益最大化的阈值中的至少一个来确定的，其中所述p*是垃圾消息的最优概率阈值。
9.如权利要求1所述的系统，其特征在于，所述阈值是从多个阈值中选出的，仅当在该阈值处，所述新假肯定率和新假否定率优于所述第一过滤器的假肯定率和假否定率时，使用所述第二过滤器。
10.如权利要求1所述的系统，其特征在于，还包含多个次级过滤器，所述多个次级过滤器组成了所述第二过滤器，如果对于至少一个次级过滤器存在阈值，使得所述新假否定率和新假肯定率被一同认为优于所述第一过滤器的假肯定和假否定率，则所述系统使用所述至少一个次级过滤器以取代所述第一过滤器。
11.如权利要求10所述的系统，其特征在于，所述次级过滤器包含M个过滤器，所述M是整数，所述系统为一特定消息选择过滤器M1以取代所述第一过滤器，为另一消息选择过滤器M2以取代所述第一过滤器。
12.一种包含权利要求1所述的系统的计算机。
13.一种包含权利要求1所述的系统的网络。
14.一种包含权利要求1所述的系统的便携式计算设备。
15.如权利要求14所述的设备，其特征在于，它是下列中的一个：个人数字助理、电话机或膝上计算机。
16.一种数据过滤器，其特征在于，包含：
用于过滤消息的第一过滤器，所述第一过滤器具有与其相关联的第一准确率；以及
用于过滤消息的第二过滤器，所述第二过滤器具有与其相关联的第二准确率，所述第二过滤器用所述第一准确率来评估，使用用于确定所述第一准确率的数据来根据阈值确定所述第二准确率，其中，如果对所述第二过滤器存在阈值，使得所述第二准确率被认为优于所述第一准确率，则使用所述第二过滤器。
17.如权利要求16所述的过滤器，其特征在于，以结合所述第一过滤器，或取代所述第一过滤器来使用所述第二过滤器。
18.如权利要求16所述的过滤器，其特征在于，当所述第二准确率至少和所述第一准确率相同时，使用所述第二过滤器。
19.如权利要求16所述的过滤器，其特征在于，所述第一准确率和所述第二准确率均包含一假肯定率和一假否定率。
20.如权利要求16所述的过滤器，其特征在于，所述第一准确率和所述第二准确率是基于消息文本和消息内容中的至少一个来确定的。
21.如权利要求16所述的过滤器，其特征在于，所述第一过滤器是从处理其它用户电子邮件数据中导出的种子过滤器。
22.如权利要求16所述的过滤器，其特征在于，所述第一准确率是根据一用户纠正过程来确定的，在该过程中用户审阅数据，所述数据是消息，并将该消息标记为垃圾消息和非垃圾消息中的一项。
23.如权利要求22所述的过滤器，其特征在于，所述用户纠正过程包括覆盖消息的初始分类，所述初始分类是在该消息被接收时由所述第一过滤器自动执行的。
24.如权利要求16所述的过滤器，其特征在于，当基于p*效用函数，用于使用所述第二过滤器的阈值至少和所述第一过滤器一样有效时，使用所述第二过滤器，其中N至少是20，所述N是垃圾邮件消息的数量，所述p*是垃圾消息的最优概率阈值。
25.如权利要求16所述的过滤器，其特征在于，所述第一准确率是根据已知具有正确的高度确定性的一组预定数据来确定的。
26.如权利要求25所述的过滤器，其特征在于，所述一组预定的数据包括由用户标记为非垃圾消息的消息、由用户阅读并删除的消息、由用户转发的消息、及由用户回复的消息中至少一个。
27.如权利要求16所述的过滤器，其特征在于，所述第一准确率是由从已校准过滤器接收的概率值来确定的，所述概率值用于估算所述第一准确率的一假肯定率。
28.如权利要求16所述的过滤器，其特征在于，所述第一准确率用于生成期望值。
29.如权利要求28所述的过滤器，其特征在于，仅当用户纠正的实际次数至少和期望值一样时，使用所述第二过滤器。
30.如权利要求16所述的过滤器，其特征在于，所述阈值是从多个阈值中选出的，仅当在该阈值处，所述第二准确率优于所述第一准确率时，使用所述第二过滤器。
31.一种便于数据过滤的方法，其特征在于，包含：
确定与种子过滤器相关联的假肯定率和假否定率；
使用与所述种子过滤器相关联的种子数据来训练新过滤器，所述种子数据用于根据阈值来确定所述新过滤器的新假肯定率和新假否定率；以及
如果对所述新过滤器存在阈值，使得所述新假肯定和新假否定率被一同认为优于所述种子过滤器的假肯定和假否定率，则使用所述新过滤器以取代所述种子过滤器。
32.如权利要求31所述的方法，其特征在于，基于经由用户纠正过程的使用将消息标记为垃圾和非垃圾，来部分地生成所述种子数据。
33.如权利要求31所述的方法，其特征在于，所述用户纠正过程包括覆盖消息的初始分类，所述初始分类是由接收该消息的种子过滤器自动执行的。
34.如权利要求31所述的方法，其特征在于，还包含从电子邮件消息的内容中导出所述种子数据。
35.如权利要求31所述的方法，其特征在于，还包含从其它用户的电子邮件消息中导出所述种子数据。
36.如权利要求31所述的方法，其特征在于，还包含当所述新假肯定率高于所述种子过滤器的假肯定率并且能够找到使得所述新过滤器不劣于所述种子过滤器的阈值时，使用所述新过滤器。
37.如权利要求31所述的方法，其特征在于，还包含在预定数量的垃圾和非垃圾消息被标记，及预定时间已发生两者中的至少一个之后，确定所述假肯定率和假否定率。
38.如权利要求31所述的方法，其特征在于，如果在当前阈值设置，所述新假肯定和新假否定率被一同认为优于所述种子过滤器的假肯定和假否定率，且一加权值至少为0时，使用所述新过滤器。
39.如权利要求38所述的方法，其特征在于，当所述新过滤器在当前阈值设置的性能优于在非当前阈值设置的性能时，增加所述加权值，其中，非当前阈值设置是不同于当前阈值的阈值，并且当所述新过滤器的性能在当前阈值设置劣于在非当前阈值设置时，减少加权值。
40.一种过滤数据的方法，其特征在于，包含：
至少接收第一过滤器和第二过滤器；
确定所述第一过滤器的第一准确率；
用所述第一准确率训练所述第二过滤器；
根据阈值确定所述第二过滤器的第二准确率；以及
当达到预定阈值时使用所述第二过滤器。
41.如权利要求40所述的方法，其特征在于，以结合所述第一过滤器或取代所述第一过滤器来使用所述第二过滤器。
42.如权利要求40所述的方法，其特征在于，当所述第二准确率至少和所述第一准确率相同时，使用所述第二过滤器。
43.如权利要求40所述的方法，其特征在于，所述第一准确率和所述第二准确率均包含一假肯定率和一假否定率。
44.如权利要求40所述的方法，其特征在于，所述第一准确率和所述第二准确率是基于电子邮件文本和电子邮件内容中的至少一个来确定的。
45.如权利要求40所述的方法，其特征在于，所述第一过滤器是从处理其它用户电子邮件数据中导出的种子过滤器。
46.如权利要求40所述的方法，其特征在于，所述第一准确率是根据用户纠正过程来确定的，在该过程中用户审阅数据，所述数据是消息，并将该消息标记为垃圾消息和非垃圾消息中的一项。
47.如权利要求46所述的方法，其特征在于，所述用户纠正过程包括覆盖消息的初始分类，所述初始分类是在该电子邮件消息被接收时由所述第一过滤器自动执行的。
48.如权利要求40所述的方法，其特征在于，还包含，当基于p*效用函数用于生成所述第二过滤器的阈值至少和所述第一过滤器一样有效时，使用所述第二过滤器，其中N至少是20，所述N是垃圾邮件消息的数量，p*是垃圾消息的最优概率阈值。
49.如权利要求40所述的方法，其特征在于，所述第一准确率是根据已知具有正确的高度确定性的一组预定数据来确定的。
50.如权利要求49所述的方法，其特征在于，所述一组预定数据包括由用户标记为非垃圾消息的消息、由用户阅读并删除的消息、由用户转发的消息、及由用户回复的消息中至少一个。
51.如权利要求40所述的方法，其特征在于，所述第一准确率是由从已校准过滤器接收的概率值来确定的，所述概率值用于估算所述第一准确率的一假肯定率。
52.如权利要求40所述的方法，其特征在于，还包含基于所述第一准确率生成期望值。
53.如权利要求52所述的方法，其特征在于，仅当用户纠正的实际次数至少和期望值一样时，使用所述第二过滤器。
54.一种数据过滤系统，其特征在于，包含：
用于接收消息的装置；
用于过滤消息的第一装置，所述用于过滤的第一装置有与其相关联的假肯定率和假否定率；以及
用于过滤消息的新装置，所述用于过滤的新装置是根据所述用于过滤的第一装置的假肯定率和假否定率来训练的，使用用于确定所述第一过滤器的假肯定率和假否定率的数据来根据阈值确定与所述新过滤装置相关联的新假肯定率和新假否定率，其中，如果对所述新过滤装置存在阈值，使得所述新假肯定率和新假否定率被一同认为优于所述第一过滤装置的假肯定和假否定率，则使用所述新过滤装置。
CNB2003801091949A 2003-02-25 2003-12-31 自适应垃圾消息过滤系统和用于数据过滤的方法 Expired - Fee Related CN100437544C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/374,005 US7249162B2 (en) 2003-02-25 2003-02-25 Adaptive junk message filtering system
US10/374,005 2003-02-25

Publications (2)

Publication Number Publication Date
CN1742266A CN1742266A (zh) 2006-03-01
CN100437544C true CN100437544C (zh) 2008-11-26

Family

ID=32868786

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801091949A Expired - Fee Related CN100437544C (zh) 2003-02-25 2003-12-31 自适应垃圾消息过滤系统和用于数据过滤的方法

Country Status (19)

Country Link
US (2) US7249162B2 (zh)
EP (1) EP1597645B1 (zh)
JP (1) JP4524192B2 (zh)
KR (1) KR101076908B1 (zh)
CN (1) CN100437544C (zh)
AT (1) ATE464722T1 (zh)
AU (1) AU2003300051B2 (zh)
BR (1) BR0318024A (zh)
CA (1) CA2512821C (zh)
DE (1) DE60332168D1 (zh)
HK (1) HK1085286A1 (zh)
IL (1) IL169885A (zh)
MX (1) MXPA05008205A (zh)
NO (1) NO20053915L (zh)
NZ (1) NZ541391A (zh)
RU (1) RU2327205C2 (zh)
TW (1) TWI393391B (zh)
WO (1) WO2004079501A2 (zh)
ZA (1) ZA200505907B (zh)

Families Citing this family (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999955B1 (en) * 1999-04-20 2006-02-14 Microsoft Corporation Systems and methods for estimating and integrating measures of human cognitive load into the behavior of computational applications and services
US7849141B1 (en) 2001-06-14 2010-12-07 Apple Inc. Training a computer storage system for automatic filing of data using graphical representations of storage locations
US7640305B1 (en) * 2001-06-14 2009-12-29 Apple Inc. Filtering of data
US7155608B1 (en) * 2001-12-05 2006-12-26 Bellsouth Intellectual Property Corp. Foreign network SPAM blocker
US8046832B2 (en) 2002-06-26 2011-10-25 Microsoft Corporation Spam detector with challenges
US7908330B2 (en) 2003-03-11 2011-03-15 Sonicwall, Inc. Message auditing
US8924484B2 (en) 2002-07-16 2014-12-30 Sonicwall, Inc. Active e-mail filter with challenge-response
US8396926B1 (en) 2002-07-16 2013-03-12 Sonicwall, Inc. Message challenge response
US7539726B1 (en) 2002-07-16 2009-05-26 Sonicwall, Inc. Message testing
US7299261B1 (en) * 2003-02-20 2007-11-20 Mailfrontier, Inc. A Wholly Owned Subsidiary Of Sonicwall, Inc. Message classification using a summary
US8266215B2 (en) * 2003-02-20 2012-09-11 Sonicwall, Inc. Using distinguishing properties to classify messages
US7406502B1 (en) 2003-02-20 2008-07-29 Sonicwall, Inc. Method and system for classifying a message based on canonical equivalent of acceptable items included in the message
US7249162B2 (en) * 2003-02-25 2007-07-24 Microsoft Corporation Adaptive junk message filtering system
US7219148B2 (en) * 2003-03-03 2007-05-15 Microsoft Corporation Feedback loop for spam prevention
US7543053B2 (en) 2003-03-03 2009-06-02 Microsoft Corporation Intelligent quarantining for spam prevention
US20050091320A1 (en) * 2003-10-09 2005-04-28 Kirsch Steven T. Method and system for categorizing and processing e-mails
US7856477B2 (en) * 2003-04-04 2010-12-21 Yahoo! Inc. Method and system for image verification to prevent messaging abuse
US7680886B1 (en) * 2003-04-09 2010-03-16 Symantec Corporation Suppressing spam using a machine learning based spam filter
US7483947B2 (en) 2003-05-02 2009-01-27 Microsoft Corporation Message rendering for identification of content features
US7272853B2 (en) 2003-06-04 2007-09-18 Microsoft Corporation Origination/destination features and lists for spam prevention
US20050044153A1 (en) * 2003-06-12 2005-02-24 William Gross Email processing system
US7711779B2 (en) 2003-06-20 2010-05-04 Microsoft Corporation Prevention of outgoing spam
US9715678B2 (en) 2003-06-26 2017-07-25 Microsoft Technology Licensing, Llc Side-by-side shared calendars
US7155484B2 (en) * 2003-06-30 2006-12-26 Bellsouth Intellectual Property Corporation Filtering email messages corresponding to undesirable geographical regions
US7707255B2 (en) 2003-07-01 2010-04-27 Microsoft Corporation Automatic grouping of electronic mail
US8214437B1 (en) 2003-07-21 2012-07-03 Aol Inc. Online adaptive filtering of messages
US7814545B2 (en) 2003-07-22 2010-10-12 Sonicwall, Inc. Message classification using classifiers
US7835294B2 (en) * 2003-09-03 2010-11-16 Gary Stephen Shuster Message filtering method
US20050071432A1 (en) * 2003-09-29 2005-03-31 Royston Clifton W. Probabilistic email intrusion identification methods and systems
US7451184B2 (en) * 2003-10-14 2008-11-11 At&T Intellectual Property I, L.P. Child protection from harmful email
US20050080642A1 (en) * 2003-10-14 2005-04-14 Daniell W. Todd Consolidated email filtering user interface
US7930351B2 (en) * 2003-10-14 2011-04-19 At&T Intellectual Property I, L.P. Identifying undesired email messages having attachments
US7664812B2 (en) * 2003-10-14 2010-02-16 At&T Intellectual Property I, L.P. Phonetic filtering of undesired email messages
US7610341B2 (en) * 2003-10-14 2009-10-27 At&T Intellectual Property I, L.P. Filtered email differentiation
US7921159B1 (en) * 2003-10-14 2011-04-05 Symantec Corporation Countering spam that uses disguised characters
US7715059B2 (en) * 2003-10-22 2010-05-11 International Business Machines Corporation Facsimile system, method and program product with junk fax disposal
US7590694B2 (en) * 2004-01-16 2009-09-15 Gozoom.Com, Inc. System for determining degrees of similarity in email message information
US7653695B2 (en) * 2004-02-17 2010-01-26 Ironport Systems, Inc. Collecting, aggregating, and managing information relating to electronic messages
US8214438B2 (en) 2004-03-01 2012-07-03 Microsoft Corporation (More) advanced spam detection features
US7631044B2 (en) 2004-03-09 2009-12-08 Gozoom.Com, Inc. Suppression of undesirable network messages
US8918466B2 (en) * 2004-03-09 2014-12-23 Tonny Yu System for email processing and analysis
US7644127B2 (en) * 2004-03-09 2010-01-05 Gozoom.Com, Inc. Email analysis using fuzzy matching of text
DE102004014139B4 (de) * 2004-03-23 2006-07-20 Vodafone Holding Gmbh System und Verfahren zum Klassifizieren von elektronischen Nachrichten
US20050223074A1 (en) * 2004-03-31 2005-10-06 Morris Robert P System and method for providing user selectable electronic message action choices and processing
US20090100523A1 (en) * 2004-04-30 2009-04-16 Harris Scott C Spam detection within images of a communication
US20050254100A1 (en) * 2004-05-17 2005-11-17 Venali, Inc. Ticket exchange for combating fax spam
US7461063B1 (en) * 2004-05-26 2008-12-02 Proofpoint, Inc. Updating logistic regression models using coherent gradient
US7756930B2 (en) * 2004-05-28 2010-07-13 Ironport Systems, Inc. Techniques for determining the reputation of a message sender
US7849142B2 (en) * 2004-05-29 2010-12-07 Ironport Systems, Inc. Managing connections, messages, and directory harvest attacks at a server
US7873695B2 (en) 2004-05-29 2011-01-18 Ironport Systems, Inc. Managing connections and messages at a server by associating different actions for both different senders and different recipients
US20060031318A1 (en) * 2004-06-14 2006-02-09 Gellens Randall C Communicating information about the content of electronic messages to a server
US7664819B2 (en) * 2004-06-29 2010-02-16 Microsoft Corporation Incremental anti-spam lookup and update service
US7904517B2 (en) 2004-08-09 2011-03-08 Microsoft Corporation Challenge response systems
US7660865B2 (en) * 2004-08-12 2010-02-09 Microsoft Corporation Spam filtering with probabilistic secure hashes
US9015621B2 (en) 2004-08-16 2015-04-21 Microsoft Technology Licensing, Llc Command user interface for displaying multiple sections of software functionality controls
US8146016B2 (en) 2004-08-16 2012-03-27 Microsoft Corporation User interface for displaying a gallery of formatting options applicable to a selected object
US8255828B2 (en) 2004-08-16 2012-08-28 Microsoft Corporation Command user interface for displaying selectable software functionality controls
US7895531B2 (en) 2004-08-16 2011-02-22 Microsoft Corporation Floating command object
US7703036B2 (en) 2004-08-16 2010-04-20 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
FI20041159A0 (fi) 2004-09-07 2004-09-07 Nokia Corp Menetelmä viestien suodattamiseksi tietoverkossa
FR2875317A1 (fr) * 2004-09-10 2006-03-17 France Telecom Procede de surveillance de couriers electroniques emis et/ou recus par un client d'un fournisseur d'acces internet au sein d'un reseau de telecommunication
US20060075048A1 (en) * 2004-09-14 2006-04-06 Aladdin Knowledge Systems Ltd. Method and system for identifying and blocking spam email messages at an inspecting point
EP1672936B1 (en) * 2004-12-16 2018-12-05 Sony Mobile Communications Inc. Prevention of unsolicited messages
KR100641410B1 (ko) 2004-12-17 2006-11-01 엔에이치엔(주) 특수 문자를 이용하여 편집한 단문 메시지의 필터링 방법및 이를 이용한 이동통신 단말기
US8396927B2 (en) * 2004-12-21 2013-03-12 Alcatel Lucent Detection of unwanted messages (spam)
US7752272B2 (en) * 2005-01-11 2010-07-06 Research In Motion Limited System and method for filter content pushed to client device
WO2006091059A1 (en) * 2005-02-28 2006-08-31 Nhn Corporation Message managing system, message managing method and recording medium storing program for that method execution
US8639757B1 (en) 2011-08-12 2014-01-28 Sprint Communications Company L.P. User localization using friend location information
US8930261B2 (en) * 2005-04-21 2015-01-06 Verint Americas Inc. Method and system for generating a fraud risk score using telephony channel based audio and non-audio data
US9571652B1 (en) 2005-04-21 2017-02-14 Verint Americas Inc. Enhanced diarization systems, media and methods of use
WO2006122055A2 (en) * 2005-05-05 2006-11-16 Ironport Systems, Inc. Method of determining network addresses of senders of electronic mail messages
US8078740B2 (en) 2005-06-03 2011-12-13 Microsoft Corporation Running internet applications with low rights
US7865830B2 (en) 2005-07-12 2011-01-04 Microsoft Corporation Feed and email content
US7930353B2 (en) * 2005-07-29 2011-04-19 Microsoft Corporation Trees of classifiers for detecting email spam
US9542667B2 (en) 2005-09-09 2017-01-10 Microsoft Technology Licensing, Llc Navigating messages within a thread
US8627222B2 (en) 2005-09-12 2014-01-07 Microsoft Corporation Expanded search and find user interface
US20070118759A1 (en) * 2005-10-07 2007-05-24 Sheppard Scott K Undesirable email determination
US8065370B2 (en) 2005-11-03 2011-11-22 Microsoft Corporation Proofs to filter spam
US8272064B2 (en) * 2005-11-16 2012-09-18 The Boeing Company Automated rule generation for a secure downgrader
US7451145B1 (en) * 2005-12-13 2008-11-11 At&T Corp. Method and apparatus for recursively analyzing log file data in a network
EP1806885A1 (en) * 2006-01-05 2007-07-11 Alcatel Lucent Electronic messaging management method and system
US8131805B2 (en) * 2006-03-01 2012-03-06 Research In Motion Limited Multilevel anti-spam system and method with load balancing
US7685271B1 (en) * 2006-03-30 2010-03-23 Symantec Corporation Distributed platform for testing filtering rules
US8417783B1 (en) * 2006-05-31 2013-04-09 Proofpoint, Inc. System and method for improving feature selection for a spam filtering model
US9727989B2 (en) 2006-06-01 2017-08-08 Microsoft Technology Licensing, Llc Modifying and formatting a chart using pictorially provided chart elements
US8185737B2 (en) 2006-06-23 2012-05-22 Microsoft Corporation Communication across domains
CN101098504A (zh) * 2006-06-29 2008-01-02 卢森特技术有限公司 用于sms垃圾过滤的smpp消息处理
US20080005238A1 (en) * 2006-06-29 2008-01-03 Microsoft Corporation Roaming consistent user representation information across devices and applications
US8166113B2 (en) * 2006-08-02 2012-04-24 Microsoft Corporation Access limited EMM distribution lists
JP4405500B2 (ja) * 2006-12-08 2010-01-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 傾向分析システムの評価方法および装置
US7606214B1 (en) * 2006-09-14 2009-10-20 Trend Micro Incorporated Anti-spam implementations in a router at the network layer
CN101166159B (zh) * 2006-10-18 2010-07-28 阿里巴巴集团控股有限公司 一种确定垃圾信息的方法及系统
US20080096592A1 (en) * 2006-10-19 2008-04-24 Waytena William L Systems and Methods for Providing Communications Services Using Assigned Codes
US8224905B2 (en) 2006-12-06 2012-07-17 Microsoft Corporation Spam filtration utilizing sender activity data
US7921176B2 (en) 2007-01-03 2011-04-05 Madnani Rajkumar R Mechanism for generating a composite email
WO2008101838A2 (en) 2007-02-22 2008-08-28 Telefonaktiebolaget Lm Ericsson (Publ) Group access to ip multimedia subsystem service
US8381096B2 (en) * 2007-03-15 2013-02-19 Yahoo! Inc. Managing list tailoring for a mobile device
US20080235246A1 (en) * 2007-03-20 2008-09-25 Arun Hampapur Filter sequencing based on a publish-subscribe architecture for digital signal processing
JP4904466B2 (ja) * 2007-04-26 2012-03-28 キヤノンＩｔソリューションズ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、及び記録媒体
US10019570B2 (en) 2007-06-14 2018-07-10 Microsoft Technology Licensing, Llc Protection and communication abstractions for web browsers
US8484578B2 (en) 2007-06-29 2013-07-09 Microsoft Corporation Communication between a document editor in-space user interface and a document editor out-space user interface
US8762880B2 (en) 2007-06-29 2014-06-24 Microsoft Corporation Exposing non-authoring features through document status information in an out-space user interface
US8201103B2 (en) 2007-06-29 2012-06-12 Microsoft Corporation Accessing an out-space user interface for a document editor program
US7890590B1 (en) * 2007-09-27 2011-02-15 Symantec Corporation Variable bayesian handicapping to provide adjustable error tolerance level
US20090089381A1 (en) * 2007-09-28 2009-04-02 Microsoft Corporation Pending and exclusive electronic mail inbox
JP4963099B2 (ja) * 2007-10-23 2012-06-27 Ｋｄｄｉ株式会社 電子メールフィルタリング装置、電子メールのフィルタリング方法およびプログラム
JP5032286B2 (ja) * 2007-12-10 2012-09-26 株式会社ジャストシステム フィルタリング処理方法、フィルタリング処理プログラムおよびフィルタリング装置
US8438636B2 (en) * 2008-01-11 2013-05-07 Microsoft Corporation Secure and extensible policy-driven application platform
US7996897B2 (en) * 2008-01-23 2011-08-09 Yahoo! Inc. Learning framework for online applications
US9588781B2 (en) 2008-03-31 2017-03-07 Microsoft Technology Licensing, Llc Associating command surfaces with multiple active components
US7970814B2 (en) * 2008-05-20 2011-06-28 Raytheon Company Method and apparatus for providing a synchronous interface for an asynchronous service
EP2301208A1 (en) * 2008-05-20 2011-03-30 Raytheon Company System and method for dynamic contact lists
EP2281387A4 (en) * 2008-05-20 2013-03-20 Raytheon Co SYSTEM AND METHOD FOR COLLABORATIVE MESSAGE TRANSMISSION AND DATA DISTRIBUTION
US8112487B2 (en) * 2008-05-20 2012-02-07 Raytheon Company System and method for message filtering
EP2304924A1 (en) 2008-05-20 2011-04-06 Raytheon Company System and method for maintaining stateful information
TW200949570A (en) * 2008-05-23 2009-12-01 Univ Nat Taiwan Science Tech Method for filtering e-mail and mail filtering system thereof
US9665850B2 (en) 2008-06-20 2017-05-30 Microsoft Technology Licensing, Llc Synchronized conversation-centric message list and message reading pane
US8402096B2 (en) 2008-06-24 2013-03-19 Microsoft Corporation Automatic conversation techniques
US8490185B2 (en) * 2008-06-27 2013-07-16 Microsoft Corporation Dynamic spam view settings
US8554847B2 (en) * 2008-07-15 2013-10-08 Yahoo! Inc. Anti-spam profile clustering based on user behavior
US20100070372A1 (en) * 2008-09-17 2010-03-18 Yahoo! Inc. Using spam and user actions to infer advertisements
US20100211641A1 (en) * 2009-02-16 2010-08-19 Microsoft Corporation Personalized email filtering
US9046983B2 (en) 2009-05-12 2015-06-02 Microsoft Technology Licensing, Llc Hierarchically-organized control galleries
US7930430B2 (en) 2009-07-08 2011-04-19 Xobni Corporation Systems and methods to provide assistance during address input
US9021028B2 (en) 2009-08-04 2015-04-28 Yahoo! Inc. Systems and methods for spam filtering
US9152952B2 (en) 2009-08-04 2015-10-06 Yahoo! Inc. Spam filtering and person profiles
US9529864B2 (en) 2009-08-28 2016-12-27 Microsoft Technology Licensing, Llc Data mining electronic communications
US8205264B1 (en) * 2009-09-04 2012-06-19 zScaler Method and system for automated evaluation of spam filters
US9183544B2 (en) 2009-10-14 2015-11-10 Yahoo! Inc. Generating a relationship history
US8959159B2 (en) * 2010-04-01 2015-02-17 Microsoft Corporation Personalized email interactions applied to global filtering
US8843568B2 (en) * 2010-05-17 2014-09-23 Microsoft Corporation Email tags
TWI423636B (zh) * 2010-05-19 2014-01-11 Chunghwa Telecom Co Ltd 即時的郵件封包檢測系統及方法
US8880622B2 (en) * 2010-06-30 2014-11-04 International Business Machines Corporation Message thread management using dynamic pointers
US8464342B2 (en) * 2010-08-31 2013-06-11 Microsoft Corporation Adaptively selecting electronic message scanning rules
US8635289B2 (en) 2010-08-31 2014-01-21 Microsoft Corporation Adaptive electronic message scanning
JP5025776B2 (ja) * 2010-09-28 2012-09-12 株式会社東芝 異常診断フィルタ生成装置
WO2012047529A1 (en) * 2010-09-28 2012-04-12 Siemens Corporation Adaptive remote maintenance of rolling stocks
US8589732B2 (en) 2010-10-25 2013-11-19 Microsoft Corporation Consistent messaging with replication
US9209993B2 (en) * 2010-11-16 2015-12-08 Microsoft Technology Licensing, Llc Cooperative session-based filtering
CN102480705B (zh) * 2010-11-26 2015-11-25 卓望数码技术（深圳）有限公司 一种根据号码关系图过滤垃圾短信的方法及系统
US8744979B2 (en) * 2010-12-06 2014-06-03 Microsoft Corporation Electronic communications triage using recipient's historical behavioral and feedback
CN102567304B (zh) * 2010-12-24 2014-02-26 北大方正集团有限公司 一种网络不良信息的过滤方法及装置
US8620836B2 (en) * 2011-01-10 2013-12-31 Accenture Global Services Limited Preprocessing of text
US8504492B2 (en) 2011-01-10 2013-08-06 Accenture Global Services Limited Identification of attributes and values using multiple classifiers
CN103493381B (zh) * 2011-01-14 2015-08-05 皇家飞利浦有限公司 分集无线电接收机系统
US8635291B2 (en) 2011-02-18 2014-01-21 Blackberry Limited Communication device and method for overriding a message filter
US9294306B2 (en) * 2011-03-11 2016-03-22 Shutterfly, Inc. Intelligent prevention of spam emails at share sites
RU2453919C1 (ru) * 2011-03-28 2012-06-20 Закрытое акционерное общество "Лаборатория Касперского" Способ выявления спама в растровом изображении
US9519682B1 (en) 2011-05-26 2016-12-13 Yahoo! Inc. User trustworthiness
US10277452B2 (en) * 2011-07-08 2019-04-30 Gree, Inc. Message processing system and message processing method
US9525635B2 (en) 2011-11-15 2016-12-20 Nec Corporation Network communication apparatus and method of preferential band limitation of transfer frame
US8954519B2 (en) * 2012-01-25 2015-02-10 Bitdefender IPR Management Ltd. Systems and methods for spam detection using character histograms
US9152953B2 (en) * 2012-02-10 2015-10-06 International Business Machines Corporation Multi-tiered approach to E-mail prioritization
US9256862B2 (en) * 2012-02-10 2016-02-09 International Business Machines Corporation Multi-tiered approach to E-mail prioritization
RU2510982C2 (ru) * 2012-04-06 2014-04-10 Закрытое акционерное общество "Лаборатория Касперского" Система и способ оценки пользователей для фильтрации сообщений
US9876742B2 (en) * 2012-06-29 2018-01-23 Microsoft Technology Licensing, Llc Techniques to select and prioritize application of junk email filtering rules
TWI516158B (zh) 2012-07-19 2016-01-01 葉宏堯 可攜式電子接入裝置以及無線數據網路系統
US9368116B2 (en) 2012-09-07 2016-06-14 Verint Systems Ltd. Speaker separation in diarization
US8938796B2 (en) 2012-09-20 2015-01-20 Paul Case, SR. Case secure computer architecture
JP6122135B2 (ja) * 2012-11-21 2017-04-26 コーヒレント・ロジックス・インコーポレーテッド 分散型プロセッサを有する処理システム
US10134400B2 (en) 2012-11-21 2018-11-20 Verint Systems Ltd. Diarization using acoustic labeling
US9575633B2 (en) * 2012-12-04 2017-02-21 Ca, Inc. User interface utility across service providers
US8966203B2 (en) * 2013-01-04 2015-02-24 Microsoft Corporation Shared and managed memory unified access
CN103970801B (zh) * 2013-02-05 2019-03-26 腾讯科技（深圳）有限公司 微博广告博文识别方法及装置
US9460722B2 (en) 2013-07-17 2016-10-04 Verint Systems Ltd. Blind diarization of recorded calls with arbitrary number of speakers
US9984706B2 (en) 2013-08-01 2018-05-29 Verint Systems Ltd. Voice activity detection using a soft decision mechanism
RU2638634C2 (ru) * 2014-01-23 2017-12-14 Общество с ограниченной ответственностью "Аби Продакшн" Автоматическое обучение программы синтаксического и семантического анализа с использованием генетического алгоритма
CN103793838A (zh) * 2014-01-26 2014-05-14 宇龙计算机通信科技(深圳)有限公司 拦截广告的方法及其装置
US10931692B1 (en) * 2015-01-22 2021-02-23 Cisco Technology, Inc. Filtering mechanism to reduce false positives of ML-based anomaly detectors and classifiers
US9875743B2 (en) 2015-01-26 2018-01-23 Verint Systems Ltd. Acoustic signature building for a speaker from multiple sessions
US20160335432A1 (en) * 2015-05-17 2016-11-17 Bitdefender IPR Management Ltd. Cascading Classifiers For Computer Security Applications
SG11201509818UA (en) * 2015-07-24 2017-03-30 Certis Cisco Security Pte Ltd System and method for high speed threat intelligence management using unsupervised machine learning and prioritization algorithms
US20170222960A1 (en) * 2016-02-01 2017-08-03 Linkedin Corporation Spam processing with continuous model training
US10063435B2 (en) * 2016-04-11 2018-08-28 The Boeing Company System and method for context aware network filtering
CN106201829B (zh) * 2016-07-18 2019-01-22 中国银联股份有限公司 监控阈值确定方法及装置、监控报警方法、装置及系统
CN107040450B (zh) * 2016-07-20 2018-06-01 平安科技（深圳）有限公司 自动回复方法和装置
US10838584B2 (en) 2016-10-31 2020-11-17 Microsoft Technology Licensing, Llc Template based calendar events with graphic enrichment
US10911382B2 (en) * 2017-01-30 2021-02-02 Futurewei Technologies, Inc. Personalized message priority classification
US11232369B1 (en) * 2017-09-08 2022-01-25 Facebook, Inc. Training data quality for spam classification
CN107798390B (zh) 2017-11-22 2023-03-21 创新先进技术有限公司 一种机器学习模型的训练方法、装置以及电子设备
US11544577B1 (en) * 2018-01-26 2023-01-03 Amazon Technologies, Inc. Adaptable filtering for edge-based deep learning models
US11538128B2 (en) 2018-05-14 2022-12-27 Verint Americas Inc. User interface for fraud alert management
US10887452B2 (en) 2018-10-25 2021-01-05 Verint Americas Inc. System architecture for fraud detection
EP3987743A1 (en) 2019-06-20 2022-04-27 Verint Americas Inc. Systems and methods for authentication and fraud detection
US11868453B2 (en) 2019-11-07 2024-01-09 Verint Americas Inc. Systems and methods for customer authentication based on audio-of-interest
CN111221970B (zh) * 2019-12-31 2022-06-07 论客科技（广州）有限公司 基于行为结构和语义内容联合分析的邮件分类方法及装置
US11847537B2 (en) * 2020-08-12 2023-12-19 Bank Of America Corporation Machine learning based analysis of electronic communications
US11558335B2 (en) 2020-09-23 2023-01-17 International Business Machines Corporation Generative notification management mechanism via risk score computation
US11528242B2 (en) * 2020-10-23 2022-12-13 Abnormal Security Corporation Discovering graymail through real-time analysis of incoming email

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072942A (en) * 1996-09-18 2000-06-06 Secure Computing Corporation System and method of electronic mail filtering using interconnected nodes
US6199102B1 (en) * 1997-08-26 2001-03-06 Christopher Alan Cobb Method and system for filtering electronic messages
CN1350247A (zh) * 2001-12-03 2002-05-22 上海交通大学 针对邮件内容的监管系统
CN1350246A (zh) * 2001-12-03 2002-05-22 上海交通大学 智能化的电子邮件内容过滤方法

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US199095A (en) * 1878-01-08 Improvement in amalgamators
US184315A (en) * 1876-11-14 Improvement in combined stopper and dropper for bottles
GB8918553D0 (en) * 1989-08-15 1989-09-27 Digital Equipment Int Message control system
US5619648A (en) 1994-11-30 1997-04-08 Lucent Technologies Inc. Message filtering techniques
US5845077A (en) 1995-11-27 1998-12-01 Microsoft Corporation Method and system for identifying and obtaining computer software from a remote computer
US6101531A (en) 1995-12-19 2000-08-08 Motorola, Inc. System for communicating user-selected criteria filter prepared at wireless client to communication server for filtering data transferred from host to said wireless client
EP0870386B1 (de) 1995-12-29 2000-04-12 Tixi.Com GmbH Telecommunication Verfahren und mikrocomputersystem zur automatischen, sicheren und direkten datenübertragung
CA2243359A1 (en) 1996-01-31 1997-08-07 Ipsilon Networks, Inc. Improved method and apparatus for dynamically shifting between routing and switching packets in a transmission network
US5704017A (en) 1996-02-16 1997-12-30 Microsoft Corporation Collaborative filtering utilizing a belief network
US5884033A (en) 1996-05-15 1999-03-16 Spyglass, Inc. Internet filtering system for filtering data transferred over the internet utilizing immediate and deferred filtering actions
US6151643A (en) 1996-06-07 2000-11-21 Networks Associates, Inc. Automatic updating of diverse software products on multiple client computer systems by downloading scanning application to client computer and generating software list on client computer
US6453327B1 (en) 1996-06-10 2002-09-17 Sun Microsystems, Inc. Method and apparatus for identifying and discarding junk electronic mail
US5805801A (en) 1997-01-09 1998-09-08 International Business Machines Corporation System and method for detecting and preventing security
US5905859A (en) 1997-01-09 1999-05-18 International Business Machines Corporation Managed network device security method and apparatus
US6742047B1 (en) 1997-03-27 2004-05-25 Intel Corporation Method and apparatus for dynamically filtering network content
EP0881559B1 (en) 1997-05-28 2003-08-20 Siemens Aktiengesellschaft Computer system for protecting software and a method for protecting software
US7117358B2 (en) 1997-07-24 2006-10-03 Tumbleweed Communications Corp. Method and system for filtering communication
ATE444614T1 (de) * 1997-07-24 2009-10-15 Axway Inc E-mail firewall
US6195686B1 (en) * 1997-09-29 2001-02-27 Ericsson Inc. Messaging application having a plurality of interfacing capabilities
US6393465B2 (en) 1997-11-25 2002-05-21 Nixmail Corporation Junk electronic mail detector and eliminator
WO1999032985A1 (en) 1997-12-22 1999-07-01 Accepted Marketing, Inc. E-mail filter and method thereof
US6023723A (en) 1997-12-22 2000-02-08 Accepted Marketing, Inc. Method and system for filtering unwanted junk e-mail utilizing a plurality of filtering mechanisms
US6052709A (en) * 1997-12-23 2000-04-18 Bright Light Technologies, Inc. Apparatus and method for controlling delivery of unsolicited electronic mail
GB2334116A (en) 1998-02-04 1999-08-11 Ibm Scheduling and dispatching queued client requests within a server computer
US6484261B1 (en) 1998-02-17 2002-11-19 Cisco Technology, Inc. Graphical network security policy management
US6504941B2 (en) 1998-04-30 2003-01-07 Hewlett-Packard Company Method and apparatus for digital watermarking of images
US6314421B1 (en) * 1998-05-12 2001-11-06 David M. Sharnoff Method and apparatus for indexing documents for message filtering
US6074942A (en) * 1998-06-03 2000-06-13 Worldwide Semiconductor Manufacturing Corporation Method for forming a dual damascene contact and interconnect
US6308273B1 (en) 1998-06-12 2001-10-23 Microsoft Corporation Method and system of security location discrimination
US6192360B1 (en) 1998-06-23 2001-02-20 Microsoft Corporation Methods and apparatus for classifying text and for building a text classifier
US6161130A (en) 1998-06-23 2000-12-12 Microsoft Corporation Technique which utilizes a probabilistic classifier to detect "junk" e-mail by automatically updating a training and re-training the classifier based on the updated training set
US6167434A (en) 1998-07-15 2000-12-26 Pang; Stephen Y. Computer code for removing junk e-mail messages
US6112227A (en) 1998-08-06 2000-08-29 Heiner; Jeffrey Nelson Filter-in method for reducing junk e-mail
US6434600B2 (en) 1998-09-15 2002-08-13 Microsoft Corporation Methods and systems for securely delivering electronic mail to hosts having dynamic IP addresses
US6732273B1 (en) * 1998-10-21 2004-05-04 Lucent Technologies Inc. Priority and security coding system for electronic mail messages
GB2343529B (en) 1998-11-07 2003-06-11 Ibm Filtering incoming e-mail
US6546416B1 (en) 1998-12-09 2003-04-08 Infoseek Corporation Method and system for selectively blocking delivery of bulk electronic mail
US6643686B1 (en) 1998-12-18 2003-11-04 At&T Corp. System and method for counteracting message filtering
US6615242B1 (en) 1998-12-28 2003-09-02 At&T Corp. Automatic uniform resource locator-based message filter
US6266692B1 (en) 1999-01-04 2001-07-24 International Business Machines Corporation Method for blocking all unwanted e-mail (SPAM) using a header-based password
US6330590B1 (en) 1999-01-05 2001-12-11 William D. Cotten Preventing delivery of unwanted bulk e-mail
US6424997B1 (en) 1999-01-27 2002-07-23 International Business Machines Corporation Machine learning based electronic messaging system
US6477551B1 (en) 1999-02-16 2002-11-05 International Business Machines Corporation Interactive electronic messaging system
US6732149B1 (en) * 1999-04-09 2004-05-04 International Business Machines Corporation System and method for hindering undesired transmission or receipt of electronic messages
US6370526B1 (en) 1999-05-18 2002-04-09 International Business Machines Corporation Self-adaptive method and system for providing a user-preferred ranking order of object sets
US6592627B1 (en) 1999-06-10 2003-07-15 International Business Machines Corporation System and method for organizing repositories of semi-structured documents such as email
US6321267B1 (en) 1999-11-23 2001-11-20 Escom Corporation Method and apparatus for filtering junk email
US6728690B1 (en) 1999-11-23 2004-04-27 Microsoft Corporation Classification system trainer employing maximum margin back-propagation with probabilistic outputs
US6633855B1 (en) 2000-01-06 2003-10-14 International Business Machines Corporation Method, system, and program for filtering content using neural networks
US6701440B1 (en) 2000-01-06 2004-03-02 Networks Associates Technology, Inc. Method and system for protecting a computer using a remote e-mail scanning device
US7072942B1 (en) * 2000-02-04 2006-07-04 Microsoft Corporation Email filtering methods and systems
US6691156B1 (en) 2000-03-10 2004-02-10 International Business Machines Corporation Method for restricting delivery of unsolicited E-mail
US6684201B1 (en) 2000-03-31 2004-01-27 Microsoft Corporation Linguistic disambiguation system and method using string-based pattern training to learn to resolve ambiguity sites
US7210099B2 (en) 2000-06-12 2007-04-24 Softview Llc Resolution independent vector display of internet content
US20040073617A1 (en) 2000-06-19 2004-04-15 Milliken Walter Clark Hash-based systems and methods for detecting and preventing transmission of unwanted e-mail
CN1300677C (zh) 2000-06-22 2007-02-14 微软公司 分布式计算服务平台
US6779021B1 (en) 2000-07-28 2004-08-17 International Business Machines Corporation Method and system for predicting and managing undesirable electronic mail
US6842773B1 (en) 2000-08-24 2005-01-11 Yahoo ! Inc. Processing of textual electronic communication distributed in bulk
US6757830B1 (en) 2000-10-03 2004-06-29 Networks Associates Technology, Inc. Detecting unwanted properties in received email messages
US6971023B1 (en) 2000-10-03 2005-11-29 Mcafee, Inc. Authorizing an additional computer program module for use with a core computer program
US7243125B2 (en) 2000-12-08 2007-07-10 Xerox Corporation Method and apparatus for presenting e-mail threads as semi-connected text by removing redundant material
US6775704B1 (en) 2000-12-28 2004-08-10 Networks Associates Technology, Inc. System and method for preventing a spoofed remote procedure call denial of service attack in a networked computing environment
US6901398B1 (en) * 2001-02-12 2005-05-31 Microsoft Corporation System and method for constructing and personalizing a universal information classifier
GB2373130B (en) 2001-03-05 2004-09-22 Messagelabs Ltd Method of,and system for,processing email in particular to detect unsolicited bulk email
US6928465B2 (en) 2001-03-16 2005-08-09 Wells Fargo Bank, N.A. Redundant email address detection and capture system
US6751348B2 (en) 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images
US7188106B2 (en) 2001-05-01 2007-03-06 International Business Machines Corporation System and method for aggregating ranking results from various sources to improve the results of web searching
US6768991B2 (en) 2001-05-15 2004-07-27 Networks Associates Technology, Inc. Searching for sequences of character data
US7103599B2 (en) 2001-05-15 2006-09-05 Verizon Laboratories Inc. Parsing of nested internet electronic mail documents
US20030009698A1 (en) 2001-05-30 2003-01-09 Cascadezone, Inc. Spam avenger
US7502829B2 (en) 2001-06-21 2009-03-10 Cybersoft, Inc. Apparatus, methods and articles of manufacture for intercepting, examining and controlling code, data and files and their transfer
US7328250B2 (en) 2001-06-29 2008-02-05 Nokia, Inc. Apparatus and method for handling electronic mail
TW533380B (en) 2001-07-23 2003-05-21 Ulead Systems Inc Group image detecting method
US6769016B2 (en) 2001-07-26 2004-07-27 Networks Associates Technology, Inc. Intelligent SPAM detection system using an updateable neural analysis engine
JP2003067304A (ja) * 2001-08-27 2003-03-07 Kddi Corp 電子メールフィルタリングシステム、電子メールフィルタリング方法、電子メールフィルタリングプログラム及びそれを記録した記録媒体
JP2003085079A (ja) * 2001-09-12 2003-03-20 Xaxon R & D Corp コンピュータネットワークにおけるコンテンツフィルタリング装置及びフィルタパターンファイルの配信方法並びに記憶媒体、プログラム
US20060036701A1 (en) 2001-11-20 2006-02-16 Bulfer Andrew F Messaging system having message filtering and access control
US20030204569A1 (en) 2002-04-29 2003-10-30 Michael R. Andrews Method and apparatus for filtering e-mail infected with a previously unidentified computer virus
US7522910B2 (en) * 2002-05-31 2009-04-21 Oracle International Corporation Method and apparatus for controlling data provided to a mobile device
US20030229672A1 (en) 2002-06-05 2003-12-11 Kohn Daniel Mark Enforceable spam identification and reduction system, and method thereof
US8046832B2 (en) 2002-06-26 2011-10-25 Microsoft Corporation Spam detector with challenges
US20040003282A1 (en) * 2002-06-28 2004-01-01 Smith Alrick Lockhart Method of storing data
US8924484B2 (en) 2002-07-16 2014-12-30 Sonicwall, Inc. Active e-mail filter with challenge-response
US20040019651A1 (en) * 2002-07-29 2004-01-29 Andaker Kristian L. M. Categorizing electronic messages based on collaborative feedback
US7363490B2 (en) 2002-09-12 2008-04-22 International Business Machines Corporation Method and system for selective email acceptance via encoded email identifiers
US20040083270A1 (en) * 2002-10-23 2004-04-29 David Heckerman Method and system for identifying junk e-mail
US7149801B2 (en) 2002-11-08 2006-12-12 Microsoft Corporation Memory bound functions for spam deterrence and the like
US6732157B1 (en) 2002-12-13 2004-05-04 Networks Associates Technology, Inc. Comprehensive anti-spam system, method, and computer program product for filtering unwanted e-mail messages
AU2003288515A1 (en) 2002-12-26 2004-07-22 Commtouch Software Ltd. Detection and prevention of spam
US7533148B2 (en) 2003-01-09 2009-05-12 Microsoft Corporation Framework to enable integration of anti-spam technologies
US7171450B2 (en) 2003-01-09 2007-01-30 Microsoft Corporation Framework to enable integration of anti-spam technologies
US7219131B2 (en) * 2003-01-16 2007-05-15 Ironport Systems, Inc. Electronic message delivery using an alternate source approach
US7249162B2 (en) * 2003-02-25 2007-07-24 Microsoft Corporation Adaptive junk message filtering system
US20040177120A1 (en) 2003-03-07 2004-09-09 Kirsch Steven T. Method for filtering e-mail messages
US20050015455A1 (en) 2003-07-18 2005-01-20 Liu Gary G. SPAM processing system and methods including shared information among plural SPAM filters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072942A (en) * 1996-09-18 2000-06-06 Secure Computing Corporation System and method of electronic mail filtering using interconnected nodes
US6199102B1 (en) * 1997-08-26 2001-03-06 Christopher Alan Cobb Method and system for filtering electronic messages
CN1350247A (zh) * 2001-12-03 2002-05-22 上海交通大学 针对邮件内容的监管系统
CN1350246A (zh) * 2001-12-03 2002-05-22 上海交通大学 智能化的电子邮件内容过滤方法

Also Published As

Publication number Publication date
RU2327205C2 (ru) 2008-06-20
US20040167964A1 (en) 2004-08-26
JP2006514371A (ja) 2006-04-27
ATE464722T1 (de) 2010-04-15
CN1742266A (zh) 2006-03-01
TWI393391B (zh) 2013-04-11
MXPA05008205A (es) 2005-09-30
NO20053915D0 (no) 2005-08-22
KR101076908B1 (ko) 2011-10-25
ZA200505907B (en) 2007-03-28
DE60332168D1 (de) 2010-05-27
TW200423643A (en) 2004-11-01
US7249162B2 (en) 2007-07-24
IL169885A0 (en) 2007-07-04
WO2004079501A3 (en) 2005-10-06
EP1597645B1 (en) 2010-04-14
CA2512821A1 (en) 2004-09-16
BR0318024A (pt) 2005-12-06
RU2005126821A (ru) 2006-01-20
NO20053915L (no) 2005-09-22
NZ541391A (en) 2008-08-29
US20080010353A1 (en) 2008-01-10
AU2003300051B2 (en) 2009-02-19
KR20060006767A (ko) 2006-01-19
CA2512821C (en) 2012-12-18
HK1085286A1 (en) 2006-08-18
EP1597645A4 (en) 2009-03-18
EP1597645A2 (en) 2005-11-23
US7640313B2 (en) 2009-12-29
AU2003300051A1 (en) 2004-09-28
WO2004079501A2 (en) 2004-09-16
IL169885A (en) 2010-11-30
JP4524192B2 (ja) 2010-08-11

Similar Documents

Publication Publication Date Title
CN100437544C (zh) 自适应垃圾消息过滤系统和用于数据过滤的方法
CN100527117C (zh) 在含多个反垃圾邮件模块的系统中确定消息的方法和系统
US7836132B2 (en) Delivery confirmation for e-mail
US9473442B2 (en) On demand email response
US6272532B1 (en) Electronic reminder system with universal email input
CN1517928B (zh) 允许综合反兜售信息的技术构架
US7191221B2 (en) Method for managing electronic mail receipts using audio-visual notification enhancements
US6370575B1 (en) Web-based status/issue tracking system based on parameterized definition
US7720923B2 (en) Method and system for notification of local action required to contents of electronic mail message
US8180274B2 (en) System for managing and messaging critical student information
MXPA04008492A (es) Metodo y sistema para enviar y rastrear mensajes de correo electronico.
US20060031358A1 (en) System and method for managing mail messages
CN102236715A (zh) 电子邮件消息的协作评定和过滤
US7546535B2 (en) Methods, systems, and computer program products for sorting electronic-mail messages
US20170324684A1 (en) Centralized message system and methods
CN101441744A (zh) 一种电子邮件管理方法及系统
US20050198579A1 (en) Method and apparatus to avoid duplicate electronic mail documents resulting from forwarding of an electronic mail document
US20060294188A1 (en) Providing status information about email recipients
US20030041261A1 (en) Method and apparatus for coordinating computer messages and attachments
KR100390678B1 (ko) 자동 삭제 웹메일 시스템
JP7230330B2 (ja) 情報処理装置及び情報処理プログラム
JP2003006117A (ja) 電子メールシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150508

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150508

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081126

Termination date: 20191231

CF01 Termination of patent right due to non-payment of annual fee