CN1965306B - 高性能网络内容分析平台 - Google Patents

Abstract

方法的一种实现重组完整的客户端-服务器会话流，应用解码器和/或解压缩器，并且使用多维内容分析和/或加权的上下文中的关键字来分析所述得到的数据流。所述方法可以检测所述数据的外泄，例如，即使所述数据已经从其原始形式和/或文档类型进行了修改。所述解码器还可以揭示隐藏的传输机构，比如电子邮件附件。所述方法还可以检测未授权(即，欺诈性的)的加密会话，并且停止被认为是恶意的数据传送。例如，所述方法考虑构建2Gbps(全双工)-能力的外泄防止机。

Description

高性能网络内容分析平台

技术领域

本发明涉及网络通信。更具体来讲，本发明涉及提供网络内容分析，以例如用来防止信息泄漏和/或检测欺诈加密。

背景技术

内容扫描总体上讲是一种相对发展良好的领域。在大多数应用中，内容扫描是基于关键字的；然而，更加高级的应用使用模式匹配/文档分类的正则表达式或者统计方法。这些方法本身已经被应用于许多文档分类问题。统计分类器的成功应用的例子是兜售信息(Spam)过滤，其中贝叶斯(Bayesian)分类器显示出98％的正确率。

数字资产保护(例如，防止信息经由网络信道泄漏)领域是相当新的。迄今为止，一些商业系统借用现有领域的方法和工具，专注于针对存在关键字与否对数据进行离线分析。数字资产保护中最有进展的部分是电子邮件扫描器，其充当电子邮件递送和交换软件的附加软件。此领域中的产品提供基于关键字的过滤和基于正则表达式(regexp)的过滤，并且关注于防止试图把攻击性的或者其它不合适的电子邮件传递至公司外部，以保护公司免受可能的诉讼。

数字资产保护领域最近开始引起关注，而这特别是因为美国政府的保密倡议(initiative)，所述保密倡议例如是以金融机构为目标的“格拉姆-利奇-布利利法案”(Gramm-Leach-BlileyAct，“GLBA”)和用于保健供应商的健康保险便利和义务法案(Health Insurance Portabilityand Accountability Act，“HIPAA”)。例如，信用卡号及病历的泄漏会给公司造成数百万美元的债务。因此，这些事件应被制止。

发明内容

依照一个方面，本发明提供了一种网络通信方法，包括：接收网络数据；根据所述网络数据重组客户端-服务器通信会话；并且通过使用(i)基于统计的检测和(ii)基于关键字的检测中的至少一个来分析所述客户端-服务器通信会话，以经由所述网络数据检测信息泄漏。

依照另一方面，本发明提供了一种网络通信方法，包括：接收网络通信；通过对所述网络通信实时地提供至少内容重组、扫描和识别，以防止经由网络通信进行的数据的未授权和/或恶意地转送。

依照又一个方面，本发明提供了一种网络通信方法，包括：接收网络数据；并且通过至少应用多维内容概要分析(profiling)来经由网络数据防止信息泄漏。

依照又一个方面，本发明提供了一种网络通信装置，包括：用于接收网络数据的接收器；耦合至所述接收器的处理器，用于(i)根据所述网络数据来重组客户端-服务器通信会话，并且(ii)通过使用(i)基于统计的检测和(ii)基于关键字的检测中的至少一个来分析所述客户端-服务器通信会话，以经由所述网络数据检测信息泄漏。

依照又一方面，本发明提供了一种网络通信装置，包括：用于接收网络通信的接收器；以及耦合至所述接收器的处理器，用于向所述网络通信实时地提供至少内容重组、扫描和识别，以防止经由所述网络通信进行的数据的未授权和/或恶意地转送。

依照又一方面，本发明提供了一种网络通信装置，包括：用于接收网络数据的接收器；以及耦合至所述接收器的处理器，用于通过至少应用多维内容概要分析来经由所述网络数据防止信息泄漏。

附图说明

图1描述了网络内容分析平台的一个实施例的框图；

图2描述了图1的分组捕获的一个实施例的框图；

图3描述了图1的分组捕获的一个实施例的流程图；

图4描述了图1的IP碎片整理程序(defragmenter)的一个实施例的框图；

图5描述了IP碎片整理程序空闲描述符链的一个实施例；

图6描述了IP碎片整理程序描述符时期链的一个实施例；

图7描述了IP碎片整理程序会话描述符结构的一个实施例；

图8描述了图1的IP碎片整理程序的一个实施例的流程图；

图9描述了图1的TCP重组器的一个实施例的框图；

图10描述了TCP重组器空闲会话与有效负载链的一个实施例；

图11描述了流转换图的一个实施例；

图12描述了TCP会话转换图的一个实施例；

图13描述了TCP会话时期链的一个实施例；

图14描述了TCP会话环形缓冲区的一个实施例；

图15描述了TCP有效负载链的一个实施例；

图16描述了图1的TCP重组器的一个实施例的流程图；

图17描述了图1的内容解码器的一个实施例的流程图；

图18描述了内容解码树的一个实施例；

图19描述了自动关键字发现工具的一个实施例的流程图；

图20描述了图1的关键字扫描器的一个实施例的流程图；

图21描述了自动内容概要分析器工具的一个实施例的流程图；

图22描述了超平面计算的一个实施例的流程图；

图23描述了图1的多维内容概要分析扫描器的一个实施例的流程图；

图24描述了输出得分计算的一个实施例的流程图；

图25描述了内容扫描器有限状态自动机的一个实施例；

图26描述了图1的欺诈加密检测器的一个实施例的流程图；

图27描述了图1的进程管理器的一个实施例的框图；

图28描述了图1的事件假脱机程序的一个实施例的框图；

图29描述了图1的事件假脱机程序的一个实施例的流程图；

图30描述了图1的TCP限制器(killer)的一个实施例的框图；并且

图31描述了图1的TCP限制器的一个实施例的流程图。

缩语列表

GLBA    格拉姆-利奇-布利利法案(Gramm Leach BlaileyAct)

HIPAA   健康保险便利和义务法案(Health InsurancePortability and Accountability Act)

IP      网际协议(Internet Protocol)

TCP     传输控制协议(Transport Control Protocol)

DF      数字指纹识别(Digital Fingerprinting)

HTML    超文本标记语言(Hypertext Markup Language)

FSA     有限状态自动机(Finite State Automata)

PDF     便携式文档格式(Portable Document Format)

HTTP    超文本传输协议(Hyper Text Transfer Protocol)

FTP     文件传输协议(File Transfer Protocol)

XML     可扩展标记语言(extensible markup language)

SSN     社会安全号码(Social Security Number)

OS      操作系统(Operating System)

API     应用编程接口(Application ProgrammingInterface)

NIC     网络接口卡(Network Interface Card)

FD      全双工(Full Duplex)

SPAN    交换端口分析器(Switched Port Analyzer)

CPU     中央处理单元(Central Processing Unit)

SMP     对称多处理(Symmetric Multi-Processing)

IPC     进程间通信(Inter-Process Communication)

DoS     拒绝服务(Denial of Service)

PCAP    分组捕获(Packet Capture)

PLR     分组丢失比率(Packet Loss Ratio)

RAM     随机存取存储器(Random Access Memory)

FDC     空闲描述符链(Free Descriptor Chain)

SMTP    简单邮件传送协议(Simple Mail Transfer Protocol)

MCP    多维内容概要分析(Multi-dimensional ContentProfiling)

MIME   多用互联网邮件扩展(Multi-purpose Internet MailExtension)

TAR    磁带存档(Tape Archive)

AKD    自动关键字发现(Automatic Keyword Discovery)

AIR    告警信息记录(Alert Information Record)

DRM    数字权利管理(Digital Rights Management)

ACP    自动内容概要分析器(Automatic Content Profiler)

FIFO   先进先出(First In-First Out)

VM     虚拟机(Virtual Machine)

ASCII  美国标准信息交换码(American Standard Code forInformation Interchange)

CCN    信用卡号码(Credit Card Number)

VPN    虚拟专用网络(Virtual Private Network)

RED    欺诈加密检测器(Rogue Encryption Detector)

SSL/TLS安全套接字层/传输层安全(Secure SocketLayer/Transport Layer Security)

NCAP   网络内容分析平台(Network Content AnalysisPlatform)

MUTEX  互斥锁(Mutually-Exclusive Lock)

UDP    用户数据报协议(User Datagram Protocol)

ACL    访问控制列表(Access Control List)

SNMP   简单网络管理协议(Simple Network ManagementProtocol)

ROM    只读存储器(Read-Only Memory)

具体实施方式

几乎每个组织都在其网络上维护有价值的信息，例如包括患者记录、顾客信用卡号码、化学配方和/或顾客列表。在近6年中，大约有百分之二十的被调查组织承认遭受过专有信息的网络盗窃。那时，他们所报告的经济损失已经增加了850个百分点，使得专有信息失窃成为因计算机滥用而造成经济损失的最大来源。

各组织可以使用间接的方法——基本的网络安全措施，诸如黑客防备、软件补丁、用户认证和物理安全措施之类——来保护他们的数据。更直接的方法是例如单独和或与一种或多种间接方法结合来监视数据自身流(例如，外发数据流)。

本发明的一个实施例提供了一种用于监控并且防止信息流(例如，外发数据流)的方法。所述信息可以包括敏感信息、私人信息和/或诸如知识产权的数字资产。所述方法可以捕获网络通信量，并且例如实时和/或离线地提供内容扫描和识别。所述方法可用来检测和/或防止(i)数据的未授权移动、(ii)信息的泄漏和/或(iii)数字资产的批量转送。所述数字资产可能包括顾客列表、客户和患者记录、金融信息、信用卡号码和/或社会安全号码。

所述方法可以重组完整的客户端-服务器对话流，应用解码器和/或解压器，和/或使用一个或多个内容扫描器来分析得到的数据流。所述一个或多个内容扫描器可包括多维内容概要分析、加权的上下文内的关键词和/或数字指纹识别。所述方法还可以执行处理单独网络分组的深层分组检查。所述方法还可以提供一层或多层的内容解码，其例如可以“剥离”通用压缩、聚合、文件格式和/或编码方案，并且可以以适于处理的形式来提取实际内容。另外，所述解码器可以揭露出诸如电子邮件附件之类的隐藏的传送机制。所述方法可以概要分析(例如，统计的和/或关键字概要分析)数据并可对数据的外流进行检测，即使数据已经从其原始形式和/或文档类型进行了修改。所述方法还可以检测未授权的(例如，欺诈)加密会话并且停止被认为是恶意的数据转送。所述方法可以对实时网络通信量(例如，包括1Gbps的网络)进行操作，并且允许例如构建一个具有全双工能力的(例如，一个或多个Gbps)机器来防止信息的未授权转送。

多维内容概要分析可以捕获文档(例如，文本、二进制数据、数据文件)的特性，并且可以容许文档生命周期中常见的变化：编辑、分支为若干独立的版本、类似文档的集合等。其可以被视为关键字扫描和指纹识别的后继，并且可以结合两种技术的能力。

关键字扫描是文档分类的相对有效并且用户友好的方法。它基于一组非常特定的字，在文本中进行逐字匹配。用于扫描的词典包括不适合用于通信的字、用于机密项目、产品和/或进程的码字以及那些不依赖于它们的应用上下文就能引起怀疑的其它字。匹配可以由基于逐集合(setwise)字符串匹配算法的单次匹配器来实现。正如任何人都熟悉的Google所证实的那样，关键词搜索的信噪比可以从好变为无法接受，这取决于关键词本身的独特性以及关键词和它们被期望表达的概念之间映射的正确性。

数字指纹识别(“DF”)能够以接近零的假阳性(false positive)率正确地指出某一文档和/或数据文件的确切复制品。所述方法可以通过安全散列算法(例如，SHA-1和MD5)来计算消息摘要。DF可以检测特殊数据文件的未授权复制和/或验证文件没有被篡改。由于DF对内容中较小改变的高灵敏度，几乎没有任何什么例如构成机密信息和知识产权的实际生活中的数据集被及时“冻结”并且只能够依照原始形式来利用，所以很少将DF应用于外泄检测问题。不完整的信息(例如，部分文档)或者采用不同形式的相同信息(例如，作为HTML发送的Word文档)或者具有额外标点字符的相同文档可以通过基于DF的检测器而完全不被察觉。尽管存在这些缺陷，作为用于析出内容中一些变化(例如，大小写折叠、空白规范化、词序规范化、单词多形态、使用SOUNDEX代码而不是字)的某些方法的上面的第二层，DF仍可能是十分有用的。

内容概要分析可以包括用于识别属于某一文档类别的文档的一种或多种技术。同一类别中的文档共享类似的统计特征，这些统计特征是在诸如概要分析之类的制备过程中被确定的。概要分析可以利用属于所述类别的有代表性的文档集合(正面学习集合)，附带类似于但不属于所述类别的文档(负面学习集合)。对于一个类别，该概要分析进程可以只执行一次；统计特征的最终集合(例如，概要图(profile))可用来测试该类别中的成员。

概要图的质量可能依赖于概要分析算法捕获属于该类别中所有文档所公有的特性的能力；它可以使用不同本性的多个无关特性来进行改善。每一特性可以定义一个维度(例如，随着文档的不同而变化的定量测度)。安全设备的内容概要分析可使用多个不同的特性(例如，400个以上的不同特性)，这些特性可以实时地计算出以用于数据通过网络。通过所述网络的每个文档可以被映射至多维空间中的单个点；其在此空间中的位置可用来计算类别成员(例如，一个以上类别中的成员可以被识别)并且触发告警和/或反应措施。

内容概要分析方法已经由密码分析学使用了几个世纪了；古罗马人就知道基于个体字母频率变化的简单分析方法。虽然所述简单分析方法仍有价值，但是当补充了针对诸如词和句的较大元素进行操作的高级统计法时，简单的统计特性能够更好地工作。

多维概要分析器可以利用多个(例如，200左右)低级统计测度来进行操作，而剩下的测度都是高级统计测度。高级统计测度可以考虑到某些通用问题领域(例如，保护涉及个人健康记录、银行帐户信息、顾客列表、信用卡信息、邮寄地址、电子邮件、个人历史等的机密个人信息)来设计；可以通过添加新的领域特有的维度使所述高级统计测度把其它领域重新确定为目的。

除了用于概括给定元素的总体用法的个体高级和低级特性以外，所述概要分析器可以具有专用于文档的空间结构的多个(例如，100个以上)维度，包括元素之间的互相共现和布局。举例来说，所述概要分析器可以在邮政编码紧跟州名且彼此交错的一些邮政地址中获知州名和邮政编码具有非常类似的频率。空间分析可用于捕获文档的整体结构；具有和目标类别相似的使用模式的索引、词典以及其它类型的文档都不能轻易地欺骗它。

概要分析一个学习文档集合可以生成与所述集合中的文档数目一样多的位于多维属性空间中的点。每一点可以表示个体文档(或者文档的片段)，并且可以被标记为“+”(在类别中)或者“-”(不在类别中)。最终的学习动作可以计算出所述属性空间的最简单划分，而该划分以最小的重叠程度将“+”和“-”点分开。该划分可以基于有限状态自动机(“FSA”)被自动地“数字化”为数据驱动算法，所述有限状态自动机可以充当快速单次扫描引擎，该引擎能够以高置信度和有线速度来识别出“位于人群中的脸”。

所述方法可包括如下一些个体的或组合的特征：

·在分组级上监控网络通信量以便识别并防止数据外泄(例如，公司数据)；

·关注于诸如顾客列表、客户端和患者记录等的数字资产的‘大块’转送；

·基于实时网络的，例如具有最小配置要求；

·TCP会话重组；

·揭露出并分析通信的所有层面(例如，PDF、以太网、IP、TCP、HTTP)；

·用于数据转送的所有流行协议(例如，电子邮件、FTP、HTTP)的多级解码；

·对嵌套数据层(例如，附件、ZIP存档)的深度检查；

·对流行数据格式(例如，MS Word、MS Excel、HTML、XML、纯文本)的检查；

·基于统计的和/或关键字的检测；

·用于自动概要分析和关键字发现的一个或多个工具，以便使所述方法的行为适合本地数据；

·例如考虑文件结构的多维分析；

·用于统计分析的域特有的高级特征(例如，SSN、信用卡号码、邮政地址、电子邮件地址)；

·实时关闭非法通信的及时反应；和/或

·欺诈加密(例如，未授权的加密的通信信道)检测。

可以把这些特征的一个或多个并入到网络应用中。所述应用可以是自含的、关注任务的，和/或使得建立并加强涉及公司数字资产的一组网络使用策略成为可能。

所述方法例如可以被安装在现成(off-the shelf)的Linux操作系统(“OS”)和基于Intel的硬件上，并且可以允许所述应用起到单机网络应用的作用。所述方法可以使用Linux系统API来进行网络分组捕获。所述方法还可使用Linux特有的实时调度工具和标准的UNIX进程间通信(“IPC”)信道。所述方法还可使用UNIX联网API来用于通用管理目的(例如，配置、向远程控制台发送告警信息)。所述方法还可以利用一个或多个网络接口卡(“NIC”)来进行分组捕获。所述NIC未必完全由OS(例如，没有分配的IP地址)激活，并且可以用于“混杂”模式。所述方法例如可以在FD/SPAN模式中监听任意数量的NIC。所述方法的多个实例还可以运行于所述应用上。所述方法可以包括TCP会话限制器模块，用于拆掉恶意的TCP会话，并且可以使用独立的NIC来把分组注入到指定的网络段中。

可以利用所述方法来对机器可读介质(例如，CD)进行编程，所述机器可读介质例如可被安装在任何运行于配备奔腾IV和/或更高CPU的PC硬件上的Linux 7.3+上。可以使用千兆比特Intel NIC进行网络探测。所述应用可以包括64位PCI/X总线以及相应的Intel Pro 64位1Gbps卡。

应用安装可以包括三个动作：

·安装硬化的Linux内核以及必要的Linux公用程序集合；

·依照所述方法安装软件；和/或

·配置/调试软件以便符合特定硬件配置。

图1举例说明了包括若干模块的系统(例如，平台)的一个实施例。所述系统可以适用于各种应用，例如访问包括TCP/IP网络数据交换内容的所有网络通信层。所述系统能够例如使用日用硬件(例如，具有千兆比特NIC的多处理器Intel/Linux盒)来对完全饱和的千兆比特通信进行操作。所述系统可以是可扩展的，并且可以通过把网络探测和分析应用分解为经由IPC通信的多个模块，以允许有效利用对称多处理(“SMP”)配置中的一个或多个CPU。

所述系统提供对网络数据交换的有效并且准确的重构。所述系统可以(1)例如借助于依照混杂模式操作的网络接口卡来获取穿过所述网络的个体分组，(2)解码所述分组(例如，IP)以揭开底层传输层，(3)合并成为碎片(fragment)的分组，(4)跟踪正在进行的双向数据交换(例如，会话)，并且，对于TCP会话，(5)重组每一数据会话的两侧，使它们的整个内容可由内容分析层利用。

这种重构因若干因素而变得复杂。所述因素之一是速度：现代联网设备支持最新的千兆比特以太网标准，因此许多网络段在达到700-800兆位秒或者更高的有效速度上操作。为了跟上这种连接，探测组件需要足够快，以便捕获每个分组并有足够的时间来分析其内容(例如，单独地或者作为会话的一部分)。另一个因素是准确性：作为一种被动应用，探测器未必具有重构所有情况下的所有通信所需的全部信息(而为了实现这这点，它应该有权访问通信主机的内部状态)。如果探测器分析全双工流或者不对称地路由通信(若干相关的网络流可能经由独立的NIC获取并且被作为单个通信信道来进行分析)，那么情况会变得更加复杂。

对于此问题而言，现有开放源和专用解决方案在许多方面存在不足。所述有效方案依赖于专用设备，诸如IBM的PowerNP网络处理器；那些无效方案太慢且不精确而不能用于实际的高速网络环境。

解决此问题的系统甚至未必依赖任何专用设备。所述系统可以例如以千兆比特的速度提供分组探测、碎片整理、解码、IP和TCP会话跟踪、重组和/或分析层2-7。另外，所述系统可以包括具有临时事件存储设备和事件假脱机程序的统一事件处理后端。

所述系统可以被设计成能利用多个CPU，以便为内容分析算法提供可扩展性。这种可扩展性可以通过将整个应用分解为多个模块并且经由灵活的IPC机制连接它们来实现，该机制适用于所述给定配置。所述平台的API可以包括用于连接处理模块的如下方法：

·内嵌。可以把分组分析器连同框架一起编译为相同的可执行状态，并且在主要的分组处理周期中采取时间共享。此方法可以适用于单处理器硬件。

·分组级并行。在例如通过IP和TCP重组器解码并初始处理后，使得所述分组可用于使用循环队列对独立进程进行进一步的分析。例如，可以把一个或多个(例如，高达32个)外部分析器附属于单个队列。选项还可以包括建立若干独立队列，在它们之间具有轮转(round-robin)分组分布。和/或

·流级并行。TCP流重组器可以把重组的流数据置于循环流队列中。此队列可服务于被设计来分析整个客户端-服务器会话内容的程序。例如，可以把一个或多个(例如，高达32个)外部分析器连接至单个队列。同时，可以配置多重队列，在它们之间具有轮转分布。

内嵌和外部内容分析组件都可以例如通过经由基于消息的API调用中心事件处理组件来生成事件。所述事件处理组件可以依照正常的优先级运行于独立的进程；它可以从输入队列中获得事件并且可以把它们写入临时文件存储设备。永久性事件存储设备可用来以最小的信息损失经受住网络故障。

所述事件处理组件可以被设计成能最小化拒绝服务(“DoS”)攻击探测器自身的可能影响。它可以通过把整个系列事件压缩为一个“组合”事件来对一系列相同的或者相似事件作出反应，所述“组合”事件以压缩形式来存储全部信息；对于相同的事件而言，所述组合事件可以包含来自单个事件的信息以及事件计数。

通过事件处理器收集的信息可以例如通过事件假脱机组件发送至其目的地(例如，诸如数据挖掘控制台的独立的事件分析组件)。当新事件被写入假脱机目录时，所述事件假脱机程序可以跟踪新事件。每一新事件可以被加密并且发送至一个或多个目的地。所述事件假脱机程序可以作为独立的低优先级进程来运行。

分组捕获

分组捕获模块的一个实施例(例如，参见图1)可以被配置来用于快速并且可靠的分组捕获和/或是千兆比特能力的网络探测器。依照单NIC半双工模式，所述分组捕获模块在常备硬件(例如，具有千兆比特Intel NIC的Linux/Intel盒上的libpcap)上可以提供2倍于常规分组捕获方法的速度。此加速可以通过将耗时的活动保持在最少程度，而留有更多时间进行分组处理来实现，所述耗时活动诸如硬件中断、系统调用和数据复制。实际生活中的网络通信是变化多样的。常见的分组大小分布趋向于最大约80字节和1500字节。一段时间内的分组速率分布可能会很不均匀。不同于合法的目的主机，网络探测器可能没有能力依其所需来协商分组速率。因此，可以将其设计成能够为正被探测的通信提供足够的缓冲，并且同样，每一分组提供一个相当规模的处理窗口。

每一硬件中断都可能产生上下文切换，其是现代Intel CPU上的非常昂贵的操作。为了使中断保持最小值，所述分组捕获模块可以利用定制的Intel NIC驱动器以充分利用Intel NIC的延迟中断模式。可以利用最新Linux内核所支持的分组套接字模式(例如，PACKET_RX_RING套接字选项)的所谓“涡轮”扩展来减少系统调用次数。

当将其使用至最大潜能，修改的驱动器和涡轮模式可以提供对NIC数据缓冲区的尽可能快的访问；100％能力的轮询导致每一捕获分组只产生约0.001次(被分摊的)中断/系统调用。为了处理通信中的瞬间电涌，所述分组捕获模块可以为分组缓冲区分配若干兆字节。大型缓冲区还可以减少由IP碎片整理程序和TCP重组器引起的不规则延迟所导致的的分组丢失。

所述分组捕获模块可以使用多个NIC依照FD/SPAN模式进行操作，为完全的会话重组提供支持。来自依照混杂模式操作的多个NIC的分组可以通过同时轮询若干分组缓冲区而交错。所述轮询策略未必引入附加的上下文切换或者系统调用；每个缓冲区都可能获得轮询机会。

所述分组捕获模块可以被实现为若干需要时加载的动态库。所述“通用目的”库可处理任意数目的NIC。还有具有被优化来用于1(HD模式)和2(FD模式)NIC的硬编码参数的版本。编程API类似于PCAP(由于功能上的差异，要做到完全兼容是不现实的)。所述通用目的库可以接受具有多个接口的接口初始化字符串(例如，“ethl:eth3:eth5”)。

对面向TCP模型的实际通信和模拟通信的分组到达时间分布的测量表明，对分组缓冲和拾取的改善使用于分组处理的时隙平均增加了20％。对于相同的通信量，这使得在0.5-1千兆位秒区域中的分组丢失率(“PLR”)下降了30％-50％，由此允许传感器在相同的PLR截至(cut-off)和通信饱和水平的情况下能够处理1.5倍或更多的负载。

所述分组捕获模块(例如，参见图2)可以被配置为利用Linux高速网络捕获接口。此接口可以在NIC驱动器空间内分配环形缓冲区，并且将它直接映射到接收方的进程，由此消除了用于把数据从内核复制到目的进程的系统调用开销。环形缓冲区的附加优势是它有效地消除了网络通信中的电涌以及分组处理中的延迟。

所述分组捕获模块可以使用C语言以需要时加载的动态库形式实现。可以有三个库，并被优化来与1个NIC、2个NIC以及任意数量的NIC一起使用。

分组捕获模块API

所述分组捕获模块可以使用标准UNIX动态库接口来实现。该接口可作为需要时加载的动态库在所述分组捕获模块中使用。存在有若干分组捕获模块库，且针对不同数目的NIC(例如，1、2、用户指定数目)进行优化。例如除了期望包含特定数目NIC名称的特定格式的字符串的初始化调用之外，所述分组捕获模块API在所有场合中可以是一样的。

所述分组捕获模块可以导出如下函数：

·void*init(char*iface，char*errbuf，char*nr_blocks)

оiface：NIC名称字符串，类似“ethl”。在多个接口的情况下，iface字符串看起来像如下：“eth1:eth3:eth2”

оerrbuf：指向调用者提供的错误缓冲区的指针，例如不少于512字节

оnr_blocks：将由NIC驱动器分配的所请求的块数量。如果nr_blocks是0，那么请求默认值。

·void fini(void*handler)

оhandler：由相应init()函数返回的值

·void stat(void*handler，pc_st*stat)

оhandler：由相应init()函数返回的值

оstat：统计数据结构

·int linktype(void*handler)

оhandler：由相应init()函数返回的值

·int loop(void*handler，pc_catcher_t*func，char*arg)

оhandler：由相应init()函数返回的值

оfunc：用于接受分组数据的用户特有的函数的地址

оarg：将向下传至func()的可选参数

分组捕获模块初始化

方法可以加载分组捕获动态库并且调用其init()函数。此函数可以为NIC名称解析输入串，对于每个发现的NIC名称，此函数可以执行如下操作：

·创建分组套接字；

·请求NIC驱动器来分配具有指定大小的环形缓冲区；

·把得到的缓冲区映射至其存储空间；和/或

·初始化内部缓冲区标识器，该内部缓冲区标识器用于指向缓冲区片段的开始。

在初始化之后，所述方法(例如，参见图3)可以调用loop()函数。loop()函数可以在所述方法的生命周期内工作，例如直到出现致命错误或者所述方法接收到终止信号为止。loop()可以依照轮转的方式来轮询NIC缓冲区。可以通过检验由驱动器(例如，参见图2)初始化的控制字段来验证每一缓冲区的当前片段是否已准备好数据。如果在所述片段中没有可利用的数据，那么可以检验下一个NIC缓冲区。如果所有缓冲区是空的，那么loop()可以例如使用poll()系统调用来悬挂(suspend)所述方法。

当新的数据变为可用或超时(例如，一秒的超时)之后，无论哪一个首先到来，所述方法都可以恢复。在超时的情况下，用户指定的函数可以利用NULL参数来调用。这对于任务是监视通信缺失的某些分组处理器来讲是有用的。在用户函数被调用之后，可以经由poll()再次悬挂所述方法。在可用数据的情况下，所述方法可以检验由poll()返回的结果，以便查看目前哪个NIC缓冲区具有数据并且可以直接跳转至该缓冲区的最近检验的片段，过后恢复正常的缓冲区轮询过程。如果poll()被通知存在约一个以上就绪缓冲区，那么所述方法可以根据保存的缓冲区索引来恢复正常过程。

当所述方法发现退出的理由时，分组捕获模块可以停止。来自分组捕获API的所述fini()函数可以关闭控制套接字。UNIX标准进程退出过程可以关闭所有通信信道并且回收由所述方法使用的所有存储器。因此，可以不必调用fini()。

IP碎片整理程序

IP碎片整理程序的一个实施例(例如参见图1)可以被配置为满足网络探测器的特定要求。在通信合法且碎片稀少的假定下，已经设计出多用途的IP碎片整理程序。充当分组检查应用基础的网络探测器可能不得不在重负载下工作，并且在存在DoS攻击的情况下保持稳定。除提供快速的和/或鲁棒的分组重组外，它还可以例如当非法碎片一到达时就检测到并对非法碎片作出反应。因此所述分组检查应用可包括低反应延迟且能对抗专门设计来降低‘标准’IP堆栈的攻击。用于网络探测器的IP碎片整理程序可以提供如下可配置的选项：最小碎片大小、每一分组的碎片的最大数目、最大重组的分组大小、分组重组超时等。所述IP碎片整理程序可以被配置为在任何碎片顺序下同样好地执行。

所述碎片整理程序可以包括低每-碎片开销，并且可以关注每-碎片(和/或每-分组开销)以便处理DoS攻击，所述DoS攻击利用非法的和/或随机重叠碎片来泛洪(flooding)网络。可以通过降低初始化/完成阶段的成本和/或在碎片之间分布所述处理(例如，均匀地)来实现每-碎片开销的最小化。因此，可以在处理中及早识别无效的碎片流，并且几乎没有时间会花费在第一无效碎片后的所有碎片上。最小化初始化/完成时间还可以积极地影响碎片合并程序对很短碎片的性能，所述很短碎片用在以安全装置为目标的某些DoS攻击中。这种改善可以归因于更好地利用了由NIC和分组捕获库提供的缓冲能力。

所述碎片整理程序可以提供例如1千兆位秒(Gbps)以上的吞吐量，并且例如对于大无效碎片可以达到19Gbps。针对无效的碎片，碎片整理程序的早先无效碎片检测可以导致6折性能增益。IP碎片顺序对IP碎片整理程序的性能没有影响。

对比来看，Snort v2.0的碎片整理程序平均比IP碎片整理程序的性能慢3倍。小碎片和/或无效碎片上的低吞吐量是瓶颈，它会影响整个分组检查应用用于处理重负荷并且对抗千兆比特网络上的DoS攻击的能力。

IP碎片整理程序的一个实施例(例如，参见图4)可以被配置为准确的并且高速的IP分组碎片整理程序。对于每个来自分组捕获模块的网络分组，IP碎片整理程序的子例程可以被调用一次。所述子例程可以为IP碎片属性而检验分组。如果发现了该属性，那么所述分组可以被视为碎片并且可以被发送至碎片处理/重组子例程。所述碎片还可以发送给下一处理器模块——类似SNORTRAN的分组处理器需要扫描所有接收的分组，包括碎片。在成功重组之后，所述重组的IP分组可以被提交以便进一步处理。认为不良的和/或不满足独立配置要求的IP碎片例如可以使用告警机构被报告。IP碎片整理程序还可以使用统计存储器池来计数接收到的碎片、整理碎片后的分组、生成的告警等。

IP碎片整理程序配置参数

所述IP碎片整理程序可以接受如下的配置参数：

·mempool：设置存储器池的大小和相应散列表大小。值可以是小、中、大、巨大。

·maxsize：设置“合法”重组IP分组的最大长度。如果重组的长度大于指定的值，那么所述IP碎片整理程序可以生成告警并且解散所述分组。默认值可以是10KB。

·minsize：设置“合法”重组IP分组的最小长度。如果重组的长度小于指定的值，那么所述IP碎片整理程序可以生成告警并且解散所述分组。默认值可以是1000字节。和/或

·timeout：设置IP分组重组的超时。如果用于此特殊分组的重组时间超出指定值，则所述IP碎片整理程序可以生成告警并且解散所述分组。默认值可以是30秒。

IP碎片整理程序初始化过程

IP碎片合并程序的初始化子例程ipdefrag_init()可以在启动期间被调用。所述子例程可以读取配置文件并分配碎片整理程序会话描述符池及相应的散列表(大小可以在配置文件中设置)。所述IP碎片整理程序在分组处理阶段不必动态分配存储器：所有请求的资源可以在初始化阶段被预先分配。为了改善性能，所分配的存储器可以例如通过使用Linux mlock()系统调用而被排除在调换之外。在调用mlock()之后，可以使用bzero()调用来初始化所分配的存储器，以便确保所有必需的页被载入存储器并被锁定在那里，因此在分组处理阶段不会出现页错误。可以以超级用户的权限调用ipdefrag_init()，以确保mlock()调用成功。

在分配后，来自所述池的所有会话描述符可以被顺序地插入单向空闲描述符链中(例如，参见图5)。此链可以在分组处理阶段由分配和解除分配(de-allocation)子例程使用。

IP碎片整理程序的分组处理的一个实施例(例如，参见图8)可以包括入口点ip_defrag()，每当新的分组数据来自分组捕获模块时，它将被调用。ip_deffag()可以检验所述分组具有IP碎片属性，例如，MF标志和/或碎片偏移量不为零。如果分组被认为是IP碎片，那么其长度可以被验证：除最后一个之外的所有IP碎片可以具有可由8除尽的有效负载长度。可以为错误长度的碎片生成告警；此后，这种碎片可以被忽略。

如果到来分组还没有被识别为IP碎片，那么ip_defrag()可以在描述符时期链中最旧的元素(例如参见图6)中检验超时的元素，如果找到，则解除分配它们。所述解除分配子例程可以重置碎片整理程序会话描述符，从散列表和描述符时期链(例如，参见图6)中将其移除，并且将其置于空闲描述符链的开始(例如，参见图5)，并调整空闲描述符链(“FDC”)变量。

否则，碎片的IP id及其协议、源和目的地地址可被用来计算散列值以存取到来碎片的会话描述符。如果没有发现针对该碎片的会话描述符，则分配一个新的。分配子例程可以从FDC变量所指向的空闲描述符链的首部获取描述符(参见图5)；然后把FDC切换至链上的下一描述符。可以把最新分配的描述符的参考插入两个位置中：

·使用计算出的散列值的散列表；和/或

·双向描述符时期链，作为“最新”项，调节变量TC_young(参见图6)。

如果所述空闲描述符链为空，那么来自统计共享池的分配失败计数器可增加，并且来自描述符时期链的最旧的描述符可被重新使用。这可以确保：

·所述方法可以处理资源短缺而不会崩溃；和/或

·新IP分组可以具有比旧IP分组更高的优先级。在现代网络中，30秒IP重组超时是很少的，并且通常表明恶意活动。

碎片整理程序会话描述符(例如，参见图7)可以包括两个部分：控制数据和有效负载缓冲区。来自到来IP碎片的有效负载数据可以被复制到相应会话描述符的有效负载缓冲区中。所述描述符中的IP偏移位掩码中的标志可以被设置来准确地识别重组IP分组中的哪些8字节块被复制。

携带已被标记的块的任何新IP碎片可以产生告警。相应的碎片整理程序描述符可以被标记为不良的。属于不良描述符的每个后续碎片可以被忽略。如先前描述的那样，不良描述符最终可以被解除分配(例如，当其超时期满时)。该法可允许：

·甚至在发送告警之后也可以识别恶意的IP碎片(泪滴(teardrop)攻击等等)。

·对每个恶意会话只生成一个告警；和/或

·恶意的IP碎片不会导致空闲描述符链中资源短缺。

由碎片整理程序会话描述符所涉及的重组IP分组可以被认为是完整的，如果：

·所有碎片被复制(例如，在IP偏移位掩码中没有间隙)；

·最后IP碎片被接收；和/或

·重组有效负载的最终长度等于来自相应会话的所有有效负载碎片的总和。

必要时，重组分组可以接收新的IP和层4校验和。此后，将其发送至流水线的其余部分以用于进一步处理。

当完成分组递送时，相应的碎片整理程序会话描述符可以如上所述被解除分配。

TCP重组器

TCP重组器的一个实施例(例如，参见图1)能够进行几千兆比特的数据处理。它例如可以向诸如内容扫描和加密检测的模块馈送重组的网络数据。它还可以向已处理的每一网络分组指派TCP流属性，以使深度分组检查模块可以分析所述分组。

所述TCP重组器可以跟踪TCP会话，保存描述每一开放会话的信息列表和/或连接属于会话的分组，以便使客户端和服务器流的整个内容可以被传递至内容检查的上级。TCP重组器可以提供多层重组和内容检查。只处理全双工连接的一侧和/或重组数据流内的任意区域以便改善概率检测器的概率的类似“深度”分组检查的部分解决方案未必是足够的。

TCP重组器可成熟到足以处理现实分组流的复杂性。分组检查员的重组器所面对的问题与TCP/IP栈的那些十分不同：通过依照混杂模式的探测器NIC看到的分组不是依照所期望的顺序到来的，因此传统的状态图很少被使用；标准超时由于抽头和路由器所引入的各种延迟而需要被调节；在分组流中未必有足够的信息来计算客户端和服务器等的内部状态等。

用于分组探测器的TCP流重组器可以在例如好于任何“标准”TCP/IP栈的现代网络的苛刻环境下操作。所述TCP重组器可以包括TCP SYN防洪、存储器过载保护等。用于分组探测器的所述TCP/IP流重组器可以是快速的。

所述TCP重组器可以被耦合至分组捕获层，以允许它同时监控任意数目的NIC和/或交错从不同网络流中取出的数据。所述分组捕获层可以允许可靠地重组诸如全双工TCP流的客户端和服务器数据和/或非对称路由的分组，其中每个流可以取决于会话控制信息的其它流。

所述TCP重组器可以依照一个或多个模式操作：

·只跟踪会话。此模式适合于只须跟踪TCP分组的方向(例如，客户端至服务器或服务器至客户端)和有效性的应用。在SMP设置中，使得方向信息可由接收方应用经由分组级API得到。

·会话跟踪和部分TCP流重组。客户端-服务器会话的初始部分可以被收集在缓冲区中，所述缓冲区通过可配置的截止值来限制。在SMP设置中，使得所述重组的流可由接收方应用经由流级API得到。可以为用于记入包含恶意分组的TCP会话的初始碎片的应用配置此模式。对于会话的服务器部分来说，默认截止值可以是8KB，对于客户端部分来说，默认截止值是8KB。和/或

·会话跟踪和高级TCP流重组。客户端-服务器会话可以被收集到预先分配的缓冲区链中。依照默认，每个会话可以收集最多1600KB(例如，每一方向800KB)。大小参数是可配置的并且可以根据需要增加。在SMP设置中，重组的流可以为接收方应用所获得。长TCP会话中常见的“TCP序列跳跃”效应可以被监视到并且与恶意的和/或窗口外的分组加以区别。此模式可以例如为这样的应用递送流重组，在所述应用中，重组的流被进一步逐层的分解/解码并且对内容进行分析。

TCP重组器可以基于令人想起马尔可夫网络的简化的状态转换图。每一套接字对可以被映射至独立的有限状态自动机，有限状态自动机通过基于到来分组的类型、其序号、及其相对于最新“基点”的时序(例如，先前分组或者对应于密钥变换的分组)从一个状态切换至另一个状态来跟踪会话。由于重组器可能不得不处理不合适的分组(例如，应答分组之后到来的请求分组)，所以转换未必仅仅依赖于分组类型。在每一状态，自动机可以保存对会话的实际状态可能处于的若干“猜测”，并且可以基于到来分组来选择“最好”的一个。无论哪一个“猜测”可以更好地预测分组的出现，都可以将其作为观察到的会话状态的“最好”特征，并且可以为下一动作形成新的“猜测”。

所述TCP重组器还可以包括硬编码的规划和转换；允许编码优化的固定并且内嵌替代的参数。对于正常通信量，最终的重组器可以包括1.5-2Gbps(或更多或者较少)的平均吞吐量。当平均分组长度是80字节时，在特别制备的SYN泛洪/DoS攻击上，它可以一直到250Mbps。

所述TCP重组器足够快以至于能够处理完全饱和的1Gbps的通信量。与SMP配置中的第二CPU上运行的独立的分组级检验进程或者一个或多个独立的TCP流解码器/分析器一起，所述平台可以为各种各样的千兆比特能力的网络监视方案提供基础。比较起来，目前可得到的类似Snort的流4的开放源方案需要采用欺诈和诡计以跟上日常硬件上的千兆比特通信量。在Snort2中，这意味着受限的默认设置(只客户端、若干众所周知的端口)和诸如“HTTP流控制”处理器的人工过滤器，而所述人工过滤器忽略差不多80％的在默认模式下的通信量。利用Snort2设置进行试验可清楚表明：stream4的吞吐量是真实的瓶颈；仅仅通过将Snort丢弃分组的方式从‘可预测的’变为‘随机的’，就能处理更多的分组。

对于来自IP碎片整理程序的每一网络分组，TCP重组器模块的子例程(例如，参见图9)可以被调用一次。所述例程可以验证所述分组是否是TCP分组。如果是，那么可以发送该分组以用于TCP处理/重组。所述分组可以通过它所属的TCP会话的地址(如果有的话)来标注，并且可以被提交给流水线以便进一步处理(取决于配置)。

可以对分组和相应的会话检查非法的TCP标志组合(可以独立地配置对什么是合法的要求)。可以经由告警机构报告非法分组和会话和/或丢弃该非法分组和会话，这取决于配置。使用UNIX IPC共享的存储器和信标池，TCP重组器可以重构TCP会话和客户端-服务器会话数据，并且可以将它们发送至分析模块以便进一步处理。所述分析模块可以作为独立的UNIX进程来运行。它们可以使用IPC信道来检索TCP会话数据。TCP重组器还可以使用统计存储池来计数重组的会话、生成的告警等。

TCP重组器配置参数

所述TCP重组器可以接受如下配置参数：

·alert：生成关于非法分组和TCP会话的告警。

·evasion_alert：如果TCP分组不适合预测的TCP窗口，那么生成告警。

·noclient：不重组会话的客户端部分(套接字对)。

·noserver：不重组会话的服务器部分。

·plimit：设置用于重组特定客户端-服务器会话的存储缓冲区的最大数量。

·pring：设置用于向分析器发送重组数据的有效负载环的大小。

·mempool：设置用于TCP会话描述符的存储池的大小以及相应散列表的大小。值可以是小、中、大、巨大。和/或

·payload：设置用于重组客户端服务器会话的存储缓冲区的总数以及它们的总体大小。每-会话限制可由plimit参数设定。

TCP重组器初始

TCP重组器的初始化子例程tcps_init()可以在启动期间被调用。所述子例程可以读取配置文件并且使用UNIX共享存储器来分配如下存储器池：

·TCP会话描述符；

·用于访问所述会话描述符池的散列表；

·有效负载缓冲区；和/或

·TCP会话环形缓冲区。

存储器分配大小可以基于配置参数来计算。大小为32的UNIX信标集合也可以被分配。

所述TCP重组器在分组处理阶段不必动态地分配存储器；所有请求的资源可以在初始化阶段被预先分配。所分配的共享存储器可以通过使用shmctl()系统调用中的Linux SHM_LOCK选项被排除在调换之外。在请求锁定之后，可以使用bzero()调用来初始化所分配的存储器，以便确保所有必需的页可以载入存储器并且锁定在那里，因此在分组处理阶段不会出现页错误。tcp_stream_init()可以基于超级用户权限来调用以确保shmctl()调用成功。

如果已经分配了必要的片段，并且所有大小都是正确的，那么tcp_stream_init()可以附属于现存的存储器池而不用重置它们。另外，如果重启，所述模块可以不必解除分配存储器。可以完成这来支持‘软重启’特征：重新加载的应用可以继续使用现有的TCP会话数据，仅仅在重新加载的时刻丢失分组。

所述TCP重组器需要存储器(例如，大量RAM)。为了获得所有所请求的存储器，应用程序可以在标准启动过程期间利用sysctl()来增加SHMMAX系统参数。

在分配后，TCP会话描述符和有效负载缓冲区可以分别被顺序地插入所述空闲会话链和空闲有效负载链中(例如，参见图10)。这些链可以在分组处理阶段由分配和解除分配子例程使用。

TCP会话分配和状态转换

为了镜像TCP会话的全双工特性，所述描述符可以包含两个相同的子结构，该子结构用于描述客户端和服务器流。为每个流识别的状态可以包括LISTEN(倾听)、SYNRCVD、SYNSENT、ESTABLISHED(建立)和CLOSED(关闭)。两个流的生命周期可以始于CLOSED状态。对于正常的TCP/IP通信量来说，依照流转换图(例如，参见图11)，所述状态可以升级到ESTABLISHED，然后最终回到CLOSED。

当接收到SYN和SYNACK分组时，流的描述符字段ISN可用来保存SEQ数目。此字段稍后可用于TCP有效负载重组和附加TCP会话验证。

所述TCP会话描述符可以利用其自己的状态标志来遵循其所描述的流的转换，以反映所述会话的通用状态：UNESTABLISHED(未建立)、ESTABLISHED或者CLOSED。

图12举例说明了会话状态转换图的一个实施例。每一会话可以始于UNESTABLISHED状态。当客户端和服务器流都切换到ESTABLISHED状态时，会话可以升级到到ESTABLISHED状态。当两个流都切换到CLOSED状态时，会话便处于CLOSED状态。

每个会话状态可以对应于会话时期链中的一个特定位置(例如，参见图13)。所述会话分配子例程可以执行如下动作：

·通过调用bzero()来初始化描述符；

·把描述符置于散列表；

·把描述符从空闲会话链中去除；

·把描述符置于UNESTABLISHED时期链的首部；和/或

·把唯一的会话id分配给描述符的sid字段。

随着每个会话升级，依照会话状态转换图，可以把描述符从当前时期链上去除并且置于下一个的首部。

TCP会话解除分配

所述TCP会话描述符可以包括称为etime的字段，其用于保存属于此特定会话的最新分组的时间。对于TCP重组器接收到的每个分组，位于时期链结束时的会话例如可以通过ses_recycle()子例程来测试超时。所使用的超时取决于会话的状态：

·UNESTABLISHED：12秒

·ESTABLISHED：600秒

·CLOSED：30秒

所述ses_recycle()程序还可以检查模块宽度RC_LVL变量，其用于确定失效会话的最大数目以便对每一所接收的分组解除分配。此数目可以从每一分组两个失效会话开始，并且结束于每一分组高达30会话(存在一个表用于基于RC_LVL值来计算会话数目，其中RC_LVL本身可以在从1到7的范围内)。所述ses_recycle()程序计算所述限制，必要时递减RC_LVL(最小值可为1)，然后依照如下顺序来从ASC_old侧动手处理会话时期链(例如，参见图13)：UNESTABLISHED到CLOSED到ESTABLISHED。在每一链中，它可以从末尾开始解除分配失效会话，然后必要时它可以顺序地移到下一链，直到不再有失效会话或者达到所述限制为止。

在把新的会话插入到散列表中期间，每当存在冲突时，RC_LVL会增加。当重组器处于TCP重组器过载条件模式时，还可将其指派为最大值。

解除分配子例程可以从散列表和会话时期链中去除会话描述符，并且例如使用FSC_tail变量把它转送到空闲会话链的末尾。在解除分配过程期间，没有会话数据被重置；按照这种方式，数据仍可以由异步模块使用，直到在后续分配期间被重置为止。

如果会话具有所收集的其有效负载数据，那么子例程可以把会话的地址和会话id插入到TCP会话环形缓冲区中，并重置信标阵列，以表明会话数据可以为异步处理所用。异步处理模块可以把提供的会话id与指派给sid字段的会话id进行比较，以便验证数据仍未被重写并且开始处理。

如果会话升级到CLOSED状态，那么TCP会话信息还可以被插入TCP会话环形缓冲区中。提交之后，有效负载缓冲区从会话处分离。会话描述符中的空闲的字段可以防止TCP重组器两次提交数据。

处理TCP重组器过载条件

当没有空闲会话描述符可以利用以便满足分配请求时，会出现TCP重组器过载条件的一个实施例。如果mempool配置参数对网络通信量来说不适当，或者当网络段受到TCP syn-flood攻击时，它可能发生。当切换到此模式时，所述TCP重组器可以把RC_LVL变量设置为其最大值，并且停止分配新的会话，直到空闲会话数量例如变得小于总会话池的10％为止。它可以连续跟踪现有的会话并收集它们的有效负载数据。

TCP会话队列API

可以在TCP重组器初始化阶段期间例如使用UNIX IPC机构来分配TCP会话环形缓冲区和信标阵列。缓冲区可以由被许可的任何进程访问。图14举例说明了包括TCP会话地址、会话id和被处理为位掩码的整数值(例如，32位)的每一缓冲区扇区。所述信标阵列可以包含32个信标。

每一异步处理模块可以调用用于指定0和31之间的唯一id号的tcpplcl_init()子例程，以便附属于环形缓冲区和信标阵列。所提供的id可以被其它API函数用来涉及信标阵列中的特定信标和位掩码中的相应位。然后，所述进程可以调用tcpplcl_next()来获得下一可用的TCP会话。

TCP重组器可以通过执行如下动作来提交用于处理的新会话：

·把会话地址和会话id置于环形缓冲区的下一扇区；

·重置此扇区中的位掩码；和/或

·重置所述信标阵列。

客户端侧上的所述tcppicl_next()子例程可以例如使用semwait()调用来等待id指定的信标。当缓冲区就绪时，它可以逐片段地遍历缓冲区，设置位掩码中的id指定位，直到它发现下一扇区中的位已被设置为止。该情形意味着不再有数据仍可用——到了再次调用semwait()的时候。所述API可以向应用程序提供关于TCP会话和重组的有效负载数据的全部信息。一旦变为可用，所述信息将被处理。

TCP有效负载重组

每次会话描述符切换到ESTABLISHED状态时，可以把有效负载缓冲区从空闲有效负载链取出，并且如果noclient和noserver配置参数允许，那么将其初始化并且指派给客户端和/或服务器流描述符。

属于特定会话的分组的每一非空有效负载可以被复制到有效负载缓冲区中的相应位置，直到所述会话升级到CLOSED状态或者有效负载缓冲区的数目超过限制，例如由plimit参数所指定的限制(例如，参见图15)。分组的有效负载在缓冲区内的位置可以通过分组的SEQ数目、流的ISN和流的基本字段值的组合来确定。后者可以通过子例程来计算：对于长TCP会话而言，现代TCP堆栈倾向于随机增加SEQ数目；基本字段补偿那些改变。

pl_alloc()子例程可用来把有效负载缓冲区加入所述链，例如最多达到plimit的值。如果空闲有效负载链为空，那么pl_alloc()可以执行下列步骤：

·增加统计池中的有效负载失败计数器；

·把当前有效负载链标记为完整的，避免稍后越限有效负载复制；和/或

·将错误返回至调用者。

当会话达到CLOSED状态时，或者如果有效负载缓冲区由于会话超时而从ESTABLISHED状态解除分配，那么ses_free()子例程可以执行下列步骤：

·向TCP会话环形缓冲区提交TCP会话；

·向空闲有效负载链的末尾添加有效负载缓冲区；和/或

·设置会话描述符的空闲字段，因此会话可以不被提交两次。

ses_free()子例程可以不必擦除有效负载和/或会话数据：在异步应用程序经由TCP会话队列API对缓冲区进行处理时，它仅将缓冲区标记为可用。

分组处理周期概述

每当有新的分组数据来自IP碎片整理程序时，就调用TCP重组器的入口点子例程tcps()。首先，tcps()调用ses_recycle()，(参见，TCP会话解除分配章节)，然后可以检验所述数据是否真的是TCP分组(例如，参见图16)。如果所述到来分组没有被识别为TCP分组，那么tcps()结束。

然后可以为了大量非法的TCP标志组合(例如，SYN和FIN标志一同存在)而探测所述TCP分组。如果设置了告警配置标志，那么为无效的TCP分组生成告警；此后，这种分组将被忽略。

否则，分组的源和目的地址以及端口(套接字对信息)可用来计算散列值，并且用来识别所述分组的相应的会话描述符。基于所述分组承载的标志以及会话描述符是否被发现，可以跟随分组分析阶段。此阶段试图识别非法分组；例如，如果分组包含SYN标志并且会话描述符已被分配，那么所述分析可以包括对流ISN与分组的SEQ数目进行比较，并且审查相应的超时。作为此特殊分析的结果，此分组可以被识别为：

·TCP重传尝试；

·新TCP会话的开始；和/或

·TCP会话欺诈/劫持尝试。

通过此分析确定的非法的TCP分组可以被忽略和/或报告。

在这一点上，所有非法分组可以被滤出。所述会话/分组组合接下来可以被分析。根据会话状态和分组标志/有效负载，可以进行一个或多个如下动作：

·把分组的有效负载存储在有效负载缓冲区中；

·分配新的会话；

·升级流状态；

·升级会话状态；

·把会话提交给TCP会话环形缓冲区；和/或

·增加流的基本值以便补偿流SEQ值中的突然跳转。

在tcps()结束时，所述分组可以利用它所属的TCP会话的地址来标注，并且可以被发送给流水线的其余部分以便进一步处理。

TCP重组器卸载

所述TCP重组器在正常退出期间使用atexit()机构来解除分配共享的资源。如果在重新配置周期期间应用程序例如已经接收到来自进程管理器的重新配置请求，那么共享存储器和信标阵列可以被原封不动地留下。所述模块可以重读其配置文件，同时所有其它模块连续正常操作。重新加载操作可以是迅速的；重新加载的TCP重组器模块可以再次附属于共享的资源而不用重置它们，并且继续行使其职责。

有效负载解码器

所述平台的一个实施例可以对实时网络通信进行操作(例如，100Mbps和/或更高或更低)，并且可以由多层内容解码支持，所述内容解码例如可以“剥离”通用压缩、聚合、文件格式和编码方案并依照适用于处理的形式来提取实际内容。有效负载解码器的一个实施例(例如，参见图1)可以工作来递归地检查已知数据格式的有效负载，借助于各个解码器对其进行解码并且对已解码的内容重复相同的过程(例如，参见图17)。有效负载解码器可以包括例如可以用于各种Microsoft Office格式、电子邮件、HTML/XML、压缩数据、HTTP、其它流行的基于TCP的协议等的多个解码器(例如，14个解码器或更多或者更少)。当有效负载解码器无法更进一步解码其输入数据，或者它达到其存储器限制时，有效负载解码器将停止。在任何情况下，解码的数据块例如可以被发送至一个或多个内容扫描器(例如，关键字和/或MCP扫描器)以便检查。

所述有效负载解码器可以包括一个或多个解码器：

·SMTP邮件会话；

·多部件的MIME包络；

·引用可打印的邮件附件；

·Base64邮件附件；

·8位二进制邮件附件；

·ZIP存档；

·GZip存档；

·TAR存档；

·Microsoft Word文档；

·Microsoft Excel文档；

·Microsoft PowerPoint文档；

·PostScript文档；

·XML文档；和/或

·HTML文档。

明文(plain text)和/或二进制文档可以被直接扫描并且不必进行任何专门的解码。例如可以借助于解码器API把附加解码器插入系统。

初始化

内容解码器模块的初始化阶段可以开始于调用TCP会话重组器API以便注册为客户端并且可以访问重组会话。在那之后，可以分配存储器来存储统计信息，并旦本地存储器管理机制可以被初始化。个体解码器可以通过调用init decoders()程序来进行注册，所述initdecoders()程序用于收集与可利用的解码器有关的信息并且可以将其复制到共享存储器中的全局统计信息区域。还可以通过调用其init()方法来初始化每一解码器，从而允许解码器初始化它们自身的数据。

存储器分配

解码器例如可以通过调用dq_alloc()程序来为每个解码的组件数据块分配新的数据缓冲区。某些解码器(例如，Microsoft Word的)可以为已解码数据分配单个数据块；其它(例如，ZIP)解码器可以分配多个块——每一组件一个块。对dq_alloc()的每次调用可以传递所述请求的存储器容量和位置信息，该位置信息可用于重组层次“路径”，该路径可以唯一地标识已解码缓冲区在原始有效负载内的位置。解码路径不仅可用来报告成功的标识符，还可用来提供统计和解码过程信息。

通过dq_alloc()的调用者请求的存储器因物理原因或作为人为限制的结果而无法获得。每一模块都具有其自有的存储器帽，以使每个进程都位于其限制内，并且总体系统性能并不依赖于输入数据始终正确的假定。类似ZIP的某些解码器可以只提供已解码存储器块的估计大小；一个或多个解码器就绪来接收更小的块，并且由此局限于局部解码。所有解码器可以被写入来支持局部解码。

格式识别和解码

解码器可以经由通用解码器API的decode()方法来调用。每一解码器可以执行其自有的格式识别，并且在失配或者内部解码失败的情况下，可以返回“格式没有识别出”的结果。如果解码器已经经由dq_alloc()分配了数据块，则它可以在返回‘无法识别’的结果以前经由dq_clear()来释放它们。由于存储器限制，解码器可以产生局部结果；这可以不认为是失败。一旦缓冲区被解码，其存储器就可以被释放，并且被排除在循环之外(由一个或多个解码的缓冲区来有效地替代)。

除存储器限制以外，内容解码器可以为解码队列的长度设置独立的限制，限制解码“树”的大小(例如，参见图18)，并且因此限制了解码其所有元素所需的时间。在高负载设置下，这可以允许在完成解码给定有效负载的每个组件的需要和下一有效负载到来时要结束解码的需要之间进行平衡。队列长度参数(DQ_MAX_LEN)的默认值可以是100(或更多或者更少)。

解码队列长度可被限制的事实会影响解码树遍历策略。所述内容解码器可以使用“深度优先”策略，例如，优选解码至少一些块“至结束”，而不是对较大数目的块进行不完整地解码。

扫描

没有发现适当解码器或者因为人为限制(例如，解码树的“叶子”)而不再解码的数据缓冲区可以被发送，以便例如检查关键字和MCP扫描器。每一有效负载可以“原始”和/或解码后的形式被检查。

内容扫描

内容扫描可以用于防止信息的未授权转送(例如，机密信息和知识产权)。

关键字扫描器

关键字扫描是一种简单、相对有效且用户友好的文档分类方法。它基于一组字，在文本中逐字地匹配。用于扫描的词典可以包括不适用于通信中的字、用于机密项目、产品或者进程的码字和/或那些不依赖于它们的使用上下文就能引起怀疑的其它字。通过使用多字短语可以考虑某些上下文信息，但是对于较大上下文而言，这样做会导致组合爆炸。

自动关键字发现(AKD)工具的一个实施例可以发现关键字和/或关键短语；关于关键短语长度的阈值可以作为参数被输入。AKD工具可以接收一列文件，提取文本信息，并且为“正面”训练集合(例如，属于“受保护”类别的文档)制备字和/或短语频率词典。这些词典可与标准词典和/或根据负面训练集合制备的词典(例如，表示“其它”文档)相比拟。可以使用标准贝叶斯分类程序(例如参见Cheeseman，P.，Self，M.，Kelly，J.，Taylor，W.，Freeman，D.，&Stutz，J.(1988)。贝叶斯分类。Seventh National Conference on Artificial Intelligence，Saint Paul，Minnesota，607-611页)为正面集合上的频率明显不同于负面集合上的频率的关键字和/或关键短语指派权重。最后，可以把规范化的权重指派给一个或多个关键字和/或关键短语，将其进行排序，并且所述工具例如返回例如顶部的100个(或更多或者更少)以用于手工检查。

加权的关键字和/或关键短语的列表可以被加载入关键字扫描器组件，该组件可以扫描来自有效负载解码器的每一数据块中是否存在关键字。可以通过使用基于逐集合字符串匹配算法的单次匹配器(例如，逐集合Boyer-Moore-Horspool)(例如参见在University College ofNorth Wales由G.A.Stephen于1992年10月出版的StringSearch-Technical Report TR-92-gas-01)来执行匹配。如果有，可以通过评分函数来评估匹配，并且如果达到预置评分阈值，则生成告警。

AKD工具数据流

所述AKD工具可以基于诸如专有文档和/或数据库的顾客特有的数据来发现关键字和关键短语。AKD可以是基于传统的“自然(naive)”贝叶斯学习算法。虽然此算法相当简单，并且其假定通常违反实际情况，但是最近的工作已经表明：自然贝叶斯学习实际上非常有效并且难以系统地加以改进。概率文档分类可以是该算法的应用领域之一。

所述算法可以使用正面数据和反面数据(例如，文档)的代表性训练集合(例如，参见图19)。所述集合可用来汇集字/短语频率词典。然后可以比较正面集合和反面集合的词典，并且为字/短语指派贝叶斯概率估计。具有高估计值的字/短语由于与正面或者与负面训练样品的紧密关联而可用于猜测样品文档的类型。来自组合词典的字/短语可以按照最终权重来排序，并且所述算法例如可以返回它们中的顶部的100个。

负面集合可以较大，例如，可以把本地计算的负面集合的频率词典与用于商业通信的公共频率词典组合。在一些特定的应用领域中，领域特有的频率词典可用于表示负面训练集合。

正面训练集可用于计算正面频率词典。由于两个词典的大小可能变化，所以两个词典中的频率计数可以使用三个最常用的英文字(例如，‘the’、‘of’、‘and’)的相应计数值来规范化。非英语应用领域可以使用专门的规范化规则(例如，通过全体字计数来规范化)。

除用于产生关键字的基于基本字频率的通过以外，AKD可以允许人们推导出关键短语。由于关键短语的精确度更高，所以它比关键字更加有用，但是直接组合列举会产生具有极低实用价值的各种巨大词典。AKD可以使用非组合方式，该方式可以适合于混合的文本/二进制文件，诸如数据库记录。它可以是基于文本串提取算法的，该算法等效于由Unix字符串公用程序提供的算法。数据文件可以被标记以便确定数据流被中断(例如，从二进制切换至文本或者从文本切换到二进制)的位置；可以把两个中断之间的短文本串作为“关键短语”。然后可以在负面训练集中识别这些关键短语，并且可以创建相应的关键短语频率词典。这些词典可以依照类似于如上所述的关键字词典的方式来使用。

当最有用的关键字/关键短语被识别出并且它们的权重被计算出时，最后的动作就是计算最大频率。最大频率可用来限制常常导致假阳性识别的较高数目关键字匹配的扫描器的灵敏度。

可以使用相同的规范化的频率词典来计算最大频率。为了降低扫描器的灵敏度，可以把每1000字节训练数据的匹配平均数乘以2来作为“有用”关键字/关键字短语匹配的限制。超出这限制的所有匹配可以被忽略(例如，它们不会对最后评分作出贡献)。

关键字扫描器数据流

关键字扫描器可以是基于逐集合字符串匹配算法的。例如，所述关键字扫描器可以使用Boyer-Moore-Horspool算法的逐集合扩展，其使用有限状态自动机(FSA)。可以使用与Lex扫描器工具相同的技术将输入串集合(例如，关键字和/或关键短语)转换为FSA。另外，Boyer-Moore-Horspool跳跃表可以被添加来实现亚线性搜索时间。所述算法的性能未必随着关键字/关键短语的数目而增加，但是存储器需求会增加。同样，算法的性能可能依赖于集合中最短串的长度(例如，真正的短串可以使性能变为线性并且使算法变慢)。

所述匹配可以被“并行”执行，这意味着所述算法只需要遍历数据一次(例如，参见图20)。所有匹配可以在独立的匹配计数阵列中被标记。对于每个关键字/关键短语，所述阵列可以包含一个计数器。

首先，所有计数器被设置为零。对于每次匹配，相应计数器增加。当扫描器到达数据块的末尾时，计数器阵列可以依照由AKD工具进行的初步概要分析而被规范化以降低频繁匹配的重要度。此工具可以基于诸如专有文档和数据库的顾客特有的数据来发现关键字和关键短语。每一发现的关键字/关键短语可以返回两个相关数值：每一匹配的得分和输入数据中的每1000字节的最大匹配数目。两个数值可以基于训练数据来计算；它们可以反映出关键字及其期望频率的相对重要性。

规范化可以限制每一匹配计数器小于或等于给定关键字/关键短语的最大匹配计数(例如，调节到输入缓冲区的大小)。此后，所述计数器可以乘以相应的匹配得分、求和并且规范化以得到每-1000字节的输出得分。

为了估计文档匹配，关键字扫描器可以把输出得分与可配置的阈值进行比较。

初始化

可以例如，通过loadkwv()例程，通过加载来自外部文件的、由外泄防止模块的-k参数指定的关键字/关键短语数据来初始化所述模块。可以把命令行存储在通用配置文件中；可以通过AKD工具根据用户样本数据文件来生成关键字文件。每一关键字文件可以包含标识信息(例如，训练集合名称)、一个或多个告警信息记录(例如，告警ID、描述以及得分阈值)以及关键字/相对得分/匹配限制三者的列表。可以为每一关键字文件分配新的存储块；加载的关键字文件可以被保存在链中并且用于计算相应的得分。

在加载关键字文件之后，所述模块可以注册自身以便接收从内容解码器输出的数据。同时，为了能够生成告警，它可以建立与平台的告警机构的连接。

最后的初始化动作可以是为关键字文件构建FSA。每一关键字集合可用来例如基于Aho-Corasick前缀树匹配器来计算有限状态自动机。自动机可以被构造为使得每个前缀只由1个状态来表示，例如，即使前缀可以开始多个模式。Aho-Corasick-风格FSA可以伴随有由同一字符串集合计算出的Boyer-Moore-Horspool跳跃表。FSA和相应的跳跃表一起可以通过在一次扫描内就找出所有关键字匹配。所用的算法可以是逐集合的Boyer-Moore-Horspool字符串搜索。

对于每个到来数据块而言，可以计算出一个匹配得分列表，每个加载的关键字文件计算出一个得分。为了计算关键字文件的得分，可以调用fsa_search()程序，其中以相应的FSA和跳跃表作为参数。所述fsa_search()程序可以通过增加计数器阵列中的匹配计数器来登记所有关键字匹配。所述阵列可以为每个关键字/关键短语包含一个计数器；所述计数器可以初始被设为零并且在每次匹配时都增加。

当所述搜索结束时，计数器可用来针对给定关键字集合计算数据块的得分。为了计算得分，可以相对于从关键字文件加载的各个匹配限制来检验每一计数器。如果计数器大于其匹配限制，那么可以把其值设置为匹配限制。当所有计数器都被按照这种方式剪切后，将其乘以从关键字文件加载的各个相对得分。将乘以相对得分的计数器相加，并且所得结果例如被规范化到1000字节块大小，以产生给定关键字文件的最后得分。

可以把最后得分与从关键字文件加载的存储在相应告警信息记录(AIR)列表中的阈值相比较。小于或等于给定得分的最大阈值定义了可以生成什么样的告警；用于生成告警的所有必要的信息可以存储在相应的AIR中。

多维内容概要分析(MCP)扫描器

类似关键字扫描，MCP可以获取文档和/或数据文件的特性(例如，基本特性)，同时容许文档生命周期中的常见变化：编辑、分支为若干独立版本、类似文档的集合等。MCP可以结合关键字扫描和/或数字指纹识别(Tomas Sander(编者)在2001年11月5日在美国PA费城举行的“ACM CCS-8Workshop DRM 2001”上发表的Security andPrivacy in Digital Rights Management)的能力。

内容概要分析可以是以识别属于某一文档类别的文档为目标的技术组合。同一类别中的文档共享相似的统计特征，这些统计特征例如是在称为概要分析的制备进程中被确定的。自动内容概要分析器(ACP)工具可以接收属于所述类别(正面训练集合)的有代表性的文档集合，如果必要，则伴随有负面训练集合(类似于但不属于所述类别的文档)。对于一个类别，概要分析进程可以只执行一次；统计特征的最终集合(例如，概要图)可用来测试该类别中的成员。

概要图的质量取决于概要分析算法用于获取该类别中所有文档所公有的特性的能力；它可以通过使用不同属性的若干无关特性来进行改善。每一特性可以定义一个维度(例如，随文档的不同而变化的定量测度)。所述内容概要分析组件例如可以使用对通过网络的所有数据进行实时计算而得到的多于(或少于)400个不同的特性值。每一文档(例如，由有效负载解码器返回的数据块)可以被映射至多维空间中的单个点；其在此空间中的位置可用来计算其所属类别(一个成员可以属于一个以上的类别)并且可以触发告警和/或反应措施。

内容概要分析方法已经由密码分析学使用多年。虽然仍有价值，但是当补充了能够对诸如词和句的较大元素进行操作的高级统计方法时，简单的统计特性能够工作得更好。

多维概要分析器可以利用200个左右的低级统计测度和100个左右的高级统计测度的组合来进行操作。高级统计测度可以考虑到某些通用问题领域(例如，保护涉及个人健康记录、银行帐户信息、顾客列表、信用卡信息、邮寄地址、电子邮件、个人历史、SSN等的机密个人信息)来设计；可以通过添加新的领域特有的维度使所述高级统计测度把其它领域重新确定为目的。

除了用于概括给定元素的总体用法的单个高级和低级特性以外，所述概要处理器可以具有专用于文档的空间结构的100个以上的维度，包括元素之间的互相共现和布局。举例来说，所述概要分析器可以捕获下述事实：在邮政编码紧跟州名且彼此交错的一些邮政地址中，州名和邮政编码具有非常类似的频率。空间分析可用于捕获文档的整体结构；具有和目标类别相似的使用模式的索引、词典以及其它类型的文档都不能轻易地欺骗它。

当ACP工具概要分析训练文档集合时，它可以生成与所述集合中的文档一样多的多维属性空间中的点。每一点表示个体文档(或者文档的片段)，并且可以被标记为“+”(在类别中)或者“-”(不在类别中)。最终学习动作可以计算利用最小重叠来分离“+”和“-”点的属性空间的最简单划分。基于有限状态自动机(FSA)，此划分可以被自动地“数字化”为数据驱动算法，所述有限状态自动机(FSA)可以充当快速单次扫描引擎。

由概要分析器生成的FSA可以被加载入MCP扫描器组件，其用于检查出自有效负载解码器的每一数据块。可以为每一数据块计算“受保护”文档的类别中的成员的概率测度。如果达到预置阈值，那么可以生成告警。

MCP生成的告警可以结合例如由关键字扫描器基于相对权重产生的告警，这取决于文档类型。内容扫描方法的组合导致受保护数据的可靠识别。

MCP模块可以在先入-类别外泄防止系统中工作。防止模式可以在数据被完全转送以前要求实时分析以及恶意的会话终止。API可以允许任意的(可配置的)数目的连接点，每一点可以向最多32个内容扫描模块发送重组会话数据的参考，其中所述内容扫描模块与主要分组捕获周期并行运行。可以基于轮转来向每一连接点提供与重组会话数据的链接。连接点本身可以作为环形缓冲区来实现，所述环形缓冲区例如结合了具有自动溢出保护的FIFO能力。它可以保存最后的128个会话并且独立地跟踪每一模块在缓冲区中的位置，有效地消除通信量方面的尖峰以及内容分析模块处理速度方面的差异。

实验表明：对于小型到中等公司常见的网络通信量而言，使用基于Intel的2-处理器硬件和快速NIC就足够了。大型公司或拥挤的网络线路可以使用4-处理器的服务器中的更大处理能力。

ACP工具数据流

自动内容概要分析器(ACP)工具可以接受属于所述类别的有代表性的文档集合(正面训练集合)，如果必要，则伴随有负面训练集合(类似于但不属于所述类别的文档)。对于一个类别，概要分析进程可以只执行一次；统计特性的最终集合(例如，概要图)可由MCP扫描器使用。

ACP工具可以依照三个阶段来操作(参见图21)。第一，正面和负面训练集合中的所有文档可以由在MCP扫描器运行时间时使用的相同算法来测量。所述算法可以把每一文档表示为多维空间中的点(每一统计属性为一个维度，总共420个维度(更多或更少))。未必使用扫描算法的最后得分动作，因为得分可能需要现有的概要图。在第一阶段结束时，在420维空间中存在两个点集合；所述集合可以对应于正面和负面训练集合。

最终集合可以沿不同维数重叠到各种程度。第二阶段的工作是发现实际的超平面集合以便有效分离表示正面集合和负面集合的点(参见图22)。由于所述算法本质是统计的，所以可以使用概率标准来确定分离质量。作为超平面位置函数的不合适分类的贝叶斯条件概率可以通过简单的下降算法来最小化。为了改善扫描器的运行时的性能，人们可以仅仅使用正交于所述轴之一(一个可以利用对于单个维数的投影来工作)的超平面。此方法产生简单易执行的概要图；由于考虑到维数(例如，较大数)，所以在大多数情况下其质量是足够的。如果没有实现给定维度的最小有用的分离质量，那么可以忽略维度。分离超平面的组合集合的整体质量还可以通过贝叶斯概率准则来进行评估。

在计算超平面集合时，最后的动作可以是将其转换为可以加载入扫描器的格式(例如，概要图)。MCP扫描器可以借助于机器(例如，能够对规范化维数执行约20次简单算术运算的虚拟机(“VM”))来解释概要图。使用不是固定编码的参数化的得分计算器的VM允许在分离表面的可执行表示中的某些灵活性；它可以用作——非正交的超平面或者手工编码概要图(概要图可以具有可由手动编辑的可读ASCII表示)。

最终概要图可以在初始化时被加载入MCP扫描器。MCP扫描器可以支持多个概要图；对于每个数据块来说，测量算法可以运行一次；得分计算算法可以运行的次数与加载概要图的数目一样多。

可以使用相同的规范化频率词典来计算最大频率。为了降低扫描器的灵敏度，可以把训练数据的每1000字节的匹配平均数乘以2来作为“有用”关键字/关键字短语匹配的限制。超出此限制的所有匹配可以被忽略(它们对最后评分没有贡献)。

MCP扫描器数据流

MCP扫描器可以是基于有限状态自动机(FSA)的。FSA可以被编码为用于表示每一状态的一组代码碎片以及把控制从一状态转送至另一状态的一组跳转(例如，参见图25，示出了级1状态、跟踪计算、涉及低级特征(例如，符号和数字计数器)。可以把附加状态存储在额外的状态变量中，以便允许计算高级特征)。FSA开始于初始状态并且当输入流为空时可以停止。表示状态的每一碎片根据从输入流中提取的下一数据字节/字符的值来编码动作集合。MCP的FSA可以被硬编码；它可以实现用于并行计算多个运行计数器的算法。MCP可以使用500个运行计数器(或更多或者更少)；每一状态可以基于输入字节来更新它们中的某些。存在具有不同意义的多个MCP计数器：

·字符计数器：某一类别的字符数

·字符位置计数器：某一类别的字符的最后位置

·字符距离计数器：某一类别字符之间的距离和

·数值计数器：十进数(SSN/CCN/...)的运行值

·串值计数器：字符串(例如顶级域名)的运行值

·特征计数器：不同类型的高级“特征”的数目

·特征位置计数器：高级特征的最后位置

·特征距离计数器：某些特征之间的距离和

MCP可以依照顺序来更新计数器(参见图23)；可以基于当前FSA状态、字符计数器的值和数字/串值计数器的内容来计算特征。每一特征可以通过在预定特征的散列表中查找(这利用两个字母的状态缩写、邮政编码、顶级域名和电子邮件地址来工作)和/或通过专用确认器算法(SSN和CCN的校验和或者范围)来确认。当诸如SSN的特征被计算时，所述算法可以更新各个高级计数器。双层结构可以允许对输入数据的多重特征进行有效单次“并行”计算。

当所有数据被处理时，可以使用计数器来计算输出维度值：输入数据的相对独立特性。每一维度可以是基于一个或多个计数器的值的。维度可以通过规范化计数器值来计算；规范化可以包括如下操作：

·将计数器除以字节总数

·将计数器彼此相减以便获得相对“delta”测量值

·把计数器彼此相除以便获得相对‘factor’测量值

·减掉并且除以推导出的测量值

可以使MCP的FSA适合于域-特有维度(例如，顾客/客户端信息)，而不是专用于特殊顾客。MCP的FSA可以计算多个(例如，420个)输出维度。

最后的动作可以是计算输出得分(参见图24)。此动作可以使用通过独立的MCP概要分析工具制备的数据，所述MCP概要分析工具用于基于用户数据构建统计概要图。概要图可以是用于把多维(例如，420维)的空间划分为两个子空间的多维表面，其中一个对应于目标文档的集合(需要识别的数据)。MCP可以将分割表面表示为一组超平面，每个均把空间切分为两个子空间，其中一个包含目标子空间。

计算目标子空间成员可以使用用于每个超平面的一系列计算；如果考虑中的点位于所有超平面的“正确”侧，那么它属于目标子空间。输出得分可以被计算为为给定点和所有超平面之间的距离(位于超平面“错误”侧被当做负面距离)之和。所述得分可以通过由ACP工具“编程”的简单虚拟机(MCP Score VM，参见下面表1)来计算。正得分未必确保正确的子空间成员；负得分可以确保非成员。由于通过MCP概要分析工具计算的多维表面只可以是实际文档成员的近似值，所以不必要求目标子空间中的正确的成员。为了估计文档成员，MCP扫描器可以把输出得分与可配置的阈值进行比较。

实现方式详细说明

所述模块可以通过从外部文件经由loadfpv()例程加载例如通过外泄防止模块的-f参数指定的概要图数据来进行初始化。可以把命令行存储在公共配置文件中；可以通过ACP工具根据用户样本数据文件来生成概要图文件。每一概要图文件可以包含标识信息(概要图名称)、一个或多个告警信息记录(例如，告警ID、描述以及得分阈值)以及MCP Score VM指令的列表。可以为每一概要图分配新的存储块；加载的概要图可以被保存在链中并且用于计算相应的得分。

在加载概要图之后，所述模块可以注册自身以便接受出自内容解码器的数据。同样，为了能够生成告警，它可以建立与平台的告警机构的连接。

对于每个到来数据块，MCP扫描器可以计算输出维度的集合。输出维度可以根据运行计数器阵列来计算。此阵列可以包括多个(例如，8个)细分：

1.大写字母计数器(UC细分)

2.小写字母计数器(LC细分)

3.邮政编码计数器(ZIP细分)

4.州名缩写计数器(STE细分)

5.电子邮件地址计数器(AT细分)

6.顶级域名计数器(TLD细分)

7.信用卡号码计数器(CCN细分)

8.社会安全号码计数器(SSN细分)

每一细分可以包括约60个计数器(或更多或者更少)，用于跟踪值、位置和/或距离。除了专用的计数器外，所有计数器可以是32位整数，用于跟踪SSN和CCN(例如，64位整数可以用于较大数目)。可以通过专用确认算法来确认高级值；对于除SSN和CCN之外的所有细分，所述确认部分可以包括经由bsearch()例程在合法值的预先排序阵列中查找所收集的信息。对于SSN和CCN来说，专用确认代码可以确信数目在允许的范围内，不包含不可能的数字并且通过校验和测试。

低级和高级元素的相对位置的计算可以基于距离计数器。每一细分例如可以采用50个距离计数器(或更多或者更少)，以计数分别通过0-49个字符隔开的相同类型的两个特征的出现次数。对于小写字母来说，与最新大写字母的距离被计数；对于高级特征来说，附加计数器跟踪邮政编码、顶级域名和电子邮件地址之间的距离。合起来，所述计数器可以捕获以用户记录为典型的文档结构，其依照正确顺序包含名称、邮政地址、电子邮件地址、社会安全和信用卡号码(可能缺少某些元素)。

MCP扫描器可以借助于能够对规范化维度执行约20次简单算术运算的简单虚拟机(MCP Score VM)来解释概要图。使用不是固定编码的参数化的得分计算器的VM允许分离表面的可执行表示的某些灵活性；它可以用作——非正交的超平面或者手工编码概要图(概要图具有可由手动编辑的可读ASCII表示)。由于通过MCP概要分析工具计算的多维表面的简单属性，所以可以只使用5个操作(或更多或者更少)：

表1公共得分VM命令

VM操作

描述

FPOP_GT[i，c]	添加计数器i和常数c之间的差
		FPOP_GTS[i，c，s]	添加计数器i和常数c之间的差，以s为比例
FPOP_LT[i，c]	添加计数器i和常数c之间的逆差
		FPOP_LTS[i，c，s]	添加计数器i和常数c之间的差，以s为比例
FPOP_DIFF[i，j，s]	添加计数器i和j之间的绝对差别，以s为比例

每一命令可以向运行得分计数器添加某一值，其最初被设置为零。最终得分可以被规范化为1000字节，并且与存储在相应告警信息记录(AIR)列表中的阈值进行比较。小于或等于得分的最大阈值定义可以生成什么样的告警；用于生成告警的所有必要信息可以被存储在相应的AIR中。

欺诈加密检测

现代处理器所增加的计算能力以及电子商务技术的发展为台式计算机市场带来了许多高质量密码算法，这些高质量密码算法原先只用于专用的政府项目。很难过高估计用于互联网购物者和增高科技商业的益处——在整体计算机化的时代增强的保密性和安全性成为必需。然而，类似许多技术进步那样，强大的加密是一把双刃剑：通过确保所有通信的保密和安全，它隐藏诸如知识产权盗窃之类的非法行为。

“欺诈”加密被认为是对计算机网络的一种新的威胁。无线局域网、ad-hoc设置和“半公共”以及未经认可的VPN的增长使网络更加容易从外部越权访问。在商业领域还存在这样的趋势：依赖现代计算机技术来加密每个事务和通信信道，这使得情况甚至更坏。IT人员不再能判断哪些连接被授权：与某人家用计算机的加密连接经常无法与对电子商务服务器的授权连接相区分。建立未经认可的VPN变得更容易。P2P软件的不断流行增加了公司网络的脆弱性：通过HTTP穿隧来冒充成合法电子商务通信的软件即使没有明确的用户请求的情况下(例如，作为安装其它软件的副效应)也可能被安装。未经认可的VPN在外围防御中会产生“漏洞”；一旦它变得能够转送专有的数据到内联网计算机或者从未授权位置远程操作内联网计算机，那么外围防御实际上就不存在。

考虑到此趋势，某些计算机安全性专家的建议集中于内部防御，这通过使内联网上的每一单个计算机变为安全来实现，就像所述计算机能够被直接从公司防火墙外部的任一点访问。此策略部分解决了这种问题，但是这种方案的总成本通常很高：尽管构成“外围设备”的计算机数目通常非常小并且慢慢增加，但是整个内联网非常大，并且以更高的速度增长，并且往往需要不断维护(例如，补丁和新服务包通常与安装在同一主机上的安全软件冲突)。考虑到缺乏严格训练的安全人员，针对每一内部计算机的安全在大多数组织内是不现实的。

比较起来，更加简单并且经济的解决方案在于监视和控制所有外部连接，所述外部连接限制为只对认可会话加密(例如，部门间的VPN和有限数目的众所周知的电子商务站点)。此方案保持维护外围防御的低总成本；内部计算机需要依照常规的方式来保证安全，就像它们惯常那样。控制欺诈通信信道只给“总体内部安全”策略增加了小部分潜在成本。

解决此问题的方案可以包含欺诈加密检测器(RED)组件，用于跟踪所有安全连接，并且当未授权的类似VPN的信道被建立时，用于向安全人员告警。作为附加好处，它可以不断地检查加密的会话，其参数在已建立的加密强度、协议版本等的范围之外。

RED组件可以通过向穿过敏感信息区域的边界的加密通信提供一组合法的参数(源、目的地、协议、密钥长度等)来进行配置；它可以把公共电子商务活动(诸如在Amazon的安全服务器上买书)和试图建立安全P2P信道区分开。授权的VPN可以在RED允许的源/目的地/端口列表中被指定，以便使正常的办公室间通信不产生任何告警。

RED可以作为专用进程来操作，所述进程用于获得来自所馈送的重组TCP会话数据的信息。运行时TCP会话重组可以允许SSL会话及其属性被正确地识别。可以检查每一会话的加密(例如，可以识别SSL/TLS的所有公共变化)，并且如果它被加密，那么可以将其参数(客户端IP、服务器IP、端口、持续时间、版本等)与授权VPN列表相比较。通过处理从内部独立地发起的短会话，常规的电子商务通信可被默认允许。

由RED组件收集的信息可以被发送到集中式事件处理器并且被转发给控制台，在控制台中，它可以和出自多个传感器的其它相关事件一起被存储和处理。这样做考虑到了“欺诈VPN”尝试以及其它网络策略侵害之间的相关性，并且提供集中式公开辩论的信息存储和数据挖掘。

RED数据流

RED可以对例如由TCP会话重组模块所提供的重组TCP会话进行操作。RED可以确定正在被分析的会话是否被加密，如果是，则确定加密参数是否与配置文件中指定的策略相匹配。

RED可以被配置为检测SSL和/或TLS会话(例如，SSL 2.0版本及以上、TLS 1.0版本及以上)。RED未必有权访问密钥资料，因此它未必解密会话的内容；然而，初始握手和密码组协商消息可以被明文发送，因此会话可以被加密并且选择的密码组可以被检测器利用。

RED可以遵循协议的分层结构，并且解码所述层以便可以访问交换的信息。SSLv2.0和SSL v3.0/TLS 1.0具有不同的记录和消息格式，并且可以由独立的解码过程来处理，但是全体解码器功能可以是相同的(参见图26)。

首先，RED可以解码SSL/TLS记录协议层以便审查其顶部承载的消息。接下来，RED可以识别ClientHello和/或ServerHello消息，其包含有关协商的密码组的信息。

如果在任何上述动作中解码失败，那么RED会认为会话未加密。安全协议是严格的，并且不会利用不正确的或者缺失数据来建立连接。如果解码成功，那么RED可以获得有关用于编码会话的初始密码组的信息(所述密码组可以在会话过程中被改变，但是由于这不是明文执行的，所以RED不必跟踪后续改变)。

假定已知会话被加密并且已知用于加密所述内容的密码组，RED可以执行如下检验：

·依照本地策略，给定通信的各方可以建立安全连接

·按照现在的标准，密码组可以很强大

·通信的持续时间在允许的范围内

RED的配置文件可以允许人们指定哪些方(IP地址)可以建立安全信道(客户端和服务器被区别，因此存在关于安全连接的启动器的独立限制)。对于每个这种记录来说，可以有关于所允许的端口、对连接总体持续时间的限制以及密码组的最小强度的信息。可以使用端口来限制被加密的服务(例如，HTTP)；对持续时间的限制可用来把用于基于SSL的电子商务的短会话与更长的可能是非法的会话加以区分。如果连接被允许，那么可以将其密码组强度与为此连接所指定的最小可接受水平相比。

可以检测到创建没有由所述配置明确允许的连接的所有企图，并且依照告警的形式发送到系统的告警处理后端。根据其配置，可以把告警报告给操作者和/或可以立即采取行动(断开正在进行的连接)。

进程管理器

建立在网络内容分析平台(“NCAP”)上的应用程序例如可以包括若干并行工作的UNIX进程。进程的数目及其功能可以变化。另一方面，可以提供如下功能：启动、停止以及重新配置。表示某些特定功能或者模块的特殊进程组才需要重新配置，而其余的应用程序应该继续，而不会丢失任何共享数据。

所述“启动”和“停止”请求可以由OS在正常的引导/关闭序列期间发布。所述‘重新配置’请求可以来自自动下载机构以便执行特殊模块的运行时重新加载(例如，规则组更新进程)。总的重新配置时间可以被最小化：在此程序期间，所述应用程序可以只部分操作。

启动过程可以开始若干NCAP模块(参见图27)。这些模块可以分配和/或要求不同IPC资源以执行它们的功能。虽然IPC死锁依赖性可以在应用程序规划阶段被解决，但是启动序列是自动的并且是可靠的，以便万一无法获得所需要的资源时，也允许进行稳定的模块恢复。

有时使救援人员生活更加容易的附加特征：人工地发布重新配置请求的能力；人工地启动/停止整个应用程序的能力；以及利用无法经由标志系统公用程序获得的所有必要内部信息列出当前运行中的进程的能力。

进程管理器的一个实施例可以被配置为提供一种用于充当基于整个NCAP的应用程序的启动器/监视器的可靠进程。其特征可以包括：

·灵活配置；支持任意数目的程序。

·标准误差报告机构。

·自动模块恢复。

·恢复过载保护：如果模块在一行中开始若干次之后立即死掉，那么下次要等到底层问题被解决之后再重启它。

·标准重新配置机构重启保持应用程序共享数据的指定模块组。

还可以开发特殊控制工具，其用于在正确授权之后使用又一个IPC信道与主要的管理进程连接。它可以支持列表并且重新加载组命令，以便为自动上载机构提供通用接口。

事件假脱机程序

事件假脱机程序的一个实施例可以为事件处理提供通用API。它还可以收集统计量和进程、过滤器，并且使用加密信道在网络上可靠地转送数据。在实际生活的网络的苛刻条件下，它还可以在“启动和忘记”模式中工作。

NCAP可以以事件的形式递送信息。事件是适用于独立处理并且稍后存储和数据挖掘的最小基本信息单元。生成的事件可以例如依照实时或可靠的方式被转送到事件处理/数据挖掘控制台。事件处理模块可以应用用于处理、在数据库中存储最终信息并且如果需要发送SNMP和/或电子邮件告警的附加层。

由各种NCAP模块生成的事件可以被存储在假脱机文件中。模块还可以使用IPC来存储实时统计数据(例如，处理的分组数目、协议分布、模块专用信息)。如果偶然停电，那么可以重置统计数据。事件数据可以具有文件系统级。作为附加好处，缓冲区事件流可以依照压缩的形式被备份，以便允许向集中式事件数据库存储/重新加载存档。

事件假脱机程序可以被配置为监控任意数目的事件假脱机目录和统计数据块。它可以独立地监控不同的数据源。每一事件假脱机文件可以依照FIFO顺序由专用UNIX进程(假脱机监视器)处理。每一统计块可以依照可配置的间隔由状态收集器进程定期地轮询。假脱机监视器可以生成独立的二进制检查点文件，其包含有关监视器当前状态的完整信息。在供电周期的情况下，事件假脱机程序将能从每一队列上的最后不完整事务开始继续。

事件假脱机程序可以是模块化应用程序。它可以依照逻辑流(例如，事件流、统计流等)的形式收集并且路由数据。它可以具有用于需要时加载的数据处理模块(插件程序)的API。每一流可以与任意数目的插件相关联。插件可以是唯一的模块，其已经知道特殊流的内部结构。事件假脱机程序可以提供通用目的的类似MUTEX的资源，其可以在几个数据处理模块之间共享，倘若如此配置的话。这种体系结构使可扩展性更加容易并且减少代码维护工作。把新数据类型处理(例如，TCP会话数据)添加到事件假脱机程序仅仅变换为改变配置文件并且写入识别此数据类型的插件的工作。

除在传感器侧工作的事件压缩算法以外，事件处理模块可以执行事件处理(例如，后期处理)以及接收所述数据时的相关性处理。可以使用基于UDP的网络协议利用如下内置特征来进行可靠的并且安全的网络数据转送，所述内置特征是：校验和验证、利用重传时间计算算法的分组或者会话级重传、服务器侧ACL验证、运行时数据压缩以及加密。事件处理模块可以运行例如在端口80/UDP上侦听的事件假脱机程序的服务器部分(“Netspool(网络假脱机)”)。它可以接收来自每一授权传感器的由传感器名称标记的数据流。基于逻辑流类型，网络假脱机可以发送数据以便附加处理并且调用插件来存储数据。基于所述配置，它还可以生成电子邮件/SMMP消息，并且发送原始数据以便进一步处理。如果出现网络故障，假脱机监视器和/或网络假脱机可以试图在高达30分钟(依照逐渐增加的超时间隔)内发送数据然后退出。可以由主要的事件假脱机程序进程重启所述完成的进程并且继续不完整的事务。所述周期可以持续，直到数据被成功地发送为止。

图28示出了依照分布模式工作的事件假脱机程序的示图的一个实施例。传感器也具有运行的网络假脱机进程；它可以只允许本地客户端连接。虽然假脱机监视器以及状态收集器可以发送数据，但是对于每一应用而言，它只可以具有一个数据流源。所述配置可以为传感器主机上的每个模块提供自动MUTEX-风格锁定。

事件假脱机程序可以收集并且转送例如由基于NCAP的应用程序内的所有模块生成的事件。事件假脱机程序可以作为具有专用子进程的多进程分布式应用程序来实现，其可以使用UNIX IPC并且联网以便相互通信并且和系统其余部分通信。

可以被归入事件假脱机程序应用程序的一列子进程如下：

·告警：使用UNIX消息收集来自分析模块的事件。滤出由用户禁止的事件

·evspool：假脱机程序进程管理器

·状态收集器：保存共享统计池

·假脱机监视器：从特定假脱机目录获取事件数据

所述进程管理器可以启动告警进程(参见图29)，其附属于IPC消息池和/或从文件映射告警映射。然后它可以等待到来事件帧。接收帧，它可以解码来自所述帧的告警id信息，并且相对于告警映射集合来检验它。如果允许发送告警id，那么告警进程可以把所述帧置于假脱机文件中。

所述告警帧可以由假脱机监视器从假脱机文件取出，其可以在evspool管理下运行。假脱机监视器的任务可以是从假脱机文件逐个地拾取帧，利用流标签和传感器名称来前插(prepend)每一帧，跟踪检验点文件中的当前假脱机指针并且向网络假脱机进程发送最终的帧。所述数据可以经由专有的、可靠的并且安全的基于UDP的协议来发送。所述事件数据可以保存在假脱机文件中，直到它被发送为止。特别开发的网络协议和检验点文件可以确保应用程序经得起网络故障和硬件重新引导。

网络假脱机进程可以接收所述帧，并且根据所述配置，可以将其发送到另一网络假脱机或者将其发送到本地数据库插件或者它们两者。数据库插件可以被实现为多个需要时加载的动态库。后期处理的附加层可以包括事件相关性。

网络假脱机还可以收集来自状态收集器的信息。状态收集器可以复制分配给基于NCAP的应用程序的统计池的共享存储器片段，并且将其反复地发送到数据库(依照预先配置的时间间隔)。

TCP限制器

TCP限制器模块的一个实施例例如通过实时停止TCP会话来提供了对恶意通信作出反应的能力。

所述TCP限制器模块可以利用Linux分组套接字API。此接口提供了用于直接与NIC驱动器连接并且将人工地生成的分组置于其输出队列的能力。所述驱动器接受来自用户空间程序的完整的网络分组(包括层2首部)，并且没有修改地将它注入网络。如果网络分析器足够快，则如果正在进行的TCP会话被认为是恶意的，那么它可以生成TCP RST分组来停止正在进行的TCP会话。

它可以通过向客户端和服务器计算机发送具有正确SEQ和套接字对属性的TCP RST分组来执行。在基于特殊套接字对接收了TCPRST分组之后，主机的TCP/IP栈可以关闭连接，清除数据缓冲区并且向用户应用程序返回错误(“由对等方重置连接”可以是标准的错误消息)。

由于装备TCP限制器的应用程序主动地干扰了正常网络活动，所以它可以对模块的行为具有独立的越权控制。所述TCP限制器模块可以包括对来自NCAP应用程序的对话结束请求被允许还是被忽略的控制。所述控制机制可以包括用于指定目的地地址和端口范围的独立配置文件，以便归入/排除可能的重置目标列表(IP过滤器)和“位图”文件，其中所述“位图”文件允许/禁止对每个告警ID的重置分组生成，其包括RST分组方向(告警映射)。

所述TCP限制器模块可以作为独立的UNIX进程来实现，其用于使用UNIX消息IPC与其客户端(例如，本地应用程序)通信。它可以在启动期间从配置文件中读取IP过滤器，并且依照共享模式把告警映射文件映射到存储器，由此允许来自tcpkc的改变被接收。只有当IP过滤器信息需要改变时才要求重启模块。标准重启过程可以由进程管理器提供。重启不会影响基于NCAP的应用程序中的其它进程。

TCP限制器模块API

所述TCP限制器API可以使用UNIX消息机构。TCP限制器可以附属于在启动过程期间由NCAP内核分配的消息队列。队列的ID可以被所有NCAP模块获知。

TCP限制器进程可以预期依照tcpk_t结构描述的格式的消息缓冲区。所述tcpk_t结构可以包含创建TCP RST分组必需的告警id和层2/3/4信息。

TCP限制器模块初始化

TCP限制器可以由进程管理器启动。它可以从命令行获得NIC名称、告警映射名称和IP过滤器配置文件的名称。然后它可以读取并且解释IP过滤器信息并且把告警映射文件映射至存储器。

下一动作可以是例如通过利用指定的NIC名称打开分组套接字来打开到NIC驱动器的控制连接。在初始化阶段结束时，所述模块可以把特定的NIC设置为NOARP模式。

初始化之后，TCP限制器可以进入无限循环，其包括等待对话终止请求、接收它们、使用IP过滤器和告警映射来过滤所接收的请求，并且如果允许，使用请求中提供的信息来生成TCP RST分组。

如上所述，告警映射还可以指定发送分组的方向：客户端侧、服务器侧或者它们两者。如果两侧都被指定，那么TCP限制器模块可以在一个序列中生成两个分组并且发送该两个分组：为服务器侧连接创建一个，为客户端侧创建另一个。

TCP限制器模块重新配置

所述tcpkc命令行公用程序可以提供用于更新告警映射信息的方式。它可以修改指定的二进制映射文件；所述改变立即可以为运行的TCP限制器进程所利用，所述TCP限制器进程将保存映射到其存储器的此文件。

为了改变IP过滤器信息，所述TCP限制器模块需要被重启。这可以由进程管理器所提供的标准机构来执行。重启TCP限制器模块不会影响其它基于NCAP的模块。

TCP限制器模块卸载

当基于NCAP的应用程序发现退出理由时，TCP限制器模块可以停止。所述模块不会采取任何特定动作，因为所述UNIX标准退出过程关闭所有通信信道并且回收由进程使用的所有存储器。

机器可读介质可以包括编码信息，当由机器读取并且执行时其实现例如所描述的实施例(例如，一个或多个描述方法)。所述机器可读介质可以存储可编程参数并且还可以存储包括可执行指令、不可编程参数和/或其它数据的信息。所述机器可读介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、非易失性存储器、光盘、磁带和/或磁盘。所述机器可读介质例如还可以包括调制或者其他方式操纵的载波，以便传送可由机器(例如，计算机)读取、解调/解码的指令。所述机器可以包括一个或多个微处理器、微控制器和/或其它逻辑元件阵列。

鉴于前文，本领域普通技术人员将显而易见的是，所描述的实施例可以依照软件、固件和/或硬件来实现。用于实现本发明的实际软件代码或专用控制硬件不是对本发明的限制。由此，所述实施例的操作和行为是在没有特别参考实际软件代码或专用硬件组件的情况下描述的。缺少这种特定参考是可行的，这是因为可以清楚理解的是，基于此处的描述，本领域普通技术人员将能够设计出软件和/或控制硬件来实现本发明的实施例。

提供所描述的实施例的先前呈现，以便允许本领域技术人员能够作出或者使用本发明。对这些实施例的各种修改都是可能的，并且此处呈现的通用原理还可以应用于其他实施例。例如，本发明可以部分地或者完全作为硬连线电路、作为制造为专用集成电路的电路结构或者作为载入非易失性存储器的固件程序或者作为机器可读代码载入数据存储介质的软件程序来实现，其中所述机器可读代码是可由诸如微处理器或者其它数字信号处理单元或者其它可编程机器或者系统的逻辑元件阵列执行的指令。因而，本发明不意指局限于上文示出的实施例、任何特殊的指令序列和/或任何特殊的硬件配置，而是与此处以任何方式公开的原理和新颖特征相一致的最宽广范围一致。

Claims (4)

1.一种网络通信方法，包括：

接收网络数据；

在解码器链处处理所述网络数据以创建输入数据，以便用于应用至少多维内容概要分析；

通过至少应用所述多维内容概要分析来经由所述网络数据防止信息泄漏，以及

其中，所述多维内容概要分析包括：

加载一个或多个概要图，其中，所述一个或多个概要图分别包括数据的统计特性的期望集合，其中，所述一个或多个概要图分别基于多个无关特性；

持续地从所述解码器链接收所述输入数据；

确定所述输入数据的成员相对于所述一个或多个概要图的概率测度；

针对所述一个或多个概要图中的每一个，将所述概率测度与阈值要求进行比较；以及

如果所述概率测度满足所述阈值要求，则生成反应措施。

2.如权利要求1所述的方法，其中，所述信息包括数字资产。

3.如权利要求1所述的方法，其中，所述多维内容概要分析考虑了所述信息的结构。

4.一种网络通信装置，包括：

用于接收网络数据的模块；

用于在解码器链处处理所述网络数据以创建输入数据，以便用于应用至少多维内容概要分析的模块；

用于通过至少应用所述多维内容概要分析来经由所述网络数据防止信息泄漏的模块，以及

其中，所述多维内容概要分析包括：

加载一个或多个概要图，其中，所述一个或多个概要图分别包括数据的统计特性的期望集合，其中，所述一个或多个概要图分别基于多个无关特性；

持续地从所述解码器链接收所述输入数据；

确定所述输入数据的成员相对于所述一个或多个概要图的概率测度；

针对所述一个或多个概要图中的每一个，将所述概率测度与阈值要求进行比较；以及

如果所述概率测度满足所述阈值要求，则生成反应措施。

Images