性能篇—兵力充足
我们在性能方面的测试共分为五部分，如前文所述，检测率、漏报、误报是IDS设备目前面临的主要难题，因此这些方面成为我们重要的测试项目，同时我们认为基于状态的检测以及设备在压力下的性能表现也比较重要。
检测率
对IDS系统最基本的要求是能够及时、准确、完整的发现黑客的攻击企图和行为，包括各种类型的攻击，如预攻击探测扫描、后门攻击、拒绝服务攻击、应用服务攻击等等。正如设备名称——IDS（入侵检测即攻击检测）所强调的，IDS设备最重要的能力在于对各类攻击的检测，因此检测率对所有设备是最为关键的一项。
目前对于此项测试来讲面临一些难题：采用真正的攻击手段受数量和测试效率的极大限制；采用开源软件以及其他类型免费软件的模拟攻击，其攻击原理及准确度会受到很大置疑。我们采用BLADE公司专门针对IDS/IPS测试进行开发的IDS Informer商业软件，为攻击检测率测试提供了可靠保障：首先攻击类型多，现有600多种攻击类型；其次攻击准确，每类攻击都经过多方的验证，不会受到置疑。
测试结果显示，三家产品的检测率都在90%以上，其中安氏产品最高，100种攻击检测出99种，McAfee产品检测出98种，金诺网安产品检测出90种，应该说它们都可以检测到网络用户实际网络中的大部分攻击。
漏报与误报
随着网络技术的不断发展，黑客对IDS技术的了解也日益加深，出现了许多针对IDS的攻击和欺骗手法，其目的在于利用IDS系统的弱点，躲过IDS的探测，从而达到攻击目标主机的目的。
这些手段主要分为两个大类：IDS逃避技术：通过各种工具和手法对真正的攻击包进行处理，使IDS很难通过简单的模式匹配识别出来，从而出现致命的漏报现象；IDS欺骗技术：通过一些特定的工具触发IDS系统大量报警（不是真正的攻击），使管理员疲于应付误报，从而遗漏真正的攻击。
从本质上说，这两种手段都是利用了“基于模式匹配”的IDS系统的一个致命弱点——即仅仅对所捕获的包做简单的字符串匹配，而不能真正“理解”目标主机的行为。目前多数IDS系统都做了改进，能够实现TCP/IP层的流/包重组，但是对一些高级逃避和欺骗技术仍然无能为力。我们特别针对以上两种攻击手段选取了一些用例，其中逃避技术测试我们选择了Nessus（网上免费攻击测试工具）提供的三种逃避技术以及IDS Informer提供的10种逃避技术；误报测试我们设计了关于SMTP与TTL的两种伪攻击方式。
在所有的13种逃避技术测试中，金诺网安产品的表现最好，能检测出所有的攻击，没有出现漏报现象，其次是安氏产品，只有一种攻击没有检测出来，McAfee产品则出现了两次漏报。
在误报测试项目中，安氏设备两种攻击都没有出现误报，McAfee产品出现了一次误报，而金诺网安产品出现了两次误报。
基于状态测试
由于实际的网络攻击都是基于状态的方式，即攻击发起方与被攻击方建立了正常的连接以后，才能够进行攻击行为，因此，目前多数IDS攻击检测方式支持状态的维护（对每个连接的状态信息进行记录）。如果IDS设备不支持这种方式，那么在实际网络中并不能真正实现攻击的伪攻击包都可能引起设备的误报。鉴于这种情况，我们设计了两种无连接信息的伪攻击，验证IDS设备是否采用基于状态的检测技术。结果为安氏产品没有产生误报，而McAfee与金诺网安产品都产生了两次误报。
HTTP仿真环境测试
在IDS产品的测试中，实际网络压力下的性能同样关键。尤其对于那些功能达到标准要求的IDS产品，在实际使用环境中是否真的可用，能否胜任指定环境下入侵检测能力的需求，性能测试正是了解和回答这一问题的重要依据。当网络流量达到一定强度的时候，如果IDS产品的性能达不到要求，即使IDS产品的功能再强，也会产生漏报，无法检测到所有网络攻击事件。
测试结果为，安氏产品在HTTP背景压力到达950Mbps时仍然可以完全检测到攻击，McAfee产品为600Mbps，金诺网安产品为234Mbps。
