URL分类

URL分类限制用户对特定网站和网站分类的访问。作为订阅服务，与并，该功能允许企业客户使用商业分类数据库过滤网络流量。的并数据库中有大量(数十亿)的url，它们被分为不同的类别，如社交网络、赌博、成人内容、新媒体和购物。除了分类之外，每个URL都有一个基于网站历史风险概况的最新声誉评分。我们可以使用并通过配置基于类别、类别组(如恐怖主义、非法毒品等)或站点信誉评分的高级策略来过滤流量。

例如，您可能会阻止对危险网站的访问，比如感染了恶意软件的网站，或者有选择地限制对成人内容或娱乐流媒体的访问。

URL分类是如何工作的

下图展示了Citrix ADC URL过滤服务如何与商业URL分类数据库和云服务集成，以实现频繁更新。

组件的交互方式如下:

1. 客户端发送internet绑定URL请求。
2. Citrix ADC策略尝试根据从URL分类数据库检索到的分类详细信息(如类别、类别组和站点信誉评分)评估请求。如果数据库返回类别详细信息，则跳转到步骤5。
3. 如果数据库未返回分类详细信息，则将请求发送到由URL分类供应商维护的基于云的查找服务。但是，设备不会等待响应。相反，它将URL标记为未分类，并跳到步骤5。但是，它会继续监视云查询反馈，并使用它更新缓存，以便将来的请求可以从云查找中受益。
4. Citrix ADC设备从基于云的服务接收URL类别详细信息(类别、类别组和信誉评分)，并将其存储在云缓存中。
5. 如果策略允许URL，则将请求发送到源服务器。否则，设备将删除或重定向请求，或者使用自定义HTML页面进行响应。
6. 原始服务器将请求的数据响应到Citrix ADC设备。
7. 设备将响应发送到客户机。

您可以使用URL过滤功能来检测那些违反政府发布的安全互联网使用命令的网站，并实施政策来阻止这些网站。托管成人内容、流媒体或社交网络的网站被认定为对儿童不安全或被列为非法。

先决条件

在电信平台上，只要购买基本CBM许可证和CBM Premium许可证，该功能就可以工作。对于其他Citrix ADC平台，该功能需要购买CNS Premium许可证。

请注意：除了基本CBM许可证和CBM Premium许可证外，设备还必须具有URL威胁情报许可证，并提供为期1年或3年的订阅服务。在启用和配置该功能之前，必须安装以下许可证：

电信平台的许可证支持：

• CBM_TXXX_SERVER_Retail.lic
• CBM_TPRE_SERVER_Retail.lic
• CNS_WEBF_SSERVER_Retail.lic

其中XXX为吞吐量，例如Citrix ADC T1000。

其他Citrix ADC平台的许可支持:

• CNS_XXX_SERVER_PLT_Retail.lic

其中XXX为吞吐量。

URL分类策略表达式

下表列出了用于识别传入URL的不同URL分类策略表达式，并应用配置的操作。

示例策略表达式

URL分类策略动作

URL过滤策略对流量进行评估，以识别属于特定类别的请求。下表列出了可以分配给URL过滤策略的操作。

请注意

对于加密的流量，VideoOptimization策略包括实现URL过滤动作的动作。

配置URL分类

要配置URL分类，首先要启用URL过滤特性。然后必须为HTTP和HTTPS流量配置缓存内存限制、分类策略和虚拟服务器。使用CLI配置URL分类。

要在Citrix ADC设备上使用CLI配置URL分类，请执行以下操作:

• 设置URL分类。
  • 启用URL筛选功能。
  • 配置共享内存以限制缓存内存。
  • 配置URL分类参数。
• 配置HTTP流量分类。
  • 添加URL分类操作。
  • 添加URL分类策略。
  • 添加HTTP流量负载均衡虚拟服务器。
  • 将URL分类策略绑定到负载平衡虚拟服务器。
• 为HTTPS流量配置URL分类。
  • 添加URL分类策略。
  • 添加SSL-Bridge负载均衡虚拟服务器。
  • 将URL分类策略绑定到负载平衡虚拟服务器。

设置URL分类

要设置该特性，必须启用URL分类特性、配置过滤参数和设置共享内存限制。

启用URL过滤功能

在命令提示符处，输入:

启用ns feature URLFiltering VideoOptimization Responder IC SSL AppFlow

配置共享内存限制的步骤

在命令提示符处，输入:

设置cache参数[-memLimit ] 

其中memLimit是缓存的内存限制。

例子：

设置cache参数-memLimit 10

配置URL分类参数

在命令提示符处，输入:

set urlfiltering parameter [-HoursBetweenDBUpdates ] [-TimeOfDayToUpdateDB ] 

*的例子:

set urlfiltering parameter -HoursBetweenDBUpdates 3 -TimeOfDayToUpdateDB 03:00

配置HTTP流量分类

配置HTTP流量的URL分类特性时，需要配置负载均衡虚拟服务器，添加URL分类策略，并绑定虚拟服务器。虚拟服务器接收HTTP流量，系统根据策略评估分配过滤动作。

为HTTP流量添加URL分类动作

在命令提示符处，输入:

添加响应器动作 ( | ) [-comment ] [-responseStatusCode ] [-reasonPhrase ]

例子：

添加响应器动作act_url_categorize与“\”HTTP/1.1 200 OK\r\n\r\n\”+ HTTP. req . hostname . append (HTTP. req . url). url_categorize(0,0)。类别+ \“\ n \”“

添加针对HTTP流量的URL分类策略

在命令提示符处，输入:

add responder policy [] [-comment ] [-logAction ] [-appflowAction ]

例子：

添加响应器策略pol_url_categorize_http "HTTP.REQ.HOSTNAME.APPEND(HTTP.REQ.URL).URL_CATEGORIZE(0,0).GROUP.EQ(\"Adult\") || HTTP.REQ.HOSTNAME.APPEND(HTTP.REQ.URL).URL_CATEGORIZE(0,0).GROUP.EQ(\"Gambling\")"重置

添加HTTP负载均衡虚拟服务器

如果尚未配置HTTP通信的虚拟服务器，请在命令提示下键入：

添加lb vserver [-td ] [-clt Timeout ]

例子：

add lb vserver vsrv-HTTP HTTP * 80 -persistenceType NONE -cltTimeout 120

将URL分类策略与负载平衡虚拟服务器绑定

在命令提示符处，输入:

绑定lb vserver -policyName [-priority ]

例子：

bind lb vserver vsrv-HTTP -policyName pol_url_categorize_http -priority 10 - gotopriityexpression END -type REQUEST

为HTTPS流量配置URL分类

要为HTTPS通信配置URL分类功能，必须配置SSL网桥加载平衡虚拟服务器，添加URL分类策略并将策略绑定到SSL网桥虚拟服务器。通过这样做，服务器接收HTTPS流量，并根据策略评估，系统分配过滤操作。

为HTTPS流量添加URL分类策略

在命令提示符处，输入:

添加视频优化检测策略-规则-操作[-undefAction][-comment][-logAction]

例子：

添加视频优化检测策略pol_url_categorize_https_block_adult -rule "CLIENT.SSL.DETECTED_DOMAIN.URL_CATEGORIZE(0,0).CATEGORY.EQ("Adult")' -action RESET

添加SSL-Bridge负载均衡虚拟服务器

在命令提示符处，输入:

添加lb vserver [-td ] [-cltT imeout ]

例子：

add lb vserver vsrv-HTTPS SSL_BRIDGE * 443 -persistenceType NONE -cltTimeout 180

将分类策略与SSL-Bridge虚拟服务器绑定

在命令提示符处，输入:

绑定lb vserver -policyName [-priority ]

例子：

bind lb vserver vsrv HTTPS-policyName pol_url_categorize_HTTPS_block_成人-优先级20-类型请求

使用GUI配置URL分类

GUI使您能够:

• 启用URL分类功能。
• 为HTTP流量添加URL分类动作。
• 为HTTP流量添加URL分类策略。
• 为HTTPS流量添加URL分类策略。
• 添加HTTP流量负载均衡虚拟服务器。
• 添加SSL桥负载均衡虚拟服务器，用于HTTPS流量。
• 负载均衡虚拟服务器绑定URL分类策略。
• 为SSL-Bridge负载均衡虚拟服务器绑定URL分类策略。
• 配置共享内存限制。
• 配置URL分类参数。

启用URL分类

1. 在导航窗格中展开系统然后点击设置．
2. 在设置页面,点击配置高级功能链接。
3. 在配置高级功能页面,选择URL过滤复选框。
4. 点击好吧和关闭．

添加URL分类操作

1. 在导航窗格中展开AppExpert>应答器>行动．
2. 在详细信息窗格中，单击添加．
3. 在创建应答器操作页面，设置如下参数。
   1. 的名字. URL分类策略操作的名称。
   2. 类型．选择操作类型。
   3. 表达式．使用表达式编辑器创建策略表达式。
   4. 评论．对政策行动的简短描述。
4. 点击创建和关闭．

添加针对HTTP流量的URL分类策略

1. 在导航窗格中展开AppExpert>应答器>政策．
2. 在详细信息窗格上，单击添加．
3. 在创建应答策略页面，设置如下参数。
   1. 的名字. URL分类策略操作的名称。
   2. 行动．选择您希望与策略关联的URL分类操作。
   3. 日志操作. 选择日志操作。
   4. 演示applow．选择AppFlow操作。
   5. 表达式．使用表达式编辑器创建策略表达式。
   6. 评论．对政策行动的简短描述。
4. 点击创建和关闭．

添加HTTPS流量分类策略

1. 登录到Citrix ADC设备并导航到配置>优化>视频优化>检测．
2. 在检测页面,点击视频优化检测策略链接。
3. 在“视频优化检测策略”界面，单击添加．
4. 在创建视频优化检测策略页面，设置如下参数。
   1. 的名字．优化策略名称
   2. 表达式. 使用自定义表达式配置策略。
   3. 行动．优化动作与策略相关联，以处理传入的视频流量。
   4. UNDEF行动．如果传入请求与优化策略不匹配，则未定义事件。
   5. 评论．对政策的简短描述。
   6. 日志的行动。选择审计日志动作，指定对日志消息执行的动作。
5. 点击创建和关闭．

添加HTTP流量负载均衡虚拟服务器

1. 导航到交通管理>负载平衡>虚拟服务器页面。
2. 在详细信息窗格中，单击添加．
3. 在负载均衡虚拟服务器页面设置以下参数:
   1. 的名字. 负载平衡虚拟服务器的名称。
   2. 协议．协议类型选择“HTTP”。
   3. IP地址类型。IPv4和IPv6。
   4. IP地址。IPv4或IPv6，虚拟服务器的VIP地址。
   5. 港口．虚拟服务器端口号。
4. 点击好吧继续配置其他可选参数。
5. 点击创建和关闭．

添加ssl桥负载均衡虚拟服务器

1. 导航到交通管理>负载平衡>虚拟服务器页面。
2. 在详细信息窗格上，单击添加．
3. 在负载均衡虚拟服务器页面，设置以下参数:
   1. 的名字. 负载平衡虚拟服务器的名称。
   2. 协议．选择协议类型为SSL-bridge。
   3. IP地址类型. IP可寻址类型。
   4. IP地址．IP 4或IP6虚拟服务器的IP地址。
   5. 港口．虚拟服务器端口号。
4. 选择好吧继续配置其他可选参数。
5. 点击创建然后关闭．

将URL分类策略绑定到HTTP负载平衡虚拟服务器

1. 导航到交通管理>负载平衡>虚拟服务器页面。
2. 在详细信息窗格中，选择负载均衡虚拟服务器，单击编辑．
3. 在高级设置部分中,点击政策．
4. 在政策部分,单击+图标以访问政策滑块。
5. 设置如下参数。
   1. 选择策略．在下拉列表中选择URL分类策略。
   2. 选择类型．选择策略类型为Request。
6. 点击继续．
7. 在列表中选中URL分类策略，单击关闭．

为SSL-bridge负载均衡虚拟服务器绑定分类策略

1. 导航到交通管理>负载平衡>虚拟服务器屏幕
2. 在详细信息窗格中，选择ssl桥负载均衡虚拟服务器，单击编辑．
3. 在高级设置部分中,点击政策．
4. 在政策部分中,点击+图标以访问政策滑块。
5. 在政策段中，设置以下参数。
   1. 选择策略．在下拉列表中选择视频检测策略。
   2. 选择类型．选择策略类型为Request。
6. 点击继续．
7. 在列表中选择视频检测策略，单击关闭．

配置共享内存限制

1. 登录到设备上，然后导航到优化>集成缓存．
2. 在详细信息窗格中，单击更改缓存设置链接。
3. 在缓存全局设置页面，设置如下参数。
   1. 内存使用限制(MB)。
   2. 活动内存使用限制．
   3. 通过头．
   4. 要缓存的最大Post Body长度
   5. 全球Undefined-Result行动
   6. 启用HA对象持久化
   7. 验证缓存对象持久化
   8. 预取
4. 点击好吧和关闭．

配置URL分类参数

1. 在设备上签名，然后导航到安全．
2. 在详细信息窗格上，单击更改URL过滤设置链接。
3. 在配置URL过滤参数页面，设置如下参数。
   1. 数据库更新之间的时间间隔。数据库更新之间的URL过滤时间。最小值：0，最大值：720。
   2. 一天中更新数据库的时间。URL更新数据库的过滤时间。
4. 点击好吧和关闭。

配置审计日志消息

当Citrix ADC设备接收到传入URL时，如果响应器策略具有URL过滤表达式，则审计日志特性将收集分类信息，并将其作为日志消息显示到配置的任何目标审计日志服务器。日志记录。

• 源IP地址(发起请求的客户端的IP地址)。
• 目标IP地址（请求服务器的IP地址）。
• 请求的URL，包含模式、主机和域名(http://www.example.com)．
• URL过滤框架返回的URL类别。
• URL筛选框架返回的URL类别组。
• URL过滤框架返回的URL信誉号。
• 审计URL分类策略对日志的动作。

配置URL列表特性的审计日志，需要完成以下任务:

1. 使审计日志。
2. 创建审计日志消息动作。
3. 设置带有审计日志消息动作的URL列表响应器策略。

有关更多信息，请参见审计日志记录的话题。

使用SYSLOG消息存储失败错误

在URL过滤过程的任何阶段，如果出现系统级故障，Citrix ADC设备将使用审计日志机制在ns.log文件中存储日志。错误以SYSLOG格式存储为文本消息，以便管理员以后可以按照事件发生的时间顺序查看它。这些日志也被发送到外部SYSLOG服务器进行归档。有关更多信息，请参见文章CTX229399．

例如，如果在初始化URL过滤SDK时发生故障，则错误消息以以下消息格式存储。

10月3 15:43:40< local0.err >ns URLFiltering[1349]: Error initializing NetStar SDK (SDK Error =-1)。(状态= 1)。

Citrix ADC设备将错误消息存储在四个不同的故障类别中:

• 下载失败。如果在尝试下载分类数据库时发生错误。
• 整合失败。如果在将更新集成到现有分类数据库时发生错误。
• 初始化失败。如果在初始化URL分类特性时发生错误，请设置分类参数或结束分类服务。
• 检索失败。如果在设备检索请求的分类细节时发生错误。

URL声誉评分

URL分类特性提供了基于策略的控制，对黑名单中的URL进行限制。您可以通过URL分类、声誉评分或URL分类和声誉评分控制对网站的访问。当网络管理员监控某个用户访问高风险网站时，可以使用与URL信誉评分绑定的响应策略来屏蔽高风险网站。

收到传入的URL请求后，设备从URL分类数据库检索类别和信誉分数。根据数据库返回的声誉分数，设备为网站分配声誉评级。该值的范围从1到4，其中4是风险最高的网站类型，如下表所示。