https://docs.njet.org.cn/docs/v4.0.1/reference/http/accesslog/index.html Hugo zh Mon, 18 Aug 2025 10:08:31 +0800 https://docs.njet.org.cn/docs/v4.0.1/reference/http/accesslog/dynamic_accesslog/index.html Wed, 13 Aug 2025 18:02:01 +0800 https://docs.njet.org.cn/docs/v4.0.1/reference/http/accesslog/dynamic_accesslog/index.html 1. 功能说明 通过动态access_log，无需对配置文件进行编辑及重载，就可以实现对access log开关状态的动态控制功能，现提供了动态查询接口和动态修改接口。 动态access_log开关accessLogOn缺省值为true。该动态开关配置在http，server，location的上下文配置中修改没有继承关系。 静态access log开关指令为access_log off，再把动态acesss log开关同时配置情况下，以动态acceess log开关配置为优先。 2.依赖模块 本功能依赖模块: load_module modules/njt_agent_dynlog_module.so; load_module modules/njt_http_sendmsg_module.so; load_module modules/njt_ctrl_config_api_module.so; 3.配置说明 njet.conf配置文件中务必有此模块 load_module modules/njt_agent_dynlog_module.so; njet_ctrl.conf配置文件中务必包含这些模块 load_module modules/njt_http_sendmsg_module.so; load_module modules/njt_ctrl_config_api_module.so; http { server { listen 8081; location /api { dyn_module_api; } } } } 4.调用样例 4.1 API说明 查询接口： GET http://IP+port/api/v1/config/http_log 修改接口： PUT http://IP+port/api/v1/config/http_log 4.2动态查询接口 可以查看HTTP 下的所有server及location，以及各个location 块内access log 当前的开关状态； 请求 curl -X GET http://127.0.0.1:8081/api/v1/config/http_log 结果 < HTTP/1.1 200 OK < Server: njet/1.23.1 < Date: Mon, 22 May 2023 09:38:22 GMT < Content-Type: application/json < Content-Length: 490 < Connection: keep-alive { "servers": [ { "listens": [ "0.0.0.0:90" ], "serverNames": [ "localhost" ], "locations": [ { "location": "/", "accessLogOn": true, "accessLogs": [ { "path": "logs/access.log", "formatName": "combined" } ] }, { "location": "/test_accesslog", "accessLogOn": true, "accessLogs": [ { "path": "logs/access.log", "formatName": "combined" } ] } ] } ], "accessLogFormats": [ { "name": "combined", "escape": "default", "format": "$remote_addr - $remote_user [$time_local] \"$request\" $status$body_bytes_sent \"$http_referer\" \"$http_user_agent\"" } ] } 4.3 动态修改接口 可以对查询结果中的access log的开关状态进行动态修改。 https://docs.njet.org.cn/docs/v4.0.1/reference/http/accesslog/goaccess/index.html Thu, 14 Aug 2025 11:30:16 +0800 https://docs.njet.org.cn/docs/v4.0.1/reference/http/accesslog/goaccess/index.html 1.功能说明 1.1 概述 GoAccess 是一款基于终端的日志分析工具。其核心理念是不需要通过 Web 浏览器就能快速分析并实时查看 Web 服务器的统计数据。 GoAccess 是一款开源(MIT许可证)的且具有交互视图界面的实时 Web 日志分析工具，通过你的 Web 浏览器或者 Linux 系统下的终端程序即可访问。 可以为系统管理员提供快速且有价值的 HTTP 统计，并以在线可视化服务器的方式呈现。GoAccess解析指定的Web日志文件并将统计结果输出到X终端。 终端输出仅仅是默认的输出方式，GoAccess 还支持生成完整的实时 HTML 报告(这对分析、监控以及数据可视化都是极好的)，以及 JSON 和 CSV 格式的报告。 1.2 详细功能 通用统计: 此面板展示了几个主要指标，比如：有效和无效请求的数量，分析这些数据所花费的时间，独立访客的情况，请求的文件，静态文件(CSS, ICO, JPG 等)的完整URL，404错误，被解析的日志文件的大小以及消耗的带宽。 独立访客: 此面板按照日期展示了访问次数，独立访客数，以及累计消耗的带宽等指标。具有相同IP，相同访问时间，相同的 UserAgent 的 HTTP 请求将会被识别为独立访客。默认情况下包含了网络爬虫。 您也可以选择使用 –date-spec=hr 参数将按照日期分析修改为按照小时，例如：05/Jun/2016:16 。这对于希望在小时级别去跟踪每日流量非常有帮助。 请求的文件: 此面板展示您服务器上被请求次数最多的文件。包含访问次数，独立访客数，百分比，累计消耗带宽，使用的协议，请求方式。 请求的静态文件: 列出请求频率最高的静态文件类型，例如： JPG, CSS, SWF, JS, GIF, 和 PNG , 以及和上一个面板一样的其他指标。 另外静态文件可以被添加到配置文件中。 404 或者文件未找到: 展示内容与之前的面板类似，但是其数据包含了所有未找到的页面，以及俗称的 404 状态码。 主机: 此面板展示主机自身的详细信息。能够很好的发现不怀好意的爬虫以及识别出是谁吃掉了你的带宽。 扩展面板将向您展示更多信息，比如主机的反向DNS解析结果，主机所在国家和城市。如果开启了 参数，选择想查看的 IP 地址并按回车，将会显示 UserAgent 列表。 操作系统: 此面板将显示主机使用的操作系统的信息。GoAccess 将尽可能尝试为每一款操作系统提供详细的信息。 浏览器: 此面板将显示来访主机使用的浏览器信息。GoAccess 将尽可能尝试为每一款浏览器提供详细的信息。 访问次数: 此面板按小时报告。因此将显示24个数据点，每一个均对应每一天的某一个小时。 使用 –hour-spec=min 参数可以设定为按每十分钟报告，并将以 16:4 的格式显示时间。这对发现服务器的峰值访问时段很有帮助。 虚拟主机**:** 此面板将显示从访问日志中解析出来的不同的虚拟主机的情况。此面板仅在日志格式中启用了 %v 参数时显示。 来路站点: 此面板将仅显示主机的部分，而不是完整的URL。 地理位置: 根据 IP 地址判断地理位置。统计数据按照大洲和国家分组。需要地理位置模块的支持。 HTTP 状态码: 以数字表示的 HTTP 请求的状态编码。 远程用户(HTTP验证) 通过 HTTP 验证来确定访问文档的权限。如果文档没有被密码保护起来，这部分将会显示为 “-”。此面板默认为开启，除非在日志格式变量中设置了参数 %e 。 注意: 如果配置了可选项，所有面板将显示处理请求的平均时间消耗。 https://docs.njet.org.cn/docs/v4.0.1/reference/http/accesslog/data_hide/index.html Mon, 18 Aug 2025 10:08:31 +0800 https://docs.njet.org.cn/docs/v4.0.1/reference/http/accesslog/data_hide/index.html 1.功能说明 在accesslog的记录中，对于敏感字段，如client_ip, query_param等敏感信息进行隐藏展示 以“*“展示被隐藏的内容。access日志存储到文件的格式有配置的format定义，根据需求，需要对于变量和query_param两种情况做filter过滤。 2.依赖模块 数据消隐无依赖模块 3.指令说明 njt_http_log_module新增一个配置数据隐藏的指令log_data_hidden Syntax log_data_hidden {hidden_type} {hidden_data}； Default - Context http ,server, location 参数介绍： 参数 取值 说明 hidden_type [var|query_param] var: 将整个变量隐藏，替换为’‘query_param:对url后面的query_param对应的值隐藏，替换为’’ //后续可增加类型url对url location敏感信息过滤 hidden_data 变量name或者是query_param的key 说明： 该指令可配置在http块的任何位置，可配置多条 http块的配置对所有的server和location生效 server块的配置对该server块下所有的location生效 location块的配置只对该location生效 4.配置样例 控制面和数据面都可配置，以控制面access_log配置为例(数据面也是一样的配置)说明： njet_ctrl.conf ... http { ... log_format combined '$remote_addr - $remote_user [$time_local] ' '"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent"'; log_data_hidden var status; //所有的status隐藏 ... server { location /test1 { ... log_data_hidden query_param a; //query_param a隐藏 log_data_hidden query_param b; //query_param b隐藏 ... } //对比上面的test， test2 不隐藏任何query_param location /test2 { ... ... } } } 5.调用样例 使用curl访问端口8081/test1