本文共 417 字，大约阅读时间需要 1 分钟。
主要对HDFS服务和Tomcat服务进行实时计算预警，故要做以下加强功能: 1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string) 2. 改造 Tomcat的日志支持log4j,其为json格式输出 3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理 4. 改造 spark streaming+spark sql,支持读取json解析 5. 使用hive离线计算loginfo字段,计算高词频的词,添加到MySQL表中,同时支持添加自定义监控词 6. 改造 spark streaming+spark sql,参数配置定时读取监控词库,进行预警计算 7. 改造grafana dashboard可视化 8. 整个架构高可靠设计和优化 9. 扩展其他应用、DB的日志等等 转载地址：http://vzgvl.baihongyu.com/