常见分布式应用系统设计图解（十四）：日志系统
典型的互联网应用的日志系统，从功能需求上看主要包括收集，存储和分析，以及展示这样三个部分，因此整个系统我觉得也可以按此思路大致可以分为三个部分： 日志收集，从宿主机上采集业务应用的日志，发送给远端的日志系统；日志存储、分析和后期处理；日志查询和分析数据展示。 非功能需求方面，我觉得可以考虑这样几个要点： Durability：这是最重要的，尽可能不要丢失日志，到服务端的日...
-
2337814 views阅读
-
5735737 views阅读
在IntelliJ中运行Java unit test(单元测试)时打印出"log4j:ERROR Either File or DatePattern options are not set for appender"
当你在IntelliJ idea中跑一个Java单元测试时，可能会发现单元测试本身没有任何问题，可以成功执行，但是IntelliJ的日志输出窗口里却打印出大量的“错误”日志，类似于下面这样： log4j:ERROR setFile(null,true) call failed. java.io.FileNotFoundException: ...
-
484734 views阅读
日志的艺术（The art of logging）
程序员学习每一门语言都是从打印“hello world”开始的，日志也是新手程序员学习、调试程序的一大利器。当项目上线之后，也会有各种各样的日志，比如记录用户的行为、服务器的状态、异常情况等等。打印日志似乎是一件很简单、不值得一提的事情。但是，当看到线上项目居然有这样的日志的时候，不禁想问问我们真的会打印日志吗？ *********************************** Er...
-
1324127 views阅读
Linux 日志定时轮询流程详解
logrotate介绍 对于Linux系统安全来说，日志文件是极其重要的工具。日志文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。当日志文件不断增长的时候，就需要定时切割，否则，写日志的速度和性能也会下降，更不便于我们归档，查询。 所以便有了使用logrotate的时候 ，logrotate是个十分有用的工具，它可以自动对日志进行截断（或轮循）、压缩以及...
-
929794 views阅读
Linux 下 logrotate 日志轮询操作梳理
对于 Linux 系统安全来说，日志文件是极其重要的工具。不知为何，我发现很多运维同学的服务器上都运行着一些诸如每天切分 Nginx日志之类的 CRON 脚本，大家似乎遗忘了 Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！ logrotate 程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日...
-
698683 views阅读
Linux 日志终极指南
Linux 日志分析 虽然提取的时候，不总是和你想的一样简单，但是日志中有大量信息在等着你。在这部分，我们会讲一些基本分析示例，你可以马上拿来处理你的日志（只是搜索里面有什么）。我们还会讲一些高级分析方法，开始的时候可能要花时间来做配置，但会为以后省很多时间。你可以把高级分析的示例用在待解析的数据上，比如生成摘要计数，过滤字段值等。 首先我们会演示，你应该如何使用不同的工具在命令行进行日志...
-
1647118 views阅读
如何在半小时搭建一个简单的日志分析平台？
人们常常说数据如金，可是，能被利用起的数据，才是“金”。而互联网的数据，常常以日志的媒介的形式存在，并需要从中提取其中的”数据”。 从这些数据中，我们可以做用户画像（每个用户都点了什么广告，对哪些开源技术感兴趣），安全审计，安全防护（如果1小时内登录请求数到达一定值就报警），业务数据统计（如开源中国每天的博客数是多少，可视化编辑格式和markdown格式各占比例是多...
-
857350 views阅读
运维中被低估的日志
如果把运维看做是医生给病人看病，则日志就是病人对自己的陈述，很多时候医生需要通过对病人的描述中得出病人状况，是否严重，需要什么计量的药，什么类型的药。所以古人有句话叫对症下药，这个症就是病人的描述加医生的判断，在重一点的病在加上很多的化验。在医生看病时病人的描述和化验单上的数据对医生是非常重要的。同理日志在运维中的作用也是类似的，但非常不幸，日志在很多运维中被严重低估，直到磁盘空间不足的时...
-
1330882 views阅读
Logstash实践: 分布式系统的日志监控
1. 前言 服务端日志你有多重视？ 我们没有日志 有日志，但基本不去控制需要输出的内容 经常微调日志，只输出我们想看和有用的 经常监控日志，一方面帮助日志微调，一方面及早发现程序的问题 只做到第1点的，你可以洗洗去睡了。很多公司都有做到第2点和第3点，这些公司的服务端程序基本已经跑了很长时间了，已比较稳定，确实无需花太多时间去关注。如果一个新产品，在上线初期，我觉得就有必要做到第4点。...
-
1131921 views阅读
在 Linux 中使用日志来排错
人们创建日志的主要原因是排错。通常你会诊断为什么问题发生在你的 Linux 系统或应用程序中。错误信息或一系列的事件可以给你提供找出根本原因的线索，说明问题是如何发生的，并指出如何解决它。这里有几个使用日志来解决的样例。 登录失败原因 如果你想检查你的系统是否安全，你可以在验证日志中检查登录失败的和登录成功但可疑的用户。当有人通过不正当或无效的凭据来登录时会出现认证失败，这通常发生在使用...
-
1378863 views阅读
The Log：每个程序员都应该知道有关实时数据的统一抽象（1）概念
// 本文基于开源中国社区的译文稿： 《日志：每个软件工程师都应该知道的有关实时数据的统一概念》 译序 这篇文章是 LinkedIn 的 Kreps 发表的一篇博文，虽然很长，但被称为程序员史诗般必读文章。@foreach_break 的《学习笔记：The Log（我所读过的最好的一篇分布式技术文章）》对本文做了很不错摘要和解读。 但作为一篇经典文章，是值得去完整地研读和理解： 原文可...
-
1284684 views阅读
The Log：每个程序员都应该知道有关实时数据的统一抽象（2） 数据集成
// 本文基于开源中国社区的译文稿： 《日志：每个软件工程师都应该知道的有关实时数据的统一概念》 我先解释一下我说的是『数据集成』（data integration）是什么，还有为什么我觉得它很重要，然后我们再来看看它是如何和日志建立关系的。 数据集成 是指 使一个组织的所有数据 对 这个组织的所有的服务和系统 可用。 『数据集成』还不是一个常见的用语，但是我找不到一个更好的。大家更熟知的...
