ELK logstash 结构(22nd)

在命令行中指定-e参数，从标准输入到标准输出，并格式化结果。

# /opt/logstash/bin/logstash -e \'input{stdin{}}output{stdout{codec=>rubydebug}}\'
www.ttlsa.com
Settings: Default filter workers: 2
Logstash startup completed
{
       \"message\" => \"www.ttlsa.com\",
      \"@version\" => \"1\",
    \"@timestamp\" => \"2015-12-07T06:57:01.981Z\",
          \"host\" => \"localhost\"
}

logstash会给事件添加一些额外的信息，如@timestamp，标注事件发生的时间。host标注事件发生的主机。此外，还可能有下面几个信息：

type：标记事件的唯一类型

tags：标记事件某方面属性，可以有多个标签。

每个事件就是一个ruby对象，可以随意的给事件添加或者删除字段。每个logstash过滤插件，都会有四个方法add_tag，remove_tag，add_field， remove_field，它们在过滤匹配成功时生效。

logstash管道必须要有input和output元素，filter元素是可选的。input插件定义数据来源，filter插件用来修改用户指定的数据，output插件定义数据写入何地。

logstash结构如下所示：

下面是一个配置管道：

# The # character at the beginning of a line indicates a comment. Use
# comments to describe your configuration.
input {
}
# The filter part of this file is commented out to indicate that it is
# optional.
# filter {
#
# }
output {
}

在现实情况下，数据来源可能有多个，以及将数据写入到不同的目的地。logstash管道可以使用多个input和output来处理这些需求。

下面的例子从Twitter feed和Filebeat input，将信息发送到elasticsearch集群和直接写入到文件。

input {
    twitter {
        consumer_key =>
        consumer_secret =>
        keywords =>
        oauth_token =>
        oauth_token_secret =>
    }
    beats {
        port => \"5043\"
        ssl => true
        ssl_certificate => \"/path/to/ssl-cert\"
        ssl_key => \"/path/to/ssl-key\"
    }
}
output {
    elasticsearch {
        hosts => [\"IP Address 1:port1\", \"IP Address 2:port2\", \"IP Address 3\"]
    }
    file {
        path => /path/to/target/file
    }
}

Filebeat debug信息：

# filebeat -d \'publish\' -e
2015/12/07 07:46:12.170451 publish.go:100: DBG  Publish: {
  \"@timestamp\": \"2015-12-07T07:46:09.670Z\",
  \"beat\": {
    \"hostname\": \"elk.ttlsa.com\",
    \"name\": \"elk.ttlsa.com\"
  },
  \"count\": 1,
  \"fields\": null,
  \"input_type\": \"log\",
  \"message\": \"218.28.24.98 - - [07/Dec/2015:15:46:07 +0800] \\\"POST /www.ttlsa.com HTTP/1.0\\\" 200 0.139 0.141 3890 \\\"-\\\" \\\"Apache-HttpClient/UNAVAILABLE (java 1.4)\\\" \\\"\\\" \\\"\\\" http 127.0.0.1:9000\",
  \"offset\": 12145391,
  \"source\": \"/data/logs/nginx/www.ttlsa.com-access.log\",
  \"type\": \"nginx\"
}

停止logstash服务的失效检测

正常关闭logstash服务的步骤如下：