Elasticsearch + Fluentd + Kibana搭建Docker日志管理系统

随着Docker容器广泛应用，不同的容器都会产生日志。对大规模运行的容器集群来说，日志不能统一管理是很耗费精力的。大量的微服务，各个容器服务是有相互调用的，这时候发现问题时，通过日志排查问题，需要查看对应各个容器的日志。如果没有一个统一的日志管理工具，没有可视化Web查看，是很痛苦的，而且不方便快速定位问题。

为了统一日志管理，现在有了Fluentd，但日志的检索，查看就依赖于其他工具了。这里我们使用Elasticsearch + Fluentd + Kibana搭建Docker日志管理系统。这3个系统又简称EFK。

Elasticsearch是一个以易用性着称的开源搜索引擎。

Fluentd是一个日志管理工具。

Kibana是一个开源的Web UI，使Elasticsearch对工程师和数据科学家都很友好。

通过这3个系统，我们使用Docker compose搭建我们的日志系统。

搭建服务

准备docker-compse.yml文件

version: '2'
services:
  fluentd:
    build: ./fluentd
    volumes:
      - ./fluentd/conf:/fluentd/etc
    links:
      - "elasticsearch"
    ports:
      - "24224:24224"
      - "24224:24224/udp"

  elasticsearch:
    image: elasticsearch
    expose:
      - 9200
    ports:
      - "9200:9200"

  kibana:
    image: kibana
    links:
      - "elasticsearch"
    ports:
      - "5601:5601"

当前目录下fluentd/Dockerfile文件。使用Fluentd的官方Docker镜像，并另外安装Elasticsearch插件。

1 2	FROM fluent/fluentd:v1.3 RUN ["gem", "install", "fluent-plugin-elasticsearch"]

准备Fluentd的配置文件fluentd/conf/fluent.conf

<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>
<match *.**>
  @type copy
  <store>
    @type elasticsearch
    host elasticsearch
    port 9200
    logstash_format true
    logstash_prefix fluentd
    logstash_dateformat %Y%m%d
    include_tag_key true
    type_name access_log
    tag_key @log_name
    flush_interval 1s
  </store>
  <store>
    @type stdout
  </store>
</match>

启动容器

1	docker-compose up

可以使用docker ps命令检查容器

测试

搭建nginx服务，使用fluentd管理日志

docker run -d \
  --log-driver fluentd \
  --log-opt fluentd-address=localhost:24224 \
  --log-opt tag="nginx-test" \
  --log-opt fluentd-async-connect \
  --name nginx-test \
  -p 8080:80 \
  nginx

访问服务curl localhost:8080

主要nginx服务必须在fluentd服务启动后再启动，否则日志不生效。

例如这种情况：