如何在CentOS 7上使用Packetbeat和ELK收集基础结构指标

前端之家收集整理的这篇文章主要介绍了如何在CentOS 7上使用Packetbeat和ELK收集基础结构指标前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

介绍

Packetbeat允许您监视应用级协议(如HTTP和MysqL)以及DNS和其他服务的实时网络流量。

要执行此操作,请在客户端计算机上配置代理,称为“发货人”,它嗅探和解析网络流量并将消息映射到事务。然后,这些发货人为每个操作生成记录,并将其发送到Elasticsearch或Logstash。获得数据后,您可以使用Kibana搜索,分析和可视化数据,以便您能够就基础设施做出明智的决策或排查问题。

在本教程中,您将配置并使用带有ELK堆栈的Packetbeat来收集和可视化基础架构指标。

实验要求

一个具有4GB内存的CentOS 7服务器,配置了如何在CentOS 7上安装Elasticsearch,Logstash和Kibana教程中描述的ELK堆栈设置。按照教程配置ELK堆栈并安装Kibana仪表板,但不要配置任何客户端机器。
一个CentOS 7服务器具有任何数量的RAM,将作为客户端机器。 每个服务器具有sudo权限的标准用户帐户。您可以通过使用CentOS7教程的初始服务器设置来设置标准帐户。

步骤1 - 在Elasticsearch中加载Packetbeat索引模板

计划使用Packetbeat将日志发送到Elasticsearch,我们首先加载Packetbeat索引模板,该模板将Elasticsearch配置为以智能方式分析传入的Packetbeat字段。

  • 首先,登录到您的ELK服务器:
  1. [root@prod-elk src]# cd /usr/local/src/
  2. [root@prod-elk src]# curl -O https://raw.githubusercontent.com/elastic/beats/master/packetbeat/packetbeat.template-es2x.json
  3. % Total % Received % Xferd Average Speed Time Time Time Current
  4. Dload Upload Total Spent Left Speed
  5. 100 46323 100 46323 0 0 56622 0 --:--:-- --:--:-- --:--:-- 56698
  • 然后使用此命令加载模板:
  1. curl -XPUT 'http://192.168.1.133:9200/_template/packetbeat' -d@packetbeat.template-es2x.json
  • 如果模板已成功加载,您将看到输出
  1. {"acknowledged":true}

ELK服务器已准备好接受来自Packetbeat的数据,在客户端服务器上设置发货人(shipper )。

步骤2 - 在客户端服务器上设置Packetbeat

要设置Packetbeat发运器,您需要获取在必要教程中创建的SSL证书到客户端服务器。需要在客户端服务器和ELK服务器之间建立通信。

查找客户端服务器的IP地址。然后,在您的ELK服务器上,使用scp命令将SSL证书复制到客户端服务器:

  1. scp /etc/pki/tls/certs/logstash-forwarder.crt 192.168.1.158:/usr/local/src/
  1. [root@prod-elk src]# ssh 192.168.1.158
  2. root@192.168.1.158's password: Last login: Wed Jan 11 17:02:30 2017 from 192.168.0.110

登录后,将ELK服务器的SSL证书复制到/etc/pki/tls/certs目录中:

  1. [root@linuxprobe ~]# sudo mkdir -p /etc/pki/tls/certs
  2. [root@linuxprobe ~]# sudo cp /usr/local/src/logstash-forwarder.crt /etc/pki/tls/cert

接下来,我们需要安装Packetbeat本身。在客户端服务器上,运行以下命令将Elasticsearch公用GPG密钥导入rpm:

  1. sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch

为Packetbeat创建和编辑新的存储库文件

  1. echo '[beats]
  2. name=Elastic Beats Repository
  3. baseurl=https://packages.elastic.co/beats/yum/el/$basearch
  4. enabled=1
  5. gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
  6. gpgcheck=1
  7. ' | sudo tee /etc/yum.repos.d/elastic-beats.repo
  • 安装Packetbeat软件包
  1. yum makecache && yum install packetbeat -y

Packetbeat现已安装,但需要配置才能使用。

步骤3 - 在客户端上配置Packetbeat

Packetbeat需要知道要记录什么以及发送数据的位置。让我们将其配置为连接到我们的ELK服务器上的Logstash,并定义我们想要观看的流量类型。我们将通过修改Packetbeat附带的默认配置文件来实现。

  • 在客户端服务器上,编辑Packetbeat配置文件
  1. sudo vi /etc/packetbeat/packetbeat.yml

文件顶部附近,您将看到输入部分,您可以在其中指定应将哪些指标和统计信息发送到ELK服务器。我们将使用默认的输入设置,但随时更改它以适应您的需要。

选择从中捕获流量的网络接口。在Linux上,Packetbeat支持捕获由安装了Packetbeat的服务器发送或接收的所有消息。为此,使用任何作为设备:

  1. egrep -v "#|^$" /etc/packetbeat/packetbeat.yml
  2. interfaces:
  3. device: any
  4. protocols:
  5. dns:
  6. ports: [53]
  7. include_authorities: true
  8. include_additionals: true
  9. http:
  10. ports: [80,8080,8000,5000,8002]
  11. memcache:
  12. ports: [11211]
  13. MysqL:
  14. ports: [3306]
  15. pgsql:
  16. ports: [5432]
  17. redis:
  18. ports: [6379]
  19. thrift:
  20. ports: [9090]
  21. mongodb:
  22. ports: [27017]
  23. output:
  24. elasticsearch:
  25. hosts: ["192.168.1.133:9200"]
  26. worker: 1
  27. index: "packetbeat"
  28. shipper:
  29. name: prod-shipper
  30. logging:
  31. files:
  32. path: /var/log/beat
  33. name: beat
  34. keepfiles: 7
  35. level: info

现在启动Packetbeat将您的更改放置到位:
注:原本计划把收集的日志通过logstash然后在传给elasticsearch,使用logstash认证时报错,就暂时直接把日志传输到elasticsearch。

步骤4 - 测试Packetbeat安装

此时,客户端服务器上的Packetbeat应将您的网络流量的日志发送到ELK服务器上的Logstash。 Logstash应该将Packetbeat数据加载到Elasticsearch中带有日期戳的索引packetbeat-YYYY。 MM。 DD。让我们通过在客户端机器上创建一个简单的HTTP请求并在ELK服务器上的Elasticsearch中寻找该请求来测试这个工作。

然后,在您的ELK服务器上,通过使用此命令查询Packetbeat索引来验证Elasticsearch确实正在接收数据:

  1. curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'

显示如下:

  1. curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'
  2. {
  3. "took" : 8,"timed_out" : false,"_shards" : {
  4. "total" : 5,"successful" : 5,"Failed" : 0
  5. },"hits" : {
  6. "total" : 90,"max_score" : 1.0,"hits" : [
  7. {
  8. "_index" : "packetbeat-2017.01.12","_type" : "dns","_id" : "AVmRubj_g1guHDTwPD6h","_score" : 1.0,"_source" : {
  9. "@timestamp" : "2017-01-12T08:10:01.993Z","beat" : {
  10. "hostname" : "linuxprobe","name" : "prod-shipper"
  11. },"bytes_in" : 30,"bytes_out" : 94,"client_ip" : "192.168.1.158","client_port" : 58607,"client_proc" : "","client_server" : "","count" : 1,"direction" : "out","dns" : {
  12. "additionals_count" : 0,"answers" : [
  13. {
  14. "class" : "IN","data" : "173.255.215.209","name" : "pool.ntp.org","ttl" : 99,"type" : "A"
  15. },{
  16. "class" : "IN","data" : "5.79.108.34","data" : "61.216.153.106","data" : "138.68.2.126","type" : "A"
  17. }
  18. ],"answers_count" : 4,"authorities_count" : 0,"flags" : {
  19. "authoritative" : false,"recursion_allowed" : true,"recursion_desired" : true,"truncated_response" : false
  20. },"id" : 26528,"op_code" : "QUERY","question" : {
  21. "class" : "IN","type" : "A"
  22. },"response_code" : "NOERROR"
  23. },"ip" : "114.114.114.114","method" : "QUERY","port" : 53,"proc" : "","query" : "class IN,type A,pool.ntp.org","resource" : "pool.ntp.org","responsetime" : 97,"server" : "","status" : "OK","transport" : "udp","type" : "dns"
  24. }
  25. },

一旦收到预期的输出,您可以继续下一步,并了解如何使用Kibana查看您的网络流量的一些图表和图表

第5步 - 用Kibana可视化数据

当您在要收集系统统计信息的所有服务器上完成Packetbeat设置后,让我们看看Kibana。

在Web浏览器中,转到您的ELK服务器的域名或公共IP地址。输入您的ELK服务器凭据后,您应该会看到您的Kibana Discover页面

然后选择屏幕顶部的“发现”选项卡以查看此数据。您的屏幕上会显示以下内容

从这里,您可以通过过滤可用字段查看您的各种Packetbeat条目。您可以单击这些字段来添加它们,或使用聚合(计数,总和,最小值,最大值,中值等)来可视化它们。

Kibana还提供了广泛的可视化,您可以用它来分析数据。单击屏幕顶部的“可视化”选项卡以列出可视化对象或打开已保存的可视化对象。

Kibana官方文档: https://www.elastic.co/guide/en/kibana/current/index.html

猜你在找的CentOS相关文章