大数据elk框架

1. ELK

ELK组件(Apache 2.0 License),提供分布式的实时日志(数据)搜集和分析的监控系统。

ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。后文的四种基本架构中将逐一介绍应用到的其它套件。

Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据。

ELK在大数据运维系统中的应用:

在海量日志系统的运维中,以下几个方面是必不可少的:

  • 分布式日志数据集中式查询和管理

  • 系统监控,包含系统硬件和应用各个组件的监控

  • 故障排查

  • 安全信息和事件管理

  • 报表功能

2.PYTHON 标准库

2.1 turtle库

  1. turtle空间坐标体系:绝对坐标

    以屏幕中间为原点(0,0),形成四象限的坐标体系。

  2. 海龟坐标:是以海龟的视角的坐标体系,分为四个方向:

    turtle.fd(distance) #前进

    turtle.bk(distance) #后退

    turtle.rt(angle) #右转

    turtle.lt(angle) #左转

    turtle.left(angle) #向海龟左边改变运行方向

    turtle.right(angle) #向海龟右边改变运行方向

  3. 画笔控制函数

画笔操作后一直有效,一般成对使用

turtle.penup()  # turtle.pu()  抬起画笔,不再画线	
turtle.pendown() # turtle.pd() 落下画笔,继续画线
turtle.pensize(width)  # turtle.width(width)  设置画笔的宽度
turtle.pencolor(color) # color 为 色彩RGB值 设置画笔的颜色

# color参数 有三种形式
# 颜色字符串
turtle.pencolor('purple')  # 小写
# RGB小数值
turtle.pencolor(0.63,0.13,0.94) #三个小数值
# RGB数值元组  
turtle.pencolor((0.63,0.13,0.94))  # 一个三元素元组

参考:

  1. my coding.net
  2. ELK多种架构及优劣
  3. https://www.orchome.com/kafka/index
  4. https://www.jianshu.com/p/e7beda76c622