每日运维之时序数据库——InfluxDB-db文件

每日运维之时序数据库——InfluxDB

Influxdb是一个开源的分布式时序、时间和指标数据库,使用go语言编写,无需外部依赖.本篇仅仅是入门介绍,对influxdb有一个粗浅的认识,运维日常维护的简单运用。

特点:

无结构(无模式):可以是任意数量的列

可以设置metric的保存时间

支持与时间有关的相关函数(如min、max、sum、count、mean、median等),方便统计

支持存储策略:可以用于数据的删改。(influxDB没有提供数据的删除与修改方法)

支持连续查询:是数据库中自动定时启动的一组语句,和存储策略搭配可以降低InfluxDB的系统占用量。

原生的HTTP支持,内置HTTP API

支持类似sql语法

支持设置数据在集群中的副本数

支持定期采样数据,写入另外的measurement,方便分粒度存储数据。

自带web管理界面,方便使用(登入方式:http://< InfluxDB-IP >:8083)

安装:

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.0.2.x86_64.rpm

sudo yum localinstall influxdb-1.0.2.x86_64.rpm

service influxdb start

安装InfluxDB之后,在/usr/bin下会有如下几个文件:

influxd influxdb服务器

influx influxdb命令行客户端

influx_inspect 查看工具

influx_stress 压力测试工具

influx_tsm 数据库转换工具(将数据库从b1或bz1格式转换为tsm1格式)

配置文件:/etc/influxdb/influxdb.conf

influxdb的两个http端口:8083和8086

port 8083:管理页面端口,访问localhost:8083可以进入你本机的influxdb管理页面;

port 8086:http连接influxdb client端口,一般使用该端口往本机的influxdb读写数据.

influxdb名词解释:

database:数据库;

measurement:数据库中的表;

points:表里面的一行数据。

Point由时间戳(time)、数据(field)和标签(tags)组成。

time:每条数据记录的时间,也是数据库自动生成的主索引;

fields:各种记录的值;

tags:各种有索引的属性。

特色函数:

聚合函数:FILL(), INTEGRAL(),SPREAD(), STDDEV(),MEAN(), MEDIAN()等。

选择函数: SAMPLE(), PERCENTILE(), FIRST(), LAST(), TOP(), BOTTOM()等。

转换函数: DERIVATIVE(), DIFFERENCE()等。

预测函数:HOLT_WINTERS()。

基本操作:

#创建数据库

create database "db_name"

#显示所有的数据库

show databases

#删除数据库

drop database "db_name"

#使用数据库

use db_name

#显示该数据库中所有的表

show measurements

#创建表,直接在插入数据的时候指定表名

insert test,host=127.0.0.1,monitor_name=test count=1

test:表名;

host=127.0.0.1,monitor_name=test:tag;

count=1:field

#删除表

drop measurement "measurement_name"

#查

select * from test order by time desc

数据保存策略(Retention Policies)

influxDB是没有提供直接删除数据记录的方法,但是提供数据保存策略,主要用于指定数据保留时间,超过指定时间,就删除这部分数据。

#查看当前数据库Retention Policies

show retention policies on "db_name"

#创建新的Retention Policies

create retention policy "rp_name" on "db_name" duration 3w replication 1 default

- rp_name:策略名;

- db_name:具体的数据库名;

- 3w:保存3周,3周之前的数据将被删除,influxdb具有各种事件参数,比如:h(小时),d(天),w(星期);

- replication 1:副本个数,一般为1就可以了;

- default:设置为默认策略

#修改Retention Policies

alter retention policy "rp_name" on "db_name" duration 30d default

#删除Retention Policies

drop retention policy "rp_name"

连续查询(Continous Queries):

InfluxDB的连续查询是在数据库中自动定时启动的一组语句,语句中必须包含 SELECT 关键词和 GROUP BY time() 关键词。

InfluxDB会将查询结果放在指定的数据表中。

使用连续查询是最优的降低采样率的方式,连续查询和存储策略搭配使用将会大大降低InfluxDB的系统占用量。而且使用连续查询后,数据会存放到指定的数据表中,这样就为以后统计不同精度的数据提供了方便。

#查看数据库的Continous Queries

show continuous queries

#创建新的Continous Queries

create continous query cq_name on db_name begin select sum(count) into new_table_name from table_name group by time(30m) end

- cq_name:连续查询名字;

- db_name:数据库名字;

- sum(count):计算总和;

- table_name:当前表名;

- new_table_name:存新的数据的表名;

- 30m:时间间隔为30分钟

#删除Continous Queries

drop continous query cp_name on db_name

用户管理,可以直接在web管理页面做操作,也可以命令行。

#显示用户

show users

#创建用户

create user "username" with password 'password'

#创建管理员权限用户create user "username" with password 'password' with all privileges

#删除用户

drop user "username"

InfluxDB的数据存储:

默认情况下是 meta, wal 以及 data 三个目录。

data 目录存放实际存储的数据文件,以 .tsm 结尾。

meta 用于存储数据库的一些元数据,meta 目录下有一个 meta.db 文件。

wal 目录存放预写日志文件,以 .wal 结尾。

存储是influxdb的核心,设计TSDB和SHARD,虽然集群功能已经收费,但是如果项目中使用就不可避免自主开发。想进一步了解的请到官网查看。

推荐阅读