Friday, April 15, 2016

数据库中间件OneProxy使用手册


撰写日期
201641
文档版本
v1.0
作者
李强
阅读人群
运维、DBA
联系方式
QQ1164258114
文档声明
本手册以作者生产环境为参考,对OneProxy的常用功能使用进行简单的说明;
手册中的groupnameusernamepassword等均为虚构的;
本手册暂不涉及OneProxy的分库分表功能;
本手册中不涉及Percona的编译安装过程;
本手册中假定每个集群的数据库主从都已做好
本手册结合Oneproxy官方文档结合阅读更好
变更记录



一、背景说明

随着业务的不断发展,原来3MySQL做主从提供多个库(>5个库)并通过jdbc实现简单读写分离的结构已不足以支撑公司的业务发展,需要对原有的十几个库进行分类,分为核心应用1(包含1个库),核心应用2(包含2个库)以及非核心应用(包含多个库),并且使用数据库中间件对各个应用进行分组读写分离。
经过筛选,候选的中间件有360AtlasKingshard以及OneProxy,通过进一步了解发现Kingshard在架构改造时还处于核心功能开发阶段,所以pass360Atlas有一定的群众基础,所以优先选择它进行测试,在测试环境测试OK后很快便应用到了生产环境中的非核心应用,结果Atlas多次出现了假死现象导致业务无法正常访问。最后对OneProxy进行了1周的测试随即上线到生产环境,在非核心业务跑了2周后将公司业务全线切换到OneProxy。以下内容便是在数据库架构调整过程中整理出的OneProxy使用教程。

二、OneProxy简介

OneProxy是平民软件完全自主开发的分布式数据访问层,帮助用户在MySQL/PostgreSQL集群上快速搭建支持分库分表的分布式数据库中间件,也是一款具有SQL白名单(防SQL注入)及IP白名单功能的SQL防火墙软件。采用与MySQL Proxy一致的反向协议输出模式,对应用非常简单和透明易用,让用户畏惧的分库分表(Horizontal Partitioning)工作变得极其简单可控!基于Libevent机制实现,单个实例可以实现25万的SQL转发能力,用一个OneProxy节点可以带动整个MySQL集群。
互联网企业在开源软件的基础之上打造了足以支撑每天十亿笔交易、支付处理能力的在线系统,其中分布式架构在其中发挥了关键的作用。在架构里面又分为应用层架构和数据层架构,应用层架构着重于解决应用之间的远程调用、服务的发现、消息的流转,数据层架构着重于解决底层数据库、缓存等的透明扩展。关系数据库的水平扩展,或者说MySQL数据库的水平扩展能力是架构中的关键所在,OneProxy是一款构建在MySQL数据库之上的透明数据访问中间件,由在互联网行业(电商、互联网金融)工作多年的资深架构师精心打造,旨在降底对上层应用开发要求,实现对应用基本透明的底层数据库单点切换(Failover)、读写分离、水平拆分功能,使任何公司都可以轻松地拥有与大型互联网企业一样底层数据库扩展能力,也不用受制于开发语言的限制,以帮助业务实现再一次腾飞。

三、OneProxy被使用的功能

«  读写分离
«  高可用
«  主从服务器延时检测
«  动态扩容
«  性能统计
«  连接池

四、环境说明

4.1、网络环境

接入交换机:华为CE5810
核心/汇聚交换机:华为 CE6810
网线类型:泛达6类线
服务器网卡类型Intel X350I QP
服务器与交换机互联带宽2G(2*1GE BONDING)
接入交换机与核心交换机互联带宽40G(4*10GB Eth-Trunk)
服务器网卡BOND主要参数
DEVICE="bond0"
BONDING_OPTS="mode=802.3ad miimon=100 xmit_hash_policy=2 lacp_rate=1"
BOOTPROTO="static"
IPV6INIT="no"
MTU="9000"
NM_CONTROLLED="no"
ARPCHECK=no
NOZEROCONF=yes
IPADDR=
NETMASK=
GATEWAY=
服务器网卡eth0主要配置
DEVICE="eth0"
IPV6INIT="no"
MASTER="bond0"
NM_CONTROLLED="no"
ONBOOT="yes"
SLAVE="yes"
ETHTOOL_OPTS="-G ${DEVICE} rx 4096 tx 4096"
MTU="9000"
服务器网卡eth1配置
DEVICE="eth1"
IPV6INIT="no"
MASTER="bond0"
NM_CONTROLLED="no"
ONBOOT="yes"
SLAVE="yes"
ETHTOOL_OPTS="-G ${DEVICE} rx 4096 tx 4096"
MTU="9000"
交换机配置要点
1、与服务器相连的网口做Eth-Trunk,并启用巨型帧功能(如果OneProxy与数据库不在同一交换机下,在数据传输的链路上均要开启巨型帧功能)
2、链路聚合模式一定要是动态lacp(华为非CE系列交换机不支持动态lacp,只有静态lacpH3C、思科、Juniper交换机均支持动态lacp

4.2、硬件环境

4.3、软件环境

操作系统:CentOS 6.5 x86_64 with 2.6.32-431.29.2.el6.x86_64
OneProxyoneproxy-rhel6-linux64-v5.8.2-ga.tar.gz
Percona Serverpercona-server-5.6.29-76.2.tar.gz源码编译
flashcachemaster版本

4.4、软件目录规划

安装目录
OneProxy/opt/websuite/oneproxy
Percona Server/opt/websuite/percona
配置文件目录
OneProxy/opt/config/oneproxy
Percona Server/etc/my.cnf
日志目录
OneProxy/opt/logs/oneproxy
PID目录
OneProxy/opt/run/oneproxy
Percona Server/opt/run/percona
Percona其他目录
/database/percona/{binlog,relaylog,data,undolog,ibdata,iblogs,logs}
启动脚本
OneProxy/etc/init.d/rc.oneproxy {start|stop|restart} groupname
Percona Server/etc/init.d/rc.percona {start|stop|restart}

4.5IP地址及数据库信息

ü  表格中GroupNameOneProxy配置文件的名称一致。例如,
GroupNamecisco,则OneProxy配置文件中的集群名称也为cisco,且OneProxy的配置文件名称为cisco.conf(此种约定为单个管理脚本管理多个不同业务的Group
ü  设定每一个数据库的访问用户密码均为netemu(实际生产环境中千万不要这样设置)
ü  用于检测主从延时的用户为[email protected]’172.16.4.%’,密码为repuser(该用户需在每个Group的所有数据库服务器上进行创建)
数据库服务器及OneProxy访问入口相关信息
GroupName
OneProxy VIP/DEV
DB服务器Bond0 IP
DB Port
业务端口
管理端口
cisco
172.16.4.100/bond0:0
172.16.4.1/23
3306
3306
4041
172.16.4.2/23
3306
172.16.4.3/23
3306
juniper
172.16.4.101/bond0:1
172.16.4.4/23
3306
3307
4042
172.16.4.5/23
3306
172.16.4.6/23
3306
huawei
172.16.4.102/bond0:2
172.16.4.7/23
3306
3308
4043
172.16.4.8/23
3306
172.16.4.9/23
3306
OneProxy服务器相关信息

服务器Bond0 IP
OneProxy1
172.16.4.98/23
OneProxy2
172.16.4.99/23
数据库及访问用户相关信息
GroupName
数据库名
用户
用户权限
cisco
item1
[email protected]’172.16.4.%’
select
update
insert
delete
juniper
netemu
[email protected]’172.16.4.%’
51auto
[email protected]’172.16.4.%’
huawei
data1
[email protected]’172.16.4.%’
data2
[email protected]’172.16.4.%’
data3
[email protected]’172.16.4.%’
data4
[email protected]’172.16.4.%’








4.6TOP

 

五、OneProxy部署

5.1OneProxy安装

下载OneProxy
wget http://www.onexsoft.com/software/oneproxy-rhel6-linux64-v5.8.2-ga.tar.gz
解压
mkdir -p /opt/{logs,run,websuite.config}/oneproxy
tar zxf oneproxy-rhel6-linux64-v5.8.2-ga.tar.gz -C /opt/websuite/
生成启动脚本并实现单一脚本管理多个不同业务的集群服务脚本见附录
cp /opt/websuite/oneproxy/oneproxy.service /etc/init.d/rc.oneproxy
生成3groupname对应的配置文件
touch /opt/config/oneproxy/{cisco.conf,juniper.conf,huawei.conf}  配置文件内容见附录

在任意一台数据库服务器上通过OneProxy管理口生成加密后的数据库用户密码
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041
OneProxy管理接口默认用户为admin,密码为OneProxy,端口为4041
启动OneProxy加载多个集群
/etc/init.d/rc.oneproxy start cisco
/etc/init.d/rc.oneproxy start juniper
/etc/init.d/rc.oneproxy start huawei
停止多个集群
/etc/init.d/rc.oneproxy stop cisco
/etc/init.d/rc.oneproxy stop juniper
/etc/init.d/rc.oneproxy stop huawei

5.2OneProxy常用参数说明

OneProxy的所有可用参数可通过oneproxy --help-all查看。所有参数均可以写入文件中,由OneProxy启动时加载

5.2.1、基本参数

--user=<user>
以指定的用户运行oneproxy
--pid-file=<file>
指定oneproxy的进程pid文件路径
--log-level=(error|warning|info|message|debug)
指定oneproxy的日志输出级别
--log-file=<file>
指定日志文件的路径
--keepalive
开启进程守护,当oneproxy进程挂掉后重启oneproxy
--max-open-files
显示指定oneproxy的最大文件句柄数,默认Soft Limit32768Hard Limit为系统指定的大小
--event-threads
指定oneproxy的线程数,默认为8,建议为CPUprocessor数量
--max-idle-time
在连接池中的连接最大空闲时间,指oneproxybackends之间的连接,数据库中interactive_timeout的值要大于(max-idle-time+10),max-idle-time最大值为1800
--proxy-address=<host:port>
设定oneproxy提供服务的监听端口,在单机环境下,可指定监听IP及端口;在高可用环境下可忽略IP,例如--proxy-address=:3306
--proxy-user-list=<user:[email protected]>
设定在当前group中访问dbname的用户名和密码,其中密码是经过管理接口中passwd进行加密的字符串。建议在管理接口中使用passwd ‘password’;密码需用引号引起来,否则在使用特殊字符时密码会被截断
--proxy-database=<dbname>
设置通过oneproxy访问的默认数据库,默认为test
--mysql-version=<version>
指定后端数据库的版本号,默认为5.5.18,此处主要是防止高版本的JDBC驱动连接oneproxy时,JAVA应用日志里出现“Caused by: java.sql.SQLException: Unknown system variable 'tx_read_only'”的错误导致应用无法启动。
--proxy-connect-timeout=<number>
设定oneproxy与后端建立连接的超时时间,默认为2
--proxy-read-timeout=<number>
设定oneproxy对后端进行读操作的超时时间,默认8小时
--proxy-write-timeout=<number>
设定oneproxy对后端进行写操作的超时时间,默认8小时
--admin-address=<host:port>
设定oneproxy管理接口的监听地址及端口
--admin-username=<string>
设定允许访问管理接口的用户名
--admin-password=<string>
设定允许访问管理接口的用户登陆密码
--proxy-license=<license>
针对企业版的注册码
--proxy-charset=<charset>
设定默认的字符集,默认为utf8_general_ci,可通过登陆管理接口并输入list charset查看oneproxy支持的所有字符集

5.2.2、读写分离

--proxy-master-addresses=<host:[email protected]>
设定MySQL主服务器的地址、端口号及所属集群,例如
--proxy-master-addresses=172.16.4.1:[email protected]
--proxy-slave-addresses=<host:[email protected]>
设定MySQL从服务器的地址、端口号及所属集群,例如
--proxy-slave-addresses=172.16.4.2:[email protected]
--proxy-group-policy=<groupname:policy>
设定在一个group中,数据库的读写分离策略,当前oneproxy支持12种读写分离策略
支持一主多从场景的策略
master_only:读写都在master
read_failover:读写都在master,当master挂掉的时候读切到slaves
read_slave:写在master,读在所有slaves
read_balance:写在master,读从master以及slaves
big_slave:写以及简单查询走master,复杂查询走slaves
big_balance:写及简单查询走master,复杂查询走masterslaves
数据分片场景的策略
write_shard:多组mastershard环境中,读写在任意master
read_shard:一组多从的shard环境中,写在master,读走其他节点
Percona XtraDB Cluster/MariaDB Galera Cluster环境
write_balance
write_other
write_failover
双主环境
read_other

5.2.3、主从延迟检测

--proxy-replication-check
开启oneproxy的主从延迟精确检测功能,默认会在test库中创建一张表。原理类似pt-heartbeat
--proxy-group-slavedelay=<servergroup:seconds>
设定在一个group中的slave,在检测到复制延迟到达设置的值之后,自动剔除该节点,在延迟小于设定值时动态加入服务
--repadmin-username=<string>
设置用于主从检测的用户名
--repadmin-password=<string>
设置用于主从检测的用户名密码

5.2.4、高可用

--vip-address=<ip/dev>
在多节点HA环境下,设置提供服务的VIP地址以及VIP绑定的dev
--remote-address=<host:port>
设定在HA环境下,设置其他节点的管理接口IP和管理端口
--proxy-server-id=<number>
设置oneproxyID

5.2.5、性能抓取

--proxy-trans-debug
开启是否事务调试功能,帮助架构师、DBA分析在业务运行时的各个表之间所关联的querytrx的关系
--proxy-log-sqlerror
开启记录sql error
--proxy-sql-debug
开启sql debug功能

5.3OneProxy实例管理

5.3.1OneProxy单机多实例

通过附录的脚本即可实现单机多个OneProxy实例

5.3.2OneProxy管理接口

OneProxy管理接口的连接
mysql -uadminuser-padminpasswd -hOneProxyIP -POneProxyadminport
其中
adminuser:由参数admin-username指定,默认用户为admin
adminpasswd:由参数admin-password指定,默认为OneProxy
OneProxyIP:为OneProxy监听的服务器IP
OneProxyadminport:为OneProxy监听的管理端口,默认为4041

通过OneProxy的管理端口,通过动态调整运行参数(登陆后通过list命令可查看所有支持的指令),可满足如下需求:
1、动态的调整Groupbackend的最大最小连接池数量
2、动态调整Group中读写分离策略
3、动态调整Group中的安全策略
4、动态调整GroupSQL防火墙的规则
5、动态开启或关闭OneProxy的性能统计数据
6、动态上线或下线Group中的MasterSlave机器

5.4OneProxy集群动态调整

1、扩容服务器
增加一台Master服务器
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “add master *.*.*.* ;set online ‘*.*.*.*’”
增加一台Slave服务器
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “add slave *.*.*.* ;set online *.*.*.*’”

2、下线服务器
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “set offline ‘*.*.*.*’”

5.5OneProxy性能数据

OneProxy的性能监控数据有很多,通过LIST指令可详细查看
开启、关闭或清空sql statistics
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET SQLSTATS {on|off|clear}”
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST SQLSTATS

开启、关闭或清空table statistics
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET TABSTATS {on|off|clear}”
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST TABSTATS

开启、关闭或清空user statistics
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET USERSTATS {on|off|clear}”
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST USERSTATS

开启、关闭transaction debug mode
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET TRANS_DEBUG {on|off}”
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST TRANS_DEBUG

开启、关闭sql error log
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET LOG_SQLERROR {on|off }”
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST LOG_SQLERROR

开启、关闭sql debug mode
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET SQL_DEBUG {on|off }”
mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST SQL_DEBUG

六、OneProxy杂谈

6.1OneProxy性能优化

6.1.1、升级内核

需要选择较新的内核版本,以避免撞上闻名的Big Kernel Lock 性能问题,CentOS 6下可以更新到2.6.32-573.7.1.el6.x86_64

6.1.2、网卡优化

1、在服务器千兆接入,交换机之前万兆接入的情况下,尽量为服务器选择Intel I350 DP/Inter I350 QP的网卡,并将驱动升级至最新版本。https://sourceforge.net/projects/e1000/ 这里选择合适的驱动下载。
kernel自带igb驱动与最新版驱动的差别

kernel自带驱动
最新驱动
版本号
5.0.5
5.3.4.4
多队列功能(cat /proc/interrupts |grep eth)
默认开启
需要生成配置文件后才开启
RSS
不支持
支持
Change Interrupt Mode
不支持
支持
InterruptThrottleRate
不支持
支持
升级驱动后通过modinfo igb可以看到网卡的很多可配置的参数,优化的条目可参考intel万兆网卡的部分说明
2、网卡SMP绑定
通过网卡多队列绑定到不同的CPU上,可降低CPU0的压力。建议关闭irqbalance服务
3MTU
默认的MTU1500,可调整到9000(相当于开启巨型帧),MTU增大后,需要在数据通过的链路上都开启巨型帧功能。
4、智能网卡
OCTEON XL NIC Network Interface Card
OCTEON XL NICPro Network Interface Card - Pro version

6.2OneProxy万兆网络环境

万兆环境下,网络架构比较关键,没有必要全网万兆环境。

6.3OneProxy监控

通过shell从管理端口获取各种监控数据,并做成Zabbix的自定义监控项输入监控系统

6.4、用HaproxyOneProxy进行负载均衡


6.5、另一种OneProxy多节点高可用方案






附录

rc.oneproxy脚本
#!/bin/sh
#
# chkconfig: - 98 02
# description: Utility for MySQL Proxy
#
# processname: Oneproxy
# config: /opt/config/oneproxy/proxy.conf
# pidfile: /opt/run/oneproxy/oneproxy.pid
# Short-Description: OneProxy is a MySQL Proxy

# Source function library.
. /etc/init.d/functions

### Default variables
ONEPROXY_HOME="/opt/websuite/oneproxy"
ONEPROXY_CONFIG="/opt/config/oneproxy/$2.conf"
ONEPROXY_PROJECT=$2
prog="OneProxy"
ONEPROXY_BIN="${ONEPROXY_HOME}/bin/oneproxy"
ONEPROXY_PID="/opt/run/oneproxy/oneproxy_$2.pid"

# Check if requirements are met
[ -x "$ONEPROXY_BIN" ] || exit 1
[ -r "$ONEPROXY_CONFIG" ] || exit 1

RETVAL=0

start() {
        echo -n $"Starting $prog: "
        daemon $ONEPROXY_BIN --defaults-file=$ONEPROXY_CONFIG
        RETVAL=$?
        echo
        [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
        return $RETVAL
}

stop() {
        echo -n $"Shutting down $prog: "
        if [ -e ${ONEPROXY_PID} ]; then
                daemon kill -INT $(cat ${ONEPROXY_PID})
                RETVAL=$?
        fi
        echo
}

restart() {
        stop
        start
}

case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;
  restart)
        restart
        ;;
  status)
        status $prog
        RETVAL=$?
        ;;
  *)
        echo $"Usage: $0 {start|stop|restart|status}"
        RETVAL=1
esac

exit $RETVAL




cisco.conf
[oneproxy]
keepalive= 1
event-threads=24
log-file= /opt/logs/oneproxy/oneproxy_cisco.log
pid-file= /opt/run/oneproxy/oneproxy_cisco.pid

proxy-address            = :3306
proxy-master-addresses.1 = 172.16.4.1:[email protected]
proxy-slave-addresses.1  = 172.16.4.2:[email protected]
proxy-slave-addresses.2  = 172.16.4.3:[email protected]
proxy-user-list.1        = item/[email protected]
proxy-secure-client      = 127.0.0.1
proxy-group-policy       = cisco:read-slave
proxy-read-timeout       = 3600
proxy-write-timeout      = 3600
proxy-charset            = utf8_general_ci
proxy-group-security     = cisco:0
vip-address              = 172.16.4.100/bond0:0
admin-address            = 172.16.4.98:4041
max-idle-time            = 1800
remote-address           = 172.16.4.99:4041

juniper.conf
[oneproxy]
keepalive = 1
event-threads=24
log-file  = /opt/logs/oneproxy/oneproxy_juniper.log
pid-file  = /opt/run/oneproxy/oneproxy_juniper.pid

proxy-address            = :3307
proxy-master-addresses.1 = 172.16.4.4:[email protected]
proxy-slave-addresses.1  = 172.16.4.5:[email protected]
proxy-slave-addresses.2  = 172.16.4.6:[email protected]
proxy-user-list.1        = netemu/[email protected]
proxy-user-list.2        = 51auto/[email protected]51auto
proxy-secure-client      = 127.0.0.1
proxy-group-policy       = juniper:0
proxy-read-timeout       = 3600
proxy-write-timeout      = 3600
proxy-charset            = utf8_general_ci
proxy-group-security     = juniper:0
vip-address              = 172.16.4.101/bond0:1
admin-address            = 172.16.4.98:4042
max-idle-time            = 1800
mysql-version            = 5.6.26
proxy-group-policy       = juniper:read-slave
remote-address           = 172.16.4.99:4042

huawei.conf
[oneproxy]
keepalive                = 1
event-threads            = 24
log-file                 = /opt/logs/oneproxy/oneproxy_huawei.log
pid-file                 = /opt/run/oneproxy/oneproxy_huawei.pid

proxy-address            = :3308
proxy-master-addresses.1 = 172.16.4.7:[email protected]
#proxy-slave-addresses.1 = 172.16.4.8:[email protected]
#proxy-slave-addresses.2 = 172.16.4.9:[email protected]
proxy-user-list.1        = user1/[email protected]
proxy-user-list.2        = user2/[email protected]
proxy-user-list.3        = user3/[email protected]
proxy-user-list.4        = user4/[email protected]
proxy-secure-client      = 127.0.0.1
proxy-group-policy       = huawei:read_slave
proxy-read-timeout       = 3600
proxy-write-timeout      = 3600
proxy-charset            = utf8_general_ci
proxy-group-security     = huawei:0
vip-address              = 172.16.4.102/bond0:2
admin-address            = 172.16.4.98:4043
max-idle-time            = 1800
mysql-version            = 5.6.29
remote-address           = 172.16.4.99:4043

No comments: