推荐文章

mysql-proxy实现读写分离

html

<span style="color: rgb(0, 0, 0); font-size: 13px;">其中Amoeba for MySQL也是实现读写分离</span>环境描述:操作系统:CentOS6.5 32位主服务器Master:192.168.179.146从服务器Slave:192.168.179.147调度服务器MySQL-Proxy:192.168.179.142由于电脑配置不行,安装了三台虚拟机,就卡死了,只能将就一下,由于是一主一从,所以,导致读写都在master上,有机会,再弄两台slave来测试一.mysql主从复制,参考:http://www.cnblogs.com/lin3615/p/5679828.html二、mysql-proxy实现读写分离1、安装mysql-proxy实现读写分离是有lua脚本实现的,现在mysql-proxy里面已经集成,无需再安装下载:http://dev.mysql.com/downloads/mysql-proxy/ 一定要下载对应的版本<!--more-->tar zxvf mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit.tar.gzmv mysql-proxy-0.8.5-linux-glibc2.3-x86-32bit /usr/local/mysql-proxy2、配置mysql-proxy,创建主配置文件cd /usr/local/mysql-proxymkdir lua #创建脚本存放目录mkdir logs #创建日志目录cp share/doc/mysql-proxy/rw-splitting.lua ./lua #复制读写分离配置文件cp share/doc/mysql-proxy/admin-sql.lua ./lua #复制管理脚本vi /etc/mysql-proxy.cnf #创建配置文件[mysql-proxy]user=root #运行mysql-proxy用户admin-username=lin3615 #主从mysql共有的用户admin-password=123456 #用户的密码proxy-address=192.168.179.142:4040 #mysql-proxy运行ip和端口,不加端口,默认4040proxy-read-only-backend-addresses=192.168.179.147 #指定后端从slave读取数据proxy-backend-addresses=192.168.179.146 #指定后端主master写入数据proxy-lua-script=/usr/local/mysql-proxy/lua/rw-splitting.lua #指定读写分离配置文件位置admin-lua-script=/usr/local/mysql-proxy/lua/admin-sql.lua #指定管理脚本log-file=/usr/local/mysql-proxy/logs/mysql-proxy.log #日志位置log-level=info #定义log日志级别,由高到低分别有(error|warning|info|message|debug)daemon=true #以守护进程方式运行keepalive=true #mysql-proxy崩溃时,尝试重启#保存退出!chmod 660 /etc/mysql-porxy.cnf3、修改读写分离配置文件vim /usr/local/mysql-proxy/lua/rw-splitting.luaif not proxy.global.config.rwsplit then proxy.global.config.rwsplit = { min_idle_connections = 1, #默认超过4个连接数时,才开始读写分离,改为1 max_idle_connections = 1, #默认8,改为1 is_debug = false }end4、启动mysql-proxy/usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/etc/mysql-proxy.cnfnetstat -tupln | grep 4000 #已经启动killall -9 mysql-proxy #关闭mysql-proxy使用5、测试读写分离(1).在主服务器创建proxy用户用于mysql-proxy使用,从服务器也会同步这个操作mysql> grant all on *.* to 'lin3615'@'192.168.179.142' identified by '123456';(2).使用客户端连接mysql-proxymysql -u lin3615 -h 192.168.179.142 -P 4040 -p123456接下来就按基本的 curd执行即可,由于只有一台slave,测试时,每次读写都是从master,电脑性能无法开四台虚拟机,所以有机会,再测试多台 slave,看下是否OK读写分离,延迟是个大问题在slave服务器上执行 show slave status,可以看到很多同步的参数,要注意的参数有:Master_Log_File:slave中的I/O线程当前正在读取的master服务器二进制式日志文件名.Read_Master_Log_Pos:在当前的 master服务器二进制日志中,slave中的I/O线程已经读取的位置Relay_Log_File:SQL线程当前正在读取与执行中继日志文件的名称Relay_Log_Pos:在当前的中继日志中,SQL线程已读取和执行的位置Relay_Master_Log_File:由SQL线程执行的包含多数近期事件的master二进制日志文件的名称Slave_IO_Running:I/O线程是否被启动并成功连接到masterSlave_SQL_Running:SQL线程是否被启动Seconds_Behind_Master:slave服务器SQL线程和从服务器I/O线程之间的差距,单位为秒计slave同步延迟情况出现:1.Seconds_Behind_Master不为了,这个值可能会很大2.Relay_Master_Log_File和Master_Log_File显示bin-log的编号相差很大,说明bin-log在slave上没有及时同步,所以近期执行的 bin-log和当前I/O线程所读的 bin-log相差很大3.mysql的 slave数据库目录下存在大量的 mysql-relay-log日志,该日志同步完成之后就会被系统自动删除,存在大量日志,说明主从同步延迟很厉害mysql主从同步延迟原理mysql主从同步原理主库针对读写操作,顺序写 binlog,从库单线程去主库读”写操作的binlog”,从库取到 binlog在本地原样执行(随机写),来保证主从数据逻辑上一致.mysql的主从复制都是单线程的操作,主库对所有DDL和DML产生 binlog,binlog是顺序写,所以效率很高,slave的Slave_IO_Running线程到主库取日志,效率比较高,下一步问题来了,slave的 slave_sql_running线程将主库的 DDL和DML操作在 slave实施。DML,DDL的IO操作是随即的,不能顺序的,成本高很多,还有可能slave上的其他查询产生 lock,由于 slave_sql_running也是单线程的,所以 一个 DDL卡住了,需求需求执行一段时间,那么所有之后的DDL会等待这个 DDL执行完才会继续执行,这就导致了延迟.由于master可以并发,Slave_sql_running线程却不可以,所以主库执行 DDL需求一段时间,在slave执行相同的DDL时,就产生了延迟.主从同步延迟产生原因当主库的TPS并发较高时,产生的DDL数量超过Slave一个 sql线程所能承受的范围,那么延迟就产生了,当然还有就是可能与 slave的大型 query语句产生了锁等待首要原因:数据库在业务上读写压力太大,CPU计算负荷大,网卡负荷大,硬盘随机IO太高次要原因:读写 binlog带来的性能影响,网络传输延迟主从同步延迟解决方案架构方面1.业务的持久化层的实现采用分库架构,mysql服务可平行扩展分散压力2.单个库读写分离,一主多从,主写从读,分散压力。3.服务的基础架构在业务和mysql之间加放 cache层4.不同业务的mysql放在不同的机器5.使用比主加更了的硬件设备作slave反正就是mysql压力变小,延迟自然会变小硬件方面:采用好的服务器mysql主从同步加速1、sync_binlog在slave端设置为02、–logs-slave-updates 从服务器从主服务器接收到的更新不记入它的二进制日志。3、直接禁用slave端的binlog4、slave端,如果使用的存储引擎是innodb,innodb_flush_log_at_trx_commit =2从文件系统本身属性角度优化master端修改linux、Unix文件系统中文件的etime属性, 由于每当读文件时OS都会将读取操作发生的时间回写到磁盘上,对于读操作频繁的数据库文件来说这是没必要的,只会增加磁盘系统的负担影响I/O性能。可以通过设置文件系统的mount属性,组织操作系统写atime信息,在linux上的操作为:打开/etc/fstab,加上noatime参数/dev/sdb1 /data reiserfs noatime 1 2然后重新mount文件系统mount -oremount /data主库是写,对数据安全性较高,比如sync_binlog=1,innodb_flush_log_at_trx_commit = 1 之类的设置是需要的而slave则不需要这么高的数据安全,完全可以讲sync_binlog设置为0或者关闭binlog,innodb_flushlog也可以设置为0来提高sql的执行效率1、sync_binlog=1 oMySQL提供一个sync_binlog参数来控制数据库的binlog刷到磁盘上去。默认,sync_binlog=0,表示MySQL不控制binlog的刷新,由文件系统自己控制它的缓存的刷新。这时候的性能是最好的,但是风险也是最大的。一旦系统Crash,在binlog_cache中的所有binlog信息都会被丢失。如果sync_binlog>0,表示每sync_binlog次事务提交,MySQL调用文件系统的刷新操作将缓存刷下去。最安全的就是sync_binlog=1了,表示每次事务提交,MySQL都会把binlog刷下去,是最安全但是性能损耗最大的设置。这样的话,在数据库所在的主机操作系统损坏或者突然掉电的情况下,系统才有可能丢失1个事务的数据。但是binlog虽然是顺序IO,但是设置sync_binlog=1,多个事务同时提交,同样很大的影响MySQL和IO性能。虽然可以通过group commit的补丁缓解,但是刷新的频率过高对IO的影响也非常大。对于高并发事务的系统来说,“sync_binlog”设置为0和设置为1的系统写入性能差距可能高达5倍甚至更多。所以很多MySQL DBA设置的sync_binlog并不是最安全的1,而是2或者是0。这样牺牲一定的一致性,可以获得更高的并发和性能。默认情况下,并不是每次写入时都将binlog与硬盘同步。因此如果操作系统或机器(不仅仅是MySQL服务器)崩溃,有可能binlog中最后的语句丢失了。要想防止这种情况,你可以使用sync_binlog全局变量(1是最安全的值,但也是最慢的),使binlog在每N次binlog写入后与硬盘同步。即使sync_binlog设置为1,出现崩溃时,也有可能表内容和binlog内容之间存在不一致性。2、innodb_flush_log_at_trx_commit (这个很管用)抱怨Innodb比MyISAM慢 100倍?那么你大概是忘了调整这个值。默认值1的意思是每一次事务提交或事务外的指令都需要把日志写入(flush)硬盘,这是很费时的。特别是使用电池供电缓存(Battery backed up cache)时。设成2对于很多运用,特别是从MyISAM表转过来的是可以的,它的意思是不写入硬盘而是写入系统缓存。日志仍然会每秒flush到硬 盘,所以你一般不会丢失超过1-2秒的更新。设成0会更快一点,但安全方面比较差,即使MySQL挂了也可能会丢失事务的数据。而值2只会在整个操作系统 挂了时才可能丢数据。3、ls(1) 命令可用来列出文件的 atime、ctime 和 mtime。atime 文件的access time 在读取文件或者执行文件时更改的ctime 文件的create time 在写入文件,更改所有者,权限或链接设置时随inode的内容更改而更改mtime 文件的modified time 在写入文件时随文件内容的更改而更改ls -lc filename 列出文件的 ctimels -lu filename 列出文件的 atimels -l filename 列出文件的 mtimestat filename 列出atime,mtime,ctimeatime不一定在访问文件之后被修改因为:使用ext3文件系统的时候,如果在mount的时候使用了noatime参数那么就不会更新atime信息。这三个time stamp都放在 inode 中.如果mtime,atime 修改,inode 就一定会改, 既然 inode 改了,那ctime也就跟着改了.之所以在 mount option 中使用 noatime, 就是不想file system 做太多的修改, 而改善读取效能4.进行分库分表处理,这样减少数据量的复制同步操作

22

2017/05

mysql主从复制

html

卸载mysql服务相关yum -y remove mysql*1. 安装mysql 服务器端:yum install mysql-serveryum install mysql-devel2. 安装mysql客户端:yum install mysql3. 启动mysql服务:service mysqld start或者/etc/init.d/mysqld start停止:service mysqld stop重启:service mysqld restart4. 创建root管理员:mysql -u root password 1234565.登陆mysql -u root -p123456mysql服务器的主从配置,这样可以实现读写分离,也可以在主库挂掉后从备用库中恢复需要两台机器,安装mysql,两台机器要在相通的局域网内主机A: 192.168.1.100从机B:192.168.1.101可以有多台从机1、先登录主机 Amysql>GRANT REPLICATION SLAVE ON . TO ‘backup’@’192.168.1.101‘ IDENTIFIED BY ‘123456’;赋予从机权限,有多台丛机,就执行多次2、 打开主机A的my.cnf,输入server-id = 1 #主机标示,整数log_bin = /var/log/mysql/mysql-bin.log #确保此文件可写read-only =0 #主机,读写都可以binlog-do-db =test #需要备份数据,多个写多行binlog-ignore-db =mysql #不需要备份的数据库,多个写多行3、打开从机B的my.cnf,输入server-id = 2log_bin = /var/log/mysql/mysql-bin.logmaster-host =192.168.1.100master-user =backupmaster-pass =123456master-port =3306master-connect-retry=60 #如果从服务器发现主服务器断掉,重新连接的时间差(秒)replicate-do-db =test #只复制某个库replicate-ignore-db=mysql #不复制某个库4、同步数据库不用太费事,只把主从库都启动即可自动同步,如果不嫌麻烦的话可以把主库的内容导出成SQL,然后在从库中运行一遍5、先重启主机A的mysql,再重启从机B的mysql6、验证在主机A中,mysql>show master status\G;在从机B中,mysql>show slave status\G;能看到大致这些内容File: mysql-bin.000001Position: 1374Binlog_Do_DB: testBinlog_Ignore_DB: mysql可以在主机A中,做一些INSERT, UPDATE, DELETE 操作,看看主机B中,是否已经被修改GRANT REPLICATION SLAVE,RELOAD,SUPER ON . TO mysql_backup@’*’ IDENTIFIED BY ‘123456’;CHANGE MASTER TO master_host = ‘127.0.0.1’,master_user = ‘mysql_backup’,master_password = ‘123456’,master_log_file = ‘mysql-bin.000001’,master_log_pos = 343;server { listen 80; server_name _; access_log logs/likang.default.access.log main; error_log logs/error.log error; root /var/www/html/likang/default; location / { index index.html index.htm index.php; if (!-e $request_filename) { #rewrite . /index.php last; } } location ~ \.php$ { include fastcgi_params; fastcgi_param SCRIPT_FILENAME /var/www/html/likang/default/$fastcgi_script_name; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; }}

21

2017/05

redis 使用

html

redis是什么:Redis is an open source, BSD licensed, advanced key-value store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sorted sets.redis是开源,BSD许可,高级的key-value存储系统.可以用来存储字符串,哈希结构,链表,集合,因此,常用来提供数据结构服务. <!--more-->redis和memcached相比,的独特之处:1: redis可以用来做存储(storge), 而memccached是用来做缓存(cache) 这个特点主要因为其有”持久化”的功能.2: 存储的数据有”结构”,对于memcached来说,存储的数据,只有1种类型—”字符串”, 而redis则可以存储字符串,链表,哈希结构,集合,有序集合.Redis下载安装1:官方站点: redis.io 下载最新版或者最新stable版2:解压源码并进入目录3: 不用configure4: 直接make(如果是32位机器 make 32bit)注:易碰到的问题,时间错误.原因: 源码是官方configure过的,但官方configure时,生成的文件有时间戳信息,Make只能发生在configure之后,如果你的虚拟机的时间不对,比如说是2012年解决: date -s ‘yyyy-mm-dd hhss’ 重写时间 再 clock -w 写入cmos5: 可选步骤: make test 测试编译情况(可能出现: need tcl >8.4这种情况, yum install tcl)6: 安装到指定的目录,比如 /usr/local/redismake PREFIX=/usr/local/redis install注: PREFIX要大写7: make install之后,得到如下几个文件redis-benchmark 性能测试工具redis-check-aof 日志文件检测工(比如断电造成日志损坏,可以检测并修复)redis-check-dump 快照文件检测工具,效果类上redis-cli 客户端redis-server 服务端8: 复制配置文件Cp /path/redis.conf /usr/local/redis9: 启动与连接/path/to/redis/bin/redis-server ./path/to/conf-file例:[root@localhost redis]# ./bin/redis-server ./redis.conf连接: 用redis-cli/path/to/redis/bin/redis-cli [-h localhost -p 6379 ]10: 让redis以后台进程的形式运行编辑conf配置文件,修改如下内容;daemonize yesRedis对于key的操作命令del key1 key2 … Keyn作用: 删除1个或多个键返回值: 不存在的key忽略掉,返回真正删除的key的数量rename key newkey作用: 给key赋一个新的key名注:如果newkey已存在,则newkey的原值被覆盖renamenx key newkey作用: 把key改名为newkey返回: 发生修改返回1,未发生修改返回0注: nx—> not exists, 即, newkey不存在时,作改名动作move key dbredis 127.0.0.1:6379[1]> select 2OKredis 127.0.0.1:6379[2]> keys (empty list or set)redis 127.0.0.1:6379[2]> select 0OKredis 127.0.0.1:6379> keys 1) “name”2) “cc”3) “a”4) “b”redis 127.0.0.1:6379> move cc 2(integer) 1redis 127.0.0.1:6379> select 2OKredis 127.0.0.1:6379[2]> keys *1) “cc”redis 127.0.0.1:6379[2]> get cc“3”(注意: 一个redis进程,打开了不止一个数据库, 默认打开16个数据库,从0到15编号,如果想打开更多数据库,可以从配置文件修改)keys pattern 查询相应的key在redis里,允许模糊查询key有3个通配符 , ? ,[]: 通配任意多个字符?: 通配单个字符[]: 通配括号内的某1个字符redis 127.0.0.1:6379> flushdbOKredis 127.0.0.1:6379> keys (empty list or set)redis 127.0.0.1:6379> mset one 1 two 2 three 3 four 4OKredis 127.0.0.1:6379> keys o1) “one”redis 127.0.0.1:6379> key o(error) ERR unknown command ‘key’redis 127.0.0.1:6379> keys o1) “two”redis 127.0.0.1:6379> keys ???1) “one”2) “two”redis 127.0.0.1:6379> keys on?1) “one”redis 127.0.0.1:6379> set ons yesOKredis 127.0.0.1:6379> keys on[eaw]1) “one”randomkey 返回随机keyexists key判断key是否存在,返回1/0type key返回key存储的值的类型有string,link,set,order set, hashttl key作用: 查询key的生命周期返回: 秒数注:对于不存在的key或已过期的key/不过期的key,都返回-1Redis2.8中,对于不存在的key,返回-2expire key 整型值作用: 设置key的生命周期,以秒为单位同理:pexpire key 毫秒数, 设置生命周期pttl key, 以毫秒返回生命周期persist key作用: 把指定key置为永久有效Redis字符串类型的操作set key value [ex 秒数] / [px 毫秒数] [nx] /[xx]如: set a 1 ex 10 , 10秒有效Set a 1 px 9000 , 9秒有效注: 如果ex,px同时写,以后面的有效期为准如 set a 1 ex 100 px 9000, 实际有效期是9000毫秒nx: 表示key不存在时,执行操作xx: 表示key存在时,执行操作mset multi set , 一次性设置多个键值例: mset key1 v1 key2 v2 ….get key作用:获取key的值mget key1 key2 ..keyn作用:获取多个key的值setrange key offset value作用:把字符串的offset偏移字节,改成valueredis 127.0.0.1:6379> set greet helloOKredis 127.0.0.1:6379> setrange greet 2 x(integer) 5redis 127.0.0.1:6379> get greet“hexlo”注意: 如果偏移量>字符长度, 该字符自动补0x00redis 127.0.0.1:6379> setrange greet 6 !(integer) 7redis 127.0.0.1:6379> get greet“heyyo\x00!”append key value作用: 把value追加到key的原值上getrange key start stop作用: 是获取字符串中 [start, stop]范围的值注意: 对于字符串的下标,左数从0开始,右数从-1开始redis 127.0.0.1:6379> set title ‘chinese’OKredis 127.0.0.1:6379> getrange title 0 3“chin”redis 127.0.0.1:6379> getrange title 1 -2“hines”注意:1: start>=length, 则返回空字符串2: stop>=length,则截取至字符结尾3: 如果start 所处位置在stop右边, 返回空字符串getset key newvalue作用: 获取并返回旧值,设置新值redis 127.0.0.1:6379> set cnt 0OKredis 127.0.0.1:6379> getset cnt 1“0”redis 127.0.0.1:6379> getset cnt 2“1”incr key作用: 指定的key的值加1,并返回加1后的值注意:1:不存在的key当成0,再incr操作2: 范围为64有符号incrby key number (整型)redis 127.0.0.1:6379> incrby age 90 (每次递增的数字)(integer) 92incrbyfloat key floatnumber (浮点型)redis 127.0.0.1:6379> incrbyfloat age 3.5“95.5”decr keyredis 127.0.0.1:6379> set age 20OKredis 127.0.0.1:6379> decr age(integer) 19decrby key numberredis 127.0.0.1:6379> decrby age 3(integer) 16getbit key offset作用:获取值的二进制表示,对应位上的值(从左,从0编号)redis 127.0.0.1:6379> set char AOKredis 127.0.0.1:6379> getbit char 1(integer) 1redis 127.0.0.1:6379> getbit char 2(integer) 0redis 127.0.0.1:6379> getbit char 7(integer) 1setbit key offset value设置offset对应二进制位上的值返回: 该位上的旧值注意:1:如果offset过大,则会在中间填充0,2: offset最大大到多少3:offset最大2^32-1,可推出最大的的字符串为512Mbitop operation destkey key1 [key2 …]对key1,key2..keyN作operation,并将结果保存到 destkey 上。operation 可以是 AND 、 OR 、 NOT 、 XORredis 127.0.0.1:6379> setbit lower 7 0(integer) 0redis 127.0.0.1:6379> setbit lower 2 1(integer) 0redis 127.0.0.1:6379> get lower“ “redis 127.0.0.1:6379> set char QOKredis 127.0.0.1:6379> get char“Q”redis 127.0.0.1:6379> bitop or char char lower(integer) 1redis 127.0.0.1:6379> get char“q”注意: 对于NOT操作, key不能多个link 链表结构lpush key value作用: 把值插入到链接头部rpop key作用: 返回并删除链表尾元素rpush,lpop: 不解释lrange key start stop作用: 返回链表中[start ,stop]中的元素规律: 左数从0开始,右数从-1开始lrem key count value作用: 从key链表中删除 value值注: 删除count的绝对值个value后结束Count>0 从表头删除Count<0 从表尾删除ltrim key start stop作用: 剪切key对应的链接,切[start,stop]一段,并把该段重新赋给keylindex key index作用: 返回index索引上的值,如 lindex key 2llen key作用:计算链接表的元素个数redis 127.0.0.1:6379> llen task(integer) 3redis 127.0.0.1:6379>linsert key after|before search value作用: 在key链表中寻找’search’,并在search值之前|之后,.插入value注: 一旦找到一个search后,命令就结束了,因此不会插入多个valuerpoplpush source dest作用: 把source的尾部拿出,放在dest的头部,并返回 该单元值场景: task + bak 双链表完成安全队列Task列表 bak列表业务逻辑:1:Rpoplpush task bak2:接收返回值,并做业务处理3:如果成功,rpop bak 清除任务. 如不成功,下次从bak表里取任务brpop ,blpop key timeout作用:等待弹出key的尾/头元素,Timeout为等待超时时间如果timeout为0,则一直等待场景: 长轮询Ajax,在线聊天时,能够用到Setbit 的实际应用场景: 1亿个用户, 每个用户 登陆/做任意操作 ,记为 今天活跃,否则记为不活跃每周评出: 有奖活跃用户: 连续7天活动每月评,等等…思路:Userid dt active1 2013-07-27 11 2013-0726 1如果是放在表中, 1:表急剧增大,2:要用group ,sum运算,计算较慢用: 位图法 bit-mapLog0721: ‘011001……………0’……log0726 : ‘011001……………0’Log0727 : ‘0110000………….1’1: 记录用户登陆:每天按日期生成一个位图, 用户登陆后,把user_id位上的bit值置为12: 把1周的位图 and 计算,位上为1的,即是连续登陆的用户redis 127.0.0.1:6379> setbit mon 100000000 0(integer) 0redis 127.0.0.1:6379> setbit mon 3 1(integer) 0redis 127.0.0.1:6379> setbit mon 5 1(integer) 0redis 127.0.0.1:6379> setbit mon 7 1(integer) 0redis 127.0.0.1:6379> setbit thur 100000000 0(integer) 0redis 127.0.0.1:6379> setbit thur 3 1(integer) 0redis 127.0.0.1:6379> setbit thur 5 1(integer) 0redis 127.0.0.1:6379> setbit thur 8 1(integer) 0redis 127.0.0.1:6379> setbit wen 100000000 0(integer) 0redis 127.0.0.1:6379> setbit wen 3 1(integer) 0redis 127.0.0.1:6379> setbit wen 4 1(integer) 0redis 127.0.0.1:6379> setbit wen 6 1(integer) 0redis 127.0.0.1:6379> bitop and res mon feb wen(integer) 12500001如上例,优点:1: 节约空间, 1亿人每天的登陆情况,用1亿bit,约1200WByte,约10M 的字符就能表示2: 计算方便集合 set 相关命令集合的性质: 唯一性,无序性,确定性注: 在string和link的命令中,可以通过range 来访问string中的某几个字符或某几个元素但,因为集合的无序性,无法通过下标或范围来访问部分元素.因此想看元素,要么随机先一个,要么全选sadd key value1 value2作用: 往集合key中增加元素srem value1 value2作用: 删除集合中集为 value1 value2的元素返回值: 忽略不存在的元素后,真正删除掉的元素的个数spop key作用: 返回并删除集合中key中1个随机元素随机—体现了无序性srandmember key作用: 返回集合key中,随机的1个元素.sismember key value作用: 判断value是否在key集合中是返回1,否返回0smembers key作用: 返回集中中所有的元素scard key作用: 返回集合中元素的个数smove source dest value作用:把source中的value删除,并添加到dest集合中sinter key1 key2 key3作用: 求出key1 key2 key3 三个集合中的交集,并返回redis 127.0.0.1:6379> sadd s1 0 2 4 6(integer) 4redis 127.0.0.1:6379> sadd s2 1 2 3 4(integer) 4redis 127.0.0.1:6379> sadd s3 4 8 9 12(integer) 4redis 127.0.0.1:6379> sinter s1 s2 s31) “4”redis 127.0.0.1:6379> sinter s3 s1 s21) “4”sinterstore dest key1 key2 key3作用: 求出key1 key2 key3 三个集合中的交集,并赋给destsuion key1 key2.. Keyn作用: 求出key1 key2 keyn的并集,并返回sdiff key1 key2 key3作用: 求出key1与key2 key3的差集即key1-key2-key3order set 有序集合zadd key score1 value1 score2 value2 ..添加元素redis 127.0.0.1:6379> zadd stu 18 lily 19 hmm 20 lilei 21 lilei(integer) 3zrem key value1 value2 ..作用: 删除集合中的元素zremrangebyscore key min max作用: 按照socre来删除元素,删除score在[min,max]之间的redis 127.0.0.1:6379> zremrangebyscore stu 4 10(integer) 2redis 127.0.0.1:6379> zrange stu 0 -11) “f”zremrangebyrank key start end作用: 按排名删除元素,删除名次在[start,end]之间的redis 127.0.0.1:6379> zremrangebyrank stu 0 1(integer) 2redis 127.0.0.1:6379> zrange stu 0 -11) “c”2) “e”3) “f”4) “g”zrank key member查询member的排名(升续 0名开始)zrevrank key memeber查询 member的排名(降续 0名开始)ZRANGE key start stop [WITHSCORES]把集合排序后,返回名次[start,stop]的元素默认是升续排列Withscores 是把score也打印出来zrevrange key start stop作用:把集合降序排列,取名字[start,stop]之间的元素zrangebyscore key min max [withscores] limit offset N作用: 集合(升续)排序后,取score在[min,max]内的元素,并跳过 offset个, 取出N个redis 127.0.0.1:6379> zadd stu 1 a 3 b 4 c 9 e 12 f 15 g(integer) 6redis 127.0.0.1:6379> zrangebyscore stu 3 12 limit 1 2 withscores1) “c”2) “4”3) “e”4) “9”zcard key返回元素个数zcount key min max返回[min,max] 区间内元素的数量zinterstore destination numkeys key1 [key2 …][WEIGHTS weight [weight …]][AGGREGATE SUM|MIN|MAX]求key1,key2的交集,key1,key2的权重分别是 weight1,weight2聚合方法用: sum |min|max聚合的结果,保存在dest集合内注意: weights ,aggregate如何理解?答: 如果有交集, 交集元素又有socre,score怎么处理? Aggregate sum->score相加 , min 求最小score, max 最大score另: 可以通过weigth设置不同key的权重, 交集时,socre * weights详见下例redis 127.0.0.1:6379> zadd z1 2 a 3 b 4 c(integer) 3redis 127.0.0.1:6379> zadd z2 2.5 a 1 b 8 d(integer) 3redis 127.0.0.1:6379> zinterstore tmp 2 z1 z2(integer) 2redis 127.0.0.1:6379> zrange tmp 0 -11) “b”2) “a”redis 127.0.0.1:6379> zrange tmp 0 -1 withscores1) “b”2) “4”3) “a”4) “4.5”redis 127.0.0.1:6379> zinterstore tmp 2 z1 z2 aggregate sum(integer) 2redis 127.0.0.1:6379> zrange tmp 0 -1 withscores1) “b”2) “4”3) “a”4) “4.5”redis 127.0.0.1:6379> zinterstore tmp 2 z1 z2 aggregate min(integer) 2redis 127.0.0.1:6379> zrange tmp 0 -1 withscores1) “b”2) “1”3) “a”4) “2”redis 127.0.0.1:6379> zinterstore tmp 2 z1 z2 weights 1 2(integer) 2redis 127.0.0.1:6379> zrange tmp 0 -1 withscores1) “b”2) “5”3) “a”4) “7”Hash 哈希数据类型相关命令hset key field value作用: 把key中 filed域的值设为value注:如果没有field域,直接添加,如果有,则覆盖原field域的值hmset key field1 value1 [field2 value2 field3 value3 ……fieldn valuen]作用: 设置field1->N 个域, 对应的值是value1->N(对应PHP理解为 $key = array(file1=>value1, field2=>value2 ….fieldN=>valueN))hget key field作用: 返回key中field域的值hmget key field1 field2 fieldN作用: 返回key中field1 field2 fieldN域的值hgetall key作用:返回key中,所有域与其值hdel key field作用: 删除key中 field域hlen key作用: 返回key中元素的数量hexists key field作用: 判断key中有没有field域hinrby key field value作用: 是把key中的field域的值增长整型值valuehinrby float key field value作用: 是把key中的field域的值增长浮点值valuehkeys key作用: 返回key中所有的fieldkvals key作用: 返回key中所有的valueRedis 中的事务Redis支持简单的事务Redis与 mysql事务的对比MysqlRedis开启start transactionmuitl语句普通sql普通命令失败rollback 回滚discard 取消成功commitexec注: rollback与discard 的区别如果已经成功执行了2条语句, 第3条语句出错.Rollback后,前2条的语句影响消失.Discard只是结束本次事务,前2条语句造成的影响仍然还在注:在mutil后面的语句中, 语句出错可能有2种情况1: 语法就有问题,这种,exec时,报错, 所有语句得不到执行2: 语法本身没错,但适用对象有问题. 比如 zadd 操作list对象Exec之后,会执行正确的语句,并跳过有不适当的语句.(如果zadd操作list这种事怎么避免? 这一点,由程序员负责)思考:我正在买票Ticket -1 , money -100而票只有1张, 如果在我multi之后,和exec之前, 票被别人买了—-即ticket变成0了.我该如何观察这种情景,并不再提交悲观的想法:世界充满危险,肯定有人和我抢, 给 ticket上锁, 只有我能操作. [悲观锁]乐观的想法:没有那么人和我抢,因此,我只需要注意,—有没有人更改ticket的值就可以了 [乐观锁]Redis的事务中,启用的是乐观锁,只负责监测key没有被改动.具体的命令—— watch命令例:redis 127.0.0.1:6379> watch ticketOKredis 127.0.0.1:6379> multiOKredis 127.0.0.1:6379> decr ticketQUEUEDredis 127.0.0.1:6379> decrby money 100QUEUEDredis 127.0.0.1:6379> exec(nil) // 返回nil,说明监视的ticket已经改变了,事务就取消了.redis 127.0.0.1:6379> get ticket“0”redis 127.0.0.1:6379> get money“200”watch key1 key2 … keyN作用:监听key1 key2..keyN有没有变化,如果有变, 则事务取消unwatch作用: 取消所有watch监听消息订阅使用办法:订阅端: Subscribe 频道名称发布端: publish 频道名称 发布内容客户端例子:redis 127.0.0.1:6379> subscribe newsReading messages… (press Ctrl-C to quit)1) “subscribe”2) “news”3) (integer) 11) “message”2) “news”3) “good good study”1) “message”2) “news”3) “day day up”服务端例子:redis 127.0.0.1:6379> publish news ‘good good study’(integer) 1redis 127.0.0.1:6379> publish news ‘day day up’(integer) 1Redis持久化配置Redis的持久化有2种方式 1快照 2是日志Rdb快照的配置选项save 900 1 // 900内,有1条写入,则产生快照save 300 1000 // 如果300秒内有1000次写入,则产生快照save 60 10000 // 如果60秒内有10000次写入,则产生快照(这3个选项都屏蔽,则rdb禁用)stop-writes-on-bgsave-error yes // 后台备份进程出错时,主进程停不停止写入?rdbcompression yes // 导出的rdb文件是否压缩Rdbchecksum yes // 导入rbd恢复时数据时,要不要检验rdb的完整性dbfilename dump.rdb //导出来的rdb文件名dir ./ //rdb的放置路径Aof 的配置appendonly no # 是否打开 aof日志功能appendfsync always # 每1个命令,都立即同步到aof. 安全,速度慢appendfsync everysec # 折衷方案,每秒写1次appendfsync no # 写入工作交给操作系统,由操作系统判断缓冲区大小,统一写入到aof. 同步频率低,速度快,no-appendfsync-on-rewrite yes: # 正在导出rdb快照的过程中,要不要停止同步aofauto-aof-rewrite-percentage 100 #aof文件大小比起上次重写时的大小,增长率100%时,重写auto-aof-rewrite-min-size 64mb #aof文件,至少超过64M时,重写注: 在dump rdb过程中,aof如果停止同步,会不会丢失?答: 不会,所有的操作缓存在内存的队列里, dump完成后,统一操作.注: aof重写是指什么?答: aof重写是指把内存中的数据,逆化成命令,写入到.aof日志里.以解决 aof日志过大的问题.问: 如果rdb文件,和aof文件都存在,优先用谁来恢复数据?答: aof问: 2种是否可以同时用?答: 可以,而且推荐这么做问: 恢复时rdb和aof哪个恢复的快答: rdb快,因为其是数据的内存映射,直接载入到内存,而aof是命令,需要逐条执行redis 服务器端命令redis 127.0.0.1:6380> time ,显示服务器时间 , 时间戳(秒), 微秒数1) “1375270361”2) “504511”redis 127.0.0.1:6380> dbsize // 当前数据库的key的数量(integer) 2redis 127.0.0.1:6380> select 2OKredis 127.0.0.1:6380[2]> dbsize(integer) 0redis 127.0.0.1:6380[2]>BGREWRITEAOF 后台进程重写AOFBGSAVE 后台保存rdb快照SAVE 保存rdb快照LASTSAVE 上次保存时间Slaveof master-Host port , 把当前实例设为master的slaveFlushall 清空所有库所有键Flushdb 清空当前库所有键Showdown [save/nosave]注: 如果不小心运行了flushall, 立即 shutdown nosave ,关闭服务器然后 手工编辑aof文件, 去掉文件中的 “flushall ”相关行, 然后开启服务器,就可以导入回原来数据.如果,flushall之后,系统恰好bgrewriteaof了,那么aof就清空了,数据丢失.Slowlog 显示慢查询注:多慢才叫慢?答: 由slowlog-log-slower-than 10000 ,来指定,(单位是微秒)服务器储存多少条慢查询的记录?答: 由 slowlog-max-len 128 ,来做限制Info [Replication/CPU/Memory..]查看redis服务器的信息Config get 配置项Config set 配置项 值 (特殊的选项,不允许用此命令设置,如slave-of, 需要用单独的slaveof命令来设置)Redis运维时需要注意的参数1: 内存Memoryused_memory:859192 数据结构的空间used_memory_rss:7634944 实占空间mem_fragmentation_ratio:8.89 前2者的比例,1.N为佳,如果此值过大,说明redis的内存的碎片化严重,可以导出再导入一次.2: 主从复制Replicationrole:slavemaster_host:192.168.1.128master_port:6379master_link_status:up3:持久化Persistencerdb_changes_since_last_save:0rdb_last_save_time:13752240634: fork耗时Statuslatest_fork_usec:936 上次导出rdb快照,持久化花费微秒注意: 如果某实例有10G内容,导出需要2分钟,每分钟写入10000次,导致不断的rdb导出,磁盘始处于高IO状态.5: 慢日志config get/set slowlog-log-slower-thanCONFIG get/SET slowlog-max-lenslowlog get N 获取慢日志运行时更改master-slave修改一台slave(设为A)为new master1) 命令该服务不做其他redis服务的slave 命令: slaveof no one2) 修改其readonly为yes其他的slave再指向new master A1) 命令该服务为new master A的slave 命令格式 slaveof IP port监控工具 sentinelSentinel不断与master通信,获取master的slave信息.监听master与slave的状态如果某slave失效,直接通知master去除该slave.如果master失效,,是按照slave优先级(可配置), 选取1个slave做 new master,把其他slave—> new master疑问: sentinel与master通信,如果某次因为master IO操作频繁,导致超时,此时,认为master失效,很武断.解决: sentnel允许多个实例看守1个master, 当N台(N可设置)sentinel都认为master失效,才正式失效.Sentinel选项配置port 26379 # 端口sentinel monitor mymaster 127.0.0.1 6379 2 ,给主机起的名字(不重即可),当2个sentinel实例都认为master失效时,正式失效sentinel down-after-milliseconds mymaster 30000 多少毫秒后连接不到master认为断开sentinel can-failover mymaster yes #是否允许sentinel修改slave->master. 如为no,则只能监控,无权修改./sentinel parallel-syncs mymaster 1 , 一次性修改几个slave指向新的new master.sentinel client-reconfig-script mymaster /var/redis/reconfig.sh ,# 在重新配置new master,new slave过程,可以触发的脚本redis 与关系型数据库的适合场景书签系统create table book (bookid int,title char(20))engine myisam charset utf8;insert into book values(5 , ‘PHP圣经’),(6 , ‘ruby实战’),(7 , ‘mysql运维’)(8, ‘ruby服务端编程’);create table tags (tid int,bookid int,content char(20))engine myisam charset utf8;insert into tags values(10 , 5 , ‘PHP’),(11 , 5 , ‘WEB’),(12 , 6 , ‘WEB’),(13 , 6 , ‘ruby’),(14 , 7 , ‘database’),(15 , 8 , ‘ruby’),(16 , 8 , ‘server’);# 既有web标签,又有PHP,同时还标签的书,要用连接查询select * from tags inner join tags as t on tags.bookid=t.bookidwhere tags.content=’PHP’ and t.content=’WEB’;换成key-value存储用kv 来存储set booktitle ‘PHP圣经’set booktitle ‘ruby实战’set booktitle ‘mysql运难’set booktitle ‘ruby server’sadd tag:PHP 5sadd tag:WEB 5 6sadd tag:database 7sadd tag:ruby 6 8sadd tag:SERVER 8查: 既有PHP,又有WEB的书Sinter tag:PHP tag:WEB #查集合的交集查: 有PHP或有WEB标签的书Sunin tag:PHP tag:WEB查:含有ruby,不含WEB标签的书Sdiff tag:ruby tag:WEB #求差集Redis key 设计技巧1: 把表名转换为key前缀 如, tag:2: 第2段放置用于区分区key的字段—对应mysql中的主键的列名,如userid3: 第3段放置主键值,如2,3,4…., a , b ,c4: 第4段,写要存储的列名用户表 user , 转换为key-value存储useridusernamepasswordeemail9Lisi1111111lisi@163.comset user9:username lisiset user9:password 111111set user9:email lisi@163.comkeys user9*2 注意:在关系型数据中,除主键外,还有可能其他列也步骤查询,如上表中, username 也是极频繁查询的,往往这种列也是加了索引的.转换到k-v数据中,则也要相应的生成一条按照该列为主的key-valueSet userlisi:uid 9 这样,我们可以根据usernameuid ,查出userid=9,再查userpassword/email …完成了根据用户名来查询用户信息php-redis扩展编译1: 到pecl.php.net 搜索redis2: 下载stable版(稳定版)扩展3: 解压,4: 执行/php/path/bin/phpize (作用是检测PHP的内核版本,并为扩展生成相应的编译配置)5: configure —with-php-config=/php/path/bin/php-config6: make && make install引入编译出的redis.so插件1: 编辑php.ini2: 添加redis插件的使用// get instance$redis = new Redis();// connect to redis server$redis->open(‘localhost’,6380);$redis->set(‘user9:username’,’wangwu’);var_dump($redis->get(‘user9:username’));微博项目的key设计全局相关的key:表名global列名操作备注Global:useridincr产生全局的useridGlobal:postidIncr产生全局的postid用户相关的key(表)表名userUseridUsernamePasswordAuthsecret3Test31111111#U*Q(%_在redis中,变成以下几个keyKey前缀userUserUserUsernameUserPasswordUseruseriduseridTest3User3userid#U*Q(%_微博相关的表设计表名postPostidUseridUsernameTimeContent42Lisi1370987654f测试内容微博在redis中,与表设计对应的key设计Key前缀postPostPostUseridPostpostid:postid:*:Content42Lisi1370987654f测试内容关注表: followingFollowing:$userid —>粉丝表Follower:$userid —->推送表:revicepost347=================拉模型,改进=====================拉取表347问: 上次我拉取了 A->5,67,三条微博, 下次刷新home.php, 从>7的微博开始拉取解决: 拉取时,设定一个lastpull时间点, 下次拉取时,取>lastpull的微博问: 有很多关注人,如何取?解决: 循环自己的关注列表,逐个取他们的新微博问: 取出来之后放在哪儿?答: pull:$userid的链接里问: 如果个人中心,只有前1000条答: ltrim,只取前1000条问: 如果我关注 A,B两人, 从2人中,各取3条最新信息,这3+3条信息, 从时间上,是交错的, 如何按时间排序?答: 我们发布时, 是发布的hash结构, 不能按时间来排序.解决: 同步时,取微博后,记录本次取的微博的最大id,下次同步时,只取比最大id更大的微博Time taken for tests: 32.690 secondsComplete requests: 20000Failed requests: 0Write errors: 0Non-2xx responses: 20000Total transferred: 13520000 bytesTotal POSTed: 5340000HTML transferred: 9300000 bytesRequests per second: 611.80 [#/sec] (mean)Time per request: 81.726 [ms] (mean)Time per request: 1.635 [ms] (mean, across all concurrent requests)Transfer rate: 403.88 [Kbytes/sec] received 159.52 kb/s sent 563.41 kb/s totalConnection Times (ms) min mean[+/-sd] median maxConnect: 0 0 0.9 0 19Processing: 14 82 8.4 81 153Waiting: 4 82 8.4 80 153Total: 20 82 8.2 81 153Percentage of the requests served within a certain time (ms) 50% 81 66% 84 75% 86 80% 88 90% 93 95% 96 98% 100 99% 103 100% 153 (longest request)测试结果:50个并发, 20000次请求, 虚拟下,未做特殊优化每次请求redis写操作6次.30+秒左右完成.平均每秒发布700条微博, 4000次redis写入.后台定时任务,回归冷数据入mysqlRedis配置文件 daemonize yes # redis是否以后台进程运行 Requirepass 密码 # 配置redis连接的密码注:配置密码后,客户端连上服务器,需要先执行授权命令 auth 密码

06

2016/07

登陆数据库

html

01

2016/01

mysql-proxy实现读写分离

html

01

2016/01