[优化]缓存分页和版本号
1 背景
当服务端返回给客户端的数据量比较大,而且大部份数据不经常修改。那么可以采取客户端缓存和版本号机制。
例如:游戏中,读取道具配置(脚本热更方式除外,有些配置或数据是不能热更的)。配置不存在客户端,而是通过调用接口,返回给客户端的方式。刚开始时,可能配置表中只有五十个道具,随着时间的变化,道具数据越来越多。返回的数据也会越来越多。假如最后增加到五百个,那么数据量会非常非常大。一次性返回五百个道具,可能数据长都超过了网络buffer限制,那么也发送不过去。此时,可以采用缓存分页和版本号机制。
解决方法:每次最多返一百条(分页),每次请求带道具版本号过来(版本号),数据(缓存)在客户端。
2 解释
2.1 缓存
这里说的缓存,是客户端缓存,即把数据缓存在客户端,下次软件或APP重启,先读取缓存中的数据,然后再通过版本号,向服务端请求最新的数据。
2.2 版本号
版本号,是每条记录加一个版本号version ,这个版本号的目的是,当数据修改时,version加1(手动配置修改),或者修改时间(程序修改建议用修改时间,每次更新时就不用考虑以前的version是多少)。
如:数据格式为:
itemid:{“itemid”:XXX,”item”:XXXX,........, “version”:1}
目的:如果客户端给出的版本号和服务端现有的版本号不同,说明修改过,则返回道具的所有信息,否则,只返回版本号和状态。(这里对于不常修改的数据,能减少不少流量)
2.3 分页
分页,即预计数据量非常大时,可以对数据做分页请求,如:预计数据量非常大,可能几百条,上千条,那么可以分页请求,每次请求一百条,服务端会告诉客户端最大的分页数。如:总条数810条,每次100条,会返回分页数9。客户端从1开始请求到9页为止。
3 实例
终于到重点的时候了,结合实例说说,缓存,分页,版本号怎么用。
3.1 例子(缓存,版本号)
假如,一个配置,数据量一开始不大,后面会增加到几百上千条,可能会修改或删除配置。
配置表如下:
| item_id |
道具唯一id |
|
| item_name |
道具名 |
|
| item_icon |
图标 |
|
| ...... |
很多,省略 |
|
| version |
版本号 |
这个是额外加的版本号,每次修改时,会修改版本号 |
接口定义:
| 请求参数 |
item_versions |
一个map,格式定义为: { item_id1:item_version1, item_id2:item_version2, item_id2:item_version2, } |
|
|
|
|
| 返回结果 |
code |
0成功,其他失败 |
|
|
msg |
错误码 |
|
|
item_infos |
道具信息 |
|
|
|
|
|
|
|
|
item_infos中单个item_info的定义
正常没版本号的情况下,返回
| item_id |
道具唯一id |
| item_name |
道具名 |
| item_icon |
图标 |
| ...... |
很多,省略 |
加了版本号的优化
| item_id |
道具唯一id |
| update_type |
0不变1新增2修改3删除 |
| version |
版本号 |
| (如果不变或删除是不会有下面的内容) |
|
| item_name |
道具名 |
| item_icon |
图标 |
| ...... |
很多,省略 |
好啦,说说怎么用。
第一次调用,客户端传过来的item_verions为空,则会一次性加载所有的配置。(只慢第一次)
每次调用后,客户端都会把数据缓存在客户端本地,只更update_type为1和2,删除3
以后调用,客户端都会把缓存的配置的item_id和version传过来。服务端跟据客户端传过来的version和服务端现有的配置判断,
1. 找不到item_id,表删除,update_type = 3 (无item_info)
2. 找到了,版本号相等,表未修改,update_type=0 (无item_info)
3. 找到了,不相等,表修改过, upadte_type = 1 (有item_info)
4. 配置中有,但玩家传过来的item_versions没有,表新增, update_type=2 (有item_info)
优点:
1. 除第一次外,以后每次请求时,都只会返回修改过和新加的item_info的全部信息,对修改不频繁的配置,会非常节省流量,同时数据量小,速度也会快。
2. 客户端把数据缓存在本地,每次启动应用,会先加载本地配置到内存,本地缓存速度>网络请求,即使请求服务端慢或网络中断,也不会影响功能的使用,体验效果比较好。
缺点:
1. 配置中要加version字段,每次修改时,要修改配置中的version
2. 请求接口中要传,item_versions数组
3. 返回接口中要添加update_type, 逻辑会复杂一些
注:这里的例子说的配置,但可用于任何类似的场景,如:玩家好友等涉及数据量大,但有一定限度,又不给常更改的信息中。
3.2 分页
分页,哪里都给常用的优化。只要涉及到数据量不固定,非常大的数据量时,都要分页。比如博客,可能几千条,几万条记录,数量是不确定的。
分页方法有很多,简述下分页两种方法。
1. 算出总页数给客户端,让客户端自已决定请求哪个分页的数据。
2. 滑到哪条记录,客户端就从哪个记录请求返回下一页的内容,客户端也可决定返回几条记录。
当然,分页一般都是结合缓存来共同合作的。边请求数据,边缓存到客户端本地。而且这些记录通常都是不会改变的记录。
闲话:今天就写下缓存分页版本号的一种优化,自已的一些积累,可能有不足或更好的方法,大家可以分享下自已的建议。后面还会有很多东西在脑海里,期待。
second60
20180131