当前位置: 代码迷 >> 综合 >> [优化]缓存分页和版本号
  详细解决方案

[优化]缓存分页和版本号

热度:70   发布时间:2024-01-16 21:16:26.0

[优化]缓存分页和版本号

1 背景

当服务端返回给客户端的数据量比较大,而且大部份数据不经常修改。那么可以采取客户端缓存和版本号机制。

 

例如:游戏中,读取道具配置(脚本热更方式除外,有些配置或数据是不能热更的)。配置不存在客户端,而是通过调用接口,返回给客户端的方式。刚开始时,可能配置表中只有五十个道具,随着时间的变化,道具数据越来越多。返回的数据也会越来越多。假如最后增加到五百个,那么数据量会非常非常大。一次性返回五百个道具,可能数据长都超过了网络buffer限制,那么也发送不过去。此时,可以采用缓存分页和版本号机制。

     解决方法:每次最多返一百条(分页),每次请求带道具版本号过来(版本号),数据(缓存)在客户端。

2 解释

2.1 缓存

这里说的缓存,是客户端缓存,即把数据缓存在客户端,下次软件或APP重启,先读取缓存中的数据,然后再通过版本号,向服务端请求最新的数据。

 

2.2 版本号

    版本号,是每条记录加一个版本号version ,这个版本号的目的是,当数据修改时,version加1(手动配置修改),或者修改时间(程序修改建议用修改时间,每次更新时就不用考虑以前的version是多少)。

 

如:数据格式为:

itemid:{“itemid”:XXX,”item”:XXXX,........, “version”:1}

 

目的:如果客户端给出的版本号和服务端现有的版本号不同,说明修改过,则返回道具的所有信息,否则,只返回版本号和状态。(这里对于不常修改的数据,能减少不少流量)

 

 

2.3 分页

分页,即预计数据量非常大时,可以对数据做分页请求,如:预计数据量非常大,可能几百条,上千条,那么可以分页请求,每次请求一百条,服务端会告诉客户端最大的分页数。如:总条数810条,每次100条,会返回分页数9。客户端从1开始请求到9页为止。

 

 

3 实例

终于到重点的时候了,结合实例说说,缓存,分页,版本号怎么用。

 

3.1 例子(缓存,版本号)

假如,一个配置,数据量一开始不大,后面会增加到几百上千条,可能会修改或删除配置。

 

配置表如下:

item_id

道具唯一id

 

item_name

道具名

 

item_icon

图标

 

......

很多,省略

 

version

版本号

这个是额外加的版本号,每次修改时,会修改版本号

 

接口定义:

请求参数

item_versions

一个map,格式定义为:

{

item_id1:item_version1,

item_id2:item_version2,

item_id2:item_version2,

}

 

 

 

返回结果

code

0成功,其他失败

 

msg

错误码

 

item_infos

道具信息

 

 

 

 

 

 

 

item_infos中单个item_info的定义

正常没版本号的情况下,返回

item_id

道具唯一id

item_name

道具名

item_icon

图标

......

很多,省略

 

加了版本号的优化

 

item_id

道具唯一id

update_type

0不变1新增2修改3删除

version

版本号

(如果不变或删除是不会有下面的内容)

item_name

道具名

item_icon

图标

......

很多,省略

   

好啦,说说怎么用。

第一次调用,客户端传过来的item_verions为空,则会一次性加载所有的配置。(只慢第一次)

每次调用后,客户端都会把数据缓存在客户端本地,只更update_type为1和2,删除3

 

以后调用,客户端都会把缓存的配置的item_id和version传过来。服务端跟据客户端传过来的version和服务端现有的配置判断,

1. 找不到item_id,表删除,update_type = 3           (无item_info)

2. 找到了,版本号相等,表未修改,update_type=0   (无item_info)

3. 找到了,不相等,表修改过, upadte_type = 1      (有item_info)

4. 配置中有,但玩家传过来的item_versions没有,表新增, update_type=2 (有item_info)

 

优点:

1. 除第一次外,以后每次请求时,都只会返回修改过和新加的item_info的全部信息,对修改不频繁的配置,会非常节省流量,同时数据量小,速度也会快。

2. 客户端把数据缓存在本地,每次启动应用,会先加载本地配置到内存,本地缓存速度>网络请求,即使请求服务端慢或网络中断,也不会影响功能的使用,体验效果比较好。

 

缺点:

1. 配置中要加version字段,每次修改时,要修改配置中的version

2. 请求接口中要传,item_versions数组

3. 返回接口中要添加update_type, 逻辑会复杂一些

 

 

注:这里的例子说的配置,但可用于任何类似的场景,如:玩家好友等涉及数据量大,但有一定限度,又不给常更改的信息中。

 

3.2 分页

分页,哪里都给常用的优化。只要涉及到数据量不固定,非常大的数据量时,都要分页。比如博客,可能几千条,几万条记录,数量是不确定的。

 

分页方法有很多,简述下分页两种方法。

1. 算出总页数给客户端,让客户端自已决定请求哪个分页的数据。

2. 滑到哪条记录,客户端就从哪个记录请求返回下一页的内容,客户端也可决定返回几条记录。

 

当然,分页一般都是结合缓存来共同合作的。边请求数据,边缓存到客户端本地。而且这些记录通常都是不会改变的记录。

 

 

 

闲话:今天就写下缓存分页版本号的一种优化,自已的一些积累,可能有不足或更好的方法,大家可以分享下自已的建议。后面还会有很多东西在脑海里,期待。

second60

20180131

 

 

 

 

  相关解决方案