解剖屎山,寻觅黄金之第二弹|全球滚动
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
(资料图片仅供参考)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
推荐
- 解剖屎山,寻觅黄金之第二弹|全球滚动
- 令人惊叹!贵金属报告利好重磅:白银供不应求7393吨 “巨大赤字”激增创历史新高 天天最资讯
- 2022吉林省知识产权司法保护典型案例发布,来看看有哪些
- 快看:进攻端手感不佳如何调整?浓眉:继续坚持自己的打法 保持侵略性
- TBFS数字货币为您提供对多元化投资 环球时讯
- 世界即时:美国一女子驾车时被石块砸中身亡 系3小时内第5起类似事件
- 热门:运-20塞北亮剑,特战队员从天而降
- 画面曝光!驻韩美军打车不给钱 被拦后暴打韩国六旬司机 世界新视野
- 英国知名经济专家:贸易战是“负和博弈”
- 全球即时:数据分析揭示美国枪支暴力地区性差异原因
- 世界快看点丨开立医疗:公司内窥镜镜头的镜片为国内定制
- 全球速看:4月25日成份B指跌幅达1%
- 第二十届中国(漯河)食品博览会将于5月16日至18日举办-环球最资讯
- 微头条丨术士40级马任务 花g_术士40级马任务
- 2023安徽铜陵市义安区城市管理行政执法局招聘编外聘用人员递补人员体检结果公示 环球热头条
- 火星人(300894):经营短期承压 盈利能力环比修复-天天视讯
- 今日热闻!全屋精妆交付 客户现场“种草” 顺义楼市上新!
- 比亚迪工业南昌新设汽车销售公司,注册资本100万元
- 热讯:沪指失守3300点 创指跌破2300点 震荡行情还要延续多久?|晨会博弈
- 宋淑英烤全羊
- 焦点热议:环球漫评|“五个一百”:弘扬最美旋律 添赋时代动能
- 打新提醒:4月27日后日新股申购一览 当前热闻
- 【环球快播报】五一南澳进岛车辆每天限多少辆?
- 2023年中国数字文旅行业发展前景|时快讯
- 一季度我国黄金消费量291.58吨 同比增长12.03% 环球快看点
- “萌虎”来袭!孟加拉白虎“静静”产下六胞胎虎宝宝-世界聚焦
- 一季度城镇新增就业297万人(新数据 新看点)
- 每日速看!这三大癌症一旦发现就是中晚期!做好这4点,开启健康生活
- 国内唯一一个双面数码印花基地将落户沙溪|每日观察
- 兰州市加快推进知识产权强市建设|焦点讯息
- 福耀玻璃创始人曹德旺涉嫌“炮轰”特斯拉涨薪?真相已被澄清!
- 当前滚动:江山歌词完整版合唱(江山歌词完整)
- 鲜切花绽放出“美丽经济” 长沙花木年综合产值约200亿元 环球关注
- 天天滚动:火山的女儿美貌的精灵成就解锁攻略一览
- 4月25日工程建设板块跌幅达2%-世界热文
- 全国主要公路气象预报(4月24日20时至25日20时)
- 洛阳市孟津区税务局:个税宣讲进企业 倾心倾情解难题
- 全球速讯:入职体检费用应该谁出 入职体检费用由谁承担
- 当前看点!环球漫评|“五个一百”:弘扬最美旋律 添赋时代动能
- 【全球时快讯】湖北天创首次入湘 “摇”中长沙观沙岭地块
- 世界新消息丨中国海洋大学在千米尺度高分辨率耦合地球系统模式研发领域取得新进展
- 环球动态:一文教你如何使用Node进程管理工具-pm2
- 全球通讯!中银晨会聚焦
- 家电套餐(家电套餐)
- 今日讯!2023山东东营市第一批次高中、中职类教师资格证书配送公告
- 韩媒:执政党人士称想给尹锡悦包里放支镇定剂,让他冷静冷静 世界速看料
- 台媒:彰化一食品厂突发大火,9人被救出时无生命迹象|快播报
- 天天快报!联合国人权专家走访调查美国种族歧视问题
- 全球快播:北京市发布沙尘蓝色预警
- 天天快看:三峡五年累计收集驯养珍稀特有鱼类110多种 生态效益成效显著
- 全球新消息丨正是一年好春光 植绿护绿正当时
- 天天新动态:美联储5月加息25个基点的概率为98.9%
- 讯息:中国大使馆协助中国公民撤离苏丹、入境埃及
- 今日快讯:CBA四强出炉 老牌强队陷危机
- 大基建板块震荡下挫|当前热门
- 当前消息!恒指开盘跌0.28%,恒生科技指数跌0.56%
- 雷柏科技:4月24日获融资买入1358.48万元,占当日流入资金比例13%
- 当前速看:加速研发、追赶国际 本土流脑疫苗填补空白
- 北京市公共建筑将设五级能效等级 视焦点讯
- 真人版《小美人鱼》5月25日登陆中国内地院线, 爱丽儿携人鱼家族亮相
- 迈为股份公布分配预案:拟10转增6派15元(含税)
- 天天热文:杭州亚运会代表团团长大会今天在杭州开幕
- 法国将提高基本诊费 措施批准后将在6个月后生效
- 精选!俄国防部:乌方袭击危及黑海粮食外运协议再次延期
- 一整个优秀!原来你是这样的“95后”航天人 消息
- 聚焦“美丽产业” 洛阳计划用3~5年培育达百亿元美妆产业
- 全面提升技术技能人才培养水平
- 全球观焦点:广发期货早知道:在去美元化的趋势下未来贵金属持仓有望继续增长,原油短期区间波段操作为主
- 生如夏花之绚烂死如秋叶之静美_生如夏花之绚烂死如秋叶之静美是什么意思
- 本周晴雨相间 气温逐渐回暖_全球新视野
- 佳木斯大学的临床医学如何是几本怎么样 世界热点
- 当前焦点!域外漫笔/茨威格的足迹\林中洋
- 快报:保险购买今后多久收效 收效当天出险可以理赔吗,具体原因详细内容介绍
- 大风降温!明日新一股冷空气将抵厦-环球新动态
- 韩日市民街头喊话日本政府:为了人类共同未来 必须取消核污水排海-当前快看
- 就业形势逐步恢复、总体稳定
- 美国迪士尼公司开始新一轮裁员计划
- 泡沫经济是什么意思通俗(泡沫经济是什么意思)|环球速读
- 天天观速讯丨恭喜国足!曝36岁队长接近日本J联赛,外援夸赞中超:犹如踢欧冠
- 辉煌“中轴故事”
- 溢价近400倍拍下锂矿后弃购,官方出手了-世界微资讯
- 环球观热点:单个产品线在亚马逊上卖了80亿!怎么做到的?
- 美总统拜登批准俄克拉荷马州重大灾难声明
- 每日热文:美国北达科他州州长签署法案 禁止女性怀孕六周后堕胎
- 消费呈现恢复向好态势(经济新方位·首季数据观察)-微头条
- 博睿数据(688229)4月24日主力资金净卖出498.86万元_天天快讯
- 中国驻法国使馆发言人谈话
- 中联重科(01157.HK):4月24日南向资金减持4.04万股
- 【热闻】一场峰会直播报价是怎样的?有因直播带你全面了解
- 酸味十足!美抹黑中国沙特新未来城合作,沙媒:中国对该计划弥足珍贵 天天关注
- 天天速读:巴黎奥运会开幕式面纱逐渐揭开,典礼主持人:保证高处人们能免费看到
- 瑞典智库:去年全球军费开支创新高,欧洲军费增长最明显|全球观天下
- 日本国会议员补选,自民党4胜1败,最大在野党未能获得席位 全球关注
- 全球消息!匈牙利外长:欧盟国家向乌克兰提供武器将延长冲突
- 看点:存金通
- 火星全球彩色影像图发布 为探测和研究提供质量更好的基础底图
- 剧种荟萃名家云集!探班全国戏曲(北方片)会演暨梆子声腔优秀剧目展演开幕式台前幕后
- 观察:风吹草低见牛羊的见是什么意思 低的意思_风吹草低见牛羊中的见是什么意思
- 全球及中国家居市场数据分析: 70.3%消费者表示偏好简约现代风格-焦点观察
- 春耕备播忙,夏粮丰收基础实(中国经济,开局跑出新气象)
X 关闭
政策法规
X 关闭