热线电话：13121318867

登录
首页大数据时代高并发的情况下（100W）,数据先存在Redis保证快速响应，然后怎么往MySql里面写？
高并发的情况下（100W）,数据先存在Redis保证快速响应，然后怎么往MySql里面写？
2023-03-27
收藏

在高并发的情况下，为了保证系统的稳定性和性能，往往采用将数据先存储在Redis中，以保证快速响应。但是，Redis属于内存数据库，数据存储在内存中，当服务器宕机或者Redis进程被杀掉时，数据会丢失。因此，需要将数据持久化到MySQL中。下面我们来介绍一下如何将数据从Redis中写入MySQL。

一、使用异步写入

由于MySQL是磁盘数据库，写入速度比Redis要慢，如果每次写入都等待MySQL的写入完成再返回结果给客户端，会大大降低系统的并发能力。因此，在高并发情况下，可以采用异步写入的方式，即将数据写入Redis后立即返回结果给客户端，然后异步地将数据写入MySQL。

具体实现方式是：

  1. 将Redis作为消息队列，即在Redis中创建一个列表，将需要写入MySQL的数据作为消息塞入该列表。

  2. 启动一个异步处理线程池，从Redis中读取消息，并将消息写入MySQL。

  3. 在写入MySQL成功后，从Redis中删除该消息。

二、采用缓冲区

由于MySQL是磁盘数据库，频繁地进行写入操作会对磁盘造成较大的负载。因此，可以采用缓冲区的方式，将多个写入操作合并为一个批量写入操作，减少对磁盘的访问次数，提高写入效率。

具体实现方式是：

  1. 创建一个写入缓冲区，将需要写入MySQL的数据保存在缓冲区中。

  2. 当缓冲区满或者定时触发写入操作时，将缓冲区中的数据批量写入MySQL。

三、采用分片策略

MySQL是单机数据库，无法支撑高并发场景。因此，需要采用分片策略，将数据分散到多台MySQL服务器上，以提高系统的并发能力和可靠性。

具体实现方式是：

  1. 根据业务需求和数据特点，将数据按照一定的规则进行分片，例如按照用户ID进行分片，将同一用户的数据存储在同一台MySQL服务器上。

  2. 通过分布式缓存中间件（例如Redis集群）将数据路由到相应的MySQL服务器上。

  3. 在写入数据时，根据分片规则，将数据写入对应的MySQL服务器上。

以上是将数据从Redis写入MySQL的三种常见方式，当然还有其他方式，例如使用Memcached作为缓存，使用Kafka作为消息队列等。总之，在高并发场景下，需要针对具体业务场景和系统特点，选择合适的解决方案，以保证系统的稳定性和性能。

CDA学员免费下载查看报告全文：2026全球数智化人才指数报告【CDA数据科学研究院】.pdf


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试教材；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试题库；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想了解CDA院校合作，点击>>> “院校合作” 了解咨询CDA院校合作；

SQL 数据存储 内存数据库 集群 Kafka

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇mysql如何优化like %关键字 查询？
下一篇pytorch中的钩子（Hook）有何作用？
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询