优化关系数据库的大规模数据摄取

优化关系数据库的大规模数据摄取

很久以前,我需要将大量数据提取到我们的关系数据库(MySQL)中。

这就是我处理问题并优化解决方案的方式,考虑分享它以防有人需要类似的东西。

**有很多工具可以在加载数据方面做得更好。

案例研究 – 优化大规模 MySQL 数据摄取。

从 SFTP 服务器摄取(文本/CSV)加密数据文件,大小为 18 MB 到 100 MB(大约 80K 到 1200K 行数据集)。

技术堆栈是 Java/Spring Boot、MySQL。

来源:Dev.to