观澜Media

AI技术 · 深度资讯 · 前沿观察

优化关系数据库的大规模数据摄取

很久以前,我需要将大量数据提取到我们的关系数据库(..

很久以前,我需要将大量数据提取到我们的关系数据库(MySQL)中。

这就是我处理问题并优化解决方案的方式,考虑分享它以防有人需要类似的东西。

**有很多工具可以在加载数据方面做得更好。

案例研究 – 优化大规模 MySQL 数据摄取。

从 SFTP 服务器摄取(文本/CSV)加密数据文件,大小为 18 MB 到 100 MB(大约 80K 到 1200K 行数据集)。

技术堆栈是 Java/Spring Boot、MySQL。

来源:Dev.to

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关于我们

观澜Media

AI技术 · 深度资讯 · 前沿观察。专注科技、AI、互联网领域的深度报道与前沿资讯。

搜索归档

Access over the years of investigative journalism and breaking reports