作者:Python进阶者
来源:Python爬虫与数据挖掘
大家好,我是吴老板。今天给大家分享一个可将Mongodb数据库里边的文件转换为表格文件的库,这个库是我自己开发的,有问题可以随时咨询我。
Mongo2file库是一个 Mongodb 数据库转换为表格文件的库。
在我的日常工作中经常和 mongodb 打交道,而从 mongodb 数据库中批量导出数据为其他格式则成为了刚需。
如果您跟我一样每次导出数据时都需要重新编写或到处寻找 脚本代码 的话,这个库可能会对您产生帮助。
mongo2file 依赖于 PyArrow 库。它是 C++ Arrow 的 Python 版本实现。
PyArrow 目前与 Python 3.7、3.8、3.9 和 3.10 兼容。
仓库地址: https://github.com/apache/arrow
如果您在 Windows 上遇到任何的导入问题或错误,您可能需要安装 Visual Studio 2015。
警告: PyArrow 目前只支持到 win64 位 ( Python 64bit ) 操作系统。
其次,除了常见的 csv、excel、以及 json 文件格式之外, mongo2file 还支持导出 pickle、feather、parquet 的二进制压缩文件。
pickle、feather、parquet 是 Python 序列化数据的一种文件格式, 它把数据转成二进制进行存储。从而大大减少读取的时间。
pip install mongo2file
快速开始
import os from mongo2file import MongoEngine
M = MongoEngine(
host=os.getenv('MONGO_HOST', '127.0.0.1'),
port=int(os.getenv('MONGO_PORT', 27017)),
username=os.getenv('MONGO_USERNAME', None),
password=os.getenv('MONGO_PASSWORD', None),
database=os.getenv('MONGO_DATABASE', 'test_'),
collection=os.getenv('MONGO_COLLECTION', 'test_')
) def to_csv(): result_ = M.to_csv() assert "successfully" in result_ def to_excel(): result_ = M.to_excel() assert "successfully" in result_ def to_json(): result_ = M.to_excel() assert "successfully" in result_ def to_pickle(): result_ = M.to_pickle() assert "successfully" in result_ def to_feather(): result_ = M.to_feather() assert "successfully" in result_ def to_parquet(): result_ = M.to_parquet() assert "successfully" in result_
to_csv()
当 MongoEngine 控制类指定了 mongodb 表名称时、将对数据表 (mongodb集合) 进行导出操作。
其类方法参数包括:
import os from mongo2file import MongoEngine """
作用于 MongoEngine 类未指定表名称时
""" M = MongoEngine(
host=os.getenv('MONGO_HOST', '127.0.0.1'),
port=int(os.getenv('MONGO_PORT', 27017)),
username=os.getenv('MONGO_USERNAME', None),
password=os.getenv('MONGO_PASSWORD', None),
database=os.getenv('MONGO_DATABASE', 'test_')
) def to_csv(): result_ = M.to_csv() assert "successfully" in result_ def to_excel(): result_ = M.to_excel() assert "successfully" in result_ def to_json(): result_ = M.to_json() assert "successfully" in result_
to_csv()
当 MongoEngine 控制类只指定了 mongodb 库名称时、将对数据库下所有集合进行导出操作。
对于 mongodb 的全表查询、条件查询、聚合操作、以及索引操作(当数据达到一定量级时建议) 并不是直接影响 数据导出的最大因素。
因为 mongodb 的查询一般而言都非常快速,主要的瓶颈在于读取 数据库 之后将数据转换为大列表存入 表格文件时所耗费的时间。
_这是一件非常可怕的事情_。
当没有多线程(当然这里的多线程并不是对同一文件进行并行操作,文件写入往往是线程不安全的)、 数据表查询语句无优化时,并且当数据达到一定量级时(比如 100w 行),单表单线程表现出来的效果真是让人窒息。
在 mongo2file 在进行大数据量导出时表现的并没有多么优秀。导致的主要原因可能是:
mongo2file 表现的不如人意时,我做出了一下改进:
Reference API
MongoEngine
MongoEngine( host='localhost', port=27017, username=None, password=None, database='测试库', collection='测试表_200000' )
to_csv(query, folder_path, filename, ...)
:param query: 数据库查询条件、字典类型、只作用于单表导出 :param folder_path: 指定导出的目录 :param filename: 指定导出的文件名 :param _id: 是否导出 _id 默认否 :param limit: 限制数据表查询的条数 :param is_block: 是否分块导出 :param block_size: 块大小、is_block 为 True 时生效
to_excel(query, folder_path, filename, ...)
:param query: 数据库查询条件、字典类型、只作用于单表导出 :param folder_path: 指定导出的目录 :param filename: 指定导出的文件名 :param _id: 是否导出 _id 默认否 :param limit: 限制数据表查询的条数 :param is_block: 是否分块导出 :param block_size: 块大小、is_block 为 True 时生效 :param mode: 导出模式, 枚举类型、sheet 或 xlsx, 当 is_block 为 True 时生效 :param ignore_error: 是否忽略错误、数据表中存在非序列化类型时使用、这将一定程度上影响程序的性能
to_json(query, folder_path, filename, ...)
:param query: 数据库查询条件、字典类型、只作用于单表导出 :param folder_path: 指定导出的目录 :param filename: 指定导出的文件名 :param _id: 是否导出 _id 默认否 :param limit: 限制数据表查询的条数 :param is_block: 是否分块导出 :param block_size: 块大小、is_block 为 True 时生效
to_pickle(query, folder_path, filename, ...)
:param query: 数据库查询条件、字典类型、只作用于单表导出 :param folder_path: 指定导出的目录 :param filename: 指定导出的文件名 :param _id: 是否导出 _id 默认否 :param limit: 限制数据表查询的条数
to_feather(query, folder_path, filename, ...)
:param query: 数据库查询条件、字典类型、只作用于单表导出 :param folder_path: 指定导出的目录 :param filename: 指定导出的文件名 :param _id: 是否导出 _id 默认否 :param limit: 限制数据表查询的条数
to_parquet(query, folder_path, filename, ...)
:param query: 数据库查询条件、字典类型、只作用于单表导出 :param folder_path: 指定导出的目录 :param filename: 指定导出的文件名 :param _id: 是否导出 _id 默认否 :param limit: 限制数据表查询的条数
大家好,我是吴老板。以上就是今天要分享的全部内容了,总的来说,Mongo2file库是一个可以将 Mongodb 数据库转换为表格文件的库,不仅支持导出csv、excel、以及 json 文件格式, 还支持导出 pickle、feather、parquet 的二进制压缩文件。欢迎大家积极尝试,在使用过程中有遇到任何问题,欢迎随时联系我。
数据分析咨询请扫描二维码