个人笔记

1 常见存储格式说明

1.1 表格形式

得益于强大的pandas模块，与数据框的结构更贴近的表格文件是Python中最流行的数据文件存储格式之一。对应的存储文件一般后缀为.CSV或.XLSX

• CSV（Comma Separated Values）是一种以逗号作为分隔的纯文本格式文件
• CSV格式的好处在于易读性，但在处理大规模数据时会比较慢，压缩效率也会差一些
• XLSX或XLS的文件相比于CSV格式更

Read more

1 背景知识

本文内容主要摘自：
《Is something better than pandas when the dataset fits the memory?》
代码地址

性能对比主要围绕5个操作展开：

1. 读取700M CSV文件：load_transactions
2. 读取30M CSV文件：load_identity
3. 基于某列（string格式）进行merge操作：merge
4. 分别对六列数据进行聚合操作（s

Read more