更高效的Python CSV文件导出-csv文件

更高效的Python CSV文件导出

在上一篇文章，我介绍了CSV是什么？CSV有哪些优点？如何使用等等？并且最后我们用一个例子简单讲解了如何使用Python模块CSV进行导出后缀为.csv的文本文件。

具体文章参看：Python模块之CSV导出（一）

其实例子用于异步导出数据文件是够了，但工作中我们可能还需要结合我们Web框架进行更复杂的CSV导出。

所以今天我们的目的就是结合Python Django框架进行分享CSV导出的另外一种方式。

安装依赖

这里面我们需要安装一个第三方包djangorestframework-csv：

方法如下，使用pip安装到你virtualenv构建的虚拟环境中，当然你如果使用了docker进行环境隔离这儿也可以直接安装你docker容器中。

$ pip install djangorestframework-csv

有些同学可能不太明白，明明是Django框架怎么和Django REST Framework（简称DRF）扯上关系了，简单解释一下，由于我们Django API开发常常配合DRF进行，所以一般都是一起安装使用了的，把Django和DRF结合起来整个RESTFul API开发效率能大大提高，建议稍微大一点工程化项目都去使用DRF。

使用

使用方式如下：

继承CSVRenderer 定义一个自己的Render类
将要生成CSV的字典数据传入该类的方法render方法
使用HttpResponse或者StreamingHttpResponse进行返回

看起来是不是简单方便，确实就是这么简单，下面我们看一个例子。

例子

废话不多说，直接上代码，先定义一个自己的CSV Render

# 定义CSV Render
from rest_framework_csv import renderers
class YourModelRender(renderers.CSVStreamingRenderer):
 header = [
 'phone',
 'remark',
 'create_time',
 ]
 labels = dict([
 ('phone', u'联系电话'),
 ('remark', u'备注'),
 ('create_time', u'时间'),
 ])

这里使用label dict属性将自定义标签应用于CSVRenderer，其中每个键对应于表头header，值对应于该表头header的自定义标签，这样我们各个值就能和header对应起来。

Django导出的view方法，源码如下。

 @list_route(methods=['get']) # 这是DRF生成URL的方式，没用过的可以忽略。
 def example_export_csv(self):
 '''
 CSV 案例
 '''
 queryset = YourModel.objects.all()
 renderer = YourModelRender()
 data = (
 YourModelListSerializer(instance).data ## 得到字典数据
 for instance in queryset
 )
 response = StreamingHttpResponse(
 renderer.render(data),
 content_type='text/csv'
 )
 response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
 return response

上面几行代码是不是看起来很简单，确实就是这么简单，简单的背后是rest_framework_csv帮我们做了导出功能，底层实现还是昨天我说的那种方式write，writerow的方式。

这里面简单解释一下：

YourModelListSerializer写过DRF的同学知道这个就是定义数据处理逻辑校验，格式化什么等操作。这里面我们通过YourModelListSerializer复用了其他模块处理逻辑，如RRESTFul的列表数据展示。
这样大大减少了我们导出CSV还需要去重新处理多个字段组装，过滤，变换等逻辑。因为往往我们列表需要展示数据就是我们CSV要导出的数据。记得几年前那会儿导出数据还要自己重新组装数据，真是酸爽。
我们这儿用了StreamingHttpResponse，将文件内容进行流式传输，对于实时导出大文件，可以避免服务器断开连接。比起HttpResponse更节约内存。

其他

上面我们使用DRF，并且也用了看起来复杂的YourModelListSerializer这种复杂的概念，主要目的是让大家知道DRF的方式，至于普通使用Django其实我们完全可以把renderer.render(data)换为上一篇文章

(writer.writerow(row) for row in rows) 这种形势。

关于CSV我们还可以用Django模板形式进行，和我们用rest_framework_csv模块思路差不多

简单给一个官方案例：

csv_data = (
 ('First row', 'Foo', 'Bar', 'Baz'),
 ('Second row', 'A', 'B', 'C', '"Testing"', "Here's a quote"),
 )
 t = loader.get_template('my_template_name.txt') # 定义模板代码
 c = Context({
 'data': csv_data,
 })
response.write(t.render(c))
return response

虽然思路相似，但过程实现会麻烦较多，你要去切换模板代码书写，渲染，不推荐这种方式。

最后关于CSV我们就介绍到这里，结合上一篇主要两种方式：