Generator Expressions vs. List Comprehension什么时候应该使用生成器表达式,什么时候应该在Python中使用列表理解?
约翰的回答是好的(当你想重复几次某件事情时,列表的理解更好)。但是,也值得注意的是,如果您想使用任何列表方法,就应该使用列表。例如,以下代码不起作用:
基本上,如果您所做的只是迭代一次,那么使用生成器表达式。如果您想存储和使用生成的结果,那么您最好能理解列表。 由于性能是选择一个而不是另一个的最常见原因,我的建议是不要担心它,只选择一个;如果您发现您的程序运行太慢,那么,只有在那时,您才应该回去考虑调整您的代码。 迭代生成器表达式或列表理解也会做同样的事情。但是,列表理解将首先在内存中创建整个列表,而生成器表达式将动态创建这些项,因此您可以将其用于非常大的(也是无限的!)序列。 当结果需要重复多次或速度最重要时,使用列表理解。在范围较大或无穷大的地方使用生成器表达式。 重要的是列表理解创建了一个新的列表。生成器创建一个不可重复的对象,当您使用位时,该对象将动态"过滤"源材料。 假设您有一个名为"hugefile.txt"的2tb日志文件,并且您想要所有以单词"entry"开头的行的内容和长度。 所以你试着从写清单开始理解:
这会吞食整个文件,处理每一行,并将匹配的行存储在数组中。因此,此数组最多可以包含2tb的内容。这是一个很大的RAM,可能不适合您的目的。 因此,我们可以使用生成器对内容应用"过滤器"。在开始对结果进行迭代之前,实际上不会读取任何数据。
还没有从我们的文件中读取任何一行。事实上,假设我们想要进一步过滤我们的结果:
仍然没有任何内容被读取,但是我们现在指定了两个生成器,它们将根据我们的需要对我们的数据进行操作。 让我们把过滤后的行写到另一个文件:
现在我们读取输入文件。由于我们的 因此,您没有以完全填充的列表的形式将数据"推送"到输出函数,而是为输出函数提供了一种仅在需要时"拉"数据的方法。这在我们的情况下效率更高,但没有那么灵活。生成器是单向的,一次通过;我们读取的日志文件中的数据会立即被丢弃,因此我们无法返回到前一行。另一方面,我们不必担心一旦完成了数据的保存。 生成器表达式的好处是它使用较少的内存,因为它不会一次构建整个列表。当列表是一个中介时,例如求和结果或从结果中创建dict时,最好使用生成器表达式。 例如:
它的优点是列表没有完全生成,因此使用的内存很少(而且应该更快)。 但是,当所需的最终产品是列表时,您应该使用列表理解。您不会使用生成器表达式保存任何内存,因为您需要生成的列表。您还可以使用任何列表功能,如排序或反转。 例如:
从可变对象(如列表)创建生成器时,请注意生成器将在使用生成器时(而不是在创建生成器时)根据列表的状态进行评估:
如果您的列表有可能被修改(或者列表中的可变对象),但是您需要在创建生成器时的状态,那么您需要使用列表理解。 我正在使用Hadoop肉末模块。我认为这是一个很好的例子:
在这里,生成器从文本文件中获取数字(大到15GB),并使用Hadoop的map reduce对这些数字应用简单的数学。如果我没有使用yield函数,而是使用一个列表理解,那么计算和和和和平均值将花费更长的时间(更不用说空间复杂性)。 Hadoop是一个很好的例子,可以利用发电机的所有优点。 有时您可以从itertools中摆脱tee函数,它为同一个生成器返回多个迭代器,这些迭代器可以独立使用。 如何使用[(iter中x的exp)]获得两者的好处?生成器理解和列表方法的性能 |