Generator生成器函数,揭开yield关键字的心腹面纱

写在题词

1.迭代

澳门葡京备用网址 ,在精通生成器之前,先清楚迭代。

 

澳门葡京备用网址 1

不时会看见,python函数中带有yield关键字,那么yield是什么,有啥成效?

1.1 迭代

假诺给定一个list或tuple,大家得以经过for循环来遍历那个list或tuple,那种遍历大家称为迭代(Iteration)

alist = [1, 2, 3, 4, 5]

for i in alist:
    print(i)

1
2
3
4
5

正如将列表中的成分通过for循环,遍历了全方位alist列表,那种不另行地惠及其里面的每种子项的一言一行就是迭代。

种类作品 — ES6笔记连串

Yield

 

1.2 可迭代对象

可以直接功用于for循环的目标统称为可迭代对象:Iterable,可迭代对象一般都已毕了__iter()__艺术,可迭代对象通过其内建的方__iter()__回来一个迭代器对象。

a_iterable = [1, 2, 3]

a_iterator = iter(a_iterable)  # 将可迭代对象转化为迭代器

next(a_iterator)

1

next(a_iterator)

2

next(a_iterator)

3

 

基础概念

Generator生成器函数,揭开yield关键字的心腹面纱。答案:可以精通yield是一个生成器;

1.3 迭代器

可以被next()函数调用并不止重返下一个值的靶子称为迭代器:Iterator,迭代器其内已毕了__iter__方法和__next__艺术,for循环本质是经过调用可迭代对象的__iter__办法,该格局重回一个迭代器对象,再用__next__措施遍历成分

概念一个迭代器:

class MyRange:
    def __init__(self, end):
        self.index = 0
        self.end = end

    def __iter__(self):
        return self

    def __next__(self):
        if self.index < self.end:
            val = self.index
            self.index += 1
            return val
        else:
            raise StopIteration()

my_range = MyRange(3)

print([i for i in my_range])

[0, 1, 2]

print([i for i in my_range])

[]

迭代器只可以迭代两遍,每一趟调用调用 next()
方法就会上前一步,无法后退,所以当迭代器迭代到最后时,就不得以重新利用,所有须求将迭代器和可迭代对象分别定义

修改上边的可迭代对象:

class MyRange:
    def __init__(self, end):
        self.end = end

    def __iter__(self):
        return MyIterator(self.end)

class MyIterator:
    def __init__(self, end):
        self.index = 0
        self.end = end

    def __iter__(self):
        return self    

    def __next__(self):
        if self.index < self.end:
            val = self.index
            self.index += 1
            return val
        else:
            raise StopIteration()

my_range = MyRange(3)

print([i for i in my_range])

[0, 1, 2]

print([i for i in my_range])

[0, 1, 2]

接触过Ajax请求的会遇上过异步调用的难题,为了确保调用顺序的科学,一般大家会在回调函数中调用,也有用到部分新的消除方案如Promise相关的技能。

在异步编程中,还有一种常用的化解方案,它就是Generator生成器函数。顾名思义,它是一个生成器,它也是一个状态机,内部有着值及相关的图景,生成器再次来到一个迭代器Iterator对象,大家可以透过那几个迭代器,手动地遍历相关的值、状态,保险科学的履行顺序。

可迭代对象

python中,一般可以被for循环遍历的靶子就是可迭代对象。
拥有__iter__()办法的目的称之为可迭代对象,__iter__()措施重回一个迭代器。

功效:际遇yield关键字,函数会直接回到yield值,约等于return;分裂的是下次调用的时候会从yield之后的代码发轫施行。

2. 生成器

生成器与可迭代对象、迭代器的涉嫌

澳门葡京备用网址 2

图片来源于Iterables vs. Iterators vs.
Generators

生成器对象,在每一回调用它的next()方法时回来一个值,直到它抛出StopInteration。

生成器是足以迭代的,可是你 只好读取它一回,因为它并不把持有的值放在内存中,它是实时地变化数据,
可以用生成器表明式成立:

my_generator = (x ** 2 for x in range(3))

my_generator

<generator object <genexpr> at 0x7f975b7a4af0>

for i in my_generator:
    print(i)

0
1
4

yield

可以写一个常备的包括yield语句的Python函数,Python会检测对yield的采纳并将函数标记为一个生成器,当函数执行到yield语句时,像return语句那样再次回到一个值,但是解释器会保存对栈的引用,它会被用来在下三回调用next时上升函数。

def my_generator():
    yield 1
    yield 2
    yield 'a'
    yield 'generator'

g = my_generator()

g

<generator object my_generator at 0x7f975b7a4d58>

next(g)

1

next(g)

2

next(g)

'a'

next(g)

'generator'

next(g)

---------------------------------------------------------------------------

StopIteration                             Traceback (most recent call last)

<ipython-input-12-5f315c5de15b> in <module>()
----> 1 next(g)


StopIteration: 

上边的例子中,每一趟调用next()伊始实时地扭转数据,并回到,由此生成器只可读取三遍,上次施行读取的值在下次施行中就不恐怕读取。当全部生成器的值都被读取后,在调用机见面世StopIteration的一无所能。

def my_gen():
    for i in range(5):
        yield i ** 3

my_gen()

<generator object my_gen at 0x7f975ae15a40>

mygen = my_gen()

for i in mygen:
    print(i)

0
1
8
27
64

老是执行到yield语句,则赶回一个值,再实践的时候从上次停下来的地点开头实践。yield语句保存了上次实践后的情形,下次执行不是从头开端,而是从上次的情景开端。

当调用my_gen()那个函数的时候,函数内部的代码不会立时执行,而是重返一个生成器对象,当使用for循环进行遍历的时候,函数内部的代码开头履行,执行到yield表明式再次回到一个值,记录当前情状并截止,下三遍的访问时再从那一个场地开始实施。

举一个不太适合的例子,普通的函数就是从未存档的游艺,只要游戏早先,就玩到结尾,下一回再玩依旧从头开首,而生成器就是加了存档,下次玩从上次存档的地点发轫

 

迭代器

迭代器是访问集合内成分的一种格局。迭代器对象从集合的第四个成分开端访问,直到所有的因素都被访问一回后竣事。
可以使用工厂函数iter()重返一个迭代器。

>>> iter([1,2,3])
<listiterator object at 0x1100b6a50>

 

关于生成器的思索

(瞎掰的。。。。)生成器到底起到何以吗效率吗,即便生成一个生成器对象,而生成器对象自然是一个迭代器,所以能够如此说,生成器再次来到了一个方可用for循环遍历所以子项,可以用next()方法访问下一个子项,可以在走访时动态的变化数据而节外省存的靶子。

一、简单利用

for循环遍历可迭代对象进程

  1. Python将对重点字in后的目的调用iter函数获取迭代器
  2. 调用迭代器的next方法取得成分,直到抛出StopIteration至极。
  3. 对迭代器调用iter函数时将重回迭代器本人,所以迭代器也足以用来for语句中,不须要相当处理。
    代码如下

it=iter(lst)
try:
      while True:
          val=it.next()
          print val
except
      StopIteration:
          pass

生成器是何等?

阅读

一心明白 Python
迭代对象、迭代器、生成器
对 Python
迭代的见解透彻商讨
Python迭代器和生成器
3.
(译)Python关键字yield的解释(stackoverflow)
Python之列表生成式、生成器、可迭代对象与迭代器

1. 声明

Generator的扬言形式接近一般的函数表明,只是多了个*号,并且一般可以在函数内看看yield关键字

function* showWords() {
    yield 'one';
    yield 'two';
    return 'three';
}

var show = showWords();

show.next() // {done: false, value: "one"}
show.next() // {done: false, value: "two"}
show.next() // {done: true, value: "three"}
show.next() // {done: true, value: undefined}

如上代码,定义了一个showWords的生成器函数,调用之后再次来到了一个迭代器对象(即show)

调用next方法后,函数内进行第一条yield语句,输出当前的气象done(迭代器是还是不是遍历落成)以及相应值(一般为yield关键字背后的演算结果)

每调用五遍next,则实施一遍yield讲话,并在该处暂停,return完结将来,就退出了生成器函数,后续如若还有yield操作就不再执行了

正文

在stackoverflow中看出那样一个题材 What does the “yield” keyword do in
python

里面排行最高的对答对本人有很大扶持,因而将其翻译下来享用给我们答案。
一晃是译文:

要清楚什么是yield重点字,必要求通晓什么是生成器,而要掌握生成器,首先要明白什么是迭代器

是足以迭代的,可是你
只能读取它五次
,因为它并不把拥有的值放在内存中,它是实时地变化数据:

2. yield和yield*

有时,大家会看到yield之后跟了一个*号,它是怎么,有怎样用啊?

接近于生成器前面的*号,yield后边的星号也跟生成器有关,举个大栗子:

function* showWords() {
    yield 'one';
    yield showNumbers();
    return 'three';
}

function* showNumbers() {
    yield 10 + 1;
    yield 12;
}

var show = showWords();
show.next() // {done: false, value: "one"}
show.next() // {done: false, value: showNumbers}
show.next() // {done: true, value: "three"}
show.next() // {done: true, value: undefined}

扩展了一个生成器函数,大家想在showWords中调用一回,简单的 yield
showNumbers()之后察觉并没有履行函数里面的yield 10+1

因为yield只好维持原状地回到左侧运算后值,但明天的showNumbers()不是一般的函数调用,再次回到的是迭代器对象

之所以换个yield* 让它自动遍历进该目的

function* showWords() {
    yield 'one';
    yield* showNumbers();
    return 'three';
}

function* showNumbers() {
    yield 10 + 1;
    yield 12;
}

var show = showWords();
show.next() // {done: false, value: "one"}
show.next() // {done: false, value: 11}
show.next() // {done: false, value: 12}
show.next() // {done: true, value: "three"}

要小心的是,那yield和yield*
只好在generator函数内部使用,一般的函数Nelly用会报错

function showWords() {
    yield 'one'; // Uncaught SyntaxError: Unexpected string
}

即便换成yield*不会一向报错,但利用的时候依旧会有标题,因为’one’字符串中并未Iterator接口,没有yield提供遍历

function showWords() {
    yield* 'one'; 
}

var show = showWords();

show.next() // Uncaught ReferenceError: yield is not defined

在爬虫开发中,我们平时必要请求多少个地方,为了保障顺序,引入Promise对象和Generator生成器函数,看这几个不难的栗子:

var urls = ['url1', 'url2', 'url3'];

function* request(urls) {
    urls.forEach(function(url) {
        yield req(url);
    });

//     for (var i = 0, j = urls.length; i < j; ++i) {
//         yield req(urls[i]);
//     }
}

var r = request(urls);
r.next();

function req(url) {
    var p = new Promise(function(resolve, reject) {
        $.get(url, function(rs) {
            resolve(rs);
        });
    });

    p.then(function() {
        r.next();
    }).catch(function() {

    });
}

上述代码中forEach遍历url数组,匿名函数内部不只怕应用yield关键字,改换成注释中的for循环就行了

迭代器

当你生成了一个list,可以一个接一个地走访这么些list中的成分,那种行为被称之为迭代。

>>> mylist = [x*x for x in range(3)]
>>> for i in mylist:
...     print(i)
0
1
4

地点代码中的mylist就是一个迭代器。list类型是可迭代的。

>>> mylist = [x*x for x in range(3)]
>>> for i in mylist:
...     print(i)
0
1
4

在python中可以透过“for… in
…”
那种措施遍历的都是迭代器,像lists,strings,files…

迭代器是很好用的,因为你可以很有益地遍历其中的要素。可是这几个数据都以存在内存里的,当数据量卓殊大时,那种格局就不是极度杰出了。

 

3. next()调用中的传参

参数值有注入的成效,可转移上一个yield的重回值,如

function* showNumbers() {
    var one = yield 1;
    var two = yield 2 * one;
    yield 3 * two;
}

var show = showNumbers();

show.next().value // 1
show.next().value // NaN
show.next(2).value // 6

率先次调用next之后回到值one为1,但在第二次调用next的时候one其实是undefined的,因为generator不会活动保存相应变量值,我们须要手动的指定,那时two值为NaN,在第二回调用next的时候实施到yield
3 * two,通过传参将上次yield重临值two设为2,得到结果

另一个板栗:

是因为ajax请求涉及到网络,糟糕处理,那里用了setTimeout模拟ajax的伸手再次回到,按梯次进行,并传递每便回来的数量

 1 var urls = ['url1', 'url2', 'url3'];
 2 
 3 function* request(urls) {
 4     var data;
 5 
 6     for (var i = 0, j = urls.length; i < j; ++i) {
 7         data = yield req(urls[i], data);
 8     }
 9 }
10 
11 var r = request(urls);
12 r.next();
13 
14 function log(url, data, cb) {
15     setTimeout(function() {
16         cb(url);
17     }, 1000);
18     
19 }
20 
21 
22 function req(url, data) {
23     var p = new Promise(function(resolve, reject) {
24         log(url, data, function(rs) {
25             if (!rs) {
26                 reject();
27             } else {
28                 resolve(rs);
29             }
30         });
31     });
32 
33     p.then(function(data) {
34         console.log(data);
35         r.next(data);
36     }).catch(function() {
37         
38     });
39 }

直达了按梯次请求多个地点的法力,伊始直接r.next()无参数,后续通过r.next(data)将data数据传入

澳门葡京备用网址 3

在意代码的第16行,那里参数用了url变量,是为了和data数据做比较

因为初始next()没有参数,假设直接将url换成data的话,就会因为promise对象的数量判断
!rs == undefined 而reject

就此将第16行换成 cb(data || url);

澳门葡京备用网址 4

由此模拟的ajax输出,可明白到next的传参值,第三回在log输出的是 url =
‘url1’值,后续将data = ‘url1’传入req请求,在log中输出 data = ‘url1’值

 

生成器

生成器是迭代器的一种,不过只可以被迭代两遍。那是因为生成器并不会将所有的数码存在内存里,而是在应用的时候生成数据。

>>> mygenerator = (x*x for x in range(3))
>>> for i in mygenerator:
...     print(i)
0
1
4

上面用[]变更了一个迭代器,而那边用()扭转了一个生成器。
不过再进行

for i in mygenerator:
    print(i)

不会有任何输出,因为生成器只好动用一遍。以前四回遍历中,生成器总结的到0,不存储,然后计算得到1,不存储,最终统计拿到4。

有人或者会说,我一直迭代,遍历多好,为何要用生成器,然后去遍历生成器,那多烦劳。

4. for…of循环代替.next()

除却使用.next()方法遍历迭代器对象外,通过ES6提供的新循环形式for…of也可遍历,但与next区其他是,它会忽略return再次回到的值,如

function* showNumbers() {
    yield 1;
    yield 2;
    return 3;
}

var show = showNumbers();

for (var n of show) {
    console.log(n) // 1 2
}

别的,处理for…of循环,具有调用迭代器接口的方法措施也可遍历生成器函数,如扩流年算符…的利用

function* showNumbers() {
    yield 1;
    yield 2;
    return 3;
}

var show = showNumbers();

[...show] // [1, 2, length: 2]

yield

Yield有点像return,不一致的是yield会重返一个生成器

>>> def createGenerator():
...     mylist = range(3)
...     for i in mylist:
...         yield i*i
...
>>> mygenerator = createGenerator() # create a generator
>>> print(mygenerator) # mygenerator is an object!
<generator object createGenerator at 0xb7555c34>
>>> for i in mygenerator:
...     print(i)
0
1
4

地点的这么些例子没有何用,可是当你知道重回数据量很大而且只会被用到一回时,yield关键词就很有用了。
要理解yield,你不或许不明白当重回生成器的函数被调用时,里面的代码实际上并没有运行。那一个函数只是回来了一个生成器的靶子。那有点令人为难明白。

在for循环中,这么些生成器才会被使用到。

今昔跻身不便的部分:
for循环中,生成器第三遍被调用到时,重临那几个生成器的函数会顺序执行到yield部分,然后回到那几个轮回的首先个值。每一趟调用到生成器,都会举行函数中的循环一次,然后回到下一个值,直到没有值被再次回到。

当函数不再履行到yield的时候,生成器为空。那或者是循环截至了仍然不再满意”if/else”判断。

那么您要打听,list列表,所有数据是储存在内存中的。固然数据量极度大,会充裕耗内存。

5. 愈多使用

越来越多应用可参考 MDN –
Generator

解惑题主的标题

生成器

# Here you create the method of the node object that will return the generator
def node._get_child_candidates(self, distance, min_dist, max_dist):
  # Here is the code that will be called each time you use the generator object:
  # If there is still a child of the node object on its left
  # AND if distance is ok, return the next child
  if self._leftchild and distance - max_dist < self._median:
      yield self._leftchild
  # If there is still a child of the node object on its right
  # AND if distance is ok, return the next child
  if self._rightchild and distance + max_dist >= self._median:
      yield self._rightchild
  # If the function arrives here, the generator will be considered empty
  # there is no more than two values: the left and the right children

# Create an empty list and a list with the current object reference
result, candidates = list(), [self]
# Loop on candidates (they contain only one element at the beginning)
while candidates:
    # Get the last candidate and remove it from the list
    node = candidates.pop()
    # Get the distance between obj and the candidate
    distance = node._get_dist(obj)
    # If distance is ok, then you can fill the result
    if distance <= max_dist and distance >= min_dist:
        result.extend(node._values)
    # Add the children of the candidate in the candidates list
    # so the loop will keep running until it will have looked
    # at all the children of the children of the children, etc. of the candidate
    candidates.extend(node._get_child_candidates(distance, min_dist, max_dist))
return result

上边的代码有多少个有趣的地点

  • 循环迭代了一个list的还要,也在往list里面添加成分。那种格局得以很简单遍历所有相邻的数量,即便有恐怕导致极其循环。

candidates.extend(node._get_child_candidates(distance, min_dist, max_dist))

地点的代码会回来所有的生成器,可是while不断得爆发新的生成器。

  • extend()方法是list的一个办法,传入一个迭代器,然后将其加盟到list中

我们一般那样用extend

>>> a = [1, 2]
>>> b = [3, 4]
>>> a.extend(b)
>>> print(a)
[1, 2, 3, 4]

在上面的代码中,传入了一个生成器,那样做有多少个好处

  1. 不必要读五回数据
  2. 字节点不用都存在内存中

上边的代码是实用的,因为python并不尊崇传入的参数是或不是是一个list。它关切传入的是还是不是一个迭代器,所以strings,lists,tuples,generators都以足以看作参数传入的!这叫做鸭子类型,也是python如此受欢迎的缘故之一。

 

操纵生成器

>>> class Bank(): # let's create a bank, building ATMs
...     crisis = False
...     def create_atm(self):
...         while not self.crisis:
...             yield "$100"
>>> hsbc = Bank() # when everything's ok the ATM gives you as much as you want
>>> corner_street_atm = hsbc.create_atm()
>>> print(corner_street_atm.next())
$100
>>> print(corner_street_atm.next())
$100
>>> print([corner_street_atm.next() for cash in range(5)])
['$100', '$100', '$100', '$100', '$100']
>>> hsbc.crisis = True # crisis is coming, no more money!
>>> print(corner_street_atm.next())
<type 'exceptions.StopIteration'>
>>> wall_street_atm = hsbc.create_atm() # it's even true for new ATMs
>>> print(wall_street_atm.next())
<type 'exceptions.StopIteration'>
>>> hsbc.crisis = False # trouble is, even post-crisis the ATM remains empty
>>> print(corner_street_atm.next())
<type 'exceptions.StopIteration'>
>>> brand_new_atm = hsbc.create_atm() # build a new one to get back in business
>>> for cash in brand_new_atm:
...      print cash
$100
$100
$100
$100
$100
$100
$100
$100
$100
...

生成器能够做过多政工,上边代码浮现了何等运用yield控制资源的造访

 

Itertools-最好的爱人

itertools模块中有诸多说了算生成器的方法。

看下边的例子,看看四匹斯特拉斯堡跑或许的各种组合

>>> horses = [1, 2, 3, 4]
>>> races = itertools.permutations(horses)
>>> print(races)
<itertools.permutations object at 0xb754f1dc>
>>> print(list(itertools.permutations(horses)))
[(1, 2, 3, 4), 
(1, 2, 4, 3), 
(1, 3, 2, 4), 
(1, 3, 4, 2), 
(1, 4, 2, 3), 
(1, 4, 3, 2), 
(2, 1, 3, 4), 
(2, 1, 4, 3), 
(2, 3, 1, 4), 
(2, 3, 4, 1), 
(2, 4, 1, 3), 
(2, 4, 3, 1), 
(3, 1, 2, 4), 
(3, 1, 4, 2), 
(3, 2, 1, 4), 
(3, 2, 4, 1), 
(3, 4, 1, 2), 
(3, 4, 2, 1), 
(4, 1, 2, 3), 
(4, 1, 3, 2), 
(4, 2, 1, 3), 
(4, 2, 3, 1), 
(4, 3, 1, 2), 
(4, 3, 2, 1)]

yield是一个非常的return?

询问生成器的贯彻机制

迭代意味着,调用可迭代对象的*iter()方法和迭代器的**next*()方法

分歧的是举办进程中境遇yield关键字,会阻断,yield
再次来到的是一个生成器。

首先次迭代中你的函数会履行,从开始到达
yield 关键字,然后回来 yield 后的值作为第四回迭代的回来值.

接下来,每便执行那么些函数都会继续执行你在函数内部定义的百般循环的下一回,再回到那么些值,直到没有可以再次来到的。

 

小心,当函数中冒出yield,该函数重回的就是一个生成器。不在是常见函数。

def func(num):
    n,a,b = 0,0,1
    while num > n:
        yield b  #阻断,返回b
        a,b = b,a + b
        n+=1

for i in  func(19): #func(19)是一个生成器,生成器只有调用时执行一次。所以这里用循环
    print i

 

除去for循环取值,你也可以通过next()来取下一个值。

t = func(19)
t.next()

 

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*
Website