在“for in”循环中访问迭代器

2023-12-20

根据我的理解,当运行如下代码时:

for i in MyObject:
    print(i)

我的对象__iter__函数运行,for 循环使用它返回的迭代器来运行循环。

是否可以在循环中访问此迭代器对象?它是一个隐藏的局部变量,还是类似的东西?

我想做以下事情:

for i in MyObject:
    blah = forloopiterator()
    modify_blah(blah)
    print(i)

我想这样做是因为我正在构建一个调试器,并且我需要在实例化迭代器后修改它(添加一个要在此循环期间、执行过程中迭代的对象)。我知道这是一种黑客行为,不应该以常规方式完成。直接修改 MyObject.items (迭代器正在迭代的内容)不起作用,因为迭代器仅计算一次。所以我需要直接修改迭代器。


It is只要您愿意依赖 Python 解释器的多个未记录的内部结构(在我的例子中为 CPython 3.7),您就可以做您想做的事情,但这不会给您带来任何好处。


迭代器不暴露于locals,或其他任何地方(甚至不是调试器)。但正如帕特里克·豪所指出的 https://stackoverflow.com/questions/51937482/accessing-iterator-in-for-in-loop/51938335#comment90826207_51937482,您可以通过以下方式间接获得它get_referrers https://docs.python.org/3/library/gc.html#gc.get_referrers。例如:

for ref in gc.get_referrers(seq):
    if isinstance(ref, collections.abc.Iterator):
        break
else:
    raise RuntimeError('Oops')

当然,如果您对同一个列表有两个不同的迭代器,我不知道是否有任何方法可以在它们之间做出决定,但让我们忽略这个问题。


现在,你用这个做什么?你已经有一个迭代器了seq,然后……现在怎么办?你不能用有用的东西代替它,比如itertools.chain(seq, [1, 2, 3])。没有用于改变列表、集合等迭代器的公共 API,更不用说任意迭代器了。

如果您碰巧知道它是一个列表迭代器……那么,CPython 3.xlistiterator确实是可变的。它们被腌制的方式是创建一个空迭代器并调用__setstate__引用列表和索引:

>>> print(ref.__reduce__())
(<function iter>, ([0, 1, 2, 3, 4, 5, 6, 7, 8, 9],), 7)
>>> ref.__setstate__(3) # resets the iterator to index 3 instead of 7
>>> ref.__reduce__()[1][0].append(10) # adds another value

但这有点愚蠢,因为只需改变原始列表就可以获得相同的效果。实际上:

>>> ref.__reduce__()[1][0] is seq
True

So:

lst = list(range(10))
for elem in lst:
  print(elem, end=' ')
  if elem % 2:
    lst.append(elem * 2)
print()

...将打印出:

0 1 2 3 4 5 6 7 8 9 2 6 10 14 18 

...根本不必与迭代器胡闹。


你不能用一套做同样的事情。

在迭代过程中改变集合会影响迭代器,就像改变列表一样,但它的作用是不确定的。毕竟集合的顺序是任意的,只能保证一致只要你不添加或删除。如果中间添加或删除会发生什么?您可能会得到完全不同的顺序,这意味着您最终可能会重复已经迭代的元素,并丢失您从未见过的元素。 Python 暗示这在任何实现中都应该是非法的,并且 CPython 确实检查了它:

s = set(range(10))
for elem in s:
  print(elem, end=' ')
  if elem % 2:
    s.add(elem * 2)
print()

这会立即引发:

RuntimeError: Set changed size during iteration

那么,如果我们在 Python 背后使用同样的技巧,找到set_iterator,并尝试改变它?

s = {1, 2, 3}
for elem in s:
    print(elem)
    for ref in gc.get_referrers(seq):
        if isinstance(ref, collections.abc.Iterator):
            break
    else:
        raise RuntimeError('Oops')
    print(ref.__reduce__)

在这种情况下您将看到类似于:

2
(<function iter>, ([1, 3],))
1
(<function iter>, ([3],))
3
(<function iter>, ([],))

换句话说,当你腌制一个set_iterator,它创建剩余元素的列表,并返回指令以从该列表构建新的列表迭代器。改变临时列表显然没有任何有用的效果。


元组怎么样?显然你不能只改变元组本身,因为元组是不可变的。但是迭代器呢?

在 CPython 的幕后,tuple_iterator具有相同的结构和代码listiterator(正如iterator输入您从通话中获得的信息iter在定义的“旧式序列”类型上__len__ and __getitem__但不是__iter__). So, you can do the exact same trick to get at the iterator, and toreduce` it.

但一旦你这样做了,ref.__reduce__()[1][0] is seq又会是真的——换句话说,它是一个元组,与您已经拥有的元组相同,并且仍然是不可变的。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在“for in”循环中访问迭代器 的相关文章

随机推荐