Jak zbudować tablicę numpy z generatora?

Jak mogę zbudować tablicę numpy z obiektu generatora?

Pozwólcie, że zilustruję problem:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

W tym przypadku gimme()jest to generator, którego wyjście chciałbym zamienić na tablicę. Jednak konstruktor tablicy nie wykonuje iteracji po generatorze, po prostu przechowuje sam generator. Zachowanie, którego pragnę, jest takie numpy.array(list(gimme())), ale nie chcę płacić narzutu pamięci związanego z posiadaniem listy pośredniej i ostatniej tablicy w pamięci w tym samym czasie. Czy istnieje sposób bardziej efektywny przestrzennie?

Tablice Numpy wymagają jawnego ustawienia ich długości podczas tworzenia, w przeciwieństwie do list Pythona. Jest to konieczne, aby miejsce dla każdego elementu mogło być kolejno przydzielane w pamięci. Kolejna alokacja jest kluczową cechą tablic numpy: w połączeniu z implementacją kodu natywnego operacje na nich są wykonywane znacznie szybciej niż zwykłe listy.

Mając to na uwadze, technicznie niemożliwe jest pobranie obiektu generatora i przekształcenie go w tablicę, chyba że:

1. potrafi przewidzieć, ile elementów da po uruchomieniu:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. chcą przechowywać swoje elementy na liście pośredniej:

   my_array = numpy.array(list(gimme()))

3. może utworzyć dwa identyczne generatory, przejść przez pierwszy, aby znaleźć całkowitą długość, zainicjować tablicę, a następnie ponownie uruchomić generator, aby znaleźć każdy element:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1 jest prawdopodobnie tym, czego szukasz. 2 to nieefektywne miejsce, a 3 to nieefektywne czasowo (musisz dwukrotnie przejść przez generator).

Jedno z Google za tym wynikiem przepełnienia stosu okazało się, że istnieje plik numpy.fromiter(data, dtype, count). Domyślnie count=-1pobiera wszystkie elementy z iterowalnego. Wymaga dtypejawnego ustawienia. W moim przypadku zadziałało:

numpy.fromiter(something.generate(from_this_input), float)

Chociaż możesz utworzyć tablicę 1D z generatora za pomocą numpy.fromiter(), możesz utworzyć tablicę ND z generatora za pomocą numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Działa również w przypadku tablic 1D:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Zauważ, że numpy.stackwewnętrznie zużywa generator i tworzy listę pośrednią z arrays = [asanyarray(arr) for arr in arrays]. Implementację można znaleźć tutaj .

Nieco styczne, ale jeśli twój generator jest listą, możesz użyć, numpy.whereaby skuteczniej uzyskać wynik (odkryłem to we własnym kodzie po obejrzeniu tego postu)

Funkcje vstack , hstack i dstack mogą służyć jako generatory danych wejściowych, które generują wielowymiarowe tablice.