przekonwertuj wartość nan na zero

97

Mam tablicę numpy 2D. Niektóre wartości w tej tablicy to NaN. Chcę wykonać określone operacje przy użyciu tej tablicy. Na przykład rozważ tablicę:

[[   0.   43.   67.    0.   38.]
 [ 100.   86.   96.  100.   94.]
 [  76.   79.   83.   89.   56.]
 [  88.   NaN   67.   89.   81.]
 [  94.   79.   67.   89.   69.]
 [  88.   79.   58.   72.   63.]
 [  76.   79.   71.   67.   56.]
 [  71.   71.   NaN   56.  100.]]

Próbuję wziąć każdy wiersz, po jednym na raz, posortować go w odwrotnej kolejności, aby uzyskać maksymalnie 3 wartości z wiersza i wziąć ich średnią. Kod, który wypróbowałem, to:

# nparr is a 2D numpy array
for entry in nparr:
    sortedentry = sorted(entry, reverse=True)
    highest_3_values = sortedentry[:3]
    avg_highest_3 = float(sum(highest_3_values)) / 3

Nie działa to w przypadku wierszy zawierających NaN. Moje pytanie brzmi: czy istnieje szybki sposób na przekonwertowanie wszystkich NaNwartości na zero w tablicy numpy 2D, aby nie mieć problemów z sortowaniem i innymi rzeczami, które próbuję zrobić.

Curious2learn
źródło
1
each: map: return isNaN(value) ? 0 : value
kirilloid
@kirilloid: brzmi dobrze, a przykładowe użycie?
serv-inc

Odpowiedzi:

125

To powinno działać:

from numpy import *

a = array([[1, 2, 3], [0, 3, NaN]])
where_are_NaNs = isnan(a)
a[where_are_NaNs] = 0

W powyższym przypadku gdzie_are_NaNs to:

In [12]: where_are_NaNs
Out[12]: 
array([[False, False, False],
       [False, False,  True]], dtype=bool)
Marcin
źródło
141

Gdzie Ajest twoja tablica 2D:

import numpy as np
A[np.isnan(A)] = 0

Funkcja isnantworzy tablicę bool wskazującą, gdzie znajdują się NaNwartości. Tablica logiczna może służyć do indeksowania tablicy o tym samym kształcie. Pomyśl o tym jak o masce.

Paweł
źródło
42

A co z nan_to_num () ?

Drake Guan
źródło
11
nan_to_num () również zmienia nieskończoność - w niektórych przypadkach może to być niepożądane.
Agos
11
Jest również> 10 razy wolniejszy niż inne metody.
user48956
7
Nie byłem pewien co do stwierdzenia tat "> 10x wolno", więc sprawdziłem. Rzeczywiście, jest o wiele wolniejszy. Dziękuję za zwrócenie uwagi.
Gabriel
16

Możesz użyć, np.whereaby znaleźć, gdzie masz NaN:

import numpy as np

a = np.array([[   0,   43,   67,    0,   38],
              [ 100,   86,   96,  100,   94],
              [  76,   79,   83,   89,   56],
              [  88,   np.nan,   67,   89,   81],
              [  94,   79,   67,   89,   69],
              [  88,   79,   58,   72,   63],
              [  76,   79,   71,   67,   56],
              [  71,   71,   np.nan,   56,  100]])

b = np.where(np.isnan(a), 0, a)

In [20]: b
Out[20]: 
array([[   0.,   43.,   67.,    0.,   38.],
       [ 100.,   86.,   96.,  100.,   94.],
       [  76.,   79.,   83.,   89.,   56.],
       [  88.,    0.,   67.,   89.,   81.],
       [  94.,   79.,   67.,   89.,   69.],
       [  88.,   79.,   58.,   72.,   63.],
       [  76.,   79.,   71.,   67.,   56.],
       [  71.,   71.,    0.,   56.,  100.]])
Anton Protopopov
źródło
1
tak jak jest, to nie działa, musisz zmienić np.where(np.isnan(a), a, 0)na np.where(~np.isnan(a), a, 0). Może to być jednak różnica w używanych wersjach.
TehTris
1
@TehTris masz rację, dzięki. Zmieniłem to na b = np.where(np.isnan(a), 0, a)które jest prostsze niż ~myślę.
Anton Protopopov
11

Przykładowy kod odpowiedzi Drake'a do użycia nan_to_num:

>>> import numpy as np
>>> A = np.array([[1, 2, 3], [0, 3, np.NaN]])
>>> A = np.nan_to_num(A)
>>> A
array([[ 1.,  2.,  3.],
       [ 0.,  3.,  0.]])
serv-inc
źródło
3

Możesz użyć numpy.nan_to_num :

numpy.nan_to_num (x): Wymienić NaN z zera i INF z liczb skończonych .

Przykład (patrz dokument):

>>> np.set_printoptions(precision=8)
>>> x = np.array([np.inf, -np.inf, np.nan, -128, 128])
>>> np.nan_to_num(x)
array([  1.79769313e+308,  -1.79769313e+308,   0.00000000e+000,
        -1.28000000e+002,   1.28000000e+002])
Bilal
źródło
1

nan nigdy nie jest równe nan

if z!=z:z=0

więc dla tablicy 2D

for entry in nparr:
    if entry!=entry:entry=0
litepresence
źródło
To nie działa: entryjest tablicą 1D, więc test entry != entrynie podaje prostej wartości logicznej, ale podnosi ValueError.
Eric O Lebigot
-1

Możesz użyć funkcji lambda, przykład dla tablicy 1D:

import numpy as np
a = [np.nan, 2, 3]
map(lambda v:0 if np.isnan(v) == True else v, a)

To da wynik:

[0, 2, 3]
Mohanad Kaleia
źródło
-8

Dla twoich celów, jeśli wszystkie elementy są przechowywane jako stri po prostu używasz posortowanych, jak używasz, a następnie sprawdź pierwszy element i zamień go na „0”

>>> l1 = ['88','NaN','67','89','81']
>>> n = sorted(l1,reverse=True)
['NaN', '89', '88', '81', '67']
>>> import math
>>> if math.isnan(float(n[0])):
...     n[0] = '0'
... 
>>> n
['0', '89', '88', '81', '67']
Senthil Kumaran
źródło
6
Czy twój komentarz nie jest nieco szorstki? Wiem, co to jest numpy, ale wiedziałem, że tablica nie będzie ciągiem reprezentującym liczby. W szczególności nie brałem tego pod uwagę z punktu widzenia numpy, ale z perspektywy Pythona, jeśli to było przydatne.
Senthil Kumaran
2
Zmiana kolejności tablicy brzmi jak zagmatwany sposób rozwiązania tego problemu.
holografix
Muszę zachować kolejność mojej tablicy. To nie zadziała, jeśli masz wiele „NaN” w swojej tablicy.
3nrique0