Como normalizar uma matriz em NumPy?

203

Eu gostaria de ter a norma de uma matriz NumPy. Mais especificamente, estou procurando uma versão equivalente dessa função

def normalize(v):
    norm = np.linalg.norm(v)
    if norm == 0: 
       return v
    return v / norm

Existe algo assim em skearnou numpy?

Essa função funciona em uma situação em que vé o vetor 0.

Donbeo
fonte
3
O que há de errado com o que você escreveu?
ali_m
5
Se isso for realmente uma preocupação, verifique a norma <epsilon, onde epsilon é uma tolerância pequena. Além disso, eu não passaria silenciosamente um vetor de norma zero, seria raiseuma exceção!
Hooked
4
minha função funciona, mas eu gostaria de saber se há algo dentro da biblioteca mais comum do python. Estou escrevendo diferentes funções de aprendizado de máquina e eu gostaria de evitar a definir demais novas funções para tornar o código mais claro e legível
Donbeo
1
Fiz alguns testes rápidos e descobri que x/np.linalg.norm(x)não era muito mais lento (cerca de 15 a 20%) do que x/np.sqrt((x**2).sum())no numpy 1.15.1 em uma CPU.
Bill

Respostas:

160

Se você estiver usando o scikit-learn, poderá usar sklearn.preprocessing.normalize:

import numpy as np
from sklearn.preprocessing import normalize

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True
ali_m
fonte
2
Obrigado pela resposta, mas você tem certeza de que o sklearn.preprocessing.normalize também funciona com o vetor da forma = (n,) ou (n, 1)? Estou tendo alguns problemas com esta biblioteca
Donbeo
normalizerequer uma entrada 2D. Você pode passar o axis=argumento para especificar se deseja aplicar a normalização nas linhas ou colunas da sua matriz de entrada.
ali_m
9
Observe que o argumento 'norm' da função normalize pode ser 'l1' ou 'l2' e o padrão é 'l2'. Se você deseja que a soma do seu vetor seja 1 (por exemplo, uma distribuição de probabilidade), use norm = 'l1' na função normalizar.
Ash
2
Observe também que np.linalg.norm(x)calcula a norma 'l2' por padrão. Se você quiser que a soma do seu vetor seja 1, você deve usar #np.linalg.norm(x, ord=1)
Omid
Nota: x deve ser ndarraypara que ele funcione com a normalize()função. Caso contrário, pode ser a list.
Ramin Melikov 27/04
46

Concordo que seria bom se essa função fizesse parte das baterias incluídas. Mas não é, tanto quanto eu sei. Aqui está uma versão para eixos arbitrários e com desempenho ideal.

import numpy as np

def normalized(a, axis=-1, order=2):
    l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
    l2[l2==0] = 1
    return a / np.expand_dims(l2, axis)

A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))

print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))
Eelco Hoogendoorn
fonte
Eu não testei profundamente a solução ali_m, mas em alguns casos simples ela parece estar funcionando. Existem sessões em que sua função se sai melhor?
Donbeo
1
Eu não sei; mas funciona sobre eixos arbitrários e temos controle explícito sobre o que acontece para vetores de comprimento 0.
Eelco Hoogendoorn
1
Muito agradável! Isso deve ficar entorpecido - embora a ordem provavelmente deva vir antes do eixo na minha opinião.
Neil G
@EelcoHoogendoorn Curioso para entender por que ordem = 2 escolhida em detrimento de outras?
Henry Thornton
7
Porque a norma euclidiana / pitagórica é a mais usada; você não concorda?
Eelco Hoogendoorn
21

Você pode especificar ord para obter a norma L1. Para evitar a divisão zero, uso eps, mas talvez isso não seja ótimo.

def normalize(v):
    norm=np.linalg.norm(v, ord=1)
    if norm==0:
        norm=np.finfo(v.dtype).eps
    return v/norm
Eduard Feicho
fonte
6
normalizar [inf, 1, 2]rendimentos [nan, 0, 0], mas não deveria ser [1, 0, 0]?
pasbi
12

Isso também pode funcionar para você

import numpy as np
normalized_v = v / np.sqrt(np.sum(v**2))

mas falha quando vtem comprimento 0.

mrk
fonte
10

Se você possui dados multidimensionais e deseja que cada eixo seja normalizado ao máximo ou à sua soma:

def normalize(_d, to_sum=True, copy=True):
    # d is a (n x dimension) np array
    d = _d if not copy else np.copy(_d)
    d -= np.min(d, axis=0)
    d /= (np.sum(d, axis=0) if to_sum else np.ptp(d, axis=0))
    return d

Utiliza a função numpys pico a pico .

a = np.random.random((5, 3))

b = normalize(a, copy=False)
b.sum(axis=0) # array([1., 1., 1.]), the rows sum to 1

c = normalize(a, to_sum=False, copy=False)
c.max(axis=0) # array([1., 1., 1.]), the max of each row is 1
Jaden Travnik
fonte
Cuidado se todos os valores forem iguais na matriz original, então ptp seria 0. Divisão por 0 retornará nan.
Milso 10/03
8

Há também a função unit_vector()de normalizar vetores no módulo de transformações populares de Christoph Gohlke:

import transformations as trafo
import numpy as np

data = np.array([[1.0, 1.0, 0.0],
                 [1.0, 1.0, 1.0],
                 [1.0, 2.0, 3.0]])

print(trafo.unit_vector(data, axis=1))
Joe
fonte
7

Você mencionou o sci-kit learn, então quero compartilhar outra solução.

aprender sci-kit MinMaxScaler

No sci-kit learn, há uma API chamada MinMaxScaler que pode personalizar o intervalo de valores conforme você desejar.

Também trata de questões de NaN para nós.

Os NaNs são tratados como valores ausentes: desconsiderados no ajuste e mantidos na transformação. ... ver referência [1]

Amostra de código

O código é simples, basta digitar

# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
Referência
WY Hsu
fonte
6

Sem sklearne usando apenas numpy. Basta definir uma função :.

Supondo que as linhas sejam as variáveis e as colunas as amostras ( axis= 1):

import numpy as np

# Example array
X = np.array([[1,2,3],[4,5,6]])

def stdmtx(X):
    means = X.mean(axis =1)
    stds = X.std(axis= 1, ddof=1)
    X= X - means[:, np.newaxis]
    X= X / stds[:, np.newaxis]
    return np.nan_to_num(X)

resultado:

X
array([[1, 2, 3],
       [4, 5, 6]])

stdmtx(X)
array([[-1.,  0.,  1.],
       [-1.,  0.,  1.]])
seralouk
fonte
4

Se você deseja normalizar n vetores de recursos dimensionais armazenados em um tensor 3D, também pode usar o PyTorch:

import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize

vecs = np.random.rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()
max0r
fonte
4

Se você estiver trabalhando com vetores 3D, poderá fazê-lo de forma concisa usando o cinto de ferramentas vg . É uma camada leve em cima de numpy e suporta valores únicos e vetores empilhados.

import numpy as np
import vg

x = np.random.rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = vg.normalize(x)
print np.all(norm1 == norm2)
# True

Eu criei a biblioteca na minha última inicialização, onde foi motivada por usos como este: idéias simples que são muito detalhadas no NumPy.

paulmelnikow
fonte
3

Se você não precisa da máxima precisão, sua função pode ser reduzida para:

v_norm = v / (np.linalg.norm(v) + 1e-16)
sergio verduzco
fonte
3

Se você trabalha com uma matriz multidimensional, é possível seguir uma solução rápida.

Digamos que temos uma matriz 2D, que queremos normalizar pelo último eixo, enquanto algumas linhas têm zero norma.

import numpy as np
arr = np.array([
    [1, 2, 3], 
    [0, 0, 0],
    [5, 6, 7]
], dtype=np.float)

lengths = np.linalg.norm(arr, axis=-1)
print(lengths)  # [ 3.74165739  0.         10.48808848]
arr[lengths > 0] = arr[lengths > 0] / lengths[lengths > 0][:, np.newaxis]
print(arr)
# [[0.26726124 0.53452248 0.80178373]
# [0.         0.         0.        ]
# [0.47673129 0.57207755 0.66742381]]
Stanislav Tsepa
fonte