Remova o elemento da lista no dataframe do pandas com base no valor na coluna

Digamos que eu tenho o seguinte quadro de dados:

a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [1,1]


df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])

E meu objetivo é remover os elementos nas listas da série A que estão na série B. Minha tentativa de fazer isso está abaixo:

df['a'] = [i.remove(j) for i,j in zip(df.a, df.b)]

A lógica parece-me, no entanto, estou terminando com df ['a'] sendo uma série de nulos. O que está acontecendo aqui?

list.remove (x) remove o valor no local e retorna Nenhum. É por isso que o código acima está falhando para você. Você também pode fazer algo como o seguinte.

a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [1,1]
df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])
for i, j in zip(df.a, df.b):
    i.remove(j)

print df

                        a  b
0         [2, 3, 4, 5, 6]  1
1  [23, 23, 212, 223, 12]  1

Aqui está uma maneira alternativa de fazer isso:

In []:
df2 = df.explode('a')
df['a'] = df2.a[df2.a != df2.b].groupby(level=0).apply(list)
df

Out[]:
                        a  b
0         [2, 3, 4, 5, 6]  1
1  [23, 23, 212, 223, 12]  1

Supondo que a linha bcontenha apenas um valor, você pode tentar o seguinte usando uma compreensão de lista em uma função e simplesmente aplicá-la:

import pandas as pd
a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [1,1]


df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])
def removing(row):
    val = [x for x in row['a'] if x != row['b']]
    return val
df['c'] = df.apply(removing,axis=1)
print(df)

Resultado:

                           a  b                       c
0         [1, 2, 3, 4, 5, 6]  1         [2, 3, 4, 5, 6]
1  [23, 23, 212, 223, 1, 12]  1  [23, 23, 212, 223, 12]

O que eu farei

s=pd.DataFrame(df.a.tolist(),index=df.index)
df['a']=s.mask(s.eq(df.b,0)).stack().astype(int).groupby(level=0).apply(list)
Out[264]: 
0           [2, 3, 4, 5, 6]
1    [23, 23, 212, 223, 12]
dtype: object

Que tal agora:

b = [[1],[1]] 

df['a'] = df.apply(lambda row: list(set(row['a']).difference(set(row['b']))), axis=1)

b deve ser dessa maneira, mas você pode obter a diferença mesmo se desejar remover mais de um elemento.

Exemplo:

import pandas as pd
a = [[1,2,3,4,5,6],[23,23,212,223,1,12]]
b = [[1,5],[1,23]]


df = pd.DataFrame(zip(a,b), columns = ['a', 'b'])



df['a'] = df.apply(lambda row: list(set(row['a']).difference(set(row['b']))), axis=1)