Mesclando vários quadros de dados em linhas no PySpark

Eu tenho quadros 10 dados pyspark.sql.dataframe.DataFrame, obtidos a partir randomSplitde (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)agora eu quero participar 9 tdé em um único quadro de dados, como devo fazer isso?

Eu já tentei com unionAll, mas essa função aceita apenas dois argumentos.

td1_2 = td1.unionAll(td2) 
# this is working fine

td1_2_3 = td1.unionAll(td2, td3) 
# error TypeError: unionAll() takes exactly 2 arguments (3 given)

Existe alguma maneira de combinar mais de dois quadros de dados em linhas?

O objetivo é fazer 10 vezes a validação cruzada manualmente, sem usar o CrossValidatormétodo PySpark . Portanto, levo 9 para o treinamento e 1 para os dados de teste e depois repetirei para outras combinações.

Roubado de: /programming/33743978/spark-union-of-multiple-rdds

Fora dos sindicatos em encadeamento, essa é a única maneira de fazê-lo nos DataFrames.

from functools import reduce  # For Python 3.x
from pyspark.sql import DataFrame

def unionAll(*dfs):
    return reduce(DataFrame.unionAll, dfs)

unionAll(td2, td3, td4, td5, td6, td7, td8, td9, td10)

O que acontece é que ele pega todos os objetos que você passou como parâmetros e os reduz usando unionAll (essa redução é do Python, não o Spark, embora eles funcionem da mesma forma), o que eventualmente o reduz a um DataFrame.

Se, em vez dos DataFrames, eles são RDDs normais, você pode passar uma lista deles para a função de união do seu SparkContext

EDIT: Para seu propósito, proponho um método diferente, já que você teria que repetir toda essa união 10 vezes para suas dobras diferentes para validação cruzada, adicionaria rótulos aos quais pertence uma dobra de uma linha e apenas filtraria seu DataFrame para cada dobra com base em o rótulo

Em algum momento, quando os quadros de dados a serem combinados não tiverem a mesma ordem de colunas, é melhor df2.select (df1.columns) para garantir que ambos os df tenham a mesma ordem de coluna antes da união.

import functools 

def unionAll(dfs):
    return functools.reduce(lambda df1,df2: df1.union(df2.select(df1.columns)), dfs) 

Exemplo:

df1 = spark.createDataFrame([[1,1],[2,2]],['a','b'])
# different column order. 
df2 = spark.createDataFrame([[3,333],[4,444]],['b','a']) 
df3 = spark.createDataFrame([555,5],[666,6]],['b','a']) 

unioned_df = unionAll([df1, df2, df3])
unioned_df.show() 

caso contrário, geraria o resultado abaixo.

from functools import reduce  # For Python 3.x
from pyspark.sql import DataFrame

def unionAll(*dfs):
    return reduce(DataFrame.unionAll, dfs) 

unionAll(*[df1, df2, df3]).show()

Que tal usar recursão?

def union_all(dfs):
    if len(dfs) > 1:
        return dfs[0].unionAll(union_all(dfs[1:]))
    else:
        return dfs[0]

td = union_all([td1, td2, td3, td4, td5, td6, td7, td8, td9, td10])