Perguntas com a marcação «spark-csv»

Como mostrar o conteúdo completo da coluna em um Spark Dataframe?

Estou usando o spark-csv para carregar dados em um DataFrame. Quero fazer uma consulta simples e exibir o conteúdo: val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from...

Grave um único arquivo CSV usando spark-csv

Estou usando https://github.com/databricks/spark-csv , estou tentando escrever um único CSV, mas não consigo, estou criando uma pasta. Precisa de uma função Scala que pegará parâmetros como caminho e nome de arquivo e escreverá esse arquivo