É possível salvar DataFrameno Spark diretamente no Hive? Eu tentei com a conversão DataFramepara Rdde, em seguida, salvar como um arquivo de texto e, em seguida, carregando no colmeia. Mas estou me perguntando se posso salvar diretamente dataframepara a colmeia
Qual é a motivação para a avaliação da atribuição do Scala à Unidade em vez do valor atribuído? Um padrão comum na programação de E / S é fazer coisas assim: while ((bytesRead = in.read(buffer)) != -1) { ... Mas isso não é possível no Scala porque ... bytesRead = in.read(buffer) .....
Estou tendo uma discussão sobre as listas de parâmetros múltiplos no guia de estilo do Scala que mantenho. Percebi que existem duas maneiras de currying e estou me perguntando quais são os casos de uso: def add(a:Int)(b:Int) = {a + b} // Works add(5)(6) // Doesn't compile val f = add(5) //...
Eu escrevi algum código Scala para executar uma operação elemento a elemento em uma coleção. Aqui eu defini dois métodos que executam a mesma tarefa. Um método usa zipe o outro usa zipped. def ES (arr :Array[Double], arr1 :Array[Double]) :Array[Double] = arr.zip(arr1).map(x => x._1 + x._2) def...
Para comparar o desempenho do Spark ao usar Python e Scala, criei o mesmo trabalho nos dois idiomas e comparei o tempo de execução. Eu esperava que os dois trabalhos levassem aproximadamente a mesma quantidade de tempo, mas o trabalho em Python levou apenas 27min, enquanto o trabalho em Scala...
Muitos tipos de óptica têm uma representação de van Laarhoven. Por exemplo, um Lensdo tipo Lens s t a b pode ser representado como: Functor f => (a -> f b) -> s -> f t Da mesma forma a Traversal, pode ser representado de maneira semelhante, trocando a Functorrestrição por...
Aqui está um pedaço de código da documentação para fs2 . A função goé recursiva. A questão é: como sabemos se a pilha é segura e como raciocinar se alguma função é segura? import fs2._ // import fs2._ def tk[F[_],O](n: Long): Pipe[F,O,O] = { def go(s: Stream[F,O], n: Long): Pull[F,O,Unit] = {...
Eu estava trabalhando nos exemplos de código do capítulo Traits in Programming in Scala Edition1 https://www.artima.com/pins1ed/traits.html e me deparei com um comportamento estranho por causa do meu erro de digitação. Enquanto substituindo método de um traço abaixo trecho de código não dá...
Estou lendo o livro de programação em scala, e diz-se: ... neste caso, seu efeito colateral é imprimir no fluxo de saída padrão. e não vejo onde está o efeito colateral, pois, para a mesma entrada, println imprimirá a mesma saída (acho) UPDATE, por exemplo, sempre que...
Ao usar um ambiente funcional como Scala e cats-effect, a construção de objetos com estado deve ser modelada com um tipo de efeito? // not a value/case class class Service(s: name) def withoutEffect(name: String): Service = new Service(name) def withEffect[F: Sync](name: String): F[Service] =...
Eu tenho um quadro de dados com o seguinte código: def test(lat: Double, lon: Double) = { println(s"testing ${lat / lon}") Map("one" -> "one", "two" -> "two") } val testUDF = udf(test _) df.withColumn("test", testUDF(col("lat"), col("lon"))) .withColumn("test1", col("test.one"))...
Eu tenho um serviço que transfere mensagens a uma taxa bastante alta. Atualmente, é atendido pelo akka-tcp e gera 3,5 milhões de mensagens por minuto. Decidi experimentar o grpc. Infelizmente, resultou em uma taxa de transferência muito menor: ~ 500 mil mensagens por minuto e até menos. Você...
Por que a correspondência de padrões funciona de maneira diferente quando o parâmetro type é proveniente de um método de fechamento em oposição a uma classe de fechamento? Por exemplo, trait Base[T] case class Derived(v: Int) extends Base[Int] class Test[A] { def method(arg: Base[A]) = { arg...
val i: java.lang.Integer = null val o: Option[Int] = Option(i) // This yields Some(0) Qual é a maneira segura de converter null: java.lang.Integerpara Scala
Como faço para incluir o sbt fontes não Java no artefato publicado? Estou usando o plugin Kotlin e não consigo descobrir como forçar o sbt a incluir o arquivo .kt no jar de origem publicado. Inclui apenas arquivos .java. Muitas pessoas online sugerem adicionar o seguinte código ao script sbt, mas...
Eu tenho um iterador de strings, onde cada string pode ser "H"(cabeçalho) ou "D"(detalhe). Quero dividir esse iterador em blocos, onde cada bloco começa com um cabeçalho e pode ter de 0 a muitos detalhes. Eu sei como resolver esse problema carregando tudo na memória. Por exemplo, o código...
Eu sou novo no Scala e quero calcular uma soma móvel com uma janela fixa para uma lista. Por exemplo: Dados os valores da lista (1.0, 2.0, 3.0, 6.0, 7.0, 8.0, 12.0, 9.0, 4.0, 1.0) e o período 4, a função deve retornar: (1.0, 3.0, 6.0, 12.0, 18.0, 24,0, 33,0, 36,0, 33,0, 26,0) Se list.size...