Sem forma, o tipo Nat representa uma maneira de codificar números naturais em um nível de tipo. Isso é usado, por exemplo, para listas de tamanho fixo. Você pode até fazer cálculos no nível de tipo, por exemplo, anexar uma lista de Nelementos a uma lista de Kelementos e recuperar uma lista que é...
Eu sei que um único teste pode ser executado executando, em sbt, testOnly *class -- -n Tag Existe uma maneira de dizer ao sbt / scalatest para executar um único teste sem tags? Por exemplo: testOnly *class -- -X 2 significaria "executar o segundo teste da classe. Seja o que for". Temos vários...
Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Quais são os recursos ocultos do Scala que todo desenvolvedor de Scala...
De acordo com a introdução de conjuntos de dados Spark : Como esperamos ansiosamente pelo Spark 2.0, planejamos algumas melhorias interessantes para conjuntos de dados, especificamente: ... Codificadores personalizados - enquanto atualmente geramos automaticamente codificadores para uma ampla...
É possível comparar em uma comparação usando o sistema de correspondência de padrões no Scala? Por exemplo: a match { case 10 => println("ten") case _ > 10 => println("greater than ten") case _ => println("less than ten") } A segunda declaração de caso é ilegal, mas eu gostaria de...
Embora possa haver casos válidos em que essas sobrecargas de método possam se tornar ambíguas, por que o compilador desaprova o código que não é ambíguo no tempo de compilação nem no tempo de execução? Exemplo: // This fails: def foo(a: String)(b: Int = 42) = a + b def foo(a: Int) (b: Int = 42) =...
Após essa pergunta , alguém pode explicar o seguinte em Scala: class Slot[+T] (var some: T) { // DOES NOT COMPILE // "COVARIANT parameter in CONTRAVARIANT position" } Eu entendo a distinção entre +Te Tna declaração de tipo (ele compila se eu usar T). Mas então como alguém realmente escreve...
Comecei a desenvolver o Scala / LiftWeb / Sbt e gostaria de importar um projeto de Sbt no IntelliJ Idea. Na verdade, consegui importar meu projeto de duas maneiras diferentes: 1) com Maven. Criei um projeto Maven e, além disso, criei um projeto Sbt, que depois importei no IntelliJ. Eu poderia...
Qual é a diferença entre ==e .equals()no Scala e quando usar qual? A implementação é a mesma que em Java? EDIT: A pergunta relacionada fala sobre casos específicos de AnyVal. O caso mais geral é
Estou realmente interessado em descobrir onde estão as diferenças e, de maneira mais geral, identificar casos de uso canônicos em que as HLists não podem ser usadas (ou melhor, não produzem nenhum benefício em relação às listas regulares). (Estou ciente de que existem 22 (acredito)) TupleNem Scala,...
Eu sou novo no Scala e não consegui encontrar muita coisa sobre a typepalavra - chave. Estou tentando entender o que a seguinte expressão pode significar: type FunctorType = (LocalDate, HolidayCalendar, Int, Boolean) => LocalDate FunctorType é algum tipo de apelido, mas o que isso...
Instalei o Spark usando o guia da AWS EC2 e posso iniciar o programa com bin/pysparkprecisão usando o script para acessar o prompt do spark e também posso executar o Quick Start com êxito. No entanto, durante toda a minha vida, não consigo descobrir como interromper todo o INFOlog detalhado após...
Para ler arquivos no Scala, há Source.fromFile("file.txt").mkString Existe uma maneira equivalente e concisa de escrever uma string no arquivo? A maioria dos idiomas suporta algo assim. O meu favorito é o Groovy: def f = new File("file.txt") // Read def s = f.text // Write f.text = "file...
Eu tenho um DataFrame gerado da seguinte maneira: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Os resultados são parecidos com: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| |...
Em quais casos eu devo usar Array (Buffer) e List (Buffer). Apenas uma diferença que eu sei é que as matrizes não são variantes e as listas são covariantes. Mas e o desempenho e algumas outras
Gostaria de ler um CSV no spark e convertê-lo como DataFrame e armazená-lo no HDFS com df.registerTempTable("table_name") Eu tentei: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erro que recebi: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet...
Como posso converter um RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) em um Dataframe org.apache.spark.sql.DataFrame. Eu converti um dataframe para rdd usando .rdd. Depois de processá-lo, quero-o novamente no dataframe. Como posso fazer isso
Quando uma classe de caso tem muitos campos e seus nomes são longos, geralmente é uma boa idéia escrever cada campo em cada linha, como: case class Person ( name: String, age: Int ) Isso se assemelha à structdefinição de C / C ++ e é totalmente legível, mesmo quando a classe de caso se torna...
Atualmente, essa questão não se encaixa no nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou conhecimentos, mas essa pergunta provavelmente solicitará debates, argumentos, pesquisas ou discussões prolongadas. Se você acha...
Eu tenho um arquivo data.xmlem src/test/resources/. Como posso ler esse arquivo em um novo FileReaderno meu teste data.scalaem