W bezkształtnym typ Nat reprezentuje sposób kodowania liczb naturalnych na poziomie typu. Jest to używane na przykład w przypadku list o stałym rozmiarze. Możesz nawet wykonać obliczenia na poziomie typu, np. Dołączyć listę Nelementów do listy Kelementów i otrzymać listę, która w czasie kompilacji...
Wiem, że pojedynczy test można uruchomić, uruchamiając w sbt, testOnly *class -- -n Tag Czy istnieje sposób na poinformowanie sbt / scalatest, aby uruchomił pojedynczy test bez tagów? Na przykład: testOnly *class -- -X 2 oznaczałoby to „uruchom drugi test w klasie. Cokolwiek to jest”. Mamy...
Zamknięte . To pytanie i odpowiedzi na nie są zablokowane, ponieważ pytanie nie dotyczy tematu, ale ma znaczenie historyczne. Obecnie nie przyjmuje nowych odpowiedzi ani interakcji. Jakie są ukryte funkcje Scali, o których powinien wiedzieć każdy programista
Zgodnie z wprowadzeniem zestawów danych Spark : Z niecierpliwością czekamy na Spark 2.0, planujemy kilka ekscytujących ulepszeń zestawów danych, w szczególności: ... Niestandardowe kodery - podczas gdy obecnie automatycznie generujemy kodery dla wielu różnych typów, chcielibyśmy otworzyć...
Chociaż mogą istnieć prawidłowe przypadki, w których takie przeciążenia metod mogą stać się niejednoznaczne, dlaczego kompilator nie zezwala na kod, który nie jest niejednoznaczny w czasie kompilacji ani w czasie wykonywania? Przykład: // This fails: def foo(a: String)(b: Int = 42) = a + b def...
Czy możliwe jest dopasowanie w porównaniu przy użyciu systemu dopasowywania wzorców w Scali? Na przykład: a match { case 10 => println("ten") case _ > 10 => println("greater than ten") case _ => println("less than ten") } Drugie stwierdzenie przypadku jest niedozwolone, ale...
Kontynuując to pytanie , czy ktoś może wyjaśnić w Scali, co następuje: class Slot[+T] (var some: T) { // DOES NOT COMPILE // "COVARIANT parameter in CONTRAVARIANT position" } Rozumiem różnicę między +Tiw Tdeklaracji typu (kompiluje się, jeśli używam T). Ale jak właściwie napisać klasę, która...
Właśnie zacząłem rozwijać Scala / LiftWeb / Sbt i chciałbym zaimportować projekt Sbt do IntelliJ Idea. Właściwie udało mi się zaimportować mój projekt na dwa różne sposoby: 1) z Mavenem. Stworzyłem projekt Maven, a przede wszystkim stworzyłem projekt Sbt, który następnie zaimportowałem do...
Próbowałem, df.orderBy("col1").show(10)ale posortowano w kolejności rosnącej. df.sort("col1").show(10)sortuje również w porządku malejącym. Spojrzałem na stackoverflow i wszystkie odpowiedzi, które znalazłem, były nieaktualne lub odnosiły się do RDD . Chciałbym użyć natywnej ramki danych w...
Zainstalowałem Sparka za pomocą przewodnika AWS EC2 i mogę poprawnie uruchomić program za pomocą bin/pysparkskryptu, aby dostać się do podpowiedzi iskry, a także mogę pomyślnie wykonać przewodnik Szybki start. Jednak do końca życia nie mogę wymyślić, jak zatrzymać wszystkie szczegółowe...
Naprawdę jestem zainteresowany ustaleniem, gdzie są różnice, a bardziej ogólnie, zidentyfikowaniem kanonicznych przypadków użycia, w których HLists nie mogą być używane (a raczej nie dają żadnych korzyści w porównaniu do zwykłych list). (Zdaję sobie sprawę, że TupleNw Scali jest 22 (wierzę) ,...
Jaka jest różnica między ==i .equals()w Scala, a kiedy używać które? Czy implementacja jest taka sama jak w Javie? EDYCJA: Powiązane pytanie dotyczy konkretnych przypadków AnyVal. Bardziej ogólny przypadek to
Jestem nowy w Scali i nie mogłem znaleźć wiele informacji na temat typesłowa kluczowego. Próbuję zrozumieć, co może oznaczać to wyrażenie: type FunctorType = (LocalDate, HolidayCalendar, Int, Boolean) => LocalDate FunctorType jest jakimś aliasem, ale co to
Do czytania plików w Scali jest Source.fromFile("file.txt").mkString Czy istnieje równoważny i zwięzły sposób zapisania ciągu znaków do pliku? Większość języków obsługuje coś takiego. Moim ulubionym jest Groovy: def f = new File("file.txt") // Read def s = f.text // Write f.text = "file...
Mam DataFrame wygenerowaną w następujący sposób: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Wyniki wyglądają następująco: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0|...
W jakich przypadkach powinienem używać Array (Buffer) i List (Buffer). Jedyną różnicą, którą znam, jest to, że tablice są niezmienne, a listy są kowariantne. Ale co z wydajnością i innymi
Chciałbym przeczytać plik CSV w Spark i przekonwertować go na DataFrame i zapisać w HDFS z df.registerTempTable("table_name") Próbowałem: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Błąd, który otrzymałem: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not...
Jaka jest różnica między RDD map a mapPartitionsmetodą? I flatMapzachowuje się jak maplub jak mapPartitions? Dzięki. (edytuj) tj. jaka jest różnica (semantycznie lub pod względem wykonania) między def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] =...
Jak mogę przekonwertować RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) na Dataframe org.apache.spark.sql.DataFrame. Przekonwertowałem ramkę danych na rdd za pomocą .rdd. Po przetworzeniu chcę go z powrotem w ramce danych. W jaki sposób mogę to zrobić
W obecnym stanie to pytanie nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi będą poparte faktami, referencjami lub ekspertyzą, ale to pytanie prawdopodobnie będzie wymagało debaty, argumentów, ankiet lub rozszerzonej dyskusji. Jeśli uważasz, że to...