by

Jdk-8u231-macosx-x64.dmg

-->
  1. Jdk-8u231-macosx-x64.dmg

V tomto kurzu se naučíte, jak spustit rozhraní .NET pro Apache Spark aplikaci pomocí .NET Core ve Windows, macOS a Ubuntu.This tutorial teaches you how to run a .NET for Apache Spark app using .NET Core on Windows, macOS, and Ubuntu.

V tomto kurzu se naučíte:In this tutorial, you learn how to:

Mac Java JRE 8 Update 281,Java Runtime Environment for Mac(適用於 Mac 的 JRE)允許您玩在線遊戲,與世界各地的人聊天,計算您的抵押貸款利息,並在 3D 中查看圖像,僅舉幾例。這也是企業計.,Mac軟體,Mac軟體教學,Mac Software,Mac Software Download. Operating System: Patch ID: Bulletin ID: Patch Description: Java Setup File. Windows: 312578: TU-030: Java 7 Update 251: 312578-jre-7u251-windows-i586.msi: Windows.

  • Příprava prostředí pro .NET pro Apache SparkPrepare your environment for .NET for Apache Spark
  • Zápis prvního rozhraní .NET pro Apache Spark aplikaciWrite your first .NET for Apache Spark application
  • Sestavte a spusťte rozhraní .NET pro Apache Spark aplikaciBuild and run your .NET for Apache Spark application

Příprava prostředíPrepare your environment

Než začnete psát aplikaci, musíte nastavit některé závislosti požadavků.Before you begin writing your app, you need to set up some prerequisite dependencies.Pokud můžete spustit dotnet , java , spark-shell z prostředí příkazového řádku, je vaše prostředí už připravené a můžete přejít k další části.If you can run dotnet, java, spark-shell from your command line environment, then your environment is already prepared and you can skip to the next section.Pokud nemůžete spustit žádný z příkazů nebo všechny, proveďte následující kroky.If you cannot run any or all of the commands, do the following steps.

ID Project Category View Status Date Submitted Last Update; 0036198: FPC: Installer: public: 2019-10-20 12:47: 2019-10-21 08:08: Reporter: Philip: Assigned To: Jonas.

1. instalace .NET1. Install .NET

Chcete-li začít sestavovat aplikace .NET, je nutné stáhnout a nainstalovat sadu .NET SDK (Software Development Kit).To start building .NET apps, you need to download and install the .NET SDK (Software Development Kit).

Stáhněte a nainstalujte .NET Core SDK.Download and install the .NET Core SDK.Instalace sady SDK přidá do dotnet své cesty sada nástrojů.Installing the SDK adds the dotnet toolchain to your PATH.

Po instalaci .NET Core SDK otevřete nový příkazový řádek nebo terminál a spusťte příkaz dotnet .Once you've installed the .NET Core SDK, open a new command prompt or terminal and run dotnet.

Pokud se příkaz spustí a vytiskne informace o použití dotnet, může přejít k dalšímu kroku.If the command runs and prints out information about how to use dotnet, can move to the next step.Pokud se zobrazí 'dotnet' is not recognized as an internal or external command Chyba, před spuštěním příkazu se ujistěte, že jste otevřeli Nový příkazový řádek nebo terminál.If you receive a 'dotnet' is not recognized as an internal or external command error, make sure you opened a new command prompt or terminal before running the command.

2. instalace Java2. Install Java

Nainstalujte Java 8,1 pro Windows a MacOS nebo OpenJDK 8 pro Ubuntu.Install Java 8.1 for Windows and macOS, or OpenJDK 8 for Ubuntu.

Vyberte odpovídající verzi pro váš operační systém.Select the appropriate version for your operating system.Vyberte například jdk-8u201-windows-x64.exe pro počítač se systémem Windows x64 (jak je vidět níže) nebo JDK-8u231-MacOSX-x64. dmg pro MacOS.For example, select jdk-8u201-windows-x64.exe for a Windows x64 machine (as shown below) or jdk-8u231-macosx-x64.dmg for macOS.Pak pomocí příkazu java Ověřte instalaci.Then, use the command java to verify the installation.

3. instalace kompresního softwaru3. Install compression software

Apache Spark se stáhl jako komprimovaný soubor. tgz.Apache Spark is downloaded as a compressed .tgz file.K extrakci souboru použijte program pro extrakci, například 7-zip nebo WinZip.Use an extraction program, like 7-Zip or WinZip, to extract the file.

4. instalace Apache Spark4. Install Apache Spark

Stáhněte a nainstalujte Apache Spark.Download and install Apache Spark.Budete muset vybrat z verze 2,3. * nebo 2.4.0, 2.4.1, 2.4.3, 2.4.4, 2.4.5, 2.4.6, 2.4.7, 3.0.0 nebo 3.0.1 (.NET pro Apache Spark není kompatibilní s jinými verzemi Apache Spark).You'll need to select from version 2.3.* or 2.4.0, 2.4.1, 2.4.3, 2.4.4, 2.4.5, 2.4.6, 2.4.7, 3.0.0, or 3.0.1 (.NET for Apache Spark is not compatible with other versions of Apache Spark).

Play gta 5 full game. Příkazy použité v následujících krocích předpokládají, že jste stáhli a nainstalovali Apache Spark 3.0.1.The commands used in the following steps assume you have downloaded and installed Apache Spark 3.0.1.Pokud chcete použít jinou verzi, nahraďte 3.0.1 příslušným číslem verze.If you wish to use a different version, replace 3.0.1 with the appropriate version number.Pak extrahujte soubor . tar a Apache Spark soubory.Then, extract the .tar file and the Apache Spark files.

Extrahování vnořeného souboru . tar :To extract the nested .tar file:

  • Vyhledejte soubor Spark-3.0.1-bin-Hadoop 2.7. tgz , který jste stáhli.Locate the spark-3.0.1-bin-hadoop2.7.tgz file that you downloaded.
  • Klikněte pravým tlačítkem na soubor a vyberte 7-zip-> extrakci.Right click on the file and select 7-Zip -> Extract here.
  • Spark-3.0.1-bin-Hadoop 2.7. tar se vytvoří společně s staženým souborem . tgz , který jste stáhli.spark-3.0.1-bin-hadoop2.7.tar is created alongside the .tgz file you downloaded.

Extrahování Apache Spark souborů:To extract the Apache Spark files:

  • Klikněte pravým tlačítkem na Spark-3.0.1-bin-Hadoop 2.7. tar a vyberte 7-zip-> extrahování souborů..Right-click on spark-3.0.1-bin-hadoop2.7.tar and select 7-Zip -> Extract files..
  • Do pole extrahovat do zadejte C:Bin .Enter C:bin in the Extract to field.
  • Zrušte zaškrtnutí políčka pod polem extrahovat do .Uncheck the checkbox below the Extract to field.
  • Vyberte OK.Select OK.
  • Soubory Apache Spark jsou extrahovány do C:binspark-3.0.1-bin-hadoop2.7The Apache Spark files are extracted to C:binspark-3.0.1-bin-hadoop2.7

Spuštěním následujících příkazů nastavte proměnné prostředí používané k vyhledání Apache Spark.Run the following commands to set the environment variables used to locate Apache Spark.V systému Windows spusťte příkazový řádek v režimu správce.On Windows, make sure to run the command prompt in administrator mode.

Jakmile nainstalujete vše a nastavíte proměnné prostředí, otevřete Nový příkazový řádek nebo terminál a spusťte následující příkaz:Once you've installed everything and set your environment variables, open a new command prompt or terminal and run the following command:

Pokud se příkaz spustí a zobrazí informace o verzi, můžete přejít k dalšímu kroku.If the command runs and prints version information, you can move to the next step.

Pokud se zobrazí 'spark-submit' is not recognized as an internal or external command Chyba, ujistěte se, že jste otevřeli Nový příkazový řádek.If you receive a 'spark-submit' is not recognized as an internal or external command error, make sure you opened a new command prompt.

Performing a system recovery or reset can resolve issues by returning your computer to a previous or original configuration. Confirm if other system recovery options work with your computer, and then order recovery media on CDs, DVDs, or a USB drive if necessary. Many HP computers have an emergency BIOS recovery feature that allows you to recover and install the last known good version of the BIOS from the hard drive, as long as the hard drive remains functional. This emergency recovery feature is separate from the BIOS and is designed to work in the event of a catastrophic BIOS failure. HP has updates available for download to address the vulnerability. HP Desktop PCs - Recovering the BIOS. Many HP computers have an emergency BIOS recovery. Download a crisis recovery program designed specifically to restore damaged or otherwise non-functioning copies of Phoenix BIOS. Hp phoenix crisis recovery download. If the HP BIOS Update screen does not display, repeat the previous steps but press the Windows key and the V key. If the screen still does not display, your computer might not support the feature or there is a hard drive issue. Continue to the next section to Recover the BIOS using a USB recovery drive.

5. Nainstalujte rozhraní .NET pro Apache Spark5. Install .NET for Apache Spark

Stáhněte si verzi Microsoft. spark. Worker z rozhraní .net pro Apache Spark GitHub.Download the Microsoft.Spark.Worker release from the .NET for Apache Spark GitHub.Pokud jste například na počítači s Windows a plánujete použít .NET Core, Stáhněte si verzi Windows x64 netcoreapp 3.1.For example if you're on a Windows machine and plan to use .NET Core, download the Windows x64 netcoreapp3.1 release.

Extrakce Microsoft. spark. Worker:To extract the Microsoft.Spark.Worker:

  • Vyhledejte soubor Microsoft.Spark.Worker.netcoreapp3.1.win-x64-1.0.0.zip , který jste stáhli.Locate the Microsoft.Spark.Worker.netcoreapp3.1.win-x64-1.0.0.zip file that you downloaded.
  • Klikněte pravým tlačítkem a vyberte 7-zip – > extrahování souborů...Right-click and select 7-Zip -> Extract files...
  • Do pole extrahovat do zadejte C:Bin .Enter C:bin in the Extract to field.
  • Zrušte zaškrtnutí políčka pod polem extrahovat do .Uncheck the checkbox below the Extract to field.
  • Vyberte OK.Select OK.

6. instalace WinUtils (jenom Windows)6. Install WinUtils (Windows only)

Rozhraní .NET pro Apache Spark vyžaduje, aby se WinUtils nainstalovaly společně s Apache Spark..NET for Apache Spark requires WinUtils to be installed alongside Apache Spark.Stáhněte si winutils.exe.Download winutils.exe.Pak zkopírujte WinUtils do C:binspark-3.0.1-bin-hadoop2.7bin.Then, copy WinUtils into C:binspark-3.0.1-bin-hadoop2.7bin.

Poznámka

Pokud používáte jinou verzi systému Hadoop, která je Poznáma na konci názvu instalační složky Sparku, Vyberte verzi WinUtils , která je kompatibilní s vaší verzí Hadoop.If you are using a different version of Hadoop, which is annotated at the end of your Spark install folder name, select the version of WinUtils that's compatible with your version of Hadoop.

7. Nastavte DOTNET_WORKER_DIR a ověřte závislosti.7. Set DOTNET_WORKER_DIR and check dependencies

Spusťte jeden z následujících příkazů, abyste nastavili DOTNET_WORKER_DIR proměnnou prostředí, kterou aplikace .NET používá k vyhledání Apache Sparkch binárních souborů pracovních procesů .NET.Run one of the following commands to set the DOTNET_WORKER_DIR environment variable, which is used by .NET apps to locate .NET for Apache Spark worker binaries.Nezapomeňte nahradit <PATH-DOTNET_WORKER_DIR> adresář, do kterého jste stáhli a extrahovali Microsoft.Spark.Worker .Make sure to replace <PATH-DOTNET_WORKER_DIR> with the directory where you downloaded and extracted the Microsoft.Spark.Worker.V systému Windows spusťte příkazový řádek v režimu správce.On Windows, make sure to run the command prompt in administrator mode.

Nakonec dvakrát kontrolujte, že dotnetjavaspark-shell před přechodem na další část můžete z příkazového řádku spustit.Finally, double-check that you can run dotnet, java, spark-shell from your command line before you move to the next section.

Zápis rozhraní .NET pro aplikaci Apache SparkWrite a .NET for Apache Spark app

1. vytvoření konzolové aplikace1. Create a console app

V příkazovém řádku nebo terminálu spusťte následující příkazy k vytvoření nové konzolové aplikace:In your command prompt or terminal, run the following commands to create a new console application:

dotnetPříkaz vytvoří new aplikaci typu console pro vás.The dotnet command creates a new application of type console for you.-oParametr vytvoří adresář s názvem MySparkApp , kde je vaše aplikace uložená, a naplní ji požadovanými soubory.The -o parameter creates a directory named MySparkApp where your app is stored and populates it with the required files.cd MySparkAppPříkaz změní adresář na adresář aplikace, který jste vytvořili.The cd MySparkApp command changes the directory to the app directory you created.

2. instalace balíčku NuGet2. Install NuGet package

Pokud chcete použít .NET pro Apache Spark v aplikaci, nainstalujte balíček Microsoft. spark.To use .NET for Apache Spark in an app, install the Microsoft.Spark package.V příkazovém řádku nebo terminálu spusťte následující příkaz:In your command prompt or terminal, run the following command:

Poznámka

Jdk-8u231-macosx-x64.dmg

V tomto kurzu se používá nejnovější verze Microsoft.Spark balíčku NuGet, pokud není uvedeno jinak.This tutorial uses the latest version of the Microsoft.Spark NuGet package unless otherwise specified.

3. Napište svoji aplikaci.3. Write your app

Otevřete program.cs v Visual Studio Code nebo libovolný textový editor a nahraďte celý kód následujícím kódem:Open Program.cs in Visual Studio Code, or any text editor, and replace all of the code with the following:

SparkSession je vstupní bod pro aplikace Apache Spark, který spravuje kontext a informace o vaší aplikaci.SparkSession is the entrypoint of Apache Spark applications, which manages the context and information of your application.Pomocí metody text je textová data ze souboru určeného pomocí filePath načtena do datového rámce.Using the Text method, the text data from the file specified by the filePath is read into a DataFrame.Datový rámec je způsob, jak uspořádat data do sady pojmenovaných sloupců.A DataFrame is a way of organizing data into a set of named columns.Pak se pro rozdělení vět v souboru použije řada transformací, seskupí se jednotlivá slova, rozdělují je a seřadí je v sestupném pořadí.Then, a series of transformations is applied to split the sentences in the file, group each of the words, count them and order them in descending order.Výsledek těchto operací je uložen v jiném dataframe.The result of these operations is stored in another DataFrame.Všimněte si, že v tomto okamžiku se neuskutečnily žádné operace, protože rozhraní .NET pro Apache Spark laxně vytvářená vyhodnocuje data.Note that at this point, no operations have taken place because .NET for Apache Spark lazily evaluates the data.Není volána, dokud není volána metoda show pro zobrazení obsahu words transformované dataframe v konzole, že operace definované v řádcích výše jsou provedeny.It's not until the Show method is called to display the contents of the words transformed DataFrame to the console that the operations defined in the lines above execute.Až už relaci Sparku nepotřebujete, zastavte svou relaci pomocí metody stop .Once you no longer need the Spark session, use the Stop method to stop your session.

4. vytvoření datového souboru4. Create data file

Vaše aplikace zpracovává soubor obsahující řádky textu.Your app processes a file containing lines of text.V adresáři MySparkApp vytvořte soubor s názvem input.txt , který obsahuje následující text:Create a file called input.txt file in your MySparkApp directory, containing the following text:

Uložte změny a zavřete soubor.Save the changes and close the file.

Spuštění aplikace .NET pro Apache SparkRun your .NET for Apache Spark app

Spuštěním následujícího příkazu sestavte aplikaci:Run the following command to build your application:

Jdk-8u231-macosx-x64.dmg

Přejděte do výstupního adresáře sestavení a pomocí spark-submit příkazu odešlete aplikaci, aby běžela na Apache Spark.Navigate to your build output directory and use the spark-submit command to submit your application to run on Apache Spark.Nezapomeňte nahradit <version> verzí vašeho pracovního procesu .NET a <path-of-input.txt> cestou k souboru input.txt uložený.Make sure to replace <version> with the version of your .NET worker and <path-of-input.txt> with the path of your input.txt file is stored.

Poznámka

Tento příkaz předpokládá, že jste stáhli Apache Spark a přidali ho do proměnné prostředí PATH, aby bylo možné ho použít spark-submit .This command assumes you have downloaded Apache Spark and added it to your PATH environment variable to be able to use spark-submit.V opačném případě byste měli použít úplnou cestu (například C:binapache-sparkbinspark-Submit nebo ~/Spark/bin/Spark-Submit).Otherwise, you'd have to use the full path (for example, C:binapache-sparkbinspark-submit or ~/spark/bin/spark-submit).

Po spuštění vaší aplikace se do konzoly zapíše data počtu slov input.txt souboru.When your app runs, the word count data of the input.txt file is written to the console.

Gratulujeme!Congratulations!Úspěšně jste vytvořili a spustili rozhraní .NET pro Apache Spark aplikaci.You successfully authored and ran a .NET for Apache Spark app.

Další krokyNext steps

V tomto kurzu jste se naučili:In this tutorial, you learned how to:

  • Příprava prostředí pro .NET pro Apache SparkPrepare your environment for .NET for Apache Spark
  • Zápis prvního rozhraní .NET pro Apache Spark aplikaciWrite your first .NET for Apache Spark application
  • Sestavte a spusťte rozhraní .NET pro Apache Spark aplikaciBuild and run your .NET for Apache Spark application

Pokud se chcete podívat na video s vysvětlením kroků uvedených výše, podívejte se na video řady rozhraní .NET pro Apache Spark 101.To see a video explaining the steps above, check out the .NET for Apache Spark 101 video series.

Další informace najdete na stránce prostředky.Check out the resources page to learn more.