Apache Airflow、Genie、および Amazon EMR でビッグデータワークフローのオーケストレーションを行う: Part 1 | Amazon Web Services
Amazon Web Services ブログ Apache Airflow、Genie、および Amazon EMR でビッグデータワークフローのオーケストレーションを行う: Part 1 AWS 上でビッグデータの ETL ワークフローを実行している大企業は、多数の内部エンドユーザーにサービスを提供できるようなスケールで運用しており、何千もの同時パイプラインを実行しています。このことは、新しいフレームワークと、ビッグデータ処理フレームワークの最新のリリースに遅れずについていくため、ビッグデータプラットフォームを更新し、拡張する点での継続的なニーズと相まって、ビッグデータプラットフォームの管理を簡素化することと、ビッグデータアプリケーションへの容易なアクセスを促すことの両方を可能にする、効率的なアーキテクチャと組織構造を要求しています。 この投稿では、一元管理型のプラットフォームチームが
Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス ビッグデータの世界における一般的なユースケースは、さまざまなデータソースからの大量のデータにおける抽出/変換 (ET) とデータ分析の実行です。多くの場合、この後でデータを分析してインサイトを取得します。このような大量のデータを処理するための最も人気のあるクラウドベースソリューションのひとつが Amazon EMR です。 Amazon EMR は、AWS での Apache Hadoop および Apache Spark などのビッグデータフレームワークの実行をシンプル化するマネージドクラスタープラットフォームです。Amazon EMR は、組織が複数のインスタンスを持つクラスターをほんの数分でスピンアップすることを可能にし
Amazon EMR の伸縮性と回復力を高めるための Spark の機能強化 | Amazon Web Services
Amazon Web Services ブログ Amazon EMR の伸縮性と回復力を高めるための Spark の機能強化 お客様は Amazon EMR の伸縮性を利用して、ワークフローが完了したとき、またはより軽いジョブを実行するときにクラスターをスケールしてコストを節約しています。これは、低コストの Amazon EC2 スポットインスタンスでクラスターを起動する場合も同様です。 Amazon EMR の Automatic Scaling 機能により、お客様はクラスターの使用状況やその他のジョブ関連のメトリックスに基づいて、クラスターを動的にスケーリングできます。これらの機能は、リソースを効率的に使用するのに役立ちますが、実行中のジョブの途中で EC2 インスタンスがシャットダウンすることもあります。これにより、計算とデータが失われる可能性があり、それがジョブの安定性に影響を与え
Build a Concurrent Data Orchestration Pipeline Using Amazon EMR and Apache Livy | AWS Big Data Blog
AWS Big Data Blog Build a Concurrent Data Orchestration Pipeline Using Amazon EMR and Apache Livy Many customers use Amazon EMR and Apache Spark to build scalable big data pipelines. For large-scale production pipelines, a common use case is to read complex data originating from a variety of sources. This data must be transformed to make it useful to downstream applications, such as machine learni
Support for TensorFlow and S3 select with Spark on Amazon EMR release 5.17.0 - AWS
Support for TensorFlow and S3 select with Spark on Amazon EMR release 5.17.0 You can now use TensorFlow 1.9.0, the popular machine and deep learning framework, and S3 Select with Apache Spark on Amazon EMR release 5.17.0. Tensorflow libraries can be combined with big data processing engines like Spark on EMR to speed up the model training process by parallelizing the tuning of training parameters.
この記事では、Azure HDInsight で Apache Spark アプリケーションを最適化するための戦略を概説します。 概要 次の一般的なシナリオに直面する可能性があります 同じ HDInsight クラスターで同じ Spark ジョブが以前よりも遅い HDInsight クラスターの Spark ジョブが、オンプレミスまたは他のサード パーティのサービス プロバイダーよりも遅い 1 つの HDI クラスターの Spark ジョブが別の HDI クラスターよりも遅い Apache Spark ジョブのパフォーマンスは、複数の要因によって決まります。 これらのパフォーマンス要因は次のとおりです。 データの保存方法 クラスターの構成方法 データの処理時に使用される操作 異常な YARN サービス 不適切なサイズの Executor と OutOfMemoryError によるメモリ制
# GitBook Setup Agent ## Task Take my docs and turn them into a live, published GitBook site. Go end-to-end — don't stop until it's live or you hit a step only I can do. ## Tooling You have two ways to work with GitBook. Check what's available and pick accordingly: 1. **GitBook MCP server** (preferred if already connected) — check your available tools for `gitbook-mcp`. If it's connected, use it.
こんにちはmikotoです。 Apache Sparkの紹介記事に引き続きまして、今回はデータ形式の部分について、深掘りしてみたいと思います。 Sparkは基本的な分析・データ加工・バッチ処理を行う場合、以下の2つのデータ形式と、それらの基本的な処理を理解していれば利用できます。 RDD DataFrame ということで、今回はRDDとDataFrameのご紹介と、そのオペレーション方法についてご紹介したいと思います。 RDD: Resilient Distributed Dataset RDDの基本コンセプトは、フォールトトレランスで並列処理可能なデータ形式です。 RDDクラスに実装された map や reduce メソッドを利用することで、自動的に並列処理されます。 RDD形式のデータを作成する方法 RDD形式のデータを作成するには、以下2つの方法があります。 （scはSparkCon
はじめに 今回から2回に渡って、並列データ処理系のひとつであるSparkについて解説します。まずはじめに、Sparkの開発が始められた経緯を紹介し、次にSparkの特徴を説明します。 Sparkが登場した背景 Sparkは、Hadoop MapReduceと同様に、複数の計算機を用いてデータ処理を行う並列データ処理系です。2009年に、カリフォルニア大学バークレー校のAMPLabにて、Matei Zaharia氏を中心として開発が始まりました。Sparkの開発が始まった当時、世の中にはすでにHadoopが存在しており、高い耐障害性を有しかつスケーラブルな並列データ処理を、コモディティな計算機を用いて行うことは一般的になりつつありました。しかし、Hadoop MapReduceは必ずしも個々の計算機のメモリを効率的に活用する設計ではありませんでした。 Hadoop MapReduceは、ジョ
はじめに t.hondaです。前回の最後に書いたように、今回はRDDについて書いてみたいと思います。 RDD(Resilient Distributed Dataset) RDDとは、以前にも書きましたが「不変(イミュータブル)で並列実行可能な(分割された)コレクション」です。Apache Sparkのプログラミングでは、このRDDにデータを保持して操作することがメインとなります。RDDの操作には用意されているメソッドを使うことで、Sparkは自動的に分散処理を行い、開発者は分散処理を意識することなくプログラミングできます。 RDDのメソッドの種類 RDDに保持したデータを操作するメソッドは大きく分けて2つに分類されます。「Transformations」と「Actions」です。「Transformations」はRDDを操作し、結果を新しいRDDとして返します。「Actions」はRD
![[Apache Spark]RDDについて簡単にまとめてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/95da1cb6b521e4516cfbaa43dacc7c76c034a801/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fproxy.goincop1.workers.dev%3A443%2Fhttps%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FApache_Spark.png)
概要 RDDはScalaのコレクションのSeqのようなもので、データを順番に保持している。 RDDの内部はパーティションに分かれている。 パーティション毎に別々のサーバーでデータを保持する。したがって、分散処理する際にはパーティション毎に並列に処理される。 mapやfilter等の基本的な操作の場合、データの順序は変わらない。 処理によっては、データの順序が変わることがある。（データの順序が保持されない） （例えば重複データの無いRDDであっても、distinctの後は順序が変わってしまう） 「パーティションをどう分けるか」を決めるPartitionerというクラスもあるが、RDDが必ずPartitionerを保持しているとも限らない。 Sparkのパーティション数は、100～1万くらいにするのが良いそうだ。 実際の処理はパーティション単位で並列に実行されるので、各パーティションが各サーバ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
