EMR上でHive on Tezを利用する | DevelopersIO
本日Amazon EMR release 4.7.0がリリースされました。 Apache Tez 0.8.3 and Apache Phoenix 4.7.0 now available on Amazon EMR そして、このリリースにApache Tezが含まれていました！Tezは以前EMR上に手動でインストールして動作検証を行ったことがあり、既存のHiveクエリを大幅に高速化出来ることが期待できるためEMR公式リリースを楽しみにしていました！ 「Tez on EMRを試してみた」というタイトルで話しました #cmdevio2015G ｜ Developers.IO ということで、今回はEMR release 4.7.0上でHive on Tezを利用する方法について紹介したいと思います。なお、公式ドキュメントに書かれている[Using Tez]とほぼおなじ内容を試しています *1 A
Amazon EMR 4.1.0は、Spark 1.5.0、Hue 3.7.1、Presto、Oozie、Zeppelinに対応 | DevelopersIO
EMR4.1.0リリース こんにちは、EMR見習いの横田です。今回は、EMR4.1.0リリースについてお知らせします。ここでは、待ちに待った周辺ソフトウェアの対応についてお知らせ致します。Spark、Hue、Presto、Oozie、Zeppelinあたりの対応によって、かなり実用的になったのではと思います。 なお、EMRのセットアップ手順については、以前に解説した記事がありますので、そちらを御覧ください。 Amazon EMR 4.0.0で始める Apache Spark 1.4.1 まずはセットアップ EMRの管理コンソールにアクセスしてクラスター作成を選択しますと、お手軽作成モードを選べますが、これだとSpotインスタンスが初期指定されていないので、アドバンスオプションのモードに切り替えたいと思います。 こちらは、お手軽モード こちらは、アドバンスモード さて、数クリックして数分待つ
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
Apache Spark on Amazon EMR
Amazon EMR enables you to build open, transactional data lakes with Apache Spark and Apache Iceberg. Our performance-optimized runtime is 100% API-compatible with open-source Spark, executing up to 4.5x faster than open-source equivalents while delivering 2.7x faster Iceberg write performance. EMR supports Apache Iceberg v3 and Spark 4.0 (preview), allowing you to leverage capabilities like ACID t
今回解決したい課題 こんにちは植木和樹です。本日の課題はタイトルの通り「fluentdでS3のバケットにアップロードしたログを検索・集計する」です。EC2でサーバを構築した場合、インスタンスがTerminateした後もログが参照できるようfluentdを使ってS3にファイルをアップロードしておくのがAWSのベストプラクティスです。 「Amazon Recommends Fluentd as “Best Practice for Data Collection” over Flume and Scribe」 しかしS3にアップロードしたログファイルはツールを用いなければアクセスすることができず、このままでは容易に検索できません。EC2からS3をs3fsでマウントしてgrepという方法はありますが、遅すぎて実用的とはいえません。s3cmdでいったんローカルにファイルをダウンロードしてから検索す
こんにちは、虎塚です。 AWSサミットのセッション「AWSビッグデータサービス Deep Dive」をタイムシフト聴講したので、レポートします。 講師は、HBaseのコントリビュータ、書籍の著者でもある蒋逸峰さん（アマゾン データ サービス ジャパン）です。 テーマは、EMRを中心とするAWSのさまざまなビッグデータサービスを効率使うために、押さえておきたいポイントの紹介とのことです。 AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | アマゾン ウェブ サービス（AWS 日本語） AWSビッグデータサービス Deep Dive（AWS Summit Tokyo 2014 | TA-01） Amazon Elastic MapReduce (EMR) のご紹介 What is EMR? EMARとは、マネージド型のHadoopサービス。オンプレミスのHadoopの導
Elastic MapReduce Now Supports Hive 13 | Amazon Web Services
AWS News Blog Elastic MapReduce Now Supports Hive 13 I am pleased to announce that Elastic MapReduce now supports version 13 of Hive. Hive is a great tool for building and querying large data sets. It supports the ETL (Extract/Transform/Load) process with some powerful tools, and give you access to files stored on your EMR cluster in HDFS or in Amazon Simple Storage Service (Amazon S3). Programmat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon EC2 Technical FAQs : Articles & Tutorials : Amazon Web Services