こんにちは。メルカリ Accounting Productsチーム Software Engineerのayanekoです。 この記事は、Mercari Advent Calendar 2023 の20日目の記事です。 私たちAccounting Productsチームは会計システムの開発、運用をしています。会計データを扱うという特性上、以下にあげる理由から大量のデータを保持しており、多額の費用がかかっていました。 会計データは法律上一定期間の保持が必要であること 一時ファイルやログファイルなども含めて保守的にすべてのデータを保存していたこと そこで、FinOps観点でCloud Storage（以下GCS）やCloud Spanner（以下Spanner）のリソース最適化のPJを始めました。リソース最適化とは、必要なリソースはしっかりと保存し、更新され古くなったデータは必要な期間のみ保存
TL; DR Google Cloud 上で Rails をできるだけインフラ運用しなくて済むように構築するとしたら、こういう構成にするのはどうだろうか？ メインの Web アプリは Cloud Run メインのデータベースには Cloud Spanner 非同期ワーカーには GKE Autopilot 非同期メッセージングキューには Cloud Pub/Sub DB マイグレーションには GKE Autopilot rails console には GKE Autopilot はじめに 先日、Cloud Spanner の ActiveRecord アダプターのバージョン 1.0 がリリースされました。 Scale your Ruby applications with Active Record support for Cloud Spanner | Google Cloud Blog
Zennは、Next.js + Ruby on Rails（APIモード）を Google Cloud の App Engine へデプロイして稼働していました。最近、Rails の実行環境を App Engine Flexible から Cloud Run へ移行したので、その記録を残します。 ロードバランサーのバックエンドサービスを付け替えることで実現 最初に、どうやって移行したかです。Zennのバックエンドはもともとロードバランサーで構成されていました。以下の図のように、ロードバランサーの Backend Service より背後を切り替えることにより実現しています。Cloud Run とそこにアクセスするための Serverless NEG はあらかじめ稼働させておくことで、ダウンタイムなしで切り替えられました。 参考：負荷分散 | Google Cloud https://clo
1. Overview Goals In this codelab, you'll build a restaurant recommendation web app powered by Cloud Firestore. What you'll learn Read and write data to Cloud Firestore from a web app Listen to changes in Cloud Firestore data in real time Use Firebase Authentication and security rules to secure Cloud Firestore data Write complex Cloud Firestore queries What you'll need Before starting this codelab
（2019/04 追記 この記事の情報は古いです。今では、GCPのIAMでも IAM Custom Roles によってカスタマイズしたロールが作れたり、Cloud IAM Conditions が登場してリソースの制限がしやすくなったりしています。また、メディア管轄のAWS Organizationsの活用については 「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018 もご覧ください） メディア事業（アメーバなど）を中心にAWS/GCPを担当している柿島大貴です。前回は、Google Cloud Platform（GCP）の各プロジェクトでコストを追える環境を作る を書きました。前回の続報としては、一部には使ってもらいつつも、可視化の部分で cloudyn を検証中です。 今回は、GCPのリソースの認可の話になります。GCPの利
Google Cloud Next '19にて発表されたCloud Runを触ってみます。 公式ガイドに従ってコンテナの作成からデプロイまで試し、認証付きのAPIを作成します。 Cloud Runとは？ 公式ドキュメントによると Run stateless HTTP containers on a fully managed environment or in your own GKE cluster. とのことで、マネージド環境もしくはGKEクラスタでコンテナを実行できるようですね。 つまり、コンテナを利用することでAWS Lambdaなどのようなサーバレスなサービスを任意の環境で実行することができるようです。 詳細な説明はあんまり自信がないので公式サイトを見てください。また、2019/05/08現在Cloud Runはβ版なので今後仕様が大きく変更になる可能性があります。 まずはクイッ
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 7 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
2018-02-28 wed. 第 3 回 Google Cloud INSIDE Games & Apps Fringe81株式会社 豊島 正規 氏の登壇スライドです。
半年前くらいからGAE/Goを結構触っているので、ちょっと書いておく。 今回は、CloudStorage上のファイルをGAE/Goで配信する方法。 概要 GoogleCloudStorageにおいてるファイル（例えば画像）をWebサービス上でユーザに配信したいということがある。 画像ならブラウザ上で表示させるだけでいいかもしれないし、その他のファイルならダウンロードさせたいし、複数ファイルならzipで固めて配信したい。 イメージ cloud.google.com/go/storageのライブラリを利用する。 以下の例では、エラー処理などは省略する。また、普段はEchoを使ってるので以下のコードは試してないし正しく動かない部分があるかも。 コード例 画像を表示させる 画像をブラウザで表示させるケース。 特に難しい部分はなく、シンプルに書ける。 検索して出て来るサンプルだとioutil.Rea
先日公開した Web API サービス Pixelaは、Google App Engine 上で Go Web Application として動いている。Go のバージョンには特に気を使わずに開発をしてたんだけど、GAE で Go の 1.11 がサポート（まだ β だけど）されたこと、そして Go 1.11 であれば GAE Standard Environment で System Package として imagemagick が使えそう（svg → png 変換がしたい）ということもあって、Go 1.11 へのモチベーションが俄然上がったので、今回移行してみた。このエントリは、その際にやったことのまとめメモ。 Before Go 1.9.4 パッケージ管理はなにもしてない状態（ひどい） After Go 1.11.1 パッケージ管理に Modules を使用 やったこと goenv
これは本当に軽微なメモなんですが、GAEでGo1.11を使うために移行をしたことで、認証が動かなくなっていることに気づくのが遅れてしまいました。他の人がそうならないように記録しておきます。 これまで仮にGAE/GoでFirebaseの認証機構を使っていたとして、今までだとGAE/GoでのFirebaseクライアントの初期化はこのようにすればよかった。 もっと詳細に書くと、AppEngineのcontextを含んだ状態でurlfetchを呼び出してさえいれば、Firebaseのサービスアカウントの情報を明示的に指定しなくてもよかった。 opt := option.WithHTTPClient(urlfetch.Client(ctx)) app, err := firebase.NewApp(ctx, nil, opt) if err != nil { ... }これからGAE/Goが2nd
Google Cloud Platformのマネージドサービスを使ってGraphQL APIを開発してみました。GraphQLについては初心者でしたので、実装しながらGraphQLについて学んだことを記録します。 利用した技術 App Engine SE Go 1.11 Go 1.11が11月にβリリース 2nd genと呼ばれる次世代ランタイム Cloud Datastore スケーラビリティの高いNoSQLデータベース Stackdriver Stackdriver Trace for Goを使いたかったため使用 個人で使う分には無料でいけます。動作も速い！！ GAEの2nd genではプラットフォームのことはあまり意識することなく普通にサーバーを実装すればよいです。 にもかかわらず、必要な時、必要な分だけ高速に起動するので最高です。 主なライブラリ 使用した主なライブラリは以下のとお
仕事で Cloud Dataflow を使って便利さに驚いたので共有します。 この記事を読めば、 Cloud Dataflow がいかに便利か、ざっとどんな感じで動くかがわかるはずです。 Cloud Dataflow とは 簡単に言えば、フルマネージドなデータを変換してくれる君です。 例えば「Cloud Pub/Subからデータを受け取って、必要な変換を施した上で、1分ごとのデータをgzipでまとめてAWSに上げる」ということが少ないコード量でフルマネージドに出来ちゃうよ！ということです。 入力は、ファイルのように終わりのあるデータでも、Cloud Pub/Subのような終わりの無いデータでもほぼ同じように扱えます。 詳しいことは https://qiita.com/tutuming/items/948ddfadf7202a45b72c の記事が参考になります。 サンプルコード 何はともあ
KotlinでCloud Dataflowのバッチ処理を書く Aug 3, 2018 ( Feb 11, 2022 更新 ) Cloud Dataflow の処理を Kotlin で書いてみたかったので、 公式ドキュメントにあるサンプル「WordCount」を Kotlin に移植してみました。1 build.gradle 依存関係を元の WordCount から持ってきているだけです。 あとは一般的な Kotlin アプリケーションのビルドの設定と変わりません。 // build.gradle buildscript { ext { kotlinVersion = '1.2.51' springBootVersion = '2.1.0.BUILD-SNAPSHOT' } repositories { mavenCentral() maven { url "https://repo.spr
フィードバックを送信 GKE による最新の CI / CD: CI / CD システムを構築する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このリファレンス アーキテクチャでは、Google Kubernetes Engine、Cloud Build、Skaffold、kustomize、Config Sync、Policy Controller、Artifact Registry、Cloud Deploy などのツールを使用して、最新の継続的インテグレーション / 継続的デリバリー（CI / CD）システムをビルドするためのメソッドと初期インフラストラクチャを提供します。 このドキュメントはシリーズの一部です。 GKE による最新の CI / CD: ソフトウェア デリバリー フレームワーク GKE による最新の CI / CD: CI / CD
2018年10月13日、株式会社AbemaTVが主催するイベント「AbemaTV Developer Conference 2018」が開催されました。3度目の開催となる今回のテーマは「PAST→FUTURE」。開局から2年半の実績を元に、快適な視聴体験を届けるための取り組みや、大規模な同時接続に対するシステム開発・運用に寄って得られた技術的知見を共有します。プレゼンテーション「WebのSSR化とFastly移行」に登壇したのは、株式会社AbemaTV開発本部、Webチームの加藤賢一氏。AbemaTVのWeb版におけるSRR化と、それに伴うFastlyへの移行の軌跡を語ります。講演資料はこちら AbemaTVのWeb版のSSR化とFastly移行加藤賢一氏（以下、加藤）：開発本部のWebチームに所属しています、加藤賢一と申します。よろしくお願いします。今日はAbemaTVのWeb版のSSR
Introducing WebSockets support for App Engine Flexible Environment Do you have an application that could benefit from being able to stream data from the app to the client with minimal latency—without the client having to poll for updates? Today, we are excited to announce that App Engine Flexible Environment now supports the WebSocket protocol in beta—the first time that App Engine supports a stre
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
