先日、こんな素晴らしい記事を読みました。 データ分析屋としてキャリアを積んでいる私にとってAgileの考え方はとても腑に落ちやすいものだった。そもそも、データ分析自体、繰り返しの検証をするものなのだ。 （太字原文ママ） 僕自身はソフトウェアエンジニアではないので、Waterfall / Scrum / Agileそれぞれの開発スタイルの定義や違いはたまたその実践について何か論評できる立場にはなく、エンジニアチームの現場にいたこともあるので「雰囲気ぐらいなら」おぼろげに分かっているという程度の理解レベルです。ただそれでも、この記事で提唱されている「データサイエンスはAgile」という考え方については、僕個人の経験から言っても大いに納得できるものがあります。 実は、ここ1年ぐらいデータ分析の仕事をしていく中で「手戻り」「ロールバック」は是か非か？という議論を目にする機会が何度もあり、その度にこ
Format Apache Arrow defines a language-independent columnar memory format for flat and nested data, organized for efficient analytic operations on modern hardware like CPUs and GPUs. The Arrow memory format also supports zero-copy reads for lightning-fast data access without serialization overhead. Learn more about the design or read the specification. Libraries Arrow's libraries implement the for
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
By: Di Lin, Girish Lingappa, Jitender Aswani Imagine yourself in the role of a data-inspired decision maker staring at a metric on a dashboard about to make a critical business decision but pausing to ask a question — “Can I run a check myself to understand what data is behind this metric?” Now, imagine yourself in the role of a software engineer responsible for a micro-service which publishes dat
マイクロサービス、RPA、デジタルツイン、AMP……。数え切れないほどの新しい思想やアーキテクチャ、技術等々に関するIT用語が、生まれては消え、またときに息を吹き返しています。メディア露出が増えれば何となくわかっているような気になって、でも実はモヤッとしていて、美味しそうな圏外なようなキーワードたちの数々を「それってウチに影響あるんだっけ？」という視点で分解してみたいと思います。今回はビッグデータやアナリティクス、ストレージの分野で最近よく聞く「データレイク」を取り上げます。 【用語】データレイク 意思決定に必要なデータの見極めがますます困難なビッグデータ時代の救世主として、「データレイク（Data Lake）」が注目されています。発生したままの姿で支流から流れ込むデータを魚にたとえ、多様なユーザーが、誰でも簡単かつ迅速、そして安全に、自分のニーズに合わせて自在に探し扱えるように泳がせてお
さくらインターネットは2019年2月21日、クラウド上で衛星データを分析できるデータ基盤サービス「Tellus（テルース）」を開始した。経済産業省「平成30年度政府衛星データのオープン&フリー化及びデータ利用環境整備事業」プロジェクトを受託・事業化した。だれでも無料で利用可能で、クラウド上で衛星データを活用したアプリケーションを作成・販売することもできる。 さくらインターネットの「Tellus」は、衛星から地上を観測したデータを無料で利用できるクラウドサービスである。分解能0.5メートルの高精細な光学画像や、マイクロ波の反射強度をモノクロ画像で表したSAR画像、地表面温度などのデータを利用できる（画面1）。宇宙航空研究開発機構（JAXA）や経済産業省の衛星データが中心となる。 今後、衛星データとして、標高、降雨量、気象情報なども利用できるようにする。さらに、地上で観測したIoTデータ（地域
既存事業を抱える大企業は、イノベーションを起こしにくい。いわゆる、イノベーションのジレンマだ。この考えに真っ向から立ち向かおうとしているのが、保険大手のSOMPOホールディングスである。「今のビジネスモデルを自ら破壊しなければ、この会社の将来はない」。楢崎浩一常務執行役員グループCDO（最高デジタル責任者）は危機感を募らせる。 イノベーションを起こすため、SOMPOが2018年6月13日に設立したのが、社内外の人材を集めた「SOMPO D-STUDIO」である。SOMPOグループ傘下の人材のほか、行政や研究機関、ベンチャー企業などからも多様な人材を広く受け入れ、新規ビジネスのアイデアを生み出す。優れたアイデアには、SOMPOやベンチャーキャピタルが出資し、事業化を支援する。 当初の参加者は合計20人。今後も広く参加者を募集する。社内のメンバーは主にデジタル戦略部の社員。社外からの参加者は多
改正個人情報保護法が2017年5月30日に施行されることに伴い、各種の分野（特定分野）におけるガイドラインの見直し作業が進められている。放送分野では、総務省が「放送受信者等の個人情報の保護に関する指針」（いわゆる「放送分野ガイドライン」）の改正に向けた作業を進めている。 テレビがネットに接続される時代に入り、視聴履歴データ（視聴ログ）の収集が可能になり、ターゲティング広告や番組リコメンドなどへの活用が期待されるようになってきた。しかし、従来の放送分野ガイドラインは、有料放送の料金の支払いなどを目的にしたものとなっており、こうした新しい分野に向けた明確な規定がなかった。 放送分野ガイドラインの改正案（既に公開されてパブコメ結果も発表済み）では、事前同意を得て視聴履歴データをこうした分野で活用する際のルールの明確化が図られる。テレビ放送の視聴履歴を活用したターゲティング広告などの本格的展開に向
データ分析基盤Night #2 - connpass 2017/04/26 データ分析基盤Night #2 #データ分析基盤Night - Togetterまとめ 前回第1回に引き続き抽選に当たったのでこの日参加してきました。 『 データ分析基盤Night #1 』に参加してきた #データ分析基盤Night - 試纏 会場は株式会社FiNC様＠有楽町。有楽町駅ビックカメラのすぐ隣、交通の便は超良い場所です。 会場内もとてもオシャレで綺麗なオフィスでした！ 挨拶 ウェルネスタイム(軽いストレッチ) by FiNC FiNCの分析基盤の概要 発表資料 発表内容 freee のデータ分析基盤の全容 発表資料 特徴：他のサービスとどこが違うのか 構成：アーキテクチャ マーケティング 販売・サポート エンジニア ダッシュボード バッチ処理 辛み 展望・チャレンジ まとめ mercariのデータ分析基
ビッグデータ分析及び環境構築に携わっているものとして、タイトルと中身を一目見て『これは！』と思い抽選に申し込み。晴れて当選する事出来たので、2017/02/28の仕事上がりで参加してきました。 当エントリは『WebサービスやiOS/Androidアプリを対象とした、インハウスのデータ分析基盤を開発しているエンジニアが、どんな基盤を作り、運用し、利用者に広めるためにどんな取り組みをしているのか、苦労を分かち合いながらノウハウを共有する場』(※connpassイベントページより抜粋)として設けられた当イベントに関する参加メモです。 データ分析基盤Night #1 - connpass 2017/02/28 データ分析基盤Night #1 #データ分析基盤Night - Togetterまとめ 「リブセンスのデータ分析基盤の全貌」 発表資料 聴講メモ Q&A 「Rettyのデータ分析基盤について
この記事は4年前の以下の過去記事の続きです。 大変遅まきながら*1、最近になって単変量時系列モデリングの手法としてARIMA / DLM以外にも幾つか方法があるのだということを知りました。一つは指数平滑法というかExponential Smoothing State Space Model (ETS)で、もう一つはこれをロバスト化したRobust ETS。 指数平滑法そのものについては日本語でも色々資料があるんですが（この辺とか）、例えば{forecast}パッケージのets関数に実装されている指数平滑状態空間モデルについてはweb上にはあまり詳しい日本語資料が見つからなかった*2ので、代わりに英文資料(7.7 Innovations state space models for exponential smoothing | OTexts)を貼っておきます。おそらくこれだけ読んでおけば十
Redash helps you make sense of your dataConnect and query your data sources, build dashboards to visualize data and share them with your company. “Redash is as essential as email to my company. We love data but accessing the data is a pain without Redash. Any company I go to, I get them hooked on Redash. It’s an easy sell :)” by Ben Dehghan, Co-Founder of Data Miner Read what our users say → Write
分析女子、シブヤに集う――。2016年10月24日、東京・渋谷のイベントスペースdots.で「データサイエンティスト女子部」と題したセミナーが開催された。テーマは「教えて！データサイエンティストの勉強法」。第一線で活躍する女性データサイエンティストから、効果的かつ効率的な、分析実務の学び方を聞こうと、約50人の受講者が集まった。 データサイエンティスト女子部は、一般社団法人データサイエンティスト協会に所属する多根悦子氏（現・ブレインパッド アナリティクスサービス本部）と松永智子氏（日本IBMポートフォリオ・マーケティング）が立ち上げ、2016年8月に第1回セミナーを開催。今回は2回目となる。「データサイエンティスト協会も女性会員が1割程度いるが、大多数が男性なので気後れし、聞きたいことを聞けないことも多い。女性同士ならよりフランクに情報交換できるのではと思った」。多根氏は立ち上げの経緯をこ
Google Data Studio (データスタジオ) という可視化サービスがベータ版で使えるようになっていたので試してみた 見たい数値を一覧するためのダッシュボード的なものを作るためのサービスなので、いろんな場所からデータを取ってきて一箇所でまとめて確認するのが用途っぽい(今のところ似たようなサービス・ツールの方が機能が多そう データソース データソースとしてGoogle AnalyticsやBigQuery、Google Spreadsheet、MySQLなどを選んでデータを取ってこれる データソースを選んでGUIでグラフやテキストを配置していく データの既存のフィールドに関数を適用した結果の値を使うこともできる 使える関数のリスト 下の画像ではGoogle Analyticsの「ブラウザ」(Chrome, Firefoxなど)と「ブラウザのバージョン」(バージョンの番号)をCONC
%matplotlib inline import matplotlib.pyplot as plt import matplotlib.cm as cm import numpy as np import seaborn as sns import numpy.random as rd m = 10 s = 3 min_x = m-4*s max_x = m+4*s x = np.linspace(min_x, max_x, 201) y = (1/np.sqrt(2*np.pi*s**2))*np.exp(-0.5*(x-m)**2/s**2) plt.figure(figsize=(8,5)) plt.xlim(min_x, max_x) plt.ylim(0,max(y)*1.1) plt.plot(x,y) plt.show() この図は、平均$\mu$、標準偏差$\sigma$
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
