こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツールAirflowについて、分散処理の概要や最近の更新についてご紹介します。 Airflowについて Airflowとは github.com Airflowはデータ処理フローを管理するツールです。元々はAirbnb社が開発して公開したソフトウェアです。その後Apacheソフトウェア財団のサポートを受けて現在はApache Airflowという正式名称になっています（本ブログでは以下Airflowと記述します）。ライセンスはApache License2.0です。本体コードはpythonで作られています。 2018年2月現在、正式リ
こんにちは、グーペグループエンジニア @hypermkt と技術部インフラグループ・シニアエンジニア @hfm です。半年に及ぶグーペのPHPアップグレード作業が2017年5月中旬に全て完了し、PHPバージョンは5.2から7.1になりました。今回の記事ではアップグレードの過程と効果について、ご紹介させていただきます。 はじめに 8年目のホームページ作成サービス「グーペ」 なぜ8年目のタイミングでアップグレードをしたのか アップグレード基本方針 PHP5.2との後方互換性を維持する deprecatedの対応は優先度低め 事前準備 新旧両バージョンで継続的テスト より広範囲をカバーできるE2Eテストを重視 リアルタイムエラー検知 下位互換性のない変更点の修正 php7ccによる互換性の自動検知 MySQL関数の削除 preg_replaceへの置き換え PHP7.1用php.iniの作成 リ
［速報］マイクロソフト、機械学習を誰でも使えるようにする「Cortana Analytics Suite」発表 米マイクロソフトは、米フロリダ州オーランドで開催中のイベント「World Partner Conference 2015」で、ビッグデータの保存、管理、分析、機械学習、表示の一連の機能を統合したMicrosoft Azureの新サービス「Cortana Analytics Suite」を発表しました。 サティア・ナデラ氏「Cortana Analytics Suiteは、組織内のすべてのデータをネイティブフォーマットのまま保存し、それをさまざまな仕組み、ストリーム分析や機械学習やSQLやMapReduceなどで分析できる」 Cortana Analytics Suiteは、Microsoft Azureのさまざまな機能を統合しています。例えば、データの保存に「Azure Data
CSPとは？ウェブサイトのセキュリティと計測への影響を解説2025年06月22日; Webマーケティング全般
Googleアナリティクスは、Googleが無料で提供しているウェブサイト分析ツールであり、多くの企業や個人が導入しています。 しかし、Googleアナリティクスは、簡単に導入できるということもあり、最初にトラッキングコードだけ設置して設定などは特にしていない、となっているサイトも多いのではないでしょか。 Googleアナリティクスをうまく活用すれば、他の有料の分析ツールに負けないくらいの機能を利用することができます。 今回は、トラッキングコードを設置した後、一番最初に設定しておくべき4つの基本設定をご紹介します。 Googleウェブマスターツールと連携する サイトに関する様々な情報を知ることができるGoogleウェブマスターツールですが、Googleアナリティクスと連携すると非常に便利です。 【Googleウェブマスターツールについては下記参照】 【保存版】Googleウェブマスターツー
アクセス解析といえば、圧倒的にGoogle Analyticsの一強で、他には大したツールはない。 そう思っていた時代が私にもありました。 ですが今回紹介する「Pt engine」を使ってみてその考えは見事に覆りました。これ、イイ。 まず、とにかく見やすい。パッと見で必要な情報が目に入るよう工夫されているのがわかります。 さらにGoogle Analyticsにはないヒートマップ解析（ユーザーがどこまで読んだか、どこをクリックしたか視覚的にわかる）や、パラメータをつけなくても流出先（リンクのクリック数）がわかるなどの独自の機能も搭載。 もちろん、各種アクセス解析やコンバージョンの計測などディープな機能も備えています。 2.5万PVまで無料で使え、個人ユーザーのKloutスコア50以上の人はある程度の機能を備えた無料特別プラン（200万PVまで）を利用可能。 Webサイトの運営者や、しっかり
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
FINDJOB! 終了のお知らせ 2023年9月29日にFINDJOB!を終了いたしました。 これまでFINDJOB!をご利用いただいた企業様、求職者様、様々なご関係者様。 大変長らくFINDJOB!をご愛顧いただき、誠にありがとうございました。 IT/Web系の仕事や求人がまだ広く普及していない頃にFind Job!をリリースしてから 約26年間、多くの方々に支えていただき、運営を続けてまいりました。 転職成功のお声、採用成功のお声など、嬉しい言葉もたくさんいただきました。 またFINDJOB!経由で入社された方が人事担当になり、 FINDJOB!を通じて、新たな人材に出会うことができたなど、 たくさんのご縁をつくることができたのではないかと思っております。 2023年9月29日をもって、FINDJOB!はその歴史の幕を下ろすこととなりましたが、 今後も、IT/Web業界やクリエイティブ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
Why Geckoboard?Most performance data reaches teams too late, through reports that are already stale, or dashboards locked away in tools that only a manager can see. Geckoboard gives every team a shared, live view. It pulls together data from your CRM, support platform, and other tools, and makes it visible on office screens, via shared links, and on mobile. When everyone sees the same current pict
アクセンチュア株式会社 テクノロジー コンサルティング本部 アナリティクス インテリジェンス グループ統括 シニア・プリンシパル 工藤卓哉氏 慶應義塾大学を卒業しアクセンチュアに入社。コンサルタントとして活躍後、コロンビア大学国際公共政策大学院で学ぶため退職。同大学院で修士号を取得後は、ブルームバーグ市長政権下のニューヨーク市で統計ディレクター職を歴任。在任中、カーネギーメロン工科大学情報技術科学大学院で修士号の取得も果たす。2011年に帰国し現職に。Accenture SAS Analytics Group数理統計アーキテクト顧問委員会でアジア太平洋地区代表顧問も務める データ・サイエンティストは統計データを分析するだけの仕事ではない データ・サイエンティスト。日本ではおそらく1000人に満たないであろう、この職に就くのはどのようなタイプの人間なのだろうか？ 外界との接触を好まない象牙の
ネットで面白いコピペを発見したので貼り付けておきますね。 山岡「こちらが我々の考える究極のデータサイエンティストです。」 京極「なんやて、経済学部出身やないか！ITに統計学、業務、この中で先の二つの技術的素養が必要なデータサイエンティストには理系出身者が定石やで山岡はん。」 山岡「確かに、数学のスキルが要求されるデータサイエンティストには普通の文系出身者は厳しい。しかし、彼の学部時代の専攻は計量経済学。実務では高度なアルゴリズムやビックデータの解析基盤の構築のスキルなんか本当は必要ない、経済学の手法が求められているんだ。」 京極「なんやてっ！」 山岡「ビッグデータといっても、小売りの場合大きくて１千万件程度、普通のRDBMSで処理可能だし、非構造化データなんて必要ない。アルゴリズムもSPSSやRなんかのツールに入力して結果を解釈できれば十分なんだ。一方で、政府の統計を駆使して地域の需要を推
流入元を特定するためにURLにパラメータを付与するのはデメリットが多いので、ハッシュを使ってキレイに消し去る方がベターです。その方法を紹介します。 リファラの代わりにURLパラメータを使うようになった背景サイトにどこから訪問したかを特定するため、アクセス解析のツールはブラウザが送信するリンク元のURL（リファラー）を使いますが、リファラーは完全ではなく、URLがセットされないことがあります。 リファラーが使えない場合のために普及したのが、リンク先URLのクエリ文字列（RFC 3986の定義では、URI中の「?」以降の文字列、ただし「#」以降を含まない）にパラメータを追加する方法です。 Adobe Analyticsの場合http://www.cms-ia.info/?scid=tw20110718Google Analyticsの場合http://www.cms-ia.info/?utm_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
