EVOLVE26 でデータと AI の未来に出会う データと AI をテーマにした業界必見のカンファレンス「EVOLVE26」で、データ分野の先駆者や Cloudera のエキスパート、そしてお客様とつながりましょう。
スマートフォンをつながりやすくするために、ビッグデータ分析を実践していることが紹介され、以前よりも広く知られるようになりました。実際、ソフトバンク モバイル（東京・港）と我々は一体となり、接続可否データなど毎月10億件のデータを収集・分析し、通信基地局計画の最適化を図っていることで、ソフトバンク モバイルはつながりやすさナンバーワンの座を獲得できている、と自負しています。 ソフトバンクグループでGIS（地図情報システム）を活用したデータ分析サービスを手掛けるAgoop（東京・港）の社長。スマートフォンの通話接続率やパケット接続率で1位になったソフトバンクモバイルの活動を支援するデータサイエンティスト集団を率いる。システムエンジニアとしての経験も豊富でITにも精通。（写真撮影：村田 和聡） でも全く気は抜けません。スマホの利用者は急増していますから、油断すると「パケ詰まり」現象が増えてしまい
本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
2002年に日本航空に入社し、2009年からWeb販売部に。月間2億ページビューに上るJALホームページのログ解析や顧客情報分析を担当。航空券などのレコメンド施策の立案・企画・実施に当たる。顧客の閲覧傾向に応じてお薦めするコンテンツを使い分け、購入率をアップするなどの成果を上げている。 （写真撮影：村田 和聡） 実務経験者に分析教育を行い、育成していくアプローチも重要だと考えています。私の部門でも実務担当者にデータ分析手法を教え、利活用できるよう取り組んでいます。 この過程でぶつかるのが、統計学の壁です。平均値やヒストグラムといった統計の基礎知識からスタートし、確率論や推定・検定などの推測統計学、多変量解析、最近ではベイズ統計学などへと徐々に学びを深めていきます。しかし難度が上がると勉強が進まなくなります。山登りに例えれば、3合目を過ぎた辺りで疲れてしまい、登山をあきらめてしまうことが多い
「日経情報ストラテジー」最新号（3月29日発行）のテーマは「データリテラシーを高めよう！」。データ分析のすそ野を広げ、社員のだれもがデータを日々の仕事に役立てられるようにするため、研修や情報共有などに取り組む企業の実態を取材した。それでふと思い出したのが、90年代半ばの日本企業で叫ばれていた「情報リテラシー」という言葉だ。 今でこそ、ネットリテラシー、メディアリテラシー、環境リテラシーといった様々な言葉を聞くようになったが、筆者が企業向けITの世界で取材を始めた頃（1990年代半ば）には、リテラシーといえば「情報リテラシー」だった。多くの企業が、パソコン1人1台体制を整え始めた当時、「情報リテラシーの向上（あるいは習得）」、つまり「パソコンが操作できるようになること」は、経営にとっての重要課題だった。 「日経コンピュータ」の記者だった筆者も、様々な企業に取材に行き、パソコンや電子メール、グ
Explore benefits, tiers and how to become a partner
はじめに 「さぁ、お前の罪の異なり数を数えろ！」と言われたときに使えそうな「HyperLogLog」という異なり数をカウントする方法を教えてもらったので、遊んでみた。 いつもながら論文ちゃんと読んでないので、条件やコード間違ってるかも。。。 HyperLogLogとは cardinalityと呼ばれる、要素の異なり数を決定する問題 かなり省メモリで精度のよい異なり数を推定できる方法 要素をそのまま保存せず、ハッシュ値に変換したものをうまくレジスタに保存しておく ので、レジスタサイズ程度しかメモリを使わない 並列化もできて、最近のbigdataとかで注目されている また、googleが並列計算用に改善したHyperLogLogを提案してるみたい http://blog.aggregateknowledge.com/2013/01/24/hyperloglog-googles-take-on-
以前に「はてなとそっくり」なWebサービス開発会社として、開発のいろいろをお聞きした「リクルートコミュニケーションズ」が、エンジニアリングの対象を、アドテク分野にシフトし、最先端の分野でWebサービス出身のエンジニアたちがさまざまな工夫をしています。3年前と同じように、はてなチーフエンジニアの大西を交えて座談会を開催し、開発環境からキャリアパスのことまでいろいろとお聞きしました。記事の最後には、MacBook Pro Retinaディスプレイモデルが当たるプレゼントのお知らせもあります。 座談会出席者（上写真、左より）：はてな 大西康裕、リクルートコミュニケーションズ 大石壮吾さん、日馬康和さん、阿部直之さん、上田和孝さん （※この記事は、リクルートコミュニケーションズ提供によるPR記事です） 大西 ご無沙汰しています。はてなチーフエンジニアの大西です。以前もこちらのリクルートコミュニケー
AcroMUSASHI Stream とは 「AcroMUSASHI Stream」は、多種多様なデバイスやサービスからのイベントデータをリアルタイムに分散処理します。Twitter社がOSSとして公開した Storm を採用し、ビッグデータに欠かせないHDFS ／ HBase ／ Cassandra などのデータストアとの連携機能、および、独自に開発した信頼性を向上させる機能によって、連続的に発生する大量データ（ストリームデータ）を毎秒数十万~数百万イベントのスループットで処理することが可能です。 分散ストリームプラットフォームの構成 分散ストリームプラットフォームは、イベントを受信する「ゲートウェイ部」、受信したイベントを分散処理によって加工・処理する「ストリーム部」、収集データ・分析結果を保存する「データストア部」で構成されています。
Tableau Server のサイジング事始め!! - Tableau Japan | Doorkeeper Tableau Desktopと並んで、と言うよりもTableau Desktopと併せて使うことでよりBIにおける効果を発揮するであろうプロダクト『Tableau Server』。この日はそのTableau Serverを導入する上でのキーポイントとなる『サイジング』に関する講習会が開かれたので参加して来ました。 Tableau Server | Tableau Software 開催場所はTableau Japan 株式会社 日本オフィス＠帝国ホテル インペリアルタワー(有楽町)。 こちらの建物の15FにTableau Japanのオフィスがあります。 当日は若干の雨模様でしたが、参加申込者10数名、ほぼ全員参加という出席率でした。以下写真は会場から見下ろした一枚です。 目次
米IBMがラスベガスで開催中のイベント「IBM Pulse 2014」。2日目のジェネラルセッションでは、SoftLayerクラウド上で、人工知能Watsonをベースにしたビッグデータ分析サービスなどを提供することが発表されました。 Watsonはクイズ番組で人間のチャンピオンと渡り合う能力を持つ人工知能として知られています。IBMは大量のデータを基に人間のように認知し判断するWatsonの技術を「コグニティブ・コンピューティング」（Cognitive Computing）と呼び、これを商用化する部門を今年1月に立ち上げたばかりです。 SoftLayerで提供される新サービスは、膨大なビッグデータに対する情報の分析や抽出を支援するための「Watson Discovery Advisor」「Watson Engagement Advisor」。さらにサードパーティがWatsonをベースにした
2014/10/14 追記 本書87ページに「母数」という単語が複数回出てきますが、 これは全て「分母」とすべきでした。*1 通常、統計学の文脈では、母数は各確率分布を特徴付ける変数を指す単語であり、 例えば正規分布は平均と分散という二つの母数によって形状が決定されます。 決して母数と分母（あるいは全数）と誤解してはなりません。 しかし母数と分母を混同することは本当によくあることで、 本書はこのような頻出する誤解を訂正し、 皆様が統計を用いる際の失敗を一つでも減らす という目的で執筆に至ったにも拘らず、 まさか本書でこのような重大な失敗をしてしまったことに対し 心からお詫び申し上げ訂正させて頂きます。 なお、問題個所の記述は共著者の森藤氏ではなく 私が記述したものであり、全責任は私にあります。 本を書くに当たり、誤字脱字や言い回しの不備は出来る限り無くすべきですが、 人間であるためミスをす
どこもそれなりに苦労・工夫しているよなぁと、興味深く聞かせていただきました。 「グリーを支えるデータ分析基盤の過去と現在」 橋本 泰一 氏 グリー 10年ほど東工大で助手・特任准教授した後、2012年にグリーにジョイン 過去の話(2011年) Webサーバからログをrsyncでストレージへ バッチ処理で集計してDBへ(MySQL) ストレージもDBもハードウェアはSolaris Sun Fire X4540 だんだん困ってきた データがほしい人が増えてきた サービスや人が増えてきた データ提供が正直しんどくなってきた 今の話: コンセプト Accessability だれでも自由に Scalability どれだけ貯めこんでも グリーのデータ分析基盤 ゲーム Treasure Data ベース ゲームへのアクセスログ GREE Platform Hadoopベース ゲームからAPIへのログ
技術者ブログ クラウド型WAF「Scutum（スキュータム）」の開発者/エンジニアによるブログです。 金床“Kanatoko”をはじめとする株式会社ビットフォレストの技術チームが、“WAFを支える技術”をテーマに幅広く、不定期に更新中！ はじめに 私たちが提供しているSaaS型のWAFサービス、Scutum（スキュータム）では、より高精度な攻撃検知を実現するために、ベイジアンネットワークの技術を利用しています。今回は「ウェブセキュリティ」「不正検知」「異常検知」「攻撃検知」といった観点から、ベイジアンネットワークについて解説します。 ベイジアンネットワークとは？ ウィキペディアによると、ベイジアンネットワークは次のようなものです。 ベイジアンネットワーク（英: Bayesian network）は、因果関係を確率により記述するグラフィカルモデルの1つで、複雑な因果関係の推論を有向グラフ構造
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
