こんにちは、Wantedlyでデータサイエンティストをしている樋口です! 先日会社で買ってもらったデータビジュアライゼーションの基礎を読みました。データ可視化について網羅的にわかりやすく書かれており参考になったため、記事にまとめてみました。書籍の英語版は無料で公開されているため、よければこちらも参考にしてみてください。 データビジュアライゼーションの知識を学ぶことで、科学的に誤った表現をせずに、芸術的に美しい表現ができ、明確で明瞭かつ魅力的にデータから得られる示唆を伝えることができる様になります。📊 本記事では、特定のライブラリや描画手段によらないデータ可視化の基礎について紹介します。 分量が多くなってしまったので、本記事ではデータビジュアライゼーションの”グラフ"にのみ着目しています。グラフ以外の構成要素(色、タイトル、テキスト、etc.)については別途記事にしたいと思います。 本記事
どもお久しぶりです。林岳彦です。ローソンなどで売ってるいなばのタイカレーはそうめんのつけ汁として使ってもマジうまいのでオススメです。 さて。 今回は前々回の記事： 因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ の続編として、逆のケースとなる「因果関係があるのに相関関係が見られない」ケースについて見ていきたいと思います。あんまり長いと読むのも書くのも大変なので、今回はまずは前編として「検定力の問題」に絞って書いていきます。 （＊今回は上記の前々回の記事での記述を下敷きに書いていきますので、分からないところがあったら適宜前々回の記事をご参照ください） まずは（今回の記事における）用語の定義：「相関」と「因果」 今回も少しややこしい話になると思うので、まずは用語の定義をしておきたいと思います。（＊細かいと
オーダーメイド医療シリーズを書くと言いながら止めておきながらこんなことをして少し後ろめたいですが、頭の体操として。 妊婦血液で出生前検査 異常９９％判明 http://www3.nhk.or.jp/news/html/20120829/t10014608571000.html これにおいて 「検査の対象は、胎児の染色体異常のリスクが高まる３５歳以上の高齢出産妊婦などとしたうえで」 制限つける必要あるのかねえ というid:wdnsdyさんのコメントが現時点で一番スターが多くついています。ですがこれは絶対必要な条件です。成育医療センターと昭和大の先生方は適切にもこの年齢制限を設定した、というべきです。その理由は知っていさえすれば特に難しいことはなく、ブコメ欄にもいくつも手がかりとなるコメントを残している方はいますが、わかりやすく説明できるかどうかを試みてみるものです。 個人から見た検査の精度
研究者の多くはエラーバーの意味をろくに理解していない 今日、私は認知科学日記の読者がエラーバーをどれだけ理解しているかを問うオンライン投票を開始した――エラーバーとはよくグラフに乗っている、あの小さなI字型の、統計学の賜物である。正しく理解していないだろうということは、大体予想済みである。なぜそんなに自信があるかって? それは2005年、サラ・ベリア(Sarah Belia)らのチームが、最前線の心理学、神経科学、医学ジャーナルに論文を掲載したことがある数百人の研究者を対象に行った研究成果があるからである。彼らのうちエラーバーと有意さの関係について正しい知識を示したのはほんの一握りであった。論文を掲載した研究者たちができないなら、どうしてカジュアルなブログの読者ができることを前提としてよいだろうか? 信頼区間 まずそもそも、問題の解決法を知るため、少々の説明が必要である。信頼区間というコン
「 “モテキ”はなぜやってくるのか？」で“つながり”について書いたが、私たちはいったいどのようにつながっているのだろうか？ ここでは、それを可視化してみよう。 以下の3枚の図版は、いずれもニコラス・A・クリスタキス/ジェイムズ・H・ファウラー『つながり 社会的ネットワークの驚くべき力』に掲載されているものだ。 1枚目は、白人生徒が大半を占めるアメリカ中西部の中規模高校（仮名で「ジェファーソン高校」）のセックス相関図だ。 色の濃い点が男子、色の薄い点が女子で、複数の異性とつき合っている場合は2方向（もしくは3～4方向）に枝が伸びている。 これを見るとわかるように、枝の末端にいる生徒を除けば、すべての生徒が複数の異性と性関係を持っている。でもこれは、「アメリカの高校は風紀が乱れている」ということではない。 そもそもなぜ、社会学者がこのようなセックス相関図を描くことができたのだろうか？ それはこ
一口に感度解析（sensitivity analysis）と言ってもいろいろな意味を持っている印象。調査している中で分かってきた事をメモしておきます。 SASのプロシージャ：LP Rのパッケージ：sensitivity 資料のまとめ 論文 sobolの手法がメジャー？ 教科書はこれ。 Sensitivity Analysis (Wiley Series in Probability and Statistics) 作者: Andrea Saltelli,K. Chan,E. M. Scott出版社/メーカー: John Wiley & Sons発売日: 2009/03/16メディア: ペーパーバック クリック: 20回この商品を含むブログ (1件) を見る この本の著者であるSaltelliが著名みたい。 いろんな資料を眺めた印象だと、SASの感度解析とRの感度解析は違うことをやってそう。
この本に沿って時系列データの解析方法をまとめました。 Rによる時系列分析入門 作者: 田中孝文出版社/メーカー: シーエーピー出版発売日: 2008/06/01メディア: 単行本購入: 12人 クリック: 113回この商品を含むブログ (19件) を見る サンプルデータを使っても面白くないので、厚労省が公開している医療費のデータを使いました。 厚労省の医療費データベース 例によってこのデータはエクセルで公開されていて、そのまま解析できる状態じゃありません。 今回は入院の総医療費だけを扱ったので、その部分だけ加工してcsvにしました。 一応、加工したデータはダウンロードのページに置いてます。 それでは、解析していきます。 まずはデータ読み込みと加工。 Iryouhi <- read.csv("医療費.csv", as.is = T) Nyuin <- ts(Iryouhi[, 2], fre
今ほど統計解析が必要とされる時代はありません。オープンソースの統計処理言語・環境の「R」を使って実践的な統計解析のテクニックとリテラシーを習得しましょう！ 読者にとってRは、世に溢れるデータの密林を切り開くための“ブッシュナイフ”となることでしょう（編集部） 統計解析の必要性とリテラシー 21世紀になって、経営学者の故ピーター・ドラッカー氏が言うところの知識労働者は、ますます統計解析を必要する局面が増えてきました。この状況は、20世紀後半から21世紀に起きた計算機能力の増大とインターネットの発展を基礎に、3つの大きな潮流が現れたことがキッカケとなっているように思います。その3つの潮流とは、オープンソース、オープンデータ、そしてオープンアイデアです。後ろの2つは今筆者が名付けました。 オープンソースは、皆さんがご存知のように、Linux、Apache、Perl、Python、RubyなどのO
Author:くるぶし（読書猿） twitter:@kurubushi_rm カテゴリ別記事一覧 新しい本が出ました。 読書猿『ゼロからの読書教室』NHK出版 2025/5/23刊行 読書猿『独学大全』ダイヤモンド社 2020/9/29書籍版刊行、電子書籍10/21配信。 ISBN-13 : 978-4478108536 2021/06/02 11刷決定 累計200,000部（紙＋電子） 2022/10/26 １４刷決定 累計260,000部（紙＋電子） 紀伊國屋じんぶん大賞2021 第３位 アンダー29.5人文書大賞2021 新刊部門 第１位 第２の著作です。 2017/11/20刊行、４刷まで来ました。 読書猿 (著) 『問題解決大全』 ISBN:978-4894517806 2017/12/18 電書出ました。 Kindle版・楽天Kobo版・iBooks版 韓国語版 『문제해결 대
※コラム「統計備忘録」の記事一覧はこちら※ 統計用語というのは似たような言葉のオンパレードで、間違って覚えてしまうこともしばしばですが、「z 得点（z-score）」と「Z 得点（Z-score）」は音も同じ、綴りも同じ、紛らわしい事この上無しです。殆どの人は「ゼット得点」が2つあることを知らないのではないでしょうか。 新曜社の統計用... ※コラム「統計備忘録」の記事一覧はこちら※ 順列と組み合わせは高校の数学で学びますが、統計学を理解する上で必須の知識と言えます。Excelにも順列と組み合わせを求めるための関数が用意されています。 PERMUT：順列、permutation COMBIN：組み合わせ、combination Excelでは不思議なことに、PERMUTは統計関数、COMBINは数学／三角関数に分類さ... ※コラム「統計備忘録」の記事一覧はこちら※ アンケートを作るとき注
クラスタリングツール bayon がとてつもなく素晴らしいです！ 2009-06-10-5 [Algorithm][Software] mixi の fujisawa さんによる、C++ で書かれたクラスタリングツール bayon がシンプルイナフで猛烈に素晴らしくてクールです。 - 軽量データクラスタリングツールbayon (mixi Engineers' Blog) http://alpha.mixi.co.jp/blog/?p=1049 - チュートリアル（Tutorial_ja - bayon） http://code.google.com/p/bayon/wiki/Tutorial_ja 詳細は上記URLを見てもらうとして、 たまたま手元に250万件のデータ（ラベル＋特徴語リスト）があったのでさっそく試してみました。 ドキュメント数250万件。 各ドキュメントの特徴を現すキーの平
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 ポジティブ／ネガティブ投票による正しいランキング方法が以下の記事で紹介されています。 How Not To Sort By Average Rating この計算方法では、投票数が少ない場合には分散が大きく不正確な評価で、 投票数が多くなるにつれて分散が小さく正確な評価が得られているという事を考慮しています。以下数式 これはScoreの信頼区間を表しています。 この信頼区間の下界をランキングのスコアにすれば良い事になります。 ここで、は、 です。全体に占めるポジティブ投票数の割合ですね。 は標準正規分布上の 信頼区間の有意確率です。 さて、五段階評価によるRatingに同様のテクニックを適用する場合はどうしたらいいでしょうか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
