あらすじ 最近、Rで自己組織化マップ(SOM)をやろうと思って調べてみました。 本投稿ではSOMの解説、SOMの生成からデータの見方まで扱っていきたいと思います。 SOMって？ 自己組織化特徴マップ（SOM）は、ヘルシンキ大学のコホーネン教授により1981年頃に発表された。教師なし学習を行なうニューラルネットワークの代表例と言える。 様々な入力データを、それらの類似度に応じて自動的に分類するクラスタリング能力に優れる。 何種類かのデータを適当に繰返し入力し続けると、いつの間にか、似たようなデータを近くに配置していく。 引用元:自己組織化特徴マップ（SOM） - http://www.sist.ac.jp/~kanakubo/research/neuro/selforganizingmap.html という解説がされていますが、要は、 データ(特徴ベクトル)の集合をプロットする一つの方法とい
データフレーム Tips 大全 R の多くの関数はデータフレームと呼ばれるオブジェクトを対象とする．データフレームは、同じ長さの複数の数値ベクトル，文字ベクトル等を成分とする、data.frame クラス属性を持つオブジェクト(実体はリスト)であるが，そのものとしては行列のような外見を持つ．各行・列はラベルを必ず持ち，それを用いた添字操作が可能である．データフレームの各行は一組の観測値(case)を表現する。データフレームの各列は一つの変数（項目）を表現する。 データフレームの成分をその成分名で参照できるようにする attach と with (2004.2.5)† attach 関数はデータフレームの成分を現在の環境中に登録する。detach は逆に抹消する。 > data(swiss) # 組み込みデータ swiss を読み込み > swiss # swiss データは5成分からなるデ
詳しくは (その関数のパッケージを library() で呼び出してから) それぞれの関数のヘルプを御覧頂きたい． 因子分析 データ v2 はデータ v1 にノイズを加えたデータで，v4 と v3 ，v6 と v5 も同様な関係となっている． v1 <- c(1,1,1,1,1,1,1,1,1,1,3,3,3,3,3,4,5,6); v2 <- c(1,2,1,1,1,1,2,1,2,1,3,4,3,3,3,4,6,5) v3 <- c(3,3,3,3,3,1,1,1,1,1,1,1,1,1,1,5,4,6); v4 <- c(3,3,4,3,3,1,1,2,1,1,1,1,2,1,1,5,6,4) v5 <- c(1,1,1,1,1,3,3,3,3,3,1,1,1,1,1,6,4,5); v6 <- c(1,1,1,2,1,3,3,3,4,3,1,1,1,2,1,6,5,4) m1 <-
参考： http://eau.uijin.com/advstats/cluster.html http://mjin.doshisha.ac.jp/R/29/29.html クラスター分析、新しいPCにまだMinitabとかSPSSとか入れてないのでRでやってみたメモ。 統計ソフトでやるより、見せ方が充実しててRでやったほうがクオリティは高いかも（エクセルからコピペで出来ない分手間はかかるけど…） 階層クラスタリング # k-meansをする場合は、欠損値は先に除いておく data = data.frame(read.table('data.tsv', header=T)) cluster = hclust(dist(data), method="ward") plot(cluster) # 分割数を指定すると、プロット上でグルーピングしてくれる。便利 rect.hclust(cluste
新しい年度になって消費税も上がったことで，3月までの駆け込み消費*1の反動でマンションとか全く売れていないんだろうなぁと思う今日この頃です*2．個人的な趣味でいうと新築よりは中古派ですので，増税前に無理矢理ローン組んだ人がさくっと数年で手放したのを買うのとかが，味があってよいと思うわけですけれども．2015年に消費税が10%にあがる公算も高そうですしね． さて，先日こんな興味深い記事を拝見いたしました． 徒歩5分vsバス利用、中古マンションの値下がり具合を可視化 - マンションチラシの定点観測 | マンション選びのお役立ち情報ブログ REINSといえば，不動産会社御用達の物件データベースなわけですが，当然のことながら業者専用のデータベースなので，私のような一般の人はみることができません．と思っていたら，上記記事で紹介があるように，中古物件の成約済みデータに関しては閲覧可能なんですね． 上記
KalmanFilter をきちんと理解したいのだが いまいち 具体的な動作がわからない、、、ということで実装 & 可視化してみた。 KalmanFilter とは 誤差が乗っているであろう観測値の系列について、直前の観測と現在の観測を用いて 真の状態を推定する手法。例えば GPSで取得した位置情報から、正しい位置を推定する 取得可能な経済指標から 真の景気の状態を推定する カルマンフィルター - Wikipedia 理論 はてなの TeX 記法で うまく数式がかけないところがあるので 英語版 wikipedia の数式を使う。KalmanFilter はある時点で観測を行うたびに 入力値を使って次の状態を予測するとともに、現時点の予測値を補正する処理を繰り返す。 予測: k-1 時点の値を利用して予測した k 時点での"真値の予測値" k-1 時点の値を利用して予測した k 時点での「真
Happy new year to all of you. Even if you still fight with the aftereffects of your new year's party, the following is something that may help in getting you more active because that's it what this blog post is about - Activity. Regardless of the business you are working in, I bet that customer activity is something that matters. An active customer typically is someone who is receptive for offers,
前回の記事ではVARモデルに基づく様々な計量時系列分析手法を取り上げました。今回はいよいよ現実世界の時系列データを扱う上では避けて通れない、単位根過程とそれにまつわる様々な問題とその解決策について触れてみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る ただしこの辺の数理科学的な原理・根拠が気になる人は、Hamilton本も脇に置いておいた方が良いでしょう。 Time Series Analysis 作者: James D. Hamilton出版社/メーカー: Princeton Univ Pr発売日: 1994/01
ログデータの異常検知を行う必要が発生したので、変化点検出の統計的な手法をざっくりと調べてみた。 偏差の累積和による方法 各データ点に対して標本平均との偏差の累積和を求め、これが最も大きくなる点を変化点とする方法。 手順は下記の通り。 系列全体の平均値(標本平均)を計算して、各点について平均値との差を求める 平均値との差の累積和を計算し、絶対値が最大になる点を変化点とする。 変化点によって区切られた各区間について、1,2を再帰的に繰り返す。 平均値でなく分散を使うバージョンもある。 特徴 1次元のデータ列に適用可能。 変化していない部分のデータは同一の確率分布に従い、かつ観測値はすべて互いに独立であることを仮定。 上記を満たしていれば、データが特定の分布に従うことを仮定しない。 もちろんデータの独立性が仮定できなければ使えないので、ログのような時間相関のありがちなデータにおいて使える場面は限
Problem Solution Sample data Simple color assignment Mapping variable values to colors A colorblind-friendly palette Color selection Setting luminance and saturation (chromaticity) Palettes: Color Brewer Palettes: manually-defined Continuous colors Color charts Hexadecimal color code chart RColorBrewer palette chart Problem You want to use colors in a graph with ggplot2. Solution The default color
前回の記事までは多変量時系列モデルとしてのVARモデルを扱ってきました。今回は一旦このシリーズの最終回ということで、元の単変量時系列モデルに戻って「状態変化を伴うモデル」を扱ってみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る ただし今回の最後に出てくるマルコフ転換モデルは沖本本の説明では不足と思われるので、Hamilton本もあった方が良いです。 Time Series Analysis 作者: James D. Hamilton出版社/メーカー: Princeton Univ Pr発売日: 1994/01/11メ
Rで計量時系列分析シリーズでだいぶ時系列データの話をしてきたわけですが、最近個人的に季節変動のあるデータを扱うケースが増えてきたので、備忘録的にまとめてみようかなと。 一般に、webデータサイエンスの領域で季節変動というと業種や領域にもよるものの、おおむね 週次*1 月次*2 四半期ごと*3 年次or12ヶ月ごと*4 辺りが多いと理解してます（もちろん必ずしもこればかりではないので念のため）。ちなみにこの辺の大ざっぱなまとめが「季節調整」のWikipedia項目に書かれているので、そちらもどぞー。 この辺の処理はRだとかなりお手軽にできるんですが、結構Rならではの約束ごとが多くていきなりやろうとすると「何じゃこりゃ？？？」みたいなことになりがちです。ということで、その辺のポイントをざっくりまとめておきました。 必要なRパッケージ 今回は{forecast}だけインストールして展開しておけば
RR Advent Calendar2012、3日目です。 Rで時系列データを扱うの便利ですよね。 Rではファイナンス系の時系列を扱うには、様々なパッケージまたはクラスが用意されています。 今回はそれらを紹介していこうかと思います。 tsクラスtsクラスとは、元々用意されている時系列クラスです。 周期(四半期とか月次)や刻み時間で構成されています。 例えば、デフォルトでセットされているtsクラスのデータは > nhtemp Time Series: Start = 1912 End = 1971 Frequency = 1 [1] 49.9 52.3 49.4 51.1 49.4 47.9 49.8 50.9 49.3 51.9 50.8 49.6 49.3 50.6 48.4 50.7 50.9 [18] 50.6 51.5 52.8 51.8 51.1 49.8 50.2 50.4 5
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
