皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL
QDくん⚡️AI関連の無料教材紹介 @developer_quant 金融技術職/ChatGPT等の生成AI,データサイエンス,プログラミングの勉強に役立つ情報を発信/良質な無料教材,スライド,動画等を紹介/3千ポストで5万5千フォロワー獲得/過去の人気投稿はハイライトを参照/金融工学x機械学習ブログ運営 https://t.co/bQubHSMk4e /Amazonアソシエイト参加中 https://t.co/2Zd5MRXGw3 QDくん⚡️AI関連の無料教材紹介 @developer_quant オライリーの教育的な良書「Think Python」第2版は日本語訳が無料公開されている。 cauldron.sakura.ne.jp/thinkpython/th… ・初心者がつまずきやすい点を先回りして説明 ・各章の終盤にデバッグのヒントが書いてある pic.twitter.com/RP
まずは10分試してみようPythonの無言ブクマをよく見かけるのでネットワークに続いてちょっと書いてみることにしました。 東大・京大のコンテンツが初心者向けでおススメという言説を見かけるのだけど、これは本当だろうか。私は人を選ぶのではないかと考えています。 あれは確かによくまとまっているし、初心者向けに制作されてはいるのだとは思うのですが「大学の学生に向けた授業で用いる」内容だということを失念して手放しで称賛しているきらいがあるなと。 私としてはあの資料は以下の前提で用意されていると考えています。 東大・京大に合格できる高い理解力という下地を備えている講義の資料であり講師が口頭で補足や注釈を行う前提である とはいえ、資料を読んだ時の理解度など人それぞれですから、私が勝手にそう思っているだけなのかもしれません。 あの資料が本当に初学者である自分に向いた資料であるのか。挫折せずに続けられそうか
「Diagrams」を使うと Python コードでアーキテクチャ図を生成できる．サポートされているアイコンセットがとても多く AWS や Google Cloud や Microsoft Azure もあれば，Kubernetes やプログラミング言語なども使える．試してみたけどめちゃくちゃ便利！まさに Diagram as Code だ✌️ diagrams.mingrammer.com セットアップ 「Diagrams」は Graphviz に依存しているため，macOS だと pip と brew ですぐにセットアップできる． $ pip install diagrams $ brew install graphviz 試してみた さっそく Examples を参考にアーキテクチャ図を作ってみた！ サンプル : AWS from diagrams import Cluster, D
本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその
Hacker NewsとRedditでバズっていたPythonのデバッグツールが便利だったので紹介です！ PySnooperというライブラリです。 Hacker News - PySnooper: Never use print for debugging again Reddit - PySnooper: Never use print for debugging again ※追記 想像以上にたくさんの方に読んでいただき、printデバッグなど他のデバッグ方法との比較について追記として文末に補足しました。釣りタイトルですみませんでした…🙇 何ができるライブラリか 一言で言うと「デバッグがめちゃくちゃ簡単にできるライブラリ」です。 github.com 例を見たほうがわかりやすいと思うので見てみましょう。 インストールは pip で行えます。 pip install pysnooper
先週末に「Python 3 エンジニア認定基礎試験」を受験し，問題なく合格した．試験問題に関係する内容は NDA を厳守するため書かず，今回は「試験紹介（普及のため！）」と「勉強方法」にフォーカスする． Python 試験とは？ 「一般社団法人 Python エンジニア育成推進協会」が提供する Python 試験は2種類ある．現在受験できるのは「認定基礎試験」で，「認定データ分析試験」は今年開始予定とアナウンスされている． Python 3 エンジニア認定基礎試験 概要 : 文法基礎を問う試験 2017年6月開始 Python 3 エンジニア認定データ分析試験 概要 : Pythonを使ったデータ分析の基礎や方法を問う試験 2019年夏開始予定 🚧 もともと「認定データ分析試験」を受験しようと考えていたけど，調べてみるとまだ開始されていないことに気付き，その前に Python の理解度確
はじめに Pythonの対象バージョンは3系です。（2系でも通じるものは多いはず） 対象読者レベルは他言語を軽くでも触ったことある人です。「あー、Pythonだとこれはこう書くのねー」が網羅的に分かるようにまとめたつもりです。 ここではWEBアプリケーションフレームワーク(DjangoとかFlaskとか)に関してはほぼ触れません。 @shiracamus 多くの有益なコメントと編集リクエストありがとうございます。 Python開発環境構築 下記（私の記事ですが）はWindowsでの構築となっていますが、Macでもほぼ同じ通りにできます。 今からWindowsでベストなPython開発環境を構築する手順 Pythonについて 今最も勢いに乗っているプログラミング言語。 オブジェクト指向。Pythonでは全てがオブジェクト。 動的言語（スクリプト言語）のため、変数宣言時に型を明示的に定義しない
2017年10月20日にBPStudy#122〜いかにプログラミングを学ぶか？プログラミング教育を考えるが開催されました。 第1部は「子ども向けプログラミング教育」がテーマ（その1、その2、その3、その4) でした。 第2部は「大人向けプログラミング教育」で、クオリティスタート社のござ先輩と、Python学習プラットフォームのPyQチームに話してもらいました。 ござ先輩は今年の４月から企業のプログラミング初学者向けに研修を実施されていて、そこでの経験からお話いただきました。 資料は以下です。 気づいたらスライドのはてなブックマークが340を超えていてバズっていました(2017年11月13日現在)。さすがですね。 事業としてプログラミング研修を始めた経緯 他社の新人向けプログラミング研修の学習効果が芳しくないという相談を知人から受けた 独習Python入門――1日でプログラミングに強くなる!
配列操作の比較表: Ruby, Python, JavaScript, Perl, C++ プログラムを書いていると、他のプログラミング言語の記憶とごっちゃになって、「配列の後ろに要素を追加するのは push だっけ、 append だっけ」などと混乱することがあります。特に Ruby, Python, JavaScript はコードの書き方が似ているので、この問題が起きがちです。 そこで、備忘録として、 Ruby, Python, JavaScript, Perl, C++ の配列操作の比較表を作りました。一番慣れている Ruby を基準にしています。間違いなどがあったらご指摘いただけると助かります。他の言語のもあるといいなあ。 Ruby (Array) Python (list) JavaScript (Array) Perl (@) C++ (std::vector)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
