はじめにPython3.3 までは、 「あるディレクトリ以下に存在するテキストファイルの一覧を取得して、それぞれを開く」 という処理に、以下の 3 つのライブラリを使う必要がありました。 ファイルパス操作 os.pathファイルの一覧取得 glob.globファイルを開く openしかし、Python3.4 以降であれば、これらを すべて 標準ライブラリpathlibに一任 することができます。 これによって、ファイル操作処理における 書きやすさ・読みやすさが向上 し、それぞれのライブラリの使い方をわざわざ調べる時間や、 ライブラリ間の微妙な仕様の違いに苛まれる心配から解放されます。 今回は、 「../datasets/foo/bar以下に存在するテキストファイルをすべて取得して、内容を表示したい」 という目標に対して、pathlib を利用しない場合、pathlib を利用する場合のコー
Pythonのメソッドにデコレータをつけるだけで、その処理が終わったらSlackやメールや画面のポップアップで通知してくれるツールを作りました。 github.com 正直そんなに大したツールではないんだけど、 こういう時間のかかる試行錯誤をサポートしてくれるツールを便利だと思ってくれる人が他にもいたらうれしいな、と思うのでブログに書いてみます！ 作った背景とコンセプト わたしは普段、機械学習や、大量データに対するデータ処理や分析をやっています。 いつも時間がかかるスクリプトを回しながら他の仕事をして、定期的にスクリプトが終わったか確認するということをしていたのですが、 これが面倒なので、処理が終わったら通知してくれると便利だなと思ったのが作るきっかけです。 ちなみに、kerasやtensorflow、chainerなどを使う場合だと、以下のツールがあります。 Hyperdash | Ma
追記: 2017/11/16 よく見られているっぽいので、名前変えました。 Pythonのファイル分割とパッケージとかまでをすごいざっくりまとめてみる。 「パッケージの最小サンプル」だけ見たい人は多分目次から飛んだほうが早いのでオススメ。 Pythonでファイルを分割するということ 「ファイル分割 = 名前空間の作成」が気持ちいいぞ 個人的に気に入ってるのがファイル分割。 何かしらいろいろと作ってくるとコード数が増えて、「昨日書いたコードは今日の敵」のようなことになってしまうので、なるべく機能ごとにまとめて管理していきたい。 だいたいこんな理由ではじめてファイル分割を検索するんだけど、「 Python ファイル分割 」みたいな感じでググっても、記事が古かったり、2系で書いてあるから不安になったり、リファレンスのモジュールの項を見ても欲しい情報に速攻にたどり着けなかったりする。 参考： 6.
PythonでOracle Databaseに接続するには、cx_Oracleを使う。 マルチスレッド環境下でcx_Oracleを使う場合にハマったのでメモを残す。 Oracleのクライアントライブラリは、マルチスレッドで使う際には、OCI_THREADEDというモードで使わないといけないらしい。 cx_OracleをOCI_THREADEDモードで使うには、connect関数のthreadedオプションにTrueを指定する。 >>> import cx_Oracle >>> connection = cx_Oracle.connect( ... "testuser", ... "testpassword", ... "(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=oracledb.example.com) (PORT=1521))(CONNECT_D
Use the left and right arrow keys or click the left and right edges of the page to navigate between slides. (Press 'H' or navigate to hide this message.)
Pythonの有名なWebスクレイピングフレームワークのScrapyがバージョン1.0になりました。*1 0.24からの主要な変更点は下記のとおりです。 SpiderでItemの代わりにdictを返せるようになった Spiderごとにsettingsを設定できるようになった Twistedのloggingの代わりにPythonのloggingを使うようになった CrawlerのコアAPIがリファクタリングされた いくつかのモジュール配置場所が変更された 他にも数多くの変更点がリリースノートに記載されています。 Scrapy 1.0の感想 大きな機能の追加よりも、APIの整理と安定性の向上がメインのようです。これまではバージョンを重ねるごとに便利になっていくものの、あまりAPIが安定していない印象でしたが、APIを安定させた区切りのリリースと言えるでしょう。1.0というメジャーバージョンに到
The document discusses various aspects of Python programming within the context of Cisco Systems and includes information about learning resources, technical details, and programming concepts. It covers multiple Python functionalities such as ping operations, program structure, and installation on different operating systems. Additionally, it highlights the significance of Python in network manage
Pythonを始めたばかりのユーザーの多くが、どちらのバージョンを使えばいいのか迷っています。私の答えは、「気に入ったチュートリアルに書かれているバージョンにしましょう。そして、あとで違いを調べてください」という言葉につきます。 それでは、新しいプロジェクトを始めるときにはどちらを選べばいいのでしょうか？ 使おうとしているライブラリを全てサポートしているなら、2.7.x系と3.x系のどちらを使ってもよいでしょう。そうはいっても、この2つのメジャーバージョンについて大きな違いを見ておくのは良いでしょう。どちらかのみでコードを書いたり、プロジェクトに使おうとしている時によくある落とし穴を避けられるからです。 __future__ モジュール Python 3.x で導入されていて Python 2 で使えないキーワードについては、 __furute__ モジュールをインポートすることで Pyt
なんとなくネタとして。 Pythonは大きく2系と3系になってますが、そろそろ3系に移行しつつも2系のケアをしてあげないといけません。 なので必然的に複数バージョンのPythonを使い分けることになります。 なんかそういうの簡単にできちゃうよーという 超便利ツール があるらしいですが なんでわざわざツールの使い方覚えないといけないのかさっぱり理解不能なので、 超便利ツール にさっぱりついてけないなりのやり方をメモっておきます。 方針とか プロジェクト内ごとの環境は virtualenv を使う tox を使ってバージョンごとのテストなどを実行する /opt/python-{version} にインストールする バージョンつきの pythonコマンド(python3.4,``python2.7`` など) は PATHに常に含まれるようにする とりあえずvirtualenvするには pyth
概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい
予定と実績¶ Flaskを使う準備 20分 -> 60分 Flaskチュートリアル 40分 -> 60分 休憩 15分 Flaskを使いこなす1 40分 -> 60分 アプリを公開する 20分 -> 20分 休憩 15分 Flaskを使いこなす2 30分 -> 30分 プラグイン、情報源紹介、Q/A、予備 -> 10分
まだeasy_installを使っているというかわいそうな人がいるらしいので、 WindowsでもPillowとかのバイナリをpipでインストールできるよという話。 きっとかわいそうな人はPython2.7とかレガシーなの使ってると思うので、 ちゃんと2.7でvirtualenvしたよ！ PS C:\Users\aodag_2> virtualenv.exe C:\Users\aodag_2\envs\pillow New python executable in C:\Users\aodag_2\envs\pillow\Scripts\python.exe Installing setuptools, pip...done. PS C:\Users\aodag_2> .\envs\pillow\Scripts\activate.ps1 (pillow) PS C:\Users\aodag
pipの使い方 (2014/1バージョン)¶ 以前 pipの使い方 と いう記事を書いたのですが、これは2011年の1月と、ちょうど3年前です。これ から随分変わったので、ここでもう一度まとめたいと思います。 pip: http://www.pip-installer.org/ ここで述べているpipのバージョンは1.5です。お使いのpipのバージョンが古い場合は pip install -U pip として、更新してください。 警告 大きな変更点: pip 1.5から"pre"や"b"などがバージョンに付いているパッ ケージはデフォルトで検索やインストールの対象からはずされました。その ため、1.5未満のバージョンのpipでインストールしたパッケージが1.5では 入らない場合があります。 --pre を付けることで、これらのバージョンを入れることができます。
PHPだってシェル経由でないコマンド呼び出し機能が欲しい コマンド実行でシェルが怖いなら使わなければいいじゃない どちらの記事でも Python の subprocess を使ってシェルを介在せずにコマンドを実行する方法が紹介されています。 シェルを介在すると、エスケープの問題考えるのが面倒だったり、 kill してみたらシェルだけ殺して肝心のコマンドがずっと残ってるというアホみたいな問題を避けられるのでお勧めです。 いい子はこれを使いましょう。 この記事ではどうしてもシェルの機能が使いたい場合や、 subprocess の PIPE の組み立てが面倒な場合のための、バッドノウハウを紹介していきます。 ちなみに、バッドノウハウと呼んでるのは、安全安心 one size fits all ではなく、メリット・デメリット・やり方をいちいち調べないといけなくて、しかもその調べる行為がほとんどコン
Python modules you should know A list by Alberto Granzotto, 15 Nov 2013 A collection of the best modules I use. Python is beautiful. So keep your code clean and maintainable with those modules. Suggestions are welcome, just add your comment! Docopt. Forget optparse and argparse, and build beautiful, readable and (if you need) complex command-line interfaces using docstrings. IMO the best module cr
python で複数プロセス立ち上げてそれぞれのコマンドの結果を非同期に処理するのどうやったらいいんだろ— ねじめ (@drillbits) October 3, 2013 ていうのを見かけたので殺伐とした心を癒すためにやってみる心。 やりたい事 Pythonスクリプトから複数外部コマンドを実行 実行結果を非同期に処理する 割とお手軽にやりたい。 よしググる(クズやろう) asynchronous - How can I run an external command asynchronously from Python? - Stack Overflow あった。 試してみる それぞれ 1秒, 2秒, 3秒まってprintするようなスクリプトを3つ用意 # こんな感じ from time import sleep sleep(1) print "echo1" これを参考のまんま下記のよう
課題 sys.stdout のエンコードを変更したい！！！ 説明 sys.stdout のエンコードの変更は，Python2.6 までは >>> sys.stdout = codecs.getwriter('utf-8')(sys.stdout) >>> print u'ほげ' ほげ ってやります． これを，Python3.0 でやると， >>> sys.stdout = codecs.getwriter('utf-8')(sys.stdout) >>> print('ほげ') Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Python30\lib\codecs.py", line 356, in write self.stream.write(data) File "C:\P
注意 この内容はすでに古くなっています。 pipの使い方 (2014/1バージョン) を参照してください。 pipとは、Pythonにおけるパッケージ管理システムです。easy_installというツールもあるのですが、pipはこのeasy_installを置き換えるものとして開発されています。rubyのgem、perlのcpan的な位置づけです。 同じパッケージ管理ツールとしてsetuptools置き換えのdistributeというものもあるのですが、こちらはsetuptools全体を置き換えるものとして開発されており、pipはsetuptoolsの一部であるeasy_installを置き換える形です。 なお、現在のpipのバージョンは0.8.2で、このエントリはこのバージョンを使っています。 なにかおかしい点があれば、ご指摘ください。 > 識者の方々 pipのinstall まずはea
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
