What's going on? Like all modern operating systems, Linux is borrowing unused memory for disk caching. This makes it look like you are low on "free" memory, but you are not! Everything is fine! Why is it doing this? Disk caching makes the system much faster and more responsive! There are no downsides, except for confusing users who are new to computing, and unfamiliar with the concept of a filesys

NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を

ファイルやポート、プロセスの関連を確認する際に良く利用するlsofコマンドについて、個人的に覚えておきたいオプションや使い方をまとめてみる事にする。 なお、もしlsofコマンドがない環境の場合、ファイルとプロセスの紐付けを確認するだけであればfuserコマンドが入っていればそれで代用可能だ。 1.全プロセスを確認する lsofコマンドは、オプションを付与しないで実行すると全てのプロセスについて出力してくれる。 lsof [root@test-node ~]# lsof COMMAND PID TID USER FD TYPE DEVICE SIZE/OFF NODE NAME systemd 1 root cwd DIR 253,0 4096 128 / systemd 1 root rtd DIR 253,0 4096 128 / systemd 1 root txt REG 253,0

先日、ssh接続する際に.ssh/configで指定していた鍵ではない秘密鍵を使って接続しようとしてたところ、公開鍵を登録していない秘密鍵を指定しても接続されてしまうという事があった。 なんだこりゃと思って-vオプションを付与して見たところ、以下のような動きをしていた。 blacknon@BS-PUB-DEVELOP:~$ cat .ssh/config Host 192.168.0.119 HostName 192.168.0.119 User root Port 22 IdentityFile /home/blacknon/.ssh/id_rsa blacknon@BS-PUB-DEVELOP:~$ blacknon@BS-PUB-DEVELOP:~$ ssh -v -i testkey root@192.168.0.119 OpenSSH_7.2p2 Ubuntu-4ubuntu2.

CentOSなど、RHEL系のディストリビューションを使っているなら必ず一度は使ったことがあるであろうyumコマンド。 みんな使うけど、installとかupdateばかりで他のオプションはそんなに使われてない場合が多いような気もするが、使いこなせるとかなり便利な機能がいっぱいある。 …といっても、機能がありすぎるので、役に立ちそうなものだけを抜粋している。 1.パッケージをインストールする yumを使ったことがあるなら、必ず一度は使っている使い方。 指定したパッケージを、yumリポジトリ(yumでインストールされるrpmパッケージのデータベースやデータそのものを持つ、貯蔵庫のようなもの)からインストールする使い方だ。 使い方も説明不要かと思うが、サブコマンド「install」にインストールするパッケージ名を引数として与えればよいだけだ。 yum install パッケージ名 [root@

ふとtwitterみてたら、rsコマンドなるものを使って処理しているものがあったので、ちょっと調べつつ使ってみることにした。 どうやらBSDで使われていたデータ処理のコマンドのようで、ちょっとしたバグはあるようだけど、いろんな使い道があるようだ。日本語のmanはこちら。 一応Mac OS Xには最初から、Ubuntuには以下のコマンドでインストールすることができる。 sudo apt-get install rs 以下、いくつかの使い方をピックアップする。 1.複数の列に分割する 以前にこちらでも触れたのだが、pasteのように標準出力で受けた列を、複数の列に分割させることができる。 コマンド | rs 行数(0の場合無制限) 列数 # pasteと同じ方向で処理をする コマンド | rs -t 行数(0の場合無制限) 列数 # pasteの逆の方向で処理をする blacknon@BS-P

CSVやTSVのデータを扱っていると、大容量になるとcatなんかでは抽出するのは辛くなってくる。 かと言って、grepで行抽出、awkで列指定しての行抽出となると毎回はちょっとつらいし、複数人にそれをやらせるとブーイングが来そうだ。DBにインポートすればよいのだろうが、それも面倒くさい。。。jsonであればjqコマンドを使えば良いのだけど、そうも言ってられないし、わざわざjson形式に切り替えるのも面倒くさい。 そんな時に使えそうなのが、csvファイルに対してSELECT文などを利用できるコマンド「q」コマンドだ。 これならSQL使えれば簡単に扱えるし、DBも必要なさそう。 1.インストール インストールは簡単で、こちらを参考に各OSに合わせてバイナリをインストールするだけだ。 今回はCentOS 7でインストールしてみる。 curl -s http://harelba.github.io

長い標準出力を見るときに重宝するlessコマンド。 LinuxやUNIXをある程度触っている人間であれば必ず触ってるであろう基本的なコマンドだが、今回はこのコマンドについての使い方をまとめてみることにする。 1.基本的な使い方 lessは、基本的に長い(大きな)テキストファイルや標準出力を見る際に用いられる。 基本的には、以下のようにコマンドを実行して利用する。 コマンド | less 例)/proc/meminfoの出力内容をlessで見る場合 cat /proc/meminfo | less この状態の時、上下キー(もしくは、jkキー)で表示範囲を移動する事ができる。 また、一番下に「:(コロン)」が見えていると思うが、ここでコマンドを入力したりすることで、viのように操作してファイル内の検索を行ったりすることができる。 以下、画面移動時に利用出来るキーを抜粋。 k(↑キー) … 1行

wgetコマンドといえば、webからファイルをダウンロードしたりする際によく利用するコマンドだ。 今回は、このwgetコマンドについて覚えておきたい使い方をまとめてみる事にする。 1.基本の使い方 基本的には、以下のようにオプション無しでコマンドを実行することで、Web上のファイルをダウンロードする。 ダウンロードしたファイルはカレントディレクトリに同じ名前で保存される。 wget http://ファイルのURL [root@test-node work]# ls -la 合計 4 drwxr-xr-x. 2 root root 6 3月 19 00:39 . dr-xr-x---. 19 root root 4096 3月 19 00:39 .. [root@test-node work]# wget http://diffc.googlecode.com/svn/trunk/bin/p

今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする『ccze tool』を紹介する。 1.インストール まずはインストール。 以下のコマンドを実行する。 sudo yum install ccze  --enablerepo=epel (CentOSの場合) sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行 さて、それでは実際にコマンドを実行してみよう。 tailコマンドで、「/var/log/messages」を確認する。 tail /var/log/messages | ccze -A 上半分はcczeを利用していない状態。 下半分でcczeを用いている。 うーむ、確かに見やすい… むろん、「tail -F」でも閲覧可能だ。 tail -F /var/log/messages | ccze -A ちなみ

LinuxやMacを使っていて、tail -Fやcatを使用時に特定のキーワード(例えばerrorとか)だけをハイライト表示させたい時がある。 だからと言っても、そのキーワードのある行だけが表示されるのは困り、全ての行を表示させたい。 1.grepコマンドを使う そんな時でも、grepコマンドで対応することができる。 以下のように、「$(行末)」を指定しコマンドを実行することで、全ての行を表示させつつ対象のキーワードをハイライトさせることができる。 コマンド | grep --color=auto -e '$' -e 'キーワード' もしくは コマンド | grep -E --color=auto 'キーワード|$' キーワードを複数指定する場合、「-e」でつなげていくか、egrep方式であればパイプでつなげていけばいい。 以下、CentOS 7でやってみた結果がこちら。 なお、色を変更す

Linux・UNIXで日時を取得する際に良く使用されるdateコマンド。 今回は、このdateコマンドで覚えておくと便利な使い方についてをまとめてみる事にする。 1.基本的な使い方 説明不要と思われるが、基本的には以下のようにコマンドを実行することで、現在のシステム時間を取得する事が出来る。 date [root@test-centos7 ~]# date 2015年 9月 29日 火曜日 05:59:42 JST 2.出力フォーマットを指定する dateコマンドでは、「+」以降に以下のようなフォーマットを組み合わせて指定することで、出力される時刻のフォーマットを指定することが出来る。 フォーマット 内容

LinuxやUNIXで、Excelのフィルタ機能のように特定の列で〇〇以上、〇〇以下といった指定方法で行を抽出する場合は、awkを使うとカンタンだ。 awkで特定列の値が〇〇以上の行を指定する場合は、以下のように指定する。 awk '列 >= 条件' 対象ファイル 複数条件を指定する場合は、以下のように「&&」で繋げる(orの場合は、「||」で繋げる)。 例えば、特定列の値が〇〇以上、〇〇以下といった指定をする場合は、以下のようにする。 awk '列 >= 条件 && 列 <= 条件' 対象ファイル [root@test-centos7 ~]# cat /work/test5_7.txt 1 aaaaa 10 2 bbbbb 4 3 ccccc 7 4 ddddd 3 5 eeeee 9 6 fffff 6 7 ggggg 8 8 hhhhh 2 9 iiiii 1 10 jjjjj 5

Linux/UNIXでよく使用される、出力される内容を並び替えするsortコマンド。 今回は、このsortコマンドで覚えておきたい使い方についてを紹介する。 1.基本的な使い方 基本的には、以下のようにコマンドを実行することでその出力内容を並び替える事が出来る。 [root@test-centos7 ~]# cat /work/test5.txt 5 eeeee 1 aaaaa 4 ddddd 2 bbbbb 6 fffff 3 ccccc [root@test-centos7 ~]# cat /work/test5.txt | sort 1 aaaaa 2 bbbbb 3 ccccc 4 ddddd 5 eeeee 6 fffff 2.文字列を数字として並び替えを行う 通常、sortコマンドで並び替えを行う場合、文字列として並び替えされてしまう。 それを数字として並び替える場合、「-n」

uniqコマンドは、Linux/UNIXで使用される、重複した行を圧縮して出力してくれるコマンドだ。 今回は、このコマンドについて覚えておきたい使い方についてを紹介する。 1.基本的な使い方 基本的には、以下のように使用することで標準出力の内容から重複行を圧縮して表示させることが出来る。 [root@test-centos7 ~]# cat /test/test3.txt aaaaa aaaaa aaaaa bbbbb bbbbb bbbbb bbbbb bbbbb ccccc ccccc [root@test-centos7 ~]# cat /test/test3.txt | uniq aaaaa bbbbb ccccc この時注意したいのが、「連続していない行」の場合は圧縮しないという点だ。 たとえば、以下のような状態でuniqコマンドを実行しても、重複した行は残ってしまう。 [roo