これ見て自分もgrep使いやすいようにしたいと思ったのでオレオレgrep設定してみた。

command! -complete=file -nargs=+ Grep call s:grep([<f-args>])
function! s:grep(args)
    let target = len(a:args) > 1 ? join(a:args[1:]) : '**/*'
    execute 'vimgrep' '/' . a:args[0] . '/j ' . target
    if len(getqflist()) != 0 | copen | endif
endfunction

僕は対象のディレクトリに移動して

:vim /word/j **/*

とすることが多いので対象を省略すれば **/* を検索するようにして、//j は全部につけた。それとQuickFixは自動で開くようにしてたのでそれも含めた。これで上のコマンドは

:Grep word

でいけるようになった。パチパチパチ:)

typester先生に↓を教えてもらいました。++

Removing git-svn remote branch | furmanek.net

$ git branch -r -d my-remote-branch

これでおｋ！

http://github.com/hokaccha/gm-html5validator

インストール

（なんかgithubで.user.jsのページ開こうとするとうまくいかないっすね）

Greasemonkeyのドメイン許可の設定で有効にしたいページを自分で指定してください。（デフォルトではhttp://localhost/だけ許可してる）

左下にアイコンが表示されて、invalidの場合はアイコンをクリックするとエラーメッセージが表示されます。

自分のURLにGETしてとってきたHTMLをPOSTしてるのでローカルでも動きます。file://では動かないです。（そもそもGreasemonkeyがfile://で動かない？）

クラウド時代のWebストレージ戦略

• クラウドとは
  • SaaSとかPaaSとかIaaS
• いいところ
  • 物理的なサーバーとかネットワークを意識しない
  • 高可用性、柔軟な課金体制
  • スケールアウトが用意
  • リソースを有効活用できる
  • 管理運用が容易
• ライブドア的環境
  • 物理サーバーは既にある
  • 提供しているサービスはSaaS的なもの
  • さらに効率あげたい
  • (I|P)ssP的な環境をつくりたい
• クラウドっぽい環境を作って自分たちで使う。プライベートクラウド的なものを構築したい
• ライブドアが求めるもの
  • ライブドアは画像アップのサービスが多い
  • webサービスのメディアストレージ（動画とか）
  • 安価に容量を拡張可能
  • 実際の構成は「あまり」意識したくない

つくってみた

• 名前 STF(STorage Farm)（後付け）
• HTTPを利用した分散ストレージ
• シンプルなkey-value（階層構造とかはストレージのレイヤーでは不要）
• クライアント側からは巨大なストレージプールとして
• レプリケーション
• Apacheモジュールベースなので拡張可能
• ファイルシステムとしてマウントできない
• パーミッション/アクセス制御できない（自分達で使うものなのでまあいいか）
• 認証は他のApacheモジュール
• REST的APIで操作可能
  • リソースに対してリクエストを発行
  • GET/PUT/DELETEをサポート
  • パケットの作成/削除
  • オブジェクトの取得/作成/更新/削除
• Example
  • http://stf.exsample.com/<bucket>/<key>
  • <key>は/を含むことが可能
• 内部の話し
  • 極力コード書きたくないのですでにあるものを作る（バグを入れたくないのでコードを書かない）
  • 作りながらサービスに投入
  • Apache + MySQL + MessageQueue(ActiveMQ|Q4M) + Perl + memcached
  • オブジェクトIDはMySQLのauto incrementにしたくなるけどdual masterができなくなるのでperlのData::UUIDをCにコピペした
  • 削除はMySQLでdeleteして即座にレスポンスを返してMessage Queueで実際のファイルを消している
  • mod_stf_storagはmod_dav_fileに非常に似ている
  • 実ファイル名は毎回ユニークになうように生成
  • Webでの管理用インターフェースはCatalystでつくった
  • MySQLはオーバースペックなのでやめたい（どうせkey/valueなので）

ライブドア流クラウド風サービス

• ライブドアの強み
  • webサービスに強い
  • DATAHOTELというデータセンタを運用
  • 回線、インフラを自社で運用
• クラウドの利点
  • 短時間でサーバー増設
  • 動的なリソースの増減
• Webのフロントをクラウドにするのがいいんじゃないか
• バックエンドは専用サーバーにする
• ストレージサーバーは占有
• 仮想化
  • VMwareはライセンス高い
  • KVMはそれぞれのサーバーに専用のプログラムを導入する必要がある
  • Parallelsはライブドアのレンタルサーバーとかでも使ってるのでParallelsにした

技術編

• ぽこぽことサーバーを増やすのでぽこぽこクラウド
• ParallelsServer4BareMetal + CentOS 5.4 x86_64
• LVSでロードバランシング
• ネットワークはtag VLAN
• Parallelsのライブマイグレーションは高価なストレージは必ずしも必要ない
• リアルサーバーのリソースがたりなくなったらライブマイグレーションでスケールアップ
• ライブマイグレーションは容量が多いと時間がかかるのでドキドキ
• コントロールパネルを用意してユーザーはそこから色々操作させる
• 冗長構成管理とかマイグレーションもユーザーが操作できるようにしたい
• 顧客に管理を任せることで人的リソースを割く必要がなくなる
• 1インスタンスをとても安い価格でだす予定
• 今後はDSR構成、オートスケーリング
• 価格はEC2のスモールよりいいスペックで5000~6000円くらいを狙ってる
• トラフィックを課金にするかは検討中
• cactiで監視

Livedoor Reader Streaming API

• フィードの更新情報をリアルタイムで取得できるAPI
• キーワード検索とかできる
• 外部ドメインでも普通に動く
• 非公開フィードの記事はでない
• ベータテスト中なので仕様とかかわるかも
• クローラーが動くタイミングなのでエントリーが投稿されるタイミングじゃない
• PubSubHubbub対応サービスは本当にリアルタイム
• つかってるもの
  • Q4M
  • TokyoTyrant
  • nginx
  • InnoDBPlugin
  • PSGI/Plack
  • Coro
  • AnyEventy
  • etc..
• Coroで作られたDosツールとかで負荷試験
• データサイズ圧縮中で1TBくらい（テキストのみ）
• クローラーは Broker Fetcher Perser Updaterに分割されてる
• これらをQ4Mでリレーする
• ワーカーはdaemontoolsで動かす
• FetcherはCoroで並列にリクエスト
• ParserはXML::LibXML + XML::Liberal + 独自
• Parserは並列にしてもあんま意味なし
• Updater 記事の振り分けしてMySQLに入れる
• SKIP、INSERT、UPDATE、SILENT_UPDATEという4つの状態がある
• フィード毎に既出のフラグを保持してる
• memcached から TokyoTyrantに
• 複数記事のINSERTはまとめて行う
• 既出フラグはfeedごとにまとめた
• 更新されてないののに使されてないフィード
• 前回のパース結果(Perlのオブジェクト)をTokyoTyrantとかに保存してそれと見比べる
• Async::Queue
  • AnyEvent + JSON RPC
  • Q4Mで色々問題があったので自作のQueueサーバーつくった
  • リクエストとレスポンスはJSON
  • キューの先読み
  • 物理的に遠いケースで有用
  • 遅延Publich
  • 先読みバッファがなくなっていない場合は終了しない
  • 落ちないことより落ちても大丈夫なようにするのが重要
  • 優先度のサポート
• MMQ
  • AnyEvent + JSON RPC（みたいなもの）
  • JSONをフィルタするサーバー
  • 安定してきたら公開する
• Javascript側
  • MXHR(Multipart XHR)
  • Crossdomain XHR
  • window.postMessage(HTML5の仕様に含まれてる)
  • IE対応もiframeの入れ子でがんばってる
  • window.nameでデータを引き渡す
  • できるだけ新しいブラウザでやってください

ニフティクラウド

• ニフティによるクラウド提供
• クラウドプラットフォームになる条件をニフティは満たしてる
• ニフティはクラウド？→条件は満たしてる
• 約5分で準備可能
• コントロールパネルの提供
• システム資源のプール化
• 選べる料金体系
• サーバーはCentOS 5.3
• RedHat系も準備中
• Mini Small Small4 Medium Large
• ネットワークはniftyのものと共用→巨大なバックボーン
• Miniだけ制限がある
• ヘルプデスクサービス、監視サポート、プレミアムサポートを近いうちに用意する
• 利用までは5日と8分
• niftyIDの取得が5日くらいかかる。もってる人は8分で可能
• プライベートLANのオプションを使うとネットワークを自分のところだけ分けれる
• 月額課金の選択には注意→月末に申し込むと一ヶ月分かかる
• SSHキーの紛失はやばし
• iptablesの閉じすぎに注意（FW提供予定）
• 32bit版はメモリ2BGまで
• VMwareつかってる
• とにかく疎結合
• いい機能であっても大きくなれないなら使わない
• ニフティと一体の基盤
• DRSで均等になるように
• 壊れたときに以下に早く復旧させるかが大事
• サーバーはなんでもいい
• VLANが多すぎて大変
• APIサポートするよ
• OSも追加予定(Windows2008, RHEL etx..)
• サポート掲示板の開始
• カード決済対応予定

cpanminus

• cpanコマンドに色々不満があったりしてmiyagawaさんがつくった
• 最近きてる
• 環境依存が少ない
• 高速
• 省メモリ
• プラガブル

使おう使おうと思ってまだ使ってないので早く使う！

Kamui

• PlackベースのWAF
• configはArkと同じ感じ
• モバイルプラグイン豊富
• SledgeとArkのいいとこつまみぐい
• web/cliを気にせず使える
• Object::Container使ってる

Arkの面影がところどころに見えるのがおもろい。Sledge使ったことないからその辺はよくわからんかった。

AnyEvent::IRC::Server

• IRCサーバーのAnyEvent実装
• ギャル文字変換

ラスト2分くらいギャル文字。

Inside Mbga Open Platform

• モバゲにはフレンドの上限がない
• 物理的に別のところにtableがあるのでjoinできないとかがある
• 60万人フレンドがいるユーザーとかいる
• idをinでひく
• 何十万件もあるとmysqlの一回のクエリの制限に引っかかるので分割する
• MessageとかはActivityはQ4Mでやってる

サービスの規模が違いすぎるｗこういうチューニングは本当に大変そうだ。

Data::Object::Driver

• 組み込みでキャッシングとパーティションをサポート
• マスター/スレーブを考慮されてる
• 薄くて使いやすい
• モデルとしての機能は少ない
• pagerとかない
• JOINとかしづらい

ORMはDBIC以外使ったことないから他のも使ってみたいっすな。

Polocky

• WAFのベースになるフレームワーク
• Polockyの上にCatalystライクなWAFのせたりとか

Wikiranking.jpというサイトに実際に使われてるらしいです

Twib

• Appサーバー1台 DBサーバー1台
• AnyEvent::FeedでTweetを拾ってhttpから始まる文字列からURLをとってcronでまわす
• Q4Mにした
• StreamAPIも同時につかってる
• とりこぼしの問題
• 画像サーバー faviconとかプロフィール画像の取得とかにつかってる
• NoeというWAFっぽいのを使ってる
• チューニング DBICのページャ使わない、like使わない、非正規化

Q4M使ってみないな。DBICのチューニングは参考になる。

OpenSocial Mobile and API Async Proxy

• Moxy for OpenSocial
• OAuth署名つきのリクエストできたりとかする
• リンクを書き直す
• API呼び出し用非同期proxyサーバー
• ウェブアプリを非同期で書くと書きづらい、PHPとかそもそも非同期できない。
• API呼び出しだけ非同期にする。通常の処理はその裏にいるアプリサーバーがやる

スライドがこえ部だった件について何も触れず

Module::Setup

• 簡単にモジュールとかの雛形がつくれる
• flavarを自由につくれる
• githubに自動でうｐとかしてくれたりとかも
• flavarのテストスクリプトとかある
• patchとかあててflavar継承みたいにできる
• plugin書ける
• 依存が多い
• Coreをわけて依存を少なくする

ちょうど直前にModule::Setup使ってflavar書いてたから内容がわかりやすかった。

Template::Semantic

• 普通のHTMLで書ける
• idとかタグで変数をセットする感じ
• テンプレートを書く作業を省ける
• libXML使ってるのでXML的におかしいとエラる
• XPathとかCSSセレクタ使える

コーディング→組み込みの作業がなくなりそうだから便利げだけど実際使うには勇気がいりそう。面白そうなのでプライベートなプロジェクトで使ってみたい。

Perl 5.12

• 5.10の後継
• 新しい機能はあんまりない
• keys/values/eachがArrayにも使える。valuesとか100%使わねーだろ
• PL_keyword_plugin

gfxさんは就活中。

以上。明日はライブドアテックセミナーいってきます。

出力件数を指定する

出力件数を表示する。どちらもいっしょ。

$ git log -n 10 # 最新10件のログ
$ git log -10   # 最新10件のログ

範囲指定

コミットの範囲を指定する

$ git log HEAD~10..HEAD~5        # 10個前か5個前までのログ
$ git log HEAD~10..              # 10個前から最新までのログ
$ git log 3hg4390fj3..93jj23rn20 # ハッシュ値で範囲指定

パッチ形式で出力する

-pでパッチ形式で出力する。

$ git log -p

Authorから探す

コミットした人を指定する。部分一致っぽい。

$ git log --author=hokamura # hokamuraを含むAuthorのログ

コミット日時から探す

指定した時間以降のコミットを表示する。どちらもいっしょ。

$ git log --after=2010-01-01 # 2010年1月1日以降のログ
$ git log --since=2010-01-01 # 2010年1月1日以降のログ

指定した時間以前のコミットを表示する。どちらもいっしょ。

$ git log --until=2010-01-01   # 2010年1月1日以前のログ
$ git log --before=2010-01-01  # 2010年1月1日以前のログ

相対的にも書ける。

$ git log --since="2 week ago" # 2週間前までのログ

コミットログから探す

–grepでコミットログのテキストから検索する。

$ git log --grep=added # コミットログにaddedを含むログ

変更した文字列から探す

変更下箇所にfoo()を含むコミットだけを検索する

$ git log -S'foo()'

簡略形で出力する

–prettyでコミットログの形式を指定できる。

shortでコミットログを一行目だけ表示にする。

$ git log --pretty=short

onelineだとハッシュ値とコミットログの一行目を合わせて一行で表示する。

$ git log --pretty=oneline

formatで自由にフォーマットを決められる。

$ git log --pretty=format:'%h %s'

formatに指定できるものはhelpなどご参照あれ。

日付のフォーマットを指定する

$ git log --date=short
$ git log --date=iso

グラフを表示する

コミットのグラフを出力する。

$ git log --graph

これだと一個のコミットの表示が長くてよくわからいので

$ git log --graph --pretty=oneline

とか

$ git log --graph --pretty=format:%s

とかがよさげ。これはちょっと感動した。

このくらい探せばありそうな気がしたけどちょっと探したけどなかったから自分で書いた方が早そうなので。

@namespace url(http://www.w3.org/1999/xhtml);

@-moz-document domain("d.hatena.ne.jp") {
    .highlight {
        background: none !important;
        color: inherit !important;
        padding: 0 !important;
    }
}

これをstylishとかで設定すればOK。

<img src="//example.com/banner.gif" alt="banner />

外部ドメインのバナーとか貼るときとかに全ページ共通でhttp://~と書いてるとhttpsのページでIEがエラー吐くんでhttpとhttpsで切り替えたりしてたんですけど、//から書けばいいんじゃないか疑惑。

これって何か問題あるのかな。ブラウザによって挙動がおかしいとか。問題無ければ使いたいところ。

追記：IEでリクエストが2回走るらしい。yomotsu++

前々からperlのsyntaxがおかしいところがあるのには気付いてたけど、見て見ぬふりをしていたのを直した。

m!hoge$!とかqq[hoge'fuga]とかがあるとその後のsyntaxがおかしくなってた。

こんな感じでおかしくなってたのを直した。diffはこんな感じ。

Commit 2df207ed667cb632aba394e28c9e5f9f2793ceaa to hokaccha’s dotfiles - GitHub

$VIMRUNTIME/syntax/perl.vimからうまく差分だけ上書きする方法がわからんかったのでとりあえず~/.vimrc/syntax/perl.vimにまるっとコピって修正した。

m!$!とかでおかしくのなるところの正規表現はこことかを参考にしています。

perl用syntaxをちょっと変更 | 東京嫉妬

OAuth::Liteをつかっててなんかわかんないけど認証がこける現象に出くわしたので調べてみたら、パラメータをソートするときに=で連結した後にソートしてたから特定の場合にソート結果がおかしくなってた。

直そうと思ったら一週間くらい前に最新版で修正されてた。なので今は直ってます:)

ちなみに具体的にいうと以下のテストにこけてたです。

use Test::More;
use OAuth::Lite::Util;

my $params = {
    foo => 'bar',
    foo1 => 'bar1'
};

is OAuth::Lite::Util::normalize_params($params), 'foo=bar&foo1=bar1';

done_testing;

# Result: 
# 
#   Failed test at /var/folders/rw/rw+QJ8FDEO0V2F8SqobW6k+++TM/-Tmp-/v312769/44 line 9.
#          got: 'foo1=bar1&foo=bar'
#     expected: 'foo=bar&foo1=bar1'