PC日記

apcupsdが動かない

Mon, 25 Jan 2010 22:46:04 +0900

最近あまりcactiのグラフとか細かくチェックしていなかったんだけど、久しぶりに見たらUPSの状態がグラフに出ていない。
なんでだろーと思って、グラフの元ネタを作っているapcaccessコマンドをたたいて見ると、なんとapcupsdが起動していないようだ。
/usr/local/etc/rc.d/apcupsd start でも起動しないので、/var/log/messageを見てみると、

Jan 24 19:02:49 sv apcupsd[10014]: apcupsd FATAL ERROR in generic-usb.c at line 636 Cannot find UPS device -- For a link to detailed USB trouble shooting information, please see <http://www.apcupsd.com/support.html>.
Jan 24 19:02:49 sv apcupsd[10014]: apcupsd error shutdown completed

のようなエラーが出ている。
エラーメッセージでぐぐると、USB problems on 8.0-STABLE - lucky.freebsd.stable | Google グループと言うページを発見したが、英語が不如意なせいで読んでも良くわからない。usbconfig や dmesg の出力を見て、apcupsd.conf の DEVICE の行に ugen1.2とか書いてみても駄目だった。
で、一日置いて再度読んで見ると、「新しいメッセージ>」と言うリンクを発見。なんと、1ページですべて表示しきれていなくて、2ページ目があった！
どうも、このGoogleグループって奴のpermalinkのルールが良くわからないので、該当のメッセージを以下に引用しておくけど、

Steve Randall

A possibility occurs to me that I think nobody has yet mentioned. If you still have the obsolete usbdevs command on your system, is it possible you also still have the obsolete devel/libusb port installed? It conflicts with the libusb in the base system, causing just the sorts of problems you are experiencing.

要は、以前portsから入れた devel/libusb が 8.0 のベースシステムに入ったlibusbとconflictしてるって言う話らしい。
この後の投稿で、devel/libusbを削除したらうまくいったと言うものもあったので、pkg_deinstall -f libusb してから、依存していたsane-backendsとapcupsdを再インストールした。
無事に、apctestもapcupsdも動いて、当然apcaccessも動くようになった。
ん～、英語はわからんとか言わないで、とりあえず次のページくらいは見ておくもんですね。

ところで、sanedってどうやって起動するんだっけ？/usr/local/etc/rc.d/にはスクリプトがないんだけど・・・。
→man sanedしたら inetd が起動するんだった。/etc/inetd.conf に書いてあるのでそのまま動くはず！

今日のはまった

Thu, 14 Jan 2010 23:16:01 +0900

tig.rb と言うtwitter とircのgatewayを使っているのだけれど、バージョンアップしたらしいので svn up してみても何も起きない。
作者さんのページtig.rb (twitter irc gareway) - 冬通りに消え行く制服ガールは、夢物語にリアルを求めない。 - subtechを見ても、しばらく意味が理解できなかったのだけれど、どうもlowreal.netからcodereposに移動して、その後githubに移動したらしい。私はcodereposを見ていたので古いままだったようだ。
さっそくgithubから git clone して、tig.rbとwig.rb(wassr と irc の gateway)を起動してみるが、tig.rbの方がopensslのエラーでうまく動かない。
otsuneさんのつぶやきを見ていたので、早速 ports の security/ca_root_nss を更新してみたが、エラーは止まらない。
apache の SNIのためにportsから openssl を入れていたのが悪いのかと思って、portsのopensslを削除してみた(FreeBSD8になったときに、openssl 0.9.8kになったのでSNI対応になったため、portsの0.9.8lは削除しても良くなった)がやはり変わらず。 ports/security/ca_root_nss の Makefile を読んで見ると、/etc/ssl/cert.pem にリンクをはるなんてオプションがあるのを発見したので、手動で/usr/local/share/certs/ca-root-nss.crt からリンクを張ってみたら無事にtig.rbが起動した。
本来の手順としては、ports/security/ca_root_nss で make config して、ETCSYMLINK にチェックを入れてやれば良いんだと思う。
しかし、/etc/ssl には元々のcert.pem は存在していなかったんだけど、ここにない場合(OSの標準の状態)はどこのファイルを見るんだろう？ひょっとしてOSの方をmake world すれば良かったんだろうか？

portsのopensslを削除した関係で、依存関係があったものをすべてコンパイルし直したので、ついでにportauditに警告されていたpostgresqlもバージョンアップすることに。
今まで入っていたのが8.4.0で、最新が8.4.2。3番目の数字が変わる分には、DBの再構築(dump/restore)は必要ないはずなので、そのままportupgradeした。
で、postgresqlを起動しようとしたら、かなり待たされた後に起動に失敗したと言われる。
logを見ると、

FATAL:  database files are incompatible with server
DETAIL:  The database cluster was initialized with HAVE_INT64_TIMESTAMP but the server was compiled without HAVE_INT64_TIMESTAMP.
HINT:  It looks like you need to recompile or initdb.

なんて出てる。どうも、DBはINT64のTIMESTAMPが使えるようになってるけど、serverはそう言うオプションでコンパイルされていないらしい。
変えた覚えないんだけどな～と思いながら、ports/databases/postgresql84-server で make config すると、果たして INTDATE - Builds with 64-bit date/time type と言うオプションがあったので有効にしてやったら無事に起動するようになった。
このオプションが有効じゃない場合、timestampは何が使われるんだろうか？

ホームビデオを公開するには

Tue, 22 Dec 2009 06:59:27 +0900

親族や親しい友人だけに見てもらえるように、認証付きのページで育児ブログを公開している。
文章や写真は普通にMovableTypeの枠組みで公開できるけど、動画はそうはいかない。
Youtube等の動画共有サイトは、まさに共有をメインに考えられているので、一部の人に限定公開すると言う用途に向かない。
だいたいのサイトでは、閲覧者がメンバにならないと限定公開の対象にできないからだ。
しかし、育児ブログを見て欲しい方はあまりパソコンやネットに詳しくないことが多いので、「○○サイトのアカウントを取ってください」と言っても通じないし、Youtubeで動画毎に公開範囲を決めるやり方は面倒くさい。
そこで、eyeVioと言うサイトならプレイリスト単位でパスワードによる認証がかけられるので利用していたのだが、ここもいまいち使い勝手が悪い。

どうせ自宅サーバでブログをやっているのだから、動画もここに置けないかと思って調べてみた。
公開する動画は、SANYOのxactiで撮った MP4 か、iPhoneのmov。どちらも、そのままaタグで貼っても普通の人は見づらい。(まあ、movはQuicktimeが入ってれば見られるけど、おじいちゃんおばあちゃんだと入ってない場合が多いんじゃないかな)
そうなると、Youtubeやニコニコ動画がやっているようにflash playerで再生できる形のビデオにしたい。
いろいろなサイトを参照した結果、どうにかしてflv形式の動画ファイルを作成し、フリーのflv playerをwebページに埋め込むと言うのが現実的らしい。

まずは、flv形式への変換だが、FLV/MP4エンコードスレ支援サイトから「mencoder_vp6set」と言うのを持ってきて、中に入っている「FLV4enc_D&D_2pass_4：3.bat」をコピーして

set EXTOPT=-vf flip,scale=512:384 -sws 9 -af resample=44100

の行を

set EXTOPT=-vf flip -sws 9 -af resample=44100

のように書き換えた。私のxactiの動画は 640x480で、特にサイズを変更したくなかったので。
後は、explorerでこのバッチファイルにMP4をドラッグ＆ドロップして、audioのbitrateを入力するとvp6 encoderのダイアログが開くので適当に設定する。私が修正したのは bitrate だけで、デフォルトの300だと640x480の解像度ではきついので、600にしてみた。
この設定で、2分27秒のMP4(H.264/AAC/3.11Mbit/s) 54.9MBが、11.9MBのflvになった。

次に、このファイルをサーバに置いて、blogのエントリにflv playerを配置する。
flv playerは、Flow Playerと言うのを利用することにした。
free版をダウンロードし、中に入っているswf二つとjavascriptのファイルをサーバの適当な場所に置く。
続いて、blogのテンプレートをいじって今置いたjavascriptのファイルをscriptタグで読み込むようにする。
後は、blogのエントリに以下のような記述を書くと、playerが配置される。

<a href="<$MTBlogArchiveURL$>videos/ファイル名.flv"
   style="display:block;width:640px;height:480px"
   id="ユニークID"></a>
<script>
   flowplayer("ユニークID", "/flowplayer/flowplayer-3.1.5.swf", {clip: {autoPlay: false, autoBuffering: true}});
</script>

a href= に動画ファイルを置いたURLを書き、styleに動画のサイズを指定。
id にはユニークなIDを指定する。(同一エントリに複数の動画を置いたり、複数エントリに動画がある場合の MainIndex テンプレートで衝突が起きないため)

MovableType 5.0 のカスタマイズ

Sun, 29 Nov 2009 21:31:56 +0900

新しいバージョンのMTをインストールすると、以下のカスタマイズを実施する。
この辺は、昔のMTの方が良かったな～と思う部分だ。

1. 画像をアップロードする場所

画像をアップロードする場所は、デフォルトでblogのディレクトリ。この場所を決めるのは、tmpl/cms/include/asset_upload.tmpl。このファイルを、alt-tmpl/cms/include/ にコピーして、以下の修正をする。

*** tmpl/cms/include/asset_upload.tmpl  2009-09-11 18:10:24.000000000 +0900
--- alt-tmpl/cms/include/asset_upload.tmpl      2009-11-29 15:10:50.000000000 +0900
***************
*** 168,174 ****
              <select name="site_path" id="site_path" onchange="setExtraPath(this)">
                  <option value="1">&#60;<__trans phrase="Site Root">&#62;</option>
              <mt:if name="enable_archive_paths">
!                 <option value="0"<mt:if name="archive_path"> selected="selected"</mt:if>>&#60;<__trans phrase="Archive Root">&#62;</option>
              </mt:if>
              <mt:if name="extra_paths">
                  <mt:loop name="extra_paths">
--- 168,174 ----
              <select name="site_path" id="site_path" onchange="setExtraPath(this)">
                  <option value="1">&#60;<__trans phrase="Site Root">&#62;</option>
              <mt:if name="enable_archive_paths">
!                 <option value="0" selected="selected">&#60;<__trans phrase="Archive Root">&#62;</option>
              </mt:if>
              <mt:if name="extra_paths">
                  <mt:loop name="extra_paths">
***************
*** 176,182 ****
                  </mt:loop>
              </mt:if>
              </select>
!             / <input type="text" name="extra_path" id="extra_path" class="extra-path" value="<mt:var name="extra_path" escape="html">" />
              &nbsp;<a href="javascript:void(0);" mt:command="open-folder-selector"><__trans phrase="Choose Folder"></a>
          </mtapp:setting>
      </mt:if>
--- 176,182 ----
                  </mt:loop>
              </mt:if>
              </select>
!             / <input type="text" name="extra_path" id="extra_path" class="extra-path" value="images" />
              &nbsp;<a href="javascript:void(0);" mt:command="open-folder-selector"><__trans phrase="Choose Folder"></a>
          </mtapp:setting>
      </mt:if>

これ、ソース的には mt の変数 archive_path, extra_path に依存しているコードの様なので、これらの変数が適切に設定されていれば動きそうなもんなんだけど、その辺の仕組みがわからないので直接テンプレートをいじってしまっている。

2. 画像の表示とか

これは、MTのバージョン云々じゃなくて、細かい趣味の問題。ひとつは、imgタグに border="0" を付けること。(CSSでやれって話ではある)、もう一つは画像をクリックしたときに開くウィンドウの属性が気に入らないので修正、最後は、サムネイルのデフォルトのサイズの修正。
そもそも、昔のMTはサムネイルのサイズを、pixelだけじゃなくてpercentで指定できたのに、今のはできないのが気に入らない。

*** lib/MT/Asset/Image.pm.orig  2009-11-24 09:51:41.000000000 +0900
--- lib/MT/Asset/Image.pm       2009-11-29 15:25:49.000000000 +0900
***************
*** 314,326 ****
              my $link =
                $thumb
                ? sprintf(
!                 '<img src="%s" %s alt="%s" %s />',
                  MT::Util::encode_html( $thumb->url ),   $dimensions,
                  MT::Util::encode_html( $asset->label ), $wrap_style
                )
                : MT->translate('View image');
              $text = sprintf(
! q|<a href="%s" onclick="window.open('%s','popup','width=%d,height=%d,scrollbars=no,resizable=no,toolbar=no,directories=no,location=no,menubar=no,status=no,left=0,top=0'); return false">%s</a>|,
                  MT::Util::encode_html( $popup->url ),
                  MT::Util::encode_html( $popup->url ),
                  $asset->image_width,
--- 314,326 ----
              my $link =
                $thumb
                ? sprintf(
!                 '<img src="%s" %s alt="%s" %s border="0" />',
                  MT::Util::encode_html( $thumb->url ),   $dimensions,
                  MT::Util::encode_html( $asset->label ), $wrap_style
                )
                : MT->translate('View image');
              $text = sprintf(
! q|<a href="%s" onclick="window.open('%s','popup','width=%d,height=%d,scrollbars=yes,resizable=yes,toolbar=no,directories=no,location=no,menubar=no,status=no,left=0,top=0'); return false">%s</a>|,
                  MT::Util::encode_html( $popup->url ),
                  MT::Util::encode_html( $popup->url ),
                  $asset->image_width,
***************
*** 331,337 ****
          else {
              if ( $param->{thumb} ) {
                  $text = sprintf(
!                     '<a href="%s"><img alt="%s" src="%s" %s %s /></a>',
                      MT::Util::encode_html( $asset->url ),
                      MT::Util::encode_html( $asset->label ),
                      MT::Util::encode_html( $thumb->url ),
--- 331,337 ----
          else {
              if ( $param->{thumb} ) {
                  $text = sprintf(
!                     '<a href="%s"><img alt="%s" src="%s" %s %s border="0" /></a>',
                      MT::Util::encode_html( $asset->url ),
                      MT::Util::encode_html( $asset->label ),
                      MT::Util::encode_html( $thumb->url ),
***************
*** 386,392 ****
        ( $blog->image_default_wunits || 'pixels' ) eq $_ ? 1 : 0
        for qw(percent pixels);
      $param->{thumb_width} = $blog->image_default_width
!       || $asset->image_width
        || 0;

      return $app->build_page( 'dialog/asset_options_image.tmpl', $param );
--- 386,392 ----
        ( $blog->image_default_wunits || 'pixels' ) eq $_ ? 1 : 0
        for qw(percent pixels);
      $param->{thumb_width} = $blog->image_default_width
!       || $asset->image_width / 4
        || 0;

      return $app->build_page( 'dialog/asset_options_image.tmpl', $param );

3. bookmarklet

昔のMTは、bookmarkletからポストしようとすると、blockquoteにしてくれたり、トラックバック先が自動で入力されたり、blogが選べたり、他にもいろいろオプションがあったんだけど、今のはできない。
せめて、blogのURLへのリンクやページタイトルと、選択部分のblockquoteくらいやりたくて、以下の修正。

*** lib/MT/CMS/Entry.pm.ORIG    2009-11-29 21:06:37.000000000 +0900
--- lib/MT/CMS/Entry.pm 2009-11-29 21:10:16.000000000 +0900
***************
*** 2223,2229 ****
          or return $app->error($app->translate('Can\'t load blog #[_1].', $blog_id));
      my %args    = ( '_type' => $type, blog_id => $blog_id, qp => 1 );
      my $uri = $app->base . $app->uri( 'mode' => 'view', args => \%args );
!     my $script = qq!javascript:d=document;w=window;t='';if(d.selection)t=d.selection.createRange().text;else{if(d.getSelection)t=d.getSelection();else{if(w.getSelection)t=w.getSelection()}}void(w.open('$uri&title='+encodeURIComponent(d.title)+'&text='+encodeURIComponent(d.location.href)+encodeURIComponent('<br/><br/>')+encodeURIComponent(t),'_blank','scrollbars=yes,status=yes,resizable=yes,location=yes'))!;
      # Translate the phrase here to avoid ActivePerl DLL bug.
      $app->translate('<a href="[_1]">QuickPost to [_2]</a> - Drag this link to your browser\'s toolbar, then click it when you are visiting a site that you want to blog about.', encode_html($script), encode_html($blog->name));
  }
--- 2223,2229 ----
          or return $app->error($app->translate('Can\'t load blog #[_1].', $blog_id));
      my %args    = ( '_type' => $type, blog_id => $blog_id, qp => 1 );
      my $uri = $app->base . $app->uri( 'mode' => 'view', args => \%args );
!     my $script = qq!javascript:d=document;w=window;t='';if(d.selection)t=d.selection.createRange().text;else{if(d.getSelection)t=d.getSelection();else{if(w.getSelection)t=w.getSelection()}}void(w.open('$uri&title='+encodeURIComponent(d.title)+'&link='+encodeURIComponent(d.location.href)+'&text='+encodeURIComponent(t),'_blank','scrollbars=yes,status=yes,resizable=yes,location=yes'))!;
      # Translate the phrase here to avoid ActivePerl DLL bug.
      $app->translate('<a href="[_1]">QuickPost to [_2]</a> - Drag this link to your browser\'s toolbar, then click it when you are visiting a site that you want to blog about.', encode_html($script), encode_html($blog->name));
  }
*** lib/MT/CMS/Common.pm.ORIG   2009-11-29 21:24:34.000000000 +0900
--- lib/MT/CMS/Common.pm        2009-11-29 21:25:10.000000000 +0900
***************
*** 515,520 ****
--- 515,527 ----
              my $data = $q->param($_);
              $q->param( $_, $data );
          }
+       my $title = $q->param('title');
+       my $link = scalar $q->param('link');
+       my $text = $q->param('text');
+       $text = sprintf qq(<blockquote>\n<div class="quote-head"><a title="%s" href="%s">%s</a></div>\n\n%s\n</blockquote>), $title, $link, $title, $text;
+       $q->param('title', '');
+       $q->param('link', '');
+       $q->param('text', $text);
      }

      $param{autosave_frequency} = $app->config->AutoSaveFrequency;

ダッシュボードのデザインは4よりは5の方が趣味にあっているので、使い続けようと思うけど、とっくの昔に自前サーバでblogをやると言う時代は終わっているのかも知れないな～と思った。

MovableType 5.0

Sat, 28 Nov 2009 19:31:20 +0900

ここのblogシステムはMovableTypeを使っているのだけれど、最近5.0がリリースされたので早速インストールしてみた。
まず、5.0からは正式なサポートがMySQLだけになって、SQLiteとPostgreSQLは使えなくなってしまったらしい。
私はMySQLよりもPostgreSQLが好きなので、どうしようかと悩んでいたが、どうせperlのDBDとかDBIとかその辺のパッケージを使っているはずなので、PostgreSQLのまま行ってみることにした。
ためしに、mt-check.cgiを動かして見ると、相変わらずSQLiteとかPostgreSQLのパッケージのチェックもしているから行けるのではないかと思ったのだ。
まずは、公式のインストールガイドの「既存のデータベースを残す方式のアップグレード」を参考に、別のDB、別のパスでインストールすることにする。
MT4をインストールしているディレクトリの横に mt5 と言う名前で一式を置き、mt-config.cgiをmtから持ってくる。
DBは、mtと言うDBからmt5と言うdbにコピー。PostgreSQLの場合は、

# createdb -T mt mt5

でそのまんまコピーができる。
mt5/mt.cgi にアクセスすると、アップグレードの確認になるので、そのまま進む。
無事に終わって再度mt.cgiにアクセスすると、新しいダッシュボードにアクセスできる。
ここで、Web site と言うのがあるはずなのに、何もなくって、新しく作るしか選べない。
新しいものを作ろうとすると、デフォルトの言語が英語になっている。Movable Type 5.0 の変更点、注意事項、および既知の問題を見ると、mt-config.cgiに「DefaultLanguage ja」を追加しろとあったので、追加してみたら日本語がデフォルトになった。
しかし、試しに新しいWeb siteを作って見たりしても、ブログが一個も出てこない。
アップグレード時のウェブサイト自動作成を見ると、勝手にウェブサイトができるように見える。
このドキュメントを見ると、サイトのURLからウェブサイト(?)の何かを決めるように見えるので、その辺が怪しいのかと思って、mt-config.cgiの StaticWebPath をフルのURLにして、StaticFilePath に絶対パスを書いてみたりしたが、効果なし。
しょうがないので、アップグレード周りのソースをつらつらと眺めていたら、lib/MT/Upgrade/v5.pm の中で、以下のような箇所が。

sub upgrade_functions {
    return {
        #'v5_migrate_blog' => {
        #    version_limit => 5.0004,
        #    priority      => 3.2,
        #    code          => \&_v5_migrate_blog,
        #},

ここにある_v5_migrate_blog を読むと、そのまんまgeneric website の作成的な感じなので、このコメントを外して試して見たら、無事に移行ができた。
後は、pluginを移行して試しにリビルドしてみるが、動いている感じ。
これで本格的に移行できるかと思って、blog entryの編集画面に行ってみたら、本文が表示されない。
Firefoxだと編集領域にカーソルが行かなくて、IEだとカーソルが行くけど本文が出てない。
調べて見たら、MacでMT4の本文が編集できない事態が発生！？と言う記事を発見。
さきほど変更した StaticWebPath と StaticFilePath が悪かったらしい。
元のようにStaticWebPathだけにして、中身は /mt-static だけにする。
これでなんとなく動きそうな雰囲気なので、/mt5 から /mt にして、mt-config.cgiも直し、DBをコピーし直して MovableType 5.0 で運用を開始することにした。

クライアント認証ができなくなった

Wed, 25 Nov 2009 12:51:26 +0900

Apacheが2.2.12からSNIに対応したと言うので、試してみようと思ったが、SNIに対応するにはopensslが0.9.8f以降でないといけないらしい。
FreeBSD 7.1のopensslは0.9.8eなので保留していたのだが、portsに0.9.8lが入っていたので試してみた。
portsからsecurity/opensslをインストールして、www/apache22を再インストールすると、勝手に-with-ssl=/usr/localとか言ってportsから入れた0.9.8lを認識してくれるようだ。
早速、以前作ってあった別名用のサーバ証明書を見るようにssl.confを書き換えてみたが、

SSL peer was unable to negotiate an acceptable set of security parameters.

(エラーコード: ssl_error_handshake_failure_alert)

なんてエラーで繋がらない。(Firefoxの場合)
どうも、SSLVerifyClient require の指定があるとうまくいかないようだ。
別の環境に一からapacheをインストールして、証明書関連も作り直して試してみたところ、以下のことがわかった。

Listen *:443
NameVirtualHost *:443
<VirtualHost *:443>
ServerName hoge.example.com
SSLEngine on
SSLCertificateFile /usr/local/etc/apache22/ssl/server.crt
SSLCertificateKeyFile /usr/local/etc/apache22/ssl/server.key
SSLCertificateChainFile /usr/local/etc/apache22/ssl/ca.crt
SSLCACertificateFile /usr/local/etc/apache22/ssl/ca.crt
<Location /test>
SSLVerifyClient require
</Location>
</VirtualHost>

のように、Locationの中にSSLVerifyClient require があるとそのURLでのみ失敗する。Locationの外側(サイト全体)に書いてやると、ちゃんとクライアント認証した上で接続できる。
これが、proxyがある場合とない場合でも微妙に挙動が違うようだが整理しきれていない。
Bug 12355 - POST incompatible w/ renegotiate https: connectionと言うのが見つかったが、この問題自体は2.2では修正済みとも読める。
WebDAV/Apache/HTTPSクライアント認証と言うのも見つけたので試してみたが効かないようだ。
[debian-users:53339] [Translate] [SECURITY] [DSA-1934-1] New apache2 packages fix severalissuesみたいな話も見つけたが、関係あるだろうか？

他にも、SSLOptionsに+OptRenegotiateを付けてみたり、CA.shを使って証明書を作り直したりしてみたが改善せず。
wiresharkでパケットを覗いてみたりもしたがさっぱりわからないので、とりあえずお手上げ状態です。

UPS交換

Tue, 10 Nov 2009 23:26:13 +0900

結局次の日もUPSが落ちたので、諦めてamazonで注文。
昨日注文して今日届いたので、お急ぎ便必要ないじゃんって感じ。
前回はyodobashi.comで14,500円だったけど、今回はamazonで8,790円。APCでバッテリーだけ注文(8,610円)しても良かったんだけど、いまいち挙動が怪しかったので本体ごと買うことにした。
数日運用して問題がなければ古いのの処分を考えないといけない。鉛蓄電池は普通に捨てられないので、APCに送り返すか、ハードオフみたいなところに持っていくといいらしい。

UPS働く？

Wed, 04 Nov 2009 22:35:50 +0900

突然ネットが繋がらなくなったと家人が言うので、マシンルームに行ってみるとサーバが落ちている。
電源ボタンを押しても、後ろの主電源を触ってもうんともすんとも言わない。
電源かマザーでも逝ったか！？と青くなったんだけど、ふと横を見たらUPSの電源LEDがついていない。
そこで、UPSの電源を入れると、無事にサーバも立ち上がった。
しかし、UPSがぴーぴーぴーぴーうるさい。マニュアルを見ると、バッテリー運転に切り替わっているらしい。
で、商用電源が正常なのにバッテリー運転をする場合、と言うところを見ると、「サーキットブレーカがトリップしている可能性があります。ただちに接続機器（負荷）を停止し、本装置をオフにしてください。接続機器（負荷）を減らしてからサーキットブレーカを押し戻してリセットしてください。」だそうなので、再度サーバをシャットダウンしてUPSの電源をOFFにして、ブレーカをリセットした。
サーバを立ち上げてログを見ると、以下のような感じ。
/var/log/messages

Nov  4 21:55:10 sv apcupsd[1080]: Reached remaining time percentage limit on batteries.
Nov  4 21:55:10 sv apcupsd[1080]: Initiating system shutdown!
Nov  4 21:55:10 sv apcupsd[1080]: User logins prohibited
Nov  4 21:55:10 sv apcupsd[1080]: Attempting to kill the UPS power!
Nov  4 21:55:10 sv shutdown: halt by root: apcupsd initiated shutdown
Nov  4 21:55:38 sv kernel: pid 1913 (asterisk), uid 0: exited on signal 11 (core dumped)
Nov  4 21:55:38 sv kernel: encode_long: negative value -52 in accounting record
Nov  4 21:55:43 sv rc.shutdown: 30 second watchdog timeout expired. Shutdown terminated.
Nov  4 21:55:43 sv init: /bin/sh on /etc/rc.shutdown terminated abnormally, going to single user mode
Nov  4 21:55:43 sv syslogd: exiting on signal 15

/var/log/apcupsd.events

Wed Nov 04 21:22:30 JST 2009  Power failure.
Wed Nov 04 21:22:36 JST 2009  Running on UPS batteries.
Wed Nov 04 21:55:10 JST 2009  Reached remaining time percentage limit on batteries.
Wed Nov 04 21:55:10 JST 2009  Initiating system shutdown!
Wed Nov 04 21:55:10 JST 2009  User logins prohibited
Wed Nov 04 21:55:10 JST 2009  Attempting to kill the UPS power!
Wed Nov 04 21:55:43 JST 2009  apcupsd exiting, signal 15
Wed Nov 04 21:55:43 JST 2009  apcupsd shutdown succeeded

停電があったわけではないので、過負荷か何かでUPSのブレーカが落ちてバッテリーモードに入り、電池がなくなってシャットダウンしたらしい。いまいち綺麗に落ちれてないみたいだけど。
UPSも買ってから1年半なので、バッテリーの寿命の2年までそろそろかな？ログからみると、バッテリーで30分運用できるみたいなので、まだ行けそうな気はするけど。

おまけ。UPSの状態のcactiグラフ。

あれ、充電が上がってないな。

CustomFeed::MixiScraperでmixiの画像をローカル保存

Fri, 11 Sep 2009 09:58:05 +0900

iPhoneで快適にfastladderが見れるようになったのだが、mixiの画像がうまく見れない。
これは、以前やった自前改造で、mixiの画像はobjectタグでmixiの画像表示ページへリンクするようにしていたのだけれど、iPhoneのSafariはページ内のobjectタグにスクロールバーが出ないので、画像の一部しか表示されない。
そこで、WWW::Mixi::ScraperとPlagger::Plugin::CustomFeed::MixiScraperに手を入れて、画像をローカル保存するようにして、fastladderから見れるようにしてみた。
しっかし、perl4のときにちょっとかじったくらいの知識だと、WWW::Mixi::Scraperのソースは暗号にしか見えない。YAPCの記事なんか見ててもうらやましくてしょうがないので、一度perlを勉強しなおした方が良いかも。(でも、Rubyもやりたいし・・・)

mixiの画像は、ページ表示時にサムネールの一時URLと、画像表示用ページのpermalinkを返してくれる。画像表示用ページ(show_*_picture.pl)にアクセスすると、これまた画像の一時URLを返してくれる。
これは、前にmixiからの画像流出騒ぎ(マイミクにしか公開していない日記の写真が、他のメンバに見えてしまう)のときに取られた対応からこうなってるんだけど、こんな面倒なことしなくても画像を返すURLを*.plにして毎回権限チェックをすれば良いんじゃないかと思うんだけど、それだとサーバ負荷が問題になるんだろうか。
とにかく、一時URLを使われてしまうと、plaggerがcrawlした時間とfastladderで閲覧する時間に開きがあると画像が見えない。
そこで、日記やトピックの画像があったら画像表示用ページにアクセスして画像をローカルに保存しようと言うわけ。

そのために、まずは、WWW::Mixi::Scraper。こいつは、urlを渡すとscrapingしてハッシュ?を返してくれる。
Pluginを追加して、画像表示ページにアクセスしたら画像そのものを取ってくるようにする。
日記の場合は、http://mixi.jp/show_diary_picture.plと言うURLになるので、それ用のPluginを作る。

package WWW::Mixi::Scraper::Plugin::ShowDiaryPicture;

use strict;
use warnings;
use WWW::Mixi::Scraper::Plugin;

validator {qw(
  id        is_number
  owner_id  is_number
  number    is_number
)};

sub scrape {
  my ($self, $html) = @_;

  $scraper = scraper {
    process 'img',
      link => '@SRC';
    result qw ( link nil );
  };

  my $stash = $self->post_process($scraper->scrape(\$html))->[0];
  if ($stash->{link}) {
      $stash->{image} = $self->{mech}->get_content($stash->{link});
  }
  return $stash;
}

1;

__END__

Pluginの作り方は、Plugin.pmに書いてある。qw がなんだかわからなかった(調べろ→自分)んだけど、post_process() は配列を求めているのに、qw の中身が一つだと配列にならないらしくて怒られたので、ダミーを入れてみた。
同じように、コミュニティのトピックとトピックコメント用のPluginも作る。

package WWW::Mixi::Scraper::Plugin::ShowBbsPicture;

use strict;
use warnings;
use WWW::Mixi::Scraper::Plugin;

validator {qw(
  id        is_number
  comm_id  is_number
  number    is_number
)};

sub scrape {
  my ($self, $html) = @_;

  $scraper = scraper {
    process 'img',
      link => '@SRC';
    result qw ( link nil );
  };

  my $stash = $self->post_process($scraper->scrape(\$html))->[0];
  if ($stash->{link}) {
      $stash->{image} = $self->{mech}->get_content($stash->{link});
  }
  return $stash;
}

1;

__END__

package WWW::Mixi::Scraper::Plugin::ShowBbsCommentPicture;

use strict;
use warnings;
use WWW::Mixi::Scraper::Plugin;

validator {qw(
  id       is_number
  bbs_id   is_number
  comm_id  is_number
  number   is_number
)};

sub scrape {
  my ($self, $html) = @_;

  $scraper = scraper {
    process 'img',
      link => '@SRC';
    result qw ( link nil );
  };

  my $stash = $self->post_process($scraper->scrape(\$html))->[0];
  if ($stash->{link}) {
      $stash->{image} = $self->{mech}->get_content($stash->{link});
  }
  return $stash;
}

1;

__END__

validator のところ(getパラメータ)以外はまったく同じなので、もうちょっとなんとかしたいところだけど、perlのこの辺の仕組みがわからないのでなんともならなかった。
余談だけど、Scraper.pmのnewを見ると、上記Pluginを書くだけで

my $pic = $mixi->parse("/show_diary_picture.pl?owner_id=$oid&id=$id&number=$number");
my $pic = $mixi->show_diary_picture->parse( owner_id => $oid, id => $id, number => $number );

のいずれの書き方でも同じ動作をする理由がわかる。こう言うのがさらっと書けるようになると楽しいんだろうな。
これで、画像を取ってくる下準備はできたので、次はCustomFeed::MixiScraper。
あまりにやっつけで公開したくないんだけど、まあ参考程度に。
長いので、全文ではなくhttp://svn.bulknews.net/repos/plagger/trunk/ との差分で。差分を取ったときのリビジョンは2063。(たぶん、ベースにしたバージョンがもっと古いので、最新のものより機能足りないっぽい。最新取り直してやり直した方が良いかなあ。)

Index: MixiScraper.pm
===================================================================
--- MixiScraper.pm	(リビジョン 2063)
+++ MixiScraper.pm	(作業コピー)
@@ -74,7 +74,6 @@
       email => $self->conf->{email},
       password => $self->conf->{password},
       cookie_jar => $cookie_jar,
-      mode => $self->conf->{mode},
     );
 
     my $feed = Plagger::Feed->new;
@@ -86,15 +85,13 @@
     my($self, $context, $args) = @_;
     for my $type (@{$self->conf->{feed_type} || ['FriendDiary']}) {
         $context->error("$type not found") unless $MAP->{$type};
-        if ($type eq 'BBS' and $self->conf->{split_bbs_feed}) {
-            $self->aggregate_bbs_feed($context, $type, $args);
-        }
-        else {
-            $self->aggregate_feed($context, $type, $args);
-        }
+	if ($type eq 'BBS') {
+	    $self->aggregate_feed_bbs($context, $type, $args);
+	} else {
+	    $self->aggregate_feed($context, $type, $args);
+	}
     }
 }
-
 sub aggregate_feed {
     my($self, $context, $type, $args) = @_;
 
@@ -102,6 +99,8 @@
     $feed->type('mixi');
     $feed->title($MAP->{$type}->{title});
 
+    my $format = DateTime::Format::Strptime->new(pattern => '%Y-%m-%d %H:%M');
+
     my $meth = $MAP->{$type}->{get_list};
     my @msgs = $self->{mixi}->$meth->parse;
     my $items = $self->conf->{fetch_items} || 20;
@@ -110,148 +109,274 @@
     $feed->link($self->{mixi}->{mech}->uri);
 
     my $i = 0;
-    $self->{blocked} = 0;
+    my $blocked = 0;
     for my $msg (@msgs) {
         next if $type eq 'FriendDiary' and $msg->{link}->query_param('url'); # external blog
         last if $i++ >= $items;
 
-        $self->add_entry( $context, $type, $feed, $msg );
+        my $entry = Plagger::Entry->new;
+        $entry->title($msg->{subject});
+        $entry->link($msg->{link});
+        $entry->author($msg->{name});
+        $entry->date( Plagger::Date->parse($format, $msg->{time}) );
+	if ($entry->date) {
+	    $entry->date->set_time_zone('Asia/Tokyo');
+	}
+        if ($self->conf->{show_icon} && !$blocked && defined $MAP->{$type}->{icon}) {
+            my $owner_id = $msg->{link}->query_param($MAP->{$type}->{icon});
+            $context->log(info => "Fetch icon of id=$owner_id");
+
+            my $item = $self->cache->get_callback(
+                "outline-$owner_id",
+                sub {
+                    Time::HiRes::sleep( $self->conf->{fetch_body_interval} || 1.5 );
+                    my $item = $self->{mixi}->show_friend->parse(id => $owner_id)->{outline};
+                    $item;
+                },
+                '12 hours',
+            );
+            if ($item && $item->{image} !~ /no_photo/) {
+                # prefer smaller image
+                my $image = $item->{image};
+                   $image =~ s/\.jpg$/s.jpg/;
+                $entry->icon({
+                    title => $item->{name},
+                    url   => $image,
+                    link  => $item->{link},
+                });
+            }
+        }
+
+        my @comments;
+        if ($self->conf->{fetch_body} && !$blocked && $msg->{link} =~ /view_/ && defined $MAP->{$type}->{get_detail}) {
+            # view_enquete is not implemented and probably
+            # won't be implemented as it seems redirected to
+            # reply_enquete
+            next if $msg->{link} =~ /view_enquete/;
+            $context->log(info => "Fetch body from $msg->{link}");
+            my $item = $self->cache->get_callback(
+                "item-".$msg->{link},
+                sub {
+                    Time::HiRes::sleep( $self->conf->{fetch_body_interval} || 1.5 );
+                    my $item = $self->{mixi}->parse($msg->{link});
+                    $item;
+                },
+                '12 hours',
+            );
+            if ($item) {
+                my $body = $item->{description};
+                   $body =~ s!(\r\n?|\n)!<br />!g;
+                for my $image (@{ $item->{images} || [] }) {
+		    my $imagelink = $image->{link};
+		    $imagelink =~ s!.*(show_.*?_picture\.pl.*?)'.*!http://mixi.jp/$1!;
+		    if ( $self->conf->{fetch_image} ) {
+			my $pic = $self->{mixi}->parse($imagelink);
+			if ($pic->{image}) {
+			    my $filename = $pic->{link};
+			    $filename =~ s!.*/!!;
+			    open(OUT, ">" . $self->conf->{fetch_image_path} . "/images/mixi/diary/" . $filename);
+			    print OUT $pic->{image};
+			    close(OUT);
+			    my $imagepath = "/images/mixi/diary/$filename";
+			    $body .= qq(<a href="$imagelink"><img src="$imagepath" /></a>);
+			} else {
+			    $body .= qq(<a href="$imagelink"><object type="text/html" data="$imagelink" >$imagelink</object></a>);
+			}
+		    } else {
+			$body .= qq(<a href="$imagelink"><object type="text/html" data="$imagelink" >$imagelink</object></a>);
+		    }
+                }
+                $entry->body($body);
+
+                $entry->date( Plagger::Date->parse($format, $item->{time}) );
+		if ($entry->date) {
+		    $entry->date->set_time_zone('Asia/Tokyo');
+		}
+                if ($self->conf->{fetch_comment}) {
+                  for my $comment (@{ $item->{comments} || [] }) {
+                      my $c = Plagger::Entry->new;
+                         $c->title($entry->title . ': '. $comment->{subject});
+                         $c->body($comment->{description});
+                         $c->link($comment->{link});
+                         $c->author($comment->{name});
+                         $c->date( Plagger::Date->parse($format, $comment->{time}) );
+		      if ($c->date) {
+			  $c->date->set_time_zone('Asia/Tokyo');
+		      }
+                      push @comments, $c;
+                  }
+                }
+            } else {
+                $context->log(warn => "Fetch body failed. You might be blocked?");
+                $blocked++;
+            }
+        }
+
+        $feed->add_entry($entry);
+        for my $comment ( @comments ) {
+            $feed->add_entry($comment);
+        }
     }
 
     $context->update->add($feed);
 }
 
-sub aggregate_bbs_feed {
+sub aggregate_feed_bbs {
     my($self, $context, $type, $args) = @_;
 
+
+    my $format = DateTime::Format::Strptime->new(pattern => '%Y-%m-%d %H:%M');
+
     my $meth = $MAP->{$type}->{get_list};
     my @msgs = $self->{mixi}->$meth->parse;
     my $items = $self->conf->{fetch_items} || 20;
     $self->log(info => 'fetch ' . scalar(@msgs) . ' entries');
 
+
     my $i = 0;
-    $self->{blocked} = 0;
+    my $blocked = 0;
     for my $msg (@msgs) {
-        next if $type eq 'FriendDiary' and $msg->{link}->query_param('url'); # external blog
         last if $i++ >= $items;
 
-        my $feed = Plagger::Feed->new;
-        $feed->type('mixi');
-        (my $subject = $msg->{subject}) =~ s/\(\d+\)$//;
-        (my $link = $msg->{link}) =~ s/&comment_count=\d*//;
-        $feed->title($subject);
-        $feed->description($MAP->{$type}->{title}.': '.$msg->{name});
-        $feed->link($link);
+	my $feed = Plagger::Feed->new;
+	$feed->type('mixi');
+	my $subject = $msg->{subject};
+	$subject =~ s/\([0-9]*\)$//;
+	$feed->title($subject);
+	$feed->description('Mixi: ' . $msg->{name});
+	my $link = $msg->{link};
+	$link =~ s/&comment_count=[0-9]*//;
+	$feed->link($link);
 
-        $self->add_entry( $context, $type, $feed, $msg );
+        my $entry = Plagger::Entry->new;
+        $entry->title($subject);
+        $entry->link($link);
+        $entry->author($msg->{name});
+        $entry->date( Plagger::Date->parse($format, $msg->{time}) );
+	if ($entry->date) {
+	    $entry->date->set_time_zone('Asia/Tokyo');
+	}
+        if ($self->conf->{show_icon} && !$blocked && defined $MAP->{$type}->{icon}) {
+            my $owner_id = $msg->{link}->query_param($MAP->{$type}->{icon});
+            $context->log(info => "Fetch icon of id=$owner_id");
 
-        $context->update->add($feed);
-    }
-}
-
-my $format = DateTime::Format::Strptime->new(pattern => '%Y-%m-%d %H:%M');
-
-sub parse_date {
-    my ($self, $datetime) = @_;
-
-    # Calendar doesn't have %H:%M part (spotted by id:mad-capone)
-    return unless defined $datetime;
-    $datetime .= ' 00:00' unless $datetime =~ /\d+:\d+$/;
-
-    Plagger::Date->parse($format, $datetime);
-}
-
-sub add_entry {
-    my ($self, $context, $type, $feed, $msg) = @_;
-
-    if ($type eq 'Log') {
-        $msg->{subject} = $msg->{time} . ' ' . $msg->{name};
-    }
-
-    my $entry = Plagger::Entry->new;
-    $entry->title($msg->{subject});
-    $entry->link($msg->{link});
-    $entry->author($msg->{name});
-    $entry->date( $self->parse_date($msg->{time}) );
-    $entry->date->set_time_zone('Asia/Tokyo') if $entry->date;
-
-    if ($self->conf->{show_icon} && !$self->{blocked} && defined $MAP->{$type}->{icon}) {
-        my $owner_id = $msg->{link}->query_param($MAP->{$type}->{icon});
-        $context->log(info => "Fetch icon of id=$owner_id");
-
-        my $item = $self->cache->get_callback(
-            "outline-$owner_id",
-            sub {
-                Time::HiRes::sleep( $self->conf->{fetch_body_interval} || 1.5 );
-                my $item = $self->{mixi}->show_friend->parse(id => $owner_id)->{outline};
-                $item;
-            },
-            '12 hours',
-        );
-        if ($item && $item->{image} !~ /no_photo/) {
-            # prefer smaller image
-            my $image = $item->{image};
-               $image =~ s/\.jpg$/s.jpg/;
-            $entry->icon({
-                title => $item->{name},
-                url   => $image,
-                link  => $item->{link},
-            });
+            my $item = $self->cache->get_callback(
+                "outline-$owner_id",
+                sub {
+                    Time::HiRes::sleep( $self->conf->{fetch_body_interval} || 1.5 );
+                    my $item = $self->{mixi}->show_friend->parse(id => $owner_id)->{outline};
+                    $item;
+                },
+                '12 hours',
+            );
+            if ($item && $item->{image} !~ /no_photo/) {
+                # prefer smaller image
+                my $image = $item->{image};
+                   $image =~ s/\.jpg$/s.jpg/;
+                $entry->icon({
+                    title => $item->{name},
+                    url   => $image,
+                    link  => $item->{link},
+                });
+            }
         }
-    }
 
-    my @comments;
-    if ($self->conf->{fetch_body} && !$self->{blocked} && $msg->{link} =~ /view_/ && defined $MAP->{$type}->{get_detail}) {
-        # view_enquete is not implemented and probably
-        # won't be implemented as it seems redirected to
-        # reply_enquete
-        return if $msg->{link} =~ /view_enquete/;
-        $context->log(info => "Fetch body from $msg->{link}");
-        my $item = $self->cache->get_callback(
-            "item-".$msg->{link},
-            sub {
-                Time::HiRes::sleep( $self->conf->{fetch_body_interval} || 1.5 );
-                my $item = $self->{mixi}->parse($msg->{link});
-                $item;
-            },
-            '12 hours',
-        );
-        if ($item) {
-            my $body = $item->{description};
-               $body =~ s!(\r\n?|\n)!<br />!g;
-            for my $image (@{ $item->{images} || [] }) {
-                $body .= qq(<div><a href="$image->{link}"><img src="$image->{thumb_link}" style="border:0" /></a></div>);
-                my $enclosure = Plagger::Enclosure->new;
-                $enclosure->url($image->{thumb_link});
-                $enclosure->auto_set_type;
-                $enclosure->is_inline(1);
-                $entry->add_enclosure($enclosure);
-            }
-            $entry->body($body);
+        my @comments;
+        if ($self->conf->{fetch_body} && !$blocked && $msg->{link} =~ /view_/ && defined $MAP->{$type}->{get_detail}) {
+            # view_enquete is not implemented and probably
+            # won't be implemented as it seems redirected to
+            # reply_enquete
+            next if $msg->{link} =~ /view_enquete/;
+            $context->log(info => "Fetch body from $msg->{link}");
+            my $item = $self->cache->get_callback(
+                "item-".$msg->{link},
+                sub {
+                    Time::HiRes::sleep( $self->conf->{fetch_body_interval} || 1.5 );
+                    my $item = $self->{mixi}->parse($msg->{link});
+                    $item;
+                },
+                '12 hours',
+            );
+            if ($item) {
+                my $body = $item->{description};
+                   $body =~ s!(\r\n?|\n)!<br />!g;
+		if ( $self->conf->{fetch_image} ) {
+		    while ($body =~ /<a href=.*?&#39;(.*?)&#39;.*?<\/a>/) {
+			   my $imagelink = "http://mixi.jp/" . $1;
+			      $imagelink =~ s!&#38;!&!g;
+			   my $pic = $self->{mixi}->parse($imagelink);
+			   if ($pic->{image}) {
+			       my $filename = $pic->{link};
+			       $filename =~ s!.*/!!;
+			       open(OUT, ">" . $self->conf->{fetch_image_path} . "/images/mixi/bbs/" . $filename);
+			       print OUT $pic->{image};
+			       close(OUT);
+			       my $imagepath = "/images/mixi/bbs/$filename";
+			       $body =~ s!<a href=.*?&#39;.*?&#39;.*?</a>!<a href="$imagelink"><img src="$imagepath"/></a>!;
+			   } else {
+			       $body =~ s!<a href=.*?&#39;(.*?)&#39;.*?</a>!<object type="text/html" data="http://mixi.jp/$1">http://mixi.jp/$1</object>!;
+			   }
+		    }
+		} else {
+		    $body =~ s!<a href=.*?&#39;(.*?)&#39;.*?</a>!<object type="text/html" data="http://mixi.jp/$1">http://mixi.jp/$1</object>!g;
+		}
+		$body =~ s!&#38;!&!g;
+                $entry->body($body);
 
-            $entry->date( $self->parse_date($item->{time}) );
-            $entry->date->set_time_zone('Asia/Tokyo') if $entry->date;
-            if ($self->conf->{fetch_comment}) {
-              for my $comment (@{ $item->{comments} || [] }) {
-                  my $c = Plagger::Entry->new;
-                     $c->title($entry->title . ': '. $comment->{subject});
-                     $c->body($comment->{description});
-                     $c->link($comment->{link});
-                     $c->author($comment->{name});
-                     $c->date( $self->parse_date($comment->{time}) );
-                     $c->date->set_time_zone('Asia/Tokyo') if $c->date;
-                  push @comments, $c;
-              }
+                $entry->date( Plagger::Date->parse($format, $item->{time}) );
+		if ($entry->date) {
+		    $entry->date->set_time_zone('Asia/Tokyo');
+		}
+                if ($self->conf->{fetch_comment}) {
+                  for my $comment (@{ $item->{comments} || [] }) {
+                      my $c = Plagger::Entry->new;
+                         $c->title($subject . ': '. $comment->{subject});
+		      $body = $comment->{description};
+		      if ( $self->conf->{fetch_image} ) {
+			  while ($body =~ /<a href=.*?&#39;(.*?)&#39;.*?<\/a>/) {
+			      my $imagelink = "http://mixi.jp/" . $1;
+			      $imagelink =~ s!&#38;!&!g;
+			      my $pic = $self->{mixi}->parse($imagelink);
+			      if ($pic->{image}) {
+				  my $filename = $pic->{link};
+				  $filename =~ s!.*/!!;
+				  open(OUT, ">" . $self->conf->{fetch_image_path} . "/images/mixi/bbs/" . $filename);
+				  print OUT $pic->{image};
+				  close(OUT);
+				  my $imagepath = "/images/mixi/bbs/$filename";
+				  $body =~ s!<a href=.*?&#39;.*?&#39;.*?</a>!<a href="$imagelink"><img src="$imagepath"/></a>!;
+			      } else {
+				  $self->log(debug => "bbs_comment_picture $1 something wrong");
+				  $body =~ s!<a href=.*?&#39;(.*?)&#39;.*?</a>!<object type="text/html" data="http://mixi.jp/$1">http://mixi.jp/$1</object>!;
+			      }
+			  }
+		      } else {
+			  $body =~ s!<a href=.*?&#39;(.*?)&#39;.*?</a>!<object type="text/html" data="http://mixi.jp/$1">http://mixi.jp/$1</object>!g;
+		      }
+		      $body =~ s!&#38;!&!g;
+                         $c->body($body);
+		      $link = $comment->{link};
+		      $link =~ s/&comment_count=[0-9]*//;
+                         $c->link($link);
+                         $c->author($comment->{name});
+                         $c->date( Plagger::Date->parse($format, $comment->{time}) );
+		      if ($c->date) {
+			  $c->date->set_time_zone('Asia/Tokyo');
+		      }
+                      push @comments, $c;
+                  }
+                }
+            } else {
+                $context->log(warn => "Fetch body failed. You might be blocked?");
+                $blocked++;
             }
-        } else {
-            $context->log(warn => "Fetch body failed. You might be blocked?");
-            $self->{blocked}++;
         }
-    }
 
-    $feed->add_entry($entry);
-    for my $comment ( @comments ) {
-        $feed->add_entry($comment);
+        $feed->add_entry($entry);
+        for my $comment ( @comments ) {
+            $feed->add_entry($comment);
+        }
+	$context->update->add($feed);
     }
 }
 
@@ -320,10 +445,6 @@
 With this option set, this plugin fetches users buddy icon from
 mixi.jp site, which makes the output HTML very user-friendly.
 
-=item split_bbs_feed
-
-With this option set, BBS feed will be split up. Defaults to 0.
-
 =item feed_type
 
 With this option set, you can set the feed types.

これで、plaggerのyamlのMixiScraperのところに

    config:
      fetch_image: 1
      fetch_image_path: /var/www/fastladder/public

とか書くと、$fetch_image_path/images/mixi に画像が保存される。
本来は、CustomFeed::MixiScraperの段階では Plagger::Entry に Plagger::Enclosureを入れておいて、Store::Fastladder でファイル出力した方が正しい(gmailとかにも添付で送れるはずだし)と思うんだけど、あくまでやっつけなので。(言い訳ばっかりだな)

fastladder を Passenger で

Thu, 10 Sep 2009 09:37:56 +0900

今まで mongrel を使って、Apache の mod_proxy でやっていたのですが、Redmine をインストールするときに知った Passenger を使ってみることにしました。
会社マシンに Passenger を入れたときにはいろいろモジュールが足りなくて何度もインストーラに怒られたのですが、自宅マシンだと一発で入りました。
あまりに簡単で記事にするほどでもないのですが、備忘録に。

# gem install passenger
Building native extensions. This could take a while...
Successfully installed passenger-2.2.5
1 gem installed
Installing ri documentation for passenger-2.2.5...
Installing RDoc documentation for passenger-2.2.5...
# passenger-install-apache2-module
Welcome to the Phusion Passenger Apache 2 module installer, v2.2.5.

This installer will guide you through the entire installation process. It
shouldn't take more than 3 minutes in total.

Here's what you can expect from the installation process:

1. The Apache 2 module will be installed for you.
2. You'll learn how to configure Apache.
3. You'll learn how to deploy a Ruby on Rails application.

Don't worry if anything goes wrong. This installer will advise you on how to
solve any problems.

Press Enter to continue, or Ctrl-C to abort.

--------------------------------------------

Checking for required software...

* GNU C++ compiler... found at /usr/bin/g++
* Ruby development headers... found
* OpenSSL support for Ruby... found
* RubyGems... found
* Rake... found at /usr/local/bin/rake
* Apache 2... found at /usr/local/sbin/httpd
* Apache 2 development headers... found at /usr/local/sbin/apxs
* Apache Portable Runtime (APR) development headers... found at /usr/local/bin/apr-1-config
* Apache Portable Runtime Utility (APU) development headers... found at /usr/local/bin/apu-1-config

--------------------------------------------
(・・mod_passengerのコンパイル＆インストール・・)
--------------------------------------------
The Apache 2 module was successfully installed.

Please edit your Apache configuration file, and add these lines:

LoadModule passenger_module /usr/local/lib/ruby/gems/1.8/gems/passenger-2.2.5/ext/apache2/mod_passenger.so
PassengerRoot /usr/local/lib/ruby/gems/1.8/gems/passenger-2.2.5
PassengerRuby /usr/local/bin/ruby18

After you restart Apache, you are ready to deploy any number of Ruby on Rails
applications on Apache, without any further Ruby on Rails-specific
configuration!

Press ENTER to continue.

--------------------------------------------
Deploying a Ruby on Rails application: an example

Suppose you have a Ruby on Rails application in /somewhere. Add a virtual host
to your Apache configuration file, and set its DocumentRoot to
/somewhere/public, like this:

ServerName www.yourhost.com
DocumentRoot /somewhere/public # <-- be sure to point to 'public'!

And that's it! You may also want to check the Users Guide for security and
optimization tips and other useful information:

/usr/local/lib/ruby/gems/1.8/gems/passenger-2.2.5/doc/Users guide Apache.html

Enjoy Phusion Passenger, a product of Phusion (www.phusion.nl) :-)
http://www.modrails.com/

Phusion Passenger is a trademark of Hongli Lai & Ninh Bui.

後は、passenger-install-apache2-module に表示されたとおりに apacheの設定ファイルを変えるだけ。
もともと mongrel に飛ばす設定が書いてあったので、LoadModule からの3行の追加とProxyPass* の行を消すだけであっけなく動きました。
後は、mongrelを止めて終わりです。
Railsアプリをちょっといじったときは、$RAILS_ROOT/tmp/restart.txt と言うファイルを作成すればそのアプリだけ再起動してくれるそうです。

fastladder を PostgreSQLで動かす

Wed, 09 Sep 2009 23:07:49 +0900

最近open fastladderがやけに遅い。
MySQLのチューニングなんかを見て、少しmy.cnfをいじってみたりしたけど効果なし。
itemsテーブルから古い記事を消すと少しだけ効果があるかな？と言う感じ。
そもそもMySQLは慣れていないので、古い記事を消すとかでも苦労しちゃう。
で、RrailsのActiveRecord?はPostgreSQLに対応しているんじゃないかと思って調べて見たら、いけそうな雰囲気。
まずは、fastladder/config/database.yml を修正。

production:
  adapter: postgresql
  encoding: utf8
  database: fastladder_production
  username: fastladder
  password: password
  host: localhost

変えたのは、adapterをmysqlからpostgresqlにして、socketをhostに変えただけ。
pgsqlユーザでDB fastladder_productionとユーザfastladderを作成して、rake db:migrateしてみたら、なんかpostgresがないみたいなエラーが出たので、

# gem install postgres

としてpostgresをインストールしたら、無事にrakeでテーブルが作られた。
あとは、PlaggerのStore::Fastladderなんだけど、こちらも中身を見たら直接SQLなんて書いてなくて、DBIx::Class::Schema::Loader とか言うのを使ってORマッピングしてるっぽい。
手元の環境を見たら、p5-DBD-Pgと言うのが入っていたので、Plaggerのyamlを修正してみる。

  - module: Store::Fastladder
    config:
      connect_info:
        - dbi:Pg:dbname=fastladder_production
        - fastladder
        - password
      member_id: 1

dbi:mysqlをdbi:Pgに変更して、後は接続パラメータの指定方法が違うのを適当に修正した。
plaggerを実行してみると、membersにid=1の人なんていないってエラーになるので、MySQLからmembersテーブルだけPostgreSQLに移行。MysqlからPostgresへ移行 - かぴぶろぐを参考にしたけど、記事の通りだとデータ中の改行が消えてしまうのでsedを使った。

mysqlで実行(DBの管理者ユーザでやる)

# mysql -u root fastladder_production -p
Enter password:
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1604
Server version: 5.0.77 FreeBSD port: mysql-server-5.0.77_1

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> select * from members into outfile '/tmp/members.csv' fields terminated by ',' optionally enclosed by '\"';
Query OK, 1 row affected (0.02 sec)

ファイルを覗くと、データ中の改行が\＋改行になっているので、\を削除する。
```
# sed 's/\\$//' < /tmp/members.csv > /tmp/members2.csv
```

PostgreSQL側で実行(こちらもDB管理者ユーザで)

% psql -U pgsql fastladder_production -W
Password for user pgsql:
Welcome to psql 8.1.17, the PostgreSQL interactive terminal.

Type:  \copyright for distribution terms
       \h for help with SQL commands
       \? for help with psql commands
       \g or terminate with semicolon to execute query
       \q to quit

fastladder_production=# copy members from '/tmp/members2.csv' with csv null as '\\N' escape '\\';

fastladder の iPhone 用 UI

Wed, 09 Sep 2009 13:15:26 +0900

RSSリーダとして、オープンソース版のfastladderを使っている。
fastladder は https のクライアント認証が必要な場所に置いてあって、標準のcrawlerではなくPlagger の Store::Fastladder を使って feed を入力している。
外出中は主にiPhoneを利用しているのだけれど、iPhoneで自前のクライアント証明書を入れる方法がわからなくて使えなかった。
今回、久しぶりに検索してみたら、iPhone 3Gでユーザー証明書を利用してみる - iPhone用連絡先交換サービス（QR Card）＆設定情報等　｜　iPhone Lab.と言う記事を発見した。
リンク先を見たら、既に「iPhone Configuration Utility 1.0 for Mac OS X」はリンク切れになっていたけれど、検索したらiPhone Configuration Utility 2.0 for Windowsと言うのを見つけたので、早速ダウンロードして使ってみた。
iPhone用のクライアント証明書と、オレオレCAの証明書をiPhone Configuration Utilityにimportして、構成ファイルを作成し、iPhoneにメールする。クライアント証明書をimportするときに、「export可能にする」にチェックしないと構成ファイルに秘密鍵を含めることができない。
iPhone側でメールに添付されたファイルをインストールすると、無事にiPhoneでクライアント証明書が使えるようになった。
しかし、fastladderはデスクトップPCでキーボードを使って操作することを前提に作られているので、iPhoneでは使い物にならない。
以前、fastladder_mobileと言うのを入れていたので、それで見てみたらなんとか見れた。
しかし、cssが適用されないっぽい。どうも、iPhone の Safari はサーバの証明書のホスト名が一致しないと css や javascript を実行してくれないようだ。
なんでホスト名が一致しないかと言うと、以下の理由による。

Apache の名前ベースのVirtualHostは、ホスト名ごとに別のサーバ証明書を扱えない(ので、サーバ証明書の名前はwww.wizard-limit.net)
fastladder は、コンテキストパスが / でないと実行できないため、メインのWebサーバとは別のホスト名を割り当てている

しょうがないので、https ではなく http 側も fastladder を有効にして、digest認証をかけてみた。
これで、iPhoneから見られるようになったのだが、fastladder_mobile にはいくつか気に入らないところが。

itemの並び順が、昇順ではなく降順
設定で1ページの上限件数が指定できるが、一つのfeedに上限件数以上があると、その分は表示されてしまう。

ソースを少しいじって昇順に並ぶようにして、上限件数で切るようにしてみたが、問題が残った。
たとえば、あるfeedに未読が200件あったとして、最初の30件を表示させて、次のページに行くと200件全てが既読になってしまうのだ。
これは、fastladder の未読管理の仕組みに問題がある。

subscriptionsと言うテーブルにviewed_onと言う最後に読んだ日時と、has_unread と言うフラグがある
items と言うテーブルに stored_onと言う取得日時がある。
既読にする処理は、subscriptionsのviewed_onを現在日時にして、has_unread を false にすると言う処理のため、全てが既読になってしまう

デスクトップのUIでは、When to mark a feed as read と言う設定がImmediately after loading.となっていればほぼ問題は起きないが、それ以外の設定だと問題が置きそうだ。
iPhoneや携帯では、1ページあたりの件数はある程度の数に限定したい。
そこで、今までRailsがわからないからと避けていたのだけれど、iPhone用になんとかしてみることにした。
iPhone対応にすると言うことで、iuiとかiWebKitとか試してみたんだけど、どちらもあまり気に入らなかった(iuiはアニメーションが遅かった、iWebKitはチェックボックスがimageを使ったトグルボタンになってしまう)のでiWebKitをベースに適当に切り貼りして作った。
後にして思えば、rep2 の iPhone 用UIが良くできているので、それを参考にするべきだったかも知れない。
最終的に採用したアルゴリズムは、以下の通り。

トップページは、未読があるfeedのリストをメニューとして表示する
feedを選択すると、item一覧ページを表示する
item一覧ページは、設定にある上限件数までの表示を目指すが、DBの未読管理の問題から同じstored_onを持つitemは全て表示する
item一覧ページから次のページに遷移するときに、表示していた最終stored_onでviewed_onを更新し、最終stored_onよりも新しいitemがないときだけhas_unreadをfalseにするようにする
同じfeedに未読があるときは次のページも同じfeed。なければ次のfeed、次のfeedもなければHomeに帰る

複数ページあっても一気に既読にする機能とか、いろいろつけたい機能はあるけど、とりあえず読めるようになっちゃったからしばらくいじらないような気もする。
ソースは、fastladder_mobileに倣ってCodeReposに入れようかとも思ったけど、アカウント取るのが面倒だったのでとりあえずうちに入れておいた。

回顧録(3)

Sat, 22 Aug 2009 12:50:23 +0900

大学に入ると、ソフトウェア研究会と言うサークルに入った。私の大学にはコンピュータ系のサークルが二つあり、固くない方を選んだつもりだったのだが、間違っていた。結果としては良かったが。同学年の女の子はすべてもう一つのサークルに入り、ソフトウェア研究会は男しかいなかった。学校の授業ではマックに触った。プログラムはまだなし。お絵描きソフトとか、ワープロ程度。サークルは週に一度勉強会があり、プログラムを教えて貰った。夏になると、サークルの合宿があった。福島の温泉で一週間、ほぼ毎日プログラミング。最終日だけ遊び。夜は飲み会。この合宿が、中学校のVTR部が潰れた時に続いて2度目の人生のターニングポイントだった。それまで、独学でCを学ぼうとしてもなかなか取っ掛かりがなくうまくいってなかった。しかし、合宿で教科書にK&Rを指定され、4年生の先輩からポインタについて学ぶことができた。目の前から急に霧が晴れる感じ。普段は4年生は顔を出さないし、合宿で教えることもかなり異例だったんだと思う。しかし、私達の代はちょっと変わった奴が多かったので...。合宿で流行ったのが、タイピング練習ソフト。みんな暇を見つけてはそればっかりやっていた。それまでの私は我流のタイピングだったが、このソフトのおかげでちゃんとホームポジションに手を置くブラインドタッチをマスターした。画面だけを見てコードが書けると言うのは、想像以上に大切なことだ。一年生はメキメキ腕を上げ、みんな先輩よりも早くなった。この合宿でもう一つの大きな出会いがあった。4年生の先輩の一人が、シルバーのユーノス・ロードスターに乗って来たのだ。それまで、私に取って車とは、親のワンボックスだけだった。車とは移動、輸送の道具だった。ロードスターは、そんな認識を根底から覆す車だ。でもそれはまた別のお話。合宿から帰ると秋の学園祭に向けて準備が始まった。サークルでは、会員が作ったソフトの展示と販売を行う。当時タケルと言う名前のソフトの自動販売機があったのだが、それをパクった「たけお」と言う箱があった。中に人が入って売り子をするだけのものだけど、なんだかとても良いアイディアに思えた。私が所属した1年生だけで構成されたチームは、X68000で3Dテトリスを作ることにした。メインはCで、ワイヤーフレームの描画エンジンはアセンブラだった。プログラムが3人、絵を書く人、音楽を作る人、シナリオを書く人、部屋を提供する人。毎日学校が終わると開発部屋に集まった。できあがったものは私達には大夫満足の行くものだった。これが、最初のチームでの開発経験になった。 500円の値を付けたけど、もちろん内輪にしか売れなかった。その頃、スティーブ・ジョブズがNeXTを発表した。当時のワークステーションの値段からは信じられないほどの安さで、MACHとか先進的でとても魅力的だった。(当時の私にはほとんど意味がわからなかったんだけど、とにかくエキサイトしたんだ) 2年になると、授業でプログラムが始まった。FORTRAN。一年の校舎にあったマックではなく、富士通のメインフレームだった。メインフレームのOSは、それまでの知識ではまったく扱えなかった。MS-DOSとは言わなくても階層構造のファイルシステムやコマンドインタプリタなんてパソコンでも実現できていたのに、メインフレームは違った。言語自体は難しくなかったので、授業はいつも暇であまり面白くなかった。 3年になると、研究室に所属して、週に一度ゼミと言う授業があった。私がいた数学系の学科の中で、比較的自由にコンピュータを触らせてくれると言う噂の研究室を選んだ。その研究室には初代NeXTとSONYのNEWSがあった。(既にNeXTは2代目が出ていた) 当時メジャーだったのはPC-9801とWindows3.1だったけど、私はUNIXにのめり込んだ。 68020とか68030のCPUに、メモリは4Mとか8Mだったけど、Xが動いた。研究室に顔を出すのは、週に一度のゼミの時間だけで良かったんだけど、休み時間も放課後も、ずっと研究室でワークステーションに触った。いろいろなフリーソフトをコンパイルし、メールやネットニュースを見た。 NEWSもNeXTも、あまりメジャーとは言えなかったから、フリーソフトをコンパイルするのは結構大変だった。今みたいにLinuxでconfigure&make一発とはいかなかった。コンパイルエラーを追いかけ、ソースを修正した。この経験が、のちに大夫役立っていると思う。この頃、草の根BBSと言うのが流行っていたので、私も研究室で余っていた1200bpsのモデムを貰ってちょっとやった。テレホーダイとか入ってなかったので、ちょっとだけ。 Nifty-SERVにも入った。そして、MOSAICが登場した。当時はgoogleもyahooもなくて、gooの前身かもしれないNTTのページ(名前を忘れてしまった。日本のWWWページとかそんなの)だけが情報に辿り着く術だった。 4年になると、学科の各研究室にSUNが配置された。ネットワークの管理をまかされたので、学科のサブドメインでメールのやりとりができるようにした。DNSが苦手で、設定を教えてくれない上位ドメインの管理者と喧嘩したりした。計算機センターに侵入しようとしてアカウント停止されたりもした。 4年の授業で、COBOLがあったが、これだけは習得できなかった。

ゲーム用PC

Sun, 16 Aug 2009 21:13:09 +0900

相方がゲーム用のデスクトップが欲しいと言うので、DELLのStudio XPS とか言うマシンを購入。
スペックは、Core i7-920(2.66GHz)、メモリ6G、ATI Radeon HD 4850、750GB SATA HDD (7200回転)、Windows Vista(R) Home Premium SP1 正規版 (日本語版) 64ビットと言った感じ。
8/2に注文して、8/14に生産完了＆27日頃お届けのメール。8/15に届いて、8/16に出荷済みのメールが届いた。
さっそくセットアップして、まずはパーティションを切りなおす。Vistaは標準でパーティションの変更ができるんだけど、UIがわかりにくかったのでPartition Wizard Home Editionを使って切りなおした。(via パーティションのリサイズ・作成・コピー・変換・完全消去などが簡単にできるフリーソフト「Partition Wizard Home Edition」 - GIGAZINE)
相方の目的は、Rappelzが快適に動いてプレイ動画がストレスなく記録できること。
しかし、動かして見ると思ったほどスムーズでない。
そこで、RappelzをRAMディスクで動かして見ることにする。
有名なGavotteは64bit版では動かなかったので、Schwarze SQ: Windows 7 x64でRAM Diskを使うを参考にDataram RAMDiskを使って見た。
まずは、RAMディスクの設定で3GBを確保する。設定ではNTFSが選べないので、Unformattedを選び、Vistaの記憶域の管理からNTFSでフォーマットする。
RappelsはJ:\Gpotateにインストールしてあったので、そのままRAMDISK(R:)にコピーする。
RAMDISKの設定で、起動時と終了時にイメージファイルをセーブ/ロードできる設定があるので、K: にイメージファイルを保存するようにしてやった。
続いて、J:\GpotateをGpotate.origにリネームして、mklink.exe でシンボリックリンクを張る。(Unixのlnと順番が逆)

> mklink /D J:\Gpotate R:\Gpotate

これで、J:\Gpotateにアクセスすると、R:\Gpotateの実体にアクセスされるので、普通にRappelzを起動してやれば、RAMDISKが使われる。
だいぶ高速化したけど、まだ遅い感じがするのはクライアントの作り上の限界か。

RAMDISKを導入する前に、RappelzをインストールするDISKとプレイ動画を録画するHDDを分けたら良いのではないかと考えて、HDDの増設を検討した。
ケースを開けてみると、ミニタワーで中はすかすかな癖に、HDDの増設スペースが狭い。
Radeon 4850と2台目のHDDがぶつかるのではないかと言う感じ。ぎりぎり入りそうな気もするけど・・・。
あとは、PSPのプレイ動画も録画したくて、ビデオキャプチャについて調べてみたけど、D端子入力で、PCI Expressで、ドライバ/アプリが64bit対応のものは見つけられなかった。PCIで32bitならいくつか選択肢がありそうだったんだけど。

最後に、VistaにWindows 7への無料アップグレード権がついていたので、Dellのページ(https://win7.dell.com/default.aspx)で申し込もうとしたんだけど、お客様の PC 情報の登録で、サービスタグを入力して「認証する」ボタンを押しても、そこから先に進まなかった。FirefoxでもIEでも同じだったので、サイト側に何か問題があると思われる。(と思ってググったら、いくつか同じ症例がひっかかった。時間を置いてやってみて駄目だったら、サポートに電話するくらいしかないらしい)

iPhoneでVPN(2)

Mon, 10 Aug 2009 16:02:50 +0900

iPhoneのSIPクライアントを使いたくて、VPN周りの見直しを行った。
そもそも、pptp周りは過去に2回エントリを書いているのだけれど、現在の状況はそのときとは変わっている。

一番大きな違いは、当時はFreeBSDがpppoeクライアント＆ルータ＆pptpサーバだったのに対して、現在はフレッツのルータがpppoeクライアント＆ルータで、FreeBSDはpptpサーバのみをやっていると言う事。
今回、動くまでにいろいろやったので、一通り書いてみるけど、どれかは不要かも知れないが組み合わせの検証をするのが面倒なのでそこまではやらない。

FreeBSDがルータではなくなったので、/etc/rc.conf で gateway_enable="true"をコメントアウトしてあったけれど、pptpサーバとしてIP転送が必要なので元に戻した。
/etc/ppp/ppp.conf で、pptpクライアントに割り当てるネットワークセグメントをLANのものとは分けた。(LANは192.168.0.0/24)
```
 set ifaddr 192.168.1.1 192.168.1.201-192.168.1.210 255.255.255.0
```
/etc/ipf.rules で、pptpが使用するtun0を通すようにした。
```
pass out on tun0 all head 250
pass in on tun0 all head 200
```
フレッツのルータRT-S300SEの設定で、静的ルーティングの設定と言うのがあるので、192.168.1.0/24宛のルーティングをFreeBSDのLAN側アドレス(192.168.0.2)に設定した。

後は、iPhoneのSIPクライアントでも設定があったんだけど、そちらはあまり大きな声で言いたくないのでここには書かない。

今回やっていて良くわからなかったのが、iPhoneのtracerouteの動き。3G回線と、VPNのppp0があるときに、-i オプションでppp0を指定してあげないと VPN側にtracerouteできなかった。(これのおかげで、設定はおかしくないのにうまくいっていないと思って随分設定を変えてしまった)
ルーティングテーブルは、defaultが2行あって、最初にVPN側が出てるんだけどなあ。