つぶねこ

　WWW::MechanizeとかWeb::Scraperのネタをつぶやいたので、ついでということで何か実装してみようという。

use LWP::Simple;
use LWP::UserAgent;
use WWW::Mechanize;
use utf8;
use Web::Scraper;
use Encode;

my $url = 'http://list3.auctions.yahoo.co.jp/jp/%E7%84%A1%E5%81%9C%E9%9B%BB%E9%9B%BB%E6%BA%90%E8%A3%85%E7%BD%AE-%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF-%E5%91%A8%E8%BE%BA%E6%A9%9F%E5%99%A8-%E3%82%B3%E3%83%B3%E3%83%94%E3%83%A5%E3%83%BC%E3%82%BF/2084039702-category-leaf.html?price_type=currentprice&min=&max=100000&abatch=1&istatus=0&mode=2&p=&fo=&sb=&desc=&cat=&auccat=&f=&loc_cd=&min_point=&max_point=&auchours=&aucminutes=&e_wday=&e_time=&s_wday=&s_time=&filtered=1';
my $result  = &get_list($url);
@$result = sort{ $b->{price} <=> $a->{price} || $a->{desc} cmp $b->{desc} }(@$result);
foreach my $r (@$result) {
    next if($r->{price} > 40000);
    my $str = &add_comma( $r->{price} ) . "\t"
      . qq(<a href="$r->{uri}">) . $r->{desc} . "" . "\n";
    print encode('utf-8' , $str );
}

sub get_list{
    my $url = shift;
    my $agent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50$
    my $mech = WWW::Mechanize->new(agent=>$agent);
    my @result;
    
    $mech->get( $url );
    push( @result, &scr( $mech->content ) );
    my $re = qr/\Q次の25件\E/ ;
    while( $mech->find_link('text_regex' => $re ) ){
        $mech->follow_link( 'text_regex' => $re );
        push( @result, &scr( $mech->content ) );
    }
    return \@result;
}

sub scr{
    my $yahuoku2 =  scraper {
        process 'td.pad01>a' ,  uri => '@href' , 'desc' => 'TEXT';
        process 'td.pad01>small>a' , 'owner' => sub{
            my @list = $_->find("a");
            return $list[0]->as_text;
        };
        process 'td.pad01>b' , 'price[]' => 'TEXT';
        result 'uri','desc','owner','price';
    };
    my $yahuoku1 =  scraper {
        process 'div#list01>table>tr'  , 'auctions[]' => $yahuoku2;
        result 'auctions';
    };

    my $html = shift;
    my $result = $yahuoku1->scrape( $html );
    for (my $m=@$result ; $m>=0 ; $m--){
        splice(@$result,$m,1) unless ( $$result[$m]->{uri} );
    }
    my @p;
    foreach my $r (@$result){
        @p = grep(/^ *[0-9,]+ *\Q円\E */ , @{$r->{price}} );
        $r->{price} = $p[0];
        $r->{price} =~ s/[^0-9]//g;
    }
    return @$result;
}

　これでヤフオクのUPSカテゴリーからタイトルと価格あたりをリストしてくる。
　scraperのhtmlの一部分を拾ってくる所は、何かもう少しやり方がありそうだが、とりあえず現状合わせ。CSSセレクタじゃにゃくてXPathのほうがいいのかしら？どうもそのあたりの書式でどこまで記述できるのかを知らずに書いてるので酷いことに。あとこういうタグベースじゃにゃくて、にゃんかこう、TEXT部分でサーチしてヒューリスティックに検出とかした方がいいんだろうにゃぁ、とか思いつつ、あぁそれってscraperじゃにゃくてMechanizeにゃんじゃにゃいの？という根本的にゃ・・・
　まぁ習学にゃのでいいとして
　これはhtmlぽいのを吐くのでcronとかで
　mail -s title -a "Content-type: text/html;" mail@mail.com
　で投げると便利。

　ちょっとメール鯖をvmで別所に移動しようかってことで、Ubuntuベースで移植してみた。
　exim4は面倒にゃので設定を流用してそのまま使用。
　今回はupdate-exim4.conf.confで
　dc_localdelivery='maildir_home'
　にしてみた。
　送信はsmarthostで受信はport 587を25にリダイレクト。
　
　
　popはちょいと色を出してdovecotにしてみた
　
　apt-get install dovecot-pop3d
　vi dovecot.conf

disable_plaintext_auth = no
mail_location = maildir:~/Maildir

　chmod a+rwxt /var/mail
　とこの程度で動くと思われる。
　ssl云々はどうせvpn経由で見に行くのでどうでもいいやー

　OpensolarisにゃZFS鯖。

       NAME        STATE     READ WRITE CKSUM
       pool1       ONLINE       0     0     0
         mirror    ONLINE       0     0     0
           c7t3d0  ONLINE       1     0     0
           c7t4d0  ONLINE       0     0     0

　みたいにゃのが出てたけど放置してたら、今度はハングした(笑)
　うーむ、そこは止まらにゃいで欲しいのだが。
　んでリセットかけたら、

        NAME        STATE     READ WRITE CKSUM
        pool1       DEGRADED     0     0     0
          mirror    DEGRADED     0     0     0
            c7t3d0  DEGRADED     0     0    97  too many errors
            c7t4d0  ONLINE       0     0     0

　みたいにゃことに。
　そりゃまぁtoo manyだわにゃ。しかもcksumってどういう・・・。ZFSじゃにゃかったら酷いことににゃっていたのか、それとも・・・
　それにしてもこの鯖、一応高価にゃRAIDカードが載ってて、RAIDカードでミラーしたらディスクエラーでハングしたので、ZFSでミラーしたらそれでも止まったわけだが、いったいどうしろと・・・