WWW::MechanizeとかWeb::Scraperのネタをつぶやいたので、ついでということで何か実装してみようという。

use LWP::Simple;
use LWP::UserAgent;
use WWW::Mechanize;
use utf8;
use Web::Scraper;
use Encode;

my $url = 'http://list3.auctions.yahoo.co.jp/jp/%E7%84%A1%E5%81%9C%E9%9B%BB%E9%9B%BB%E6%BA%90%E8%A3%85%E7%BD%AE-%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF-%E5%91%A8%E8%BE%BA%E6%A9%9F%E5%99%A8-%E3%82%B3%E3%83%B3%E3%83%94%E3%83%A5%E3%83%BC%E3%82%BF/2084039702-category-leaf.html?price_type=currentprice&min=&max=100000&abatch=1&istatus=0&mode=2&p=&fo=&sb=&desc=&cat=&auccat=&f=&loc_cd=&min_point=&max_point=&auchours=&aucminutes=&e_wday=&e_time=&s_wday=&s_time=&filtered=1';
my $result  = &get_list($url);
@$result = sort{ $b->{price} <=> $a->{price} || $a->{desc} cmp $b->{desc} }(@$result);
foreach my $r (@$result) {
    next if($r->{price} > 40000);
    my $str = &add_comma( $r->{price} ) . "\t"
      . qq(<a href="$r->{uri}">) . $r->{desc} . "" . "\n";
    print encode('utf-8' , $str );
}

sub get_list{
    my $url = shift;
    my $agent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50$
    my $mech = WWW::Mechanize->new(agent=>$agent);
    my @result;
    
    $mech->get( $url );
    push( @result, &scr( $mech->content ) );
    my $re = qr/\Q次の25件\E/ ;
    while( $mech->find_link('text_regex' => $re ) ){
        $mech->follow_link( 'text_regex' => $re );
        push( @result, &scr( $mech->content ) );
    }
    return \@result;
}

sub scr{
    my $yahuoku2 =  scraper {
        process 'td.pad01>a' ,  uri => '@href' , 'desc' => 'TEXT';
        process 'td.pad01>small>a' , 'owner' => sub{
            my @list = $_->find("a");
            return $list[0]->as_text;
        };
        process 'td.pad01>b' , 'price[]' => 'TEXT';
        result 'uri','desc','owner','price';
    };
    my $yahuoku1 =  scraper {
        process 'div#list01>table>tr'  , 'auctions[]' => $yahuoku2;
        result 'auctions';
    };

    my $html = shift;
    my $result = $yahuoku1->scrape( $html );
    for (my $m=@$result ; $m>=0 ; $m--){
        splice(@$result,$m,1) unless ( $$result[$m]->{uri} );
    }
    my @p;
    foreach my $r (@$result){
        @p = grep(/^ *[0-9,]+ *\Q円\E */ , @{$r->{price}} );
        $r->{price} = $p[0];
        $r->{price} =~ s/[^0-9]//g;
    }
    return @$result;
}

　これでヤフオクのUPSカテゴリーからタイトルと価格あたりをリストしてくる。
　scraperのhtmlの一部分を拾ってくる所は、何かもう少しやり方がありそうだが、とりあえず現状合わせ。CSSセレクタじゃにゃくてXPathのほうがいいのかしら？ どうもそのあたりの書式でどこまで記述できるのかを知らずに書いてるので酷いことに。あとこういうタグベースじゃにゃくて、にゃんかこう、TEXT部分でサーチしてヒューリスティックに検出とかした方がいいんだろうにゃぁ、とか思いつつ、あぁそれってscraperじゃにゃくてMechanizeにゃんじゃにゃいの？という根本的にゃ・・・
　まぁ習学にゃのでいいとして
　これはhtmlぽいのを吐くのでcronとかで
　mail -s title -a "Content-type: text/html;" mail@mail.com
　で投げると便利。

　ちょっとメール鯖をvmで別所に移動しようかってことで、Ubuntuベースで移植してみた。
　exim4は面倒にゃので設定を流用してそのまま使用。
　今回はupdate-exim4.conf.confで
　dc_localdelivery='maildir_home'
　にしてみた。
　送信はsmarthostで受信はport 587を25にリダイレクト。
　
　
　popはちょいと色を出してdovecotにしてみた
　
　apt-get install dovecot-pop3d
　vi dovecot.conf

disable_plaintext_auth = no
mail_location = maildir:~/Maildir

　chmod a+rwxt /var/mail
　とこの程度で動くと思われる。
　ssl云々はどうせvpn経由で見に行くのでどうでもいいやー