解りにくいタイトルですね。例えば以下のようなHTMLを考えます。 tableタグが３つありますが、そのうちの１つがネストしています(idがchildのtableタグ) このネストしているtableタグをXPathでどうやって取得すれば良いかという話です。 もちろん//table[@id=”child”]のようにidを指定すれば取得できるのですが、 //table[2]のようにインデックスを指定してネスト中のtableを取得したいというのが今回の趣旨です。 出発地点として上記のHTMLからScraperを使用してデータを取得してみました。 #!/usr/bin/perl use strict; use warnings; use LWP::Simple; use Web::Scraper; use YAML; my $url = 'http://location/of/html'; my $
気象庁のwebサイトから予報の内容を取得しようとしてハマった。 天気予報のページからは取得できたので 週間予報のページからの取得もやってみようと思ったら 何故か上手くいかない…何でだ？(;´Д`) 書いてみたコードは↓これ。 #!/usr/local/bin/perl use URI; use Web::Scraper; binmode(STDOUT,":encoding(cp932)"); my $WeatherInfo = scraper { process "/html/body/div[2]/div[2]/div[5]/p/table/tbody/tr/th[2]", day => 'TEXT'; process "/html/body/div[2]/div[2]/div[5]/p/table/tbody/tr[2]/td/img", weather => '@alt'; }; m
Webスクレイプ時におけるXPath取得方についてに引き続きの内容になります。 自力で正しいXPathを取得する方法ですが、↓のようにやっていました（今になって「効率悪いなぁ」と思うのですが）。 取得する要素（前回と同じ） 1.firebugのXPathをまずは試してみる（tbody要素は実ソースにない場合は抜く） amazonの例：/html/body/div[4]/table/tr/td[2]/div/table/tr[2]/td[3]/strong/a がNG。 2.NGの場合、遡れるところまで遡る（パスを少しずつ削っていき、実際に出力されるところまで試す） ＃こちらにあるように、scraperコマンドを利用する amazonの例：/html/bodyまで遡らないと表示できなかった。 ↓ /html/body/div[2]とやったら欲しい部分を（大きくだが）拾えた。 3.出力され
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
Selenium 周りでネタが溜まってきたので、ごっちゃり書く・・・つもりが、気がつくとすごい量になったので、やっぱり 2 回に分けて書きます。 まずは、 ・最近の戦略とか ・Selenium RC 1.0 beta 2 で Test Suite が Not Found になる件 ・CakePHP 用にアクションを追加 について。 ■最近の戦略とか ○スクリプトを使わず Selenium IDE で Perl や PHP から Selenium RC を呼び出したりして使っていたこともありますが、特にそうする必要がない場合は Selenium IDE でやってます。前の案件では結合テストから Selenium を使ってたんですが「こんな便利なら開発中の確認でも使えばよかった〜」と言われたので、今回の案件では開発中の動作検証から Selenium IDE で実施して、後半の結合テスト、シナリ
Web::Scraper使うときに、scraperコマンドを使って頑張る人もいれば、FirebugのDOMツリーで「XPathをコピー」とやっている人もいるでしょう。 前者の場合、端末でスクロールアウトするHTMLを見ながらXPathをこさえて間違ったらズラズラズラ…と画面が流れて行ってしまいます。後者の場合は、CLASSやID属性を使わないXPathが出来上がってしまいます。 映画に出てくるHackerの如く一発でXPathを決められればそれは素晴らしい事だと思いますが、いかんせん幾度か失敗しますよね。 で、何回もXPathを確かめられるツールが欲しいなと思い、perl-GTK2で作ってみました。 画面はこんな感じ 引数に「http://b.hatena.ne.jp/」を付けて起動したらこんな感じ URLを変更して「Get」をクリックすれば再読み込みします。 そして、はてなブックマークト
FirebugでXpathやCSSセレクタによってエレメントを高速に検索できるようになる「Firefinder」 2009年05月25日- Firefinder for Firebug :: Firefox Add-ons FirebugでXpathやCSSセレクタによってエレメントを高速に検索できるようになる「Firefinder」。 Firebugの拡張として動作し、インストールすると Firefinder タブが表示されます。 まずは css セレクタによって探してみます。 div.content で検索すると、<div class="content">がマッチします。 divだけで検索するとすべてのdivを探すことが可能です。 XPathｄｅ検索してみたところ、同じように検索が可能 マッチしたエレメントは赤色でハイライト表示されます Firebug標準の検索機能は、1個1個検索して
HTML::TreeBuilder のメソッドを覚えるには人生はみじかすぎる件について HTML::TreeBuilder の ->lookup だの ->find だのを覚えるのは、学習の効率がよくない。つぶしがきかないので、もっと一般的な CSS Selector や XPath などを覚えて、それをつかった方がお得であるといえる。 HTML::TreeBuilder で XPath を利用するには、HTML::TreeBuilder::XPath をインストールすればよく、これは pure perl なので容易に利用できる。 my $tree = HTML::TreeBuilder::XPath->new; $tree->parse($content); my @items = $tree->findnodes(q{//*[@id='topicsfb']//li}); print $
まえに作ったWeb::Scraperのjavascriptバージョンwebscraper.jsとXPathをてきとうに作ってくれる機能を追加したwebscraperp.jsにHTMLのドキュメントから繰り返し部分をみつけてSITEINFOをつくるAutoPagerize Iteration Detectorみたいなみためをくっつけて、取り出したい部分をクリックしたらてきとうにXPathを生成してWeb::Scraperのコードにして出してくれるFirefoxのextensionを作りました。Firefox3専用です。ごめんなさい。 ダウンロード WebScraper IDE (for Firefox3) 使い方 今回もいつもお世話になっているスターバックスさんの店舗検索結果(住所・店名・条件から探す)を例に使い方をご紹介します。 WebScraper IDEをインストールするとツールメニュ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
