XPathの勉強。LDRFullFeedの仕様がXPathで本文を指定するというものだったので、HTML(XHTML)から必要な部分を抜き出すためにどのようなXPathが書けるかを考えてみる。 特に意味はないけどhttp://labs.cybozu.co.jp/blog/akky/archives/2009/02/interviewd-by-junior-high.htmlを例にしてみる。勝手に使ってすみません。 ... <div id="center"> <div class="content"> <p align="right"> <a href="http://labs.cybozu.co.jp/blog/akky/archives/2009/02/google-news-widget.html">« Googleニュースの新ブログパーツ(ウィジェット)</a> | <a
XPathの不便なところ - ぶろぐ。@はてなより、http://labs.cybozu.co.jp/blog/akky/archives/2009/02/interviewd-by-junior-high.htmlの本文を取るXPathを考えてみた。 とりあえず、2パターン。*1 id("center")/div/*[preceding-sibling::*[following-sibling::h2] and self::*[not(preceding-sibling::p[@class="posted" and a])]]id("center")/div/*[self::h2[following-sibling::h3] or (preceding-sibling::h2 and following-sibling::p[@class="posted" and a]) or self
Over in the use Perl journals, Tatsuhiko Miyagawa wondered whether CSS selectors can be translated to XPath – which, of course, they can. Like him, however, I discovered that there isn’t any easily found table of equivalents that shows how selectors map to queries (though quite a lot of working Javascript to do such a conversion). Maybe that’s because to people versed in XPath, it’s really quite s
http://gadgets.boingboing.net/ での出来事。 ページ一番下の Continue Reading Older Posts にマッチさせたい。 $x('id("continue-reading")//a[contains(self::*/text(),"Old")]'); // ok $x('id("continue-reading")//a[contains(self::a/text(),"Old")]'); // ok $x('id("continue-reading")//a[contains(descendant-or-self::a/text(),"Old")]'); // ok $x('id("continue-reading")//a[contains(descendant-or-self::*/text(),"Old")]'); // ng わかっ
XPath Cookbookネタで書いてたんですが、長くなったのでとりあえずこちらに。 id:taizoooにリクエストされた//とdescendant::の違いについて。 下準備として、こういうHTMLをサンプルとして使用します。(サンプルはFirebugのコンソールで実行できます) document.body.innerHTML = <><![CDATA[ <ul id="root"> <li> <a href="#a1">a1</a> </li> <li> <a href="#b1">b1</a> </li> <li> <a href="#c1">c1</a> <a href="#c2">c2</a> </li> <li> <a href="#d1">d1</a> <a href="#d2">d2</a> </li> </ul> ]]></>.toString(); まず、//*とd
Web::Scraperのjavascriptバージョンwebscraper.jsのとおりどっちとしてもvalidになるものがあるので、書くひとがどっちなのかを明示できるのが合理的だと思う。 そのうえでCSSセレクタを観察するとXPathでよく使われる / がセレクタの中で存在し得るのは E[foo="value"] のときだけなので / があるかどうかで判別すると簡潔に処理できる。 / がなくてXPathかCSSか誤判別する可能性があるとき、例として a という式の時にCSSだとコンテキストの子孫のa全部にマッチするけどXPathだとコンテキストの直接の子だけがマッチする。このときXPathであることを明示したければ ./ が自分自身をさすことを利用して ./a と書くことができる。つまり、どんなXPathも同じ意味のまま / を含んでいる形式で書き直すことができるので / の有無でCS
さいきんlibxmlでHTMLを読み込んでXPathで要素を取り出すのが一部([xml][libxml2][c]XMLをHTTPで取得して、XPathで指定された中身をC言語で取り出す方法 - グニャラくんのグニャグニャ備忘録@はてな)ではやっています。 これにちょっと癖があってはまりました。 <html><body> <ul id="list"> <li>hello</li> <li>world</li> </ul> </body></html> こういうHTMLファイルを読み込んで id("list")/li というXPathを評価させるとなぜか何にもマッチしないのです。でもこれを //*[@id="list"]/li に置き換えるとhelloとworldを囲んでいるliふたつにマッチするようになるので、パース自体は問題ないようです。 で、いろいろいじっていたらなんでもいいのでHTML
X-0032 DOM3 XPathをノードの検索に活用する 2005/5/7 2005/5/11 2005/5/12 2006/4/12 Home Back to XUL Tips Prev. Next DOM3 XPathを使うと何が便利？ MozillaはXPath関係の機能をDOM3 XPathに則って実装しています。これを活用すれば、getElementsByTagName()などのメソッドと条件分岐を駆使してノードを収集しなくても、複雑な条件でノードを検索することができます。 以下に一例を示しましょう。 <menuitem label="リンクをタブで開く" hidden="true"/> <menuitem label="リンクをウィンドウで開く" hidden="true"/> <menuseparator> <menu label="選択範囲を送る"> <menupopup
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
jottit.comのLDRize用XPath - FFFF - 0x XPath - 枕を欹てて聴く XPathとかCSSの評価にかかる時間のこと - ロックスターになりたい 関連。 AutoPagerize SITEINFOを保存して、そのHTMLで軽くテストしてみた。 xpath speed test 例によって、JSEnumeratorのBenchmarkツールをお借りました。 やはりid関数は高速 //p(/descendant-or-self::node()/child::p)より、/descendant::*/pのほうが高速 //pはDocument内のすべてのp要素を取得する 先頭が/の場合のselfはDocument。そのdescendant::*はhtml以下のすべてのElementノードになる。そこで/pを選択すると、実質はDocument以下のすべてのp要素となる
ここより後、はfollowing-sibling::node()ですぐ書ける。 ここより前まで、の"ここ"がはじまり部分のsiblingじゃなくてその子孫だったりすることがある。(祖先の兄弟だったりもすることもあるけど、それはかんがえてないけどできるんじゃないかなたぶん) パフォーマンスよくないけど、絶対的な値だとたいした時間じゃないと思う。 following-sibling::node()[ ./following-sibling::*/descendant-or-self::kokomade ]でいまのところよりもあとで、そいつよりも後に"ここまで"の部分が含まれてるノード、つまり"ここまで"のノードよりも前にあるノードだけとれる。 infogamiのwikiにSITEINFOのnextLinkケーススタディ - 0x集積蔵とか、書き方のこつみたいなのまとめといたらどうだろう。 ##
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
XPathGraph とは http://xpath.kayac.com/ URL と XPath を指定すると一日に一回その URL をスクレイピングして XPath 式が示す値をグラフにしてくれる！という画期的なサービスです。 例えば、 URL と XPath を指定するだけで以下のようなグラフが作れてしまいます。 本当に楽しいことが出来そうでワクワクしてます！ でも まだ XPath を登録している人が意外と少ないので、「ひょっとして、このサービスの使いどころが分からないのかなあ。」と思いました。 というわけで XPath で出来ることのヒントを少し紹介したいと思います。 足し算、引き算、かけ算、割り算 XPath では普通に数値の演算ができます。 たとえば、 //div[@class=counter] で取得してきた div 要素が 1000 という数値を持っていたとすると 2 *
AutoPagerizeやLDRizeなどのスクリプトで、ページごとの構造を記述するSITEINFOに書くXPathは、どう書いたら速いのかが話題にのぼっていたので、JavaScript-XPathを使ってXPathがDOMツリーから要素を見つけ出す雰囲気を視覚化してみました。JavaScript-XPathが各ロケーションステップで要素がマッチするかどうかをテストするときに呼ばれている(んだと思う)attrMatchという関数の引数に渡される要素をロギングして、そのデータをもとにちょっと時間をずらしながら要素をハイライトしています。 前置き あくまでJavaScript-XPathでattrMatchが呼ばれている要素を視覚化したものです。実際のXPath実装とは異なります。JavaScript-XPathではdescendant::*((//*))の評価をgetElementsByTa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
