あわせて読まれる

うーむ、昨日このブログの「あわせて読みたい」を見てみたら、なんと、はてな村で話題の これはえがい 方のブログが・・・

(cache) りょーちの駄文と書評 と あわせて読みたい

うーむ。あわせて読まれなくてもいいな。
ちなみに、こちらが、えがい方とあわせて読みたいブログらしい。

これはえがいblog - Webサービスをガンガンリリー.. と あわせて読みたい

謎だな。

awkってあったね

そーいえば awk ってあったよね。

awk っていえば perl を知る前にずいぶんお世話になった気がする。

Famous Awk One-Liners Explained, Part I - good coders code, great reuse には代表的な awk の one-liner(一行プログラミング) が紹介されていたっす。
懐かしさのあまり数年ぶりに Linux で awk を走らせてみたよ。
やっぱ、便利だな。

なお、awkの基本事項については AWK Cheat Sheet を参考にしてね。

awk はコマンドラインから使ったりすることが多いね。
たとえばこんな感じ。

awk '{ sum += $1 }; END { print sum }' file

gawk -F: '{ print $1 }' ~/.tcshrc

あと、awk独特の予約変数が幾つかあるね。

■awkの予約変数
FS : 入力時のフィールドセパレータ(デフォルトはスペース)
OFS : 出力時のフィールドセパレータ(デフォルトはスペース)
NF : 入力レコードの現在のフィールド番号
NR : 現在の入力レコード番号
RS : レコードセパレータ（デフォルトは改行）

で、上記のサイトの例から幾つかピックアップして実際にやってみた。

サンプルファイル1:test.txt

My name is Taro .
This book is mine .

He is angry .
Her name is Reiko .
She is younger than I .

サンプルファイル2:num.txt

1 2 3
4 10 9 1
8 2
0 2 4
9 1

例1:行番号を表示する（その1）

awk '{ printf("%5d : %s\n", NR, $0) }' test.txt

結果

1 : My name is Taro .
2 : This book is mine .
3 :
4 : He is angry .
5 : Her name is Reiko .
6 : She is younger than I .

例2:行番号を表示する（その2）

awk 'NF { $0=++a " :" $0 }; { print }' test.txt

結果

1 :My name is Taro .
2 :This book is mine .

3 :He is angry .
4 :Her name is Reiko .
5 :She is younger than I .

例3:行数を数える( wc -l )

gawk 'END { print NR }' test.txt

結果

6

例4:各行の和をそれぞれ求める

gawk '{ s = 0; for (i = 1; i <= NF; i++) s = s+$i; print s }' num.txt

結果

6
24
10
6
10

例5:すべての和を求める

gawk '{ for (i = 1; i <= NF; i++) s = s+$i }; END { print s }' num.txt

結果

56

例6:文字(word)がいくつあるかを求める

gawk '{ total = total + NF }; END { print total }' test.txt

結果

25

うーむ、なかなか便利だねぇ。
これから（たまに）使ってみようかな。

Google Street Viewが吐き出すXML

Google マップ ストリートビューみてみたよ。こんなのだねぇ。

大きな地図で見る
で、このパノラマ効果だが、複数の写真を貼り合わせて実現しているっぽいね。すごいねー。

こういうのにアクセスすると
http://maps.google.co.jp/maps
?f=q
&hl=ja
&geocode=
&q=%E7%9A%87%E5%B1%85
&sll=35.741845,139.82892
&sspn=0.031071,0.061798
&layer=c
&ie=UTF8
&ll=35.685727,139.761286
&spn=0.001943,0.003862
&z=18

こんなXMLを吐き出すよーだ。
http://maps.google.co.jp/cbk
?output=xml
&cb_client=maps_sv
&ll=35.685727%2C139.76121

なんか面白そうなことがいろいろできそーだね。

あと画像はこのあたりから持ってきているみたいだね。




で、これは以下の画像を組み合わせてるっぽい。











panoid=J1QbdNvQZElfQV7ATu とか J1QbdNvQZElfQV7ATu-FGQ とかってのがベースになっていろいろ処理されるよーな仕組みなんだな。きっと。

Google Maps API を拡張した Google Street View API とかそのうちでてくるのかな？
続きを読む

はてなブックマークの関連エントリー情報を取得するAPIをつくってみた

関連エントリー機能のリリースについて - はてなブックマーク日記 - 機能変更、お知らせなどを受けて関連エントリーの情報を取得するAPIをテキトーにつくってみた。

はてブ関連エントリー取得API

使い方はこんな感じ（さらっと説明）

• end point URL:
  http://www.usamimi.info/~ryouchi/hatebu_relation/js/index.php
• パラメータ:callback:
  コールバック関数名を指定
• パラメータ:url:
  関連情報を取得したいURLを指定

戻り値はこんな感じ

• date
  関連エントリーがはじめてはてブされた日
• title
  関連エントリーのタイトル
• url
  関連エントリーのURL
• bcount
  関連エントリーのはてブカウント数
• burl
  関連エントリーのはてなブックマーク上のURL

多分はてなから正式にAPIとか出ると思うので作ってみたがあまり意味はないと思われる。

ちなみにこのサイトの関連エントリーはこんな感じらしい。(JSONP形式なので見てもよくわかんないかもしれないけど）

まあ、こんなこともできるんだねということだな。

危険：GoogleAdwordsを語るスパムメール(reiuu.cn)

GoogleAdwordsを語るスパムメールに要注意だね。

plain textのようなHTMLメールでこんなのがくると要注意。

Subeject:Your AdWords Google Account is stoped.
From:"Google AdWords-noreply" <[e-mail]>

---

Dear Advertiser,

We were unable to process your payment.
Your ads will be suspended soon unless we can process your payment.
To prevent your ads from being suspended, please update your payment information.

Please sign in
to your account at http://adwords.google.com/select/login,
and update your payment information.

We look forward to providing you with the most effective advertising available.
Thank you for advertising with Google AdWords.

The Google AdWords Team

http://adwords.google.com/select/login
のリンクは
http://www.adwords.google.com.reiuu.cn/select/Login
というGoogleとはまったく無関係なURLに飛びます。
これは要注意だね。気をつけてね。決してアカウント情報を入力しないでね！

ちなみに reiuu.cn は中国のドメインかなと思って Netcraft で調べたらこんなのでた。

Site report for com.reiuu.cn

Country:JP って・・・

続きを読む

今見ているサイトのrobots.txtに簡単にアクセスできるブックマークレット

• site:mdn.mainichi.jp - Google 検索(google検索[日本語])
• site:mdn.mainichi.jp - Google Search(Google検索[英語])

結構違うね。

でも未だに、
http://mdn.mainichi.jp/robots.txt
の効果はなさそうだねえ。

User-agent: *

Disallow: /

上記のよーなrobots.txtを設定するのはサイトを閉鎖する際、トップページだけ表示しておくよーなときが考えられるね。閉鎖しちゃうからもうクローラーさん、さよーならってな具合でね。
ってことはきっとサイト閉鎖の準備なのかもね。

ちなみに、今見ているサイトのrobots.txtに簡単にアクセスするブックマークレットを怪しくつくってみたよ。(bookmarklet作るの久々だな)

今見ているサイトのrobots.txtを表示(右クリックでお気に入りに追加)

robots.txtを見たいページで実行してね。
ちなみにrobots.txtがあればいいんだけどなければ、404になっちゃいます。
The Web Robots Pagesとか読んでみると面白いかもね。

mixiとかのよーなクローズドなソーシャルネットワークの場合は検索対象になるといやーな感じだからrobots.txtは書いておくっぽいね。
参考として、mixiのrobots.txtはこんな感じ。

User-agent: *
Disallow: /add_diary.pl
Disallow: /show_calendar.pl
Disallow: /confirm.pl
Disallow: /confirm_email.pl
Disallow: /invite.pl
Disallow: /join.pl
Disallow: /list_bbs.pl
Disallow: /list_community.pl
Disallow: /list_diary.pl
Disallow: /list_event_member.pl
Disallow: /list_friend.pl
Disallow: /list_member.pl
Disallow: /list_request.pl
Disallow: /logout.pl
Disallow: /manage_friend.pl
Disallow: /mikly.pl
Disallow: /search_diary.pl
Disallow: /regist.pl
Disallow: /reset_password.pl
Disallow: /search.pl
Disallow: /search_album.pl
Disallow: /search_community.pl
Disallow: /search_event.pl
Disallow: /search_review.pl
Disallow: /show_friend.pl
Disallow: /show_intro.pl
Disallow: /show_profile.pl
Disallow: /view_album.pl
Disallow: /view_bbs.pl
Disallow: /view_community.pl
Disallow: /view_diary.pl
Disallow: /view_enquete.pl
Disallow: /view_event.pl
Disallow: /view_item.pl
Disallow: /view_message.pl
Disallow: /banner.pl
Disallow: /list_message.pl
Disallow: /list_review.pl
Disallow: /new_friend_diary.pl
Disallow: /set_cookie.pl
Disallow: /img/

他も調べてみた。
http://www.microsoft.com/robots.txt

# Robots.txt file for http://www.microsoft.com
#

User-agent: *
Disallow: /canada/Library/mnp/2/aspx/
Disallow: /communities/bin.aspx
Disallow: /communities/eventdetails.mspx
Disallow: /communities/blogs/PortalResults.mspx
Disallow: /communities/rss.aspx
Disallow: /downloads/Browse.aspx
Disallow: /downloads/info.aspx
Disallow: /downloads/thankyou.aspx
Disallow: /france/formation/centres/planning.asp
Disallow: /france/mnp_utility.mspx
Disallow: /germany/library/images/mnp/
Disallow: /germany/mnp_utility.mspx
Disallow: /ie/ie40/
Disallow: /info/customerror.htm
Disallow: /info/smart404.asp
Disallow: /intlkb/
Disallow: /isapi/
Disallow: /japan/enable/textview.asp
Disallow: /japan/mnp_utility.mspx
Disallow: /japan/products/library/search.asp
Disallow: /japan/showcase/print/default.aspx
Disallow: /japan/terminology/query.asp
Disallow: /library/errorpages/smarterror.aspx
Disallow: /library/toolbar/3.0/
Disallow: /mac/help.mspx
Disallow: /mnp_utility.mspx
Disallow: /netherlands/mnp_utility.mspx
Disallow: /resources/casestudies/casestudyimageshow.asp
Disallow: /resources/casestudies/CompanyLogoShow.asp
Disallow: /resources/casestudies/ddi/companylogoshow.asp
Disallow: /resources/casestudies/ddi/showfile.asp
Disallow: /resources/casestudies/FindCaseStudyResults.aspx
Disallow: /resources/casestudies/showfile.asp
Disallow: /uk/mnp_utility.mspx
Disallow: /windowsmobile/catalog/
Disallow: /windowsmobile/components/referafriend/getcallbackresult.aspx
Disallow: /france/ie/default.asp?*
Disallow: /mac/help.mspx?*


Sitemap: http://www.microsoft.com/germany/kleinunternehmen/gsitemap.aspx
Sitemap: http://www.microsoft.com/business/success/sitemap.xml
Sitemap: http://www.microsoft.com/downloads/sitemap.asp

http://www.google.co.jp/robots.txt

User-agent: *
Allow: /searchhistory/
Disallow: /news?output=xhtml&
Allow: /news?output=xhtml
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalogues
Disallow: /news
Disallow: /nwshp
Allow: /news?btcid=
Disallow: /news?btcid=*&
Allow: /news?btaid=
Disallow: /news?btaid=*&
Disallow: /?
Disallow: /addurl/image?
Disallow: /pagead/
Disallow: /relpage/
Disallow: /relcontent
Disallow: /sorry/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /default
Disallow: /m?
Disallow: /m/?
Disallow: /m/lcb
Disallow: /m/search?
Disallow: /wml?
Disallow: /wml/?
Disallow: /wml/search?
Disallow: /xhtml?
Disallow: /xhtml/?
Disallow: /xhtml/search?
Disallow: /xml?
Disallow: /imode?
Disallow: /imode/?
Disallow: /imode/search?
Disallow: /jsky?
Disallow: /jsky/?
Disallow: /jsky/search?
Disallow: /pda?
Disallow: /pda/?
Disallow: /pda/search?
Disallow: /sprint_xhtml
Disallow: /sprint_wml
Disallow: /pqa
Disallow: /palm
Disallow: /gwt/
Disallow: /purchases
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?
Disallow: /unclesam?
Disallow: /answers/search?q=
Disallow: /local?
Disallow: /local_url
Disallow: /froogle?
Disallow: /products?
Disallow: /froogle_
Disallow: /product_
Disallow: /products_
Disallow: /print
Disallow: /books
Disallow: /patents?
Disallow: /scholar?
Disallow: /complete
Disallow: /sponsoredlinks
Disallow: /videosearch?
Disallow: /videopreview?
Disallow: /videoprograminfo?
Disallow: /maps?
Disallow: /mapstt?
Disallow: /mapslt?
Disallow: /maps/stk/
Disallow: /mapabcpoi?
Disallow: /translate?
Disallow: /ie?
Disallow: /sms/demo?
Disallow: /katrina?
Disallow: /blogsearch?
Disallow: /blogsearch/
Disallow: /blogsearch_feeds
Disallow: /advanced_blog_search
Disallow: /reader/
Disallow: /uds/
Disallow: /chart?
Disallow: /transit?
Disallow: /mbd?
Disallow: /extern_js/
Disallow: /calendar/feeds/
Disallow: /calendar/ical/
Disallow: /cl2/feeds/
Disallow: /cl2/ical/
Disallow: /coop/directory
Disallow: /coop/manage
Disallow: /trends?
Disallow: /trends/music?
Disallow: /notebook/search?
Disallow: /musica
Disallow: /musicad
Disallow: /musicas
Disallow: /musicl
Disallow: /musics
Disallow: /musicsearch
Disallow: /musicsp
Disallow: /musiclp
Disallow: /browsersync
Disallow: /call
Disallow: /archivesearch?
Disallow: /archivesearch/url
Disallow: /archivesearch/advanced_search
Disallow: /base/search?
Disallow: /base/reportbadoffer
Disallow: /base/s2
Disallow: /urchin_test/
Disallow: /movies?
Disallow: /codesearch?
Disallow: /codesearch/feeds/search?
Disallow: /wapsearch?
Disallow: /safebrowsing
Disallow: /reviews/search?
Disallow: /orkut/albums
Disallow: /jsapi
Disallow: /views?
Disallow: /c/
Disallow: /cbk
Disallow: /recharge/dashboard/car
Disallow: /recharge/dashboard/static/
Disallow: /translate_c?
Disallow: /s2/profiles/me
Allow: /s2/profiles
Disallow: /s2
Disallow: /transconsole/portal/
Disallow: /gcc/
Disallow: /aclk
Disallow: /cse?
Disallow: /tbproxy/
Disallow: /MerchantSearchBeta/
Disallow: /ime/
Disallow: /websites?
Disallow: /shenghuo/search?
Disallow: /support/forum/search?

http://del.icio.us/robots.txt(Slurp,Googlebot,Teoma,msnbotと名指しで拒否？)

User-agent: *
Disallow: /

User-agent: delicious-thumbnails
Allow: /



User-agent: Slurp
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

User-agent: Googlebot
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

User-agent: Teoma
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

User-agent: msnbot
Allow: /
Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

おもしろいrobots.txtがあったら教えてね。続きを読む

thatsPingで任意のタグを検索

ザッピング - 受動系ソーシャルブックマーキング -は受動系ってことだからかしらないけど、自分でタグを入力して検索するよーなことができないよーな気がした。

なので、はじめにタグ検索ができるブックマークレットを作ってみた。

thatspingタグ検索（右クリックでお気に入りに追加）

まあ、これでもいいのだが、Internet Explorer 7でこのブックマークレットを実行すると、

このWebサイトはスクリプト化されたウィンドウを使用して情報を依頼しています。このWebサイトを信頼している場合、ここをクリックして、スクリプト化されたウィンドウを許可してください。

などと表示される。

これはあまりに面倒だ。Firefoxならそんなこといわないんだけどな・・・
Windows XP Service Pack 2（SP2）についての質問です。 SP2をインストールするとInternet Explorerでスクリプト等を含んだWebページ（明らかに安全なものも）を開いた際に.. - 人力検索はてなで書かれている方法も面倒だ。
いい方法が思いつかないのでブログから検索できるよーなものを意味もなく作ってみた。

<script type="text/javascript" src="https://ryouchi.up.seesaa.net/thatsping/index.js" charset="utf-8"></script>

なんか微妙・・・

典型的なソーシャルブックマークスパム

これはひどい。

ページ詳細 - 北九州市-アルバイト・求人情報の「アルバイト情報局」 - livedoor クリップ

Web魚拓もとっておいた。

(cache) ページ詳細 - 北九州市-アルバイト・求人情報の「アルバイト情報局」 - livedoor クリップ

明らかにスパムだとわかるのに、どーしてこうなるかな？
もうちょっと考えればいいのに・・・

運営元情報-アルバイト情報局

◆運営元： 双葉電気株式会社
◆代表者： 香田 雄一郎
◆所在地： 〒175-0083　東京都板橋区徳丸1-12-12　TEL [phone]
◆資本金： 1,000万円
◆従業員数： 6名
◆事業内容： インターネット求人情報提供サイト「アルバイト情報局」の運営。

ふーん。

海外サイトを日本語で読める多言語翻訳ブックマークレットが激しく便利

ってことでGoogle翻訳を利用した多言語翻訳ブログパーツの二番煎じで外国語のサイトをGoogle翻訳を使ってすぐに日本語表示するブックマークレットを作ってみた。

上記のブログパーツは自分のサイトを他の言語に変換するものなので、どちらかといえば人のためのものなのだが、今回のブックマークレットは海外のサイトをその場でブックマークレットを使って翻訳するものっす。自分で使ってみて激しく便利だったのでここにおいときます。以下のブックマークレットを使ってね。

日本語でおｋ(右クリックでお気に入りに追加)

ブックマークレットとして保存したらあとは簡単。
例えば以下のページなどで試してみるとよい。

Newspapers - Newspaper & News Media Guide

上記サイトには各国の主要ニュースサイトのリンクがあるので、適当なページに行き、上記ブックマークレットを使えばたちまちGoogle先生が日本語に翻訳してくれるだろう。

翻訳可能言語は下記の23言語

1. アラビア語
2. イタリア語
3. オランダ語
4. ギリシャ語
5. クロアチア語
6. スウェーデン語
7. スペイン語
8. チェコ語
9. デンマーク語
10. ドイツ語
11. ノルウェー語
12. ヒンディー語
13. フィンランド語
14. フランス語
15. ブルガリア語
16. ポーランド語
17. ポルトガル語
18. ルーマニア語
19. ロシア語
20. 英語
21. 韓国語
22. 中国語(簡体)
23. 中国語(繁体)

大まかにサイトの意味を知りたいときなどは激しく便利と思われる。
これであなたも清涼院流水のJDCシリーズの龍宮城之介に（嘘です）。

Google Adsenseの動画広告

Google Adsenseの管理画面とかあまりよく見てないので気づかなかったが、いつの間にか「動画ユニット」なるものが存在していた。
どうやらYouTubeの動画を貼り付けるプレーヤーで AdSense 付きのプレーヤーってのが作れるよーなので、作ってみた。

Watch the latest videos on YouTube.com

うまく表示されてるのかどうかよくわからんが・・・
ちなみに、このプレーヤーで特定の動画を表示させる方法がよくわからんかったよ。

そーいう使い方じゃないのかな？

っとあとよくわかんないのが、Google Adsenseは自分で設置した広告をクリックすることは禁止されているんだけど、この場合設置した動画を自分で見ることはできるのかな？
動画の上部に掲載されている広告は自分で押してはいけないよーな気がするので押さないよーにしてみよう。

いまいち理解できてないのでテストしてみるっす。

しかし、Adsense付きのプレーヤーってことなので、自分の紹介したい動画にAdsenseが表示されるのかと思ったが違うのか？　謎じゃよ。