その１から
robot.txtがよくわからない。
ウェブマスターツールの「クローラのアクセス」にrobot.txtというものがあるので
検索サイトが見つけやすくするものなのか。
デフォルトであるみたいだけど、
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://orefuan.blogspot.com/feeds/posts/default?orderby=updated
sitemapにfeeds/・・・の行が。
これを書いた記憶が無いんだが・・・
まあいいや。
これだけだとだめなんだろうな。
っていうか、なにをすべきかよくわからない。
ということで調べてみると・・・
robots.txt とは？
検索を拒否するために使えるけど、それを検索サイトに強制することはできない・・・と。
Robots.txtで秘密がバレる!?
ただ、拒否する情報をrobots.txtで管理すると、拒否したいことを逆に探られてしまうかも・・・と。
・・・とくに拒否するページはないのでそのままでいいか。
その３へ