極小フォントによるデザインもあるとは思いますが、一般的なサイトを作る場合は12px以上のサイズにするのが良さそうです。
IE8の問題
IE8には、リンクにカーソルを乗せると文字サイズが変化する、というよくわからない不具合があります。
これってIE8のバグなんじゃね・・・?文字の大きさが勝手に変化するよ?|ぼくんちのTV 別館
この問題の一番嫌なところは、再現性がないところですね。なんかときどきなるんだけど、同じ事やってもならない。なんやねんこいつ。
ちなみに私の環境では、このページで再現しまくりです。
W3C CSS 検証サービス
W3Cの検証サービスをおかしくするとはさすがIE、やりますな。
Chromeの問題
Chromeでは文字サイズは10pxより小さなものを指定できないようです。指定しても10pxにまとめられてしまいます。
サンプルコード
人間の問題
まあそもそも、あまり小さい文字は視認性が著しく低くなるというのもありますよね。
英語は良いんですが、日本語だとどうも。
というわけで
リンク部分に気をつけるとか、Chromeは別途どうにかするって言う手もありますが、まあ基本的に文字サイズは小さくても12pxにしとくと不幸が訪れにくいんじゃないかな、と思いました。