Windowsで公開鍵認証によるSSH接続がうまく行かないとき

何回鍵を作り直してもTeratermなどで認証に失敗してしまうとき。
駄目元で鍵を置く場所を変えてみるとか（UAC周りの…？）。