なぜGTX260でCUDA？

CUDAを使用可能なGPU製品 - NVIDIA
にCUDAを使用できるグラボの一覧があります。GTX260よりも下位の（安い）GPUでも使用可能なことがわかります。後で説明しますが、下位の製品だとコンピュート・ケイパビリティという値が小さくて、倍精度演算が出来ないなどの制約やグローバルメモリアクセスのコアレッシングの扱いの違いがあります。最上位のそれは1.3なのですが、コンピュート・ケイパビリティが1.3の製品で最も安いのがGTX260なのです。
GTX260とそれ以上のグラボでの違いは、コアのクロック数、メモリバンド幅やグローバルメモリ容量などがありますが、CUDAを勉強したいというのが最大の目的であるならばGTX260が（Fermi搭載のGeForceが数万程度で出回れば別ですが、少なくとも現時点では）必要十分だと思います。