В блоге разработчиков BCL опубликована хорошая заметка
Regex Class Caching Changes between .NET Framework 1.1 and .NET Framework 2.0. Если кратко, то кеш теперь имеет фиксированный размер (его можно изменить с помощью свойства
Regex.CacheSize) и в него заносятся только регулярные выражения созданные с помощью статических методов класса Regex.