Принципиальной разницы между "забыл" и "никогда не знал" — нет. Но, если забыл, то гораздо обидней.