Seinen drei goldenen und zwei bronzenen Medaillen bei den Spielen 1936 in Berlin fügte er nach 16 Jahren eine weitere silberne am Reck bei den Spielen 1952 in Helsinki hinzu.
Neutrale Beobachter waren damals der Meinung, Alfred Schwarzmann hätte die Goldmedaille bekommen müssen. Mit diesen sechs Medaillen ist Alfred Schwarzmann der erfolgreichste deutsche Turner bei Olympischen Spielen.
Dies würdigten die Sportjournalisten u. a. damit, dass sie ihn 1999 zum „
Turner des Jahrhunderts“ wählten.
Im Jahre 2006 wurde er in die „Hall of Fame“ des deutschen Sports aufgenommen. Die Benennung der Sporthalle in ‚Alfred-Schwarzmann-Sporthalle’ fand am Montag, d. 25. August, also einen Tag nach Beendigung der Olympi-schen Spiele in Peking statt. Als Laudator hatte die Stadt Goslar einen weiteren Olympiasieger eingeladen.
Klaus Köste, der olympisches Gold 1972 in München am Pferdsprung errang, lernte den Goslarer 1990 beim gemeinsamen Treffen der noch lebenden deutschen Olympiasieger in Leipzig kennen,