Pēc atgriešanās no olimpiskajām spēlēm Flatovs un vairums citu vācu vingrotāju tika atstādināti no komandas, jo Deutsche Turnerschaft (šajā laikā vāciešu vingrošanas vadības institūcija) boikotēja olimpiskās spēles ar iemeslu, ka konkurēt var tikai "vācietis".
1903. gadā Flatovs palīdzēja nodibināt Judische Turnerschaft — vēsturisko un novatorisko ebreju sporta organizāciju Eiropā. Viņš kopš 1890. gadiem bija vingrošanas skolotājs un 20. gadsimta sākumā sāka rakstīt savas grāmatas par sportu. 1933. gadā Flatovs bija spiests "labprātīgi" izbeigt savu vingrošanas karjeru, jo viņš bija ebrejs. Viņš aktīvi darbojās Vācijā vingrošanas jomā, līdz 1936. gadā nacisti viņu izraidīja.[7] Viņš ir Ebreju vingrošanas kluba līdzdibinātājs un 1936. gada vasaras olimpiskajās spēlēsBerlīnē viņu tomēr godināja, jo tajās bija uzaicināti Vācijas olimpiskie čempioni, kas čempiona titulus bija guvuši līdz šīm olimpiskajām spēlēm.
Sakarā ar ebreju vajāšanu Vācijā 1938. gadā viņš emigrēja uz Nīderlandi. Nacistiskā Vācija iebruka Nīderlandē 1940. gada maijā. 1942. gada 3. oktobrī Flatovs tika deportēts uz Terezīnštātes koncentrācijas nometni, kur viņš 28. decembrī, 72 gadu vecumā nomira no bada.[8]
Viņa brālēns Gustavs Flatovs arī bija 1896. gada vasaras olimpisko spēļu dalībnieks un divu zelta medaļu ieguvējs, kā arī holokausta upuris. Viņš koncentrācijas nometnē mira 1945. gada 29. janvārī.
1997. gadā Berlīnē, godinot Alfrēdu un Gustavu Flatovus, Reichssportfeldstraße (iela) netālu no Berlīnes Olimpiskā stadiona tika pārdēvēta paru Flatowallee (Flatovu avēnija). Berlīnes priekšpilsētā Kroicbergā pie Flatow-Sporthalle (sporta zāles) tika novietota piemiņas plāksne abiem sportistiem. Vācijas Pasts izdeva četru pastmarku komplektu, lai atzīmētu mūsdienu olimpisko spēļu 100. gadadienu. Uz vienas no šīm pastmarkām bija attēloti arī Flatovi.
Danciga, Prūsija (tagad 
Polija)
Terezīnštātes geto, Nacistiskā Vācija (tagad 
Čehija)
Vācijas Impērija
1896 Atēnas
Vingrošana
