Sondereinheiten zur Bekämpfung politischer Gegner wurden erstmals beim "Anschluss" Österreichs 1938 und sowohl bei der Besetzung des Sudetengebietes 1938 als auch beim Einmarsch in die Tschechoslowakei 1939 eingesetzt. Für den geplanten Vernichtungskrieg im Osten stellten die Sicherheitspolizei (Sipo) und der Sicherheitsdienst (SD) spezielle "Einsatzgruppen" auf; Ende September 1939 wurden Sipo und SD im neu gegründeten Reichssicherheitshauptamt (RSHA) zusammengefasst und bildeten dessen eigentlichen Kern.
Beim Überfall auf Polen folgten die "Einsatzgruppen" den vorrückenden Wehrmachtsverbänden und setzten die von Adolf Hitler angeordnete "restlose Zertrümmerung Polens" als "willige Vollstrecker" um: Sie ermordeten Intellektuelle, Angehörige des katholischen Klerus und Juden zu Tausenden. Um die Eingliederung der westpolnischen Gebiete ins Deutsche Reich vorzubereiten, organisierten die "Einsatzgruppen" die systematische Vertreibung der Juden aus diesen Gebieten und pferchten sie in den Ghettos des sogenannten Generalgouvernements zusammen.
Noch vor dem Überfall auf die Sowjetunion wurde den häufig von promovierten Juristen kommandierten "Einsatzgruppen" die Aufgabe übertragen, "in eigener Verantwortung gegenüber der Zivilbevölkerung Exekutivmaßnahmen" zu ergreifen. Im Rahmen dieser Kompetenzausweitung gegenüber der Wehrmacht und gedeckt durch den "Kommissarbefehl" ermordeten die "Einsatzgruppen" Juden, Sinti und Roma, Kriegsgefangene sowie kommunistische Funktionäre. Weit über eine halbe Million Menschen wurden Opfer der als "Sonderbehandlung" kaschierten Massenerschießungen durch die vier den Heeresgruppen Nord, Mitte und Süd sowie dem Armee-Oberkommando 11 zugeordneten, insgesamt 3.000 Mann zählenden "Einsatzgruppen". Das größte Massaker begingen die "Einsatzgruppen" Ende September 1941 in der Schlucht von Babi Jar, als sie innerhalb weniger Tage fast 34.000 Juden aus Kiew ermordeten.
Den von den "Einsatzgruppen" im Osten geführten Vernichtungskrieg unterstützten verschiedene Einheiten der Wehrmacht und der Waffen-SS sowie Freiwilligenverbände aus den besetzten Gebieten.