Rakstos Kargopole zināma no 1146. gada, no 14. gadsimta minēta kā pilsēta. No 14. līdz 15. gadsimtam — Novgorodas Republikas sastāvā, 15. gadsimta beigās iekļāvās Maskavas lielkņazistē. No 15. līdz 17. gadsimtam Kargopole bija ievērojama tirdzniecības pilsēta, kas savienoja Krievijas centrālo daļu ar tolaik vienīgo Krievijas ostu — Arhangeļsku. 18. gadsimtā, līdz ar Sanktpēterburgas nodibināšanu, Kargopoles nozīme samazinājās. No 19. gadsimta otrās puses Kargopoles apkaime kļuva slavena kā vieta, kur labi saglabājušās folkloras tradīcijas.
Kargopole ir Krievu Aļaskas pirmā pārvaldnieka Aleksandra Baranova (Александр Андреевич Баранов, 1746—1819) dzimtā pilsēta. 1608. gadā Kargopolē ar nāvi tika sodīts sacelšanās vadītājs Ivans Bolotņikovs. 1938. gadā Kargopolē izsūtījumā mira Latvijā dzimušais šahists Mihails Platovs.