Bortsett från en kortare period i IS Halmia tillhörde Janne Andersson under hela sin aktiva spelarkarriär Alets IK, där han också blev klubbens genom tiderna bästa målskytt.[2]
Det var också där han inledde sin tränarkarriär som spelande tränare 1988.
Efter två år som spelande tränare i Alets IK blev Janne Andersson andretränare åt Stuart Baxter i Halmstads BK (HBK). 1993 gick han vidare till Laholms FK där han var huvudtränare i sex år innan han återvände till HBK som assisterande tränare åt först Tom Prahl, med vilken han ledde klubben till SM-guld 2000, och därefter Jonas Thern.
När Thern avgick efter säsongen 2003 tog Andersson över som huvudtränare. Säsongen 2004 blev han utsedd till årets tränare i Allsvenskan, efter att Halmstad slutat som tvåa i ligan. Andersson blev kvar i HBK till 2009, då han avgick sedan laget haft en tung säsong och slutat på 13:e plats i Allsvenskan. Istället tog han i december 2009 över Örgryte IS, som nyligen degraderats till Superettan.
Den 1 december 2010 skrev Andersson på ett treårskontrakt som tränare/manager för IFK Norrköping, som nyligen kvalificerat sig till Allsvenskan. 2012 ledde han laget till deras bästa placering sedan 1999 med en femteplats. Efter det förlängde Andersson kontraktet med IFK Norrköping till att gälla över 2016.
Säsongen 2015 förde han IFK Norrköping till seger i Allsvenskan, hans första SM-guld som huvudtränare och IFK Norrköpings 13:e totalt, men första sedan 1989.[3]
Den 7 april 2016 offentliggjordes det att Janne Andersson skulle ta över tränarrollen i Sveriges herrlandslag efter Erik Hamrén efter sommarens EM-slutspel.[4] Andersson fortsatte att träna IFK Norrköping till och med juli, och tillträdde därefter planenligt som förbundskapten. Fram till januari 2017 var Lars Lagerbäck rådgivare till Janne Andersson.[5][6] Den 13 november 2017 förde Andersson Sverige till VM 2018 i Ryssland, efter att laget slutat tvåa i kvalgruppen och slagit ut Italien i playoff. I Ryssland-VM ledde Andersson landslaget till kvartsfinal mot England, efter att ha slagit Schweiz i åttondelsfinal med 1-0.[7] Kvartsfinalen mot England förlorades med 0-2[8], men innebar ändå Sveriges bästa placering i ett VM sedan USA 1994. 15 november 2019 blev Sverige klart för Europamästerskapet i fotboll 2020 i Tyskland men föll i åttondelsfinalen mot Ukraina. Matchen slutade 1-2 efter förlängning.[9] Sverige klarade inte under Anderssons ledning att kvalificera sig till Världsmästerskapet i fotboll 2022 i Qatar i och med förlusten i playoff-matchen mot Polen[10]. I Nations League tog Andersson Sverige upp från B-divisionen till A-divisionen (högsta divisionen) 2018–2019. Dock degraderades Sverige till C-divisionen 2022–2023,[11] vilken dittills var Sveriges sämsta placering. Den 2 oktober 2023 meddelades att Janne Andersson skulle lämna sitt uppdrag vid missat EM-slutspel, vilket också blev fallet.[12] Hans sista landslagsmatch som förbundskapten för Sverige var mot Estland i november 2023.[13] Därefter tog Daniel Bäckström tillfälligt över uppdraget i väntan på att Jon Dahl Tomasson tillsattes som ny förbundskapten i februari 2024.[14]