Saivet werd op twaalfjarige leeftijd opgenomen in de jeugdopleiding van Girondins de Bordeaux. Hij tekende hier op zestienjarige leeftijd zijn eerste profcontract. Zijn debuut in het eerste elftal volgde in het seizoen 2007/08 in een competitiewedstrijd tegen RC Lens. In de daaropvolgende seizoenen lieten zijn coaches hem steeds meer meetrainen met het eerste elftal en kreeg hij speelminuten in de hoofdmacht. Om meer ervaring op te doen speelde Saivet gedurende de tweede helft van het seizoen 2010/11 op huurbasis bij Angers SCO in de Ligue 2. Daarna keerde hij terug in Bordeaux, waar hij gedurende meerdere seizoenen basisspeler was.
Saivet tekende in januari 2016 een contract voor vijf seizoenen bij Newcastle United. Nadat coach Steve McClaren hem in een half jaar vier keer gebruikte, verhuurde de Engelse club hem gedurende het seizoen 2016/17 aan AS Saint-Étienne. Na zijn terugkeer gaf ook McClarens opvolger Rafael Benítez de voorkeur aan andere spelers. Daarop volgde in januari 2018 een huurperiode van een halfjaar bij Sivasspor en gedurende het seizoen 2018/19 een jaar bij Bursaspor.