Ξεκίνησε την προπονητική του καριέρα στην ΑΚ Ρετζιάνα 1919 το 1995 στην Β’ Εθνική όπου κέρδισε την άνοδο στην Σέριε Α. Συνέχισε στην Πάρμα Π.Σ. όπου τερμάτισε στην 2η θέση του πρωταθλήματος κερδίζοντας θέση Τσάμπιονς Λιγκ όπου έφτασε την ομάδα μέχρι την 5η θέση. Συνέχισε στη Γιουβέντους όπου ξεκίνησε με προϋποθέσεις νικητή αλλά η ανικανότητα στην κατάκτηση του πρωταθλήματος τον έφεραν εκτός ομάδας. Το 2001 ανέλαβε την ΑΚ Μίλαν, ομάδα στην οποία είχε κρεμάσει τα ποδοσφαιρικά παπούτσια του. Στην πρώτη χρονιά έφτασε στα ημιτελικά του Τσάμπιονς Λιγκ. Την χρονιά 2002-2003 και μετά από πολλές αλλαγές στο ρόστερ της ομάδας κέρδισε το Τσάμπιονς Λιγκ νικώντας τη Γιουβέντους. Ακολούθησαν επιτυχημένα χρόνια καθώς η ΑΚ Μίλαν έφτασε 2 φορές στον τελικό του Τσάμπιονς Λιγκ. Τον Ιούνιο του 2009 εγκαταλείπει για πρώτη φορά την Ιταλία για να συνεχίσει στην Τσέλσι. Στο νησί κατάφερε να πάρει το FA Community Shield το 2009 και πρωτάθλημα και κύπελλο το 2010. Μετά από άσχημη πορεία το 2011 και ανικανότητα στο να βρεθούν παίκτες να αλλάξουν την εικόνα της ομάδας, παρά τα 60 εκατομμύρια για τον Φερνάντο Τόρρες και τα 25 εκατομμύρια για τον Νταβίντ Λουίζ, απολύθηκε από την ομάδα και σύμφωνα με δημοσιεύματα οι νέοι Άραβες ιδιοκτήτες της Παρί Σεν Ζερμέν συμφώνησαν για συμβόλαιο 2 ετών. Στις 30 Δεκεμβρίου 2011 ανακοινώθηκε επίσημα η συμφωνία για 2,5 χρόνια και έγινε ο πιο ακριβοπληρωμένος προπονητής στην Γαλλία με ετήσιες απολαβές περίπου 6 εκ. ευρώ. To 2013 ανέλαβε τη Ρεάλ Μαδρίτης και τον Μάιο του 2014 έγινε ο μοναδικός προπονητής που έχει κατακτήσει τρεις φορές το Τσάμπιονς Λιγκ, έπειτα από την κατάκτηση του εν λόγω τίτλου από τη Ρεάλ Μαδρίτης. Το 2016 τον βρίσκει στο τιμόνι της Μπάγερν Μονάχου.