Frühestens 1933 hätte das IOC die Spiele entziehen können. Die wurden aber, ebenso wie das US-NOK, durch die Propaganda dermaßen eingeseift, dass sie wahrscheinlich auch geglaubt hätten, dass der Mond sich um die Erde dreht.
Übirgens gibt es in dem Zeitraum ein Beispiel entzogener Spiele: Winterspiele 1940. Diese hätten in St. Moritz stattfinden sollen, wurden aber 1939 durch das IOC entzogen. Nutznießer wäre gewesen: Garmisch-Patenkirchen.
Die Sommerspiele 1940 hätten in Tokio stattfinden sollen, die Japaner haben diese aber1938 zurückgegeben. Interessanterweise wäre hier nicht Berlin der alternative Austragungsort gewesen (siehe oben, 1939 wurde Garmisch erneut benannt!) sondern Helsinki.
Ob ein Boykott das richtige Mittel ist, mag ich nicht beurteilen, es gibt nicht nur schwarz und weiß, sondern auch viele Grautöne. Viele Athleten arbeiten jahre- bzw. jahrzentelang auf das Ziel Olympia hin, Sport wirkt verbindend, über Völkergrenzen hinweg, aber natürlich kann Sport, wie auch alles andere, leicht zu Propagandazwecken benutzt werden (wobei zum Glück 1936 die deutsche Übermachtdarstellung mehrfach durch Jesse Owens verhindert wurde)