Hallo!
Zuvor: Ich bin kein Anwalt. Aber ich kann dazu ein bisschen Wissen aus meinem Kopf kratzen 
Zunächst einmal: Deine Zusage könnte der Vermieter als mündlich geschlossenen Mietvertrag werten und die Miete entsprechend einklagen. Als Zeugin hätte er die aktuelle Mieterin. Damit hätte er eine gute Ausgangsposition.
Aber: Mündliche Mietverträge sind für den Vermieter schlechter, da das BGB gilt. Z.B. hat der Vermieter alle Schönheitsreparaturen zu bezahlen und hierbei gibt es auch keine Nebenkosten. Man zahlt eine Miete und mit allem drum und dran.
Deshalb ist er natürlich bestrebt, einen Mietvertrag mit dir zu machen, damit er besser dasteht. Google mal nach „mündlicher Mietvertrag“ dann siehst du, was das alles für Nachteile für den Vermieter hat 
Zu einem schriftl. Mietvertrag kann er dich aber m.E. nicht zwingen. Denn selbst wenn du einem schriftlichen Mietvertrag zugestimmt hättest, heißt das ja nicht, dass dieser so ausgestellt ist, dass du mit dem Inhalt einverstanden bist. Ich war ja nicht dabei aber im Zweifel hat man nur über einen Mietvertrag gesprochen aber nicht über dessen Inhalt.
Ich würde an deiner Stelle folgendes tun: Schildere dem Vermieter deine private Situation, die es unzumutbar macht, diese Wohnung zu nehmen.
Weise ihn darauf hin, dass ein mündlicher Mietvertrag - soweit er darauf bestehen sollte - für ihn erhebliche Nachteile hätte.
Lehne den schriftlichen Mietvertrag mit irgendwelchen Begründungen zum Inhalt ab, z.B. Regelung zu Schönheitsreparaturen gefällt dir nicht, Nebenkosten zu hoch, Gartennutzung fehlt oder irgendwas in der Art. Da lässt sich normalerweise immer etwas finden, keine Wohnung, vor allem kein Mietvertrag ist perfekt 
Das wäre dann in gewisser Weise ein Pokerspiel. Sollte er trotz allem auf dem mündlichen Mietvertrag bestehen, müsstest du tatsächlich Miete zahlen und auch kündigen. Kündigung müsste selbst bei einem mündlichen Mietvertrag schriftlich erfolgen, Kündigungsfrist wäre 3 Monate.
Entscheidend wird am Ende sein, ob der Vermieter beweisen kann, dass ein mündlicher Mietvertrag zustande gekommen ist. War beim Gespräch mit dem VM jemand dabei? Gibt es Bild- oder Tonaufnahmen?
Oder kann es nicht auch so gewesen sein, dass man sich im Gespräch mit dem VM doch verständigt hat, die Wohnung nicht zu nehmen und der VM hat etwas mißverstanden?
Das ist alles extrem schwierig und aus der Ferne nicht einschätzbar.
Deine Lage ist nicht sehr rosig. Es gilt, den VM einzuschätzen, wie weit er gehen würde und das Risiko abzuwägen.
Bitte lasse dich zur Sicherheit auch anwaltlich beraten! Wünsche viel Erfolg und würde mich freuen, nochmal davon zu lesen.