Servus,
da ist überhaupt keine Gefahr. Lies einfach mal das Doppelbesteuerungsabkommen mit der CH, da steht auch nichts anderes drin als ich Dir gesagt habe: Das Besteuerungsrecht für die Einkünfte aus nichtselbständiger Arbeit aus der Schweiz liegt bei der CH, Punktum.
Der Erstwohnsitz ist dabei völlig egal. Es gibt einige Zusammenhänge im DBA, wo die Ansässigkeit (das ist was anderes) eine Rolle spielt, und für die unbeschränkte Einkommensteuerpflicht in D (das ist was anderes als die beschränkte Steuerpflicht mit Einkünften aus nichtselbständiger Arbeit in der CH) ist es entscheidend, ob ein Wohnsitz oder der dauernde Aufenthalt in D besteht (ja, ist so - deswegen unbeschränkte ESt-Pflicht in Deutschland, aber ohne Besteuerung der N-Einkünfte aus der CH: die unterliegen dem Progressionsvorbehalt in D, werden aber nich besteuert).
Hinweis: Bitte das Doppelbesteuerungsabkommen Deutschland - Schweiz lesen: Das hat im Gegensatz zu irgenwelchen Vermutungen und Anscheinen Substanz.
Schöne Grüße
MM