Zunächst mal die Eckpunkte. A, B und D hat man ja schon; daraus erhalten wir den Vektor AB = (8, 0, 0) (hier als Zeilenvektor geschrieben, Spaltenvektoren gehen hier schlecht ). Diese Seite hat also die Länge 8.
Der Vektor AD ist (0, -10, z-3). Das müsste eigentlich auch die Länge 8 haben, wenn die Pyramide quadratisch ist - das ist aber für keinen Wert von z möglich, also stimmt irgendwas mit der Aufgabenstellung nicht!
Wenn man z berechnen könnte, dann würde man C schließlich aus der Bedingungen AB = DC erhalten.
Die Koordinaten der Spitze S erhält man natürlich durch Lösen des linearen Gleichungssystem. (Ergebnis: S(7,-20,-9) )
Zum weiteren Vorgehen gibt es verschiedene Lösungen, je nach Vorwissen.
Die schnellste und einfachste Möglichkeit ist: Das Volumen einer quadratischen Pyramide mit den Eckpunkten ABCD der Grundfläche und der Spitze S ist 1/3 des Spatprodukts der Vektoren AB, AD und AS. Das Spatprodukt kann man direkt ausrechnen oder als die Determinante der Matrix, die aus diesen drei Vektoren gebildet wird.
Falls das Spatprodukt nicht bekannt ist: bekannte Formel V = 1/3 G h verwenden mit der Grundfläche G und der Höhe h. h ist dabei der Abstand des Punktes S zur Ebene durch die Punkte A, B und D (das ist im Allgemeinen eine ziemliche Rechnerei!).
Für die Grundfläche G gibt es auch wieder (mindestens) zwei Möglichkeiten. Einmal kann man sie (da sie (angeblich!) quadratisch ist, also ein Spezialfall eines Parallelogramms) als Betrag des Kreuz-/Vektorprodukts der Vektoren AB und AD ausrechnen. Viel einfacher ist natürlich (und auch ohne Kreuzprodukt rechenbar): einfach die Grundformel für ein Quadrat benutzen, eine Seitenlänge ist ja bekannt!