Hallo!
Es gibt verschiedene Normen für die Pin-Belegung des Steckers am Telefon:
http://www.netzmafia.de/skripten/telefon/telefon.html :
http://www.netzmafia.de/skripten/telefon/tae5.gif
Und die sind untereinander nicht kompatibel! Vermutlich hast du den falschen Standard gekauft.
Zum Telefonieren benötigt man die mit La und Lb bezeichneten Adern / Kontakte, und nur diese sind in einem zweiadrigen Kabel auch vorhanden. In einem vieradrigen sind die anderen beiden auch vorhanden und erlauben es, die Amtsleitung zurück in die Dose, und von da in nachfolgende Geräte weiterzuleiten. Sofern dieses Kabel dem gleichen Standard folgt, kann man mit ihm das zweiadrige ersetzen.
Die Bilder zeigen Farben für die einzelnen Adern, die man auch durch das Gehäuse des Steckers erkennen kann, und mit denen man die beiden Standards unterscheiden kann. Allerdings kann man sich nicht 100% auf die Farben verlassen. Falls du kein Multimeter hast, um das mal durchzumessen (ist am RJ-Stecker auch etwas schwierig), kannst du vielleicht den TAE-Stecker öffnen. und das überprüfen, und vielleicht sogar ändern. (Das Kabel ist für dich im Moment ja eh wertlos)
Wenn der TAE-Stecker auf dem Tisch liegt, mit dem Kabel nach unten und den Kontakten nach links, dann liegt La unten und Lb in der Mitte.