Hallo an alle Profis!
Ich stelle mich gerade total doof an oder ich denke zu einfach.
Ich will im einfachen Weg ein bissel „spielen“ und hab mir hierzu folgendes ausgedacht.
Leider bringt es nur einen Fehler:
1
2
3
4
Fehler:java.io.FileNotFoundException: http://localhost:11434/api/generate
Bis Punkt 4 läuft es noch gut. Ich glaube auch das er an sich nix macht…
Ich bin für Hilfe offen! Danke erstmal
Bitte nicht lachen, aber wie mache ich das? Also das Eingeben.
Wenn ich nur per http:… Aufrufe kommt: openllama running
Aber Wie es weiter geht…??
Hallo,
Die Dokumentation sagt, dass man neben dem Prompt auch noch das Modell in der Anfrage angeben muss.
Gruß,
Steve
[quote=„steve_m, post:4, topic:9527038“]
Vielen Dank erstmal
Wo genau mache ich das?
Ich hätte das so verstanden das „latest“ genommen wird wenn ich nix angebe.
Danke schon mal im Voraus
Im Moment stückelst du ja das JSON händisch zusammen, ungefähr so:
{"prompt":"Was ist der Sinn des Lebens?"}
Wenn du das Modell mit angeben willst, würde es ungefähr so aussehen:
{"model":"modellnamehier", "prompt":"Was ist der Sinn des Lebens?"}
Das mit „latest“ gilt nur dann, wenn du mehrere Versionen von einem Modell installiert hast.
Aber so wie ich die Doku verstehe, musst du schon sagen, welches Modell du fragen möchtest, denn du könntest ja mehrere installiert haben.
Gruß,
Steve
Hab das mal modifiziert. Jetzt kommt der Fehler
Java.net.ConnecrExeption: Connection refused: connect
Also kann die Verbindung zum Server nicht richtig aufgebaut werden. Es kann natürlich sein das ich die Kiste ans Max schiebe. Aber… Ich hab aber auch keinen Plan
Connection refused bedeutet, dass auf dem Port nichts lauscht.
Hast du den Rechner vielleicht neu gestartet und vergessen, dass LLM wieder zu starten?
Vielen, Vielen Dank
Ich hatte den Rechner ausgeschaltet und den Service nicht neu gestartet… DANKE!
Ich freu mich gerade wie ein kleines Kind das es klappt… Und ja, irgendwann werde ich wohl erwachsen werden müssen.
Für alle anderen. Quellcode ist zum klauen da.
