01 · Statisch
Was ist enthalten?
Manifeste, Skills, Commands, Hooks, MCP-Komponenten, ausführbare Dateien, Pfade und mögliche Secrets werden geprüft. Dateien werden dabei nicht ausgeführt.
Ansicht wird geladen …
Ansicht wird geladen …
EvalMark für KI-Skills und Plugins
EvalMark macht aus einem Upload einen nachvollziehbaren Prüfbericht: Was ist enthalten, welche Risiken gibt es und welchen Unterschied macht das Werkzeug bei derselben Aufgabe?
Was EvalMark ist
Skills und Plugins können Regeln, Wissen, Befehle und Hooks mitbringen. Von außen ist oft schwer zu erkennen, was davon tatsächlich hilft, was nur Kontext verbraucht und wo eine riskante Ausführungsfläche entsteht.
EvalMark trennt deshalb zwei Fragen: Was liegt im Paket? Und verändert es ein beobachtbares Ergebnis, wenn die Aufgabe mit und ohne das Paket bearbeitet wird?
Methodik
01 · Statisch
Manifeste, Skills, Commands, Hooks, MCP-Komponenten, ausführbare Dateien, Pfade und mögliche Secrets werden geprüft. Dateien werden dabei nicht ausgeführt.
02 · Deterministisch
Eingebaute Kriterien prüfen Antworten und Dateien. Grenzen für Pfade, Ausgaben, Dateizahl, Bytes und Traces werden vor der Bewertung durchgesetzt.
03 · Statistisch
Kontroll- und Behandlungsarm erhalten dieselbe Aufgabe, denselben Seed und dieselbe Umgebung. Wiederholungen zeigen Median, Streuung und – falls zulässig – den Uplift.
Sicherheitsmodell
Die Webapp führt hochgeladene Skills und Plugins nicht aus. ZIPs und GitHub-Archive werden vor der Speicherung auf Pfade, Symlinks, Größe und Dateizahl geprüft.
Ein Verhaltenstest vergleicht dieselbe Aufgabe mit und ohne das Paket unter festgelegten Bedingungen. Ein Bericht ist ein begrenzter Test, keine Sicherheitsgarantie.
Ablauf
ZIP oder öffentliches GitHub-Repository auswählen. Bei GitHub wird ein konkreter Commit geprüft, damit der Ausgangspunkt nachvollziehbar bleibt.
Manifest, Dateien, Pfade, Hooks, MCP-Komponenten und mögliche Secrets werden erfasst. Unzulässige Archive werden vor der Speicherung abgewiesen.
In der geschützten Laufumgebung treten Kontroll- und Behandlungsarm mit derselben Aufgabe gegeneinander an.
Der Bericht trennt Beobachtung, Vergleich und Interpretation. Ein Ergebnis ist ein begrenzter Test unter definierten Bedingungen, keine Sicherheitsgarantie.
Testtiefe
Kostenlos
Inventar, Struktur und Risikosignale. Das ist der Startpunkt für jedes Paket.
Gering
Ein kurzer, begrenzter Verhaltenstest für eine schnelle Plausibilitätsprüfung.
Standard
Drei Kontroll- und drei Behandlungsläufe mit festen Kriterien und begrenztem Budget.
Statistisch
Zwölf feste Paare mit einem zweiseitigen gepaarten Sign-Test und klarer Signifikanzgrenze.
Variabel
Mehr Wiederholungen innerhalb eines festgelegten Rahmens, wenn Streuung und Uplift belastbarer eingeordnet werden sollen.
Preise und Kostenkontrolle
Der statische Erstscan ist derzeit kostenlos. Bei geschützten BYOK-Läufen belastet der Provider deinen eigenen Schlüssel. Plattform-Guthaben wird erst nach dem Sandbox-Kaufnachweis freigeschaltet; feste Serverkosten trägt der Betreiber, laufbezogene Kosten werden transparent in den Laufpreis eingerechnet.
Derzeit kostenlos
ZIP oder öffentliches GitHub-Repository einreichen, Paket inventarisieren und einen statischen Bericht erhalten. Dabei wird kein Modelllauf gestartet.
Vor jedem Lauf
Vor einem Verhaltenstest werden Testtiefe, maximaler Laufpreis und eine harte Kostengrenze angezeigt und müssen ausdrücklich bestätigt werden. Provider-, Worker-, Speicher-, Zahlungs- und Reservierungskosten werden dabei berücksichtigt.
Keine Automatik
Ein Upload löst keinen kostenpflichtigen Test aus. Ein Lauf startet erst nach ausdrücklicher Bestätigung von Testtiefe, Kriterien und Kosten-Cap.
Fragen
Nein. Sie analysiert Pakete und kann definierte Verhaltenstests vergleichen. Daraus folgt keine vollständige Sicherheitsprüfung und keine Garantie.
Nein. Der Erstscan bleibt bei Inventar- und Strukturprüfung. Ein geschützter Verhaltenstest wird nur nach ausdrücklicher Bestätigung und mit einer Kostengrenze gestartet.
Deterministische Kriterien prüfen ein Ergebnis nach festen Regeln. Statistische Tests wiederholen einen Vergleich, um Streuung und einen möglichen Uplift einzuordnen.
ZIP-Dateien und öffentliche GitHub-Repositories. Bei GitHub wird ein konkreter Commit eingefroren; Git-Historie, Hooks und Submodule werden nicht als Laufzeitquelle übernommen.
Der Bericht ist zunächst für deinen geschützten Arbeitsbereich gedacht. Freigabe, Aufbewahrung und öffentliche Veröffentlichung sind noch offene Produktentscheidungen.
Beta-Status
EvalMark ist als geschützte Beta gedacht. Die Plattform zeigt nachvollziehbare Hinweise, macht aber aus einem Bericht keine Sicherheitsgarantie.
Nächster Schritt
Nach der Anmeldung kannst du eine ZIP-Datei oder ein öffentliches GitHub-Repository einreichen. Erst wenn Test, Budget und Kriterien bestätigt sind, wird ein Verhaltenstest vorgemerkt.
Passwort-Login mit E-Mail-Bestätigung. Optional ist die Anmeldung mit Google verfügbar, sobald sie serverseitig eingerichtet ist.