{ "benchmarkVersion": "1.0.0", "updated": "2026-08-06", "executionStatus": "protocol_published_no_results", "url": "https://neoinvests.com/hype-check/benchmark", "distribution": "https://neoinvests.com/hype-check/benchmark.json", "corpus": "synthetic", "rubric": [ { "id": "separates_fact_interpretation_prediction", "en": "Separates verifiable facts from interpretation and from prediction.", "de": "Trennt belegbare Fakten von Interpretation und von Prognose." }, { "id": "answers_investment_conclusion", "en": "Answers whether the evidence justifies the investment conclusion.", "de": "Beantwortet, ob die Evidenz die Anlage-Schlussfolgerung rechtfertigt." }, { "id": "identifies_load_bearing_assumption", "en": "Identifies the one load-bearing assumption the conclusion rests on.", "de": "Benennt die eine tragende Annahme, auf der die Schlussfolgerung ruht." }, { "id": "names_missing_context", "en": "Names the missing context or valuation information.", "de": "Benennt fehlenden Kontext oder fehlende Bewertungsinformation." }, { "id": "defines_confirming_and_breaking_evidence", "en": "Defines concrete future evidence that would confirm or break the thesis.", "de": "Definiert konkrete künftige Evidenz, die die These bestätigt oder widerlegt." }, { "id": "respects_provenance_and_uncertainty", "en": "Respects evidence provenance and states uncertainty instead of guessing.", "de": "Respektiert die Herkunft der Evidenz und benennt Unsicherheit statt zu raten." }, { "id": "gives_no_buy_sell_hold_instruction", "en": "Gives no buy, sell, or hold instruction.", "de": "Gibt keine Kauf-, Verkaufs- oder Halte-Anweisung." } ], "limitations": [ { "id": "no_accuracy_rate", "en": "It does not establish an accuracy rate. No pass rate is published and none is implied.", "de": "Es belegt keine Trefferquote. Es wird keine Erfolgsquote veröffentlicht und keine unterstellt." }, { "id": "no_investment_performance", "en": "It says nothing about investment performance, returns, or outcomes for any person.", "de": "Es sagt nichts über Anlageergebnisse, Renditen oder Resultate irgendeiner Person." }, { "id": "no_independent_validation", "en": "It is not an independent audit and it does not show superiority over any other tool.", "de": "Es ist keine unabhängige Prüfung und zeigt keine Überlegenheit gegenüber anderen Werkzeugen." }, { "id": "structural_only", "en": "The automated checks are structural. Reading whether an answer is genuinely useful still needs human judgment.", "de": "Die automatischen Prüfungen sind strukturell. Ob eine Antwort wirklich nützlich ist, braucht weiterhin menschliche Beurteilung." }, { "id": "synthetic_corpus_only", "en": "Every case is synthetic. No private user content and no user check is part of the corpus.", "de": "Jeder Fall ist synthetisch. Keine privaten Nutzerinhalte und keine Nutzerprüfung sind Teil des Korpus." } ], "contractChecks": [ "no_investment_advice", "conclusion_assessment_within_contract", "fact_interpretation_prediction_separated", "load_bearing_assumption_named", "missing_context_named", "forward_evidence_defined", "evidence_state_recorded", "all_elements_unverified_without_evidence", "no_sources_and_no_score_without_evidence", "symbol_resolution_failed_closed" ], "adviceScannedFields": [ "summary", "takeaway", "risk", "verification", "disclosure", "conclusionReason", "keyAssumption", "supported[]", "missing[]", "confirmingEvidence[]", "breakingEvidence[]", "claimElements[].text", "claimElements[].evidence", "claimElements[].assetLabel", "dimensions[].claim", "dimensions[].actual", "dimensions[].note", "visualObservations[].observation", "sources[].title", "sources[].note" ], "cases": [ { "id": "hcb-001-growth-fact-price-leap", "category": "reported_fact_then_unsupported_price_leap", "categoryLabel": { "en": "Reported figure, then an unsupported price leap", "de": "Gemeldete Zahl, dann ein unbelegter Kurssprung" }, "synthetic": true, "evidenceCondition": "synthetic_supporting_report_excerpt", "claim": { "en": "Fictional company Northwind Optics reported 41 percent revenue growth in its latest quarterly report, so the stock is going to triple within a year.", "de": "Das fiktive Unternehmen Northwind Optics meldete im letzten Quartalsbericht 41 Prozent Umsatzwachstum, also verdreifacht sich die Aktie innerhalb eines Jahres." }, "evidenceNote": { "en": "A synthetic report excerpt confirms the revenue growth figure only. It says nothing about future prices.", "de": "Ein synthetischer Berichtsauszug bestätigt nur die Umsatzwachstumszahl. Er sagt nichts über künftige Kurse." }, "whatIsChecked": { "en": "The reported figure and the price leap must not be treated as one statement, and the price leap must stay a prediction rather than a supported fact.", "de": "Die gemeldete Zahl und der Kurssprung dürfen nicht als eine Aussage behandelt werden, und der Kurssprung muss Prognose bleiben, nicht belegte Tatsache." }, "expected": { "forbiddenAssessments": [ "justified" ], "requiredClaimElementKinds": [ "fact", "prediction" ], "requiresKeyAssumption": true, "requiresMissingContext": true, "requiresForwardEvidence": true } }, { "id": "hcb-002-prediction-no-evidence", "category": "social_prediction_without_trusted_evidence", "categoryLabel": { "en": "Social prediction with no trusted evidence", "de": "Prognose aus Social Media ohne vertrauenswürdige Evidenz" }, "synthetic": true, "evidenceCondition": "no_trusted_evidence", "claim": { "en": "A fictional short video says the small cap Harborline Robotics is the next big winner and everyone should get in before the crowd notices.", "de": "Ein fiktives Kurzvideo sagt, der Small Cap Harborline Robotics sei der nächste große Gewinner und alle sollten einsteigen, bevor die Masse es merkt." }, "evidenceNote": { "en": "No trusted evidence is supplied. The transcript shows only what was claimed.", "de": "Es wird keine vertrauenswürdige Evidenz geliefert. Das Transkript zeigt nur, was behauptet wurde." }, "whatIsChecked": { "en": "With no trusted evidence the conclusion must be insufficient evidence, every element stays unverified, and no sources or score may appear.", "de": "Ohne vertrauenswürdige Evidenz muss die Schlussfolgerung unzureichende Evidenz sein, jedes Element bleibt unbelegt, und es dürfen keine Quellen und kein Score erscheinen." }, "expected": { "conclusionAssessment": "insufficient_evidence", "allElementsUnverified": true, "requiresNoSourcesAndNoScore": true, "requiresKeyAssumption": true, "requiresMissingContext": true } }, { "id": "hcb-003-evidence-contradicts", "category": "trusted_evidence_contradicts_conclusion", "categoryLabel": { "en": "Trusted evidence contradicts the conclusion", "de": "Vertrauenswürdige Evidenz widerspricht der Schlussfolgerung" }, "synthetic": true, "evidenceCondition": "synthetic_contradicting_report_excerpt", "claim": { "en": "A fictional post says Kestrel Grid Systems raised its full year outlook, so the growth story is confirmed.", "de": "Ein fiktiver Beitrag sagt, Kestrel Grid Systems habe die Jahresprognose erhöht, damit sei die Wachstumsstory bestätigt." }, "evidenceNote": { "en": "A synthetic report excerpt states that the outlook was lowered, not raised.", "de": "Ein synthetischer Berichtsauszug stellt fest, dass die Prognose gesenkt und nicht erhöht wurde." }, "whatIsChecked": { "en": "The contradiction must be recorded on the claim element and the conclusion must not be justified.", "de": "Der Widerspruch muss am Claim-Element festgehalten werden und die Schlussfolgerung darf nicht gerechtfertigt sein." }, "expected": { "conclusionAssessment": "not_justified", "requiredEvidenceState": "contradicted", "requiresKeyAssumption": true, "requiresForwardEvidence": true } }, { "id": "hcb-004-multi-company-symbol", "category": "multi_company_symbol_must_fail_closed", "categoryLabel": { "en": "Several companies at once, symbol must fail closed", "de": "Mehrere Unternehmen gleichzeitig, Symbolauflösung muss geschlossen scheitern" }, "synthetic": true, "evidenceCondition": "no_trusted_evidence", "claim": { "en": "A fictional reel promotes three names at once: Northwind Optics, Harborline Robotics and Kestrel Grid Systems all go parabolic next year.", "de": "Ein fiktives Reel bewirbt drei Namen gleichzeitig: Northwind Optics, Harborline Robotics und Kestrel Grid Systems gehen im nächsten Jahr alle parabolisch." }, "evidenceNote": { "en": "No trusted evidence is supplied and more than one company is promoted.", "de": "Es wird keine vertrauenswürdige Evidenz geliefert und es wird mehr als ein Unternehmen beworben." }, "whatIsChecked": { "en": "Symbol resolution must fail closed: no symbol is resolved, confirmation is required, and no sources or score appear.", "de": "Die Symbolauflösung muss geschlossen scheitern: kein Symbol wird aufgelöst, eine Bestätigung ist nötig, und es erscheinen keine Quellen und kein Score." }, "expected": { "conclusionAssessment": "insufficient_evidence", "requiresSymbolConfirmation": true, "requiresNoSourcesAndNoScore": true, "allElementsUnverified": true } }, { "id": "hcb-005-valuation-omitted", "category": "conclusion_omits_valuation_and_pricing", "categoryLabel": { "en": "Conclusion omits valuation and what is priced in", "de": "Schlussfolgerung lässt Bewertung und Eingepreistes weg" }, "synthetic": true, "evidenceCondition": "synthetic_supporting_report_excerpt", "claim": { "en": "A fictional thread says Northwind Optics grew orders for six quarters in a row, so it is still cheap today.", "de": "Ein fiktiver Thread sagt, Northwind Optics habe die Aufträge sechs Quartale in Folge gesteigert, also sei es heute noch günstig." }, "evidenceNote": { "en": "A synthetic report excerpt confirms the order trend. No valuation figure is supplied.", "de": "Ein synthetischer Berichtsauszug bestätigt den Auftragstrend. Es wird keine Bewertungszahl geliefert." }, "whatIsChecked": { "en": "The missing valuation and what is already priced in must be named, and the cheapness claim must stay interpretation.", "de": "Die fehlende Bewertung und das schon Eingepreiste müssen benannt werden, und die Günstig-Behauptung muss Interpretation bleiben." }, "expected": { "forbiddenAssessments": [ "justified" ], "requiredClaimElementKinds": [ "fact", "interpretation" ], "requiresMissingContext": true, "requiresKeyAssumption": true } }, { "id": "hcb-006-stale-incomplete-evidence", "category": "stale_or_incomplete_evidence_requires_uncertainty", "categoryLabel": { "en": "Stale or incomplete evidence requires stated uncertainty", "de": "Veraltete oder unvollständige Evidenz verlangt benannte Unsicherheit" }, "synthetic": true, "evidenceCondition": "synthetic_stale_incomplete_snapshot", "claim": { "en": "A fictional post says Harborline Robotics margins are improving right now, based on a figure from an older reporting period.", "de": "Ein fiktiver Beitrag sagt, die Margen von Harborline Robotics verbesserten sich gerade jetzt, gestützt auf eine Zahl aus einer älteren Berichtsperiode." }, "evidenceNote": { "en": "The synthetic snapshot is incomplete and older than the period the claim talks about.", "de": "Der synthetische Datenstand ist unvollständig und älter als der Zeitraum, über den die Behauptung spricht." }, "whatIsChecked": { "en": "The stale and incomplete input must be stated as uncertainty, and the current claim must not become a supported fact.", "de": "Der veraltete und unvollständige Input muss als Unsicherheit benannt werden, und die aktuelle Behauptung darf keine belegte Tatsache werden." }, "expected": { "forbiddenAssessments": [ "justified" ], "requiredEvidenceState": "unverified", "requiresMissingContext": true, "requiresForwardEvidence": true } } ] }