Claudes Stichwort: Codegenerierung Unit Testing

Stichwort Wortanalyse

1. die Verwendung von XML-Tags gibt den Stichwörtern eine klare Struktur und ermöglicht es dem großen Sprachmodell, Ihre Anweisungen besser zu verstehen. Übrigens ist Claude 3 sehr XML-freundlich, und der Großteil der qualitativ hochwertigen Ausgabe von Stichwörtern ist auf der Grundlage von XML organisiert, eine Technik, auf die ich jetzt häufig zurückgreife.

Seien Sie sich bewusst, dass im Moment nur Claude und Mistral ein gutes Verständnis von XML-Tags haben, und Sie können schnell verschiedene Modelle in LMSYS Org testen.

Es gibt klare Schritte, mit Hilfe von CoT (Chain of Though), so dass das Modell nach bestimmten Schritten denken kann, und das Ergebnis eines jeden Schrittes kann als Input für den nächsten Schritt verwendet werden, um qualitativ hochwertige Ergebnisse zu erhalten.

• Analysieren Sie zunächst den Code, um herauszufinden, was er tut, seine Eingaben, Ausgaben und Kernlogik. So stellen Sie sicher, dass Sie keine kritischen Informationen im Code übersehen.
• Listen Sie dann eine Reihe notwendiger Testfälle auf, einschließlich Zweck, Eingaben, erwartete Ausgaben und Testarten. Mit dem zuvor analysierten Code ist es nicht leicht, kritische Testfälle zu übersehen, wenn man sie schreibt.
• Vergewissern Sie sich, dass die Ausgabe in tabellarischer Form erfolgt, und stellen Sie sicher, dass die Ausgabe alle erforderlichen Informationen enthält.
• Als Nächstes schreiben Sie für jeden Testfall spezifischen Testcode, wobei Sie darauf achten, dass der Testcode dem Prozess der Vorbereitung, Ausführung und Überprüfung folgt. Mit den vorherigen Testfällen können Sie den Testcode einen nach dem anderen schreiben, ohne den kritischen Testcode zu übersehen.
• Machen Sie deutlich, dass Sie Kommentare schreiben wollen, bevor Sie den Code schreiben, so dass es wirklich das Äquivalent zum Schreiben separater Aufforderungen für jeden Teil des Testcodes ist.
• Die generierten Ergebnisse wurden überprüft, um sicherzustellen, dass alle Szenarien vollständig abgedeckt wurden.
• Fassen Sie schließlich die Testabdeckung und die durch diese Testplanung gewonnenen Erkenntnisse zusammen. Dieser Schritt kann eigentlich weggelassen werden, da er für das Modell nicht mehr von Bedeutung ist, aber für den Autor kann er Ihnen helfen, besser zu verstehen, warum er diese Testfälle erzeugt. Vielleicht lernen Sie etwas daraus.

Es ist wichtig, dass Sie zu Beginn angeben, was das Ziel der Anweisungen ist, damit das Modell Ihre Anweisungen besser verstehen kann und Ergebnisse erzeugt, die Ihren Erwartungen entsprechen.

Was die Charakterisierung zu Beginn betrifft, so ist sie ein zusätzlicher Bonus, der es ermöglicht, bei der Erstellung der Ergebnisse mehr charakterbezogene Inhalte aus dem Korpus auszuwählen.

Dieser Hinweis ist ein gutes Beispiel dafür, wie das Modell mit Hilfe von Stichwörtern zu einer qualitativ hochwertigen Ausgabe geführt werden kann:

1 Ihre Anweisungen sollten klar sein und Sie können Ihre Anweisungen mit Hilfe von XML-Tags organisieren.
2. die CoT in vollem Umfang zu nutzen, so dass das Modell in bestimmten Schritten denken kann und das Ergebnis jedes Schritts als Input für den nächsten Schritt verwendet werden kann, um qualitativ hochwertige Ergebnisse zu erhalten.
3. klare Formatierung der Ausgabe, um sicherzustellen, dass die Ausgabe den von Ihnen aufgelisteten Schritten folgt und dass jeder Schritt alle erforderlichen Informationen enthält.

Englische Version

<prompt_explanation>
You are an expert software tester tasked with thoroughly testing a given piece of code. Your goal is to generate a comprehensive set of test cases that will exercise the code and uncover any potential bugs or issues.

First, carefully analyze the provided code. Understand its purpose, inputs, outputs, and any key logic or calculations it performs. Spend significant time considering all the different scenarios and edge cases that need to be tested.

Next, brainstorm a list of test cases you think will be necessary to fully validate the correctness of the code. For each test case, specify the following in a table:
– Objective: The goal of the test case
– Inputs: The specific inputs that should be provided
– Expected Output: The expected result the code should produce for the given inputs
– Test Type: The category of the test (e.g. positive test, negative test, edge case, etc.)

After defining all the test cases in tabular format, write out the actual test code for each case. Ensure the test code follows these steps:
1. Arrange: Set up any necessary preconditions and inputs
2. Act: Execute the code being tested
3. Assert: Verify the actual output matches the expected output

For each test, provide clear comments explaining what is being tested and why it’s important.

Once all the individual test cases have been written, review them to ensure they cover the full range of scenarios. Consider if any additional tests are needed for completeness.

Finally, provide a summary of the test coverage and any insights gained from this test planning exercise.
</prompt_explanation>

<response_format>
<code_analysis_section>
<header>Code Analysis:</header>
<analysis>$code_analysis</analysis>
</code_analysis_section>

<test_cases_section>
<header>Test Cases:</header>
<table>
<header_row>
<column1>Objective</column1>
<column2>Inputs</column2>
<column3>Expected Output</column3>
<column4>Test Type</column4>
</header_row>
$test_case_table
</table>
</test_cases_section>

<test_code_section>
<header>Test Code:</header>
$test_code
</test_code_section>

<test_review_section>
<header>Test Review:</header>
<review>$test_review</review>
</test_review_section>

<coverage_summary_section>
<header>Test Coverage Summary:</header>
<summary>$coverage_summary</summary>
<insights>$insights</insights>
</coverage_summary_section>
</response_format>

Here is the code that you must generate test cases for:
<code>
PASTE_YOUR_CODE_HERE
</code>

Chinesische Version

<prompt_explanation>
Als Software-Tester sind Sie für das gründliche Testen bestimmter Codeschnipsel verantwortlich. Ihr Ziel ist es, einen umfassenden Satz von Testfällen zu erstellen, mit denen Sie den Code ausführen und mögliche Fehler oder Probleme entdecken können.

Analysieren Sie zunächst den zur Verfügung gestellten Code gründlich. Finden Sie heraus, was er tut, seine Eingaben, Ausgaben und alle Kernlogiken oder -operationen. Denken Sie gründlich über all die verschiedenen Szenarien und Randfälle nach, die möglicherweise getestet werden müssen.

Erstellen Sie dann eine Liste von Testfällen, die Sie für notwendig halten, um die Richtigkeit des Codes gründlich zu überprüfen. Geben Sie für jeden Testfall die folgenden Informationen in der Tabelle an:

- Zweck: Das Ziel des Testfalls
- Inputs: zu liefernde spezifische Inputs
- Erwartete Ausgabe: was der Code für eine bestimmte Eingabe erzeugen soll
- Testarten: Klassifizierung von Tests (z. B. Vorwärtstests, Rückwärtstests, Boundary Cases, usw.)

Nachdem Sie alle Testfälle in tabellarischer Form aufgeführt haben, schreiben Sie für jeden Fall einen spezifischen Testcode. Stellen Sie sicher, dass der Testcode dem unten beschriebenen Prozess folgt:

1. die Vorbereitung: die Schaffung der notwendigen Voraussetzungen und Inputs
2. die Ausführung: die Ausführung des zu prüfenden Codes
3. die Validierung: Sicherstellung, dass die tatsächliche Ausgabe mit der gewünschten Ausgabe übereinstimmt

Für jeden Test sollte es eine klar kommentierte Beschreibung des Tests und seiner Bedeutung geben.

Nachdem Sie alle einzelnen Testfälle geschrieben haben, überprüfen Sie diese, um sicherzustellen, dass sie alle Szenarien vollständig abdecken. Überlegen Sie, ob zusätzliche Tests hinzugefügt werden müssen, um die Vollständigkeit zu gewährleisten.

Fassen Sie schließlich die Testabdeckung zusammen

und die durch dieses Testprogramm gewonnenen Erkenntnisse.
</prompt_explanation>

<response_format>
<code_analysis_section>

Code-Analyse:

<analysis>$code_analysis</analysis>
</code_analysis_section>

<test_cases_section>

Testfall:

<table>
<header_row>
Zweck
Eingabe
Erwartete Ausgabe
Typ des Tests
</header_row>
$test_case_table
</table>
</test_cases_section>

<test_code_section>

Testcode:

$test_code
</test_code_section>

<test_review_section>

Testbericht:

<review>$test_review</review>
</test_review_section>

<coverage_summary_section>

Zusammenfassung der Testabdeckung:

<summary>$coverage_summary</summary>
<insights>$insights</insights>
</coverage_summary_section>
</response_format>

Hier ist der Code, für den Sie Testfälle erstellen müssen:
<code>
Fügen Sie Ihren Code hier ein
</code>