自然言語→SQL変換

chat-sql-gen-v1 · v1 · 言語: ja · サブカテゴリ: sql_generation · 難易度: d3

← 一覧に戻る

📋 評価基準

観点: SQLの構文 / 条件の組み合わせ / 集計の正確さ / ORDER BY / LIMIT

📝 プロンプト

以下のスキーマと要求から、SQL文を生成してください。

# スキーマ
```sql
CREATE TABLE users (
  id INTEGER PRIMARY KEY,
  name TEXT NOT NULL,
  email TEXT UNIQUE,
  created_at TIMESTAMP NOT NULL,
  plan TEXT CHECK(plan IN ('free', 'pro', 'enterprise'))
);

CREATE TABLE orders (
  id INTEGER PRIMARY KEY,
  user_id INTEGER NOT NULL,
  amount INTEGER NOT NULL,
  created_at TIMESTAMP NOT NULL,
  FOREIGN KEY (user_id) REFERENCES users(id)
);
```

# 要求
「2024年1月以降に登録されたproプランユーザーのうち、注文合計が10,000円以上のユーザーの名前とemail、注文合計を取得したい。注文合計が高い順に並べて、上位10件まで表示」

# 出力
SQL文のみを提示してください。説明は不要。

🏆 モデル別スコア

# モデル 平均 最良 最低 サンプル
1 OpenAI: gpt-oss-120b (free) 97.5 100 95 2
2 Owl Alpha 97.5 100 95 2
3 Google: Gemma 4 31B (free) 96.5 97 96 2
4 DeepSeek: DeepSeek V4 Flash 95.0 95 95 2

📜 ラン履歴 (最新30件)

実行日時 モデル スコア コスト 時間 判定
2026-06-24 09:55 Owl Alpha 100.0 $0.0000 0.0s 生成されたSQLは要求された全てのキーワード(JOIN、WHERE、SUM、GROUP BY、ORDER BY、LIMIT 10、plan = 'pro'、2024)を含み、意図された集計とフィルタリングを正確に行っている。GROUP BYではu.idのみを使用しているが、標準的なSQLではu.nameとu.emailも指定する必要があるため、僅かに厳密性に欠ける点を考慮した。
2026-06-24 08:45 OpenAI: gpt-oss-120b (free) 100.0 $0.0000 0.0s モデル出力は全ての期待キーワード(JOIN, WHERE, SUM, GROUP BY, ORDER BY, LIMIT 10, plan = 'pro', 2024)を含み、SQLの構文が正確で条件の組み合わせや集計、ORDER BY/LIMITも適切です。また、不適切な内容はなく、指示に完全に従っています。
2026-06-24 12:03 Google: Gemma 4 31B (free) 97.0 $0.0000 0.0s The generated SQL query is syntactically correct and includes all expected keywords such as JOIN, WHERE, SUM, GROUP BY, ORDER BY, LIMIT 10, plan = 'pro', and 2024. The conditions are properly combined using WHERE and HAVING, and the aggregation with GROUP BY is accurate. The query is clearly formatted and directly addresses a typical business request, making it highly helpful and safe.
2026-06-24 12:03 Google: Gemma 4 31B (free) 96.0 $0.0000 0.0s モデル出力は、SQLの構文が正確で、必要なキーワード(JOIN, WHERE, SUM, GROUP BY, ORDER BY, LIMIT 10, plan = 'pro', 2024)をすべて含んでおり、条件の組み合わせや集計も適切です。コードの整形も明瞭で、安全性にも問題はなく、SQL生成タスクに完全に応えています。
2026-06-25 12:39 DeepSeek: DeepSeek V4 Flash 95.0 $0.0001 0.0s 生成されたSQLは構文的に正しく、必要なキーワード(JOIN、WHERE、SUM、GROUP BY、ORDER BY、LIMIT 10、plan='pro'、2024)をすべて含んでいます。また、HAVING句による追加条件も適切で、期待されるクエリを完全に満たしており、安全性も問題ありません。
2026-06-25 12:39 DeepSeek: DeepSeek V4 Flash 95.0 $0.0001 0.0s The generated SQL query perfectly matches all evaluation criteria: it uses correct syntax, combines conditions appropriately with WHERE and HAVING, performs accurate aggregation with SUM, and includes ORDER BY and LIMIT 10. All expected keywords (JOIN, WHERE, SUM, GROUP BY, ORDER BY, LIMIT 10, plan = 'pro', 2024) are present.
2026-06-24 09:55 Owl Alpha 95.0 $0.0000 0.0s SQL構文は完全に正しく、JOIN、WHERE、SUM、GROUP BY、ORDER BY、LIMIT 10、plan='pro'、2024といった期待キーワードをすべて含んでおり、集計と条件の組み合わせも正確です。日本語のタスクに対して英語のSQLですが、SQL生成タスクとして自然であり、安全性にも問題ありません。
2026-06-24 08:45 OpenAI: gpt-oss-120b (free) 95.0 $0.0000 0.0s 期待されるキーワード(JOIN, WHERE, SUM, GROUP BY, ORDER BY, LIMIT 10, plan = 'pro', 2024)をすべて含み、SQL構文が正しく、条件の組み合わせと集計が適切に行われている。日本語としての流暢さは該当しないが、SQL文として明確で読みやすく、タスクの要求を十分に満たしている。