【JAPAN AI】AI Evaluation Scientist / Japanese
株式会社ジーニー
給与：800万円〜1600万円
雇用形態：正社員
勤務地：東京都
仕事内容
AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。
・評価メトリクスの研究開発
‐LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules)
‐評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection)
‐報酬モデリング / preference learning の評価への応用研究
‐評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection)
‐評価セット (合成データ + 実ログ) の設計・構築・メンテナンス
・自動評価パイプラインの設計・構築
‐スケーラブルな自動評価パイプラインの設計・実装
‐CI/CD への評価パイプライン組込みと品質ゲートの構築
‐エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応)
‐評価パイプラインの再現性・信頼性の担保
・安全性・品質検証
‐自動レッドチーミング (automated adversarial testing) の研究・実装
‐安全性 / ポリシー準拠の検証フレームワーク構築
‐ハルシネーション検出・校正手法の研究・実装
‐プロンプト / ツール回帰テストの設計・実行
・統計分析・実験設計
‐統計的実験計画 (A/B テスト、有意差検定) の設計・分析
‐品質トレンドの可視化・回帰検出の自動化
‐品質レポート作成と改善提案
‐評価シグナルの研究・開発チームへのフィードバック
業務シナリオ ※以下は想定される業務シナリオの例です
シナリオ1: LLM-as-Judge の校正と妥当性検証
新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。
シナリオ2: 新モデル導入時の品質ゲート
LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。
シナリオ3: 自動レッドチーミングによる安全性検証
金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ（機密情報漏洩、不適切な金融アドバイス等）を網羅的にテストします。ポリシー準拠率99%以上を達成します。
[成果責任 (KR/メトリクス)]
・評価カバレッジ率（テストケース網羅率）
・回帰検出率（リリース前の品質劣化検出率 ≥ 95%）
・評価パイプライン実行時間（CI/CD内で完了）
・LLM-as-Judge と人間評価の一致率
・False Positive / Negative 率
・安全性インシデント発生率（リリース後）
「開発環境」
・言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX
・評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks
・データ : BigQuery, Spark, Pandas
・インフラ : GCP (コンテナ / K8s), Docker, Terraform
・CI/CD : GitHub Actions
・ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion
・AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin
・作業環境 : Mac (Apple Silicon), デュアルモニタ対応
応募資格
・コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、計量心理学などの関連分野における修士号以上、または同等の実務経験
・MLエンジニア / DS / リサーチエンジニア / ML評価関連職種の実務経験 3年以上
・LLM / 生成AIの評価手法に関する深い知識
・統計学・実験計画法の実践的知識
・Pythonでの ML / 評価パイプライン構築経験
・機械学習フレームワーク（PyTorch, JAX, TensorFlow等）の実務経験
・評価メトリクスの設計・実装経験
・言語レベル : いずれか必須
‐日本語 : Fluent (プロダクト開発において齟齬なく議論を行えるレベル)
‐英語 : ビジネスレベル
本ポジションはAI出力の評価科学(Evaluation Science)を担う研究開発職です。MLモデル評価・LLM評価における研究または実装経験を必須としています。