Saphan

งานวิจัย — ศึกษาเอเจนต์ AI ขณะทำงานจริง ไม่ใช่ในเบนช์มาร์ก

Saphan Studio บันทึกทุกขั้นตอนที่ทีมเอเจนต์เขียนโค้ด AI ทำกับซอฟต์แวร์จริง: ทุกงาน ทุกการรัน ทุกการรีวิวอิสระ และทุกการตัดสินใจของมนุษย์ สำหรับนักวิจัย นี่คือทั้งชุดข้อมูลและเครื่องมือวิจัยในที่เดียว

สิ่งที่คุณศึกษาได้

01

งานจริง บันทึกครบถ้วน

ทุกการรันของเอเจนต์พร้อมโมเดล เวลา ต้นทุน และผลลัพธ์ ทุกการรีวิวพร้อมคำตัดสินและสิ่งที่พบ ทุกการตัดสินใจของมนุษย์พร้อมเหตุผลและเวลา ไม่ต้องดึงหรือทำความสะอาดข้อมูล บันทึกคือข้อมูล

02

ผลของกฎต่องาน

เปลี่ยนกฎหนึ่งข้อ — ใครเป็นผู้รีวิว เอเจนต์ทำงานเองได้แค่ไหน เมื่อใดที่มนุษย์ต้องอนุมัติ — แล้ววัดผลต่อคุณภาพ (งานที่ผู้รีวิวส่งกลับ จำนวนรอบต่อการเปลี่ยนแปลง) และความเร็ว (เวลาจากงานจนถึงการเปลี่ยนแปลงที่ยอมรับ เวลาว่าง) ทุกการเปลี่ยนกฎมีวันที่ จึงศึกษาได้แบบก่อนและหลัง

03

เปรียบเทียบโมเดลในเงื่อนไขเดียวกัน

ผู้ให้บริการ AI หลายรายทำงานเดียวกัน แต่ละรายถูกตรวจโดยผู้รีวิวจากบริษัทอื่น และทุกความเห็นที่ไม่ตรงกันถูกบันทึกไว้

04

ทำซ้ำได้โดยการออกแบบ

การตัดสินใจมีลายเซ็น บันทึกมีแต่การเพิ่มต่อ และทุกการวัดมีคำสั่งที่ใช้วัดกำกับไว้

ผลแรก จากทีมเอเจนต์ของเราเอง

งานก่อนหน้าของเราในการบริหารทีมเอเจนต์ ซึ่งตั้งอยู่บนระเบียบวิธีของเราเองและโปรโตคอล Saphan ได้นำไปสู่การยื่นขอสิทธิบัตรแล้ว ตอนนี้เราเปิดสู่สาธารณะ: Proven โปรเจกต์โอเพนซอร์สที่สร้างตั้งแต่ต้นจนจบโดยคนคนเดียวที่กำกับทีมเอเจนต์ และ Saphan Studio ในฐานะเครื่องมือสำหรับนักวิจัย ที่บันทึกทุกอย่างและให้คุณเปลี่ยนกฎการทำงานของทีมเอเจนต์ได้ Open Agent Hackathon เดือนตุลาคม 2026 คือที่ที่เราแสดงสิ่งนี้ต่อสาธารณะ ผลด้านล่างมาจากสัปดาห์นั้น

01

ปริมาณงานกับเจ้าของคนเดียว

ในสองวัน สองรีโพสิทอรี: 819 คอมมิต และ 140 การเปลี่ยนแปลงที่เจ้าของยอมรับ ทุกรายการผ่านการรีวิวก่อนยอมรับ

02

ผู้รีวิวคนที่สองสำคัญ

ในการรีวิวความปลอดภัยของโค้ดที่เอเจนต์เขียนเอง ผู้รีวิวสองรายจากบริษัท AI ต่างกันเห็นไม่ตรงกันในสองจากสามส่วนแรก: รายหนึ่งให้ผ่าน อีกรายปฏิเสธและพิสูจน์ปัญหาด้วยเทสต์ที่ล้มเหลว ปัญหาทั้งสองได้รับการแก้ไขในวันเดียวกัน

03

คอขวดคือการอนุมัติ ไม่ใช่เอเจนต์

งานเดินเต็มกำลังเมื่อเจ้าของอยู่หน้าคอมพิวเตอร์ และแทบหยุดในตอนกลางคืน เอเจนต์และเครื่องว่างงานรอลายเซ็นของมนุษย์ ผลนี้นำไปสู่โหมดที่เจ้าของอนุมัติงานเป็นชุดก่อนออกไป แล้วทีมเอเจนต์ทำงานต่อเอง โดยทุกขั้นตอนที่ย้อนกลับไม่ได้ยังรอมนุษย์ เรากำลังวัดผลของโหมดนี้

เรามีบันทึกเช่นนี้หลายเดือน และบันทึกทุกการเปลี่ยนกฎพร้อมวันที่

ใบอนุญาตเพื่อการศึกษา

01

Saphan Studio Team ฟรีเพื่อการวิจัยและการสอน

สำหรับการวิจัยและการสอนที่ไม่ใช่เชิงพาณิชย์ในมหาวิทยาลัยและสถาบันวิจัย: ส่งออกการรัน การรีวิว และการตัดสินใจเป็นชุดข้อมูล โหมดทดลองที่คุณกำหนดรูปแบบของกฎ และทุกการรันถูกติดแท็กรูปแบบที่ใช้ และความช่วยเหลือจากทีมสำหรับงานวิจัยแรกของคุณ

02

สิ่งเดียวที่เราขอ

แบ่งปันสิ่งที่คุณค้นพบ เผยแพร่ และบอกเรา เพื่อให้ทีมเอเจนต์รุ่นถัดไปทำงานได้ดีขึ้น

เพิ่มเติมเกี่ยวกับ Saphan Studio

ขอใบอนุญาตเพื่อการศึกษา — บอกเราว่าสถาบันใด คำถามวิจัยคืออะไร และงานวิจัยมีขนาดเท่าใด

ติดต่อเรา — [email protected]