ซอฟต์แวร์ที่รู้ว่าตัวเองเชื่ออะไร

งานข่าวกรองที่แท้จริงไม่ใช่การค้นหาให้มากขึ้น แต่คือการรักษาความเข้าใจ: รู้ว่าตัวเองเชื่ออะไร เพราะอะไร มั่นใจแค่ไหน — และอะไรจะทำให้เปลี่ยนความคิด

นักวิเคราะห์ที่ดีมีคำถามค้างอยู่ในใจหลายสิบข้อ: ข้อสรุปที่ยังพิสูจน์ไม่ได้ เรื่องที่ควรจับตา และประเด็นที่ตัดทิ้งไปด้วยเหตุผลที่อาจเปลี่ยนได้ ซอฟต์แวร์ไม่เคยเก่งเรื่องนี้ เราเชื่อว่านี่คือช่องว่างสำคัญที่สุดข้อหนึ่งระหว่างสิ่งที่ AI ทำได้วันนี้ กับสิ่งที่มันต้องทำต่อไป

และวิจารณญาณหมายถึงการคัดออก ระบบที่แสดงทุกอย่างที่หาเจอ เท่ากับยังไม่ได้ทำงานให้คุณ คุณค่าของระบบข่าวกรองวัดจากสิ่งที่มันคัดทิ้ง — และความน่าเชื่อถือของสิ่งที่มันคัดเหลือไว้

ไม่มีวิธีสำเร็จรูปสำหรับสร้างสิ่งนี้ คำถามที่ว่าซอฟต์แวร์ควรรักษาและปรับปรุงสิ่งที่ตัวเองเชื่ออย่างไร — พร้อมหลักฐาน ระดับความมั่นใจ และความทรงจำว่าเคยผิดตรงไหน — ยังเป็นโจทย์เปิด เราทำงานวิจัยต้นฉบับกับโจทย์นี้เพราะ Signals ต้องการมัน: งานวิจัยรับใช้ผลิตภัณฑ์ ไม่ใช่ทางกลับกัน

Signals เช่าความสามารถการใช้เหตุผลดิบจากโมเดลระดับแนวหน้า ทั้งโอเพนซอร์สและแบบปิด — ทุกปีมันเก่งขึ้นและถูกลง และเราอาศัยคลื่นนั้นแทนที่จะแข่งกับมัน ส่วนปัญญาของ Signals คือการใช้เหตุผลนั้นทำงานบนวัตถุดิบที่ไม่มีโมเดลไหนมีมาแต่แรก: ความเข้าใจที่สั่งสมต่อโลกของบริษัทหนึ่ง ๆ — สิ่งที่ตรวจสอบแล้ว สิ่งที่คัดทิ้งพร้อมเหตุผล สิ่งที่ยังจับตาอยู่ และรายละเอียดส่วนตัวที่ลูกค้าเลือกบอก: ลูกค้ารายสำคัญ ซัพพลายเออร์ที่ขาดไม่ได้ แผนที่ไม่ปรากฏในแหล่งข้อมูลสาธารณะหรือชุดข้อมูลฝึกโมเดลใด ๆ

มีเหตุผลว่าทำไมโมเดลทำสิ่งนี้เองไม่ได้ การจะทำนายภาษาได้ดีขนาดนั้น โมเดลระดับแนวหน้าต้องเรียนรู้ว่าโลกทำงานอย่างไรโดยทั่วไป — ตลาดเคลื่อนอย่างไร หน่วยงานกำกับดูแลทำอะไร บริษัทตัดสินใจอย่างไร นั่นคือแบบจำลองโลกชนิดหนึ่งจริง ๆ และเป็นเหตุผลที่มันใช้เหตุผลได้ดี แต่นั่นคือความรู้ระดับกฎ ไม่ใช่สถานะ: โมเดลรู้ว่าธุรกิจโดยทั่วไปทำงานอย่างไร แต่ไม่มีทางรู้ว่าอะไรจริงเกี่ยวกับธุรกิจของคุณในตอนนี้ สถานะนั้นมาถึงเป็นสายธารบาง ๆ ของข้อสังเกตรายวัน — จำนวนมากเป็นข้อมูลส่วนตัว — หลังจากการฝึกโมเดลจบไปนานแล้ว และไม่มีบันทึกที่ไหนให้โมเดลเรียนรู้ได้ ต้องมีใครสักคนรวบรวม ตรวจสอบ และรักษาให้เป็นปัจจุบัน นั่นคืองานของ Signals

นี่คือเหตุผลที่ความก้าวหน้าของโมเดลช่วย Signals แทนที่จะคุกคาม โมเดลที่เก่งขึ้นแต่ละรุ่นอ่านบันทึกความเข้าใจชุดเดิมแล้วดึงคุณค่าออกมาได้มากขึ้น — เหมือนนักวิเคราะห์ที่เก่งกว่าได้ประโยชน์จากแฟ้มงานที่จดไว้อย่างดีมากกว่าจากโต๊ะว่างเปล่า เครื่องมือที่แข่งกับโมเดลจะถูกโมเดลกลืน Signals สร้างบนเดิมพันตรงกันข้าม: เป็นเจ้าของความเข้าใจ เช่าโมเดล — และยืนตรงจุดที่โมเดลใหม่ทุกรุ่นทำให้สิ่งที่เราเป็นเจ้าของมีค่ามากขึ้น ไม่ใช่น้อยลง

ข้อโต้แย้งที่แหลมคมที่สุดคือ Bitter Lesson ของ Rich Sutton: โครงสร้างที่สร้างด้วยมือแพ้วิธีการทั่วไปที่โตตามพลังประมวลผล เราเห็นด้วย — และนั่นกำหนดว่าเราจะไม่สร้างอะไร โครงสร้างที่ทำหน้าที่แทนความสามารถของโมเดลจะถูกบดทับ ส่วนโครงสร้างที่เป็นบันทึกจะอยู่รอดและมีค่าขึ้น — เหมือนประวัติ git ฐานข้อมูล และชุดทดสอบ Signals จึงทำนโยบายการใช้เหตุผลให้บางและพร้อมถูกแทนที่ แล้วทุ่มงานวิศวกรรมให้กับบันทึก: ข้อสรุปพร้อมแหล่งอ้างอิง ระดับความมั่นใจ และประวัติการแก้ไข ที่โมเดลใดก็ได้ — รวมถึงโมเดลของปีหน้า — อ่าน ตรวจสอบ และต่อยอดได้ จัดโครงสร้างให้กับสถานะ ไม่ใช่การใช้เหตุผล