Judul asli: Pajak Organisasi

Original by:Addy Osmani

Foto oleh Peggy

Editor: As AI Agent menjadi lebih murah dan lebih mudah untuk mengakses, pengembangan perangkat lunak sedang memasuki fase baru: Pertanyaannya adalah tidak lagi apakah lebih Agen dapat diaktifkan, tetapi apakah manusia memiliki cukup perhatian untuk mengelola, hakim dan mengkonsolidasikan output mereka。

Artikel ini menyajikan konsep inspiratif - "pajak formula". Biaya awal Agen sangat rendah, dan hanya Prompt atau klik, tetapi yang benar-benar mahal adalah sebuah follow- up: memeriksa apakah hasilnya benar, memahami dampaknya terhadap arsitektur sistem, berurusan dengan konflik antara Agen yang berbeda, dan akhirnya memutuskan kode mana yang dapat masuk cabang utama. Upaya ini tidak dapat dikurangi menjadi paralel sederhana, tetapi mereka masih harus kembali ke sumber daya seri yang sama: penghakiman manusia。

Penulis membandingkan pengembang dengan "GIL" dalam sistem AI Agent, kunci satu arah yang membatasi potongan akhir dari sistem produksi. Beberapa Agen dapat beroperasi secara bersamaan, tapi selama mereka memasuki tahap penilaian arsitektur, ulasan kode dan konsolidasi konflik, mereka harus direkayasa oleh otak pengembang. Akibatnya, semakin besar jumlah Agen, semakin tinggi hasilnya, semakin lama tugas yang akan ditinjau, semakin sering perubahan konteks dan kelelahan kognitif bagi para pengembang。

Ini juga merupakan titik yang mudah diabaikan dalam gelombang alat pemrograman AI saat ini: efisiensi dan produktivitas nyata tidak selalu sama. Sebuah fullly-screened Agen dashboard menciptakan ilusi "high- menghasilkan"; tetapi jika pengembang tidak benar-benar mengerti, review dan mengkonsolidasikan perubahan ini, sistem akhirnya mungkin menumpuk tidak dalam produktivitas, tetapi dalam utang teknis dan kognitif。

Jadi diskusi yang sebenarnya di sini bukan "bagaimana menggunakan lebih banyak Agen" tapi "bagaimana merancang ulang alur kerja di sekitar perhatian orang". Pada Jaman Agen, kemampuan kunci tidak hanya mengajukan pertanyaan, menugaskan tugas, tapi mengetahui tugas mana yang dapat diserahkan kepada mesin secara paralel, dan tugas mana yang harus diserahkan kepada penilaian manusia, ketika ulasan harus dibuat dan kapan seharusnya dihentikan dan berfokus kembali pada masalah inti。

AI memperluas kapasitas produksi ko- nya, tetapi perhatian manusia tetap yang paling langka dan tidak direplikable sumber daya dalam sistem. Agen yang benar-benar matang bekerja, bukannya membuang semua tugasnya ke mesin, hati-hati dirancang sendiri struktur perhatian seperti sistem produksi desain。

Berikut adalah teks asli:

Sekarang, mulai lebih agen AI telah menjadi mudah. Tapi semakin banyak Agen berlari pada saat yang sama, yang tidak berarti bahwa Anda telah berubah. Bandwidth kognitif Anda tidak dapat disinkronkan. Semua penilaian yang benar-benar membimbing mereka, menilai hasil mereka, menggabungkan modifikasi mereka, akhirnya masih harus melewati prosesor serial yang sama - yaitu, diri sendiri。

Jadi - disebut "pajak formulasi" pada dasarnya harga yang Anda bayar ketika Anda melupakannya. Dan satu-satunya solusi yang nyata adalah mulai merancang perhatian Anda sendiri, seperti sistem kogenerasi apapun。

Saya berpartisipasi dalam diskusi tentang Google I / O dengan Richard Seroter, Aja Hammere, Ciera Jaspan tentang cara kerja perangkat lunak sekarang terlihat dan bagaimana mungkin berkembang. Pada akhirnya, Richard bertanya, "Apa hal yang paling penting untuk diambil dan diubah setelah pengembang mendengar?"

Saya katakan satu hal yang telah terjadi selama beberapa bulan terakhir: merasa sibuk tidak pernah sama dengan memiliki output nyata. Anda dapat menjalankan 20 Agen pada saat yang sama dan merasa sibuk. Tapi itu tidak berarti kau telah mengantarkan beban kerja 20 agen。

Sebelumnya dalam percakapan itu, Richard memberikan pertanyaan ini sebuah nama. Yûsuf merasakan dalamnya dan pedihnya tuduhan tersembunyi itu, tetapi ia menyimpan perasaan itu dalam dirinya, yang kalau diutarakan akan berbunyi, "Derajat kalian lebih rendah dan hina. Anda tidak dapat mengelola 20 Agen di kepala Anda

Dia benar sekali. Saya ingin mengambil konsep ini lebih benar-benar terpisah, karena itu bukan masalah peraturan diri, tapi arsitektur。

Ada ungkapan di meja bundar itu yang hampir saya katakan, dan selalu ada dalam pikiran saya: menjalankan beberapa agen tidak berarti ada satu lagi Anda di dunia。

Orang tidak menghitung asimetris

Ada asimetris tersembunyi di Agen mengalir。

Mulai Agen sangat murah. Anda hanya perlu mengetuk keyboard atau menulis Prompt. Tapi itu tidak murah untuk menyelesaikan cincin Agen. Ini harus diperiksa apakah kembali benar dan ulang koordinat dengan perubahan Agen lain。

Orang ini adalah kau. Dan kau hanya punya satu。

Bulan lalu, saya menulis bagian dari masalah ini dalam batas atas Parallel Anda, berfokus pada jenis kecemasan lingkungan yang Anda tidak tahu benang paralel mana yang gagal diam-diam. Artikel ini tentang struktur di balik biaya ini。

Dan ketika Anda mulai melihat Agen sebagai sistem kogenerasi, Anda menyadari bahwa manusia hanyalah komponen dari sistem. Komponen serial yang lambat。

Kau sumber daya satu arah

Jika Anda telah menulis kode simultan, Anda sudah memiliki naluri untuk memahaminya. Hanya saja kau menggunakan insting itu di tempat yang salah。

Python memiliki kunci penerjemah global, yaitu GIL. Anda dapat membuat beberapa thread, tetapi pada saat yang sama hanya ada satu thread untuk mengeksekusi bytes Python karena mereka harus mendapatkan kunci ini terlebih dahulu。

Kau Gil agen AI-mu。

Mereka semua bisa berlari bersamaan. Tapi selama pekerjaan mereka membutuhkan pemahaman yang tulus dari arsitektur sistem atau resolusi konflik konsolidasi, kunci harus diambil. Dan hanya ada satu kunci yang tersisa darimu。

Hukum Amdal membuat hal ini sangat tepat: puncak percepatan yang dihasilkan dari paralel tergantung pada bagian dari pekerjaan yang masih harus dilakukan secara bersamaan. Jika ada banyak hal yang tidak dapat Anda lakukan secara paralel, tidak peduli seberapa banyak Anda dimasukkan ke dalam inti, Anda akan berakhir dengan langit-langit keras。

Dalam pengembangan Agen, bagian serial ini adalah penghakiman。

Memulai 8 Agen tidak mempercepat waktu penilaianmu. Ini hanya akan membuat antrian menunggu untuk Anda lebih lama。

Ini adalah fakta lama dalam teknik performance, tetapi banyak orang masih terkejut bahwa mengoptimalkan non-bottleneck dan tidak meningkatkan keseluruhan melalui put. Anda hanya menumpuk lebih banyak pekerjaan yang belum selesai di depan botol。

Menambahkan Agen untuk optimasi adalah bahwa bagian yang tidak terikat oleh itu. Hambatan yang sebenarnya adalah link peninjauan, dan sistem melalui adalah jumlah yang persis sama dari penetapan。

Pajak adalah kesenjangan struktural antara kapasitas produktif Agen dan apa yang Anda benar-benar dapat bergabung. Hal ini terjadi ketika Anda mendapatkan satu arah sumber daya untuk mengelola sistem kogenerasi。

Ini tidak akan memecahkan langit-langit struktural

Dan di atas meja itu saya berkata, "Saya tidak pernah merasa seefisien ini dalam cara saya, tapi saya tidak pernah begitu lelah。

Kedua perasaan itu benar-benar nyata dan berasal dari alasan yang sama。

Ada sumber yang sangat spesifik dari kelelahan ini: ini adalah perasaan untuk terus menekan prosesor serial untuk 100%, tanpa memberikan tambahan waktu。

Setiap kali Anda melihat kembali pada Agen yang keluar dari pikiran Anda, Anda membayar untuk switch konteks. Kau harus membersihkan otakmu dan mengisi bahasa lain dari awal。

CPU DAPAT MELAKUKAN INI DALAM MIKRODETIK, BAHKAN SEHINGGA ARSITEK AKAN MENCOBA UNTUK MENGHINDARI SERING BERALIH. DAN ITU AKAN MEMBAWA ANDA BEBERAPA MENIT UNTUK MENYELESAIKAN, DAN ANDA TIDAK AKAN PERNAH DAPAT MENYEMPURNAKAN KONTEKS。

5 Agen tidak menggandakan beban kerja lima kali. Ini adalah lima waktu cold- mulai konteks reload, ditambah proses otak yang terus di belakang panggung, dan Anda terus-menerus khawatir tentang yang Agen Anda harus memeriksa sekarang。

Anda tidak dapat memecahkan batasan struktural dengan "lebih banyak usaha". Pajak ini selalu dibayar。

Jika Anda mencoba untuk mendorongnya, itu akan berakhir dalam bentuk lain: baik kode menjadi dangkal, atau Anda memasuki keadaan "menyerah kognitif" - karena pembentukan penilaian Anda sendiri begitu membosankan bahwa Anda hanya menerima kode ditulis oleh Agen。

Entah Anda membayar pajak atas inisiatif Anda sendiri atau biarkan perlahan-lahan menghancurkan pemahaman Anda tentang sistem Anda dalam gelap。

Mendesain perhatianmu seperti sistem desain

Jadi, Anda harus menganggap perhatian Anda sebagai sumber daya yang langka kolusi。

Anda tidak akan melihat botol ketika Anda merancang sistem yang didistribusikan. Nah, berikan otak Anda rasa hormat yang sama。

Berikut adalah beberapa metode yang benar-benar bekerja untuk saya:

Memperluas tim Agen menurut kemampuan akses, tidak sesuai dengan kemampuan UI。

Sebuah sistem kogenerasi yang baik menggunakan mekanisme kontra-tekanan untuk menghindari pertumbuhan antrian tak berujung. Produsen perlu memperlambat agar cocok dengan kapasitas konsumen。

Nomor Agen Anda adalah produser, kemampuan Anda adalah konsumen. Nomor yang benar dari agen paralel harus nomor nomor Anda dapat serius menyelesaikan tinjauan kode. Bagi kebanyakan orang, ini biasanya angka yang sangat rendah。

Alat AI pasti akan senang untuk membuat Anda memulai 20 Agen, tapi itu hanya fungsi UI, tidak mengatakan Anda benar-benar memiliki kemampuan untuk mengelola mereka。

Untuk klasifikasi tugas。

Ketika Richard bertanya bagaimana menangani hal ini, aku menyebutkan itu. Aku akan membagi misi menjadi dua tumpukan。

Yang pertama adalah pekerjaan relatif independen, dan saya bersedia untuk menyerahkannya kepada Agen, yang berjalan di belakang awan. Tugas-tugas ini dapat dilakukan secara berbeda, biasanya hanya sekali di gerbang terakhir。

yang kedua adalah tugas yang rumit, dan pekerjaan yang sebenarnya adalah penghakiman. seperti bug aneh, atau desain arsitektur。

Kesalahan terbesar adalah mencoba untuk paralel kategori kedua tugas. Berurusan dengan beberapa tugas kompleks dalam paralel tidak akan memperluas keluaran Anda, tetapi hanya akan memungkinkan kunci untuk diperjuangkan berulang-ulang, dan akhirnya semua hasil akan memburuk。

ulasan batch。

Setiap tombol konteks akan dikenakan biaya banyak. Hasil dari duduk sekali dan untuk semua jauh lebih murah daripada melihat satu, melakukan sesuatu yang lain, mulai dingin dan menonton yang lain。

Beri Agen tali panjang ditarik. Biarkan pekerjaan menumpuk sedikit dan kemudian memperlakukannya sebagai campuran。

Gunakan kunci ini untuk menghakimi。

Jangan sia-siakan otakmu pada sesuatu yang bisa dibuktikan oleh mesin. Biarkan Agen menulis tes yang lulus, atau menghasilkan cuplikan layar。

Biarkan mereka membuktikan diri bahwa 80% dari bagian kering tapi dapat diverifikasi. Jadi, perhatian langka Anda hanya perlu dihabiskan pada 20 persen dari apa yang benar-benar perlu penilaian manusia。

Lindungi waktu serimu。

Bottlenecks mengambil waktu terbaik Anda, bukan sisa puing-puing antara beberapa Agen cek。

Kadang-kadang, langkah yang paling kuat adalah untuk mematikannya sepenuhnya: untuk mematikan komputer yang diisi dengan Agen, untuk fokus pada satu masalah dan untuk memegang kunci tegas di seluruh proses。

Organisasi bukanlah pekerjaan. Ini hanya biaya sekitar pekerjaan。

Aja menunjukkan bahwa kapasitas arsitektur sekarang adalah keterampilan yang paling mendesak: Anda perlu tahu apa yang benar untuk Agen dan apa yang terlalu besar untuk itu。

Saya ingin menambahkan bahwa Anda adalah bagian dari sistem. Anda membayar perhatian ke diketahui, volume rendah kawanan. Sistem ini baik menghormati jumlah itu atau akan memotong dengan diam-diam menurunkan standar Anda。

Sibuk bukan berarti produktif

Hal ini sangat penting karena pola kegagalan ini hampir tidak terlihat oleh Anda。

Dua puluh agen berjalan akan memberikan rasa produktivitas. Dasbor penuh, semuanya bergerak. Tapi ada dekopling antara perasaan ini dan konsolidasi aktual dari kode berkualitas tinggi ke dalam cabang utama。

Anda bisa sampai ke batas, tapi ada sedikit output nyata. Keduanya hampir identik dalam hal pengalaman internal。

Ciera mengacu pada Margaret- Anne Storey apos; s studi utang. Kita berbicara tentang utang teknis dan tentang utang kognitif。

Kegagalan untuk membayar pajak terstruktur akan memungkinkan Anda untuk mengumpulkan kedua jenis utang。

Anda menggabungkan sesuatu Anda tidak benar-benar membaca. Model pikiranmu untuk perpustakaan kode benar-benar ketinggalan jaman. Pertanyaan-pertanyaan ini tidak akan di dasbor hari ini. Dan mereka akan muncul saat lingkungan produksi rusak -- dan kemudian Anda melihat sistemnya dan tiba-tiba Anda menyadari bahwa Anda tidak tahu cara kerjanya。

Jadi, kesimpulan yang sebenarnya adalah bahwa memulai Agen bukanlah kemampuan. Siapapun dapat menjalankan 20。

Kemampuan sebenarnya adalah merancang sistem di sekitar sumber daya serial yang tidak dapat dikloning dan tidak dapat disinkronkan。

Sumber daya ini adalah fokus Anda。

Mendesain seperti setiap komponen kritis yang tergantung pada dalam lingkungan produksi。

[Terkekeh]Tautan Asli]