Selamat Datang di AI diterjemahkan, Perusahaan yang cepatBuletin mingguan Google menguraikan berita paling penting di dunia AI. Anda dapat mendaftar untuk menerima buletin ini setiap minggu di sini.
Model ‘supersizing’ mungkin membentur tembok
Peningkatan kecerdasan yang mengesankan dari model-model besar seperti GPT-4 dari OpenAI dan Claude dari Anthropic terjadi setelah para peneliti menemukan bahwa dengan meningkatkan ukuran model dan melatih mereka dengan lebih banyak data dan daya komputasi yang lebih besar, mereka dapat memperoleh kecerdasan secara bertahap dan dapat diprediksi. kali Pemahaman tersebut telah menghasilkan beberapa chatbot dan asisten pengkodean yang mengesankan.
Pertanyaan besarnya sekarang adalah seberapa jauh pendekatan “supersizing” akan membawa para peneliti menuju kecerdasan umum buatan. Faktanya, salah satu pendiri OpenAI yang baru keluar, Ilya Sutskever, baru-baru ini mengatakan kepada Reuters bahwa Zig siap untuk melakukan penskalaan besar-besaran. Demikian pula, investor miliarder dan akselerator Marc Andreessen mengatakan kepada Ben Horowitz di podcastnya bahwa peneliti AI yang dia ajak bicara telah mencapai skala besar.
“Jika Anda melihat peningkatan dari GPT-2 ke GPT-3 menjadi 3,5, dan kemudian membandingkannya dengan 3,5 hingga 4, Anda tahu bahwa kami benar-benar melambat dalam hal jumlah peningkatannya,” kata Horowitz.
Dan keuntungan dari penskalaan menjadi lebih mahal, jelasnya. “Hal yang perlu diperhatikan adalah pertumbuhan GPU sebanding, jadi kami meningkatkan GPU pada tingkat yang sama, namun kami tidak mendapatkan peningkatan kecerdasan dari hal tersebut.” Pra-pelatihan model besar memerlukan biaya hingga $100 juta, dan CEO Anthropic Dario Amodei mengatakan jumlah tersebut bisa mencapai miliaran dolar dalam waktu dekat. Dan, tentu saja, GPU Nvidia tersebut mahal—chip H200 baru berharga hingga $40.000—dan permintaannya tinggi.
Beberapa peneliti AI mengatakan kepada saya bahwa penelitian sedang beralih dari peningkatan daya komputasi ke fokus pada komposisi dan kualitas data pelatihan. Ketika sebuah perusahaan AI mengumpulkan kumpulan data untuk melatih model baru, sumbernya berasal dari ribuan kontraktor, penerbit, dan penyedia data khusus domain seperti data layanan kesehatan. Ia juga mempekerjakan dokter, pengacara, dan pakar lainnya untuk menambahkan label pakar pada data. Perusahaan juga mencari penyedia data sintetis untuk mengisi kesenjangan dalam korpus pelatihan.
Yang lebih penting lagi, para peneliti sedang mencari tempat-tempat baru di luar proses pelatihan untuk menambah daya komputasi. Seorang peneliti OpenAI yang mengerjakan model o1 baru perusahaan mengatakan kepada saya bahwa timnya menghabiskan banyak daya komputasi selama inferensi, ketika model sudah dilatih dan diterapkan serta memproses kueri pengguna. Untuk pertanyaan yang sulit dan banyak langkah, model dilatih dengan cara yang lebih manusiawi, coba-coba (mengikuti alur pemikiran yang menjanjikan, gagal, mundur, mencoba sesuatu yang lain), katanya. Model ini menyimpan dan memproses ulang semua data dari proses tersebut, yang memerlukan banyak daya komputasi.
Tidak semua orang setuju bahwa penskalaan brute force menyebabkan hasil yang semakin berkurang. Beberapa orang berpendapat bahwa masih terlalu dini untuk mengatakannya, karena kita belum melihat ukuran dan kinerja model GPT-5 OpenAI yang akan datang atau model Grok-3 yang akan datang dari xAI. Jika model-model tersebut memerlukan biaya pelatihan yang jauh lebih besar dibandingkan model-model sebelumnya dan memberikan peningkatan intelijen yang tidak mengesankan, maka industri ini akan menghadapi titik perubahan.
Apakah Trump dan Musk berniat memecat, menugaskan kembali, dan merombak Pentagon?
Seperti yang dijanjikan, Presiden terpilih Donald Trump telah menunjuk Elon Musk (bersama dengan Vivek Ramaswamy) untuk ikut memimpin lembaga pemerintah baru yang disebut Departemen Efisiensi Pemerintahan (DOGE).
Sejauh ini, tidak ada indikasi bahwa Pentagon dapat dikecualikan dari perubahan yang disarankan oleh Musk dan Ramaswamy. Ini mungkin termasuk penembakan massal. Trump punya Dia menelepon Mengurangi hingga 50.000 pekerjaan di lembaga-lembaga pemerintah dan mengganti banyak dari mereka dengan loyalis Trump. Departemen Pertahanan memiliki 24.000 personel sipil dan militer.
Pekerjaan DOGE mempengaruhi perusahaan-perusahaan Silicon Valley dalam banyak hal. Peraturan mungkin dibatalkan dan melumpuhkan kemampuan pemerintah untuk menegakkan peraturan yang masih berlaku (misalnya, Komisi Perdagangan Federal mungkin kehilangan kemampuannya untuk mengajukan kasus antimonopoli). Hal ini juga mempengaruhi hubungan Silicon Valley dengan Pentagon, yang terus membaik seiring dengan upaya perusahaan pertahanan untuk membangun basis industri pemasok teknologi dan AI. Lembah ini juga bisa dibilang menyambut gagasan menjual teknologi ke pertahanan dalam lima tahun terakhir Proyek Maven meledak Di Google. Namun hal ini masih dalam proses. Berikut penjelasan mantan CEO Google dan investor teknologi pertahanan Eric Schmidt kepada saya pada tahun 2021:
“Membentuk kembali Pentagon sesuai dengan citra Silicon Valley, secara sederhana, merupakan tantangan pemerintah-swasta yang lebih sulit dibandingkan Uber dan Lyft yang mengendalikan komisi taksi kota. Anda harus menganggap militer sebagai sebuah birokrasi besar yang telah memiliki hubungan dengan para pemimpin dan mereka semua hidup dalam simbiosis yang masuk akal bagi mereka.
Dimulai dengan Menteri Pertahanan Ash Carter Pada tahun 2010-an, Pentagon melakukan beberapa upaya untuk memodernisasi praktik pengadaan teknologinya dengan tujuan mempercepat pendanaan untuk teknologi pertahanan baru dan memberikan fleksibilitas kepada pemasok teknologi untuk menentukan kemampuan produk. Namun upaya ini hanya menemui keberhasilan yang terbatas. Kurang dari 1% Tahun lalu, kontrak Pentagon senilai $411 miliar diberikan kepada perusahaan teknologi pertahanan yang didukung ventura.
Bisakah Musk membawa perubahan budaya yang luas di Pentagon? (Perusahaan-perusahaannya telah menjadi pemasok utama bagi badan-badan pertahanan dan intelijen AS.) Ada tanda-tanda yang ingin ia coba. Pada malam pemilihan dia Dia men-tweet Kepada Palmer Luckey dari Anduril: “Membuka Departemen Pertahanan/Intel bagi perusahaan wirausaha seperti milik Anda adalah hal yang penting. Bayar untuk hasil, bukan dokumen persyaratan! “
Mungkin dia bermaksud melakukannya dengan “efisiensi” bumi hangus yang sama seperti yang dia bawa ke Twitter pada tahun 2022. Musk memberhentikan 80% tenaga kerja perusahaan, yang menyebabkan penurunan drastis dalam regulasi konten dan kesopanan umum, serta penghapusan pembayaran kepada pengiklan.
Ini adalah salah satu kekhawatiran Pentagon. Trump punya Dinominasikan Pete Hegseth, Rubah & Teman Seorang rekan tuan rumah dan dokter hewan Irak dengan sedikit pengalaman kepemimpinan militer menjabat sebagai menteri pertahanannya. Tim transisi Trump juga dilaporkan sedang mempertimbangkan perintah eksekutif “Papan prajurit“Pensiunan personel militer yang meninjau jenderal bintang tiga dan empat, dan merekomendasikan memecat mereka yang dianggap tidak layak untuk memimpin. Presiden terpilih telah berulang kali menyebut jenderal AS “terbangun” dan “lemah.”
Apakah Tiongkok akan beralih ke bidang robotika?
Tiongkok tertinggal dibandingkan AS dalam pengembangan model dasar AI yang besar, namun Tiongkok unggul dalam pembuatan robot. Perusahaan-perusahaan Tiongkok tampaknya membuat robot dengan kegunaan dan pemahaman dunia yang jauh lebih baik dibandingkan robot dari perusahaan-perusahaan AS seperti Figure, Tesla, dan Boston Dynamics.
Kasus terbaru adalah itu Robot Robotika Dalam Dapat berguling atau memanjat dengan dua atau empat kaki, dengan kelincahan yang cukup untuk menavigasi lereng pegunungan berbatu dengan cepat. DEEP Robotics, yang berlokasi di Hangzhou, Provinsi Zhejiang, terutama memasok robot berkaki empat (mirip dengan Boston Dynamics’ Titik robot anjing) untuk memantau atau mengamankan infrastruktur atau memasuki lingkungan berbahaya yang tidak dapat dimasuki manusia. Beberapa orang di tim peneliti perusahaan memperoleh gelar PhD di universitas-universitas Tiongkok, sementara yang lain memperoleh gelar PhD di universitas-universitas terkemuka di AS, termasuk NYU, University of Illinois Urbana-Champaign, dan Georgia Tech.
Faktanya, laporan mengatakan bahwa Tiongkok memiliki banyak sekali talenta robotik. Perusahaan-perusahaan Tiongkok menerima lebih banyak bantuan dari pemerintah mereka dibandingkan perusahaan-perusahaan AS. Sebagai bagian dari fusi militer-sipil Tiongkok strategiPerusahaan AI dan robotika Tiongkok bisa mendapatkan pendanaan langsung dari pemerintah. Sebagai imbalannya, pemerintah mendapatkan teknologi canggih untuk digunakan dalam pertahanan.
Lebih banyak cakupan AI dari Perusahaan yang cepat:
- Mozilla kini menawarkan data pelatihan suara AI gratis dalam 180 bahasa
- AI yang sangat berbau ini dapat mencium bau sepatu kets palsu—dan itu baru permulaan
- 9 Cara AI Dapat Menyederhanakan Pekerjaan Perbankan Anda
- Bisakah terapis AI menyelamatkan kita dari krisis kesehatan mental global?
Ingin pelaporan eksklusif dan analisis tren tentang teknologi, inovasi bisnis, masa depan dunia kerja, dan desain? Mendaftar untuk Perusahaan yang cepat Premi.
