HDTECH
Kategoriler

Makine öğreniminin dilini öğrenmek

Makine öğreniminin dilini öğrenmek

Yüksek riskli senaryolarda derin öğrenme modellerini kullanırken araştırmacılar, bu modellerin nasıl çalıştığını anlamak istiyor. Günümüzde bu, modelin ne bildiğini ve pratikte nasıl davranacağını kavramak için iç işleme düğümlerinden oluşan son derece karmaşık bir ağın çözülmesini gerektiriyor.

Jacob Andreas ise modellerin kendilerini açıklamasını tercih ediyor.

Yeni kadroya dahil olan doçent profesör, yapay zeka modellerinin eğitim verilerinden öğrendiklerini insanların anlayabileceği bir dilde doğru bir şekilde iletebilecekleri teknikler geliştiriyor.

“İç mekanizmalarda neler olup bittiğini anlamak için tüm bu dış araçları kullanmak yerine, belki de modelleri kendileri hakkında doğru bir şekilde konuşacak şekilde eğitebiliriz,” diyor Andreas. Kendisi, Elektrik Mühendisliği ve Bilgisayar Bilimleri (EECS) Bölümü’nde doçent profesör ve Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı’nın (CSAIL) bir üyesi.

Jacob Andreas is pictured with graduate students (left to right) Alan Sun, Linlu Qiu, and Itamar Pres.

Görsel Kaynağı: MIT News Research (Elektronik ve Çipler)

“Öğrencilere, tüm bu teknolojinin iç mekanizmalarının nasıl çalıştığına dair gerçekten derin bir temele sahip olmanın, onu anlamalarının tek yolu olduğunu ve herkesin bir kodlama aracısına erişebildiği bir dünyada onları farklı kılacağını vurgulamaya çalışıyorum,” diyor Andreas.

Kredi: Bryce Vickmark

Nihayetinde kendisi ve ekibi, insanların daha doğru ve sağlam, amaçlanan uygulamaları için daha uygun derin öğrenme modelleri tasarlamasına yardımcı olmak istiyor.

“Eskiden sistemleri sadece parametrelerine bakarak ve bunların mantıklı olup olmadığını değerlendirerek hata ayıklardık. Şimdi ise bu son derece karmaşık sinirsel hesaplamaları bizim için çevirebilecek ‘zihin okuma araçlarına’ ihtiyacımız var, çünkü bu, biz insanların konuşmayı bildiği bir dilde değil,” diyor.

Dile olan sevgi

Andreas’ın dile olan ilgisi küçük yaşta filizlendi. San Francisco Körfez Bölgesi’nde büyüyen bir çocuk olarak eline geçen her kitabı hevesle okuyordu.

Aile dostlarından birinin ona verdiği kitaplardan biri, ana karakterin günü kurtarmak için bir bilgisayar sistemine sızdığı önemli bir sahne içeriyordu.

Bu, bilgisayarlara olan ilgisini uyandırdı. Birkaç yıl sonra babası, Andreas’ın evdeki bilgisayarlarında çalıştırabileceği basit bir BASIC Motoru getirdi ve o da kendini bilgisayar programlama dünyasına kaptırdı.

Andreas, Columbia Üniversitesi’nde lisans eğitimi sırasında bilgisayar bilimi bölümünü seçti ancak kariyerini araştırmacı, yazılım mühendisi veya bir startup çalışanı olarak sürdürmek istediğinden emin değildi.

Arkadaşları fakülte laboratuvarlarındaki araştırma projelerine katılmıştı, bu yüzden Andreas da denemeye karar verdi.

“Bilgisayar bilimleri bölümünde yapay zeka ile ilgili herhangi bir şey üzerinde çalışan herkese toplu e-posta gönderdim ve doğal dil işleme fakültesi bana ilk yanıt veren oldu. Böylece şu anki alanıma geldim,” diyor.

Columbia Üniversitesi’nde Vikram S. Pandit Bilgisayar Bilimi Profesörü olan Michael Collins’in laboratuvarında çalışan Andreas, makine çevirisi üzerine bir lisans tez projesi tamamladı. Projesi, dilin anlamını temsil etmek için kullanılan mevcut istatistiksel teknikleri, metin parçalarını çevirebilen daha güçlü yapay zeka sistemlerine uyarlamayı içeriyordu.

“Düşünmenin nasıl çalıştığı veya dünyanın nasıl modelleneceği gibi daha derin soruların, o dönemde yapay zeka araştırmacılarının üzerinde çalıştığı diğer görevlere kıyasla dil işleme problemlerinde daha yüzeye yakın olduğunu her zaman hissettim,” diye anımsıyor.

Yer sarsıcı bir değişim

Derin soruları keşfetmeye devam etmek isteyen Andreas, akademik bir araştırmacı olarak kariyer yapmak için Kaliforniya Üniversitesi, Berkeley’de yüksek lisans eğitimine başladı.

Doktora çalışmalarına başlamadan önce İngiltere’deki Cambridge Üniversitesi’nde bir yıl boyunca yüksek lisans derecesi aldı. Bu tarihi ortamda, hesaplamalı çeviri problemleri üzerinde çalışırken dil öğreniminin doğası üzerine düşünmekten ilham aldı.

Bu çalışmalar, Berkeley’de bilgisayar bilimi profesörü Dan Klein’ın laboratuvarına katıldığında araştırmalarına yön verdi.

Andreas, sinir ağlarının yükselişe geçtiği bir dönemde çalışmalarına başladı. Doğal dil işleme alanı, istatistiksel yöntemlerden bu yeni derin öğrenme dünyasına doğru yer sarsıcı bir değişim yaşıyordu.

İstatistiksel yöntemler metni analiz etmek için şeffaf matematiksel formüller kullanırken, derin öğrenme teknikleri devasa metin verilerinden karmaşık anlamları otomatik olarak öğrenmek için opak algoritmalar kullanıyor.

“Bu modern araç setine geçiş yaparken orada olmak ve tüm bu şeylerin henüz yeni olduğu bir dönemde onları öğrenip icat etmek eğlenceliydi,” diyor Andreas.

Bilgisayar görüşü laboratuvarlarındaki bilim insanlarıyla işbirliği yaparak dil öğrenimiyle ilgili giderek daha karmaşık soruları ele almaya başladı. Birlikte, sistemleri etraflarındaki dünyayı “görmeyi” ve anlamayı öğreterek doğal dil üretmede üstün başarı gösteren yapay zeka sistemleri tasarladılar.

“Bu her şey son derece heyecan vericiydi çünkü hem dil hem de görüntü verileriyle çalışmak için ortak bir araç seti gerçekten yoktu. Sonra birdenbire sinir ağları bize bu ortak dili sağladı,” diye anımsıyor.

Neural modül ağlarının kullanımı üzerine bir tez projesi tamamladı; bu ağlar, nesneleri yerelleştirmek veya mantıksal çıkarım yapmak gibi belirli görevleri yerine getiren küçük sinir ağı parçalarıdır ve daha büyük bir yapay zeka sistemi içinde kullanılır. Ancak MIT’deki grubunun odak noktasını belirleyecek olanlar, tez çalışmasıyla birlikte ele aldığı yorumlanabilirlik ve bir yapay zeka modelinin iç durumlarının doğal dilde tanımlanması gibi daha spekülatif projeler oldu.

Fakülte odağı

Berkeley’deki laboratuvarından doğan Semantic Machines adlı startup’ta bir yıl geçirdikten sonra Andreas, 2019’da MIT fakültesine katıldı.

“Bunun, yapay zeka araştırmalarının merkezinde olmak ve tüm bu harika, köklü isimlerle işbirliği yapmak, ama aynı zamanda yeni bir şeyler yapmak ve makine öğreniminin modern çağının nasıl görüneceğini anlamak için fantastik bir fırsat gibi hissettirdi,” diyor.

Grubu iki ana alana odaklanıyor. İlk olarak, bu modellerin bilgi öğrenip işlerken kullandıkları algoritmaları anlamak için büyük dil modellerinin bilimini inceliyorlar.

Geliştirdikleri araçlar, bilim insanlarının ve araştırmacıların eğitilmiş bir modelin gerçek dünyada nasıl davranacağını daha iyi tahmin etmelerine yardımcı oluyor. Örneğin, geliştirdikleri tekniklerden biri, büyük dil modellerini diğer sinir ağlarının içinde neler olup bittiğini bir insanın anlayabileceği bir dilde açıklaması için eğitiyor.

Bu teknikler, devasa bir sinir ağındaki her bilgi işleme düğümüne doğal dilde bir tanım atayabiliyor. Örneğin, bu tanımlardan biri, girdi görüntülerinde “hayvanların yakınındaki çim alanlarını” tanımlayan tek bir düğümü temsil edebilir.

“Bu çalışma, bu modellerin anlamı nasıl temsil ettiğine dair sorduğumuz bir dizi daha üst düzey soru için bir başlangıç noktası görevi görüyor,” diyor.

Diğer yandan ekibi, makine öğrenimi modellerini eğitmek için yeni algoritmalar tasarlıyor ve belirli veri kümelerinin veya örneklerin model davranışının farklı yönlerini nasıl etkileyeceğini tahmin ediyor.

“Bir modeli belirli bir veri kümesiyle eğittiğimizde ne olacağına dair iyi bir bilimsel teorimiz yok. Bu, alan için şu anda büyük bir zorluk,” diyor.

Değişen bir ortam

Yapay zekadaki ilerlemenin hızı, laboratuvarının karşılaştığı en büyük zorluklardan birini oluşturuyor. Andreas, alanın her üç ila beş yılda bir tamamen değiştiğini ve bu yüzden çevik kalmak ve sürekli yeni şeyler öğrenmeye hazır olmak zorunda olduğunu söylüyor.

Aynı ikilem, Andreas’ın ortaklaşa öğrettiği 6.461 ve 6.861 (lisans ve yüksek lisans Doğal Dil İşleme) derslerine de yansıyor. Kendisi ve diğer eğitmenler, en son gelişmelere ayak uydurmak için her yıl dersleri yeniden tasarlamak zorunda kalıyorlar.

Ayrıca, her ödevin bir insan öğrenci yerine büyük bir dil modeli tarafından tamamlanabildiği bir çağda makine öğreniminin teknik kısımlarını öğretmek de zorlayıcı.

“Öğrencilere, tüm bu teknolojinin arka planında nasıl çalıştığına dair gerçekten derin bir temele sahip olmanın, onu anlamalarının tek yolu olduğunu ve herkesin bir kodlama aracısına erişebildiği bir dünyada onları diğerlerinden ayıracağını vurgulamaya çalışıyorum,” diyor.

Andreas’a göre, bu kadar çok değişim varken alanın gelecekte nereye gideceğini tahmin etmek zor. Yorumlanabilirlik üzerine yürüttükleri çalışmanın, yapay zeka ajanları gibi gelişmiş sistemlerin yüksek riskli durumlarda güvenle kullanılabilecek hale getirilmesi için daha da önemli hale geleceğini öngörüyor.

Bu durum, araştırmacıların bilimsel keşiflere yardımcı olabilecek derin öğrenme modelleri tasarlamasıyla özellikle geçerli olacak. Bu modeller, bilim insanlarının henüz tam olarak anlamadığı araştırma laboratuvarlarından gelen devasa ham veri kümeleriyle eğitilecek.

“Bu modellerin, insanların daha önce hiç açıkça yazmadığı konular hakkındaki tüm bu gizli bilgileri nasıl sözlü olarak ifade edebileceklerini bulmak, makine öğrenimi alanında çalışanlar için hem büyük bir zorluk hem de fırsat olacak,” diyor.

Andreas, laboratuvardaki zorluklarla uğraşmanın yanı sıra bir doğa yürüyüşçüsü ve sırt çantalı gezgin olarak kendini zorlamaktan da keyif alıyor. Kaliforniya’daki çocukluğundan beri açık havada zaman geçirmeyi seviyor ve her yaz en az bir veya iki kez sırt çantalı gezilere çıkıyor.

Matematik Bölümü’ndeki bir meslektaşıyla birlikte New Hampshire’daki White Dağları’nda bulunan 4.000 fit yüksekliğindeki tüm zirveleri tırmanarak yavaş ama istikrarlı bir ilerleme kaydediyorlar.

Artık kadro hakkı kazandığına göre Andreas, eski bir hobisine geri dönmeyi dört gözle bekliyor: bir oda korosunda şarkı söylemek. Müziği her zaman sevmiş ve Cambridge Üniversitesi’ndeki zamanı sırasında kilise korolarına ve çan çalmaya büyük bir ilgi duymaya başlamıştı.

Makine öğreniminin dilini öğrenmek
İlginizi Çekebilir: Üç tork ayarına sahip Fanttik S1 Pro elektrikli vidalama makinesi Amazon’da 40 dolara düştü →
Kaynak: NEWS ↗

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir