Yeni bir teknik, bir makine öğrenimi modelinin akıl yürütmesini bir insanınkiyle karşılaştırır, böylece kullanıcı modelin ( yapay zeka ) davranışındaki kalıpları görebilir.
Makine öğreniminde, bir modelin neden belirli kararlar verdiğini anlamak, genellikle bu kararların doğru olup olmadığı kadar önemlidir. Örneğin, bir makine öğrenimi modeli, bir cilt lezyonunun kanserli olduğunu doğru bir şekilde tahmin edebilir, ancak bunu klinik bir fotoğrafta alakasız bir işaret kullanarak yapabilirdi.
Uzmanların bir modelin muhakemesini anlamalarına yardımcı olacak araçlar mevcut olsa da, çoğu zaman bu yöntemler aynı anda yalnızca bir karar hakkında fikir verir ve her birinin manuel olarak değerlendirilmesi gerekir. Modeller genellikle milyonlarca veri girişi kullanılarak eğitilir, bu da bir insanın kalıpları tanımlamak için yeterli kararı değerlendirmesini neredeyse imkansız hale getirir.
Şimdi, MIT ve IBM Research’teki araştırmacılar, bir makine öğrenimi modelinin davranışını hızlı bir şekilde analiz etmek için bir kullanıcının bu bireysel açıklamaları toplamasını, sıralamasını ve sıralamasını sağlayan bir yöntem oluşturdu. Paylaşılan İlgi adı verilen teknikleri, bir modelin akıl yürütmesinin bir insanınkiyle ne kadar iyi eşleştiğini karşılaştıran ölçülebilir ölçümler içerir.
Paylaşılan İlgi, bir kullanıcının bir modelin karar verme sürecindeki ilgili eğilimleri kolayca ortaya çıkarmasına yardımcı olabilir – örneğin, fotoğraflardaki arka plan nesneleri gibi dikkat dağıtıcı, alakasız özellikler nedeniyle modelin kafası genellikle karışır. Bu içgörüleri toplamak, kullanıcının bir modelin güvenilir ve gerçek dünya durumunda uygulanmaya hazır olup olmadığını hızlı ve nicel olarak belirlemesine yardımcı olabilir.
Görselleştirme Grubunda yüksek lisans öğrencisi olan baş yazar Angie Boggust, “Paylaşılan İlgiyi geliştirirken hedefimiz, modelinizin davranışının ne olduğunu daha küresel düzeyde anlayabilmeniz için bu analiz sürecini ölçeklendirebilmektir” diyor. Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL).
Boggust, makaleyi, her ikisi de IBM Research’ten olan Benjamin Hoover ve kıdemli yazar Hendrik Strobelt’in yanı sıra, Görselleştirme Grubuna liderlik eden bilgisayar bilimleri yardımcı doçenti danışmanı Arvind Satyanarayan ile birlikte yazdı. Bildiri, Bilgisayar Sistemlerinde İnsan Faktörleri Konferansı’nda sunulacaktır.
Boggust, bu proje üzerinde IBM’de Strobelt’in danışmanlığında bir yaz stajı sırasında çalışmaya başladı. MIT’ye döndükten sonra Boggust ve Satyanarayan projeyi genişletti ve tekniğin pratikte nasıl kullanılabileceğini gösteren vaka incelemelerinin uygulanmasına yardımcı olan Strobelt ve Hoover ile işbirliğini sürdürdü.
İnsan-AI hizalaması
Paylaşılan İlgi, bir makine öğrenimi modelinin belirginlik yöntemleri olarak bilinen belirli bir kararı nasıl verdiğini gösteren popüler tekniklerden yararlanır. Model görüntüleri sınıflandırıyorsa, belirginlik yöntemleri, karar verirken model için önemli olan bir görüntünün alanlarını vurgular. Bu alanlar, genellikle orijinal görüntünün üzerine yerleştirilmiş, belirginlik haritası adı verilen bir tür ısı haritası olarak görselleştirilir. Model, görüntüyü köpek olarak sınıflandırdıysa ve köpeğin kafası vurgulandıysa, bu, görüntünün bir köpek içerdiğine karar verdiğinde model için bu piksellerin önemli olduğu anlamına gelir.
Paylaşılan İlgi, belirginlik yöntemlerini temel gerçek verileriyle karşılaştırarak çalışır. Bir görüntü veri setinde, yer gerçeği verileri, tipik olarak, her görüntünün ilgili kısımlarını çevreleyen, insan tarafından oluşturulan ek açıklamalardır. Önceki örnekte, kutu fotoğraftaki tüm köpeği çevreliyordu. Bir görüntü sınıflandırma modelini değerlendirirken, Paylaşılan İlgi, ne kadar iyi hizalandıklarını görmek için aynı görüntü için model tarafından oluşturulan belirginlik verilerini ve insan tarafından oluşturulan yer gerçeği verilerini karşılaştırır.
Teknik, bu hizalamayı (veya yanlış hizalamayı) ölçmek için birkaç metrik kullanır ve ardından belirli bir kararı sekiz kategoriden birine ayırır. Kategoriler, mükemmel insan hizalıdan (model doğru bir tahmin yapar ve belirginlik haritasındaki vurgulanan alan, insan tarafından oluşturulan kutuyla aynıdır) tamamen dikkati dağılmışa (model yanlış bir tahmin yapar ve herhangi bir görüntü kullanmaz) gamı çalıştırır. insan tarafından oluşturulan kutuda bulunan özellikler).
Yelpazenin bir ucunda, modeliniz bir insanın verdiği kararla aynı nedenle karar verdi ve spektrumun diğer ucunda, modeliniz ve insan bu kararı tamamen farklı nedenlerle veriyor. Bunu, veri kümenizdeki tüm görüntüler için nicelleştirerek, bu nicelemeyi onları sıralamak için kullanabilirsiniz,” diye açıklıyor Boggust.
Teknik, görüntü bölgeleri yerine anahtar kelimelerin vurgulandığı metin tabanlı verilerle benzer şekilde çalışır.
Araştırmacılar, bir makine öğrenimi modelinin akıl yürütmesinin bir insanınkiyle ne kadar iyi eşleştiğini karşılaştırmak için ölçülebilir ölçütler kullanan bir yöntem geliştirdi. Bu görüntü, modelin görüntüyü sınıflandırmak için kullandığı (turuncu çizgiyle çevrelenmiş) her bir resimdeki pikselleri ve bunun bir insan tarafından tanımlandığı gibi (sarı kutuyla çevrili) en önemli piksellerle nasıl karşılaştırıldığını gösterir. Kredi: Araştırmacıların izniyle
Hızlı analiz
Araştırmacılar, Paylaşılan İlgi Alanının hem uzman olmayanlar hem de makine öğrenimi araştırmacıları için nasıl yararlı olabileceğini göstermek için üç vaka çalışması kullandılar.
İlk vaka çalışmasında, bir dermatoloğun cilt lezyonlarının fotoğraflarından kanseri teşhis etmeye yardımcı olmak için tasarlanmış bir makine öğrenimi modeline güvenip güvenmeyeceğini belirlemesine yardımcı olmak için Shared Interest’i kullandılar. Paylaşılan İlgi, dermatoloğun modelin doğru ve yanlış tahminlerinin örneklerini hızla görmesini sağladı. Sonunda dermatolog, gerçek lezyonlardan ziyade görüntü artefaktlarına dayalı çok fazla tahmin yaptığı için modele güvenemeyeceğine karar verdi.
“Buradaki değer, Paylaşılan İlgiyi kullanarak, bu kalıpların modelimizin davranışında ortaya çıktığını görebiliyoruz. Yaklaşık yarım saat içinde dermatolog, modele güvenip güvenmeme ve dağıtma konusunda kendinden emin bir karar verebildi,” diyor Boggust.
İkinci vaka çalışmasında, Ortak İlgi Alanının modelde önceden bilinmeyen tuzakları ortaya çıkararak belirli bir belirginlik yöntemini nasıl değerlendirebileceğini göstermek için bir makine öğrenimi araştırmacısıyla çalıştılar. Teknikleri, araştırmacının, tipik manuel yöntemlerin gerektirdiği zamanın çok küçük bir bölümünde binlerce doğru ve yanlış kararı analiz etmesini sağladı.
Üçüncü vaka çalışmasında, belirli bir görüntü sınıflandırma örneğinde daha derine inmek için Paylaşılan İlgi Alanını kullandılar. Görüntünün yer gerçeği alanını manipüle ederek, belirli tahminler için hangi görüntü özelliklerinin en önemli olduğunu görmek için bir olasılık analizi yapabildiler.
Araştırmacılar, Shared Interest’in bu vaka incelemelerinde ne kadar iyi performans gösterdiğinden etkilendiler, ancak Boggust, tekniğin yalnızca dayandığı belirginlik yöntemleri kadar iyi olduğu konusunda uyarıyor. Bu teknikler önyargı içeriyorsa veya yanlışsa, Ortak Çıkar bu sınırlamaları devralır.
Gelecekte, araştırmacılar, özellikle tıbbi kayıtlarda kullanılan tablo verileri olmak üzere farklı türdeki verilere Ortak İlgi uygulamak istiyor. Ayrıca, mevcut belirginlik tekniklerini geliştirmeye yardımcı olmak için Paylaşılan İlgi’yi kullanmak istiyorlar. Boggust, bu araştırmanın, makine öğrenimi modeli davranışını insanlar için anlamlı olacak şekilde nicelleştirmeye çalışan daha fazla çalışmaya ilham vermesini umuyor.
