1990’lı yıllardan başlayarak sayısal fotoğraf kameralarının yaygınlaşması ve özellikle telefonla bütünleşmesi sonucu önceki kuşaklara göre çok daha büyük miktarlarda fotoğraf çekilmeye başlandı. Buna sosyal ağların sağladığı paylaşım olanakları da eklenince elektronik fotoğraf değiş tokuşu internet trafiğinde bir patlamaya yol açtı. Bu şekilde hızla oluşan ekonomik pazar kamera imalatçıları arasında amansız bir yarışı başlattı.
Gerek elektronik ve bilişim mühendisliklerindeki ilerlemeler, gerekse cep telefonu imalatçılarının tetiklediği rekabet ortamı, kamera ve görüntü/imge teknolojilerinde kısa zamanda olağanüstü gelişmelere yol açtı.
Burada bir parantez açıp imge ve görüntü terimlerini açıklamak istiyoruz. Görüntü, bir nesneden ya da bütün bir sahneden yansıyan ışık ışınlarının oluşturduğu ve kamerayla kaydedilen bir görseldir; bunun da en tipik örneği bildiğimiz fotoğraftır. İmge ise gözle görülemeyen nesne ve sahnelerin görüntülenmesini de kapsayan daha genel bir kavram. Nitekim imgeyi, ışık, ses, kuvvet vektörü, manyetik alan değişimi, elektron ışıması gibi fiziksel bir sinyal aracılığıyla algılanan enformasyonun çeşitli imge işleme teknikleri ile gözle görülür, göze hitap eder, bilgi taşıyan bir hale getirilişi olarak tanımlayabiliriz. Bu tür aygıtlara artık kamera demek yerine, imgeleme aygıtı, imge oluşturma düzeni demek daha doğru olur.
Gerek fotoğraf çekimi, gerekse daha genelde imge edinimi teknolojilerinde son yıllardaki önemli gelişmeleri kısa ipuçları halinde bir yazı dizisi içinde vermeyi planladık.
İmge edinim teknolojileri: Doğrudan mı dolaylı mı?
Cep telefonumuzdaki kamerayla çektiğimiz fotoğraflarda olduğu gibi doğrudan görüntüleme yönteminde, nesnelerden ışıyan ya da yansıyan ışınlar ya da daha genelde elektromanyetik dalgalar kameranın fotodedektör dizilimine ulaşır, gelen bu ışığı oluşturan foton akısı foto-algılayıcılarda elektrik yükleri oluşturur; bu yükler sayısallaştırılır ve piksel piksel kaydedilir. Böylece kameranın gördüğü sahne elektronik ortamda bir görüntü dosyasına dönüştürülmüş olur. Bunun ardından elde edilen görüntünün netleştirilmesi, kontrastının artırılması, renk dengelemesi gibi amaçlarla nice nice görüntü iyileştirme yazılımları rol alabilir. Doğrudan imge edinimine örnekler vermek gerekirse, film ve kâğıt tarayıcılarını, fotoğraf makinalarını, televizyon yayınlarını çeken kameraları, anjiyografiyi, sayısal röntgeni, vb. anabiliriz.
Buna karşı, manyetik tınlaşımlı (rezonans) görüntüleme (MRI) dolaylı imge ediniminin tipik bir örneğidir. Nitekim MRI bedenin farklı dokularındaki hidrojen yoğunluğunu yansıtır. Çok kuvvetli ve değişken bir manyetik alan etkisi altında bedendeki hidrojen atomu bağlarının gevşeme salınımları ortaya çıkar ve yüksek frekanslarda dalgalar yayınlanır. Deneğin hemen yakınındaki dikey ve yatay bobinler tarafından algılanan bu elektromanyetik dalgalar, beden koordinat bilgileri de eklenerek ve birtakım işaret işleme algoritmalarından geçirilerek “dolaylı” bir yolla görüntüye dönüştürülmüş olur.
Dolaylı imge ediniminde imge, ışık huzmeleri aracılığıyla oluşmaz; çeşitli fiziksel, kimyasal, biyolojik süreçlerin ürettiği işaretler uygun bir şekilde elektronik işaretlerine dönüştürülüp işlenerek görselleştirilir. Bu amaçla çok çeşitli imge ve işaret işleme teknikleri, yazılımlar ve günümüzde hızla artan oranda yapay öğrenme kullanılır. Dolaylı imge edinimi için örnek teknolojiler olarak, görüntüleme radarları, radyo astronomisi, sismik görüntüleme, MRI, pozitron salım tomografisi, iki foton uyarımlı mikroskopi, atomik kuvvet mikroskobu, akustik kameraları verebiliriz.
Bu yazının devamında doğrudan imge edinimi ile ilgili teknolojileri ele alacağız.
İmgelerde kalitenin evrimi: “Mükemmele doğru”
Doğrudan imge ediniminin temel amacı insan gözünün görebildiği dünyanın kayıt altına alınması, bu kayıtların, yani elektronik imge dosyalarının saklanması, iletilmesi, arşivlenmesi ve depolandıkları veritabanlarında sorgulanabilmesidir. İmge ediniminin aynı zamanda nitelikli olması hedeflenir. İmgenin niteliğinden ne kastedildiği iki şekilde yorumlanabilir. Birinci yorum, elde edilen imgenin insanın çıplak gözüyle gördüğü “gerçekle” yarışacak kadar iyi olmasıdır. İkinci yorum ise, insanların fotoğraflarda yeğlediği netlik, kontrast, renk dağılımı, yapaylıkların olmaması gibi birçok öznel değerlendirme bütününün tatmin edici olmasıdır. Hangi nitelik ölçütünü benimsersek benimseyelim imge niteliği, gerek algılayıcı teknolojilerindeki gelişmeler, gerekse imge işleme algoritmalarındaki ilerlemeler sonucu daima ileriye gidiyor (Şekil 1 ve 2)
Şekil 1 ve 2’de gösterilen bu önemli iyileşmelerin özünde birçok faktör yatıyor. Bunlardan biri çok daha düşük ışık yeğinliklerinde, gürültüden daha az etkilenerek hassas görüntülemeye yol açan algılayıcı teknolojileri; Bir diğer faktör ise, görüntü işleme için daha karmaşık, örneğin, girdileri ağırlık katsayılarıyla çarpmaktan öte girdileri polinomsal, üstel, eşiklemeli vb. işlemlere tabi tutan süzgeçlerdir. Ten rengi bilgisini göz önüne alan yenilikçi iyileştirme algoritmaları bir başka örnek.
Görüntü kalitesini iyileştiren teknolojileri kısaca aşağıda irdeliyoruz.
Akıllı telefon kameraları: “En iyi kamera, yanında olandır” [1]
Bu yazımızın başlığı “Dünyanın En İyi Akıllı Telefon Kameraları” olsaydı, yazının yer aldığı SARKAÇ sayfasının internet tıklanma istatistiklerinin kısa zamanda rekor seviyelere ulaşması şaşırtıcı olmazdı. Günümüzde kamera teknolojilerini irdeleyen her teknik yazı, bu gelişme sürecinin telefon kameraları yarışı sayesinde ivme kazandığından söz edecek, ardından da dünyada ilgili satışlardaki astronomik büyümeyi (Şekil 3) gösterecektir.
Nitekim halen akıllı telefonların yarıştıkları ana parkur kamera parkurudur. Burada yeni kuşak telefonların maliyetinin yaklaşık %20’si kamera araştırma ve geliştirme maliyeti olduğunu vurgulamayı unutmayalım [2]. Cep telefonu kameralarının bu müthiş gelişmeyi nasıl yakaladıkları hakkında birkaç ipucu verelim.
Bu tablo iki şeyi gösteriyor:
-
- Dünyada halen yılda 3,5 milyar kamera üretiliyor, bunların da 1,5 milyarı cep telefonlarında yer alıyor
- İki milyar civarında kamera ise otomotiv, güvenlik, savunma ve havacılık, tıp, endüstriyel otomasyon gibi alanlarda kullanılıyor.
Sayısal fotoğrafçılığın aşamaları
Sayısal fotoğrafçılık, elektronik kamerayla edinilen bir imge dosyası üzerinde, görüntüyü pekiştirici, netleştirici, göze hitap edecek şekilde iyileştirici, çalışmalar olarak tanımlanabilir. Sayısal fotoğrafçılıkta iş süreci şu aşamalardan oluşur (Şekil 4):
a) Sahneyi, arka planı, ışığı, objeyi vb. düşünerek fotoğrafı planlama;
b) Hepsinden tek bir fotoğraf yaratmak üzere bir ya da birden çok, küçük farklılıklar içeren görüntüyü peş peşe yakalama;
c) İmge dosyasını bir görüntü işleme platformuna, örneğin bilgisayar ortamına aktarma; gelişmiş kameralarda bu platform kameranın üstünde olma yolundadır;
d) İmge işleme teknikleri ile yarı-otomatik olarak işleme, niteliğini artırma ve fotoğrafı düzenleme;
e) Fotoğrafı bastırma, sosyal ağlarda paylaşma, arşivleme, bellekte depolama vb.
Yakın zamanda kullanılan sayısal kameralarla karşılaştırılınca, bütün bu sürecin (Şekil 4) “akıllı telefon” ile tek bir aygıtta yapılabilmesi tüketici açısından oldukça etkileyici ve çekici duruyor.
Akıllı telefon kameralarının ve becerilerinin kısa zamanda birkaç sınıf birden atlamalarının arkasında donanımsal ve yazılımsal iyileştirmeler yatıyor.
Donanım, algılayıcı ve elektronik devreler bazında:
-
- Çok daha kapasiteli işlemciler: İmge edinimi ve sonrasında tüm basamaklardaki işlemleri olanaklandıran çok hızlı işlemciler; örnek olarak, 6 kameraya kadar destek veren, 3 kamerayı aynı anda işleyen 108 megapiksel çözünürlükteki imgeleri ve 8K standardında videonun saniyede 30 çerçeve işleyecek hız ve üstünlükte nöral sinyal işlemcilerin ortaya çıkması,
- Daha küçük ama daha çok foton topluyor: Telefonlarda kameranın işgal ettiği yerin boyutlarını zorlamadan daha çok ışık toplayabilen ve foton akısını çok daha verimli şekilde elektriksel işaretlere dönüştüren teknolojiler; örnek olarak, foton verimliliğini %60 seviyesinden %90 seviyesine taşıyan BSI (Back-side Illumination) teknolojisine [3] geçilmiş olması hassas, küçük boyutta ve ucuz görüntü algılayıcı elde edebilmek için önemli bir dönüm noktası olarak kabul edilir.
Yazılım ve imge işleme algoritmaları bazında:
-
- Daha yüksek f-durağı: Peş peşe alınmış çok sayıda pozun (exposure) bir arada işlenmesi sayesinde aynı gözümüzün de görebildiği gibi en loşundan en parlak ışıklı sahneye kadar daha büyük bir aydınlık aralığı elde edebilme, yani yüksek dinamik aralık (HDR) ya da çoklu pozlar sayesinde aynı diyafram açıklığında daha yüksek f-durağı elde etme.
- Hareket kaynaklı bulanıklık artık yok: Elin titremesi, üzerinde bulunulan platformun hareketi, sahnedeki objelerin hareketleri gibi nedenlerden kaynaklanan bulanıklık ve bozulma kusurlarının ardışık karelerdeki aynı sahne noktalarına ait piksellerin hassas bir şekilde takip edilmesi sonucu geri düzeltilmesi; yüksek netlikte, daha temiz, daha gürültüsüz görüntülere olanak tanıyan geçmişteki örneklerine göre daha üstün iyileştirme algoritmalarının
- Doğru ânı yakalama: Anlamsal analizlere dayalı iyileştirmeler; örneğin, pozda gülümseme anını yakalama, otomatik derinlik analizine dayalı önplanı netleştirip arkaplanı estetiğe uygun bulanıklaştırma uygulamaları,
- Fizik yasalarının ötesinde çözünürlük: Süperçözünürlük, tek bir kameranın elde edebileceği algılayıcının ham çözünürlüklerinin çok ötesine çoklu kamera düzenleri ile geçilmesi.
Yeni nesil kameralar : “İnsan gözünün ötesine gitme çabası”
Şu ana kadar konuştuğumuz kamera teknolojileri ağırlıklı olarak insan gözünün ve belleğinin yerine geçmeye çalışan çözümler. Aşağıda önde gelen örnekleri verilen yeni nesil kamera teknolojileri ise insan gözünden daha iyisini yapabilmeyi hedefliyor:
-
- Hiperspektral video kameralar: Fotoğraf kameralarındaki 3 renk (spektral band) yerine her bir piksel için yüzlerce banttan oluşan imgeler elde edebilmek. Böylece nesnelerden (örneğin, bitki örtüsü) yansıyan foton akısını farklı frekanslarında ayrı ayrı tespit ederek, nesnelerin fiziksel ve kimyasal özellikleri hakkında değerli bilgileri toplayabilmek artık video hızlarında mümkün [4]. Piksel algılayıcılarının üzerine ayrı ayrı yerleştirilen mikro boyutta optik spektral süzgeçler ile görüntüdeki uzamsal zenginlik, spektral tarafa aktarılıyor ve insan gözünün tespit edemeyeceği detaylar (örn., içi çürümeye başlayan bir meyvenin dış kabuğundaki yansıtıcılığın farklılaşması) ortaya çıkarılabiliyor
- Derinlik kameraları: Görüntülenmek istenen sahneye yollanan aktif ışık kaynaklarının geri dönüş sürelerini kullanarak uzaydaki 3B uzaklık bilgilerini elde edebilen kameralar insan gözünün yaklaşık olarak yapabildiği derinlik tespitini hassas ölçebilme yeteneğine sahiptir. Yollanan ışık fotonlarının geri geliş zamanlarını çok hassas ölçerken, aynı zamanda tek tek sayabilen SPAD (Single Photon Avalanche Detector) temelli algılayıcıların [5] CMOS teknolojisi ile verimli bir şekilde üretilebilmesi sayesinde, örneğin derinlik algısının çok önemli olduğu otonom araçlar gibi sistemlerde yaygın kullanılabilecek.
- Olaya odaklı kameralar: Algılayıcı dizilimindeki her bir pikselin yalnızca görüntülenen sahnede değişim olması durumunda aktif duruma geçtiği, dolayısıyla sahnede bir değişiklik, nesne hareketi, bir bölgenin aydınlığının değişmesi gibi bir olay karşısında zamansal ışık değişimini saptayan kameralar yaygınlaşıyor [6]. Bu düşük güç tüketimli kameraların en önemli özellikleri, sadece değişikliklere duyarlı oldukları için 120 desibel seviyesinde dinamik aralık (insan gözü için yaklaşık 40 desibel) ve saniyede binler mertebesinde çok yüksek kare yakalama hızlarına (bu tip bir kameranın zamansal çözünürlüğü 1 milisaniyenin altındayken insan gözü için yaklaşık 20 milisaniye) sahip olmalarıdır.
- Panoramik kameralar: Aynı anda 360 derece bakış açısıyla bir sahnenin tümünü görüntüleyebilen kameralar, güvenlikten sanal gerçeklik ve sanal turlara kadar çok çeşitli uygulamalar buluyor. Burada gerek mercek teknolojileri bakımından gerekse farklı doğrultulardaki geniş açılı kamera görüntülerinin birbirlerine kesintisiz ve doğal görünümlü olarak eklemlenmesi teknolojik yenilikler.
Kamera pazarı ve gelecek : “Algılamadan bilişselliğe”
Yazımızın sonuna gelirken, imge edinim teknolojileri ve kameraların gelecekte nereye doğru evrimleşeceğini sorgulamak isteriz. Kamera pazarı yılda %10luk büyümeyle önümüzdeki beş yılda 30 milyar dolarlık bir iş hacmine varacak görünüyor. Halen üretilmekte olan kameraların yaklaşık %50si cep telefonlarında yer alırken, diğer yarısı, yani ikinci 1,5 milyarı otomotiv endüstrisinde, tıbbi cihazlarda, akıllı binalarda, robotlarda, muhtaç kişilerin yapay zekâ destekli evde bakımlarında, zenginleştirilmiş gerçeklik ve akıllı tarım gibi çeşitli uygulamalarda yer alacak.
Önümüzdeki onyılda beklenen en önemli gelişme yapay zekânın çok daha fazla imge aktivitelerinin içinde olmasıdır. İyileştirilmiş fotoğraf çekiminin ötesinde [7] imge dağarcıklarının arşivlenmesi, işlenmesi, geri getirimi, üstbilgilerin (meta) çıkarılması, indekslenmesi gibi yetenekler tümüyle tamamıyla otomatik olarak yürütülecektir. Kameralar, bilişsel (cognitive) tekniklerle insan beyni ve görme sisteminin bütünlüğü noktasına yakınsayacaklardır.
Bülent Sankur (Bilim Akademisi üyesi, Boğaziçi Üniversitesi emeritus öğretim üyesi)
Aydın Alatan (Bilim Akademisi üyesi, ODTÜ Elektrik Elektronik Bölümü öğretim üyesi)
Kaynaklar:
[1] Chase Jarvis, The Best Camera Is The One That’s With You: iPhone Photography, New Riders, 1st Edition, 2010.
[2] Samsung Galaxy S20 Ultra 5G Cameras Cost More Than $107 http://image-sensors-world.blogspot.com/2020/03/samsung-galaxy-s20-ultra-5g-cameras.html
[3] A comparision between back and front illuminated sensors https://www.scientistlive.com/content/comparision-between-back-and-front-illuminated-sensors
[4] Imec introduces three new hyperspectral imaging systems outside the lab https://www.imec-int.com/en/articles/imec-introduces-three-new-hyperspectral-imaging-systems-outside-the-lab
[5] Claudio Bruschini, et.al., Single-photon avalanche diode imagers in biophotonics: review and outlook, Nature Light: Science and Applications
[6] Davide Scaramuzza, et.al., High Speed and High Dynamic Range Video with an Event Camera (https://arxiv.org/abs/1906.07165)
[7] Y.Hu, et.al., “Exposure: A White-Box Photo Post-Processing Framework”, https://arxiv.org/pdf/1709.09602.pdf
