Apple MGIE – sztuczna inteligencja do tekstowej edycji obrazów

Prawie miesiąc temu Na blogu i w podcaście przedstawiliśmy Państwu wielomodalny model języka Apple „Ferret”. To po raz pierwszy ujawniło, że wysiłki producenta iPhone'a w zakresie sztucznej inteligencji prowadzone są w tajemnicy. W MGIE dostępna jest teraz nowa sztuczna inteligencja Apple, która łączy obrazy i wprowadzanie tekstu. Ponieważ MGIE oznacza „Multimodalny model wielkojęzykowy z przewodnikiem po edycji obrazu”. Do przetwarzania obrazu wykorzystywany jest tu model języka multimodalnego (MLLM). Korekcje, filtry, efekty na poszczególnych punktach lub obiektach itp. powinny być możliwe za pomocą prostych podpowiedzi. Całość możesz wypróbować za pomocą narzędzia online.

„Usuń chmury i nadaj obrazowi słoneczny, żółty odcień”

Polecenia, które możesz wydać MGIE w celu upiększenia zdjęć krajobrazów, są mniej więcej takie. Zmiana koloru włosów na selfie może być również wykorzystana do przewidzenia wyniku w salonie fryzjerskim. Po wstępnych testach prasa specjalistyczna dla MGIE podaje nawet, że niektóre polecenia przesyłane za pomocą tekstu w celu zmiany obrazu wejściowego mogłyby zastąpić ręczną edycję - na przykład w Photoshopie lub podobnych programach. Z pewnością dotyczy to również filtrów i efektów zintegrowanych z aplikacją Zdjęcia, którą Apple oferuje na komputerach Mac, iPhone i iPad. Przykład udanego testu można znaleźć tutaj: B. w 9to5Mac.

Skorzystaj z Apple MGIE samodzielnie: GitHub i HuggingFace

Jeśli szukasz więcej informacji ogólnych na temat MGIE, znajdziesz je między innymi znajdź go na GitHubie. Ponieważ Apple udostępnił tam model AI typu open source. Oprócz surowych danych znajdują się tam również wyjaśnienia dotyczące sposobu działania i wykorzystania narzędzia. Jeśli nie wiesz, co zrobić z danymi i nie możesz stworzyć własnego interfejsu użytkownika (tak jak ja), po prostu skorzystaj z narzędzia internetowego wyposażonego w MGIE w HuggingFace. Podobnie jak Ferret, MGIE również zawiera artykuł naukowy, który możesz przeczytać Pobierz tutaj Móc. Znajduje się tam podsumowanie z najważniejszymi punktami w VentureBeat.

Dla wszystkich, którzy chcieliby mieć przetłumaczone informacje o MGIE, najważniejsze rzeczy:

• Ekspresyjna edycja tekstowa: MGIE może stworzyć zwięzłe i jasne instrukcje, które skutecznie poprowadzą proces edycji. To nie tylko poprawia jakość edycji, ale także zwiększa ogólną użyteczność.
• Modyfikacja przypominająca Photoshopa: MGIE może wykonywać typowe edycje podobne do Photoshopa, takie jak: B. Przycinaj, zmieniaj rozmiar, obracaj, odwracaj i dodawaj filtry. Model może również wykonywać bardziej zaawansowane edycje, takie jak: Np. zmień tło, dodaj/usuń obiekty i połącz obrazy.
• Globalna optymalizacja zdjęć: MGIE może zoptymalizować ogólną jakość zdjęcia, np. B. Jasność, kontrast, ostrość i balans kolorów. Model może nadal stosować efekty artystyczne, takie jak szkicowanie, malowanie i rysowanie kreskówek.
• Edycja lokalna: MGIE może edytować określone regiony lub obiekty na obrazie, takie jak: B. Twarze, oczy, włosy, ubrania i akcesoria. Model może także zmieniać atrybuty tych regionów lub obiektów, takie jak kształt, rozmiar, kolor, tekstura i styl.

Jesteśmy podekscytowani nowościami w iOS 18

Zakłada się, że Apple wbuduje różne funkcje AI w iOS 18, a prawdopodobnie także w iPadOS 18 i macOS 15. Oprócz ulepszenia asystenta głosowego Siri, Apple wydaje się teraz coraz bardziej koncentrować na obszarze rozpoznawania i przetwarzania obrazu. Możliwe, że skupiono się nie tylko na celach twórczych, ale także na pomocy operacyjnej. Rozpoznawanie otoczenia w pewnym stopniu należy już do funkcji aparatu iPhone’a – teraz jednak można je znacznie rozszerzyć. Dowiemy się dokładnie od czerwca, kiedy Apple zorganizuje WWDC24.

Johannesa Domke’a

Po ukończeniu szkoły średniej Johannes odbył praktykę jako asystent biznesowy specjalizujący się w językach obcych. Po tym jednak zdecydował się na badania i pisanie, z których został samozatrudniony. Od kilku lat pracuje m.in. dla Sir Apfelota. Jej artykuły obejmują premiery produktów, wiadomości, poradniki, gry wideo, konsole i nie tylko. Śledzi Apple Keynotes na żywo za pośrednictwem transmisji strumieniowej.