Podobnie jak większość pracowników Google, Fredric Lindstrom i Huib Kleinhout spędzają dużo czasu rozmawiając ze współpracownikami za pośrednictwem Google Meet . Wiele ich spotkań odbywa się na różnych kontynentach, w różnych strefach czasowych i językach. Fredric i Huib mieszkają odpowiednio w Szwecji i Norwegii i pracują nad funkcją tłumaczenia mowy, nową funkcją tłumaczenia języków w czasie rzeczywistym w Google Meet. Funkcja tłumaczenia mowy umożliwia komunikację z dowolną osobą biorącą udział w rozmowie, nawet jeśli mówisz w innym języku. Podczas rozmowy funkcja tłumaczenia mowy automatycznie tłumaczy Twoją mowę niemal w czasie rzeczywistym, głosem podobnym do Twojego. Chodzi o to, aby język nie stanowił bariery w komunikacji, niezależnie od tego, czy planujesz wakacje i rozmawiasz z kimś w innym kraju, czy czatujesz ze znajomymi lub rodziną, którzy nie mówią tym samym językiem.

Przełomy w technologii tłumaczeniowej

Poprzednie technologie tłumaczenia audio opierały się na wieloetapowym procesie: transkrypcji mowy, tłumaczeniu tekstu, a następnie konwersji go z powrotem na mowę. Ten proces skutkował znacznym opóźnieniem, często 10-20 sekund, uniemożliwiając naturalną konwersację. Ponadto przetłumaczone głosy były generyczne i nie oddawały unikalnych cech mówcy.

Prawdziwy przełom, jak wyjaśnia Huib (kierujący działem zarządzania produktami w zakresie jakości dźwięku), nastąpił dzięki „dużym modelom” – niekoniecznie dużym modelom językowym (LLM), ale modelom umożliwiającym „jednorazowe” tłumaczenie. „Wysyłasz dźwięk i niemal natychmiast model zaczyna go wyprowadzać” – zauważa. To drastycznie zmniejszyło opóźnienie, niemal naśladując sposób, w jaki tłumacz przetwarza i przekazuje mowę. „Odkryliśmy, że dwie do trzech sekund to idealny czas” – mówi Huib. Szybciej było trudno zrozumieć; wolniej nie sprzyjało naturalnej rozmowie. Ale kiedy osiągnęli ten czas, oznaczało to, że dzięki temu modelowi tłumaczenie w Google Meet może umożliwić jednoczesną rozmowę w różnych językach.

Rozwiązywanie problemów i duże ulepszenia

Rozwój tej złożonej funkcji nie obył się bez przeszkód. Jednym z najważniejszych aspektów było zapewnienie wysokiej jakości tłumaczenia, która może się znacznie różnić w zależności od czynników takich jak akcent mówcy, hałas w tle czy warunki sieciowe. Pomimo wyzwań w fazie rozwoju, zespoły Meet i DeepMind wspólnie pracowały nad wyeliminowaniem tych niedociągnięć, testując modele i dostosowując je do rzeczywistych warunków.

Częścią tych testów była współpraca z językoznawcami i innymi ekspertami językowymi, aby naprawdę zrozumieć niuanse nie tylko tłumaczenia, ale także akcentów. Języki o bliższym pokrewieństwie, takie jak hiszpański, włoski, portugalski i francuski, były łatwiejsze do zintegrowania, podczas gdy języki o odmiennej strukturze, takie jak niemiecki, stanowiły większe wyzwanie ze względu na różnice we wszystkim, od gramatyki po popularne idiomy. Obecnie model tłumaczy również większość wyrażeń dosłownie, co może prowadzić do zabawnych nieporozumień, zauważają Huib i Frederic. Oczekują jednak, że aktualizacje z wykorzystaniem zaawansowanych programów LLM pozwolą na dokładniejsze uchwycenie i przetłumaczenie takich niuansów, a nawet uchwycenie tonu i ironii.

Od badań nad sztuczną inteligencją do rzeczywistości

Zarówno Huib, jak i Frederic z równą ekscytacją obserwują, jak nasze nowatorskie badania nad sztuczną inteligencją stają się rzeczywistością, zwłaszcza w projekcie, który pomoże tak szerokiej, globalnej publiczności. Od dziś tłumaczenie mowy w Google Meet jest dostępne w języku włoskim, portugalskim, niemieckim i francuskim. „To naprawdę satysfakcjonujące słyszeć od imigrantów, którzy przeprowadzili się z innej części świata do Stanów Zjednoczonych, a ich rodzice lub dziadkowie nie mówią po angielsku i nigdy nie rozmawiali z wnukami” – wyjaśnia Fredric. „Teraz mają wspólny język. Nagle mogą się ze sobą komunikować. Ta technologia niweluje tego typu różnice”.