Google открыла исходный код своего инструмента для нанесения водяных знаков на текст, сгенерированный ИИ

LLM генерирует текст по одному токену за раз. Эти токены могут представлять один символ, слово или часть фразы. Чтобы создать последовательность связного текста, модель прогнозирует следующий наиболее вероятный токен, который будет сгенерирован. Эти прогнозы основаны на предыдущих словах и оценках вероятности, присвоенных каждому потенциальному токену.

Например, с фразой «Мои любимые тропические фрукты — __». LLM может начать завершать предложение с токенами «манго», «личи», «папайя» или «дуриан», и каждому токену присваивается оценка вероятности. Когда на выбор предлагается несколько различных токенов, SynthID может скорректировать оценку вероятности каждого прогнозируемого токена в тех случаях, когда это не поставит под угрозу качество, точность и креативность вывода.

Этот процесс повторяется по всему сгенерированному тексту, поэтому одно предложение может содержать десять или более скорректированных оценок вероятности, а страница может содержать сотни. Окончательный набор оценок для обоих вариантов выбора слов модели в сочетании со скорректированными оценками вероятности считается водяным знаком.