Пет въпроса, които да зададете, преди да платите за „AI“ инструмент за бизнеса си

Почти всеки бизнес софтуер днес има „AI“ на страницата с цените. Демонстрацията винаги работи. Дали инструментът ще се изплати обаче зависи от това, което става след демонстрацията: когато сгреши, когато дойде сметката, когато данните на клиент напуснат фирмата ви. Ето петте въпроса, които задаваме от името на собствените си клиенти, как звучи добрият отговор и кога честният отговор е да не купувате нищо.

Демонстрацията не е продуктът

Търговецът, който показва AI инструмент, сам избира примера. Фактурата, обобщена перфектно, имейлът от клиент, на който е отговорено любезно, описанието на продукт, написано за четири секунди. Нищо от това не е измама и нищо от това не ви казва много, защото бизнесът ви не върви по примера. Той върви по фактурата за месеца, тази с ръкописна бележка в ъгъла и име на доставчик, изписано по три различни начина.

Ние изграждаме и поддържаме бизнес софтуер и през последните години голяма част от тази работа е добавянето на езикови модели към системи, които вече работят: сортиране на запитвания към поддръжката в онлайн пазар, чернови на продуктови описания за търговците в него, разчитане на свободен текст в бележките за доставка, обобщения на доклади на разбираем език за вътрешни проверители. Някои от тези функции се изплатиха. Две от тях построихме, пуснахме и по-късно изключихме. И двата провала можеха да се видят предварително от всеки, който зададе правилните въпроси, а нито един от тези въпроси не изисква технически познания. Ето ги.

1.  Какво става, когато AI сгреши?

Всеки AI инструмент понякога греши. Това не е дефект, който ще бъде оправен в следващата версия, а начинът, по който технологията работи. Затова полезният въпрос не е „колко е точен“ (всеки доставчик има ласкаещо число), а „какво става в деня, в който сгреши“.

Добрият отговор описва резервен вариант и човешка стъпка. Когато добавихме автоматично категоризиране на запитвания към поддръжката на един онлайн пазар, моделът само предлагаше категория. Човек от екипа също виждаше запитването и можеше да пренебрегне предложението. Ако моделът не отговореше до няколко секунди или отговореше безсмислица, запитването просто попадаше в общата опашка, точно както преди функцията да съществува.

Най-лошият случай беше старият начин на работа, а не изгубен клиент.

Лошият отговор е „той се учи“ или „точен е на 98 процента“. Задайте следващия въпрос: от останалите два процента какво стига до клиент, до цена или до сметка, преди да го види човек? Ако отговорът е „всичко“, инструментът не е готов за тази работа.

2.  Къде отиват данните ни и кой още ги вижда?

Повечето AI инструменти не работят на собствените компютри на доставчика. Зад приятелския интерфейс обикновено стои заявка към някой от малкото големи доставчици на модели, често извън Европейския съюз. Това означава, че имената, имейлите, поръчките и оплакванията на клиентите ви пътуват до трета страна, за която може никога да не сте чували.

Според GDPR тази трета страна обработва лични данни от ваше име и трябва да знаете коя е. Поискайте от доставчика три неща писмено: списъка с подизпълнителите (фирмите, през които минават данните ви), къде ги обработват и дали данните ви се използват за обучение на техните модели. После проверете дали уведомлението за поверителност, което собствените ви клиенти са приели, наистина позволява данните им да бъдат изпращани натам.

В работата ни с компания за здравна диагностика този въпрос реши дизайна, преди да е избран какъвто и да е модел. Политиката за поверителност, която клиентите бяха приели години по-рано, не позволяваше определени полета да се изпращат на външен доставчик. Затова тези полета се премахват и заменят с условни обозначения, преди нещо да напусне системата, и се възстановяват, когато отговорът се върне. Доставчик, който не може да ви каже кои полета напускат системата ви, или който отговаря „всичко е сигурно“, не е мислил по въпроса.

3.  Колко ще струва при нашия обем, а не на потребител?

AI инструментите често се продават с цена на потребител на месец, което ги прави да изглеждат предвидими. Отдолу обаче доставчикът плаща за всяко използване: всеки прочетен документ, всеки написан отговор, всеки зададен въпрос. Рано или късно това се появява като лимити на ползване, клаузи за „разумно ползване“ или по-скъп план.

Числото, което има значение, е цената на единица реална бизнес дейност: на обработена фактура, на приключено запитване, на изпълнена поръчка. Помолете доставчика да остойности реалния ви месечен обем и попитайте какво става над него. Инструмент, който се задейства веднъж на публикуван продукт, е евтин и предвидим. Инструмент, който се задейства при всеки имейл, всяко отваряне на страница или всеки повторен опит, е мястото, където бюджетите се пропукват.

После сравнете тази цена с това, което същата работа ви струва днес. Така умря една от нашите собствени функции. Построихме автоматични чернови на първия отговор за екип по поддръжка. При тестовете изглеждаха отлично. В реална работа само малка част от запитванията можеха да се приключат с черновата. За останалите пак трябваше човек, който сега първо трябваше да прочете и да изхвърли черновата. Когато разделихме общия разход на запитванията, които наистина бяха приключени без човешка редакция, се оказа, че е повече, отколкото екипът харчеше, за да обработва цялата опашка ръчно. Изключихме я. По-евтината функция, която само предлагаше категория, остана.

4.  Как ще разберем след два месеца дали AI все още работи?

AI инструментите не се чупят така, както обикновеният софтуер. Те не блокират, а се изместват. Качеството, което ви е впечатлило при старта, бавно спада, защото реалните входни данни стават по-разнообразни от тези, за които инструментът е бил настроен, и никой не забелязва, защото никъде не се появява грешка.

Така мина и втората ни неуспешна функция. Тя пишеше чернови на по-дълги текстове, които проверители одобряваха. Преди старта се бяхме договорили за мярка: делът на черновите, които проверителят може да публикува само с леки корекции. При старта мярката беше изпълнена, а през следващите седмици се плъзна надолу. Когато проверителите започнаха да отделят повече време да поправят черновите, отколкото биха отделили да пишат от нулата, функцията създаваше работа, вместо да я спестява, и я изключихме.

Затова, преди да подпишете, договорете едно число, което показва, че инструментът работи, и човека, който го проверява всеки месец. „Дял на фактурите, осчетоводени без корекция“. „Дял на въпросите от клиенти, приключени без човек“. „Минути на поръчка“. Ако доставчикът не може да ви помогне да определите това число, ще плащате за усещане.

5.  Как ще спрем да използваме AI?

Никой не пита това в началото, а това е въпросът, който ви пази най-много. Какво става с данните ви, ако прекратите договора? Можете ли да изтеглите всичко, което инструментът е създал, във формат, който друга система може да прочете? Съществува ли все още старият ви начин на работа, или инструментът тихо го е заменил?

Функциите, които премахнахме, бяха лесни за премахване, защото ги бяхме проектирали така: резултатът от AI се пазеше отделно от оригиналните записи, в административния панел имаше превключвател за включване и изключване, който можеше да използва и координатор без техническа подготовка, а оригиналният процес нито за миг не беше спрял да работи.

Инструмент, от който не можете да се откажете за един следобед, е инструмент, за който ще плащате дълго след като е спрял да си заслужава мястото.

Петте въпроса на една страница

Въпрос	Добър отговор	Тревожен знак
Какво става, когато сгреши?	Конкретен резервен вариант и човек, който одобрява, преди документът да стигне до клиент	„Той се учи“ или процент точност и нищо друго
Къде отиват данните ни?	Писмен списък с подизпълнители, местоположения и дали данните се ползват за обучение	„Всичко е сигурно“
Колко ще струва при нашия обем?	Цена за реалния ви месечен обем и посочен лимит над него	Само цена на потребител, с условията за ползване в дребния шрифт
Как ще разберем, че все още работи?	Едно договорено число, проверявано всеки месец от конкретен човек	„Ще видите разликата“

Въпрос	Добър отговор	Тревожен знак
Как ще спрем да го използваме?	Пълен експорт на данните и запазен стар процес	Данните и работният ви процес съществуват само в инструмента

Кога честният отговор е да не купувате AI

Понякога въпросите показват, че проблемът не е липсващ AI инструмент. Веднъж поехме проект за автоматично разпределяне на входящите съобщения от клиенти по съществуващите категории на фирмата. Категориите съществуваха в падащо меню. Истинските правила за разпределяне живееха в главата на един опитен служител и на няколко места противоречаха на менюто. Всеки кръг тестове разкриваше още едно неписано правило. Това, от което фирмата имаше нужда първо, не беше софтуер, а документ, който описва как всъщност взема решенията си. Сега настояваме за такъв документ, преди да започне каквато и да е работа по автоматизация.

Същото важи, когато работата е с фиксирано плащане. За да съпоставите плащане с фактура по сума и основание, не ви трябва езиков модел. Обикновено правило го прави по-бързо, по-евтино и без никога да греши творчески. AI си заслужава мястото там, където входът е свободен текст, написан от хора (имейли, бележки, оплаквания, описания), а последната дума остава за човек.

Какво да направите тази седмица

Вземете AI инструмента, който в момента ви предлагат или за който вече плащате, и изпратете на доставчика тези пет въпроса писмено. Писмените отговори струват повече от втора демонстрация, защото по тях можете да го държите отговорен. Ако три или повече от отговорите попаднат в дясната колона на таблицата, току-що сте си спестили един абонамент. Ако попаднат в средната колона, сте намерили доставчик, с когото си струва да работите.

Филип Лауц е изпълнителен директор и fractional CTO на Jaspero, софтуерна компания от Осиек, Хърватия. Повече от десет години изгражда бизнес системи по поръчка, а днес ръководи работата на Jaspero по интеграция на изкуствен интелект и автоматизация, вграждайки езикови модели в продукти, които вече са в експлоатация, за клиенти като GlycanAge, където екипът му е инженерният екип от шест години.