Modely umělé inteligence (AI) slibují velký potenciál v různých odvětvích, včetně vývoje softwaru a výzkumu v oblasti bezpečnosti. Nicméně neuvážené používání těchto nástrojů strojového učení může vést k vážným problémům. Daniel Stenberg, zakladatel open source projektů curl a libcurl, nedávno poukázal na problém nepoužitelných zpráv generovaných umělou inteligencí v oblasti bezpečnostního výzkumu.
Projekt curl nabízí odměnu za nahlášení zranitelností v bezpečnosti, aby je mohli identifikovat a nahlásit bezpečnostní výzkumníci. Zatímco nástroje na bázi AI pomáhají zrychlit proces hledání chyb a psaní zpráv, je stále nezbytná lidská kontrola, aby bylo možné tyto zprávy prošetřit. Bohužel, zprávy generované umělou inteligencí často zní přesvědčivě, ale chybí jim přesnost, což způsobuje ztrátu času a energie pro vývojáře.
Stenberg zdůrazňuje, že AI produkuje „lepší hovno“ – zprávy, které se zdají podrobné a čitelné, ale nabízejí málo obsahu. Udává příklady falešných bezpečnostních zpráv, které byly podány na komunity pro hlášení zranitelností a které buď byly založeny na starých bezpečnostních problémech, nebo byly úplně vymyšlené. Stenberg podezírá, že dokonce interagoval s modelem AI při pokusu o ověření jedné z těchto zpráv.
Přestože uznává skutečné výhody pomocných nástrojů AI, Stenberg tvrdí, že je nezbytné zahrnout lidi do procesu, aby se zlepšila účinnost těchto nástrojů. Snadná dostupnost a užitečnost těchto nástrojů spolu s finančními stimuly odměn za nahlášení zranitelností mohou vést k nárůstu nízké kvality bezpečnostních zpráv generovaných AI, což nakonec brzdí pokrok v bezpečnostním výzkumu.
Feross Aboukhadijeh, výkonný ředitel firmy Socket, která se zabývá bezpečností, sdílí podobné pozorování. Zdůrazňuje, že lidská kontrola je klíčová při snižování falešně pozitivních nálezů při použití nástrojů AI pro detekci zranitelných open-source balíčků.
Najít správnou rovnováhu mezi efektivitou a přesností je klíčové při využívání AI pro bezpečnostní výzkum. Zatímco AI nepochybně může pomoci identifikovat zranitelnosti, lidský dohled je nezbytný pro zajištění platnosti a spolehlivosti těchto zjištění. Kombinací sil lidských a AI možností může být bezpečnostní výzkum efektivnější a smysluplnější, chráníce digitální systémy a uživatele před potenciálními hrozbami.