проверени факти рецензирана публикација
доверлив извор
лекторирани
од Алвин Пауел, Медицинскиот факултет Харвард
Леснотијата со која ChatGPT може да произведе кохерентна содржина и убедливи одговори ги зголеми стравувањата дека ќе овозможи мамење во универзитетските кампуси и ќе ги замени работниците во области кои се движат од новинарство до медицина.
Група педијатриски специјалисти, сепак, сè уште не се потат по нивното прво полагање на тестирањето на ChatGPT за знаењето потребно за извршување на нивната работа.
Истражувањето спроведено претходно оваа година ја спротивстави верзијата 3,5 на ChatGPT – вид на вештачка интелигенција наречена голем јазичен модел – наспроти неонатално-перинаталниот табла испит што е потребен за практични педијатри специјализирани во периодот непосредно пред и по раѓањето.
Вештачката интелигенција доби 46% точни.
Студијата, објавена во јули во JAMA Pediatrics, го тестираше големиот јазичен модел наспроти тест за вежбање на табла. Најдобро беше во прашањата за основно потсетување и клиничко расудување, а полошо на посложени прашања со повеќе логика. Најслабо, 37,5%, на гастроентерологија, а најдобро 78,5% во етика.
Вишиот автор на студијата, Ендрју Бим, доцент по биомедицинска информатика во Институтот Блаватник на Медицинскиот факултет Харвард и по епидемиологија на Харвард Т.Х. Факултетот за јавно здравје Чан, рече дека знаел дека ChatGPT успешно поминал некои општи професионални испити, вклучувајќи го и американскиот испит за медицинска лиценца, потребен за студентите по медицина да станат доктори.
Но, тој се прашуваше како би поминало против поспецијализираните испити од табла, земени од лекари кои посветиле дополнителни години на студирање и клиничка работа за да совладаат потесно фокусирани специјалности.
За среќа, немаше далеку да гледа.
Сопругата на Бим, Кристин, инструкторка по педијатрија на ХМС и неонатолог во медицинскиот центар Бет Израел Диконес, се согласи да учествува со оценување на одговорите на вештачката интелигенција заедно со колешката од ХМС Дара Бродски, автор на влијателен учебник за новороденчиња, и нејзиниот ко-автор Камилија Мартин, главен на медицината за новороденчиња во Weill Cornell Medicine и Њујоршката презвитеријанска-Команска детска болница.
Брзината на развојот на овие најнови големи јазични модели го импресионираа Ендрју Бим, кој се залагаше за спротивставување на вештачката интелигенција наспроти испитот за медицински лиценцирање на САД во 2017 година на технолошка конференција, но откри дека неговите сопствени модели не можат подобро од 40%. Тогаш работите почнаа да се движат брзо.
„Имаше овој момент минатата година кога, одеднаш, пет или шест различни модели добиваа резултати од 80% или повисоки“, рече тој. „Темпото на ова поле е едноставно лудо. Оригиналниот ChatGPT не е стар ни една година – дури и јас обично го заборавам тоа. Но, ние сме многу, многу рано во ова и луѓето сè уште се обидуваат да ги откријат работите“.
Кристин Бим, првата авторка на трудот, исто така, е импресионирана од способностите на вештачката интелигенција – иако признава дека навива против неа на тестот.
„Сакав да не оди добро, па од таа перспектива бев среќна“, рече таа. „Тоа е малку егзистенцијална работа, каде што сте тренирале со децении да можете да ги правите сите овие работи, тогаш компјутерот може да дојде и одеднаш да го направи тоа.
Меѓутоа, таа сфаќа дека не само што поновите верзии на моделот ќе имаат подобри резултати – тие сега ја тестираат следната итерација, GPT4, против истиот тест и против испитот на таблата за анестезиологија – туку дека штом луѓето ќе сфатат што може и што може. Не, тоа ќе биде потенцијално моќна алатка во ординациите на лекарите и болничките клиники.
„Мислам дека ако го надминете тој првичен отпор и кажете: „Ова доаѓа, како ова всушност може да ми помогне да ја завршам мојата работа подобро, тогаш можете да го надминете чувството, за што беа овие изминати децении, што направив јас? за сета оваа напорна работа“, рече таа.
„Навистина е важно да откриеме како да го внесеме тоа во клиничкиот свет и безбедно да го внесеме, за да не влијаеме на пациентите на лош начин, туку да ја користиме секоја алатка што ни е достапна за да ја обезбедиме најдобрата нега што можеме. ”
Дел од тој процес ќе зависи од разбирањето што се овие големи јазични модели и зошто го прават она што го прават, рече Ендрју Бим, кој е уредник на новото списание NEJM AI, фокусирано на вештачката интелигенција во медицината.
Овие модели се фундаментално машини за предвидување, рече тој, и се извонредно чувствителни на инструкции, додека не се чувствителни на работи што човек може да ги смета за важни, како што всушност корисникот сака или дури и дали одговорот е точен.
За повеќе технички барања, всушност, погрешните одговори може да бидат вообичаени едноставно затоа што повеќето луѓе кои одговараат на прашањето погрешно го разбрале. Резолуцијата, рече тој, е во барањето, барајќи од моделот да одговори како да е експерт или најпаметната личност на светот.
Друг проблем е она што се нарекува халуцинации, каде што ако одговорот не е во неговиот сет на податоци, големиот јазичен модел може да ги измисли работите, вклучувајќи извори форматирани да изгледаат убедливо, но кои се целосно имагинарни.
Важно е да се биде свесен за овие ограничувања, но Бим рече дека мисли дека тие нема да бидат долго време проблеми. Ниту еден од нив не е проблем на фундаменталната теорија, рече тој, и веќе се измислуваат решенија. Создавањето потсетници што резултираат со точни одговори е препознаено како доволно важно што „промпт инженерството“ стана нов опис на работата.
„Мислам на тоа речиси како баења, каде што треба да ја кажете вистинската мистична фраза на вештачката интелигенција за да ја натерате да го направи она што сакате да го направи“, рече Бим. „Многу луѓе не сфаќаат дека тоа само среќно ќе ги направи работите што звучат сосема реалистично“.
Последица на сето ова, рече Бим, е дека е важно да се знае која верзија на одреден голем јазичен модел ја користите. На пример, ChatCPT 3.5, објавен кон крајот на минатата година, сè уште е слободно достапен на веб-страницата на компанијата, иако друга верзија, GPT4, е попрецизна. Таа верзија е достапна на основа на претплата.
Повеќето корисници веројатно ќе бидат привлечени од бесплатната алатка и треба да ги имаат на ум нејзините ограничувања, рече тој.
„Ви е нешто што ме интересираше веќе 15 или 20 години и секогаш беше нешто што ќе се случи, а не нешто што се случува“, рече Бим. „Дефинитивно чувствувам дека нешто се случува сега. Ова се чувствува квалитативно поинаку.
Повеќе информации:
Кристин Бим и сор. DOI: 10.1001/jamapediatrics.2023.2373.