How to know if you can trust an AI’s answer to your question

I recently typed a simple question into Google search: How much screen time is too much for teenagers?Я недавно ввёл простой вопрос в поиск Google: Сколько экранного времени — это слишком много для подростков?

typed-ввёл, напечатал (type - вводить, печатать)

screen-экран

teenagers-подростки (teenager - подросток)

Instead of presenting links, as Google had been doing for many years, it gave me an AI-generated answer.Вместо того чтобы предоставлять ссылки, как Google делал много лет, он дал мне ответ, сгенерированный искусственным интеллектом.

presenting-предоставлять, представлять (present - предоставлять, представлять)

The artificial intelligence agent cited a number, then complicated that reply, noting that quality and balance of time could matter more than the number of hours, and that “too much” time could depend on a teenager’s sleep, exercise, school demands and mood.Агент искусственного интеллекта назвал число, затем усложнил этот ответ, отметив, что качество и баланс времени могут быть важнее количества часов, и что «слишком много» времени может зависеть от сна, физических упражнений, учебных требований и настроения подростка.

artificial-искусственный

complicated-усложнил (complicate - усложнять)

depend on-зависеть от

mood-настроение

cited-привёл

I tried another search: Should I take a daily aspirin?Я попробовал другой поиск: Мне стоит принимать аспирин ежедневно?

aspirin-аспирин

This time the AI answer presented me with medical information, warned about risks and offered more tailored guidance if I provided my age and medical history.На этот раз ответ ИИ предоставил мне медицинскую информацию, предупредил о рисках и предложил более индивидуальные рекомендации, если я укажу свой возраст и медицинскую историю.

presented-предоставил (present - предоставлять)

offered-предложил (offer - предлагать)

tailored-индивидуальный, адаптированный (tailor - адаптировать)

guidance-рекомендации, руководство

provided-укажу, предоставлю (provide - предоставлять)

These were good replies. What interested me was that they were different kinds of replies.Это были хорошие ответы. Что меня заинтересовало, так это то, что это были разные виды ответов.

replies-ответы

kinds-виды

Debate about AI answers has focused on accuracy: Did the system get the answer right?Дискуссия о ответах ИИ была сосредоточена на точности: правильно ли система дала ответ?

debate-дискуссия, спор, обсуждение

focused-была сосредоточена, концентрировалась (focus - сосредотачиваться)

accuracy-точность

That matters, but accuracy is only one test.Это имеет значение, но точность — только один из критериев.

matters-имеет значение, важно (matter - иметь значение)

Each kind of answer requires a user to judge something different.Каждый вид ответа требует от пользователя оценить что-то разное.

requires-требует (require - требовать)

judge-оценивать, судить

I find it useful to sort AI answers into an “answer typography” of four broad types: factual, interpretive, constructive and strategic.Я считаю полезным разделять ответы ИИ на «типографию ответов» из четырех широких типов: фактический, интерпретативный, конструктивный и стратегический.

broad-широкий

factual-фактический

interpretive-интерпретативный

constructive-конструктивный

strategic-стратегический

A factual claim can often be checked against a source.Фактологическое утверждение часто можно проверить по источнику.

claim-утверждение

source-источник

An interpretation can be accurate and still reflect choices about which evidence matters.Интерпретация может быть точной и при этом отражать выбор того, какие доказательства имеют значение.

interpretation-интерпретация, толкование

accurate-точный, правильный

reflect-отражать, показывать

evidence-доказательства, свидетельства

A construction can be well reasoned and still be wrong for the person receiving it.Конструкция может быть хорошо обоснована и всё же быть неверной для человека, который её получает.

construction-конструкция, построение, формулировка

reasoned-обоснованный, аргументированный (reason - обосновывать)

receiving-получающий, принимающий (receive - получать)

A beautifully written strategic document may not be true.Красиво написанный стратегический документ может быть неверным.

beautifully-красиво

Yet AI presents all four types of answers in much the same fluent, authoritative form; the differences are easy to miss.Тем не менее, ИИ представляет все четыре типа ответов практически в одной и той же беглой, авторитетной форме; различия легко упустить.

fluent-беглый, свободный

authoritative-авторитетный, внушающий доверие

miss-упустить, не заметить

I’m university librarian and dean of libraries at the University of Virginia who leads national efforts to develop AI competencies for library professionals, and I consult widely on AI literacy.Я являюсь университетским библиотекарем и деканом библиотек в Университете Вирджинии, который руководит национальными усилиями по развитию компетенций в области искусственного интеллекта для библиотечных специалистов, а также широко консультирую по вопросам грамотности в области искусственного интеллекта.

dean-декан

leads-руководит, возглавляет (lead - руководить)

consult-консультировать

literacy-грамотность

I first proposed the typography in the Journal of Academic Librarianship.Я впервые предложил эту типологию в журнале Journal of Academic Librarianship.

proposed-предложил (propose - предложить)

The four categories are not airtight boxes.Четыре категории — это не герметичные коробки.

airtight-герметичный

A response from an AI agent can reflect several types.Ответ от агента ИИ может отражать несколько типов.

response-ответ

several-несколько

That said, I describe each type of answer below, and offer guidance for deciding whether a reply is ready to use or needs more investigation.С учетом сказанного, ниже я описываю каждый тип ответа и даю рекомендации по тому, как решить, готов ли ответ к использованию или требует дополнительного изучения.

below-ниже

deciding-принятие решения, определение (decide - решать)

reply-ответ

investigation-изучение, расследование

Which answer is Google giving you?Какой ответ даёт вам Google?

A factual answer makes a claim that can, in principle, be checked against evidence.Фактический ответ делает утверждение, которое, в принципе, можно проверить на основе доказательств.

in principle-в принципе

against-против, на основе, по сравнению с

When was the University of Virginia founded?Когда был основан Университет Вирджинии?

What is the chemical symbol for gold?Каков химический символ золота?

chemical-химический

To determine whether a factual answer is robust enough for you to use, verify the claim against an appropriate source.Чтобы определить, достаточно ли надёжен фактический ответ для вашего использования, проверьте утверждение по соответствующему источнику.

determine-определять, устанавливать

robust-надёжный, прочный

verify-проверять, подтверждать

appropriate-соответствующий, подходящий

If the answer cites a source, follow that link instead of simply treating the answer itself as proof.Если в ответе указан источник, переходите по этой ссылке, а не просто рассматривайте сам ответ как доказательство.

follow-следовать, переходить (по ссылке)

treating-рассматривая, обращаясь (с чем-либо) (treat - рассматривать, обращаться)

proof-доказательство

An interpretive reply is built on evidence, but there is not a single takeaway.Интерпретирующий ответ строится на доказательствах, но нет единого вывода.

takeaway-вывод, основная мысль, главный вывод

How much screen time is too much for a teenager?Сколько экранного времени считается слишком большим для подростка?

Does remote work raise productivity?Повышает ли удалённая работа продуктивность?

remote-удалённый, дистанционный

raise-повышать, увеличивать

productivity-продуктивность, производительность

The answer depends on what evidence is included, what is left out and how disagreement is understood. Ответ зависит от того, какие доказательства включены, какие опущены и как понимается разногласие.

depends on — зависеть от left out — быть опущенным, не включённым

depends on-зависит от

included-включены (include - включать)

left out-опущены, не включены

disagreement-разногласие, несогласие

Google’s initial answer to my screen-time question indicated that two hours was a limit for teenagers.Первоначальный ответ Google на мой вопрос о времени, проводимом за экраном, указывал, что две часа являются пределом для подростков.

initial-первоначальный, начальный

indicated-указывал, показывал (indicate - указывать)

Then it noted that pediatric guidance puts more weight on the quality and context of screen use than on simple hours.Затем было отмечено, что педиатрические рекомендации придают больше значения качеству и контексту использования экранов, чем просто количеству часов.

noted-отметил, было отмечено (note - отмечать)

pediatric-педиатрический

quality-качество

The American Academy of Pediatrics says there is no exact recommended amount for teens and emphasizes the kind of screen use and what activities it might be displacing.Американская академия педиатрии говорит, что не существует точного рекомендованного количества для подростков и подчеркивает тип использования экрана и какие занятия это может вытеснять.

exact-точный

amount-количество

teens-подростки (teen - подросток)

emphasizes-подчеркивает (emphasize - подчеркивать)

activities-занятия, виды деятельности (activity - занятие, деятельность)

displacing-вытеснять, заменять (displace - вытеснять, заменять)

A question that looked numerical turned out to require interpretation.Вопрос, который казался числовым, в итоге потребовал интерпретации.

numerical-числовой, количественный

turned out-оказался, в итоге стал (turn out - оказываться)

require-требовать

To assess interpretive answers, do more than check facts.Чтобы оценить интерпретативные ответы, делайте больше, чем просто проверяйте факты.

assess-оценивать

Ask yourself what evidence the system emphasized, what it left out and whether another defensible interpretation exists.Спросите себя, на каких доказательствах система сделала акцент, какие она упустила и существует ли другое обоснованное толкование.

emphasized-сделала акцент, подчеркнула (emphasize - подчеркнуть)

defensible-обоснованный, поддающийся защите

exists-существует (exist - существовать)

A useful follow-up question to present to the search engine is: “What is the strongest evidence for a different conclusion?”Полезный дополнительный вопрос, который можно задать поисковой системе: «Каковы самые убедительные доказательства в пользу другого вывода?»

follow-up-дополнительный, последующий

present-представить, задать (present - представлять)

conclusion-вывода (conclusion - вывод)

Constructive answers are made rather than discovered.Конструктивные ответы создаются, а не обнаруживаются.

discovered-обнаруживаются, открываются (discover - обнаруживать)

Ask AI to draft a cover letter, write a eulogy, suggest a lesson plan or reorganize a paragraph – there is no single correct result.Попросите ИИ составить сопроводительное письмо, написать надгробную речь, предложить план урока или переработать абзац — не существует единственно правильного результата.

draft-составить, набросать (draft - составлять)

cover-сопроводительное (письмо) (cover letter - сопроводительное письмо)

eulogy-надгробная речь, похвальная речь

reorganize-переработать, реорганизовать

correct-правильный

You can judge the response by considering purpose, audience and voice.Вы можете оценить ответ, учитывая цель, аудиторию и стиль.

considering-учитывая (consider - учитывать)

purpose-цель

audience-аудитория

A eulogy can be grammatically perfect and still sound nothing like the person delivering it, or it may land flat on family members hearing it. Похвала может быть грамматически идеальной и всё же совсем не походить на речь человека, который её произносит, или она может не произвести никакого впечатления на членов семьи, которые её слушают.

land flat on — не произвести впечатления, не вызвать отклика

perfect-идеальный, совершенный

delivering-произносящий, произносит (deliver - произносить)

flat-безэмоционально, невыразительно, скучно

members-члены (member - член)

It may not capture the deceased person well, either.Он может также не передать хорошо образ покойного.

capture-передавать, отражать, запечатлевать

deceased-покойный, умерший

Consider these kinds of effects as you read.Рассмотрите такие виды эффектов, когда читаете.

consider-рассмотрите, обдумайте

effects-эффекты, последствия (effect - эффект)

Strategic questions ask what to do.Стратегические вопросы спрашивают, что делать.

Should I take a daily aspirin?Стоит ли мне принимать аспирин ежедневно?

daily-ежедневно

Should I buy the house?Стоит ли мне купить дом?

The answers combine information with judgment about goals, risks, trade-offs and personal circumstances.Ответы объединяют информацию с суждением о целях, рисках, компромиссах и личных обстоятельствах.

combine-объединять, сочетать

judgment-суждение, мнение, оценка

trade-offs-компромиссы, баланс интересов

circumstances-обстоятельства (circumstance - обстоятельство)

My aspirin search shows why context matters.Мой поиск по аспирину показывает, почему контекст имеет значение.

Google warned about risks, told me to consult a medical professional and offered more tailored information if I provided my age, cardiovascular history and risk of bleeding.Google предупредил о рисках, посоветовал мне обратиться к медицинскому специалисту и предложил более индивидуализированную информацию, если я предоставлю свой возраст, сердечно-сосудистый анамнез и риск кровотечения.

warned-предупредил (warn - предупреждать)

cardiovascular-сердечно-сосудистый

bleeding-кровотечение (bleed - кровоточить)

That caution matches the U.S.Эта осторожность соответствует подходу США.

caution-осторожность, осмотрительность

matches-соответствует, совпадает (match - соответствовать)

Preventive Services Task Force guidance.Рекомендации Рабочей группы по профилактическим услугам.

preventive-профилактический, предупреждающий

It says the decision to start low-dose aspirin for prevention of heart attacks and strokes should be individualized and weigh cardiovascular benefit against bleeding risk.В нем говорится, что решение начать прием аспирина в низкой дозе для профилактики инфарктов и инсультов должно быть индивидуализировано и учитывать соотношение сердечно-сосудистой пользы и риска кровотечений.

low-dose-низкая доза, низкодозированный

prevention-профилактика, предотвращение

strokes-инсульты (stroke - инсульт)

individualized-индивидуализированный, адаптированный под конкретного человека (individualize - индивидуализировать)

benefit-польза, выгода

For strategic answers, ask what the system would need to know before its advice could reasonably apply to you individually.Для стратегических ответов спросите, что системе нужно знать, прежде чем её совет сможет разумно применяться к вам индивидуально.

apply-применяться, относиться, подходить

individually-индивидуально, лично

Consider the stakes, the alternatives and whether a qualified person should be involved.Рассмотрите ставки, альтернативы и следует ли привлекать квалифицированного специалиста.

stakes-ставки, риски

alternatives-альтернативы (alternative - альтернатива)

qualified-квалифицированный

involved-привлечён, участвует, вовлечён (involve - привлекать, вовлекать)

For the aspirin question, a useful follow-up would be: “What details about my age, medical history or bleeding risk could change this advice?Для вопроса об аспирине полезным последующим вопросом было бы: «Какие детали о моём возрасте, медицинской истории или риске кровотечения могли бы изменить этот совет?»

advice-совет

What should I discuss with my doctor before deciding?” The final judgment remains yours because you are the person who has to live with the outcome.О чём мне следует поговорить с врачом перед принятием решения?» Окончательное решение остаётся за вами, потому что именно вам предстоит жить с результатом.

discuss-обсудить, поговорить

remains-остаётся (remain - оставаться)

outcome-результат, исход

The first question after an answerПервый вопрос после ответа

My questions began as ordinary Google searches.Мои вопросы начинались как обычные поисковые запросы в Google.

ordinary-обычный, обыкновенный

I did not open a chatbot.Я не открывал чат-бота.

The AI-generated responses simply arrived, and links were appended.Ответы, сгенерированные искусственным интеллектом, просто поступили, а ссылки были добавлены.

responses-ответы

arrived-поступили (arrive - поступать)

appended-были добавлены (append - добавлять)

The responses were useful.Ответы были полезными.

useful-полезный, пригодный

Google added context, acknowledged complications and offered tailored guidance if I supplied additional information.Google признал осложнения и предложил индивидуальные рекомендации, если я предоставлю дополнительную информацию.

acknowledged-признал, отметил (acknowledge - признавать)

complications-осложнения (complication - осложнение)

supplied-предоставлю, предоставил (supply - предоставлять)

additional-дополнительный

Within each response, though, the type of answer could change.Однако внутри каждого ответа тип ответа мог бы измениться.

within-внутри

Reporting what a medical guideline says is different from deciding how it applies to a particular person.Сообщать о том, что говорит медицинская рекомендация, отличается от принятия решения о том, как она применяется к конкретному человеку.

reporting-сообщать, докладывать (report - сообщать)

guideline-рекомендация, руководство

particular-конкретный, определённый

A fluent response can move between those types of answers without a noticeable change in voice.Свободный ответ может переходить между этими типами ответов без заметного изменения голоса.

noticeable-заметный, различимый

As a user, try to recognize what kind of intellectual work the AI agent did for a response you receive.Как пользователь, попытайтесь распознать, какую интеллектуальную работу выполнил ИИ-агент для ответа, который вы получили.

recognize-распознавать, узнавать

intellectual-интеллектуальный

receive-получать

Consider whether the interpretation is persuasive or the advice fits your circumstances.Подумайте, убедительна ли интерпретация или подходит ли совет к вашей ситуации.

persuasive-убедительный, внушающий доверие

Before asking whether an AI answer is right, ask a more basic question: What kind of answer is this?Прежде чем спрашивать, правильный ли ответ дал ИИ, задайте более базовый вопрос: Какой это тип ответа?

The type will tell you what to do next.Тип подскажет вам, что делать дальше.