TG Telegram Group & Channel
LLM под капотом | United States America (US)
Create: Update:

#aicase Про продолжение детективной истории

Дело было так - одна европеская компания попросила восстановить список клиентов, который утащили ребята из отдела продаж. Я про кейс писал ранее.

- Начало детективной истории
- Продолжение детективной истории (этот пост)
- Завершение детективной истории
- Результаты презентации - пилим AI Платформу!

В последние недели кейс получил продолжение, даже с применением LLM. Дело было так.

Сначала компания прислала списки всех своих клиентов, сотрудников и любых контактов. Все это было в виде старого доброго Excel на сотни мегабайт.

Мы эти списки разворошили на предмет нестыковок в данных. Тут активное участие принимал сотрудник, которого прокачивали с нуля до аналитика данных с ChatGPT (писал тут).

У всех таблиц были странные заголовки - капсом, с сокращениями и на чешском. Я использовал ChatGPT, чтобы весь этот бардак привести к читаемому виду: сначала импортируем в SQLite, а потом просим почистить имена таблиц и столбцов, чтобы было консистентно и читаемо.

В процессе всплыли нестыковки в данных, например были клиенты в списках контактов, но их не было в основной таблице. В компании не знали причин. Чтобы исключить косяки экспорта, я попросил их не экспортировать в Excel, а прислать сырые данные.

И тут выяснилось, что система работает с дремучим форматом данных DataFlex старой версии. Но у нас к тому моменту уже был Anthropic c Projects & Artifacts, который делает работу с кодом более удобной. Поэтому за несколько дней получилось написать свой парсер для данных, покрыть тестами и отладить.

А дальше началось самое интересное - завели проект для быстрого анализа данных в Antrhopic:
- импортировали все данные в SQLite для удобства анализа
- переименовали все столбцы консистентно и читаемо
- завели новый проект в Anthropic Claude, куда загрузили схему БД, наши познания о клиенте и методички по анализу данных

И теперь можно было начинать чат в этом проекте прямо с вопроса вроде:

I want heat map for all deactivated customers (status == U). One axis - all ChangeWho. Another axis - day of the year for the ChangeDate. I'm looking for patterns, if somebody has been causing a lot of deactivations on one day


На такой вопрос Claude сразу писало код, который можно было вставлять одним куском в Jupyter Notebook и получать визуализацию и результаты анализа.

Это позволило очень быстро перелопачивать данные в поисках следов и паттернов. Пишешь вопрос, копируешь результат из артифакта и исполняешь. Если что-то нужно поправить - корректируешь и забираешь новый артифакт. Claude 3.5 Sonnet тут работает очень хорошою

А как же NDA? А мы же переименовали всю схему и убрали все личное из описания. Плюс сами данные никогда не покидают локальные системы - исполнение кода и работа с ними происходит локально.

Ваш, @llm_under_hood 🤗

PS: Окончание истории тут.

#aicase Про продолжение детективной истории

Дело было так - одна европеская компания попросила восстановить список клиентов, который утащили ребята из отдела продаж. Я про кейс писал ранее.

- Начало детективной истории
- Продолжение детективной истории (этот пост)
- Завершение детективной истории
- Результаты презентации - пилим AI Платформу!

В последние недели кейс получил продолжение, даже с применением LLM. Дело было так.

Сначала компания прислала списки всех своих клиентов, сотрудников и любых контактов. Все это было в виде старого доброго Excel на сотни мегабайт.

Мы эти списки разворошили на предмет нестыковок в данных. Тут активное участие принимал сотрудник, которого прокачивали с нуля до аналитика данных с ChatGPT (писал тут).

У всех таблиц были странные заголовки - капсом, с сокращениями и на чешском. Я использовал ChatGPT, чтобы весь этот бардак привести к читаемому виду: сначала импортируем в SQLite, а потом просим почистить имена таблиц и столбцов, чтобы было консистентно и читаемо.

В процессе всплыли нестыковки в данных, например были клиенты в списках контактов, но их не было в основной таблице. В компании не знали причин. Чтобы исключить косяки экспорта, я попросил их не экспортировать в Excel, а прислать сырые данные.

И тут выяснилось, что система работает с дремучим форматом данных DataFlex старой версии. Но у нас к тому моменту уже был Anthropic c Projects & Artifacts, который делает работу с кодом более удобной. Поэтому за несколько дней получилось написать свой парсер для данных, покрыть тестами и отладить.

А дальше началось самое интересное - завели проект для быстрого анализа данных в Antrhopic:
- импортировали все данные в SQLite для удобства анализа
- переименовали все столбцы консистентно и читаемо
- завели новый проект в Anthropic Claude, куда загрузили схему БД, наши познания о клиенте и методички по анализу данных

И теперь можно было начинать чат в этом проекте прямо с вопроса вроде:

I want heat map for all deactivated customers (status == U). One axis - all ChangeWho. Another axis - day of the year for the ChangeDate. I'm looking for patterns, if somebody has been causing a lot of deactivations on one day


На такой вопрос Claude сразу писало код, который можно было вставлять одним куском в Jupyter Notebook и получать визуализацию и результаты анализа.

Это позволило очень быстро перелопачивать данные в поисках следов и паттернов. Пишешь вопрос, копируешь результат из артифакта и исполняешь. Если что-то нужно поправить - корректируешь и забираешь новый артифакт. Claude 3.5 Sonnet тут работает очень хорошою

А как же NDA? А мы же переименовали всю схему и убрали все личное из описания. Плюс сами данные никогда не покидают локальные системы - исполнение кода и работа с ними происходит локально.

Ваш, @llm_under_hood 🤗

PS: Окончание истории тут.
🔥44👍2365


>>Click here to continue<<

LLM под капотом




Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)