39/99 - O tym, jak i gdzie wdrażać rozwiązania #AI. Agnieszka Niezgoda

W podcaście 99 twarzy AI rozmawiamy o wszystkim, co związane z technologią, innowacjami i oczywiście sztuczną inteligencją.

In the podcast 99 Faces of AI, we talk about everything related to technology, innovations, and of course, artificial intelligence.

Przygotuj się na luźne, inspirujące i często zaskakujące rozmowy z różnymi ekspertami, programistami, naukowcami, przedsiębiorcami i ludźmi, którzy na co dzień pracują z AI.

Get ready for relaxed, inspiring, and often surprising conversations with various experts, programmers, scientists, entrepreneurs, and people who work with AI on a daily basis.

Podcast 99 twarzy AI. Zaprasza Karol Stryja.

Podcast 99 Faces of AI. Hosted by Karol Stryja.

Witajcie. Przede wszystkim wielkie dzięki, że jesteście.

Hello everyone. First of all, thank you so much for being here.

Dzięki za Wasz czas, Wasze maile, Wasze pozytywne komentarze, Wasze pomysły, które mi przesyłacie na kolejne odcinki to najlepsze paliwo do dalszego działania.

Thank you for your time, your emails, your positive comments, and your ideas that you send me for the next episodes; they are the best fuel for further action.

Dzisiaj chciałbym przedstawić Wam Agnieszkę Niezgodę, która aktualnie jest senior architektem w Microsoftzie.

Today I would like to introduce you to Agnieszka Niezgoda, who is currently a senior architect at Microsoft.

Na co dzień wspiera klientów, największe polskie firmy w planowaniu i wdrożeniach aplikacji bazujących na AI.

On a daily basis, he supports clients, the largest Polish companies, in planning and implementing AI-based applications.

Przez ostatni rok była zaangażowana w ponad 100 takich projektów.

Over the past year, she has been involved in more than 100 such projects.

Oprócz tego jest aktywną speakerką konferencyjną i bierze udział w życiu AI Community.

In addition, she is an active conference speaker and participates in the AI Community.

Tylko w ostatnich 12 miesiącach brała udział w ponad 20 dużych konferencjach, gdzie w sumie słuchało jej ponad 10 tysięcy specjalistów od AI i danych.

In the last 12 months alone, she has participated in over 20 major conferences, where she was listened to by more than 10,000 AI and data specialists.

Nie przedłużając, życzę Wam dobrego dnia i niech AI będzie z nami wszystkimi.

Without further ado, I wish you all a good day, and may AI be with us all.

Byłem na kilku Twoich wystąpieniach i wiem, że jesteś osobą, która nie tylko łączy to, co się dzieje, ale i to, co się dzieje.

I have been to several of your speeches and I know that you are a person who not only connects what is happening but also what has happened.

Która nie tylko łączy praktykę, ale również wiedzę teoretyczną.

Which not only combines practice but also theoretical knowledge.

Opowiesz o swojej drodze do sztucznej inteligencji? O tym, jak to się stało, że robisz to, co robisz?

Will you tell us about your journey into artificial intelligence? How it happened that you do what you do?

Jak kończyłam doktorat, to akurat rozpoczął się ten szał na big data.

When I was finishing my doctorate, the craze for big data had just started.

Wszystkie media pisały o big data i o tym, jak ważne są dane i ile organizacje mogą wygrać pracując z danymi.

All the media were writing about big data and how important data is and how much organizations can gain by working with data.

I zdecydowałam się po prostu na tym skoncentrować, biorąc pod uwagę, że już podczas doktoratu analizowałam duże ilości danych.

And I decided to simply focus on this, considering that I was already analyzing large amounts of data during my PhD.

I w tym zostałam. Nigdy tego nie żałowałam tak naprawdę, czyli zajmowałam się najpierw danymi, analityką danych i później rozszerzyłam to na sztuczną inteligencję.

And this is what I've stayed with. I've never really regretted it, meaning I first dealt with data, data analytics, and then I expanded it to artificial intelligence.

I nadal uważam, że te powiązania między sztuczną inteligencją a danymi są niesamowicie ciekawe i niesamowicie ważne, żeby pracować właśnie zdając sobie z tego sprawę.

I still believe that the connections between artificial intelligence and data are incredibly interesting and extremely important to work on while being aware of this.

Jak ludzie powtarzają, garbage in, garbage out, tak?

As people repeat, garbage in, garbage out, right?

Dokładnie tak. I to jest często też bloker, jak na przykład myślimy o wprowadzeniu nowych rozwiązań korzystających z LLM-ów,

Exactly. And this is often a blocker as well, for example when we think about introducing new solutions using LLMs,

albo z innych modeli sztucznej inteligencji, że po prostu dane, z których chcemy skorzystać, nie są najlepszej jakości.

or from other artificial intelligence models, that the data we want to use is simply not of the best quality.

A opowiesz o tych danych? Co tak naprawdę w tych danych się liczy? Ich jakość, uporządkowanie? Opowiedzmy o tym obrazowo.

And will you tell us about this data? What really matters in this data? Its quality, organization? Let's discuss this visually.

Może skoncentrujmy się na LLM-ach, bo to jest aktualnie temat, który oczywiście wszystkich zajmuje.

Maybe let's focus on LLMs, as this is currently the topic that obviously concerns everyone.

Często chcemy stworzyć rozwiązania, które bazują na naszych własnych danych, czyli na przykład chat-boty, które odpowiadają na pytania użytkowników,

We often want to create solutions that are based on our own data, such as chat-bots that answer users' questions.

czyli na przykład chat-boty, które odpowiadają na pytania użytkowników, czyli na przykład chat-boty, które odpowiadają na pytania użytkowników,

for example, chatbots that respond to user questions, for example, chatbots that respond to user questions,

na podstawie naszych danych wewnętrznych, na podstawie naszej dokumentacji wewnętrznych.

based on our internal data, based on our internal documentation.

I wtedy korzystamy z tej architektury, która jest określana mianem RAC, czyli to jest pojęcie, które większość osób pracujących trochę bardziej technicznie z LLM-ami zna.

And then we use this architecture, which is referred to as RAC, meaning it is a concept that most people working a bit more technically with LLMs are familiar with.

Dostarczamy modelowi nasze dane w różnym formacie. To mogą być teksty, i zazwyczaj są teksty, ale to mogą być również obrazki i różne inne formaty.

We provide our data to the model in various formats. These can be texts, and they usually are texts, but they can also be images and various other formats.

No i oczywiście od jakości tych danych zależy, jak dobrze one są skorzystane.

Well, of course, the quality of this data determines how well it is utilized.

Od jakości tych danych zależy, jak dobrze ten nasz robocik, ten nasz chat-bot albo inne rozwiązanie będzie działało.

The quality of this data determines how well our little robot, our chat-bot, or other solutions will function.

To znaczy, jeżeli te dane są sprzeczne, jeżeli są trudne do zrozumienia.

That means if the data is contradictory, if it is difficult to understand.

Miałam już takie sytuacje, takie projekty, że organizacja chciała na przykład zbudować chat-bota dla swoich wewnętrznych użytkowników,

I have had situations and projects where an organization wanted to build a chat-bot for its internal users,

który będzie odpowiadał na pytania dotyczące etiketów IT, ale niestety te etikety były tak źle zdokumentowane,

which will answer questions about IT labels, but unfortunately these labels were so poorly documented,

że bardzo trudno by było sprawić, żeby ten chat-bot

that it would be very difficult to make this chat-bot

sam sobie znalazł rozwiązanie, sam sobie znalazł treści, które odpowiadają na pytania użytkownika.

he found the solution by himself, he found the content that answers the user's questions by himself.

Oprócz tego to, co jest ważne, no to kwestia prywatności danych.

Besides that, what is important is the issue of data privacy.

Tutaj w Europie mam do czynienia z RODO, GDPR, dlatego warto wziąć to pod uwagę również,

Here in Europe, I am dealing with GDPR, so it is worth taking this into account as well.

że te dane nie zawierają informacji na przykład o naszych użytkownikach, ich PESEL-i i tak dalej,

that this data does not contain information about our users, their PESEL numbers, and so on,

chyba że mają zawierać, czasami tak jest.

Unless they are supposed to include, sometimes that is the case.

Czyli te dane powinny być zrozumiałe.

So these data should be understandable.

Powinny nie być sprzeczne i powinniśmy sprawdzić, czy nie zawierają danych wrażliwych.

They should not be contradictory, and we should check if they do not contain sensitive data.

I powinno być ich wystarczająco dużo.

And there should be enough of them.

Tak, to prawda. Możemy oczywiście dodawać różne inne pluginy, różne tool-e,

Yes, that's true. We can of course add various other plugins and tools.

z których taki chat-bot czy inne rozwiązanie może korzystać.

from which such a chat-bot or other solution can benefit.

Na przykład może się posłużyć wyszukiwaniem w internecie.

For example, one can use internet searching.

Natomiast tak, jeżeli chcemy, żeby odpowiadał tylko na podstawie naszych danych,

However, yes, if we want him to respond only based on our data,

to powinno ich być wystarczająco dużo.

There should be enough of them.

A pamiętasz taki moment, kiedy zaświeciła ci się ta gwiazdka w głowie gdzieś i pomyślałaś,

Do you remember that moment when that little star lit up in your head and you thought,

kurczę, to jest ten moment, kiedy rynek to zauważył możliwości i łączy teraz swoje potrzeby z dostępną technologią?

Gee, is this the moment when the market has noticed the possibilities and is now connecting its needs with the available technology?

Masz na myśli, kiedy faktycznie organizacje zaczęły wykorzystywać potencjał AI?

Do you mean when organizations actually started to harness the potential of AI?

Tak.

Yes.

Mam wrażenie, że to było tak mniej więcej półtorej roku temu faktycznie, kiedy wszyscy zaczęli mówić o LLM-ach.

I have the impression that it was about a year and a half ago, indeed, when everyone started talking about LLMs.

Bo przecież LLM-y to…

Because after all, LLMs are…

Tak.

Yes.

To nie jest pierwsze wykorzystanie sztucznej inteligencji.

This is not the first use of artificial intelligence.

Te wszystkie modele speech-to-text, text-to-speech, vision, to istnieje od lat i było wykorzystywane.

All these speech-to-text, text-to-speech, and vision models have existed for years and have been used.

NLP, NLU, zobacz, że przecież smart-speakery to rok 2017-2018.

NLP, NLU, see that smart speakers are from 2017-2018.

Dokładnie tak.

Exactly so.

Iwona, która ma swoje korzenie w Polsce, na bazie której powstała potem Alexa.

Iwona, who has her roots in Poland, on the basis of which Alexa was later created.

Zresztą duże centrum R&D, które do tej pory istnieje w Gdańsku.

Moreover, there is a large R&D center that has been operating in Gdańsk until now.

Tak.

Yes.

Ale jakoś to nie przebiło się do świadomości publicznej.

But somehow it didn't break into public awareness.

A później jak zaczęło się mówić o GPT-3,5, później GPT-4, to nagle wszyscy zaczęli bardzo się tym interesować.

And then when people started talking about GPT-3.5, and later GPT-4, suddenly everyone became very interested in it.

I to jest ciekawe, bo mam wrażenie, że faktycznie przez to zainteresowanie LLM-ami również te inne use case, inne sposoby wykorzystania sztucznej inteligencji otrzymują więcej uwagi.

And this is interesting, because I have the impression that indeed, due to the interest in LLMs, other use cases and different ways of utilizing artificial intelligence are also receiving more attention.

Czyli właśnie na przykład speech-to-text.

So, for example, speech-to-text.

Myślimy sobie o wykorzystaniu sztucznej inteligencji w centrach obsługi klienta, więc chcemy na przykład konsultantowi dać do dyspozycji możliwość wyszukiwania informacji w naszej bazie danych szybkiej.

We are considering using artificial intelligence in customer service centers, so we want to provide the consultant with the ability to quickly search for information in our database, for example.

Ale oprócz tego chcielibyśmy mieć transkrypcję tego, co mówi dzwoniący klient i tego, co mówi konsultant, żeby sprawdzić na przykład, czy zachował się według skryptu, według którego miał się zachować.

But besides that, we would like to have a transcription of what the calling customer says and what the consultant says, to check, for example, if they behaved according to the script they were supposed to follow.

A jakie widzisz główne potrzeby, jeżeli chodzi o biznes?

What do you see as the main needs when it comes to business?

Rozumiem.

I understand.

Rozmawiasz na pewno z wieloma firmami w Polsce, w regionie.

You are definitely talking to many companies in Poland, in the region.

Jakie są takie, wiesz, główne potrzeby, które są formułowane właśnie od strony biznesowej w kontekście wykorzystania LLM-ów właśnie?

What are the main needs being articulated from a business perspective in the context of utilizing LLMs?

Często zaczyna się od wykorzystania LLM-ów wewnątrz firmy.

It often starts with the use of LLMs within the company.

I to jest dobra droga, dlatego że umożliwia nam przetestowanie tej technologii, zaznajomienie się z nią.

And this is a good way because it allows us to test this technology and get familiar with it.

Te modele są super, ale to są modele niedeterministyczne, co oznacza, że czasami mogą się zachowywać w sposób,

These models are great, but they are non-deterministic models, which means that sometimes they can behave in a way that,

w który nie chcielibyśmy, żeby się zachowywały.

in which we would not want them to behave.

Dlatego, jeżeli organizacja zaznajomi się z tą technologią, pozna tajniki promptowania, zrozumie, dlaczego model zachowuje się w sposób,

Therefore, if the organization familiarizes itself with this technology, learns the intricacies of prompting, and understands why the model behaves in a certain way,

w jaki się zachowuje najpierw wewnątrz firmy, gdzie te ryzyka są bardzo małe, to jest zazwyczaj dobry pomysł faktycznie.

how it behaves first within the company, where those risks are very small, it is usually a good idea indeed.

Później, chcąc wykorzystać tą technologię w kontakcie z naszymi klientami, na przykład do produkcji materiałów marketingowych, w sprzedaży i tak dalej,

Later, wanting to use this technology in our interactions with clients, for example for producing marketing materials, in sales, and so on,

musimy oczywiście wprowadzić trochę więcej zabezpieczeń i musimy przemyśleć, jakie tam istnieją ryzyka i jak zapobiec, żeby faktycznie stało się coś,

We obviously need to implement a bit more security measures and we need to consider what risks exist there and how to prevent something from actually happening.

co nie chcielibyśmy, żeby się stało. Natomiast jeśli chodzi o takie najpopularniejsze scenariusze użycia, no to oprócz tych wewnętrznych,

what we wouldn't want to happen. However, when it comes to the most popular use cases, apart from those internal ones,

czyli wyszukiwanie na podstawie naszej bazy wiedzy, na przykład znajdowanie informacji HR-owych, czyli chcemy umożliwić naszym pracownikom dostęp do naszych polityk,

So, searching based on our knowledge base, for example, finding HR-related information, meaning we want to enable our employees to access our policies.

do baz danych wewnętrznych, chcemy im umożliwić sprawdzenie, ile mają jeszcze dni urlopu do użycia albo złożenie jakiegoś wniosku prostego,

to internal databases, we want to enable them to check how many vacation days they have left to use or to submit some simple request,

no to użycie właśnie w centrach obsługi klienta jest bardzo szeroko rozważane i już stosowane w wielu organizacjach,

So, its use in customer service centers is being widely considered and is already being implemented in many organizations.

po to, żeby klient miał dostęp do informacji przez cały czas, to znaczy 24 godziny na dobę, przez 7 dni w tygodniu.

so that the client has access to information all the time, that is, 24 hours a day, 7 days a week.

Możemy zbudować sobie takiego voicebota albo jako wsparcie obsługi klienta, wsparcie pracy na przykład takiego konsultanta,

We can build such a voice bot either as customer service support or to assist, for example, a consultant.

plus produkcja materiałów marketingowych, prototypów na przykład, niektóre firmy produkujące ubrania na przykład,

plus the production of marketing materials, prototypes for example, some clothing companies for example,

odpowiednio promptują, dali trzy i w ten sposób otrzymują pomysły na nowe produkty.

They prompt appropriately, gave three, and in this way, they get ideas for new products.

Wiesz, ostatnio rozmawiałem nawet z jednym studentem w Polsko-Japońskiej Akademii Technicznej,

You know, I even talked to a student at the Polish-Japanese Academy of Technology recently.

który stworzył dokładnie firmę, która generuje obrazy na odzież i całkiem fajnie mu to idzie.

who created exactly the company that generates images on clothing and he is doing quite well at it.

Wierzę, wierzę, bo faktycznie to bardzo fajnie działa. Oprócz tego bardzo często to się stosuje w kontekście e-commerce'u,

I believe, I believe, because it actually works very well. Besides, it is very often used in the context of e-commerce.

czyli na przykład mamy zdjęcia produktów, właśnie tych ubrań albo czegoś innego i chcielibyśmy stworzyć również opis słowny,

So, for example, we have pictures of products, specifically these clothes or something else, and we would like to create a verbal description as well.

po to, żeby umożliwić wyszukiwanie odpowiednie i w tym celu właśnie te modele.

In order to enable searching for the appropriate ones and for this very purpose these models.

Te modele, które w międzyczasie stały się multimodalne, też mogą być wykorzystywane.

These models, which have since become multimodal, can also be used.

Mówiąc o e-commerce'ie, mówiąc o automatyzacji, znam też jeden z moich znajomych,

Speaking about e-commerce, speaking about automation, I also know one of my acquaintances,

ma firmę, która drukuje obrazy nieba na plastiku, na elementach metalowych i wyobraź sobie,

he has a company that prints images of the sky on plastic, on metal elements, and imagine,

że przeszedł tranzycję z dwudziestokilkuosobowej firmy do firmy, która teraz zatrudnia trzy czy cztery osoby.

that he transitioned from a company of several dozen people to a company that now employs three or four people.

Są na wielu innych dodatkowych rynkach, robią kapitalne wyniki, dużo mniejszym zespołem właśnie dzięki automatyzacji,

They are in many other additional markets, achieving great results with a much smaller team thanks to automation.

procesów, jeżeli chodzi o wizualizację, obsługę, o rozwiązania low-code'owe, o komunikację z klientem itd.

processes, when it comes to visualization, handling, low-code solutions, customer communication, etc.

Tak. Nie we wszystkich tych scenariuszach LLM'y też się sprawdzą.

Yes. In all of these scenarios, LLMs will also perform well.

Jeśli chodzi np. o pewne scenariusze związane z automatyzacją, to moje doświadczenie jest takie,

For example, when it comes to certain scenarios related to automation, my experience is that,

że czasami inne rozwiązania oparte na regułach lepiej działają.

that sometimes other rule-based solutions work better.

Natomiast LLM'y są bardzo wartościową częścią tego zazwyczaj.

On the other hand, LLMs are usually a very valuable part of this.

Dobrze.

Okay.

No ale zobacz.

But look.

Z jednej strony.

On the one hand.

Mamy ten hype, który pojawił się po tym, jak światło dzienne ujrzał czat GPT i inne rozwiązania

We have this hype that appeared after the release of chat GPT and other solutions.

i nagle okazało się, że papież jeździ na deskorolce albo nosi wielkie białe futro.

And suddenly it turned out that the pope rides a skateboard or wears a big white fur coat.

To był pewien moment, o którym rozmawialiśmy.

It was a certain moment that we talked about.

Przeniknięcia tej technologii do zbiorowej świadomości.

The penetration of this technology into collective consciousness.

Ale sama świadomość to jedno, a zrozumienie tej technologii, zrozumienie potrzeb biznesu,

But awareness itself is one thing, and understanding this technology, understanding the needs of the business, is another.

możliwości jakie ta technologia daje, ale też z drugiej strony ograniczeń i całego procesu,

the possibilities that this technology offers, but also on the other hand the limitations and the whole process,

który musi być zrealizowany po to, żeby dowieźć teraz rezultat, to druga sprawa.

which must be executed in order to deliver the result now, that is another matter.

Jak wygląda z twojej perspektywy, ponieważ pracujesz z wieloma klientami tutaj w Polsce, w regionie,

What does it look like from your perspective, since you work with many clients here in Poland, in the region?

kwestia edukacji i tej świadomości właśnie?

The issue of education and this awareness, right?

To pytanie ma też, powiem wprost, trochę ukrytą agendę.

This question also has, I will say frankly, a somewhat hidden agenda.

I moje założenie, że hype hype'em i patrzenie na obrazki, tytuły, które pojawiają się coraz częściej

And my assumption is that hype is hype and looking at the pictures, the titles that appear more and more often.

w prasie, w mediach, w internecie, to jedno.

In the press, in the media, on the internet, it's all one.

Ale żeby teraz to przełożyć na realny biznes, jest chyba potrzeba dużo więcej niż tylko takiej ciekawości.

But to translate this into a real business, there is probably a need for much more than just such curiosity.

Tak, to prawda. Ta edukacja, ten cały change management jest bardzo ważny.

Yes, that's true. This education, this whole change management is very important.

I jest nawet ważniejszy, biorąc pod uwagę, że zazwyczaj zespoły, które zajmują się sztuczną inteligencją,

And it is even more important, considering that usually the teams that deal with artificial intelligence,

które tworzą rozwiązania bazujące na sztucznej inteligencji, to są zespoły programistów przyzwyczajone

that create solutions based on artificial intelligence, are teams of programmers accustomed

do takiej tradycyjnej metody pracy programistycznej właśnie, czyli z językami programowania.

to such a traditional method of programming work, namely with programming languages.

Nad rozwiązaniami bazującymi na sztucznej inteligencji pracuje się odrobinę inaczej,

Solutions based on artificial intelligence are being developed somewhat differently,

zwłaszcza jeśli mówimy właśnie o LLM-ach.

especially when we are talking about LLMs.

Opowiesz o tym?

Will you tell me about it?

Jak najbardziej. Często zresztą jest tak, że jedno z drugim się łączy.

Absolutely. In fact, it's often the case that one thing is connected to another.

I na przykład, jeśli chcemy, żeby stworzyć narzędzie, które potrafi nie tylko pracować,

And for example, if we want to create a tool that can not only work,

tylko odpowiadać na pytania na podstawie naszej bazy wiedzy albo danych, na których zostało wytrenowane,

only answer questions based on our knowledge base or the data it was trained on,

ale również na przykład zrobić coś dla nas, czyli wysłać maila, sprawdzić coś w jakimś innym systemie,

but also, for example, do something for us, like send an email, check something in another system,

to często dodaje się tak zwane funkcje, function calling.

It is often referred to as so-called functions, function calling.

I można w ten sposób nawet sprawić, że taka aplikacja bazująca na LLM-ie sama zdecyduje,

And in this way, it is even possible to cause such an application based on an LLM to decide on its own,

z której funkcji chce skorzystać i to za nas zrobi.

which function they want to use, and it will do it for us.

Oczywiście najlepiej przy jakiejś...

Of course, it's best with some...

kontroli.

control.

Poruszyłaś tutaj kwestie nie tylko LLM-ów, tylko agentów, którzy też są przyszłością w biznesu

You raised issues not only about LLMs but also about agents, who are also the future in business.

i tego środowiska, w którym będziemy się obracać.

and the environment in which we will be operating.

Tak, absolutnie. To jest bardzo ciekawy trend, bardzo szybko się rozwijający.

Yes, absolutely. This is a very interesting trend, developing very quickly.

Nadal istnieje tam kilka wyzwań, ale na pewno jest to obszar, który przyniesie sporo ciekawych rozwiązań.

There are still several challenges there, but it is definitely an area that will bring some interesting solutions.

A wyzwania, o których mówisz, możemy je nazwać?

And the challenges you are talking about, can we name them?

Trudno kontrolować zachowanie takich agentów, to znaczy zazwyczaj trzeba je kontrolować,

It's hard to control the behavior of such agents, meaning they usually need to be controlled.

ale pytanie jest, jak wprowadzimy ograniczenia, co tacy agenci mogą zrobić.

But the question is, how we will implement restrictions on what such agents can do.

Także o tym trzeba pomyśleć.

This is also something to think about.

Ja zawsze podaję ten przykład, jak zaczęłam sama bawić się właśnie agentami

I always give this example of when I started playing with agents myself.

i zdefiniowałam cel, co ci agenci mają dla mnie zrobić.

And I defined the goal of what these agents are to do for me.

Dwóch agentów, których sobie odpowiednio zdefiniowałam, mają tam dostęp do wyszukiwarki internetowej,

Two agents, whom I have appropriately defined, have access to the search engine there.

mogą instalować sobie biblioteki i tak dalej.

They can install libraries and so on.

No i kliknęłam, żeby zaczęli ze sobą rozmawiać,

Well, I clicked for them to start talking to each other,

żeby zaczęli rozwiązywać ten mój problem.

so that they start solving my problem.

A później ktoś do mnie zadzwonił i po prostu oderwałam się od tego, co robiłam.

And then someone called me and I simply detached myself from what I was doing.

Później miałam jedno spotkanie, drugie spotkanie.

Later I had one meeting, then another meeting.

Trzy godziny później przypomniało mi się, ja przecież to włączyłam.

Three hours later, I remembered, I turned it on.

Jak to się skończyło?

How did it end?

I wróciłam do swojego edytora kodu.

I returned to my code editor.

Oni nadal gadali, oni nadal gadali.

They kept talking, they kept talking.

To znaczy gadali nie dążąc do celu i do rozwiązania?

Does that mean they were talking without striving for a goal and a solution?

Właściwie dążyli do celu,

They actually pursued the goal.

ale nie dali rady jednak, bo nie zdefiniowałam ich jakoś tak poprawnie.

But they weren't able to do it after all, because I didn't define them correctly.

Oczywiście to można kontrolować.

Of course, that can be controlled.

Można im dawać z jednej strony pewne ograniczenia odnośnie tego, co mają robić,

They can be given certain restrictions regarding what they should do from one side,

a z drugiej strony można narzucać jakieś ograniczenia dotyczące czasu, odpowiedzi.

On the other hand, one can impose some restrictions regarding time and responses.

Albo nawet robić to tak, że sprawdzamy, co się sprawdzi i później zapisujemy tę całą ścieżkę i ją po prostu odtwarzamy.

Or even do it in a way that we check what works, and then we record the entire path and simply replay it.

Ale nie jest tak, że za każdym razem ci agenci zaczynają od początku.

But it's not like those agents start from the beginning every time.

A pamiętasz, jaka była rola tych agentów?

And do you remember what the role of those agents was?

Do czego dążyłaś?

What were you striving for?

Jakie było zadanie, które miało być rozwiązane?

What was the task that was to be solved?

To nie było nic skomplikowanego.

It wasn't anything complicated.

Chodziło o podsumowanie jakichś artykułów naukowych, o stworzenie ich analizy.

It was about summarizing some scientific articles and creating an analysis of them.

No dobrze.

Alright.

W agencji to jedno.

In the agency, it's one thing.

To jest ta przyszłość, która może się wydarzyć.

This is the future that may happen.

Możemy mieć agenta, który będzie nam swoją drogą taka mała dygresja.

We can have an agent, which is a small digression on our part.

Jak teraz popatrzę sobie na smart speakery,

When I look at smart speakers now,

parę lat temu wydawały mi się szczytem osiągnięć technologii,

a few years ago they seemed to me the pinnacle of technological achievements,

no to zobacz, że to wygląda trochę jak wynalazek zmienionej epoki.

Well, see that it looks a bit like an invention from a changed era.

Hej, włącz światło, wyłącz światło, włącz mi muzykę i tak dalej, prawda?

Hey, turn on the light, turn off the light, turn on my music, and so on, right?

Tak.

Yes.

A jeszcze wracając do tematu agentów, to mam wrażenie, że szczególnie często to jest aktualnie wykorzystywane w kontekście właśnie software development.

And returning to the topic of agents, I have the impression that it is particularly often used in the context of software development right now.

Czyli definiujemy sobie agenta albo kilku agentów spełniających rolę właśnie deweloperów.

So we define an agent or several agents fulfilling the role of developers.

Później definiujemy sobie testera.

Later we define a tester for ourselves.

I tak dalej.

And so on.

I prosimy ich o rozwiązanie jakiegoś problemu, napisanie jakiegoś kodu, który coś dla nas zrobi.

And we ask them to solve some problem, to write some code that will do something for us.

I takie rozwiązania już są stosowane przez wiele firm.

Such solutions are already being used by many companies.

Wiesz, przyszło mi takie pytanie teraz do głowy, bo masz background akademicki.

You know, a question just popped into my head because you have an academic background.

Nie znamy się dobrze, ale taki jest mój odbiór twojej osoby, ponieważ słuchałem twoich kilku wystąpień na konferencjach.

I don't know you well, but that is my impression of you, as I have listened to some of your talks at conferences.

Mieliśmy okazję rozmawiać parę razy.

We had the opportunity to talk a few times.

Mówisz, że jesteś kobietą, która ma niezwykły talent, jeżeli chodzi o input, o gromadzenie wiedzy.

You say that you are a woman who has an extraordinary talent when it comes to input, to gathering knowledge.

Powiedz mi proszę, no właśnie, jesteś człowiekiem o niesamowitym inputcie.

Please tell me, well, you are a person with an amazing input.

Czy traktujesz te narzędzia jako szansę, czy jako zagrożenie dla siebie?

Do you see these tools as an opportunity or a threat to yourself?

Staram się unikać widzenia tego w kategoriach czerni i bieli.

I try to avoid seeing this in black and white terms.

To jest technologia, która przyda się w bardzo wielu obszarach życia.

This is a technology that will be useful in many areas of life.

I ma mnóstwo możliwych scenariuszy użycia.

There are plenty of possible use scenarios.

Scenariuszy użycia, które są pozytywne.

Positive use cases.

Wiesz, zapytam jeszcze, dlaczego o to pytam, bo kiedyś zrobiłem taki eksperyment i weszłem z mikrofonem na ulicę Warszawy.

You know, I will ask again why I am asking this, because I once conducted an experiment and went out onto the streets of Warsaw with a microphone.

I zacząłem pytać ludzi o to, jakie mają przeczucie w kontekście rozwoju sztucznej inteligencji tych narzędzi, które teraz widzimy.

And I started asking people about their feelings regarding the development of the artificial intelligence tools that we are seeing now.

I 90% osób, wiem, że to była niereprezentatywna grupa.

I know that 90% of the people, this was a non-representative group.

Pewnie być może jakiś bias mój.

It might be some bias of mine.

Jeżeli chodzi o formułowanie pytań i tak dalej.

As for formulating questions and so on.

Ale zdecydowana większość mówiła tak.

But the vast majority said so.

Hej, sztuczna inteligencja zastąpi nas, zabierze nam pracę i tak dalej.

Hey, artificial intelligence will replace us, take our jobs and so on.

Tak. I to jest zrozumiałe, że jak pojawia się nowa technologia, to pojawiają się również obawy związane z nią.

Yes. And it is understandable that when new technology emerges, concerns about it also arise.

Ale to jest trochę tak jak z kalkulatorem, prawda?

But it's a bit like with a calculator, right?

Jak kalkulator się pojawił, to nie oznacza, że przestaliśmy uczyć się matematyki.

Just because the calculator appeared, it doesn't mean we stopped learning mathematics.

Że nauka matematyki przestała być ważna.

That the study of mathematics has ceased to be important.

Chociaż kalkulator przecież większość obliczeń...

Although the calculator does most of the calculations...

Robi znacznie szybciej niż człowiek.

It does it significantly faster than a human.

I jest znacznie bardziej tutaj skuteczny, znacznie bardziej wydajny.

And it is much more effective here, much more efficient.

Dlatego staram się to również widzieć w tym kontekście, prawda?

That's why I'm trying to see it in that context as well, right?

Jeśli chodzi o zagrożenia, to oczywiście trzeba je kontrolować.

When it comes to threats, of course they need to be controlled.

Dlatego obserwuję również na przykład to prawodawstwo, na którym się pracuje na poziomie Unii Europejskiej głównie.

Therefore, I also observe, for example, the legislation that is being worked on primarily at the level of the European Union.

I to są moim zdaniem regulacje, które są również potrzebne.

And these are, in my opinion, regulations that are also necessary.

No właśnie, jest sporo przeciwstawnych głosów, jeżeli chodzi o regulacje.

Indeed, there are quite a few opposing voices when it comes to regulations.

Z jednej strony słyszy się, że tak, regulacje są potrzebne.

On one hand, you hear that yes, regulations are needed.

Trzeba zabezpieczać interes Europejczyków.

We need to protect the interests of Europeans.

Ludzi, którzy potem z tych narzędzi korzystają.

People who then use these tools.

Ograniczać swobodę, jeżeli chodzi o wykorzystanie danych przez duże korporacje.

Restricting freedom when it comes to the use of data by large corporations.

Z drugiej strony mówi się, że regulujemy coś, co tak naprawdę jeszcze nie wiemy, jak będzie miało wyglądać, jaką funkcję pełnić.

On the other hand, it is said that we are regulating something that we do not yet know how it will look or what function it will serve.

To prawda.

It's true.

To prawda. Natomiast...

It's true. However...

To gdzie jesteśmy i gdzie jest ten, nazwijmy to, złoty środek?

So where are we and where is this, let's call it, golden mean?

Zgadzam się z tym. Natomiast co jest alternatywą?

I agree with that. However, what is the alternative?

To znaczy zostawić to po prostu, żeby się rozwijało, żebyśmy mogli robić wszystko?

Does it mean to just let it develop so we can do everything?

To pewnie też nie jest najlepsza opcja.

That's probably not the best option either.

Moim zdaniem ta technologia jest świetna.

In my opinion, this technology is great.

I to jest właśnie coś takiego dla języka, co wcześniej powstało jako kalkulator dla na przykład obliczeń.

And this is precisely something for the language that was previously created as a calculator for, for example, calculations.

Nie?

No?

I będzie miało na pewno dużo pozytywnych tutaj skutków.

And it will definitely have a lot of positive effects here.

Natomiast faktycznie trzeba pomyśleć o tym, jak to kontrolować, mimo że te technologie są trudne do kontroli.

However, we actually need to think about how to control it, even though these technologies are difficult to manage.

Podobnie zresztą jak każda inna technologia, która dopiero się pojawia jest trudna do kontrolowania.

Similarly to any other emerging technology, it is difficult to control.

Bo to wtedy są rzeczy, które niesamowicie szybko się rozwijają.

Because then there are things that develop incredibly fast.

Jeśli chodzi o AI, no to widzisz jak szybko to wchodzi.

When it comes to AI, you see how quickly it's coming in.

I jak szybko to się zmienia. Nowe modele wychodzą dosłownie co tydzień.

And how quickly it changes. New models come out literally every week.

I umieją coraz więcej.

And they are able to do more and more.

Tak. I nowe strategie, prace z nimi.

Yes. And new strategies, working with them.

Drodzy słuchacze, żałuję, że nie nagrywamy tego podcastu na wideo, ponieważ zobaczylibyście właśnie niezwykły błysk w oczach Agnieszki, kiedy mówi o właśnie tych możliwościach i o tej perspektywie rozwoju.

Dear listeners, I regret that we are not recording this podcast on video, because you would have just seen an extraordinary sparkle in Agnieszka's eyes when she talks about these opportunities and this perspective of growth.

Zobacz ile wydarzyło się w przeciągu tych niecałych dwóch lat.

See how much has happened in the span of these almost two years.

Od momentu premiery Chata GPT, takiego, nazwijmy to, publicznego.

Since the release of Chat GPT, let's call it, public.

Zobacz jak zmieniły się modele i gen AI, jeżeli chodzi o wideo, o audio.

See how the models and AI have changed when it comes to video and audio.

Jestem pod niezwykłym wrażeniem tego, co robi Eleven Labs, jak rozwijają się modele właśnie generatywne, jeżeli chodzi o generowanie obrazu.

I am incredibly impressed by what Eleven Labs is doing and how generative models are developing in terms of image generation.

Nawet miałem ostatnio taką dyskusję z moją żoną.

I even had such a discussion with my wife recently.

No, za chwilę nic nie będzie stało na przeszkodzie, żeby taką Dune, która okazała się hitem kinowym, wyprodukowała.

No, in a moment there will be nothing to prevent the production of a Dune that turned out to be a box office hit.

Mając fajny pomysł, w zaciszu swojego domu oczywiście, posiadając odpowiedni zasób środków.

Having a great idea, in the comfort of your own home, of course, with the right amount of resources.

Mając fajny pomysł.

Having a cool idea.

Tak, i tu jest znowu element, do którego wracam.

Yes, and here is again an element that I return to.

Jakiś czas temu rozmawiałem w jednym z odcinków z Dawidem Sypniewskim z AWS-u.

Some time ago, I talked in one of the episodes with Dawid Sypniewski from AWS.

Rozmawialiśmy o kreatywności właśnie.

We were just talking about creativity.

Jak jest twoje zdanie?

What is your opinion?

Czy być może tym...

Is it possible that this...

z oczekiwanią odpowiedzią z mojej strony.

with an expectation of a response from my side.

Czy nie jest trochę tak, że to właśnie ta kreatywność

Isn't it a bit like this, that it is precisely this creativity?

będzie teraz tym dobrem rzadkim i siłą napędową tego,

will now be that rare good and the driving force of this,

co będziemy w stanie zrobić z tymi modelami?

What will we be able to do with these models?

Absolutnie tak. Kreatywność z jednej strony,

Absolutely yes. Creativity on one hand,

z drugiej strony zdolności analityczne.

On the other hand, analytical skills.

No bo to tak trochę jak z tą opinią,

Well, it's a bit like with that opinion,

że za kilka lat zawód software dewelopera nie będzie istniał.

that in a few years the profession of software developer will no longer exist.

Ja się z tym nie zgadzam, bo jeśli chodzi o zrozumienie

I do not agree with this because when it comes to understanding.

wymagań biznesowych, jeśli chodzi o stworzenie architektury,

business requirements when it comes to creating architecture,

jeśli chodzi o właśnie priorytetyzację tego,

when it comes to prioritizing this,

co chcemy stworzyć, to zawsze będzie ważne

What we want to create will always be important.

i tego taki model za nas nie ogarnie,

and such a model won't manage it for us,

bo to zależy od kontekstu.

because it depends on the context.

Czyli teraz zaraz uczyć się technologii, stricte technologii.

So now we are about to learn technology, strictly technology.

Warto byłoby chyba uczyć się logiki,

It would probably be worth learning logic,

reasonable thinking, kreatywności, ciekawości,

reasonable thinking, creativity, curiosity,

właśnie umiejętności łączenia faktów, oczekiwań,

the ability to connect facts, expectations,

świadomości co do narzędzi i tak dalej.

awareness regarding tools and so on.

Tak, wydaje mi się, że zdecydowanie to pójdzie w tym kierunku.

Yes, I think it will definitely go in that direction.

Zresztą jakiś czas temu widziałam takie porównanie,

By the way, some time ago I saw such a comparison,

jak zmieniają się oczekiwania względem pracowników,

how expectations towards employees are changing,

czyli które te cechy są najważniejsze

So which features are the most important?

i właśnie te związane z krytycznym myśleniem,

and those related to critical thinking,

z szybką nauką i tak dalej, stają się coraz większe.

With rapid learning and so on, they are becoming increasingly larger.

A zapytam z ciekawości, Agnieszko,

And may I ask out of curiosity, Agnieszka,

a jak jest u ciebie, jak ty się uczysz,

And how is it with you, how do you learn?

w jaki sposób uczysz się logiki,

how do you learn logic,

tego krytycznego myślenia,

critical thinking,

bo jesteś niezwykle, tak jest mój odbiór ciebie,

because you are extraordinary, that is my perception of you,

osobą o takim analitycznym i chłodnym spojrzeniu na świat i rzeczywistość.

a person with such an analytical and cool view of the world and reality.

Dziękuję bardzo.

Thank you very much.

To jest tak, że mnie wiele rzeczy interesuje

It's like this, there are many things that interest me.

i zaczęłam już na studiach

and I had already started in college

chodzić na zajęcia z wielu różnych przedmiotów,

attend classes in many different subjects,

na wielu różnych kierunkach

in many different directions

i po studiach to kontynuowałam.

And after my studies, I continued with it.

To znaczy mam takie swoje obszary,

That means I have my own areas.

w których staram się rozwijać,

in which I try to develop,

ale oczywiście od czasu do czasu dochodzą do tego następne obszary.

But of course, from time to time, additional areas are added to this.

Ogólnie uważam, że świat jest niesamowicie ciekawy.

Overall, I think the world is incredibly interesting.

A jeśli pytasz o rozwój właśnie w obszarze LLM-u,

And if you are asking about development specifically in the area of LLM,

w obszarze sztucznej inteligencji,

in the field of artificial intelligence,

to to niestety nie jest łatwe pytanie.

Unfortunately, that is not an easy question.

Bo jak wiesz, to się zmieni niesamowicie szybko.

Because, as you know, this will change incredibly quickly.

I co jest ciekawe, to aktualnie mam wrażenie,

And what is interesting is that I currently have the impression,

że wiele wiedzy pochodzi z research papers.

that a lot of knowledge comes from research papers.

Po prostu.

Simply.

Publikuje się nowe publikacje naukowe.

New scientific publications are being published.

Widziałaś tą krzywą, która pokazuje ilość publikacji naukowych

Did you see that curve showing the number of scientific publications?

rosnącą geometrycznie.

growing geometrically.

To jest super ciekawe z jednej strony,

This is super interesting on one hand,

ale z drugiej strony też dosyć trudne.

but on the other hand, it's quite difficult too.

Bo nie możemy sobie często odpalić takiego tutoriala na YouTubie,

Because we can't often start such a tutorial on YouTube.

jak często na przykład deweloperzy się uczą,

how often do, for example, developers learn,

czy uczyli wcześniej,

Did they teach earlier?

ale musimy iść do źródła.

But we have to go to the source.

Musimy iść i starać się zrozumieć

We must go and try to understand.

jakieś dosyć trudno napisane research papers.

some rather difficult research papers written.

A opowiesz o tym, jak ty się uczysz?

Will you tell me how you learn?

Z jednej strony korzystam z wiedzy innych.

On the one hand, I benefit from the knowledge of others.

To znaczy jestem po prostu followerem kilku osób,

That means I'm just a follower of a few people,

które są bardzo dobre

which are very good

i które publikują bardzo konkretne informacje.

and which publish very specific information.

Czyli takie informacje nie marketingowe raczej,

So it's rather non-marketing information,

tylko raczej idące w kierunku naukowym,

but rather leaning towards the scientific.

idące w kierunku wyjaśnienia pewnych fenomenów.

going towards the explanation of certain phenomena.

A z drugiej strony są również takie informacje,

On the other hand, there is also such information,

są również takie newslettery,

there are also such newsletters,

które podsumowują na przykład publikacje naukowe

which summarize, for example, scientific publications

na temat AI z ostatniego tygodnia

on the topic of AI from the last week

i one są bardzo dobre również.

And they are very good as well.

Czy moglibyśmy kilka takich linków

Could we have a few links like that?

podrzucić naszym słuchaczom w notatkach do tego odcinka?

to drop it for our listeners in the notes for this episode?

Myślę, że to byłoby bardzo wartościowe,

I think it would be very valuable,

bo zakładam, że to są publikacje

because I assume these are publications

i osoby, które rzeczywiście wiedzą, co mówią,

and the people who actually know what they are talking about,

a nie chcą sprzedać książki z dziesięcioma tysiącami,

and they don't want to sell the book for ten thousand,

z dziesięcioma tysiącami promptów.

with ten thousand prompts.

Jasne.

Sure.

Dobra.

Good.

Dobrze, wróćmy jeszcze do tych wdrożeń.

Okay, let's go back to those implementations.

Czy mogłabyś opowiedzieć jeszcze o innych ciekawych przypadkach wdrożeń,

Could you tell me about other interesting implementation cases?

w których uczestniczyłaś, wykorzystujących LLM właśnie?

in which you participated, using LLMs, right?

Rozmawialiśmy o asystentach,

We talked about assistants,

rozmawialiśmy o pewnej roli jeszcze niezaawansowanych agentów.

We talked about a certain role of still inexperienced agents.

Czy moglibyśmy zrobić taki przegląd branż

Could we do such an industry review?

i wdrożeń, które obserwowałaś, w których uczestniczyłaś?

and implementations that you have observed and participated in?

Dobrze.

Okay.

Na przykład o FSI-e, czyli o instytucje finansowe,

For example, about FSI, that is, financial institutions.

to sporo z nich ma rozwinięte te działy obsługi klienta,

a lot of them have developed these customer service departments,

dlatego wszystko, co związane z obsługą klienta

therefore everything related to customer service

i z jego automatyzacją odgrywa dużą rolę.

and its automation plays a significant role.

Na przykład banki chciałyby mieć takie chat-boty albo voice-boty,

For example, banks would like to have such chatbots or voicebots,

które umożliwią klientowi zablokowanie swojej karty,

which will allow the customer to block their card,

kiedy ten klient mówi, skradziono mi kartę, proszę zablokuj.

When this client says, "My card has been stolen, please block it."

I to jest o tyle fajne, że łączy właśnie,

And this is so cool because it connects just that,

tą umiejętność LLM-u z jednej strony wykorzystywania źródeł danych,

this skill of the LLM on one hand utilizing data sources,

a z drugiej strony robienia rzeczy.

and on the other hand, doing things.

Ja ciągle wracam do tego robienia rzeczy,

I keep returning to doing things,

bo to jest dla mnie absolutnie kluczowa sprawa,

because this is absolutely a key issue for me,

jeśli chodzi właśnie o aplikacje bazujące na LLM-ach,

when it comes to applications based on LLMs,

że one są w stanie nie tylko konwersować,

that they are able not only to converse,

ale również właśnie stworzyć jakiś ticket,

but also just create some ticket,

zablokować kartę, uderzając do jakiegoś innego systemu.

block the card by contacting another system.

A często się tego nie wykorzystuje właściwie jeszcze.

And often it is not used properly yet.

Czyli tak, instytucje finansowe, no to customer service z jednej strony,

So, yes, financial institutions, well, customer service on one side,

a z drugiej strony na przykład badania związane z compliance'em,

On the other hand, for example, research related to compliance,

czyli sprawdzanie backgroundu, przepraszam za anglicyzm,

that is background checking, sorry for the anglicism,

sprawdzanie backgroundu naszych klientów,

checking the background of our clients,

czy możemy pracować z tym konkretnym klientem.

Can we work with this specific client?

Wygodność finansowa i tak dalej.

Financial convenience and so on.

Dokładnie. W dokumentacji ogólnie dostępnej

Exactly. In the publicly available documentation.

i czasami nie tylko ogólnie dostępnej.

and sometimes not only publicly available.

To jest również bardzo ważne.

This is also very important.

Czyli tak, finanse, obsługa klienta.

So, finance, customer service.

Co jeszcze? Przychodzi ci coś do głowy?

What else? Is anything coming to mind?

W finansach?

In finance?

Nie, właśnie poza finansami.

No, just outside of finances.

Ja bardzo lubię pracować z retailem.

I really enjoy working with retail.

O, no tak. Mnóstwo klientów, mnóstwo interakcji.

Oh, yes. Lots of clients, lots of interactions.

Mnóstwo klientów, mnóstwo interakcji.

A lot of customers, a lot of interactions.

I analizy danych.

And data analysis.

Mnóstwo danych demograficznych na przykład naszych klientów,

A lot of demographic data about our customers,

którzy są w jakimś programie lojalnościowym,

who are in some loyalty program,

czyli ci klienci z kartą.

So those customers with a card.

Retail mnie bardzo interesuje,

Retail really interests me.

dlatego że tam istnieje pole do popisu,

because there is room for maneuver there,

jeśli chodzi o połączenie tych tradycyjnych metod ML-owych,

when it comes to combining these traditional ML methods,

czyli uczenia maszynowego i LLM-ów.

that is machine learning and LLMs.

Czyli na przykład tworzymy sobie narzędzie,

So for example, we create a tool,

które ma dostęp do całej historii użytkownika,

which has access to the entire user's history,

które ma dostęp do produktów,

which has access to the products,

które chcemy mu polecić na podstawie tej historii,

which we want to recommend to him based on this story,

na podstawie jakiejś tam analizy porównawczej z innymi klientami.

based on some comparative analysis with other clients.

Z drugiej strony mamy dostęp do informacji dotyczących tego,

On the other hand, we have access to information regarding this,

co ten klient na przykład robi na naszej stronie,

what this client is doing on our website,

w naszym sklepie internetowym.

in our online store.

Jak się porusza.

How does it move?

Ile spędza czasu na poszczególnych podstronach i tak dalej.

How much time is spent on individual subpages and so on.

Tak, i na tej podstawie możemy wysnuć pewne przypuszczenia,

Yes, and based on this we can make some assumptions,

czego szuka i możemy mu na przykład coś podpowiedzieć.

what he is looking for and we can suggest something to him, for example.

Retail, finanse, księgowość, obsługa klienta,

Retail, finance, accounting, customer service.

komunikacja.

communication.

A jak sądzisz, te wszystkie technologie mogą wpłynąć na dziedzinę,

And what do you think, can all these technologies influence the field,

która wydaje mi się jest Tobie szczególnie bliska,

which seems to be particularly dear to you,

to znaczy na naukę?

Does that mean for learning?

Tak, jak najbardziej.

Yes, absolutely.

Mieliśmy już takie projekty.

We have already had such projects.

Na przykład w nauce często ważne jest zrozumienie kontekstu naszych badań,

For example, in science, it is often important to understand the context of our research,

czyli co zostało opublikowane.

so what has been published.

No i takim modelom możemy dać dostęp do właśnie takich publikacji

Well, we can give these models access to such publications.

i poprosić o streszczenie,

and ask for a summary,

o przybliżenie nam co zostało opublikowane.

about the overview of what has been published.

I robisz to właśnie?

And are you doing it right now?

Słucham?

I'm listening?

Mówiąc o tych źródłach, o których wspominałaś,

Speaking of those sources you mentioned,

jeżeli chodzi o Twoją naukę,

as for your studies,

wykorzystujesz właśnie w ten sposób LLM-y?

Are you using LLMs in this way?

W Chatter GPT, w Copilota?

In Chatter GPT, in Copilot?

Na razie nie.

Not for now.

Może w przyszłości.

Maybe in the future.

Czyli jesteś romantyczna wobec tego, jak było trochę.

So you are romantic about how it was a bit.

Romantyczna.

Romantic.

Wiesz, to broń Boże żadna złośliwość.

You know, it’s by no means any malice.

Ja sam często używam tego określenia,

I often use this term,

bo zobacz, jesteśmy romantyczni wobec tego,

because you see, we are romantic about this,

jak wyglądała nasza rzeczywistość.

What our reality looked like.

Tak było chociażby z radiem i z podcastami.

This was the case, for example, with radio and podcasts.

Ludzie radia, trudno im było zaakceptować to,

Radio people found it hard to accept that,

że tak samo content audio się zmienia

that audio content is changing in the same way

i zaczyna być contentem on demand.

and it starts to be on-demand content.

Byli romantyczni wobec tego,

They were romantic about it,

jak wyglądało radio 10, 20, 30 lat temu.

What did radio look like 10, 20, 30 years ago?

Podobnie z telewizją.

Similarly with television.

Zobacz, jaką rewolucję zrobił YouTube, Netflix

See what a revolution YouTube and Netflix have made.

i cała reszta platform on demand.

and the whole rest of the on-demand platform.

I tutaj...

And here...

I tutaj mówię o tym podejściu romantycznym wobec nauki.

And here I am talking about this romantic approach to science.

Tej, jak uczyłaś się kiedyś.

Hey, how you used to learn.

Tak, jak najbardziej.

Yes, absolutely.

Możemy to nazwać romantyzmem.

We can call it romanticism.

A jeśli chodzi o właśnie podsumowywanie badań,

And when it comes to summarizing the research,

podsumowywanie ogólnie dokumentów,

summarizing documents in general,

to bardzo ciekawym use case'em jest,

it is a very interesting use case,

żeby dać tej technologii dostęp do dokumentów prawniczych.

to give this technology access to legal documents.

Bardzo ciekawa z radia.

Very interesting from the radio.

Wiesz co, mam kumpla, który jest notariuszem.

You know what, I have a buddy who is a notary.

Wiesz, kilkadziesiąt tysięcy dokumentów w swojej bazie

You know, tens of thousands of documents in your database.

i mówi...

and says...

On jest w ogóle fanem rozwiązań technologicznych.

He is generally a fan of technological solutions.

Taka mała historia z nim związana.

A little story related to him.

Mówi, Karol, nie jestem w stanie zrozumieć,

He says, Karol, I can't understand.

jak przychodzą do mnie młodzi prawnicy na aplikacje

when young lawyers come to me for internships

i oni korzystają z klawiatury, a nie dyktują.

And they use the keyboard, not dictate.

I to jest człowiek właśnie, który wiesz,

And this is the man, you know,

szuka cały czas rozwiązań i chciałby automatyzować pracę,

is constantly looking for solutions and would like to automate work,

przeszukiwanie dokumentów i tak dalej.

searching through documents and so on.

Tak, to prawda.

Yes, that's true.

I nie wiem, przynajmniej dla mnie te teksty prawnicze,

And I don't know, at least for me those legal texts,

ja nie studiowałam prawa, są bardzo trudne.

I did not study law, it is very difficult.

Ale co ciekawe, jak przeprowadzaliśmy odpowiednie eksperymenty

But interestingly, as we conducted the appropriate experiments

czy nawet takie projekty POC, to okazywało się,

even such POC projects turned out to be,

że czat GPT radzi sobie fenomenalnie

that the GPT chat is doing phenomenally

z polskim językiem takim prawniczym.

with the Polish language such as legal language.

I oczywiście trzeba pamiętać o wszystkich ograniczeniach tutaj.

And of course, we must remember all the limitations here.

Na przykład pamiętam tą historię prawnika bodajże ze Stanów Zjednoczonych,

For example, I remember this story about a lawyer from the United States,

który właśnie tworzył interpretację korzystając z czata GPT,

who was just creating an interpretation using the GPT chat,

który mu tam wymyślał różne case'y, które nigdy nie zeszły

who was coming up with various cases for him that never went away

i chyba później nawet stracił licencję przez to.

And he probably even lost his license because of that later.

Ale tutaj wracamy do kwestii właśnie edukacji,

But here we return to the issue of education,

żeby wiedzieć, jak z tych narzędzi korzystać.

to know how to use these tools.

Dobrze, rozwiązania prawnicze, a nietypowe obszary,

Okay, legal solutions, and atypical areas,

w których widzisz możliwość wykorzystania GNI

in which you see the possibility of using GNI

i sztucznej inteligencji.

and artificial intelligence.

Coś przychodzi ci do głowy jeszcze?

Do you have anything else that comes to mind?

Czasami w publiku mam wrażenie, że niektóre użycia,

Sometimes in public, I have the impression that some usages,

niektóre use case'y są bardzo ciekawe.

Some use cases are very interesting.

Na przykład mamy zdjęcia, zdjęcia satelitarne

For example, we have photos, satellite images.

i prosimy modele albo te modele korzystające również z vision

And we ask for models or those models that also use vision.

w ramach OpenAI, czyli na przykład ten GPT-4O,

as part of OpenAI, such as this GPT-4O,

albo modele typowe z vision o interpretację tego obrazka.

or typical models with vision for the interpretation of this image.

Na zdjęciu znajdują się wozy bojowe.

The photo features combat vehicles.

Czy znajdują się czołgi?

Are there tanks?

Jeśli tak, to stwierdź, jaki rodzaj właśnie czołgu czy wozu bojowego.

If so, state what kind of tank or combat vehicle it is.

Patrząc na to, jak zmienia się management OpenAI

Looking at how the management of OpenAI is changing.

i dochodzący ludzie z branży militarnej,

and incoming people from the military industry,

zakładam, że branża militarna ma już sporo narzędzi,

I assume that the military industry already has a lot of tools,

o których nie wiemy i które są wykorzystywane.

of which we do not know and which are being used.

Nie wiem, ciężko mi wypowiadać się na ten temat.

I don't know, it's hard for me to speak on this topic.

W końcu internet też był kiedyś wynalazkiem.

After all, the internet was once an invention too.

Było.

It was.

No dobrze, a jak patrzysz, jak uczestniczysz,

Well, how do you look at it, how do you participate,

wróćmy jeszcze do samych firm, do organizacji, do kultury,

let's go back to the companies themselves, to the organizations, to the culture,

do podejścia do zmiany.

to the approach to change.

Uczestniczysz w projektach, we wdrożeniach.

You participate in projects and implementations.

Jaka jest obecnie największa przeszkoda w tych wdrożeniach?

What is currently the biggest obstacle in these implementations?

Jeżeli jest świadomość ich z jednej strony,

If there is awareness of them on one side,

czasami managementu, czasami średniego szczebla ludzi,

sometimes management, sometimes middle-level people,

to co jest potem?

What comes next?

Po tym takim zapaleniu się i w pierwszym spotkaniu,

After such a spark and in the first meeting,

na którym pada hasło działajmy,

when the slogan "let's act" is called,

co jest największym ograniczeniem?

What is the biggest limitation?

Świadomość?

Awareness?

Wydaje mi się, że dwie rzeczy.

I think it's two things.

Po pierwsze, z tymi narzędziami pracuje się faktycznie trochę inaczej,

First of all, these tools are actually used a little differently.

niż z narzędziami tradycyjnymi.

than with traditional tools.

To połączenie, o którym wspominałaś,

It's the connection you mentioned.

że potrzeba jest dwóch stron.

that there is a need for two sides.

Z jednej strony technologia, z drugiej strony topic specific knowledge, tak?

On one hand technology, on the other hand topic specific knowledge, right?

Topic specific knowledge?

Knowledge specific to the topic?

Tak, ale mi tutaj chodzi na przykład o promptowanie

Yes, but I'm talking here, for example, about prompting.

i o to, że te modele nie są deterministyczne

and that these models are not deterministic

i od tego, jak dobrze właśnie zapromptujemy,

and from how well we prompt right now,

jak dobrze je zaplanujemy, zależy jakość odpowiedzi.

The quality of the answers depends on how well we plan them.

W tradycyjnym programowaniu jest odrobina inaczej.

In traditional programming, it's a little different.

To tradycyjne programowanie jest bardziej deterministyczne

Traditional programming is more deterministic.

i oczywiście musimy te rozwiązania przetestować.

And of course, we need to test these solutions.

Natomiast jeśli chodzi o narzędzia bazujące na LLM-ach,

As for the tools based on LLMs,

to musimy na przykład przepuścić te programy,

we need to let these programs go through, for example,

przepuścić te prompty po kilkadziesiąt, kilkaset razy,

to let these prompts pass dozens, hundreds of times,

żeby sprawdzić, czy za żadnym razem nie pojawi się halucynacja.

to check if a hallucination does not appear at any time.

No właśnie, a opowiedz proszę o twoich doświadczeniach z promptowaniem.

Exactly, so please tell me about your experiences with prompting.

Jak ty uczysz się promptowania?

How do you learn prompting?

Jakie są twoje doświadczenia, jeżeli chodzi o tę genialną dziedzinę?

What are your experiences regarding this brilliant field?

Często przyjmuję się, że promptować należy tak,

It is often assumed that prompting should be done like this,

jakby się mówiło z dzieckiem,

as if one were talking to a child,

jakby się rozmawiało na przykład z pięciolatkiem.

It would be like talking to a five-year-old, for example.

I faktycznie to zdanie pomaga,

And indeed, this sentence helps.

jeżeli zaczynamy z promptowaniem, faktycznie.

If we start with prompting, indeed.

Często zdarza się…

It often happens...

Ale wtedy, kiedy oczekujemy bardzo prostych rezultatów.

But then, when we expect very simple results.

Tak, ale nawet jak oczekujemy bardzo skomplikowanych,

Yes, but even when we expect very complicated,

no to wtedy na przykład podajemy mu strukturę odpowiedzi,

Well, then for example, we provide him with the structure of the response.

ale nadal te instrukcje, gdzie opisujemy, jak powinien się zachowywać,

but still those instructions, where we describe how he should behave,

powinny być w miarę proste.

They should be quite simple.

Nie powinniśmy ich komplikować.

We shouldn't complicate them.

I to jest…

And this is…

O, to ciekawe, bo myślałem, że mówiąc o tym, że…

Oh, that's interesting because I thought that by saying that...

rozmawiamy tak, jak z siedmiolatkiem,

we talk like with a seven-year-old,

to za chwilę powiesz, że tego nie powinniśmy robić,

soon you'll say that we shouldn't be doing this,

a wynika z tego, co mówisz, że czasami tak jest,

and it follows from what you are saying that sometimes it is like that,

żeby formułować nasze oczekiwania w sposób bardzo prosty i zrozumiały.

to formulate our expectations in a very simple and understandable way.

Prosty i jednoznaczny, absolutnie.

Simple and unambiguous, absolutely.

I faktycznie to jest bardzo ciekawy aspekt,

And indeed, this is a very interesting aspect,

bo wydaje mi się, że wiele osób technicznych na przykład

because it seems to me that many technical people, for example

nie jest przyzwyczajonych do promptowania po prostu,

they are not used to prompting simply,

do takiej komunikacji.

for such communication.

I często okazuje się, że jakiś bod zachowuje się w określony sposób

And it often turns out that some object behaves in a specific way.

i jak patrzymy na prompta, to okazuje się, że ok,

And when we look at the prompt, it turns out that it's okay.

ale opisałeś to w taki sposób, że ja też bym sądziła,

but you described it in such a way that I would think so too,

gdybym nie wiedziała, czego oczekujesz, że mam się tak zachowywać.

If I didn't know what you were expecting me to behave like this.

Czyli to naiwne spojrzenie na nasze prompty jest dosyć wartościowe zazwyczaj.

So, this naive perspective on our prompts is usually quite valuable.

To jak promptować? Jak się tego uczysz ty, Agnieszko?

So how do you prompt? How do you learn this, Agnieszka?

Jest sporo świetnych materiałów na ten temat.

There are a lot of great materials on this topic.

Na stronach Microsoftu są wskazówki bardzo konkretne,

On Microsoft's pages, there are very specific guidelines.

ale również na wielu różnych.

but also on many different ones.

I techniki promptowania dzielą się na takie łatwiejsze,

And prompting techniques are divided into easier ones,

czyli koncentrujące się na tym, żeby ta informacja, którą przekazujemy,

that is focusing on the information we are conveying,

była w miarę prosta albo dobrze ustrukturyzowana,

it was relatively simple or well-structured,

a najlepiej to i to.

And preferably both.

Ale z drugiej strony istnieją bardziej zaawansowane techniki,

But on the other hand, there are more advanced techniques,

to znaczy Chain of Thought, Tree of Thought itd.

It means Chain of Thought, Tree of Thought, etc.

Moglibyśmy je rozwinąć, te techniki, o których mówisz?

Could we expand on the techniques you are talking about?

One polegają na tym, że uczymy model, w jaki sposób ma myśleć o naszym problemie,

They consist of teaching the model how to think about our problem.

o problemie, z którym użytkownik będzie się do niego zwracał.

about the problem that the user will be addressing to him.

Także to są metody, z którymi pewnie nie chcemy eksperymentować na samym początku,

So these are methods that we probably don't want to experiment with at the very beginning,

bo nie są konieczne, ale jeżeli mamy coś bardziej zaawansowanego,

because they are not necessary, but if we have something more advanced,

to jest sens to zrobić faktycznie.

It actually makes sense to do it.

Oprócz tego możemy też...

Besides that, we can also...

Oprócz tego możemy podawać strukturę odpowiedzi na przykład.

In addition, we can provide the response structure, for example.

Ja lubię podawać, jak proszę go, żeby na przykład wyodrębnił słowa kluczowe z jakiejś treści,

I like to ask him to extract keywords from some content, for example.

to często po prompcie podaję najlepsze możliwe rozwiązanie to

I often provide the best possible solution after the prompt.

i proszę go, żeby uzupełnił resztę.

And I asked him to complete the rest.

I wtedy mam wrażenie, że faktycznie odrobinę lepsza jest odpowiedź, którą zwraca.

And then I have the impression that the answer it provides is actually a little better.

Czyli z promptowaniem jest trochę tak jak z życiem ustalanym,

So prompting is a bit like living a predetermined life.

budowaniem celów i budowaniem wizji, planu na to, co ma się wydarzyć.

building goals and constructing a vision, a plan for what is to happen.

Nie tylko ogólna ta wizja, wysokopoziomowa, ale przechodzenie od ogółu do szczegółu.

Not only this general vision, high-level, but also the transition from the general to the specific.

Tak i z promptowaniem jest tak, że tam nie ma takich reguł, które spełniają się zawsze,

Yes, and with prompting, there are no rules that always apply.

które są najlepsze w każdej sytuacji.

which are the best in any situation.

Oprócz pewnie tego, że te instrukcje, które dajemy powinny być jasne,

Besides probably the fact that the instructions we provide should be clear,

nie powinny być sprzeczne.

They should not be contradictory.

Dlatego warto poeksperymentować z kilkoma rodzajami promptów,

That's why it's worth experimenting with a few types of prompts.

warto pobawić się tym odrobinę.

It's worth playing with it a little.

Można oczywiście skorzystać również z LLM-ów i poprosić o napisanie najlepszego możliwego prompta.

Of course, you can also make use of LLMs and ask them to write the best possible prompt.

Czasami to pomaga, czasami koncentruje się wtedy LLM nie na tym, na czym nam zależy, ale...

Sometimes it helps, sometimes the LLM then focuses not on what we care about, but...

A robisz eksperymenty polegające na tym, że łączysz LLM różnych dostawców,

Are you conducting experiments where you combine LLMs from different providers?

pracując na tym samym procesie.

working on the same process.

Czasami tak, czasami ma to sens.

Sometimes yes, sometimes it makes sense.

To znaczy, powiem Ci o czym myślę, bo ja na przykład czasami jak sobie eksperymentuję,

That means I'll tell you what I'm thinking, because for example sometimes when I experiment,

czasami wykorzystuję Gemini'a do tego, żebym był krytykiem wobec tego, jakie wyniki otrzymuję pracując na czasie GPT.

Sometimes I use Gemini to be critical of the results I get when working with GPT.

I bardzo fajnie to działa czasami.

And it works really well sometimes.

Aha, w drugą stronę też?

Oh, the other way too?

Tak, oczywiście.

Yes, of course.

Wyobrażam sobie, że to fajnie działa, tym bardziej, że to są modele różnego rodzaju, czyli decoder only i encoder, decoder.

I imagine it works well, especially since these are various types of models, that is, decoder-only and encoder-decoder.

Wiesz...

You know...

Tak.

Yes.

Ja akurat nie wykorzystuję czatów asystentów do kodowania.

I'm not actually using assistant chats for coding.

Ja mówię o bardziej, wiesz, budowaniu contentu, wizji, wymyślania różnych pomysłów i tak dalej.

I'm talking more about, you know, building content, vision, coming up with various ideas, and so on.

Bardziej do kreatywnej takiej pracy wykorzystuję te modele.

I use these models more for creative work like that.

Tak.

Yes.

Ale to konfrontowanie niesamowicie fajnie działa.

But this confrontation works incredibly well.

Różne modele mają różne zalety i wady.

Different models have different advantages and disadvantages.

Różne modele na różnym poziomie sobie radzą z językiem polskim na przykład.

Different models cope with the Polish language at varying levels, for example.

Mają różny ton wypowiedzi.

They have different tones of speech.

Ten ton można również określać oczywiście w system prompcia na przykład, ale taki naturalny ton wypowiedzi jest różny w różnych modelach.

This tone can also be defined in the prompt system, for example, but such a natural tone of speech varies across different models.

A jak patrzysz się na tego typu inicjatywy, jakimi jest na przykład Bielik i lokalne modele językowe?

What is your perspective on initiatives like Bielik and local language models?

Super.

Great.

To jest arcyciekawy projekt i bardzo się cieszę, że coś takiego powstało w Polsce.

This is an extremely interesting project, and I am very happy that something like this has been created in Poland.

Kibicuję.

I support.

No dobrze, ale cały AI, to nie tylko LLM-y, to jeszcze dużo więcej.

Well, AI is not just LLMs, there is much more to it.

To tak samo grafika, to wideo, to całe audio.

It's the same with graphics, video, and the entire audio.

Który z tych obszarów jest dla Ciebie też taki wiesz ciekawy i perspektywiczny?

Which of these areas do you also find interesting and promising?

Vision.

Vision.

Vision jest arcyciekawy, speech to text jest również bardzo ciekawy.

Vision is very interesting, and speech to text is also very interesting.

Rozmawialiśmy na przykład przed chwilą o wykorzystaniu LLM-ów głównie w bankowości i w instytucjach finansowych.

We were just talking, for example, about the use of LLMs mainly in banking and financial institutions.

Na przykład w ubezpieczeniach jest coraz częściej tak, że jak mieliśmy jakiś wypadek,

For example, in insurance it is increasingly the case that if we had an accident,

jak coś nam się stało i chcielibyśmy skorzystać z naszego ubezpieczenia,

if something has happened to us and we would like to use our insurance,

to właśnie robimy jakieś zdjęcia i te modele Vision sprawdzają,

We are actually taking some pictures and those Vision models are checking.

czy zgadza się na przykład kolor samochodu, marka samochodu.

Does it agree, for example, with the color of the car, the brand of the car?

Uszkodzenie faktycznie mogło powstać w okolicznościach, które opisaliśmy.

The damage could actually have occurred under the circumstances we described.

Ciekawe.

Interesting.

Nawet nie myślałem o tym, ale rzeczywiście branża, która agreguje gigantyczne środki

I didn't even think about it, but indeed the industry that aggregates huge amounts of capital.

pewnie jest też narażona na różnorodności.

It is probably also exposed to diversity.

Różnego rodzaju malwersacje i tak dalej.

Various types of embezzlement and so on.

Albo mamy urządzenia fabryczne, mamy różne wielkie budynki i chcielibyśmy sprawdzić,

Either we have factory devices, we have various large buildings, and we would like to check,

czy wszystko jest ok, czy na przykład nie ucierpiało pod wpływem wichury

Is everything okay, or for example, did it not suffer from the impact of the storm?

i możemy również w tej sytuacji korzystać z Vision.

And we can also take advantage of Vision in this situation.

Nie wiem, czy ukażesz historię. Kapitalna firma z rodowodem z Polski, AI Clearing.

I don't know if you will reveal the story. A great company with roots in Poland, AI Clearing.

Tworzą rozwiązania właśnie oparte na Vision AI, pozwalające na kontrolę postępów budów,

They create solutions based on Vision AI, allowing for the monitoring of construction progress.

linii energetycznych, farm fotowoltaicznych, budynków, konstrukcji i tak dalej.

energy lines, photovoltaic farms, buildings, structures, and so on.

Coś niesamowitego, rozmawialiśmy zresztą z Michaelem Mazurem w jednym z odcinków.

Something incredible, we actually talked with Michael Mazur in one of the episodes.

Bardzo fajnie komercjalizują ten produkt, mają kilkudziesięcioosobowy zespół developmentowy w Polsce

They are commercializing this product very well, they have a development team of several dozen people in Poland.

i dokładnie Vision wykorzystują w branży budowlanej.

And exactly Vision is used in the construction industry.

Czyli zobacz, tak jak mogłoby się wydawać po tym hajpie listopadowym w 2022 roku,

So look, just as it might have seemed after that November hype in 2022,

że AI to rozrywka, śmiechy i chichy, to prawda jest taka, że śmiechy i chichy powodują to,

that AI is entertainment, laughter, and giggles, the truth is that laughter and giggles cause this,

że przedziera się nam do zbiorowej świadomości, ale z drugiej strony wydaje mi się,

that it is breaking through to our collective consciousness, but on the other hand it seems to me,

że 80% wykorzystania tej technologii to biznes.

That 80% of the use of this technology is business.

Tak.

Yes.

Zdecydowanie tak.

Definitely yes.

To jest też tak, że te śmiechy i chichy są czasami związane z implementacjami,

It is also the case that these laughs and giggles are sometimes related to implementations,

z wdrożeniami, które nie odniosły sukcesu, prawda?

with implementations that were not successful, right?

Z tymi wdrożeniami, o których czytamy czasami w gazetach,

With those implementations that we occasionally read about in the newspapers,

że na przykład jakiś chatbot linii lotniczych obiecał tańsze bilety klientowi

that, for example, a chatbot from an airline promised cheaper tickets to a customer

i później okazało się, że nie mógł tego zrobić, ale mimo wszystko ten klient wygrał przed sądem

And later it turned out that he couldn't do it, but nevertheless that client won in court.

albo chatbot, z którym można było sobie porozmawiać wierszem, który napisał dla ciebie piosenkę,

or a chatbot with which you could have a conversation in verse, that wrote a song for you,

a to był chatbot firmy dostawczej, dostarczyciela paczek.

It was a chatbot of a delivery company, a package courier.

To co zrobić, żeby tego typu sytuacje się nie zdarzały w procesach produkcji tego typu rozwiązań?

What can be done to prevent such situations from occurring in the production processes of these types of solutions?

Trzeba mieć realistyczną interpretację tych technologii.

One must have a realistic interpretation of these technologies.

Trzeba je widzieć,

You have to see them,

jako takie, jakie są.

as such, as they are.

To znaczy nie na przykład sądzić, że one same zdecydują,

That means not, for example, to think that they will decide on their own,

których treści nie chcielibyśmy, żeby...

whose content we would not want to...

Przy pomocy których treści nie chcielibyśmy, żeby odpowiadały.

With the help of which content we would not like them to respond.

To znaczy bardzo ważny jest ten cały proces wytwórczy, cały proces developmentu,

This means that the entire manufacturing process, the whole development process, is very important.

który powinien właściwie zachodzić tak, jak zachodził przed powstaniem LLM-ów.

which should ideally occur as it did before the emergence of LLMs.

To znaczy przede wszystkim chcemy testować i testować jak najwięcej i jak najszybciej w tym całym procesie wytwórczym.

That means, above all, we want to test and test as much and as quickly as possible in this entire production process.

Chcemy wiedzieć również, co chcemy osiągnąć, czyli jak nasz bot ma się zachowywać,

We also want to know what we want to achieve, that is, how our bot is supposed to behave.

jakim tonem ma odpowiadać, na jakie pytanie ma nie odpowiadać.

What tone should he respond in, and what question should he not answer?

To jest również bardzo ważne, bo chcemy pewnie, żeby odpowiadał na pewne pytania.

This is also very important because we probably want him to answer certain questions.

Na niektóre powiedział, że nie, że on niestety nie może się wypowiedzieć na ten temat.

He said that for some he couldn't, unfortunately, comment on the topic.

I to jest bardzo ważne.

And this is very important.

No bo jeżeli nie ograniczymy, na jakie tematy ma się wypowiadać, to oczywiście jest to dla nas ryzyko,

Because if we don't limit the topics they can discuss, it is obviously a risk for us.

jak go później wypuścimy na przykład do naszych wszystkich klientów.

when we later release him to all our clients, for example.

Czyli jasne oczekiwania.

So clear expectations.

Po drugie testowanie.

Secondly, testing.

Jeśli chodzi o to testowanie, to ciekawym trendem jest oczywiście ocena samego działania LLM-ów przez LLM-y.

When it comes to testing, an interesting trend is, of course, the assessment of the performance of LLMs by LLMs themselves.

To się nazywa LLM as a judge, to podejście.

This is called LLM as a judge, this approach.

I polega na tym, że...

And it consists of the fact that...

W procesie testowania zatrudniamy właśnie takiego LLM-a, który nam ocenia,

In the testing process, we are employing just such an LLM to evaluate us.

czy ta odpowiedź była prawidłowa w kontekście tego pytania i tych materiałów źródłowych.

Was this answer correct in the context of this question and those source materials?

Trochę sytuacja, o której rozmawialiśmy przed chwilą.

A bit of the situation we just talked about.

LLM kontra drugi.

LLM against the second.

Tak.

Yes.

Ale poza tym, oczywiście, jak myślimy o rozwiązaniu, które chcemy wdrożyć na produkcję,

But aside from that, of course, when we think about the solution we want to implement in production,

no to fajnie jest mieć przygotowane, przemyślane,

Well, it's nice to have things prepared and thought out.

przemyślany proces.

thoughtful process.

Taki, żeby ograniczyć możliwość odpowiedzi w sposób, którego sobie nie życzymy.

Such that it limits the possibility of responding in a way that we do not wish for.

Czyli właśnie to, co powiedziałeś, że jeden model krytykuje drugi.

So, what you just said is that one model criticizes another.

I to może być częścią procesu o odpowiedzi tych LLM-ów.

And it may be part of the process of the responses of those LLMs.

Wcześniej było tak, że te LLM-y działały dosyć wolno.

Previously, these LLMs operated quite slowly.

Zresztą nadal to nie jest szybka technologia.

Besides, it is still not a fast technology.

Zazwyczaj czeka się kilka, kilkanaście, nawet kilkadziesiąt sekund na zwrotkę.

Usually, you wait several, a dozen, or even several dozen seconds for a callback.

Natomiast te najnowsze modele już działają szybciej.

However, the latest models are already working faster.

To jest mniejsze ograniczenie.

This is a smaller restriction.

No i w związku z tym można tym bardziej pomyśleć o tym, żeby dodać ten drugi krok,

And in connection with this, one can all the more think about adding this second step.

czyli w momencie, kiedy LLM sformułował odpowiedź,

which means that at the moment when the LLM formulated the response,

nie jest ona jeszcze zwracana bezpośrednio użytkownikowi,

it is not yet being returned directly to the user,

tylko najpierw idzie do takiego walidatora,

first, it goes to such a validator,

do takiego agenta, który spełnia rolę walidatora.

to such an agent that acts as a validator.

I dopiero jak walidator potwierdzi, to jest pozytywna odpowiedź,

Only after the validator confirms, is it a positive response.

to jest prawidłowa odpowiedź, wtedy ta odpowiedź zostaje zwrócona użytkownikowi.

this is the correct answer, then this answer is returned to the user.

Wrazając jeszcze do use case'ów i do ciekawych przypadków wdrożeń,

Returning to use cases and interesting implementation cases,

przychodzi jeszcze coś ciekawego, o czym moglibyśmy powiedzieć?

Is there anything else interesting that we could talk about?

Może projekt, który zabrał niewiele czasu, a przyniósł niesamowite skutki

Maybe a project that took little time but brought incredible results.

i niesamowite korzyści dla organizacji?

and incredible benefits for the organization?

W sensie niewielkie nakłady, zaskakująco dobre wyniki?

In the sense of small investments, surprisingly good results?

Trochę pytanie z oczekiwaniem, ale zastanawiam się,

It's a bit of a question with an expectation, but I'm wondering,

czy moglibyśmy jeszcze o czymś ciekawym powiedzieć?

Could we talk about something interesting?

Bo rozmawialiśmy o chatbotach, rozmawialiśmy o agentach,

Because we talked about chatbots, we talked about agents,

ale jeszcze w niepełnej formule.

but still in an incomplete form.

Rozmawialiśmy o tej branży finansowej, bankowej, o retailu.

We talked about the financial industry, banking, and retail.

Czy masz w głowie jeszcze jakiś taki projekt,

Do you have any other project like that in mind?

który okazał się dużym zaskoczeniem pozytywnym dla Ciebie?

which turned out to be a big positive surprise for you?

Na przykład jeśli chodzi o vision, to to często jest wykorzystywane

For example, when it comes to vision, it is often utilized.

w kontekście na przykład sprawdzania, czy nam się produkty nie kończą na półkach.

in the context of, for example, checking whether we are running out of products on the shelves.

Czyli z kamer takich przemysłowych dostajemy zdjęcia

So we get pictures from industrial cameras.

i widzimy, że na przykład o dziewiątej tutaj chipsów było 20 paczek,

And we see that, for example, at nine o'clock there were 20 bags of chips here.

a teraz jest 10 paczek, więc na tej podstawie możemy stwierdzić,

and now there are 10 packages, so based on this we can conclude,

że trzeba już zamówić.

that it is time to order.

Czyli wsparcie logistyki tak naprawdę na każdym etapie sprzedaży produktu.

So, support for logistics at every stage of the product sale.

Nie tylko magazyn, tylko dochodzi do tego, że mamy analizę dostępności dowaru na półce.

Not only the warehouse, but we also have an analysis of product availability on the shelf.

Albo na przykład...

Or for example...

Na przykład wykrywanie próby kradzieży.

For example, detecting an attempted theft.

Zwłaszcza w Polsce bardzo popularne są te automatyczne kasy w supermarketach.

Automatic checkouts are especially popular in Poland at supermarkets.

No i niektóre supermarkety, niektóre sklepy chciałyby kontrolować,

Well, some supermarkets, some stores would like to control,

czy na przykład ktoś nie próbuje czegoś ukraść.

Is someone trying to steal something, for example?

I w ten sposób zautomatyzowany sposób również można sprawdzić,

And in this way, it is also possible to check in an automated manner.

czy na przykład ktoś nie chowa czegoś do kieszeni.

for example, someone is not hiding something in their pocket.

A kulturowo i organizacyjnie w takim razie jak edukować, jak uczyć,

And culturally and organizationally, then how to educate, how to teach,

jak zmieniać kultury organizacyjne po to, żeby ludzie nie tylko

how to change organizational cultures so that people not only

łapali się na ten hype jajowy i mówili dobra, zróbmy coś,

They got caught up in this egg hype and said, okay, let's do something.

tylko żeby to robili świadomie.

only for them to do it consciously.

Bo moim zaskoczeniem jest na przykład to, że rozmawiam z dużą organizacją,

Because my surprise is, for example, that I am talking to a large organization,

która ma cały pakiet rozwiązań ofisowych.

which has the entire package of office solutions.

I pytają się mnie, słuchaj Karol, gdzie my możemy tego chatarza sobie zainstalować?

And they are asking me, listen Karol, where can we install this chatarz?

Mając kopailota dostępnego cały czas.

Having a co-pilot available at all times.

To co jest takim złotym środkiem na to, żeby edukować rynek i budować tą świadomość?

What is the golden mean to educate the market and build this awareness?

Masz pomysł?

Do you have an idea?

Ważne jest, żeby zaadresować różne grupy użytkowników.

It is important to address different user groups.

Na przykład właśnie osoby pracujące w technologii będą chciały pewnie znać się na tym trochę lepiej,

For example, people working in technology will probably want to know a bit more about this.

niż publika taka powiedzmy ogólna.

than the audience such as the general public.

I ja ogólnie myślę, że to jest bardzo ważne.

I generally think that it is very important.

Ja ogólnie uważam, że wszyscy w organizacji powinni mieć jakieś pojęcie o AI,

I generally believe that everyone in the organization should have some understanding of AI.

czyli na przykład jak korzystać z tego kopailota,

so, for example, how to use this copilot,

jak promptować tak, żeby osiągnąć to, co się chce.

how to prompt in a way that achieves what you want.

Bo ta wiedza nadal nie jest powszechna, tak jak powiedzieliśmy wcześniej.

Because this knowledge is still not widespread, as we said earlier.

Czytać, uczyć się, słuchać podcastów?

Read, learn, listen to podcasts?

Tak, ale również chodzi mi o takie inicjatywy typowo organizacyjne,

Yes, but I am also referring to initiatives that are strictly organizational.

czyli na przykład w wielu firmach istnieją takie inicjatywy jak Piątki,

for example, in many companies there are initiatives like Fridays,

gdzie tam są spotkania i rozmawia się o różnych tematach.

where there are meetings and discussions on various topics.

No i wtedy, żeby porozmawiać o tym na takim spotkaniu o właśnie kopailotach,

Well, then, to talk about it at such a meeting about copilot projects,

czy o promptowaniu, o dobrych technikach promptowania,

or about prompting, about good prompting techniques,

o bezpieczeństwie również pracy z AIM.

on the safety of working with AIM as well.

I dla odbiorców to faktycznie to promptowanie i bezpieczeństwo,

And for the recipients, it is indeed about prompting and safety,

to są dwa najważniejsze aspekty.

these are the two most important aspects.

Natomiast jeśli chodzi o osoby, które uczestniczą już w tworzeniu takich rozwiązań,

As for those who are already involved in creating such solutions,

albo ich ideacji to znaczy, albo ich planowaniu ze strony biznesowej,

either their ideation, that is, their planning from a business perspective,

albo we wdrożeniach, no to już jest ta wiedza oczekiwana oczywiście na nieco wyższym poziomie.

Either in the implementations, well then this knowledge is of course expected at a somewhat higher level.

No i wtedy warto właśnie być na bieżąco z tym,

And that's why it's worth keeping up to date with this.

w jakim kierunku te technologie się rozwijają,

In what direction are these technologies developing?

ale również mam wrażenie wartościowe jest posiadanie podstaw odnośnie właśnie scenariuszy użycia,

but I also have the impression that having a foundation regarding the scenarios of use is valuable.

to znaczy gdzie teoretycznie możemy te technologie zastosować.

This means where theoretically we can apply these technologies.

Także warto zobaczyć kilka DEM, nie tylko LLM-ów, ale również na przykład Vision, Speech to Text,

It's also worth seeing a few DEMs, not just LLMs, but also, for example, Vision, Speech to Text.

żeby do naszej wyobraźni dotarły te informacje i gdzieś tam nam się pojawiło,

so that this information reaches our imagination and appears to us somewhere.

jak później pracujemy, o, a to jest taki scenariusz,

how we work later, oh, and this is such a scenario,

gdzie fajnie by było wykorzystać właśnie na przykład.

where it would be nice to use, for example.

Czyli po raz kolejny okazuje się, że kluczem do innowacji jest ciekawość,

So once again it turns out that the key to innovation is curiosity.

sięganie po różne źródła i patrzenie na to, co dzieje się ciekawego w obszarze technologii.

reaching for various sources and looking at what interesting is happening in the field of technology.

Tak, natomiast sądzę, że warto też,

Yes, however, I think it is also worth it,

nie dać się przestraszyć, bo to może być oszałamiające,

don't be scared, because it can be overwhelming,

jak się patrzy na te wszystkie informacje, które przychodzą i na te nowe modele,

when you look at all this information that comes in and at these new models,

które wypadałoby wypróbować oczywiście.

which should definitely be tried out, of course.

Prawda jest taka, że czasami różnice między tymi modelami nie są aż tak ogromne,

The truth is that sometimes the differences between these models are not that great.

dlatego warto jest również wziąć głęboki oddech i powiedzieć sobie,

that's why it's also worth taking a deep breath and telling yourself,

nie muszę wiedzieć wszystkiego, ale warto, żebym na przykład potrafił dobrze promptować,

I don’t need to know everything, but it’s worth it for me to be able to prompt well, for example.

wiedział, jakie są główne metody customizacji tych modeli,

he knew what the main methods of customizing these models were,

bo to mi się przyda później w pracy.

because it will be useful to me later at work.

Czyli nauka, ewangelizacja, rozmowa o potrzebach i możliwościach,

So learning, evangelization, discussing needs and possibilities,

ale też z drugiej strony pewne urealnianie i schodzenie niskopoziomowe.

but also, on the other hand, a certain grounding and low-level descent.

Nie róbmy od razu wszystkiego, tylko zaczynajmy od rzeczy,

Let's not do everything at once, but start with things.

które łatwo wziąć na warsztat na samym początku.

which are easy to take to the workshop at the very beginning.

Tak, zdecydowanie.

Yes, definitely.

Zapytam jeszcze o jakiś taki case, czy masz w głowie organizację,

I will ask about a case like that, do you have an organization in mind?

która właśnie miała takie podejście, która zaczęła od czegoś niewielkiego

which just had such an approach, which started with something small

i skończyła na dużym projekcie?

Did she finish on a big project?

Większość faktycznie tak robi. To jest to, co powiedziałam na początku,

Most people actually do that. This is what I said at the beginning.

że większość najpierw próbuje coś stworzyć na własne potrzeby

that most people first try to create something for their own needs

i później wychodzi z tym na zewnątrz.

And then he goes outside with it.

I to jest często możliwe do zrobienia, bo na przykład wyobraźmy sobie właśnie jakiś bank,

And this is often possible to do, because for example, let's imagine a bank,

który tworzy narzędzie dla swoich konsultantów,

which creates a tool for its consultants,

które będzie na podstawie prompta wyrzucało informacje dotyczące warunków kredytu,

which will provide information about loan conditions based on the prompt,

czegoś podobnego.

something similar.

I później jak ci konsultanci dojdą do wniosku,

And then, when those consultants come to a conclusion,

tak, to się nam super sprawdza, niech alucynuje, informacje są poprawne,

Yes, this works really well for us, let it hallucinate, the information is correct.

no to możemy to narzędzie również udostępnić światu zewnętrznemu,

So we can also share this tool with the outside world,

czyli naszym klientom bezpośrednio.

so directly to our clients.

Natomiast chciałabym jeszcze skomentować to, co powiedziałeś wcześniej,

However, I would like to comment on what you said earlier,

że warto jest zejść na niski poziom, jak robi się te projekty.

that it is worth going down to a low level when working on these projects.

No faktycznie tak jest, bo zwłaszcza w kontekście tego,

Well, that is indeed the case, especially in the context of this,

że te modele potrafią naprawdę dużo.

that these models can really do a lot.

One potrafią ekstrahować informacje, one potrafią tworzyć nowe teksty w odpowiedni sposób.

They can extract information, and they can create new texts in the appropriate way.

I często mam wrażenie, że jak klienci, że jak firmy rozpoczynają takie projekty,

And I often have the impression that when clients, when companies start such projects,

to chciałyby, żeby to narzędzie, nad którym pracują,

they would like the tool they are working on to

robiło wszystko w tym samym czasie.

did everything at the same time.

I trudno jest ustalić wymagania biznesowe.

It is difficult to determine the business requirements.

Step by step.

Step by step.

Trudniej niż w takich tradycyjnych projektach.

More difficult than in such traditional projects.

A to jest kluczowe, stąd też wynika ważność testowania

And this is key, which is why testing is important.

i tego, żeby test cases ustalić na samym początku,

and to establish the test cases at the very beginning,

bo w przeciwnym wypadku jest obawa, że będziemy pracować nad tym rozwiązaniem

because otherwise there is a fear that we will be working on this solution

i je optymalizować bardzo, bardzo długo

and optimize them for a very, very long time

i nigdy nie dojdzie do końca.

and it will never come to an end.

Nie dojdziemy do wniosku, że możemy je wypuścić,

We will not come to the conclusion that we can release it,

że działa wystarczająco dobrze.

that it works well enough.

Widzę w tym temat następny wartościowy odcinek,

I see this as the next valuable episode topic.

czyli cały proces wdrożenia i budowa zespołu,

so the entire implementation process and team building,

który potem to wdrożenie ma realizować.

which will then be responsible for implementing this.

Agnieszko, dziękuję Ci serdecznie za Twój czas.

Agnieszka, thank you very much for your time.

Dziękuję bardzo.

Thank you very much.

Dziękuję Ci za Twoją wiedzę.

Thank you for your knowledge.

Dziękuję Ci za otwartość i bycie jedną z 99 twarzy jaj właśnie.

Thank you for your openness and for being one of the 99 faces of the egg.

Dzięki, Karol.

Thanks, Karol.

Dzięki serdeczne za Waszą uwagę i czas.

Thank you very much for your attention and time.

Jeżeli podobał Ci się ten odcinek, będę serdecznie zobowiązany,

If you enjoyed this episode, I would be sincerely grateful.

jeżeli puścicie go dalej w świat.

if you let him go further into the world.

A tymczasem pozdrawiam Was serdecznie.

Meanwhile, I send you my best regards.

W przypadku jakichkolwiek pytań lub chęci nawiązania potencjalnej współpracy,

In case of any questions or interest in establishing potential cooperation,

piszcie na adres karolmaupa99twarzyai.pl.

write to the address karolmaupa99twarzyai.pl.

Do usłyszenia.

Until we hear from you again.

Podcast 99 twarzy AI. Zaprasza Karol Stryja.

Podcast of 99 Faces of AI. Hosted by Karol Stryja.