Way back in the 80s, I noticed that sometimes, when an elephant called a member of her family, one individual would answer, and everybody else ignored the calling animal.

And then she would call again, and a different elephant would sort of lift her head up and rumble very loudly.

This is Joyce Poole. She's been studying African elephants and their communication for 50 years. Then I started to think, well, okay, so maybe they have a way of directing a call to a specific individual.

But we had no way of detecting that. Decades later, she partnered up with Mickey Pardo, who designed a study around her observations.

I went out into the field. I recorded calls with careful behavioral observations. So we knew who made each call, we knew who the call was addressed to, we knew the context of the call... They encoded the acoustic information from the recordings into a long string of numbers, along with the data Mickey collected about the calls.

They fed nearly 500 different calls like this into a statistical model. And when given the acoustic structure of a new call, the model could predict who the receiver of the call was, much better than chance.

In other words, evidence suggesting African savanna elephants give each other names.

When we posted it on Facebook, somebody wrote back, said that the Earth just shifted a little bit. And I think that's true.

This is just one example of how machine learning is decoding complexities in animal communication that humans can't detect. And now some AI researchers want to take the next step: Large language models, like the ones that power chatbots, but built for interspecies communication.

“Can we talk a little bit about love?” “There is still much to be learned about whales.

” When researchers study animal communication, they usually employ a few methods: Recording their vocalizations, observing and documenting the behavior and context around those sounds, and sometimes doing a playback to measure the animal's response.

All of these areas are already being impacted by AI.

Recordings from the field don't usually sound like this. They often sound like this: Multiple animals vocalizing on top of one another in a noisy environment.

This is known as the cocktail party problem, and it's a common issue in the field of animal research. But machine learning solved a similar problem in human speech recognition.

AI researchers trained a model called Deep Karaoke on lots of music tracks where instruments and vocals were recorded separately, then also on the fully mixed tracks, until it was able to do the task of separating out instruments and vocals in new music clips.

Recently, AI researchers have had some success applying similar algorithms to animal sound recordings, which means you can take a clip of a group of macaque monkeys and single out one discernible call.

Researchers could also start using AI in how they use playbacks in the field. You may have seen AI models that can be trained on lots of examples of a sound recording and then generate another unique version of it.

AI researchers are starting to develop similar models for animal recordings.

These are all types of “supervised learning.” That means that the model gets trained on lots of examples labeled by humans.

And in the elephant name study, researchers were able to feed a model their observations, which, along with the sound data, helped them detect something in elephant calls they couldn't through observation alone.

You need to annotate a lot of data. Yossi Yovel trained a statistical model on 15,000 Egyptian fruit bat vocalizations, and it was able to identify the emitter of the call, the context of the call, its behavioral response, and who the call was addressed to.

And we annotated them manually. You know, I'm already saying this is a restriction of the study, because maybe we're missing something, we’re humans, we’re not bats.

And that's the problem with supervised learning models.

They are limited by what we humans already know about animal communication in order to label the training data. And we don't know a lot.

That's why some AI researchers say self-supervised models hold the most potential for decoding animal communication. This is how natural language processing models like ChatGPT are trained.

Instead of human-labeled examples, they are trained on a large amount of unlabeled data, and then can sort it according to patterns and categories it detects all on its own.

In the example of ChatGPT, it learned from all the books, websites, social media feeds, and anything else it could scrape from the internet, and came to its own conclusions about how language works.

Every language has a shape that AI discovers.

This is Aza Raskin. He co-founded the Earth Species Project, one of a few organizations that want to build models like this for animal communication.

What he means by language having a shape, is that language models are built out of relationships among words.

Words that mean similar things are placed near each other, words that share a relationship, share a distance and direction. So, man is to king as woman is to queen.

So this is the shape of all those relationships among the English language’s 10,000 most common words, visualized here by the Earth Species Project.

Flattened out it looks something like this. Something really miraculous happened in 2017, and that was, researchers discovered that you could take the shape of any one language and match it to the shape of any other language, and the point which is “dog” ends up in the same spot.

This idea, that similar words can be located in other languages in roughly the same place, is what gives the Earth Species Project hope we could do a version of this for animal communication.

To do a translation without needing any examples, without needing a Rosetta stone.

This is complicated though, because we know that animals don't just communicate with sound, but with other senses, too. But Aza points out that we can learn from the fact that image generation models like DALL-E and Midjourney are built on the same large language model structure used for text.

It turns out, behind the scenes, it's again these kinds of shapes. There's the shape that represents sound, the shape that represents images.

Those two shapes get aligned, and now you can translate between images and text. Their expectation is that where nonhuman animals’ communication would line up with ours will tell us even more about what we have in common.

Dolphins look in mirrors and recognize themselves. Elephants too.

That's a kind of self-awareness. One concern with this plan is related to a step in self-supervised learning called validation, meaning humans still need to refine these models by grading them on their answers.

How would we do that in a communication so foreign from our own?

We also might have too high expectations of this overlap, or the capacity for having a conversation with a nonhuman animal in a shared language, and about shared experiences.

“Hey Kurt, how are you doing, dude?” “So I'm about to translate that into a meow.” “We said hi. Hi.

Hi. You know, next time you want to say, how are you?” I do not think that humans should be considered more important than other species, but that doesn't mean that there's no usefulness in distinguishing between language, which is this very specific behavior that, at least based on what we currently know, seems to be unique to humans, and other forms of communication.

In order to build these models, the first step is collecting a lot more data on animal sounds than exists right now.

And so I'm actually at the moment building up a database with all the individual calls.

So, close to 10,000 records in that, which is very small actually. Around the world, animal researchers are in the midst of a massive data collection effort, tagging and recording animals with video and sound and spatial data to feed these data-thirsty models.

Time will tell whether true interspecies communication will be facilitated by AI.

But researchers hope that discoveries along the way will continue to have an impact on our appreciation and protection of the species we share the planet with.

We're not the only ones on the planet who can communicate, who care about one another, who have thoughts about the past and about the future.

They also have a right to be here and a reason for being here.

How AI could help us talk to animals

Vox helps you understand our world.

Vox video is Bridgett Henwood, Cath Spangler, Adam Freelander, Joey Sendaydiego, Coleman Lowndes, Christophe Haubursin, Kim Mas, Laura Bult, Ed Vega, Rajaa Elidrissi, and with research support from Melissa Hirsch. 

Become a member today: https://www.vox.com/support-now

Check out our FAQ on permissions and licensing of our videos: https://www.voxmedia.com/pages/licensing

✉️ Write us: voxvideo@vox.com


조이스 풀은 50년간 아프리카 코끼리의 의사소통을 연구해왔습니다. 그녀는 **코끼리들이 특정 개체를 지목하는 방식이 있을 수 있다는 가설**을 세웠습니다. 미키 파르도와 협력하여 연구를 설계하고, 코끼리 울음소리를 녹음하여 누가 누구에게 말을 걸고, 어떤 상황에서 대화가 이루어지는지 데이터를 수집했습니다.

수집된 데이터는 통계 모델에 입력되었고, **모델은 새로운 울음소리의 음향 구조만으로도 누가 수신자인지 예측**할 수 있었습니다. 이는 코끼리들이 서로의 "이름"을 부르는 증거가 될 수 있습니다.

🤖 AI, 동물 연구의 새로운 가능성을 열다

기계 학습은 인간이 감지할 수 없는 동물 의사소통의 복잡성을 해독하는 데 도움을 줄 수 있습니다. AI 연구자들은 챗봇과 같은 대규모 언어 모델을 **종 간 의사소통**을 위해 구축하고자 합니다.

동물 연구는 일반적으로 녹음, 행동 관찰, 재생 등의 방법을 사용하는데, **AI는 이러한 모든 영역에 영향을 미치고 있습니다.** 시끄러운 환경에서 여러 동물의 울음소리를 분리하는 "칵테일 파티 문제"를 해결하는 데 AI가 활용될 수 있습니다.

딥 가라오케 모델처럼, AI는 **동물 소리 녹음에서 특정 울음소리를 분리**하는 데 성공을 거두고 있습니다. 또한, AI 모델을 사용하여 동물의 울음소리를 생성하고, 재생 실험에 활용할 수도 있습니다.

🏷️ 지도 학습 vs 자기 지도 학습

지도 학습은 인간이 라벨링한 데이터로 모델을 훈련시키는 방식입니다. 코끼리 이름 연구에서 연구자들은 **자신들의 관찰 결과를 모델에 제공하여, 인간의 관찰만으로는 알 수 없었던 코끼리 울음소리의 특징을 발견**했습니다.

요시 요벨은 15,000개의 이집트 과일 박쥐 울음소리에 대한 통계 모델을 훈련시켜, **울음소리의 발신자, 상황, 행동 반응, 수신자를 식별**할 수 있었습니다. 하지만 지도 학습 모델은 인간이 이미 알고 있는 정보에 의해 제한될 수 있다는 단점이 있습니다.

자기 지도 학습 모델은 라벨링되지 않은 대량의 데이터로 훈련되어, **스스로 패턴과 범주를 감지**합니다. ChatGPT와 같은 자연어 처리 모델이 이러한 방식으로 훈련됩니다.

🌐 언어의 형태와 종 간 번역의 희망

아자 라스킨은 언어가 형태를 가지고 있다고 설명합니다. 즉, 언어 모델은 **단어 간의 관계**를 기반으로 구축됩니다. 비슷한 의미를 가진 단어는 서로 가까이 배치되고, 관계를 공유하는 단어는 거리와 방향을 공유합니다.

어스 스피시즈 프로젝트는 **어떤 언어의 형태를 다른 언어의 형태에 맞춰 번역**할 수 있다는 아이디어를 바탕으로, 동물 의사소통에도 적용할 수 있기를 희망합니다. Rosetta Stone 없이도 번역이 가능할 수 있다는 것입니다.

동물은 소리뿐만 아니라 다른 감각으로도 소통하지만, 이미지 생성 모델이 텍스트에 사용되는 동일한 언어 모델 구조를 기반으로 구축된다는 점을 통해 배울 수 있습니다. **소리, 이미지 등의 형태를 정렬하여 이미지와 텍스트 간의 번역이 가능**해집니다.

🤔 윤리적 고려 사항과 미래의 전망

자기 지도 학습의 검증 단계에서 인간은 모델의 답변을 평가해야 합니다. 하지만 **인간과 너무나 다른 의사소통 방식**에서 어떻게 검증할 수 있을까요? 또한, 인간과의 대화 가능성에 대한 기대치가 너무 높을 수도 있습니다.

동물 의사소통 모델을 구축하려면 **현재보다 훨씬 더 많은 동물 소리 데이터**를 수집해야 합니다. 연구자들은 이러한 데이터 갈증을 해소하기 위해 대규모 데이터 수집 노력을 기울이고 있습니다.

AI가 진정한 종 간 의사소통을 촉진할 수 있을지는 미지수이지만, 연구자들은 **그 과정에서 얻게 되는 발견들이 지구를 공유하는 종들에 대한 이해와 보호에 기여**할 수 있기를 희망합니다.

**우리는 의사소통하고, 서로를 아끼고, 과거와 미래에 대해 생각할 수 있는 유일한 존재가 아닙니다.** 그들도 이곳에 존재할 권리와 이유가 있습니다.

80년대에 저는 코끼리 한 마리가 가족 구성원을 불렀을 때, 다른 코끼리들은 무시하고 특정 개체만 응답하는 것을 가끔 발견했습니다.

그러다가 다시 전화를 걸면 다른 코끼리가 고개를 들고 매우 크게 웅얼거렸습니다.

이분은 조이스 풀입니다. 50년 동안 아프리카 코끼리와 그들의 의사소통을 연구해 왔습니다. 그때 저는 '어쩌면 그들이 특정 개체에게 전화를 거는 방법이 있을지도 몰라'라고 생각하기 시작했습니다.

하지만 그걸 감지할 방법이 없었습니다. 수십 년 후, 그녀는 그녀의 관찰을 바탕으로 연구를 설계한 미키 파르도와 협력했습니다.

저는 현장에 나가서 주의 깊은 행동 관찰과 함께 통화 내용을 녹음했습니다. 누가 전화를 걸었는지, 누가 전화를 받았는지, 통화 내용의 맥락이 무엇인지 알았습니다. 그들은 녹음 내용의 음향 정보를 긴 숫자 문자열로 인코딩하고 미키가 수집한 통화 관련 데이터와 함께 넣었습니다.

그들은 이와 같이 거의 500개의 서로 다른 통화 내용을 통계 모델에 입력했습니다. 그리고 새로운 통화의 음향 구조가 주어졌을 때, 그 모델은 통화 수신자가 누구인지 우연보다 훨씬 더 잘 예측할 수 있었습니다.

다시 말해, 아프리카 사바나 코끼리가 서로 이름을 부른다는 증거를 제시하는 것입니다.

페이스북에 게시했을 때, 누군가가 지구가 약간 이동했다고 댓글을 달았습니다. 그리고 저는 그것이 사실이라고 생각합니다.

이것은 머신 러닝이 인간이 감지할 수 없는 동물 의사소통의 복잡성을 해독하는 방법의 한 예일 뿐입니다. 그리고 이제 일부 AI 연구자들은 다음 단계로 나아가고 싶어합니다. 챗봇을 구동하는 것과 같은 대규모 언어 모델을 이종 간 의사소통을 위해 구축하는 것입니다.

사랑에 대해 조금 이야기해 볼까요? 고래에 대해 아직 배워야 할 것이 많습니다.

연구자들이 동물 의사소통을 연구할 때, 그들은 보통 몇 가지 방법을 사용합니다. 그들의 발성을 녹음하고, 그 소리 주변의 행동과 맥락을 관찰하고 기록하고, 때로는 동물의 반응을 측정하기 위해 재생하기도 합니다.

이러한 모든 영역은 이미 AI의 영향을 받고 있습니다.

현장에서 녹음한 소리는 보통 이렇지 않습니다. 종종 시끄러운 환경에서 여러 동물이 서로 겹쳐서 소리를 내는 것처럼 들립니다.

이것은 칵테일 파티 문제로 알려져 있으며, 동물 연구 분야에서 흔히 발생하는 문제입니다. 그러나 머신 러닝은 인간 음성 인식에서 유사한 문제를 해결했습니다.

AI 연구자들은 딥 카라오케라는 모델을 훈련했는데, 악기와 보컬이 따로 녹음된 많은 음악 트랙과 완전 혼합된 트랙을 사용하여 새로운 음악 클립에서 악기와 보컬을 분리하는 작업을 수행할 수 있게 되었습니다.

최근 AI 연구자들은 동물의 소리 녹음에 유사한 알고리즘을 적용하여 어느 정도 성공을 거두었는데, 이는 마카크 원숭이 그룹의 클립을 가져와서 식별 가능한 하나의 울음소리를 골라낼 수 있다는 것을 의미합니다.

연구자들은 또한 현장에서 재생을 사용하는 방식에 AI를 사용하기 시작할 수도 있습니다. 사운드 녹음의 많은 예제에서 훈련을 받아 또 다른 고유한 버전을 생성할 수 있는 AI 모델을 본 적이 있을 것입니다.

AI 연구자들은 동물 녹음에 대한 유사한 모델을 개발하기 시작했습니다.

이것들은 모두 일종의 '지도 학습'입니다. 즉, 모델은 인간이 레이블을 붙인 많은 예제에서 훈련을 받습니다.

그리고 코끼리 이름 연구에서 연구자들은 모델에 관찰 내용을 제공할 수 있었는데, 이는 사운드 데이터와 함께 코끼리 울음소리에서 관찰만으로는 감지할 수 없는 것을 감지하는 데 도움이 되었습니다.

많은 데이터를 주석 처리해야 합니다. 요시 요벨은 15,000개의 이집트 과일 박쥐 발성에 대한 통계 모델을 훈련했고, 그 결과 발신자, 발성의 맥락, 행동 반응, 발성이 누구에게 전달되었는지 식별할 수 있었습니다.

그리고 우리는 그것들을 수동으로 주석 처리했습니다. 아시다시피, 저는 이미 이것이 연구의 제한 사항이라고 말하고 있습니다. 왜냐하면 우리가 무언가를 놓치고 있을 수도 있기 때문입니다. 우리는 인간이고 박쥐가 아니기 때문입니다.

그리고 그것이 지도 학습 모델의 문제입니다.

그것들은 훈련 데이터를 레이블링하기 위해 인간이 이미 알고 있는 동물 커뮤니케이션에 의해 제한됩니다. 그리고 우리는 많은 것을 알지 못합니다.

그렇기 때문에 일부 AI 연구자들은 자기 지도 모델이 동물 커뮤니케이션 해독에 가장 큰 잠재력을 가지고 있다고 말합니다. 이것이 ChatGPT와 같은 자연어 처리 모델이 훈련되는 방식입니다.

인간이 레이블을 붙인 예제 대신에, 그것들은 많은 양의 레이블이 없는 데이터에서 훈련을 받고, 그런 다음 스스로 감지한 패턴과 범주에 따라 정렬할 수 있습니다.

ChatGPT의 예에서, 그것은 모든 책, 웹사이트, 소셜 미디어 피드, 그리고 인터넷에서 긁어낼 수 있는 다른 모든 것들로부터 배웠고, 언어가 작동하는 방식에 대한 자체적인 결론에 도달했습니다.

모든 언어는 AI가 발견하는 모양을 가지고 있습니다.

이 사람은 아자 라스킨입니다. 그는 동물 커뮤니케이션을 위해 이와 같은 모델을 구축하고자 하는 몇 안 되는 조직 중 하나인 지구 종 프로젝트를 공동 설립했습니다.

언어에 형태가 있다는 말은 언어 모델이 단어 간의 관계를 기반으로 구축된다는 의미입니다.

비슷한 의미를 가진 단어는 서로 가까이 배치되고, 관계를 공유하는 단어는 거리와 방향을 공유합니다. 예를 들어, 남자 대 왕은 여자 대 여왕과 같습니다.

이것은 영어에서 가장 흔하게 사용되는 10,000개 단어 간의 모든 관계의 형태이며, Earth Species Project에서 시각화한 것입니다.

평면화하면 대략 이런 모습입니다. 2017년에 정말 놀라운 일이 일어났는데, 연구자들이 어떤 언어의 형태든 다른 언어의 형태와 일치시킬 수 있다는 것을 발견했고, '개'라는 단어가 같은 위치에 놓이게 된다는 것입니다.

비슷한 단어가 다른 언어에서 거의 같은 위치에 있을 수 있다는 이 아이디어는 Earth Species Project에게 동물 의사 소통에서도 이와 비슷한 버전을 만들 수 있다는 희망을 줍니다.

예시나 로제타석 없이 번역을 할 수 있게 되는 것이죠.

하지만 이것은 복잡합니다. 왜냐하면 우리는 동물이 소리뿐만 아니라 다른 감각으로도 소통한다는 것을 알고 있기 때문입니다. 하지만 아자는 DALL-E나 Midjourney와 같은 이미지 생성 모델이 텍스트에 사용되는 것과 동일한 대규모 언어 모델 구조를 기반으로 구축된다는 사실에서 배울 수 있다고 지적합니다.

알고 보니, 이면에는 또 이런 종류의 형태가 있습니다. 소리를 나타내는 형태, 이미지를 나타내는 형태가 있습니다.

이 두 형태가 정렬되면 이제 이미지와 텍스트 간에 번역할 수 있습니다. 그들의 기대는 인간이 아닌 동물의 의사 소통이 우리와 일치하는 부분이 우리에게 공통점이 무엇인지에 대해 훨씬 더 많은 것을 알려줄 것이라는 것입니다.

돌고래는 거울을 보고 자신을 알아봅니다. 코끼리도 마찬가지입니다.

그것은 일종의 자의식입니다. 이 계획에 대한 한 가지 우려는 자기 지도 학습의 한 단계인 검증과 관련이 있는데, 이는 인간이 여전히 답변에 따라 모델을 평가하여 개선해야 함을 의미합니다.

우리와 너무나 다른 의사 소통에서 어떻게 그렇게 할 수 있을까요?

우리는 또한 이 중복에 대해, 또는 공유 언어와 공유 경험을 통해 인간이 아닌 동물과 대화할 수 있는 능력에 대해 너무 높은 기대를 가질 수도 있습니다.

“이봐, 커트, 잘 지내?” “그걸 야옹으로 번역하려고 해.” “인사한 거야. 안녕.

안녕하세요. 다음에 '어떻게 지내세요?'라고 묻고 싶을 때, 저는 인간이 다른 종보다 더 중요하다고 생각해서는 안 된다고 생각하지만, 그렇다고 해서 언어를 구별하는 데 유용성이 없다는 의미는 아닙니다. 언어는 적어도 현재 우리가 알고 있는 바로는 인간에게만 고유한 매우 특정한 행동입니다. 다른 형태의 의사소통과는 구별됩니다.

이러한 모델을 구축하려면 먼저 현재 존재하는 것보다 훨씬 더 많은 동물 소리에 대한 데이터를 수집해야 합니다.

그래서 저는 현재 모든 개별 호출로 데이터베이스를 구축하고 있습니다.

그래서 거의 10,000개의 레코드가 있는데, 실제로는 매우 적은 양입니다. 전 세계적으로 동물 연구자들은 이러한 데이터에 굶주린 모델에 공급하기 위해 비디오, 사운드 및 공간 데이터로 동물을 태깅하고 기록하는 대규모 데이터 수집 노력을 기울이고 있습니다.

진정한 종간 의사소통이 인공지능에 의해 촉진될지는 두고 볼 일입니다.

그러나 연구자들은 그 과정에서 발견되는 것들이 우리가 지구를 공유하는 종에 대한 감사와 보호에 계속 영향을 미치기를 희망합니다.

우리는 의사소통을 하고, 서로를 아끼고, 과거와 미래에 대해 생각할 수 있는 유일한 존재가 아닙니다.

그들은 또한 여기에 있을 권리와 여기에 있어야 할 이유가 있습니다.

코끼리의 의사소통 연구와 AI의 역할

Joyce Poole은 코끼리가 특정 개체에게 신호를 보내는 방식을 발견했지만, 당시에는 이를 감지할 방법이 없었음.

Mickey Pardo와 함께 코끼리 울음소리의 음향 정보를 분석하여 누가 누구에게 말하는지 예측하는 연구를 진행, 코끼리가 서로의 이름을 부르는 증거를 발견.

기계 학습이 인간이 감지할 수 없는 동물의 의사소통 복잡성을 해독하는 데 사용됨.

동물 의사소통 연구에 AI의 영향

동물 음성 녹음, 행동 관찰, 반응 측정을 위한 재생 등 동물 의사소통 연구 방법이 AI에 의해 영향을 받음.

AI는 시끄러운 환경에서 여러 동물의 울음소리를 분리하는 데 사용될 수 있으며, 이는 '칵테일 파티 문제'를 해결하는 데 도움이 됨.

AI는 동물 녹음 모델을 개발하여 새로운 버전의 소리를 생성하는 데 사용될 수 있음.

지도 학습의 한계와 자기 지도 학습의 가능성

지도 학습 모델은 인간이 동물 의사소통에 대해 이미 알고 있는 것에 의해 제한됨.

자기 지도 학습 모델은 인간의 라벨링 없이도 대량의 데이터를 스스로 분석하여 패턴을 발견할 수 있음.

언어 모델의 원리와 동물 의사소통 적용 가능성

언어 모델은 단어 간의 관계를 기반으로 구축되며, 비슷한 의미의 단어는 서로 가까이 배치됨.

Earth Species Project는 동물 의사소통에도 언어 모델을 적용하여 번역을 시도하고자 함.

AI를 이용한 다감각 의사소통 번역의 가능성

이미지 생성 모델이 텍스트 기반 언어 모델과 동일한 구조를 사용하는 것을 통해, 소리와 이미지를 연결하여 번역할 수 있음을 시사.

동물과의 공통점을 파악하고, 공유된 언어로 대화할 수 있는 가능성에 대한 기대와 우려가 존재.

동물 의사소통 데이터베이스 구축 및 미래 전망

동물 의사소통 모델 구축을 위해 대량의 데이터 수집이 필요하며, 현재 데이터베이스는 매우 작은 규모임.

AI가 동물과의 의사소통을 촉진할 수 있을지는 미지수이지만, 연구를 통해 종에 대한 이해와 보호에 기여할 수 있기를 희망.

동물도 의사소통하고, 서로를 아끼며, 과거와 미래에 대한 생각을 가지고 있으며, 지구에서 살아갈 권리가 있음.

How AI could help us talk to animals

How AI could help us talk to animals

스크립트