에어블록의 1분기 기술 개발 업데이트

출처: https://medium.com/airbloc/q1-airbloc-technology-development-update-73fee27dab6d

 

 

 

에어블록 1분기 개발 현황을 공유합니다! 하지만 개발에 관한 긴 글을 읽기는 지루하실 수 있는 분들을 위해 20초안에 이해하실 수 있도록 먼저 알려드릴게요 :)

 

 

1. 데이터 등록의 확장성과 높은 볼륨의 데이터 거래를 위해 Merkle User Dataset(MUD)를 활용해 데이터 구조를 현저하게 개선했습니다.

 

 

2. 에어블록의 데이터 구조 개선과 백엔드 데이터 파이프라인을 통해 기업의 데이터 시스템과 손쉽게 연동할 수 있을 것이며, 이를 통해 B2B 데이터 거래의 확장성을 키울 수 있게 됩니다.

 

 

3. 데이터를 수집하고 분류하는 방식을 재구축하여 기업이 더욱 세분화된 유저 데이터 타입을 등록할 수 있도록 했습니다. 이를 통해 에어블록은 수집되는 데이터를 프로필 데이터, 사용자 이벤트 데이터, 아이덴티티 데이터라는 3가지 카테고리로 그룹화할 수 있게 됩니다. 더 많은 데이터 타입은 더 많은 에어블록 사용 사례를 의미하겠죠? ;)

 

 

Note: “기업”이라는 단어는 에어블록의 동의 기반 실시간 데이터 거래 플랫폼에서 데이터 공급자 및 수요자로 활동할 수 있는, 개인 데이터를 보유하고 있는 서비스/회사를 뜻합니다.

 

 

본문에서 더 자세히 알아보세요!

 

 

 

Merkle User Dataset 구조 개선을 통한 기업에의 데이터 등록 확장성 확보

 

^{Merkle User Dataset을 통해 데이터를 블록체인에 등록하는 과정}

 

 

데이터 등록의 효율성을 극적으로 개선하기 위해 저희는 Merkle User Dataset (MUD) 기술을 개발했습니다. MUD는 Sparse Merkle Tree (SMT)와 이중 머클트리 구조를 채택하여, 기업이 매우 작은 머클 루트 정보만을 블록체인에 올리고도 데이터를 등록할 수 있게 합니다.

 

• 기존 데이터 구조에서 기업은 개별 데이터를 전부 블록체인에 등록해야 했습니다( 블록체인에 너무 많은 양의 데이터가 올라가게 되겠죠). 그러나 이제 MUD 기술을 통해 데이터 공급자 기업은 수백 만 건의 사용자 데이터를 단 1개의 머클 루트로 번들링할 수 있습니다.

 

 

데이터 구조 리팩토링을 통한 거래 가능한 데이터 종류 확장

 

• 대대적인 내부 아키텍쳐 리팩토링을 진행하고 있습니다 — 개별 데이터 중심 모델에서 벗어난 완전한 사용자 프로필 중심의 모델을 구축하기 위해서죠. 이를 통해 에어블록은 수집되는 데이터를 랜덤하고 미분류된 데이터 타입이 아니라, 프로필 데이터, 사용자 이벤트 데이터, 아이덴티티 데이터라는 3가지 카테고리로 그룹화할 수 있게 됩니다.
•  
• 사용자는 데이터 활용을 더 자세한 레벨에서 통제할 수 있고, 기업은 더욱 다양한 데이터 셋을 거래할 수 있게 됩니다.

 

 

데이터 등록 속도 40x 증가

 

에어블록은 이제 데이터 수집 파이프라인에서 싱글 쓰레드 프로세싱이 아니라 데이터 병렬 처리를 이용합니다. 저희는 1분기에 기업 파트너들과 새로운 데이터 수집 과정으로 프라이빗 테스팅을 진행했으며, 그 과정에서 데이터 등록 속도가 4000% 개선되었습니다!

 

자세한 내용은 Github에서 확인하실 수 있습니다.

 

 

 

API 형태의 데이터 거래 지원을 통한 기업과의 실시간 데이터 거래 가능

 

• 이제 저희는 동적인 API 형태의 데이터 거래를 새롭게 지원합니다. 이전까지, 에어블록에서는 오로지 정적인 사용자 속성이나 데이터셋만 다루었습니다. 이 기능을 통해 앞으로는 실시간으로 동적인 데이터를 거래할 수 있게 됩니다. 또한 기업간의 데이터 교환은 API 형식의 연동이 더 일반적이므로, 기존 기업 데이터 인프라스트럭쳐와 에어블록 프로토콜을 더 손쉽게 연동할 수 있습니다.

 

 

Data Discovery API 도입을 통해 기업의 맞춤화된 데이터 구매 요청 가능

 

• 기업이 구매하고자 하는 데이터를 검색, 맞춤화하고 특정 유저 세그먼트로부터 구매하고자 하는 데이터의 리스트를 받아볼 수 있는 데이터 탐색 API를 개발했습니다.

 

 

Data Controller Node 도입을 통한 동의 기반 데이터 거래 보장

 

• 기존 아이덴티티 프로바이더 노드의 역할을 확장해 데이터 컨트롤러 노드를 새롭게 도입했습니다. 이는 데이터 주체인 사용자의 제공 동의가 있을 때에만 데이터가 거래되는 것을 보장합니다. 또한 사용자의 동의를 제공받지 않고 데이터가 거래될 경우 패널티를 부여할 수 있도록 메커니즘이 설계되도록 하는 역할을 담당합니다.

 

 

^{에어블록에 등록되는 데이터가 사용자의 명시적인 동의를 받았는지 Data controller node가 검증을 수행하는 과정}