전체 글 (1326) 썸네일형 리스트형 빈도주의(Frequentist) vs 베이지안(Bayesian) - 요약빈도주의(Frequentist) : 모형 M 은 사전에 선택. 데이터 D 로 모수 theta 를 추정 ( 주로 MLE )베이지안 (Bayesian) : 모형 M 과 사전분포 p( theta | M ) 을 사전에 명시, 데이터 D 후 사후분포 p( theta, D, M ) 전체로 추론NLL 최소화 = MLE 는 가능도 기반일 때만 성립, 정규화 붙이면 MAP 공통 표기데이터 : D = {x_i}^N_i=1모형 : M모수 : theta ( 고정 / 미지 or 확률변수로 볼 지에 대한 차이가 관점 차이 ) 1. 빈도주의 관점세계관theta 는 고정이지만 미지. "반복 표본추출" 에서 성질을 본다.모형 M 은 분석자가 고른다. (데이터가 결정하지 않음)추정MLE : theta^ = arg max_theta.. 베이지안! : p(D|theta) 에서 theta, 데이터 D 를 만들어냈다고 가정하는 "모형"의 매개변수 - theta 를 바꿔가며 해당 theta 일 때 D 가 얼마나 그럴듯한가? 확률(또는 밀도)로서의 p(D|theta) : theta 가 고정일 때, 데이터 D 가 나올 확률,가능도(likelihood) 로서의 p(D|theta) : D 를 고정하고, theta 를 변수로 보는 함수 -> 최적화 대상가능도는 theta 에 대한 확률 분포가 아니다theta 는 모형을 규정하는 매개변수고, p(D|theta) 는 그 모형 아래 D 의 그럴듯함, MLE 는 그 그럴듯함을 최대화하는 theta^ ㅡㄹ 고르는 절차 빈도주의 : theta 는 고정이지만 미지인 상수, p(D|theta) 를 theta 에 대한 목적함수로 최적화베이지안 : theta 자체를 확률변수로 두고 사전 p(theta) 를 정의 최대 가능도 추정, MLE (Maximum Likelihood) - 최대화 방법 (로그 가능도 생성, 제약 처리, 미분 기반 최적화 ) == cross entropy MLE 는 방식(원리)가능도는 최대화하는 목적함수 자체모델이 정해졌을 때, 주어진 데이터 D 에 대해 theta 를 선택하는 규칙, 모델 + 데이터 + 가능도 최대화 목적함수가 있어야 위 식이 나온다. 가능도는 확률모형의 목적함수이고, 로그 가능도 최대화, 음의 로그 가능도 최소화가 MLE 와 동일theta 자체가 아니라 가능도 L(theta) = p(D|theta) 를 theta 에 대해 최대화한다.더보기최대화 방법 : 로그 가능도를 만들고, 제약을 처리한 뒤, 미분 기반 최적화로 theta 를 찾는다. 표준 절차모델 고정 : p(x | theta)로그 가능도 : l(theta) = SUM(log p(x_i | theta) ( 곱의 합으로의 변경)제약 처리확률 (0-1) : theta = sigma(.. 📄 LLM-powered AutoML 1. 개요정의:LLM(Large Language Model)을 이용해 사용자의 자연어 요구를 해석하고, AutoML 엔진을 호출하여 데이터 분석·모델링 과정을 자동화하는 접근법.핵심 아이디어:사용자는 “이 데이터로 매출을 예측해줘” 같은 자연어 지시를 제공LLM은 지시를 **구조화된 명세(Intermediate Representation, IR)**로 변환AutoML 엔진이 IR을 기반으로 데이터 전처리, 모델 탐색, 평가, 리포팅 수행결과를 LLM이 다시 해석해 사람이 이해하기 쉬운 형태로 설명2. 필요성기존 AutoML의 한계데이터 전처리와 문제 정의는 여전히 사람이 직접해야 함모델 결과 해석 리포트는 비전문가에게 난해LLM의 기여자연어 ↔ 구조적 파이프라인 변환 (직관적 접근)사용자 의도를 코드/스.. 비동기적 계산에서의 양자역학적 비유와 패러다임 확장(Quantum-Inspired Semantics of Asynchronous Computation) 1. 서론현대의 CPU 및 GPU 아키텍처는 비동기적(asynchronous) 실행을 통해 높은 병렬성과 자원 활용 효율을 달성한다. 이러한 실행 모델에서는 커널이나 연산의 결과가 동기화(synchronization) 시점에 이르기 전까지는 확정되지 않으며, 이는 사용자가 변수나 메모리 상태를 관측하려는 시점까지 “불확실성”을 유지하는 것처럼 보인다.이러한 성질은 물리학의 양자역학적 붕괴(collapse) 개념과 흥미로운 유사성을 가진다. 양자역학에서 물리 시스템은 관측 이전까지는 여러 상태의 중첩(superposition)으로 존재하며, 관측 행위가 이루어질 때 특정 확률 분포에 따라 하나의 상태로 붕괴한다. 본 연구는 이 유비를 출발점으로 하여, 비동기 계산을 양자적 은유로 해석하고, 나아가 이를 새.. 비동기적 계산에서의 양자역학적 비유와 패러다임 확장 문서화 방향 (개념 확장용)1. 서론비동기 계산의 특징 (실행 순서 불확정, 동기화 전 값의 미확정성)양자역학의 기본 아이디어 (중첩, 관측, 붕괴, 얽힘)두 영역 간의 은유적/개념적 매핑 가능성2. 비유적 매핑Superposition ↔ 비동기 변수의 미확정 상태Measurement ↔ CPU/host의 sync 및 변수 읽기Collapse ↔ 실제 값의 확정Entanglement ↔ 여러 커널이 공유 메모리에 작용하는 경쟁적 상태3. Undefined Behavior와 불확실성Race condition, 부동소수점 연산 순서 차이, 비동기 실행 순서 불확정성이를 단순한 오류가 아닌 “개념적 불확실성”으로 재해석4. 개념적 프레임워크 제안QuantumArray: 비동기 연산 대상이 되는 상태 벡터obs.. cudaStreamSynchronize 유무에 따른 출력 값 변화 확인 - 비동기의 확장 #include #include __global__ void add_one(int* data) { int idx = threadIdx.x; data[idx] += 1;}int main() { const int N = 4; int h_data[N] = {0, 0, 0, 0}; // CPU 메모리 // GPU 메모리 할당 및 복사 int* d_data; cudaMalloc(&d_data, N * sizeof(int)); cudaMemcpy(d_data, h_data, N * sizeof(int), cudaMemcpyHostToDevice); // 비동기 커널 실행 add_one>>(d_data); // (1) 동기화 없이 바로 CPU로 복사 c.. AI Framework 구현을 위한 최적의 구조 생각 ( 확장 및 보완 중심? ) - C++/CUDA Core + 얇은 pybind11 Adapter 아키텍처 가이드 목적: 핵심 연산은 C++/CUDA로, 파이썬 바인딩은 포인터/스트림만 전달하는 얇은 어댑터로 구성하여, 제로-카피·고성능·모듈 재사용성을 달성한다. 이 문서는 디렉터리 구조, 인터페이스 규약, 빌드/배포, 파이썬 상호운용(CuPy/PyTorch/NumPy), 테스트/디버깅, 자주 겪는 이슈까지 한 번에 정리한다. 핵심 철학 (TL;DR)경계 최소화: Python ↔ Core 사이에 포인터(void*)/크기/shape·stride/스트림만 오간다.소유권 비침투: 바인딩은 메모리를 소유하지 않는다(해제 책임은 호출자).동기화는 선택: 기본 비동기, 필요 시 sync_after 옵션으로 동기화.GIL 해제: 커널 실행 구간은 항상 GIL을 해제한다.플러그형 코어: Core는 언어 비의존+안정 ABI. pyb.. 이전 1 2 3 4 ··· 166 다음