https://padlet.com/jmlee35/2023-1-3-5-eat9g6ch7vvhqkjm

[1] 웹/앱 데이터 분석 도구

구글애널리틱스(Google Analytics, GA)
무료

[2] 범용적인 데이터 분석 도구

엑셀(EXCEL)
데이터를 처리하여 분석할 수 있는

사무용 프로그램

SQL
프로그래밍 언어에 비해 배우기 쉬운

간단한 쿼리문 몇 줄로 대용량의 고객 데이터를 체계적으로 추출하고 관리할 수 있는

[3] 데이터 시각화 프로그램

태블로(Tableau)

데이터 분석 결과를 스토리텔링할 수 있는

Power BI

데이터 분석 결과를 스토리텔링할 수 있는

[4] 프로그래밍 언어

파이썬

데이터를 처리, 분석, 시각화할 수 있는

프로그래밍 언어

R

통계 컴퓨팅, 그래픽스를 위한(통계 데이터를 처리하여 시각화할 수 있는)

프로그래밍 언어

출처

https://media.fastcampus.co.kr/knowledge/data-science/data-tool-7/

https://post.naver.com/viewer/postView.naver?volumeNo=34591668&memberNo=6457418

https://dataonair.or.kr/%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%95%88%EC%8B%AC%EA%B5%AC%EC%97%AD-%EC%8B%A4%EB%AC%B4%EC%97%90%EC%84%9C-%EC%93%B0%EC%9D%B4%EB%8A%94-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D-%EB%8F%84%EA%B5%AC/

01. 네트워크 분석
  01.1 특정 기간/키워드로 네이버 기사 크롤링
  01.2 “Mecab”을 활용한 명사 형태의 형태소 분석
  01.3 추출한 단어들로 동시 출현 빈도수를 도출 후 Gephi로 시각화
  01.4 Modularity 방식으로 두 개의 군집을 군집을 군집을 형성 후 각기 다른 색으로 구분

02. 토픽 모델링 분석
02.1 전처리
    한국어 처리 패키지인 ‘Konlpy’의 ‘Mecab’을 활용하여 명사를 추출
    분석 시 의미를 부여할 필요가 없는 불용어 제거 및 주제와 맞지 않는 모호한 단어 제거
    토픽모델링은 추출된 단어를 읽고 토픽을 추정 해야 하기 때문에 편의상 스테밍은 생략

02.2 토픽 모델링 
    Gensim 패키지를 통한 토픽 모델링
    50% 이상 나오는 단어, 5번 이하로 나오는 단어 필터링

02.3 시각화 
    토픽 6개 중 소비와 관련된 4개의 토픽만 선정
    Gensim의 토픽모델링 결과를 시각화하는 pyLDAvis 패키지 사용

https://bigdata.seoul.go.kr/noti/selectPageListTabNoti.do?r_id=P260
서울시 빅데이터 캠퍼스 - 공모전 빅데이터 분석 사례 중
MZ세대 소비 트렌드 분석을 통한 서울시 제로페이 활성화 방안

-----------------

01. 파이썬 - 빅데이터 처리 분석

02. R -  빅데이터 처리 분석

-----------------

03. 엑셀(EXCEL) - 데이터 처리 분석

파워 쿼리(Power Query)

   여러 종류의 외부 데이터 소스에서 데이터를 가져온 후,

   필요에 따라 데이터를 정제하거나, 변환 및 재구성할 수 있는 도구

Microsoft Excel용 파워 쿼리 - 데이터 검색, 액세스 및 공동 작업을 돕는 Excel 추가 기능

04. SQL - 데이터 추출 관리

-----------------

05. 태블로(Tableau) - 데이터 시각화

06. Power BI - 데이터 시각화

-----------------

구글애널리틱스(Google Analytics, GA) - 웹 로그 데이터 분석

https://media.fastcampus.co.kr/knowledge/data-science/data-tool-7/

https://brunch.co.kr/@data/10

https://media.fastcampus.co.kr/knowledge/data-science/data-tool-7/

1. 문제 정의 

2. 데이터 수집
공개된 공공 데이터를 찾아 활용하거나 크롤링을 통해 데이터를 직접 수집한다.

3. 데이터 전처리
데이터에 문제가 없는지 이상치나 결측치 등을 확인한다.
수집한 데이터를 실제로 분석에 사용할 수 있게끔 처리한다.

4. 데이터 모델링(data modeling)
주어진 개념으로부터 논리적인 데이터 모델을 구성한다.

일반적으로 이를 물리적인 데이터베이스 모델로 환원하여 
고객의 요구에 따라 특정 정보 시스템의 데이터베이스에 반영하는 작업을 포함한다. 
후자의 의미로 흔히 데이터베이스 모델링으로 불리기도 한다.

5. 데이터 시각화 및 탐색

https://blog.naver.com/hidal_magicnote/222895789178
SQL 문법, 함수
  https://www.w3schools.com/mysql/default.asp
  MySQL Tutorial

  https://dev.mysql.com/doc/refman/8.0/en/functions.html
  MySQL 8.0 Reference Manual - Chapter 12 Functions and Operators

  https://mode.com/sql-tutorial/introduction-to-sql/
  The SQL Tutorial for Data Analysis


https://blog.naver.com/ds_selee/222508805418
SQL 테스트 

  https://leetcode.com/problemset/database/
  Leetcod - Database
  당연히 제일 먼저는 리트코드죠!! 데이터 베이스 섹션에 가시면 여러 문제들을 확인해보실 수 있어요!
  SQL 문제들은 무료 버전이 몇개 없어서 저는 친구랑 프리미엄 같이 결재해서 현재 문제 풀고 있는 중이에요!

  https://www.stratascratch.com/blog/mysql-interview-questions/
  StrataScratch
  이건 저도 얼마전에 안 사이트인데 문제들이 꽤 좋더라구요!!
  실제 프로덕트 관련된 문제들을 연습할 수 있어서 좋은 것 같아요!

https://interbrand.com/best-brands-review-1/

유통(流通)은 생산과 소비를 연결해 주는 기능이다.

이것은 생산자의 제품이나 서비스가 소비자에게 흐르고 통하게 하도록 하는 과정을 의미한다.

유통관리는 유통경로를 관리하는 것이다.

이것은 유통에 참여하는 조직들에게 수행해야 할 기능을 배분하고, 각 조직들이 효율적으로 기능을 수행하도록 관리하는 것을 의미한다.

유통의 기능

상적

https://itpenote.tistory.com/594?category=898785
개념 ER 모델
상세 ER 모델
테이블명세서 

**http://wiki.gurubee.net/pages/viewpage.action?pageId=28116182

http://wiki.gurubee.net/pages/viewpage.action?pageId=28115103

http://wiki.gurubee.net/pages/viewpage.action?pageId=26743251 전체 목차

http://wiki.gurubee.net/pages/viewpage.action?pageId=26743462

https://ppomelo.tistory.com/51

Chen vs IE/Crow's Foot 

https://vertabelo.com/blog/chen-erd-notation/
Chen Notation

https://vertabelo.com/blog/crow-s-foot-notation/

https://vertabelo.com/blog/crow-s-foot-notation-in-vertabelo/

Crow’s Foot Notation

https://vertabelo.com/blog/barkers-erd-notation/
Barker’s Notation

https://vertabelo.com/blog/a-data-model-for-an-online-musical-equipment-shop/

ERD example

1단계: 사용자 계정이 외부의 IP에서 접속이 가능한다

출처: 
https://jminie.tistory.com/101
https://luminitworld.tistory.com/82?category=975147

1) MySQL 사용자 생성
mysql> create user 'jm'@'%' identified by 'password';

MySQL에 접속한다.
본인이 원하는 이름의 사용자를 만들고 비밀번호를 설정한다.

사용자를 생성할 때 접근 허용 범위를 다음과 같이 설정할 수 있다.
  'Username'@'%'  : 해당 사용자는 외부에서 접근 가능
  'Username'@'localhost'  : 해당 사용자는 내부에서만 접근 가능
  'Username'@'xxx.xxx.xxx.xxx'  : 해당 사용자는 지정한 ip주소로만 접근 가능
 
사용자 확인
mysql> show databases;               // 현재 database를 보여줌
mysql> select user, host from user;  // mysql database의 사용자 목록 출력

2) 데이터베이스 생성
mysql> create database jmDB
mysql> show databases;

3) 데이터베이스 권한 부여
mysql> grant all privileges on jmDB.* to 'jm'@'%';
mysql> flush privileges;
mysql> show grants for 'jm'@'%';    // 해당 사용자에 대한 권한을 보여줌

2단계: 방화벽을 열어준다
출처:
https://walkingfox.tistory.com/66
mysql community 버전에서 외부 접속 가능하게 하기

1) 제어판의 Windows Defender 방화벽을 찾아서 들어갑니다. (윈도우 검색에서 '방화벽'이라고 검색해도 됩니다.) 
   그후 고급 설정을 클릭합니다.

2) 창이 뜨면 '인바운드 규칙'을 누르고 다음으로 '새 규칙'을 누릅니다.

3) '프로그램' 선택된 것을 확인한 후에 '다음'버튼을 누릅니다.
 
4) '찾아보기'버튼을 눌러 MySQL이 설치된 폴더를 찾아서 mysqld.exe를 선택하여 줍니다.
   저의 경우에는 "%ProgramFiles%\MySQL\MySQL Server 8.0\bin\mysqld.exe" 에 있습니다.
 
5) '연결 허용'이 선택된 것을 확인하고 '다음'버튼을 누릅니다.

6) 그림과 같이 모두 체크를 한 후에 '다음'버튼을 누릅니다.

7) 마지막으로 규칙에 대한 이름(나는 MySQL)을 적당히 적은 후에 '마침'버튼을 눌러 모든 단계를 마무리합니다.

MYSQL DB 백업하기

명령 프롬프트(CMD) 창에서

> mysqldump -u [사용자 계정] -p [패스워드] [원본 데이터베이스명] > [생성할 백업 DB명].sql

 
MYSQL DB 복원하기
명령 프롬프트(CMD) 창에서 
> mysql -u [사용자 계정] -p [패스워드] [복원할 DB] < [백업된 DB].sql
 

출처:
https://server-talk.tistory.com/30

1. 상황:

구체적인 목표나 비전, '그냥 해보는 거야'

상황을 바꾸면 인생이 바뀐다.

2. 행동:

'마치 그런 것처럼' 행동하기

행동을 바꾸면 인생이 바뀐다.

3. 생리학 및 뇌과학:

약, 건강보조제, 식이요법, 명상

몸의 화학작용을 바꾸면 인생이 바뀐다.

4. 의식적인 생각:

부정적인 생각을 긍정적인 생각으로 바꾸기

생각을 바꾸면 인생이 바뀐다.

5. 의식적인 믿음:

강하고 싶은 생각과 느김의 조합

믿음을 바꾸면 인생이 바뀐다.

6. 감정:

감정을 바꾸면 인생이 바뀐다.

출처:

메모리 코드, p.30

예를 들어, 당신이 집에 있는데

부엌 바닥에 불이 고이기 시작했다고 가정하자.

집 옆에 물가가 있는 것도 아니고, 밖에 비가 내리지도 않는다. 그런 상황이라면,

바닥에 있는 물부터 치우겠는가,

아니면 집의 상수도관부터 잠그겠는가?

출처:

메모리 코드, p.29

1. 오라클 데이터베이스에서 한글 데이터 환경을 만든다.

select * from emp;

update emp
set ename = '한글이름'
where empno = 7369;

select * from emp;

2. 아나콘다 주피터 노트북에서, 파이썬 오라클 연동 프로그램을 실행한다.   

한글 안깨지고 잘 나오네...

파이썬 오류 메시지 -

ModuleNotFoundError: No module named 'cx_Oracle'

오류 해결 - 

cx_Oracle 라이브러리를 설치한다.
셀 시작 부분에 느낌표(!)를 추가하면, 주피터 노트북은 명령 프롬프트에서 입력한 것처럼 처리한다.
!pip install cx_Oracle

아나콘다 주피터 노트북에서 작성해서 실행한다.

selMemberOra.ipynb

import cx_Oracle

con = cx_Oracle.connect("사용자이름", "비밀번호","호스트이름:포트/서비스이름")
cur = con.cursor()

cur.execute("SELECT empno, ename, job, sal FROM emp")

while (True) :
    row = cur.fetchone()
    if row == None :
        break;
    data1 = row[0]
    data2 = row[1]
    data3 = row[2]
    data4 = row[3]
    print("%5d   %10s   %10s   %5d" % (data1, data2, data3, data4))

con.close()

출처:

https://rk1993.tistory.com/entry/Python파이썬에서-Oracle-DB-연동하는-방법

-----------------------------------------------------------------

오라클 주요 데이터형식

문자 데이터형식

CHAR(n)          고정길이 문자 / 최대 2000byte / 디폴트 값 1byte 
VARCHAR2(n)   가변길이 문자 / 최대 4000BYTE / 디폴트 값 1byte 

숫자 데이터형식
NUMBER(P,S)    가변숫자 / P (1 ~ 38, 디폴트 : 38) / S (-84 ~ 127, 디폴트 값 : 0)  / 최대 22byte 

날짜 데이터형식
DATE              BC 4712년 1월 1일부터 9999년 12월 31일, 연, 월, 일, 시, 분, 초까지 입력 가능 

-----------------------------------------------------------------

샘플 테이블 생성 SQL 스크립트

scott 계정으로 접속한다 

-- DROP TABLE EMP;
-- DROP TABLE DEPT;
-- DROP TABLE BONUS;
-- DROP TABLE SALGRADE;
-- DROP TABLE DUMMY;

-- 테이블 생성 후 데이터 입력하기

CREATE TABLE EMP (
EMPNO  NUMBER(4) NOT NULL,
ENAME  VARCHAR2(10),
JOB  VARCHAR2(9),
MGR  NUMBER(4),
HIREDATE  DATE,
SAL  NUMBER(7, 2),
COMM  NUMBER(7, 2),
DEPTNO  NUMBER(2)
);

INSERT INTO EMP VALUES (7369, 'SMITH', 'CLERK', 7902,TO_DATE('1980-12-17', 'YYYY-MM-DD'), 800, NULL, 20);
INSERT INTO EMP VALUES (7499, 'ALLEN', 'SALESMAN', 7698,TO_DATE('1981-02-20', 'YYYY-MM-DD'), 1600, 300, 30);
INSERT INTO EMP VALUES (7521, 'WARD', 'SALESMAN', 7698,TO_DATE('1981-02-22', 'YYYY-MM-DD'), 1250, 500, 30);
INSERT INTO EMP VALUES (7566, 'JONES', 'MANAGER', 7839,TO_DATE('1981-04-02', 'YYYY-MM-DD'), 2975, NULL, 20);
INSERT INTO EMP VALUES (7654, 'MARTIN', 'SALESMAN', 7698,TO_DATE('1981-09-28', 'YYYY-MM-DD'), 1250, 1400, 30);
INSERT INTO EMP VALUES (7698, 'BLAKE', 'MANAGER', 7839,TO_DATE('1981-05-01', 'YYYY-MM-DD'), 2850, NULL, 30);
INSERT INTO EMP VALUES (7782, 'CLARK', 'MANAGER', 7839,TO_DATE('1981-06-09', 'YYYY-MM-DD'), 2450, NULL, 10);
INSERT INTO EMP VALUES (7788, 'SCOTT', 'ANALYST', 7566,TO_DATE('1982-12-09', 'YYYY-MM-DD'), 3000, NULL, 20);
INSERT INTO EMP VALUES (7839, 'KING', 'PRESIDENT', NULL,TO_DATE('1981-11-17', 'YYYY-MM-DD'), 5000, NULL, 10);
INSERT INTO EMP VALUES (7844, 'TURNER', 'SALESMAN', 7698,TO_DATE('1981-09-08', 'YYYY-MM-DD'), 1500, 0, 30);
INSERT INTO EMP VALUES (7876, 'ADAMS', 'CLERK', 7788,TO_DATE('1983-01-12', 'YYYY-MM-DD'), 1100, NULL, 20);
INSERT INTO EMP VALUES (7900, 'JAMES', 'CLERK', 7698,TO_DATE('1981-12-03', 'YYYY-MM-DD'), 950, NULL, 30);
INSERT INTO EMP VALUES (7902, 'FORD', 'ANALYST', 7566,TO_DATE('1981-12-03', 'YYYY-MM-DD'), 3000, NULL, 20);
INSERT INTO EMP VALUES (7934, 'MILLER', 'CLERK', 7782,TO_DATE('1982-01-23', 'YYYY-MM-DD'), 1300, NULL, 10);

CREATE TABLE DEPT(
DEPTNO  NUMBER(2),
DNAME  VARCHAR2(14),
LOC  VARCHAR2(13) 
);

INSERT INTO DEPT VALUES (10, 'ACCOUNTING', 'NEW YORK');
INSERT INTO DEPT VALUES (20, 'RESEARCH', 'DALLAS');
INSERT INTO DEPT VALUES (30, 'SALES', 'CHICAGO');
INSERT INTO DEPT VALUES (40, 'OPERATIONS', 'BOSTON');

CREATE TABLE BONUS(
ENAME  VARCHAR2(10),
JOB  VARCHAR2(9),
SAL  NUMBER,
COMM  NUMBER
);

CREATE TABLE SALGRADE(
GRADE NUMBER,
LOSAL NUMBER,
HISAL NUMBER
);

INSERT INTO SALGRADE VALUES (1, 700, 1200);
INSERT INTO SALGRADE VALUES (2, 1201, 1400);
INSERT INTO SALGRADE VALUES (3, 1401, 2000);
INSERT INTO SALGRADE VALUES (4, 2001, 3000);
INSERT INTO SALGRADE VALUES (5, 3001, 9999);

-- SQL 실행 결과 확인

SELECT * FROM EMP;

SELECT * FROM DEPT;

SELECT * FROM BONUS;

SELECT * FROM SALGRADE;

데이터형식 출처:

https://coding-factory.tistory.com/416

system 계정으로 접속해서 실행한다.

-- DROP USER c##scott CASCADE;
create user scott identified by tiger;

오류 메시지 -
ORA-65096: 공통 사용자 또는 롤 이름이 부적합합니다.

오류 해결 - 
create user c##scott identified by tiger;

오라클 12c 이상은
(12c부터 등장한 CDB, PDB 개념 때문에)
사용자 이름에 c##을 붙여야 한다.

grant connect, resource, dba to c##scott;





출처:
https://coding-factory.tistory.com/413

눈 떠보니 선진국(2021년)의 저자 박태웅 한빛미디어 이사회 의장은

다음과 같이

기존 한국 교육의 약점을 바탕으로

AI 시대의 새로운 교육 방향을 제시했다.

1. 움직임이 없다 - 꾸준히 운동을 해야 한다!

하버드의대 정신의학과 교수, 존 레이티(John Ratey)는 

'운동화 신은 뇌'라는 책을 2008년 출간(2009년 국내 번역본)했는데,

여기엔,

'움직이지 않고 온종일 앉아서 공부만 하는 것은 뇌를 쪼그라들게 하는 즉, 죽이는 일'이라고 경고하며,

'운동이 뇌를 활성화해서 공부를 더 잘하게 만든다'는 사실을 과학적으로 입증한 내용이 담겨져 있다.

이는

"공부는 엉덩이로 한다"는 유교풍의 근면, 민족중흥 같은 산업사회 구호로

성과를 냈던 시대가 저물고 있음을 의미하는 것이다.

2. 기본이 없다 - 혼자서 공부하는 방법을 배워야 한다!

우리는 지금

어릴 때 배우고 익힌 것이

금새 쓸모 없어지는 세상에 살고 있다.

끊임없이 새로운 것이 나오는 세상이므로

다 외울 때쯤이면

아무데도 쓰이지 않는 구닥다리 지식이 되어 버린다.

그래서

혼자서 공부하는 방법을 배우고 가르쳐야 한다.

3. 구체적인 근거(evidence)가 없다 - 데이터에 기반한 협상(deal)을 배워야 한다!

'측정할 수 없으면 관리할 수 없다'는 말이 있다.

숫자가 말을 할 수 있을 때

숫자가 말을 하게 해야 한다.

혼자 사는 사람은 없다.

구체적인 근거를 바탕으로,

서로가 '기브 앤 테이크(give and take)'할 수 있는

협상과 타협의 태도가 몸에 밴

합리적인 시민을 키우는 교육을 해야 한다. 

4. - 컴퓨팅적 사고력(computational thinking)를 길러야 한다!

컴퓨팅적 사고력은 

정답이 정해지지 않은 문제에 대해

해답을 일반화하는 과정이다.

논리적 사고력, 수학적 사고 정도에 해당된다.

AI 교육은

소프트웨어 교육, 더 정확하게 말하면

컴퓨팅적 사고력을 길러주는 것이다.

프로그래밍 작업의 90%이상은 협업으로 이루어진다.

따라서 AI 필수역량은

'경청하기',

'논리적으로 말하기'다.

부연하면, AI 교육의 핵심은

상대의 요구를 듣고 관찰해 세밀하게 이해하는 것(요구사항명세, requirement specification),

있을 수 있는 경우를 생각해 그려보는 것(사용자 시나리오, user scenario),

반복되는 일들에서 공통점을 찾아내는 것(알고리듬, algorithm)

문제를 의식하고 되짚어 오류를 찾는 것(디버깅, debugging) 등이다.

IME

Input Method Editor

입력 방식 편집기

입력기

한글, 한자처럼 컴퓨터 자판에 있는 글쇠보다 수가 더 많은 문자를 계산하거나 조합하여 입력해 주는 시스템 소프트웨어

출처

https://ko.wikipedia.org/wiki/%EC%9E%85%EB%A0%A5%EA%B8%B0