Pandas Data Frame vs Spark DataFrame
DataFrame 은 행과 열이 있는 데이터 테이블을 나타내며, DataFrame 개념은 어떤 프로그래밍 언어에서도 변하지 않지만 Spark 와 Pandas 의 DataFrame 은 상당히 다르다. 이 글에서는 Spark DataFrame과 Pandas DataFra,e의 차이점을 알아보려고 합니다.
Pandas DataFrame
Panda는 NumPy 라이브러리를 기반으로 하는 오픈 소스 Python 라이브러리입니다. 다양한 데이터 구조와 연산을 사용하여 수치 데이터와 시계열을 조작할 수 있는 Python 패키지입니다. 주로 데이터 가져오기 및 분석을 상당히 쉽게 하기 위해 사용됩니다. Panda DataFrame은 레이
2023-03-16 11:13:02 |
OkOJJ
Pandas Data Frame vs Spark DataFrame
DataFrame 은 행과 열이 있는 데이터 테이블을 나타내며, DataFrame 개념은 어떤 프로그래밍 언어에서도 변하지 않지만 Spark 와 Pandas 의 DataFrame 은 상당히 다르다. 이 글에서는 Spark DataFrame과 Pandas DataFra,e의 차이점을 알아보려고 합니다.
Pandas DataFrame
Panda는 NumPy 라이브러리를 기반으로 하는 오픈 소스 Python 라이브러리입니다. 다양한 데이터 구조와 연산을 사용하여 수치 데이터와 시계열을 조작할 수 있는 Python 패키지입니다. 주로 데이터 가져오기 및 분석을 상당히 쉽게 하기 위해 사용됩니다. Panda DataFrame은 레이
2023-03-16 11:13:02 |
OkOJJ
동탄-인천공항 버스 시간표 (8837번)
노선
동탄역 - 라마다호텔 - 신라스테이 - 다은마을 - 능동 주공 - 병점중심상가 - 인천공항 (T1) - 인천공항 (T2)
시간표 (동탄역 출발)
(2023-03-09 기준, 평일/주말 동일)
시
분
4
00, 3
2023-03-09 11:17:39 |
OkOJJ
동탄-인천공항 버스 시간표 (8837번)
노선
동탄역 - 라마다호텔 - 신라스테이 - 다은마을 - 능동 주공 - 병점중심상가 - 인천공항 (T1) - 인천공항 (T2)
시간표 (동탄역 출발)
(2023-03-09 기준, 평일/주말 동일)
시
분
4
00, 3
2023-03-09 11:17:39 |
OkOJJ
갤럭시 S23U 로 찍은 달님
오랜만에 폰을 바꾸고 나서 Elon Musk 처럼 Wow를 올리고 싶었으나 달이 잘 안보여서 못찍다가 엄청 얇은 초승달이 보여서 찍어보고 그 뒤로 달이 보일때 마다 촬영해봤다.
10배 까지만 광학 줌이고 그 이후는 디지털 줌이라고 들었는데, 30배 까지도 볼만한 것 같고, 100배는 좀 흐릿해 보인다.
찍고 나서 저장하면서 알아서 보정까지 해서 알아볼수는 있는 정도인듯 하다.
2023-03-06 09:01:22 |
OkOJJ
갤럭시 S23U 로 찍은 달님
오랜만에 폰을 바꾸고 나서 Elon Musk 처럼 Wow를 올리고 싶었으나 달이 잘 안보여서 못찍다가 엄청 얇은 초승달이 보여서 찍어보고 그 뒤로 달이 보일때 마다 촬영해봤다.
10배 까지만 광학 줌이고 그 이후는 디지털 줌이라고 들었는데, 30배 까지도 볼만한 것 같고, 100배는 좀 흐릿해 보인다.
찍고 나서 저장하면서 알아서 보정까지 해서 알아볼수는 있는 정도인듯 하다.
2023-03-06 09:01:22 |
OkOJJ
앱에서 접속하는 URL 확인하기
ChatGPT 에게 물어봤다.
Q) How can I capture the API URL of smartphone application ?
A) To capture the API URL of a smartphone application, you will need to use a tool called a network sniffer or packet capture tool. This type of tool intercepts and captures the network traffic between your smartphone and the application's server, allowing you to inspect the requests and responses that are sent and received. There are many network sniffer and packet capture tools available, both for desktop and mobile platforms. Here are some popular options:
- Wireshark: a desktop tool that can capture network traffic on a variety of platforms, including Windows, macOS, and Linux.
- Fiddler: a desktop tool that can capture and analyze HTTP and HTTPS traffic on Windows.
- Charles Proxy: a desktop tool that can capture
2023-03-03 10:52:48 |
OkOJJ
앱에서 접속하는 URL 확인하기
ChatGPT 에게 물어봤다.
Q) How can I capture the API URL of smartphone application ?
A) To capture the API URL of a smartphone application, you will need to use a tool called a network sniffer or packet capture tool. This type of tool intercepts and captures the network traffic between your smartphone and the application's server, allowing you to inspect the requests and responses that are sent and received. There are many network sniffer and packet capture tools available, both for desktop and mobile platforms. Here are some popular options:
- Wireshark: a desktop tool that can capture network traffic on a variety of platforms, including Windows, macOS, and Linux.
- Fiddler: a desktop tool that can capture and analyze HTTP and HTTPS traffic on Windows.
- Charles Proxy: a desktop tool that can capture
2023-03-03 10:52:48 |
OkOJJ
동탄-김포공항 신규 노선 개통
그동안 동탄2신도시에서는 김포공항 가는 노선이 없어서 동탄1 로 이동해서 8455번 버스를 타야 했었는데 2023년2월1일부터 동탄1,2 를 모두 지나는 신규 버스 8840번이 개통된다고 합니다.
기존 8455번 버스는 안성을 출발해서 일산까지 가는 엄청 긴 노선이었고, 중간에 동탄을 들러가는 노선이어서 좀 불편했었는데 이번에 신규 개통되면 김포공항 가는게 많이 편해질 것 같네요~
2023-02-24 18:10:30 |
OkOJJ
서버의 공인 IP 확인하기
일반적인 리눅스 서버는 랜포트별로 IP를 할당하여 ifconfig 명령어로 할당된 IP 를 확인할 수 있으나
AWS (Amazon Web Service)등의 클라우드 장비에서는 Private IP 만 확인이 가능하고 Public IP 는 Amazon Console 등을 통해서 확인이 가능하다.
또는 NAT 아래에 위치한 서버들의 경우도 실제 할당된 IP는 사설 IP만 표시되고, 외부 접속시 외부 서버에서 인식하는 IP 는 NAT 의 IP 가 된다.
이런 경우 서버에서 간단하게 외부로 접속하는 본인 IP를 확인하는 방법은 아래와 같다.
$ curl ip.ojj.kr
Your IP is 175.123.191.3
$ curl ip.ojj.kr/?q=1.1.1.1
* Query : 1.1.1.1
* Result :
%kwhois % [whois.apnic.net]
% Whois data copyright terms http://www.apnic.net/db/dbc
2023-02-22 11:52:03 |
OkOJJ
S23U 로 찍은 고양이 - 호두
우리집 고양이들 중에 귀요미를 담당하는 호두.
책상위에 올라가서 노려보는 사진을 찍어서 S23에 있는 추출하기(누끼 ?) 기능으로 냥이만 쏘옥~
생각보다 추출이 잘되는듯.
2023-02-21 15:09:51 |
OkOJJ
[리눅스] date 명령으로 timestamp 변환하기
1. timestamp 값으로 원하는 날짜 형태로 변환하기
$ date -d '1970-01-01 1676360315 sec'
2023. 02. 14. (화) 07:38:35 KST
$ date -d '1970-01-01 1676360315 sec' +'%Y-%m-%d %H:%M:%S'
2023-02-14 07:38:35
* 결과는 시스템 Timezone에 맞춰서 표시됨
2. 날짜 형식으로 timestamp 값 구하기 (1번과 반대)
$ date -d '2022-02-14' +%s
1644764400
2023-02-14 16:30:12 |
OkOJJ
ChatGPT 가 추천하는 개발자 커리어
Q. Please recommend a career as a software developer.
A. A career as a software developer can be a very rewarding and fulfilling choice. Here are some reasons why:
1. High demand: Software development is a rapidly growing field with a high demand for skilled professionals. This means that there are many job opportunities available and the demand for software developers is expected to continue to grow in the future.2. Go
2023-02-13 15:09:24 |
OkOJJ
ChatGPT 에게 개발툴을 추천해 달라고 했다.
(영문)
Q. What is the best IDE for developers ?A. The best IDE (Integrated Development Environment) for a developer largely depends on the individual's specific needs and requirements. Some popular IDEs include:1. Visual Studio Code: It's a free, open-source code editor developed by Microsoft, that supports multiple programming languages and platforms.
2023-02-13 14:52:49 |
OkOJJ
하이브 (HYBE) SM 이수만 지분 인수해 1대 주주로
최근에 SM 관련 이슈로 뉴스가 많이 나오고 있었는데 오늘은 또 하이브가 이수만의 SM 지분을 모두 인수하고 공개매수까지 해서 추가 지분 확보에 나선다는 기사가 나왔다.
이수만은 카카오가 SM을 인수하는게 왜 싫었을까 ? 카카오 대신 하이브를 선택한 이유는 ?
아무튼 하이브는 참 대단한것 같다. BTS로 몸집 키워서 IT를 결합한 새로운 서비스들도 만들고 BTS 의존도가 좀 높다고 생각했더니 그 사이에 르세라핌, 뉴진스 등과 같은 괴물 신인들도 키워내고 있었던걸 보면...하이브가 천하통일하는 분위기인듯하다.
2023-02-10 10:23:57 |
OkOJJ
비밀번호 입력 없이 MySQL 접속하기
MySQL 버전이 점점 올라가면서 언제부터인가 mysql 명령어로 접속시 비밀번호를 같이 입력하면 아래와 같이 안전하지 않다는 경고가 나온다.
$ mysql -hlocalhost -udb_user -pdb_password
mysql: [Warning] Using a password on the command line interface can be insecure.
쉘 스크립트로 DB 접속하는 작업을 하는 경우 위와 같이 명령어에 비밀번호까지 같이 입력하는 경우가 많은데 실행은 되지만 경고가 나오는게 매우 거슬린다.
이런 경우는 아래 2가지 방법으로 해결이 가능하다.
방법1)
계정 home path (리눅스 기준 /home/userid 등) 에 .my.cnf 파
2023-02-09 15:43:06 |
OkOJJ
실내 마스크 착용해야 하는 구체적인 장소
오늘 (1/30) 부터 실내마스크 착용 의무가 해제 되지만 의무가 유지되는 장소가 일부 있어 헷갈리는 부분이 있습니다.
아래에 각 케이스별로 마스크 착용 여부에 대해 정리가 되어있으니 참고하세요~
2023-01-30 17:03:23 |
OkOJJ
동탄-김포공항 버스 시간표 (8455)
2023년 2월 1일부터 동탄1,2신도시에서 김포공항으로 가는 신규 버스 8840번이 개통됩니다.자세한 내용은 아래 글을 참고하세요.
* 네이버 지도 8840 버스 정보 : https://naver.me/GPFg5DHl
2023-01-25 16:01:43 |
OkOJJ