??? ???(Data Lake)? ??? ??? ??? ??? ???? ???? ?? ??? ????, ??, ???, ??? ???? ?? ??? ???? ??? ????? ??? ?????. ??? ???(Data Lake)? ???? ????? ???? ??? ??? ?? ???? ????. ??? ??? ???(Data Lake)? ?? ??? ??? ??? ???? ??? ?? ? ????. FanRuan? FineBI, FineReport, FineDataLink, FineVis? ?? ???? ??? ???(Data Lake)? ??? ????? ???? ?????? ?????.

??? ???(Data Lake)? ??

??? ???(Data Lake)? ??

??? ???(Data Lake)? ??? ??? ??? ??? ???? ???? ?? ??? ??????. ? ???? ??, ???, ??? ???? ?? ??? ???? ??? ????? ??? ?????. ??? ???(Data Lake)? ??? ???? ??, ??, ???? ????, ??? ??? ???? ???? ???? AI? ??? ? ?? ????. ??? ???(Data Lake)? ???? ??? ?? ??? ??? ?? ???? ???? ??? ????? ?????. ???? ??? ??, ???, ??? ???? ?? ??? ???? ??? ??? ????, ???? ?????? ?? ?? ???? ???? ?? ??? ???? ?? ???? ?????.

??? ???(Data Lake)? ??? ??

??? ???(Data Lake)?? ??? 2010?? ??? ??? ?? ?? ???????. ?? ??? ???(Data Lake)? '??? ??'?? ?? ???? ?? ???? ???? ???? ??????. ??? ???? ?? ?? ???? ??? ??? ???? ???? ?? ??? ??? ???? ????, ?? ???? ???? ?? ??? ???? ?? ?? ???????.

2011?, ?? ???? ????? ?? ???(Pentaho)? CTO?? ??? ??? ‘??? ???(Data Lake)’?? ??? ??????. ??? ???? 2010??? ?? ??? ????, ?? ????? ??? ???, ??? ????? ?? ??? ?? ???? ???? ??? ??????.

???? ???? ??? ???? ?? ? ??? ?????? ?? ???? ????? ???????. ??? ??? ???? ??? ??? Raw ???? ? ?? ??? ????? ??????. ??? ?? ???? ? ??? ??? ??? ??? ??, ????, ???? ?? ? ??? ???? ???? ??? ??? ???? ????? ??? ????.

??? ???(Data Lake)? ?? ??

??? ?? ??

??? ???(Data Lake)? ???? ?? ??? ???? ??????. ?? ???(raw data)? ???? ??? ???? ???, ?? ??? ???? ????? ?? ??? ?????. ??? ???(Data Lake)? ??? ??? ???? ??(Structured), ???(Semi-structured), ???(Unstructured) ??? ??? ? ????. ?? ??, ??? ??, ???, ???, ??? ? ??? ??? ???? ??? ? ???, ??? ???? ??? ? ??(Schema-on-read) ???? ?????. ?, ???? ??? ??? ?? ?? ???? ???? ????, ???? ??? ?? ?? ????? ??? ??? ? ????.

??? ???? ?? ??? ???(Data Lake)? ??? ??? ??? ????? ??? ????. ??, ???? ???? ?? ???? ???? ??? ? ?? ??? ?? ???? ??? ???? ??? ? ????. ???? ??, ????, ????(AI) ?? ????? ???? ???? ???? ??? ? ?? ?? ?????. ??, ???? ?? ??? ??? ???? ??? ?? ?? ???, ??? ???? ??? ? ??? ?? ??? ??? ??? ?? ??? ????? ??? ? ????.

??? ?????? ???? ???? ???? ???? ?????, ???? ???? ?? ???? ?????? ???. ??? ?????? ??? ??? ??? ??? ???? ETL(Extract, Transform, Load) ??? ?? ?????, ?? ???? ??, ??, ???? ??? ? ???(Schema-on-write) ???? ???? ??? ?????. ??? ???? ???? ?? ???? ?????(BI) ??? ?? ?? ????? ?? ??? ? ????.

??? ?????? ?? ? ??? ?? ?? ? ??? ??? ?? ??? ??? ?? ??? ???? ????. ???? ????? ?? ??? ???? ???? ??? ????, ??? ??? ??? ? ????. ???, ??? ?????? ?? ??? ?? ???? ???? ??? ????? ??? ?? ? ????. ??, ???? ???? ?? ??? ?? ??? ???? ??? ?? ??? ? ?? ???, ??? ????? ?? ? ?? ???? ? ?? ???? ??? ?????.

??? ?? ? ??

??? ???(Data Lake)? ??? ??? ?? ? ?? ??? ?????. ???? ?? ??? ???? ???, ???? ??? ?? ???? ???? ??? ? ????. ?? ??? ???? ???? ??, ????, ???? ?? ? ??? ?? ??? ??? ?????.

??? ???(Data Lake)? ???? ??? ? ????? ?? ???, ???? ???? ??? ? ??? ???? ??? ? ????. ?? ??? ???? ??? ?? ??? ?? ??? ? ?? ?????. ??? ???? ???? ??? ? ????? ?? ???, ???? ???? ??? ? ??? ???? ??? ? ????. ?? ??? ???? ??? ?? ??? ?? ??? ? ?? ?????.

??? ???? ???? ??? ??? ??? ?? ??? ???? ????? ??? ? ??? ?????. ??? ???? ???? ??? ? ????? ?? ???, ???? ???? ??? ? ??? ???? ??? ? ????. ?? ??? ???? ??? ?? ??? ?? ??? ? ?? ?????.

??? ???(Data Lake)? ??

??? ??? ??

??? ???(Data Lake)? ??, ???, ??? ???? ?? ??? ??? ? ????. ?? ??? ??? ??? ???? ? ?? ?? ??? ? ?? ????. ?? ??, ?? ??? ???, ?? ???, ?? ??? ? ??? ??? ???? ? ????? ??? ? ????. ???? ?? ??? ??????, ??? ???? ???? ??? ??? ??? ? ?? ???? ???? ??? ? ????.

?? ???

??? ???(Data Lake)? ??? ??? ???? ? ??????. METRO? ??? ??? ????? ?? ??? ??? 30% ?? ??????. ??? ???? ???? ?? ????? ???? ??? ?? ???, ??? ?????? ?? ?? ??????. ??? ??? ???? ?? ??? ???? ??? ???? ???? ??? ? ????. ?? ?? ??? ???? ??? ???? ? ???? ?????.

??? ??? ?? ??

??? ???(Data Lake)? ??? ??? ??? ???? ??? ? ?? ??? ?????. ??? ?? ???? ??? ???? ? ?? ?? ??? ? ????. ?? ??? ???? ??? ??? ??? ?? ??? ??? ? ?? ?????. ??? ???? ?? ? ?? ???? ?? ???? ???? ??? ? ?? ??? ?????. ??? ?? ??? ??? ???? ????? ???? ??? ? ??? ?????. ??? ???? ?? ??? ?? ???? ??? ?????, ?? ???? ???? ????? ??? ??? ? ????.

??? ??? ?? ??

??? ???(Data Lake)? ??? ??? ?? ? ??? ?????. ?? ?? ??? ????? ???? ???? ?? ???? ????? ??? ? ????. ?? ??, ?? ?? ???? ??? ???? ?? ??? ??? ?? ??? ?? ??? ????? ?? ??? ?? ? ????.

???

??? ???(Data Lake)? ?? ???? ????, ???? ???? ????? ???? ??? ? ????. ?? ???? ?? ??? ???? ??? ?? ?? ?? ??? ??? ? ??, ??? ???? ???? ??? ?????. ???? ??? ?????? ?? ?? ?? ???? ???? ??? ? ????.

??? ???(Data Lake)? ??? ?????? ???

??? ??? ??

??? ???(Data Lake)? ??? ?????? ??? ?? ???? ? ??? ????. ??? ???? ???? ?? ??? ?????. ?? ??, ???, ??? ???? ?? ????, ???? ??? ??? ?????. ??? ???? ?? ??? ???? ???? ?? ???, ??? ??? ??? ??? ? ?? ???? ?????.

??, ??? ?????? ???? ???? ?? ?? ??? ???? ?????. ?? ???? ???? ??? ????, ?? ?? ???? ????. ??? ?????? ???? ???? ?? ???? ???? ???? ??? ????. ??? ??? ???? ???? ????, ?? ??? ?? ???? ??? ??? ?????.

?? ??? ??

??? ???(Data Lake)? ??? ?????? ??? ??? ?? ??? ?? ??? ????. ??? ???? ??? ??? ???? ?? ??? ??? ? ?? ???? ?????. ??? ???? ??? ???? ????? ??? ? ??, ???? ???? ?? ??? ???? ?? ??? ?????. ?? ??, ???? ??, ????, ???? ?? ??? ?? ???? ??? ?????. ??? ???? IoT, ?? ???, ?? ??? ? ??? ???? ??? ???? ???? ??? ?? ?? ??? ??? ? ??? ???.

??, ??? ?????? ???? ???? ???? ????? ??? ??????. ?? ???? ?????? ??? ??, ?? ?? ??? ?????. ??? ?????? ???? ???? ?? ?? ???? ????, ??? ?? ??? ?? ??? ??? ??? ?? ??? ? ????. ?? ??, ?? ??, ?? ?? ?? ?? ???? ??? ?? ???? ?? ?? ??? ??? ??? ??????.

??? ??? ???? ???, ???, ??? ??? ???? ??? ??? ???, ??? ?????? ???? ???? ?? ?? ??? ?????. ? ???? ?? ?? ?? ??? ????? ??, ??? ??? ?? ????? ?????, ? ??? ???? ??? ? ????. ??? ???? ??? ?????? ?? ?? ??? ??, ??? ????? ??? ???? ? ??? ??? ???.

??? ???(Data Lake)? ?? ??

??? ???(Data Lake)? ??? ??? ??? ???? ???? ???? ? ??? ??? ???. ?? ?? ??? ???? ??, ????, ??? ??? ?? ? ??? ???? ??? ? ????.

???? ??

??? ???(Data Lake)? ?? ????? ??? ??? ???? ????? ??? ? ?? ??? ??? ????. ?? ?? ??? ???? ??, ?? ??? ????, ??? ??? ???, ?? ???, IoT ???? ??? ??? ? ??? ??? ???? ???? ??? ? ????. ?? ??, ?? ?????? ?? ???, ???? ??? ???, ??? ?? ?? ?? ???? ??? ??? ????? ??? ??? ???? ? ????.

??? ???? ???? ?????? ??? ??, ??? ???? ???? ??? ??? ????, ???? ????, ?? ??? ?? ??? ?????. ??, ??? ???? ??? ???? ????? ? ??? ??? ????, ??? ???? ????? ?? ? ??? ???.

???? ? AI

??? ???(Data Lake)? ????(ML)? ????(AI) ???? ???? ??? ???? ?????. ??? ??? ???? ?? ??? ??? ???? ???? ?? ???? ???? ??? ????? ????? ? ?? ?? ??? ? ? ????.

???? ??? ???? ????, ??? ???? ??? ?? ???? ??? ?? ???? ??? ? ????. ??? ???? ???? ??? ? ????, ???? ????? ??? ?? ??? ???? ??????. ?? ?? ??? ???? ???? ??? ?? ????? ???? ? ????.

FineVis? ?? ??? ??? ??? ??? ???? ??? ???? ????? ????? ?????. ?? ?? ??? ???? ???? ?? ???? ???? ?? ????, ??? ????? ???? ? ?? ??? ?? ? ????.

??? ??? ??

??? ???(Data Lake)? ??? ??? ????? ??? ??? ?????. ??? ????? ???? ???? ??? ???? ?? ????, ???? ?? ??? ?? ? ????. ?? ??, IoT ???? ???? ?? ???? ????? ???? ?? ?? ??? ??? ???????, ????? ??? ???? ???? ??? ??? ??? ? ????.

??? ??? ?? ??? ???? ?? ??? ?? ??? ? ???, ?? ??? ??? ? ????. ?? ??, ????? ??? ??? ?? ??? ???? ??? ???? ?????, ????? ????? ?? ??? ???? ?? ??? ??? ? ????.

FineVis? ?? ??? ??? ??? ???? ????? ????, ???? ????? ??? ????? ??? ? ??? ?????. ?? ?? ????? ???? ????? ???? ???? ?? ??? ?? ??? ???, ?? ??? ???? ??? ? ????.

??? ???(Data Lake)? ????

??? ???(Data Lake)? ????? ???? ????? ???? ????, ??? ??? ??? ???? ?? ??? ? ?? ??? ?????. ??? ???? ?? ????? AI ?? ???????? ???? ?????. ? ????? ???? ?? ??? ????, ?? ??? ?? ??? ??? ?? ? ??? ? ?? ???? ?????.

?? ?? ??

??? ???(Data Lake)? ????? ?? ?? ???? ????, ? ???? ?? ??? ?????. ?? ?? ??? ??? ????:

1. ??? ?? ???: 

   ??? ?? ???? ??? ???? ???? ???? ??? ???. ? ???? ? ??, IoT ?? ???, ?? ???, ??, ?????? ? ??? ??? ???? ?????.

   ???? ???? ??, ???, ??? ??? ??? ??? ? ???, ???? ?? ??? ?????. ??? ??, ??? ?? ?? ????? ?? ???? ????? ??? ? ????.

   ? ???? ???? ??? ????? ????, ??? ??? ???? ??? ?? ???? ?????.

2. ??? ???: 

   ??? ???? ??? ???? ???? ?? ??????. ???? ?? ?? ??? ????, ??? ?? ??? ?? ??? ?? ??? ??? ? ????.

   ???? ??? ??? ???? ??? ??? ????? ????, ?? HDFS, Amazon S3, Azure Blob Storage? ?? ???? ?????.

   ???? ????? ???? ??? ? ?? ???? ????, ??? ???? ??? ???? ??? ? ????.

3. ??? ?? ? ?? ???:

   ??? ?? ? ?? ???? ??? ???? ???? ???? ??? ???. ? ???? ???? ???? ???? ??? ????, ?? ??? ???? ??? ??? ??? ? ????.

   ? ?????? ETL(Extract, Transform, Load) ????? ELT(Extract, Load, Transform) ???? ???? ????, ???? ?? ??? ??? ???? ???? ?????.

   ??? ?? ?, ?? ?? Apache Spark, Apache Flink, AWS Redshift, Google BigQuery ?? ?? ???? ??? ??? ? ? ????.

4. ??? ??? ? ?? ???: 

   ??? ??? ? ?? ???? ???? ?? ?? ??? ????, ???? ??? ???? ??? ???.

   ? ???? ???? ??? ? ?? ??? ? ??????? ????, ??? ?? ??, ??, ?? ?? ???? ?????.

   ???? ???? ????, ?????? ???? ??? ???? ?? ???, ??, ?? ?? ?? ?? ??? ?????. ? ???? GDPR ? HIPAA? ?? ?? ??? ???? ? ?????.

??? ?? ? ??

??? ???(Data Lake)? ??? ?? ? ??? ?? ?????. ??? ???? ??? ???? ???? ???? ???, ???? ???? ??? ???? ?? ??????.??? ?????? ???? ??? ??? ??? ??? ???? ? ?? ?? ??? ???? ? ??? ?????.

• ??? ??:

  ??? ???(Data Lake)?? ???? ????? ???? ??? ?????? ?????. ?????? ???? ??, ??, ??, ?? ?? ?? ??? ???? ???, ???? ???? ??, ??, ??? ????. ?????? ???? ??? ???? ? ?? ????, ??? ???? ???? ?? ? ????.

• ??: 

  ??? ???(Data Lake)? ???? ??? ???? ?? ??? ?? ????? ?????. ??? ???, ?? ??, ?? ?? ?? ?? ???? ???? ?????. ??? ?? ????? ???? ???? ????? ???? ??? ?????.

??? ???(Data Lake)? ????? ???? ????? ???? ??? ? ?? ??? ?????. ?? ?? ??? ??? ???? ???? ???? ???? ?????? ??? ? ????. ??? ?????? ?????? ??? ???? ????? ????, ?? ????? ?? ???? ???? ?????. ??? ??? ??? ??? ??? ??? ??? ???? ????, ??? ?? ??? ???? ? ???? ?????.

??????? ??? ???(Data Lake) ??

?? ???? ??? ????

??? ???(Data Lake)? ??? ???? ??? ?????? ?????. AWS, Google, Informatica, Microsoft, Teradata ?? ???? ????. ?? ??? ??? ???? ?? ??? ???? ???? ??? ? ?? ???? ?????. ? ??? ??? ??? ??? ??? ??, ??? ??? ?? ???? ??? ? ????.

AWS: Amazon Web Services? ??? ???(Data Lake)? ?? ??? ??? ???? ?????. AWS? ??? ??, ??, ??? ?? ?? ???? ????, ??? ??? ??? ?? ??? ? ????.

Google Cloud: Google? ??? ???(Data Lake)? ?? ??? ?? ??? ???? ??? ???? ?????. Google Cloud? ??? ???? ????? ???? ??? ? ?? ??? ?????.

Microsoft Azure: Microsoft? Azure? ?? ??? ???(Data Lake) ???? ?????. Azure? ??? ??, ??, ??? ?? ??? ??? ????, ??? ??? ?? ??? ?????.

Informatica: Informatica? ??? ?? ? ?? ???? ???? ???, ??? ???(Data Lake)? ?? ??? ??? ?????. Informatica? ???? ???? ??? ??? ???? ???.

Teradata: Teradata? ??? ?????? ??? ???(Data Lake) ???? ???? ???, ??? ??? ??? ?? ??? ??? ?????.

???? ?? ??? ???(Data Lake)? ??

???? ?? ??? ???(Data Lake)? ?? ?? ??? ?????. 

• ??, ??????. ???? ????? ???? ?? ?? ?? ??? ???? ??? ? ????. ?? ??? ??? ??? ?? ???? ??? ? ?? ???? ?????.
• ??, ?? ??????. ???? ?? ??? ???? ?? ??? ?? ??? ??? ? ????. ??? ??? ??? ?? ??? ??? ??? ????, ??? ??? ??? ?????.
• ??, ??????. ???? ????? ???? ???? ??? ? ????. ?? ??? ??????, ??? ???, ???? ??? ? ??? ??? ???? ??? ? ???? ??? ? ??? ?????.
• ??, ?????. ???? ??? ????? ???? ??? ?? ??? ?? ????? ?????. ??? ???, ?? ??, ?? ?? ?? ?? ???? ???? ?????.

???? ?? ??? ???? ??? ???? ????? ???? ??? ? ?? ??? ?????. ?? ?? ??? ???? ???? ? ???? ?????? ????, ???? ??? ? ????.

FanRuan? Data Lake ???

FanRuan? ??? ???(Data Lake) ???? ?? ??? ???? ????? ???? ??? ? ??? ?????. ? ????  FineBI, FineReport, FineDataLink, FineVis? ?? ??? ???? ??? ??, ???, ??? ??? ?????.

FineDataLink? ?? ??? ??

FineDataLink? ??? ??? ??? ???? ? ??? ???. ? ???? ?? ?? ??? ???? ??? ??? ?? ??? ??????. ??? FineDataLink? ?? ??? ??? ???? ???? ??? ? ????. ?? ??? ????? ??? ?????, ??? ?????? ?? ?? ???? ????? ??? ? ??? ????. FineDataLink? API ??? ?? ??? ?? ????? ?? ??? ?? ???? ??? ??? ??? ?? ????? ????.

FineBI? FineReport? ??? ???

FineBI? FineReport? ??? ???? ??? ??? ????. FineBI? ?? ??? ???? ????? ??????, ???? ???? ???? ???? ????? ??? ? ??? ?????. FineBI? ??? ??? ??? ??? ? ???, ??? ??? ??? ??? ? ?? ? ??? ??? ?????. FineReport? ?? ??? ?? ? ???? ??????, ??? ???? ???? ????? ??? ? ????. FineReport? ??? ??? ??? ???? ???? ????? ??? ? ??? ????. ? ?? ?? ???? ???? ?? ???? ??? ? ?? ??? ???? ??? ?? ??? ?????.

FineVis? ??? ??

FineVis? ??? ??? ?? ??? ???? ?? ????? ????? ??? ? ??? ?????. ? ??? ??? ??? ?? 3D ???? ???? ???? ????? ??? ? ????. FineVis? ?? ?? ??? ??? ??? ?? ???? ???? ???? ???? ???? ??? ? ??? ???. ??? ?? ??? ?? ??? ???? ?? ??? ??? ????, ???? ??? ? ????.

FanRuan? ??? ???(Data Lake) ???? ??? ???? ????? ???? ??? ? ?? ??? ?????. ?? ?? ??? ???? ???? ? ???? ?????? ????, ???? ??? ? ????.

??? ???(Data Lake)? ??? ???? ????? ???? ??? ? ?? ??? ????, ???? ?????? ???? ???? ???? ? ??????. ?? ??? ??? ??? ???? ????, ?? ?? ? ???? ??? ???? ??????, ??? ?? ??, ?? ?? ? ?? ??? ??? ? ??? ?????. ??? ???? ???? ????? ?? ???? ??? ??? ??? ???? ???? ?? ?? ? ??? ????.

???? ??? ???(Data Lake)? ???? ??? ??????, ??? ???, ???? ??? ?? ???? ?? ??? ???? ???? ????? ??? ? ?? ???. ??? ??? ?? ? ??? ??? ??, ?? ? ?? ??, ?? ? ?? ?? ?? ???? ???? ???. FineDataLink ???? ??? ????? ??? ???? ????? ??? ? ??? ?????. '?? ?? ????' ??? ????, ???? ?? ???? ??? ???? ???? ???? ??? ??? ? ??? ??? ? ????. ?? ??? ??? ???? ????? ???? ??? ?? ???? ? ??? ???.

??? ?? ?? ?? ????

??? ????(data governance)? ??????

??? ????? ?? ??? ?? ????

??? ?????? ??????

??? ?? ???? ?? ?? ???